RU2560790C2 - Параметрическое кодирование и декодирование - Google Patents

Параметрическое кодирование и декодирование Download PDF

Info

Publication number
RU2560790C2
RU2560790C2 RU2012123750/08A RU2012123750A RU2560790C2 RU 2560790 C2 RU2560790 C2 RU 2560790C2 RU 2012123750/08 A RU2012123750/08 A RU 2012123750/08A RU 2012123750 A RU2012123750 A RU 2012123750A RU 2560790 C2 RU2560790 C2 RU 2560790C2
Authority
RU
Russia
Prior art keywords
signal
weight coefficient
channel
energy
parametric
Prior art date
Application number
RU2012123750/08A
Other languages
English (en)
Other versions
RU2012123750A (ru
Inventor
БРИНКЕР Альбертус Корнелис ДЕН
Эрик Госейнус Петрус СХЕЙЕРС
Арнольдус Вернер Йоханнес ОМЕН
Original Assignee
Конинклейке Филипс Электроникс Н.В.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Конинклейке Филипс Электроникс Н.В. filed Critical Конинклейке Филипс Электроникс Н.В.
Publication of RU2012123750A publication Critical patent/RU2012123750A/ru
Application granted granted Critical
Publication of RU2560790C2 publication Critical patent/RU2560790C2/ru

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

Изобретение относится к параметрическому кодированию и декодированию и, в частности, к параметрическому кодированию и декодированию многоканальных сигналов с использованием понижающего микширования и параметрических данных повышающего микширования. Технический результат заключается в улучшении надежности кодирования не совпадающих по фазе компонентов сигнала. Технический результат достигается за счет кодера для многоканального аудиосигнала, который содержит блок понижающего микширования для формирования сигнала понижающего микширования как комбинации по меньшей мере сигналов первого и второго каналов, соответственно, с первым и вторым весовыми коэффициентами с разными амплитудами по меньшей мере для некоторых частотно-временных интервалов. Кроме того, схема формирует параметрические данные повышающего микширования, характеризующие отношение между сигналами канала, а также характеризующие весовые коэффициенты. Схема формирует оценки весовых коэффициентов кодера из параметрических данных повышающего микширования и содержит блок повышающего микширования, который воссоздает многоканальный аудиосигнал посредством повышающего микширования сигнала понижающего микширования в ответ на параметрические данные повышающего микширования, оценку первого весового коэффициента и оценку второго весового коэффициента. 4 н. и 10 з.п. ф-лы, 4 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Изобретение имеет отношение к параметрическому кодированию и декодированию и, в частности, к параметрическому кодированию и декодированию многоканальных сигналов с использованием понижающего микширования и параметрических данных повышающего микширования.
УРОВЕНЬ ТЕХНИКИ
Цифровое кодирование сигналов различных источников становилось все более важным за прошлые десятилетия по мере того, как цифровое представление и передача сигналов все больше заменяли аналоговое представление и передачу. Например, распространение мультимедийного информационного содержания, такого как видео и музыка, все в большей степени основывается на кодировании цифрового содержания.
Кодирование многоканальных сигналов может быть выполнено посредством понижающего микширования многоканального сигнала до меньшего количества каналов и кодирования и передачи их. Например, стереосигнал может быть подвергнут понижающему микшированию до моносигнала, который затем кодируется. При параметрическом многоканальном кодировании кроме того формируются параметрические данные, которые поддерживают повышающее микширование сигнала понижающего микширования для воссоздания (приближений) первоначального многоканального сигнала. Примеры многоканальных систем, которые используют понижающее/повышающее микширование и соответствующие параметрические данные, включают в себя метод, известный как стандарт параметрического стерео (PS) и его расширение до многоканального параметрического кодирования (например, MPEG Surround:MPS).
В самой простой форме понижающее микширование стереосигнала в моносигнал может быть выполнено просто посредством формирования среднего значения этих двух стереоканалов, то есть просто посредством формирования среднего или суммарного сигнала. Этот моносигнал затем может быть распространен и затем использоваться непосредственно в качестве моносигнала. В подходах кодирования, использующихся в параметрическом стерео, в дополнение к сигналу понижающего микширования обеспечиваются признаки стереосигнала. В частности, разности уровней между каналами, разности времени или фазы и параметры когерентности или корреляции определяются для частотно-временного фрагмента (который обычно соответствует разделению по шкале в барках или ERB (Equivalent Rectangular Bandwidth) по оси частот и фиксированной однородной сегментации по оси времени). Эти данные обычно распространяются вместе с сигналом понижающего микширования и дают возможность выполнить точное воссоздание первоначального стереосигнала посредством повышающего микширования, которое зависит от параметров.
Однако известно, что создание среднего сигнала обычно приводит к несколько тусклым сигналам, то есть, с уменьшенным информационным содержанием яркости и высоких частот. Причина состоит в том, что для типичных аудиосигналов разные каналы обычно в достаточной степени коррелированы для низких частот, но не для более высоких частот. Прямое суммирование двух стереоканалов эффективно подавляет не выровненные компоненты сигнала. Действительно, для поддиапазонов частот, в которых сигналы левого и правого каналов полностью не совпадают по фазе, получающийся в результате средний сигнал является нулевым.
Решение, которое было предложено, состоит в том, чтобы использовать фазовое выравнивание каналов, прежде чем будет выполнено суммирование. Таким образом, в идеале сигналы левого и правого каналов компенсируются для какой-либо разности фаз в частотной области (что соответствует разности по времени во временной области), прежде чем складываются вместе. Однако такой подход обычно является сложным и может вносить алгоритмическую задержку. Кроме того, на практике подход обычно не обеспечивает оптимальное качество. Например, если измерена разность фаз между каналами, имеется неоднозначность в том, следует ли выровнять фазу левого канала к правому каналу или наоборот. Также попытка одинаково сместить фазу обоих каналов приводит к неоднозначности. Кроме того, разность фаз в цифровой форме численно некорректна, когда корреляция является низкой, что приводит к менее точной и надежной системе. Все эти проблемы обычно приводят к заметным артефактам при создании сигнала понижающего микширования посредством фазового выравнивания. Как правило, в результате этого подхода получаются модуляции на тональных компонентах.
Как следствие большинство практических систем обычно используют так называемый пассивный сигнал понижающего микширования, сформированный просто как среднее значение сигналов левого и правого каналов. К сожалению, пассивное понижающее микширование также имеет некоторые соответствующие недостатки. Один из них состоит в том, что акустическая энергия может быть в значительной степени уменьшена и даже полностью потеряна для несовпадающих по фазе сигналов. Предложенный способ с учетом этого состоит в том, чтобы использовать так называемое активное понижающее микширование, при котором сигнал понижающего микширования масштабируется, чтобы иметь такую же энергию, как первоначальные сигналы. Другое предложенное решение состоит в том, чтобы обеспечить компенсацию энергии на стороне декодера. Однако такие компенсации обычно находятся на довольно глобальном уровне и не делают различий между тональными компонентами (где компенсация необходима) и шумом (где она не нужна). Кроме того, и в пассивных и в активных подходах понижающего микширования возникают проблемы для сигналов, которые не совпадают по фазе. Действительно, несовпадающие по фазе компоненты абсолютно отсутствуют в сигнале понижающего микширования.
Следовательно, была бы полезна улучшенная система для многоканального параметрического кодирования/декодирование, и, в частности, была бы полезна система, дающая возможность повышенной гибкости, упрощенной работы, упрощенной реализации, уменьшенной сложности, улучшенной надежности, улучшенного кодирования несовпадающих по фазе компонентов сигнала, уменьшенного отношения скорости передачи данных к качеству и/или улучшенной производительности.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
В соответствии с этим изобретение стремится предпочтительно смягчить, облегчить или устранить один или более из упомянутых выше недостатков отдельно или в любой комбинации.
В соответствии с аспектом изобретения обеспечен декодер для формирования многоканального аудиосигнала, декодер содержит: первый приемник для приема сигнала понижающего микширования, представляющего собой комбинацию по меньшей мере сигнала первого канала с первым весовым коэффициентом и сигнала второго канала со вторым весовым коэффициентом, причем первый весовой коэффициент и второй весовой коэффициент имеют разные амплитуды по меньшей мере для некоторых частотно-временных интервалов; второй приемник для приема параметрические данных повышающего микширования, характеризующих отношение между сигналом первого канала и сигналом второго канала; схему для формирования оценки первого весового коэффициента и оценки второго весового коэффициента из параметрических данных повышающего микширования; и блок повышающего микширования для формирования многоканального аудиосигнала посредством повышающего микширования сигнала понижающего микширования в ответ на параметрические данные повышающего микширования, оценку первого весового коэффициента и оценку второго весового коэффициента, причем повышающее микширование зависит от амплитуды по меньшей мере оценки первого весового коэффициента или оценки второго весового коэффициента.
Изобретение может дать возможность улучшенной и/или упрощенной работы во многих сценариях. Подход обычно может смягчить проблемы несовпадения по фазе и/или недостатки кодирования с фазовым выравниванием. Подход часто может дать возможность улучшенного качества звука, не требуя увеличенной скорости передачи данных. Часто может быть достигнута система с более надежным кодированием/декодированием системы, и, в частности, кодирование/декодирование может быть менее чувствительным к конкретным условиям сигнала. Подход может дать возможность реализации с низкой сложностью и/или иметь низкие требования к вычислительным ресурсам.
Обработка может быть основана на поддиапазонах. Кодирование и декодирование могут быть выполнены в частотных поддиапазонах и во временных интервалах. В частности, первый весовой коэффициент и второй весовой коэффициент могут быть обеспечены для каждого частотного поддиапазона и для каждого (временного) сегмента вместе со значением сигнала понижающего микширования. Сигнал понижающего микширования может быть сформирован индивидуально в каждом поддиапазоне, комбинирующем значения частотного поддиапазона сигналов первого и второго каналов с весовыми коэффициентами для поддиапазона. Весовые коэффициенты (и, таким образом, оценки весовых коэффициентов) для поддиапазона имеют разные амплитуды (и, таким образом, энергии) по меньшей мере для некоторых значений сигналов первого и второго каналов. Каждый частотно-временной интервал может, в частности, соответствовать сегменту времени и частотному поддиапазону кодирования/декодирования.
Параметрические данные повышающего микширования содержат параметры, которые могут использоваться для формирования сигнала с повышающим микшированием, соответствующего первоначальному подвергнутому понижающему микшированию многоканальному сигналу, из сигнала понижающего микширования. Параметрические данные повышающего микширования могут, в частности, содержать параметры разности уровней между каналами (ILD), когерентности/корреляции между каналами (IC/ICC), разности фаз между каналами (IPD) и/или разности времени между каналами (ITD). Параметры могут быть обеспечены для поддиапазонов частоты и с подходящим интервалом обновления. В частности, множество параметров может быть обеспечено для каждого множества диапазонов частот для каждого сегмента времени кодирования/декодирования. Диапазоны частот и/или сегменты времени, используемые для параметрических данных, могут быть идентичны используемым для сигнала понижающего микширования, но необязательно. Например, одинаковые поддиапазоны частот могут использоваться для низких частот, но не для более высоких частот. Таким образом, частотно-временное разрешение для первого и второго весовых коэффициентов и параметров параметрических данных повышающего микширования не обязательно должны быть идентичными.
Один коэффициент из первого и второго весовых коэффициентов (и, таким образом, соответствующие оценки весовых коэффициентов) может для некоторых значений сигнала быть нулевым в одном поддиапазоне. Комбинация сигналов первого и второго канала может представлять собой линейную комбинацию, в частности, линейную сумму, в которой перед суммированием каждый сигнал масштабируется посредством соответствующего весового коэффициента.
Многоканальный сигнал содержит два или более каналов. В частности, многоканальный сигнал может быть сигналом с двумя каналами (стерео).
Подход может, в частности, смягчить проблемы с несовпадением по фазе, чтобы обеспечить более устойчивую систему, одновременно поддерживая низкую сложность и низкую скорость передачи данных. В частности, подход может позволить определять различные весовые коэффициенты (с разными амплитудами) без необходимости отправки дополнительных данных. Таким образом, может быть достигнуто улучшенное качество звука без необходимости увеличения скорости передачи данных.
Определение первой и/или второй оценок весовых коэффициентов может использовать тот же самый подход, который (как предполагается) используется для того определения первого и/или второго весовых коэффициентов в кодере. Во многих вариантах осуществления один или оба весовых коэффициента/оценки весовых коэффициентов могут быть определены на основе предполагаемой функции для определения весового коэффициента/оценки весового коэффициента из параметрических данных повышающего микширования.
Декодер может не иметь явной информации о точных характеристиках принятого сигнала, но может просто предполагать, что сигнал понижающего микширования представляет собой комбинацию по меньшей мере сигнала первого канала с первым весовым коэффициентом и сигнала второго канала со вторым весовым коэффициентом, причем первый весовой коэффициент и второй весовой коэффициент имеют разные амплитуды по меньшей мере для некоторых частотно-временных интервалов. Частотно-временные интервалы могут соответствовать временному интервалу, частотному интервалу или комбинации временного интервала и частотного интервала, например, поддиапазону частот во временном сегменте.
В соответствии с факультативным признаком изобретения схема выполнена с возможностью формировать оценку первого весового коэффициента и оценку второго весового коэффициента с разными отношениями по меньшей мере с некоторыми параметрами из параметрических данных по меньшей мере для некоторых частотно-временных интервалов.
Это может дать возможность улучшенной системы кодирования/декодирование и может, в частности, смягчить проблемы несовпадения по фазе, чтобы обеспечить более надежную систему. Функции для определения оценок весовых коэффициентов из параметров, таким образом, могут отличаться для этих двух весовых коэффициентов таким образом, что одинаковые параметры дадут в результате оценки весовых коэффициентов с различными амплитудами.
Кодер соответственно может быть выполнен с возможностью определять первый весовой коэффициент и второй весовой коэффициент, имеющие разные отношения по меньшей мере с некоторыми параметрами из параметрических данных в течение по меньшей мере некоторых частотно-временных интервалов.
Частотно-временной интервал может соответствовать временному интервалу, частотному интервалу или комбинации временного интервала и частотного интервала, например поддиапазону частот во временном сегменте.
В соответствии с факультативным признаком изобретения блок повышающего микширования выполнен с возможностью определять по меньшей мере одну оценку из оценки первого весового коэффициента и оценки второго весового коэффициента как функцию параметра энергии из параметрических данных повышающего микширования, параметр энергии является показателем относительной характеристикой энергии для сигнала первого канала и сигнала второго канала.
Это может обеспечить улучшенную производительность и/или упрощенную работу и/или реализацию. Учет энергии может быть особенно важным для определения подходящих весовых коэффициентов, и они могут быть соответственно лучше представлены и коррелированы с параметрами энергии из параметрических данных повышающего микширования. Таким образом, использование параметров энергии для определения весовых коэффициентов/оценок весовых коэффициентов позволяет эффективно передавать информацию, дающую возможность определить весовые коэффициенты/оценки весовых коэффициентов с разными амплитудами. В частности, использование параметров энергии для определения весовых коэффициентов/оценок весовых коэффициентов дает возможность эффективного определения амплитуды весовых коэффициентов, а не только фазы весовых коэффициентов. Параметры энергии могут, в частности, предоставить информацию о характеристиках энергии (или эквивалентно мощности) либо сигнала первого канала, либо сигнала второго канала, либо разности между ними, либо энергии объединенного сигнала (например, характеристику взаимной мощности).
В соответствии с факультативным признаком изобретения параметр энергии представляет собой по меньшей мере один из параметров: параметра разности интенсивности между каналами, IID; параметра разности уровней между каналами, ILD; и параметра когерентности/корреляции между каналами, IC/ICC.
Это может обеспечить особенно выгодную производительность и может обеспечить улучшенную обратную совместимость.
В соответствии с факультативным признаком изобретения параметрические данные повышающего микширования содержат показание точности для отношения между первым весовым коэффициентом и вторым весовым коэффициентом и параметрическими данными повышающего микширования, и декодер выполнен с возможностью формировать по меньшей мере одну оценку из оценки первого весового коэффициента и оценки второго весового коэффициента в ответ на показание точности.
Это может обеспечить улучшенную производительность во многих сценариях и может, в частности, дать возможность улучшенного определения более точных оценок весовых коэффициента для разных условий сигнала.
Показание точности может являться показателем точности, который может быть получен для оценки весового коэффициента при вычислении его из параметрических данных. Показание точности может, в частности указывать, соответствует ли достижимая точность критерию точности или нет. Например, показание точности может быть двоичным показанием, просто указывающим, могут ли использоваться параметрические данные или нет. Показание точности может содержать отдельное значение для каждого поддиапазона или может содержать одно или более показаний, применимых ко множеству или даже всем поддиапазонам.
Декодер может быть выполнен с возможностью оценивать оценки весовых коэффициентов из параметрических данных, только если показание точности является показателем достаточной точности.
В соответствии с факультативным признаком изобретения по меньшей мере один коэффициент из первого весового коэффициента и второго весового коэффициента по меньшей мере для одного частотного интервала имеет лучшее частотно-временное разрешение, чем соответствующий параметр из параметрических данных повышающего микширования.
Это может обеспечить улучшенную производительность во многих сценариях, поскольку более точные весовые коэффициенты могут использоваться для формирования сигнала понижающего микширования, одновременно позволяя поддерживать низкую скорость передачи данных.
Аналогичным образом по меньшей мере одна оценка из оценки первого весового коэффициента и оценки второго весового коэффициента по меньшей мере для одного частотного интервала может иметь лучшее частотно-временное разрешение, чем соответствующий параметр из параметрических данных повышающего микширования.
Соответствующий параметр представляет собой параметр, который включает в себя тот же самый частотно-временной интервал. Во многих вариантах осуществления декодер может продолжить формировать оценку для первого и/или второго весового коэффициента на основе соответствующего параметра. Таким образом, хотя параметр может представить характеристики сигнала за большее время и/или больший частотный интервал, он может все еще использоваться в качестве приближения в течение времени и/или частотного интервала весового коэффициента.
В соответствии с факультативным признаком изобретения блок повышающего микширования выполнен с возможностью формировать значение полной разности фаз для параметрических данных и выполнять повышающее микширование в ответ на значение полной разности фаз, значение полной разности фаз зависит от оценки первого весового коэффициента и оценки второго весового коэффициента.
Это может дать возможность эффективного декодирования с высоким качеством. Это может в некоторых сценариях обеспечить улучшенную обратную совместимость. Полная разность фаз (OPD) индивидуально зависит и от оценок первого и второго весовых коэффициентов (в том числе их амплитуд) и, в частности, может быть определена как функция весовых коэффициентов, то есть, OPD=f(w1, w2).
Повышающее микширование, например, может быть формировано в значительной степени как:
Figure 00000001
где s - сигнал понижающего микширования, и sd - сформированный декодером декоррелированный сигнал для сигнала понижающего микширования. c1 и c2 - коэффициенты, которые используются для восстановления корректной разности уровней между левым и правым выходными каналами и α и β - значения, которые могут быть сформированы из параметрических данных повышающего микширования.
Значение OPD, например, может быть сформировано в значительной степени как:
Figure 00000002
или, например, в значительной степени как:
Figure 00000003
где w1 и w2 - первый и второй весовые коэффициенты, соответственно, и сигнал понижающего микширования сформирован посредством s=w1∙l+w2∙r.
В соответствии с факультативным признаком изобретения повышающее микширование не зависит от амплитуды по меньшей мере одной оценки из оценки первого весового коэффициента и оценки второго весового коэффициента за исключением значения полной разности фаз.
Это может дать возможность улучшенной производительности и/или работы.
В соответствии с факультативным признаком изобретения блок повышающего микширования выполнен с возможностью: формировать декоррелированный сигнал из сигнала понижающего микширования, декоррелированный сигнал декоррелирован с помощью понижающего микширования; выполнять повышающее микширование сигнала понижающего микширования посредством применения матричного умножения к сигналу понижающего микширования и декоррелированному сигналу, причем коэффициенты матричного умножения зависят от оценки первого весового коэффициента и оценки второго весового коэффициента.
Это может дать возможность эффективного декодирования с высоким качеством. Это может в некоторых сценариях обеспечить улучшенную обратную совместимость.
Матричное умножение может включать в себя коэффициент предсказания, представляющий предсказание сигнала разности из сигнала понижающего микширования. Коэффициент предсказания может быть определен из весовых коэффициентов. Матричное умножение может включать в себя масштабирующий коэффициент декорреляции, представляющий вклад сигнала разности из сигнала декорреляции. Масштабирующий коэффициент декорреляции может быть определен из весовых коэффициентов.
Коэффициенты матричного умножения могут быть определены из оцененных весовых коэффициентов. Разные коэффициенты могут иметь разные зависимости от первого и второго весовых коэффициентов, и первый и второй весовые коэффициенты могут по-разному влиять на каждый коэффициент.
Повышающее микширование может, в частности, быть выполнено в значительной степени как:
Figure 00000004
где α - коэффициент предсказания, β - масштабирующий коэффициент декорреляции, s - сигнал понижающего микширования, sd - сформированный декодером декоррелированный сигнал, w1, и w2 - первый и второй весовые коэффициенты, соответственно, и * обозначает комплексное спряжение.
α и/или β могут быть определены из оцененных весовых коэффициентов и параметрических данных, например, в значительной степени как:
Figure 00000005
Figure 00000006
В соответствии с факультативным признаком изобретения блок повышающего микширования выполнен с возможностью определять оценку первого весового коэффициента посредством: определения первого количественного показателя энергии, являющегося показателем энергии не выровненной по фазе комбинации для сигнала первого канала и сигнала второго канала в ответ на параметрические данные повышающего микширования; определения второго количественного показателя энергии, являющегося показателем энергии выровненной по фазе комбинации первого канала и второго канала в ответ параметрические данные повышающего микширования; определения первого количественного показателя энергии относительно второго количественного показателя энергии; определения оценки первого весового коэффициента в ответ на первый количественный показатель.
Это может обеспечить очень выгодное определение оценки первого весового коэффициента. Признак может обеспечить улучшенную производительность и/или упрощенную работу.
Первый количественный показатель энергии может представлять собой показание относительно энергии суммирования сигнала первого канала и сигнала второго канала. Второй количественный показатель энергии может представлять собой показание относительно энергии когерентного суммирования сигнала первого канала и сигнала второго канала. Первый количественный показатель может представлять показание относительно степени фазовой нейтрализации между сигналом первого канала и сигналом второго канала. Первый и/или второй количественный показатель энергии может являться любым показанием относительно энергии и может, в частности, относиться к нормализованным количественным показателям энергии, например, относительно энергии сигнала первого и/или второго канала.
Первый количественный показатель, например, может быть определен как отношение между первым количественным показателем энергии и вторым количественным показателем энергии. Например, первый количественный показатель может быть определен в значительной степени как:
Figure 00000007
Первый весовой коэффициент может быть определен как нелинейная и/или монотонная функция первого количественного показателя. Второй весовой коэффициент, например, может быть определен из первого весового коэффициента, например, таким образом, чтобы сумма амплитуд этих двух весовых коэффициентов имела предопределенное значение. В некоторых вариантах осуществления формирование первого и/или второго весового коэффициента может включать в себя нормализацию энергии сигнала понижающего микширования. Например, весовые коэффициенты могут быть масштабированы, чтобы они давали в результате сигнал понижающего микширования в значительной степени с той же самой энергией, как сумма энергии сигнала левого канала и энергии сигнала правого канала.
Весовые коэффициенты, в частности, могут быть сформированы в значительной степени следующим образом:
Figure 00000008
или
q=r1/4
при объединении с
g1=2-q,
g2=q,
дает в результате
w1=g1∙c,
w2=g2∙c,
где c выбран для обеспечения требуемой нормализации энергии.
Кодер может выполнить такие же операции и вывод первого весового коэффициента (и, возможно, второго весового коэффициента), как описано в отношении кодера.
В соответствии с факультативным признаком изобретения блок повышающего микширования выполнен с возможностью определять оценку первого весового коэффициента посредством: определения в ответ на параметрические данные для каждого множества пар предопределенных значений первого весового коэффициента и второго весового коэффициента количественного показателя энергии, являющегося показателем энергии сигнала понижающего микширования, соответствующего парам предопределенных значений; и определения первого весового коэффициента в ответ на количественные показатели энергии и пары предопределенных значений.
Это может обеспечить очень выгодное определение оценки первого весового коэффициента. Признак может обеспечить улучшенную производительность и/или упрощенную работу.
Декодер может предположить, что сигнал понижающего микширования представляет собой комбинацию множества сигналов понижающего микширования с использованием предопределенных фиксированных весовых коэффициентов, причем комбинация зависит от энергии сигнала каждого сигнала понижающего микширования. Таким образом, оценка первого весового коэффициента (и/или оценка второго весового коэффициента) может быть определена как соответствующая комбинации предопределенных весовых коэффициентов, причем комбинация отдельных предопределенных весовых коэффициентов определена в ответ на предполагаемую энергию (или эквивалентно мощность) каждого из сигналов понижающего микширования. Предполагаемая энергия для каждого сигнала понижающего микширования может быть определена на основе параметрических данных повышающего микширования.
В частности, оценка первого весового коэффициента может быть определена посредством комбинации пар предопределенных значений с присвоением весового коэффициента каждой пары предопределенных значений в зависимости от количественного показателя энергии для пары предопределенных значений.
Количественный показатель энергии для пары предопределенных значений, в частности, может быть определен в значительной степени как:
Figure 00000009
где m - индекс для пары предопределенных весовых коэффициентов, и M(m,k) представляет k-ый весовой коэффициент m-ой пары предопределенных весовых коэффициентов.
В некоторых вариантах осуществления смещение может быть применено к одной или более пар весовых коэффициентов. Например, количественный показатель энергии может быть определен как:
Figure 00000010
где b(m) - функция смещения, которая может внести дополнительное смещение для одного или более сигналов понижающего микширования. Функция смещения может являться функцией параметрических данных повышающего микширования.
В соответствии с аспектом изобретения обеспечен кодер для формирования закодированного представления многоканального аудиосигнала, содержащего по меньшей мере первый канал и второй канал, кодер содержит: блок понижающего микширования для формирования сигнала понижающего микширования как комбинации по меньшей мере сигнала первого канала с первым весовым коэффициентом и сигнала второго канала со вторым весовым коэффициентом, первый весовой коэффициент и второй весовой коэффициент имеют разные амплитуды по меньшей мере для некоторых частотно-временных интервалов; схему для формирования параметрических данных повышающего микширования, характеризующих отношение между сигналом первого канала и сигналом второго канала, параметрические данные повышающего микширования дополнительно характеризуют первый весовой коэффициент и второй весовой коэффициент; и схему для формирования закодированного представления, включающего в себя сигнал понижающего микширования и параметрические данные повышающего микширования.
Это может обеспечить особенно выгодное кодирование, которое может являться совместимым с описанным выше декодером. Будет понятно, что большинство комментариев, представленных в отношении декодера, одинаково применимы также и к кодеру.
Первый и второй весовые коэффициенты могут не быть включены в параметрические данные повышающего микширования или действительно могут не быть переданы или распространены кодером. Сигнал понижающего микширования может быть закодирован в соответствии с любым подходящим алгоритмом кодирования.
В соответствии с факультативным признаком изобретения блок понижающего микширования выполнен с возможностью: определять первый количественный показатель энергии, являющийся показателем не выровненной по фазе комбинации для сигнала первого сигнала и сигнала второго канала; определять второй количественный показатель энергии, являющийся показателем выровненной по фазе комбинации для сигнала первого сигнала и сигнала второго канала; определять первый количественный показатель первого количественного показателя энергии относительно второго количественного показателя энергии; и определять первый весовой коэффициент и второй весовой коэффициент в ответ на первый количественный показатель.
Это может обеспечить особенно выгодное кодирование.
В соответствии с факультативным признаком изобретения блок понижающего микширования выполнен с возможностью: для каждого множества пар предопределенных значений первого весового коэффициента и второго весового коэффициента формировать сигнал понижающего микширования; для каждого из сигналов понижающего микширования определять количественный показатель энергии, являющийся показателем энергии сигнала понижающего микширования; и формировать сигнал понижающего микширования посредством комбинирования сигналов понижающего микширования в ответ на количественные показатели энергии.
Это может обеспечить особенно выгодное кодирование.
В соответствии с аспектом изобретения обеспечен способ формирования многоканального аудиосигнала, способ содержит этапы, на которых: принимают сигнал понижающего микширования, являющегося комбинацией по меньшей мере сигнала первого канала с первым весовым коэффициентом и сигнала второго канала со вторым весовым коэффициентом, первый весовой коэффициент и второй весовой коэффициент имеют разные амплитуды по меньшей мере для некоторых частотно-временных интервалов; принимают параметрические данные повышающего микширования, характеризующие отношение между сигналом первого канала и сигналом второго канала; формируют оценку первого весового коэффициента для первого весового коэффициента и оценку второго весового коэффициента для второго весового коэффициента из параметрических данных повышающего микширования; и формируют многоканальный аудиосигнал посредством повышающего микширования сигнала понижающего микширования в ответ на параметрические данные повышающего микширования, оценку первого весового коэффициента и оценку второго весового коэффициента, повышающее микширование зависит от амплитуды по меньшей мере одной оценки из оценки первого весового коэффициента и оценки второго весового коэффициента.
В соответствии с аспектом изобретения обеспечен способ формирования закодированного представления многоканального аудиосигнала, содержащего по меньшей мере первый канал и второй канал, способ содержит этапы, на которых: формируют сигнал понижающего микширования как комбинацию по меньшей мере сигнала первого канала с первым весовым коэффициентом и сигнала второго канала со вторым весовым коэффициентом, первый весовой коэффициент и второй весовой коэффициент имеют разные амплитуды по меньшей мере для некоторых частотно-временных интервалов; формируют параметрические данные повышающего микширования, характеризующие отношение между сигналом первого канала и сигналом второго канала, параметрические данные повышающего микширования дополнительно характеризуют первый весовой коэффициент и второй весовой коэффициент; и формируют закодированное представление, включающее в себя сигнал понижающего микширования и параметрические данные повышающего микширования.
В соответствии с аспектом изобретения обеспечен битовый аудиопоток для многоканального аудиосигнала, содержащего сигнал понижающего микширования, являющийся комбинацией по меньшей мере сигнала первого канала с первым весовым коэффициентом и сигнала второго канала со вторым весовым коэффициентом, первый весовой коэффициент и второй весовой коэффициент имеют разные амплитуды по меньшей мере для некоторых частотно-временных интервалов; и параметрические данные повышающего микширования, характеризующие отношение между сигналом первого канала и сигналом второго канала, параметрические данные повышающего микширования дополнительно характеризуют первый весовой коэффициент и второй весовой коэффициент. Первый и второй весовые коэффициенты могут не быть включены в битовый поток.
Эти и другие аспекты, отличительные признаки и преимущества изобретения будут понятны и разъяснены со ссылкой на варианты осуществления, описанные далее.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Варианты осуществления изобретения будут описаны только в качестве примера со ссылкой на чертежи.
Фиг. 1 - иллюстрация системы распространения аудио в соответствии с некоторыми вариантами осуществления изобретения;
Фиг. 2 - иллюстрация элементов аудиокодера в соответствии с некоторыми вариантами осуществления изобретения;
Фиг. 3 - иллюстрация элементов аудиокодера в соответствии с некоторыми вариантами осуществления изобретения; и
Фиг. 4 - иллюстрация элементов аудиодекодера в соответствии с некоторыми вариантами осуществления изобретения.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Следующее описание сосредоточено на вариантах осуществления изобретения, применимых к кодированию и декодированию многоканального сигнала с двумя каналами (то есть, стереосигнала). В частности, описание сосредоточено на понижающем микшировании стереосигнала в моносигнал понижающего микширования и соответствующие параметры и на соответствующем повышающем микшировании. Однако будет понятно, что изобретение не ограничено этим применением и может быть применено ко многим другое многоканальным системам (в том числе стерео), таким как, например MPEG Surround и параметрическое стерео в стандарте HE-AAC v2.
Фиг. 1 иллюстрирует систему 100 передачи для передачи аудиосигнала в соответствии с некоторыми вариантами осуществления изобретения. Система 100 передачи содержит передатчик 101, который соединен с приемником 103 через сеть 105, которая, в частности, может представлять собой Интернет.
В конкретном примере передатчик 101 представляет собой устройство записи сигнала, и приемник 103 представляет собой устройство воспроизведения сигнала, но следует понимать, что в других вариантах осуществления передатчик и приемник могут использоваться для других применений и в других целях. Например, передатчик 101 и/или приемник 103 могут являться частью функции транскодирования и могут, например, обеспечивать взаимодействие через интерфейс для других источников или адресатов сигнала.
В конкретном примере, в котором поддерживается функция записи сигнала, передатчик 101 содержит цифровой преобразователь 107, который принимает аналоговый сигнал, преобразовываемый в цифровой многоканальный сигнал с импульсно-кодовой модуляцией (PCM) посредством дискретизации и аналого-цифрового преобразования.
Цифровой преобразователь 107 присоединен к кодеру 109 на Фиг. 1, который кодирует многоканальный сигнал с модуляцией PCM в соответствии с алгоритмом кодирования. Кодер 109 присоединен к сетевому передатчику 111, который принимает закодированный сигнал и взаимодействует через интерфейс с Интернетом 105. Сетевой передатчик может передавать закодированное сообщение приемнику 103 через Интернет 105.
Приемник 103 содержит сетевой приемник 113, который взаимодействует через интерфейс с Интернетом 105, и который выполнен с возможностью принимать закодированный сигнал от передатчика 101.
Сетевой приемник 113 присоединен к декодеру 115. Декодер 115 принимает закодированный сигнал и декодирует его в соответствии с алгоритмом декодирования.
В конкретном примере, в котором поддерживается функция воспроизведения сигнала, приемник 103 дополнительно содержит проигрыватель 117 сигнала, который принимает декодированный аудиосигнал от декодера 115 и представляет его пользователю. В частности, проигрыватель 117 сигнала может содержать цифро-аналоговый преобразователь, усилители и динамики, требуемые для вывода декодированного многоканального аудиосигнала.
Фиг. 2 иллюстрирует кодер 109 более подробно. Принятые сигналы левого и правого каналов сначала преобразовываются в частотную область. В конкретном примере сигнал правого канала подается на первый преобразователь 201 частотных поддиапазонов, который преобразовывает сигнал первого канала во множество частотных поддиапазонов. Аналогичным образом, сигнал левого канала подается на второй преобразователь 203 частотных поддиапазонов, который преобразовывает сигнал левого канала во множество частотных поддиапазонов.
Преобразованные в поддиапазоны сигналы правого и левого каналов подаются в процессор 205 понижающего микширования, который выполнен с возможностью формировать сигнал понижающего микширования из стереосигналов, как будет описано более подробно позже. В конкретном примере сигнал понижающего микширования представляет собой моносигнал, который сформирован посредством комбинирования отдельных поддиапазонов сигналов правого и левого каналов для формирования моносигнала понижающего микширования в поддиапазонах частотной области. Таким образом, понижающее микширование выполняется на основе поддиапазонов. Процессор 205 понижающего микширования присоединен к кодеру 207 сигнала понижающего микширования, который принимает моносигнал понижающего микширования и кодирует его в соответствии с подходящим алгоритмом кодирования. Моносигнал понижающего микширования, переданный кодеру 207 сигнала понижающего микширования, может представлять собой сигнал в поддиапазонах частотной области или он может быть сначала преобразован обратно во временную область.
Кодер 109, кроме того, содержит параметрический процессор 209, который формирует параметрические пространственные данные, которые могут использоваться декодером 115 для повышающего микширования сигнала понижающего микширования в многоканальный сигнал.
В частности, параметрический процессор 209 может группировать частотные поддиапазоны по шкалам в барках или ERB (Equivalent Rectangular Bandwidth), для которых извлечены признаки стереосигнала. Параметрический процессор 209 может, в частности, использовать стандартный подход для формирования параметрических данных. В частности, могут использоваться алгоритмы, известные из технологии параметрического стерео и окружающего звука MPEG (Parametric Stereo and MPEG Surround). Таким образом, параметрический процессор 209 может формировать разность уровней между каналами (ILD), когерентность/корреляцию между каналами (IC/ICC), разность фаз между каналами (IPD) или разность времени между каналами (ITD) для каждого параметрического поддиапазона, как будет известно специалисту.
Параметрический процессор 209 и кодер 207 сигнала понижающего микширования присоединены к выходному процессору 211 данных, который мультиплексирует закодированные данные сигнала понижающего микширования и параметрические данные для формирования сигнала с компактными закодированными данными, который, в частности, может представлять собой битовый поток.
Фиг. 3 иллюстрирует принцип формирования сигнала понижающего микширования кодера 109 и иллюстрирует ссылки, которые будут использоваться в последующем описании. Как проиллюстрировано, входные сигналы левого (l) и правого (r) каналов отдельно вводятся в первый и второй преобразователи 201, 203 частотных поддиапазонов. Выдаются K сигналов частотных поддиапазонов l1..., lK и r1,..., rK, соответственно, которые подаются в процессор 205 понижающего микширования. Процессор 205 понижающего микширования из сигналов частотных поддиапазонов левого и правого каналов (l1,..., lK и r1,..., rK) формирует сигнал (d1,..., dK)понижающего микширования, который подается на кодер 207 сигнала понижающего микширования для формирования сигнала d понижающего микширования во временной области, который затем может быть закодирован (в некоторых вариантах осуществления кодируется непосредственно сигнал понижающего микширования частотных поддиапазонов).
В традиционных системах понижающее микширование выполняется посредством линейного суммирования сигналов левого и правого каналов в каждом поддиапазоне. Как правило, пассивное понижающее микширование выполняется посредством простого суммирования или усреднения сигнала левого канала и сигнала правого канала. Однако такой подход приводит к существенным проблемам, когда сигналы левого и правого каналов близки к не совпадению по фазе друг с другом, поскольку получающийся в результате суммирования сигнал в значительной степени уменьшится и даже может уменьшиться до нуля для абсолютно несовпадающих по фазе сигналов. В некоторых традиционных системах суммированные сигналы могут быть масштабированы для получения сигнала понижающего микширования с энергией, соответствующей входным сигналам. Однако это по-прежнему может быть проблематично, поскольку относительная ошибка и погрешность отсчета сформированного сигнала понижающего микширования становятся более существенными для малых значений. Нормализация энергии будет масштабировать не только сигнал понижающего микширования, но также и этот соответствующий сигнал ошибки. Действительно, для абсолютно несовпадающих по фазе сигналов полученный суммарный или средний сигнал равен нулю и, соответственно, не может быть масштабирован.
В некоторых системах используется взвешенное суммирование, в котором весовые коэффициенты представляют собой не просто единичные или скалярные значения, но, кроме того, задают фазовый для сигналов левого и правого каналов. Этот подход используется для обеспечения фазового выравнивания, с тем чтобы суммирование сигналов левого и правого каналов выполнялось в фазе, то есть он используется для фазового выравнивания сигналов для когерентного суммирования. Однако формирование такого сигнала понижающего микширования с фазовым выравниванием имеет много недостатков. В частности, оно обычно представляет собой сложную и неоднозначную операцию, которая может привести к уменьшению качества звука.
Однако, в отличие от этих подходов, сигнал понижающего микширования системы, показанной на Фиг. 1-3, формируется посредством использования весовых коэффициентов, которые могут иметь не только разные фазы, но также могут иметь разные амплитуды. Таким образом, амплитуда весовых коэффициентов для двух каналов может по меньшей мере для некоторых характеристик сигнала иметь различные значения. Таким образом, в сформированном сигнале понижающего микширования весовые коэффициенты двух стереоканалов отличаются.
Кроме того, применяемые весовые коэффициенты поддиапазонов для комбинации левых и правых сигналов поддиапазонов в поддиапазон сигнала понижающего микширования также зависят от сигнала и изменяются как функция характеристик сигнала для сигналов левого и правого каналов. В частности, в каждом поддиапазоне весовые коэффициенты определяются зависящими от характеристик сигнала в поддиапазоне. Таким образом, и фаза, и амплитуда зависят от сигнала и могут изменяться. Таким образом, амплитуда весовых коэффициентов будет изменяться со временем.
В частности, весовые коэффициенты могут быть изменены таким образом, что для сигналов левого и правого каналов, которые все более не совпадают друг с другом по фазе, вводится смещение к разным амплитудам для весовых коэффициентов. Например, разность амплитуд между весовыми коэффициентами может зависеть от количественного показателя взаимной мощности для сигналов левого и правого каналов. Количественный показатель взаимной мощности может представлять собой взаимную корреляцию сигналов левого и правого каналов. Количественный показатель взаимной мощности может являться нормализованным количественным показателем относительно энергии по меньшей мере в одном из правого и левого каналов.
Таким образом, весовые коэффициенты и, в частности, фаза и амплитуда в конкретном примере зависят от количественных показателей энергии для сигнала левого канала и сигнала правого канала, а также от корреляции между ними (например, представленной количественным показателем взаимной мощности).
Весовые коэффициенты определяются из характеристик сигналов левого и правого каналов и могут, в частности, быть определены без учета параметрических данных, сформированных параметрическим процессором 209. Однако, как будет продемонстрировано позже, сформированные параметрические данные также зависят от энергий сигналов, и это может позволить декодеру воссоздавать весовые коэффициенты, используемые в сигнале понижающего микширования, из параметрических данных. Таким образом, хотя используются переменные весовые коэффициенты с разными амплитудами, нет необходимости явно передавать эти весовые коэффициенты декодеру, но они могут быть оценены на основе принятых параметрических данных. Таким образом, несмотря на ожидания, для поддержки весовых коэффициентов с разными амплитудами не должны передаваться никакие дополнительные данные.
Кроме того, разные весовые коэффициенты могут использоваться, чтобы избежать или смягчить проблемы несовпадения по фазе, связанные с традиционным фиксированным суммированием, без необходимости выполнения фазового выравнивания и привнесения связанных с ним недостатков.
Например, может быть сформирован количественный показатель, являющийся показателем не выровненной по фазе комбинации сигналов левого и правого каналов относительно объединенной мощности сигналов левого и правого каналов. В частности, мощность/энергия суммарного сигнала для сигналов левого и правого каналов может быть определена и может относиться к сумме мощности/энергии сигнала левого канала и мощности/энергии сигнала правого канала. Большее значение этого количественного показателя укажет, что сигналы левого и правого каналов находятся в фазе, и что в соответствии с этим симметричные (уравновешенные по энергии) весовые коэффициенты могут использоваться для сигнала понижающего микширования. Однако для все более несовпадающих по фазе сигналов первая мощность (суммарного сигнала) уменьшается до нуля, и, таким образом, меньшее значение количественного показателя укажет, что сигналы левого и правого каналов все более не совпадают по фазе, и что в соответствии с этим простое суммирование не будет полезным в качестве сигнала понижающего микширования. В соответствии с этим весовые коэффициенты могут быть все более асимметричны в результате большего вклада от одного канала по сравнению с другим каналом в сигнале понижающего микширования, и тем самым сокращается уничтожение одного сигнала другим. Действительно, для несовпадающих по фазе сигналов сигнал понижающего микширования, например, может быть определен просто как один из сигналов левого и правого каналов, то есть энергия одного весового коэффициента может быть равна нулю.
В качестве более конкретного примера может быть определен количественный показатель r, отражающий отношение между энергией суммы сигналов левого и правого каналов и выровненными по фазе сигналами левого и правого каналов (то есть, энергией после когерентного сложения в фазе сигналов левого и правого каналов):
Figure 00000011
где ipd - разность фаз между сигналами левого и правого каналов (которая также представляет собой один из параметров, определенных параметрическим процессором 209),<.> обозначает внутреннее произведение, и E{.} - оператор математического ожидания.
Приведенное выше относительное значение, таким образом, сформировано, чтобы отражать относительное отношение между количественным показателем энергии для суммы сигналов левого и правого каналов и количественным показателем энергии, являющимся показателем энергии выровненной по фазе комбинации сигналов левого и правого каналов. Затем из этого относительного значения определяются весовые коэффициенты.
Отношение r является показателем того, насколько два сигнала не совпадают по фазе. В частности, для абсолютно несовпадающих по фазе сигналов отношение равно 0, и для полностью совпадающих по фазе сигналов отношение равно 1. Таким образом, отношение обеспечивает нормализованный ([0,1]) количественный показатель того, какое уменьшение энергии происходит вследствие разностей фаз между левым и правым каналами.
Можно показать, что:
Figure 00000012
где El и Er - энергии сигналов левого и правого каналов, и Elr - взаимная корреляция между сигналами левого и правого каналов.
Затем с использованием
Figure 00000013
где iid - разность интенсивности между каналами, и icc - когерентность между каналами, можно получить:
Figure 00000014
Таким образом, как проиллюстрировано, количественный показатель r, который является показателем того, насколько сигналы не совпадают по фазе, может быть получен из параметрических данных и, таким образом, может быть определен декодером 115 без необходимости передачи каких-либо дополнительных данных.
Это отношение может использоваться для формирования весовых коэффициентов для сигналов понижающего микширования. В частности, сигнал понижающего микширования может в каждом поддиапазоне быть сформирован как:
d (n)=w1l(n)+w2r(n).
Весовые коэффициенты могут быть сформированы из отношения r таким образом, что асимметрия (разность энергий) увеличивается по мере приближения r к нулю. Например, промежуточное значение может быть формировано как:
q=r1/4.
С использованием промежуточного значения q два коэффициента вычисляются как:
g1=2-q,
g2=q.
Весовые коэффициенты затем могут быть определены посредством факультативной нормализации энергии:
w1 = g1∙c,
w2 = g2∙c,
где c выбрано для обеспечения требуемой нормализации. В частности, c может быть выбрано таким образом, что энергия получающегося в результате сигнала понижающего микширования равна сумме мощности сигнала левого канала и мощности сигнала правого канала.
В качестве другого примера промежуточное значение может быть сформировано как:
Figure 00000015
что обычно будет обеспечивать весовые коэффициенты, которые являются постоянными (или абсолютно симметричными или абсолютно асимметричными) для увеличивающегося разнообразия условий сигнала.
Таким образом, кодер 109 в таком варианте осуществления может использовать гибкое и динамическое понижающее микширование, при котором весовые коэффициенты автоматически адаптируются к заданным условиям сигнала таким образом, что можно избежать или смягчить недостатки, относящиеся к фиксированному понижающему микшированию или понижающему микшированию с фазовым выравниванием. Действительно, подход может постепенно и автоматически выполнять адаптацию от абсолютно симметричного понижающего микширования, обрабатывающего оба канала одинаково, до абсолютно асимметричного понижающего микширования, при котором один канал полностью игнорируется. Эта адаптация может позволить сигналу понижающего микширования обеспечивать улучшенный сигнал, на котором можно базировать повышающее микширование, одновременно формируя сигнал понижающего микширования, который может использоваться непосредственно (то есть, может использоваться в качестве моносигнала). Кроме того, описанный пример обеспечивает очень постепенный и гладкий переход разности энергий, тем самым обеспечивая улучшенное восприятие при прослушивании.
Кроме того, как будет продемонстрировано позже, это улучшение производительности может быть достигнуто без необходимости распределения каких-либо дополнительных данных для предоставления информации о выбранных весовых коэффициентах. В частности, как продемонстрировано выше, весовые коэффициенты могут быть определены из переданных параметрических данных и, как будет продемонстрировано позже, традиционные подходы для повышающего микширования на основе предположений о равных весовых коэффициентах понижающего микширования могут быть изменены и расширены, чтобы дать возможность повышающего микширования для весовых коэффициентов с разными энергиями (или, что эквивалентно, с разными амплитудами или мощностями).
Далее будет описан другой пример подхода к кодированию с использованием разных весовых коэффициентов понижающего микширования. В некоторых сценариях сигнал понижающего микширования может быть создан без использования параметрических данных. В других сценариях или вариантах осуществления параметрические данные также могут использоваться в кодере для определения весовых коэффициентов. Подход основан на определении множества промежуточных сигналов понижающего микширования с использованием предопределенных весовых коэффициентов (которые, в частности, могут быть симметричными по энергии, то есть могут иметь одинаковую энергию и, например, только привносить фазовое смещение). Промежуточные сигналы понижающего микширования затем объединяются в один сигнал понижающего микширования, причем каждому из промежуточных сигналов понижающего микширования присвоен весовой коэффициент в зависимости от энергии промежуточного сигнала понижающего микширования. Таким образом, промежуточные сигналы понижающего микширования, которые имеют низкую энергию, поскольку они произошли из комбинации в значительной степени несовпадающих по фазе сигналов, нагружаются ниже, чем промежуточные сигналы понижающего микширования, которые имеют высокую энергию, поскольку они произошли из более когерентных комбинаций. Получающийся в результате сигнал понижающего микширования затем может быть нормализован по энергии относительно входных сигналов.
Более подробно, множество различных априорных (промежуточных) сигналов понижающего микширования в поддиапазонах
Figure 00000016
формируется как:
Figure 00000017
Как правило, количество промежуточных сигналов понижающего микширования может поддерживаться малым, и тем самым в результате получается низкая сложность и уменьшенные вычислительные требования. В частности, количество промежуточных сигналов понижающего микширования в поддиапазонах составляет десять или меньше, и особенно выгодный компромисс между сложностью и производительностью был найден для четырех промежуточных сигналов понижающего микширования.
В конкретном примере четыре (P=4) априорных (предопределенных и фиксированных) промежуточных сигналов понижающего микширования используются с заданными весовыми коэффициентами:
p wp,1 wp,2
1 1 1
2 q q*
3 q* q
4 1 -1
при этом
Figure 00000018
, и * обозначает спряжение. Весовые коэффициенты также могут быть выражены в матричной форме:
Figure 00000019
Эти априорные сигналы понижающего микширования соответствуют оптимальным сигналам понижающего микширования для случаев, в которых сигналы левого и правого каналов равны по амплитуде и не совпадают по фазе на 0, 90, 180 или 270 градусов. В качестве альтернативы может быть использовано множество только из двух априорных сигналов понижающего микширования, p=1 и p=4.
Затем определяются энергии Ep,k(n) каждого из этих вариантов:
Figure 00000020
при этом w - факультативное окно с центром в отсчете с индексом n. Сигналы понижающего микширования в поддиапазонах объединяются для формирования нового сигнала понижающего микширования в поддиапазоне
Figure 00000021
Figure 00000022
где весовые коэффициенты αp,k определяются из относительной интенсивности сигналов понижающего микширования. Таким образом, разные промежуточные сигналы понижающего микширования объединяются в один сигнал понижающего микширования посредством присвоения весового коэффициента каждому из них в соответствии с их относительной интенсивностью.
Относительная интенсивность может быть основана на энергии, например,
Figure 00000023
где ε - малая положительная константа для предотвращения деления на ноль. Безусловно, также могут использоваться другие количественные показатели, такие как количественные показатели огибающей.
Окончательный сигнал dk понижающего микширования формируется из сигналов
Figure 00000021
посредством нормализации по энергии. В частности, может быть определена энергия сигналов
Figure 00000021
, и может быть выполнено необходимое масштабирование, чтобы сделать ее равной сумме энергий сигналов левого и правого каналов.
В качестве конкретного примера для каждого сигнала понижающего микширования смещенное отношение суммы энергий может быть вычислено как:
Figure 00000024
где b(m) - функция смещения, которая может внести дополнительное смещение для сигнала понижающего микширования по умолчанию в соответствии с:
Figure 00000025
Затем вычисляются два коэффициента:
Figure 00000026
и окончательные весовые коэффициенты определяются посредством нормализации по энергии:
w1 = g1∙c,
w2 = g2∙c,
где c выбрано таким образом, что энергия полученного сигнала понижающего микширования равна сумме мощности левого канала и мощности правого канала.
Следует отметить, что эти подходы позволяют декодеру 115 формировать весовые коэффициенты с использованием принятых параметрических данных и не требуют передачи какой-либо дополнительной информации.
Описанный подход избегает или смягчает недостатки как пассивного, так и активного (фиксированного) понижающего микширования, относящегося к несовпадающим по фазе сигналам, без необходимости использовать фазовое выравнивание с соответствующими недостатками.
Преимущество описанного подхода состоит в том, что линейная комбинация множества разных промежуточных сигналов понижающего микширования обеспечивает дополнительную устойчивость, поскольку проблемы несовпадения по фазе, вероятно, будут ограничены только одним или, возможно, двумя из сигналов понижающего микширования. Кроме того, при использовании только четырех промежуточных сигналов понижающего микширования могут быть достигнуты эффективные и низкие требования к вычислительным ресурсам.
Также следует отметить, что, в конечном счете, сигнал
Figure 00000021
понижающего микширования является просто линейной комбинацией сигналов левого и правого каналов, то есть,
Figure 00000027
где каждый βk,i, i=1,2 зависит от Ep,k и выбранного wp,q.
Также следует отметить, что Ep,k зависит от энергий левого и правого каналов и взаимной энергии. В частности, можно показать что:
Figure 00000028
где
Figure 00000029
обозначает действительную часть комплексного числа. Это дает возможность более простой в вычислительном отношении схемы, поскольку энергии промежуточных сигналов понижающего микширования не должны измеряться, и промежуточные сигналы понижающего микширования действительно не должны явно формироваться. Вместо этого значения αp,k могут быть получены из выбранных априорных весовых коэффициентов сигнала wp,q, понижающего микширования и энергии Ep,k, причем последняя непосредственно следует из измеренных энергий и взаимной энергии первоначальных сигналов, как указано выше.
Затем βk,i следует из выбранного wp,i и измеренных энергий и взаимной энергии, поскольку
Figure 00000030
Также компенсация энергии легко следует из входных энергий и знания βk,i.
Описанный подход может являться менее эффективным для сценариев, в которых корреляция между сигналами левого и правого каналов низка, или когда энергии сигнала левого и правого каналов в значительной степени отличаются. Однако в этих случаях хороший сигнал понижающего микширования обеспечивается посредством простой суммы сигнала левого и правого каналов.
Это соображение может использоваться для изменения подхода следующим образом. Во-первых, индекс модуляции μ определяется как
Figure 00000031
где E1, E2 и E12 - энергии сигнала левого канала, сигнала правого канала и взаимная энергия, соответственно. Следует отметить, что 0≤μ≤1.
Вычисление α теперь может быть адаптировано для предпочтения сигнала понижающего микширования p=1 (в предположении, что это соответствует среднему сигналу, как в нашем примере), если μ является низким, например:
Figure 00000032
Это приводит к созданию сигнала понижающего микширования, который имеет численную надежность, но также включает несовпадающие по фазе компоненты в сигнал понижающего микширования.
Следует снова отметить, что формирование сигнала понижающего микширования с использованием промежуточных фиксированных сигналов понижающего микширования основано на параметрах понижающего микширования, которые действительно зависимы от сигнала. Однако зависимость получающихся весовых коэффициентов сигнала понижающего микширования зависит только от энергий E1, E2 и взаимной энергии E12. Поскольку это также имеет место для параметрических данных (например, сформированных разностей ILD, IPD и IC), декодер 115 может получить примененные весовые коэффициенты из переданных параметрических данных. В частности, весовые коэффициенты могут быть найдены декодером посредством оценки таких же функций, как описано выше в отношении кодера 109.
Более подробно весовой коэффициент для заданного сигнала понижающего микширования может быть найден из параметров посредством сначала рассмотрения μ как:
Figure 00000033
Затем с использованием следующего отношения αp,k(n) может быть вычислен для всех p:
Figure 00000034
От этого βk, получается следующим образом:
Figure 00000035
Выше были описаны разные подходы кодеров, которые применяют зависящее от сигнала динамическое изменение весовых коэффициентов понижающего микширования (в том числе изменения амплитуды) для обеспечения более надежного и улучшенного сигнала понижающего микширования. Подходы, в частности, используют асимметричные весовые коэффициенты (с потенциально различными амплитудами) для улучшения производительности. Кроме того, как продемонстрировано, весовые коэффициенты сигнала понижающего микширования могут быть получены из весовых коэффициентов и, таким образом, могут быть определены декодером, тем самым делая возможной операцию декодера, которая выполняет повышающее микширование на основе предположения о подходе кодера, который использует разные энергии для весовых коэффициентов. Это повышающее микширование основывается только на сигнале понижающего микширования и пространственных параметрах и не требует никакой дополнительной информации. Таким образом, операция декодера была изменена для учета весовых коэффициентов, которые имеют разные амплитуды, и, таким образом, не основывается на предположении о равных весовых коэффициентах амплитуд сигнала понижающего микширования, как в традиционных декодерах. Далее будут описаны различные примеры таких декодеров и будет продемонстрировано, что не только подходы повышающего микширования могут быть изменены для работы с асимметричными весовыми коэффициентами амплитуд сигнала понижающего микширования, но, кроме того, это может быть достигнуто на основе существующих параметрических данных и без необходимости передачи дополнительных данных.
Фиг. 4 иллюстрирует пример декодера в соответствии с некоторыми вариантами осуществления изобретения.
Декодер содержит приемник 401, который принимает поток данных от кодера 109. Приемник 401 присоединен к параметрическому процессору 403, который принимает параметрические данные из потока данных. Таким образом, параметрический процессор 403 принимает значения IID, IPD и ICC из потока данных.
Приемник 401, кроме того, присоединен к декодеру 405 сигнала понижающего микширования, который декодирует принятый закодированный сигнал понижающего микширования. Декодер 405 сигнала понижающего микширования выполняет функцию, обратную функции кодера 207 сигнала понижающего микширования из кодера 109 и, таким образом, формирует декодированный сигнал поддиапазона частотной области (или сигнал временной области, который затем преобразовывается в сигнал поддиапазона частотной области).
Декодер 405 сигнала понижающего микширования, кроме того, присоединен к процессору 407 повышающего микширования, который также присоединен к параметрическому процессору 403. Процессор 407 повышающего микширования выполняет повышающее микширование сигнала понижающего микширования для формирования многоканального сигнала (который в конкретном примере представляет собой стереосигнал). В конкретном примере моносигнал понижающего микширования подвергается повышающему микшированию до левого и правого каналов стереосигнала. Повышающее микширование выполняется на основе параметрических данных и определенных оценок весовых коэффициентов сигнала понижающего микширования, которые могут быть сформированы из параметрических данных. Полученный в результате повышающего микширования стереоканал подается на выходную схему 409, которая в конкретном примере может включать в себя преобразование из области частотных поддиапазонов во временную область. Выходная схема 409, в частности, может включать в себя обратное преобразование QMF или FFT.
В декодере, показанном на Фиг. 4, параметрический процессор 403 присоединен к процессору 411 весовых коэффициентов, который затем присоединен к процессору повышающего микширования. Процессор 411 весовых коэффициентов выполнен с возможностью оценивать весовые коэффициенты сигнала понижающего микширования на основе принятых параметрических данных. Это определение не ограничено предположением о равных весовых коэффициентах. Поскольку декодер 115 может не обязательно знать точно, какие весовые коэффициенты сигнала понижающего микширования были применены в кодере 109, декодирование основано на использовании потенциально асимметричных весовых коэффициентов с разностью (амплитуд) между весовыми коэффициентами. Таким образом, принятые параметры используются для определения энергии/амплитуда и/или угла весовых коэффициентов. В частности, определение весовых коэффициентов выполняется в ответ на параметры, являющиеся показателем отношений энергии между каналами. В частности, определение не ограничено фазовым значением IPD, но в ответ на значения ICC и/или IID.
Определение примененных весовых коэффициентов, в частности, использует такой же подход, который описан ранее для кодера 115. Таким образом, такие же вычисления, которые описаны ранее для кодера 109, могут быть выполнены процессором 411 весовых коэффициентов для получения весовых коэффициентов w1 и w2, которые (как предполагается) были использованы соответствующим кодером 109.
Повышающее микширование, выполняемое традиционными декодерами, основано на предположении о том, что примененные весовые коэффициенты являются идентичным для двух каналов или отличаются только значением фазы. Однако в декодере 115 на Фиг. 4 повышающее микширование также принимает во внимание разность амплитуд между весовыми коэффициентами и, в частности, изменено таким образом, что фактические предполагаемые весовые коэффициенты w1 и w2 из параметрического процессора 403 используются для изменения повышающего микширования. Таким образом, традиционные подходы повышающего микширования были изменены для дополнительного учета динамически изменяющихся в зависимости от сигнала весовых коэффициентов, для которых оценки вычислены из принятых параметрических данных.
Далее будут представлены конкретные примеры алгоритмов повышающего микширования, которые были расширены для весовых коэффициентов с разными энергиями.
Известны способы повышающего микширования, которые используют полную разность фаз, являющуюся показателем абсолютного (среднего) фазового смещения поддиапазона левого и правого каналов относительно фиксированного опорного сигнала (обычно левого канала).
В частности, стандарт параметрического стерео использует следующее повышающее микширование:
Figure 00000036
где s - принятый моносигнал понижающего микширования, и sd - декоррелированный сигнал, формированный декодером, как будет известен специалисту, c1 и c2 - коэффициенты, чтобы гарантировать корректные различия уровня между сигналами левого и правого каналов.
В частности, c1, c2, α и β могут быть определены как:
Figure 00000037
Figure 00000038
Это уравнение по-прежнему допустимо для сценария, в котором весовые коэффициенты w1 и w2 имеют разные энергии, если значение OPD соответственно изменено. Таким образом, какая-либо модификация приведенного выше уравнения не является необходимой для декодирования сигналов, позволяющих разности энергий между весовыми коэффициентами. Это справедливо потому, что матрица повышающего микширования всегда восстанавливает корректные пространственные признаки (IID, ICC, IPD), независимые от OPD. OPD может рассматриваться как дополнительная степень свободы.
OPD определяется как угол между левым каналом и суммарным сигналом ss сформированным посредством суммирования сигналов левого и правого каналов:
Figure 00000039
Кроме того,
Figure 00000040
и
Figure 00000041
где Pll - мощность сигнала левого канала, и Plr - взаимная мощность или взаимная корреляция сигналов левого и правого каналов.
Таким образом:
Figure 00000042
где Prr - мощность сигнала правого канала.
Таким образом, весовые коэффициенты w1 и w2 могут сначала быть определены процессором 411 весовых коэффициентов на основе параметрических данных, как описано ранее, и оценочные весовые коэффициенты могут затем использоваться вместе с параметрическими данными для формирования полного значения фазы, которое принимает во внимание потенциально асимметричное присвоение весовых коэффициентов (то есть, различие между весовыми коэффициентами, включающее в себя асимметрию амплитуд). Сформированное полное значение фазы может затем использоваться для формирования сигнала с повышающим микшированием из сигнала понижающего микширования и коррелированного сигнала.
В некоторых вариантах осуществления значение OPD может быть сформировано с предположением, что каналы коррелированы, то есть параметр icc имеет единичное значение. Это приводит к следующему значению OPD:
Figure 00000043
Таким образом, декодер может формировать сигнал с повышающим микшированием, который не страдает так сильно от типичных недостатков, связанных с подходами с фиксированным суммированием или с повышающим микшированием с фазовым выравниванием. Кроме того, это достигается без необходимости отправки дополнительных данных.
В качестве другого примера повышающее микширование может быть основано на предсказании декоррелированного сигнала из сигнала понижающего микширования. Сигнал понижающего микширования сформирован как
s=w1∙l+w2∙r,
где w1 и w2 могут являться комплексными. Затем может быть создан вспомогательный сигнал с использованием масштабированного комплексного вращения, дающего в результате полную матрицу сигнала понижающего микширования:
Figure 00000044
Таким образом, сигнал d представляет сигнал разности для сигналов левого и правого каналов. Полученная в результате теоретическая матрица повышающего микширования может быть определена как:
Figure 00000045
Сигнал разности может быть выражен посредством предсказуемого компонента, который может быть предсказан на основе сигнала s понижающего микширования и непредсказуемого компонента, который декоррелирован с сигналом s понижающего микширования. Таким образом, d может быть выражен как:
d=α∙s+β·sd,
где sd - сформированный декодером декоррелированный суммарный сигнал, α - комплексный коэффициент предсказания, и β (вещественное число) - масштабирующий коэффициент декорреляции. Это приводит к:
Figure 00000046
Таким образом, если коэффициент предсказания α и масштабирующий коэффициент декорреляции β могут быть определены, то повышающее микширование может быть сформировано посредством этого подхода.
В предыдущем уравнении для формирования сигнала разности второй член β·sd представляет часть сигнала разности, которая не может быть предсказана из сигнала s понижающего микширования. Чтобы сохранить низкую скорость передачи данных, этот разностный компонент сигнала обычно не передается декодеру, и, таким образом, повышающее микширование основано на локально сформированном декоррелированном сигнале и масштабирующем коэффициенте декорреляции.
Однако в некоторых случаях, разностный сигнал β·sd кодируется как сигнал dres и передается декодеру. В таких случаях сигнал разности может быть задан как:
d=α∙s+dres
что приводит к:
Figure 00000047
Кроме того, и коэффициент предсказания α, и масштабирующий коэффициент декорреляции β могут быть определены из принятых параметрических данных:
Figure 00000048
Таким образом, подход на основе предсказания позволяет выполнять повышающее микширование, которое основано на предположении, что для сигнала понижающего микширования используются асимметричные весовые коэффициенты энергии. Кроме того, процесс повышающего микширования управляется параметрическими данными, и не требуется передачи дополнительной информации от кодера.
Более подробно, комплексный коэффициент предсказания α и масштабирующий коэффициент декорреляции β могут быть получены из следующих соображений.
Сначала параметр предсказания α задается как:
Figure 00000049
где
Figure 00000050
Это приводит к
Figure 00000051
Затем с использованием определения параметра:
Figure 00000052
это дает:
Figure 00000053
Масштабирующий коэффициент декорреляции β задан как:
Figure 00000054
с использованием предположения, что мощность декоррелированного сигнала соответствует мощности суммарного сигнала.
Figure 00000055
из чего следует
Figure 00000056
Предыдущие примеры описали систему, которая позволяет использовать изменяющиеся и асимметричные весовые коэффициенты (в том числе асимметрию амплитуд между весовыми коэффициентами) в системе с понижающим/повышающим микшированием без необходимости передачи каких-либо дополнительных параметров. Вместо этого весовые коэффициенты и операция повышающего микширования могут быть основаны на параметрических данных.
Такой подход особенно выгоден, когда поддиапазоны, используемые для понижающего и повышающего микширования, соответствуют относительно близко аналитическим полосам, для которых вычисляются параметры.
Это может часто иметь место для низких частот, когда поддиапазоны сигнала понижающего микширования и параметрические аналитические диапазоны частот обычно совпадают. Однако в некоторых вариантах осуществления может быть выгодно, например, иметь поддиапазоны сигнала понижающего микширования, которые имеют более тонкое квантование по частотам и/или времени, чем аналитические диапазоны частот, поскольку это может в некоторых сценариях дать в результате улучшенное качество звука. Это может, в частности, иметь место для более высоких частот.
Таким образом, в диапазонах более высоких частот корреляция между поддиапазонами сигнала понижающего микширования и анализом параметров может отличаться. Поскольку весовые коэффициенты могут отличаться для отдельных поддиапазонов сигнала понижающего микширования, корреляция между параметрическими данными и отдельными весовыми коэффициентами для каждого поддиапазона может быть менее точной. Однако параметрические данные обычно могут использоваться для формирования более грубой оценки весовых коэффициентов сигнала понижающего микширования, и обычно соответствующее ухудшение качества будет приемлемым.
В частности, в некоторых вариантах осуществления кодер может оценивать разность между фактическими весовыми коэффициентами сигнала понижающего микширования, используемыми в каждом поддиапазоне и теми, которые могут быть вычислены на основе параметрических данных более широкой аналитической полосы. Если несоответствие становится слишком большим, кодер может включать показание относительно этого. Таким образом, кодер может включать показание относительно того, должны ли параметрические данные использоваться для формирования весовых коэффициентов по меньшей мере для одного частотно-временного интервала (например, для поддиапазона сигнала понижающего микширования одного сегмента). Если показание состоит в том, что параметрические данные не должны использоваться, кодер может вместо этого использовать другой подход, например, базовое повышающее микширование в предположении, что сигнал понижающего микширования представляет собой простое суммирование.
В некоторых вариантах осуществления кодер может дополнительно быть выполнен с возможностью включать показание относительно весовых коэффициентов сигнала понижающего микширования, используемых для поддиапазонов, для которых показание точности указывает, что параметрические данные недостаточны для оценки весовых коэффициентов. В таких вариантах осуществления декодер 115 может, таким образом, непосредственно извлечь эти весовые коэффициенты и применить их к соответствующим поддиапазонам. Весовые коэффициенты могут быть переданы как абсолютные значения или, например, могут быть переданы как относительные значения, например, разность между фактическими весовыми коэффициентами и теми, которые вычисляются с использованием параметрических данных.
Будет понятно, что приведенное выше описание для ясности описало варианты осуществления изобретения в отношении различных функциональных схем, блоков и процессоров. Однако будет понятно, что любое подходящее распределение функциональности между различными функциональными схемами, блоками или процессорами может использоваться без отступления от изобретения. Например, функциональность, иллюстрированная как выполняемая отдельными процессорами или контроллерами, может быть выполнена одним и тем же процессором или контроллерами. Следовательно, ссылки на конкретные функциональные блоки или схемы предназначены только для того, чтобы они рассматривались как ссылки на подходящие средства для обеспечения описанной функциональности, а не являлись показателем строгой логической или физической структуры или организации.
Изобретение может быть реализовано в любой подходящей форме, в том числе в виде аппаратных средств, программного обеспечения, программируемого оборудования или любой их комбинации. Изобретение факультативно может быть реализовано по меньшей мере частично как программное обеспечение, работающее на одном или более процессорах и/или процессорах цифровых сигналов. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически реализованы любым подходящим способом. Действительно, функциональность может быть реализована в единственном блоке, во множестве блоков или как часть других функциональных блоков. Таким образом, изобретение может быть реализовано в единственном блоке или может быть физически и функционально распределено между различными блоками, схемами и процессорами.
Хотя настоящее изобретение было описано в связи с некоторыми вариантами осуществления, не предусматривается, чтобы оно было ограничено конкретной изложенной здесь формой. Объем настоящего изобретения ограничен только сопровождающей формулой изобретения. Дополнительно, хотя может показаться, что отличительные признаки описаны в связи с конкретными вариантами осуществления, специалист в области техники поймет, что различные отличительные признаки описанных вариантов осуществления могут сочетаться в соответствии с изобретением. В формуле изобретения термин "содержит" не исключает присутствие других элементов или этапов.
Кроме того, хотя множество средств, элементов, схем или этапов способов перечисляются индивидуально, они могут быть реализованы, например, посредством единственной схемы, блока или процессора. Дополнительно, хотя отдельные отличительные признаки могут быть включены в разные пункты формулы изобретения, они могут быть успешно объединены, и включение в разные пункты формулы изобретения не подразумевает, что комбинация отличительных признаков не выполнима и/или не успешна. Кроме того, включение отличительного признака в одну категорию пунктов формулы изобретения не подразумевает ограничение для этой категории, а скорее указывает, что отличительный признак при необходимости одинаково применим к другим категориям пунктов формулы изобретения. Кроме того, порядок отличительных признаков в пунктах формулы изобретения не подразумевает какого-либо заданного порядка, в котором должны разрабатываться отличительные признаки, и, в частности, порядок отдельных этапов в пункте формулы изобретения, описывающем способ, не подразумевает, что этапы должны быть выполнены в этом порядке. Вместо этого этапы могут быть выполнены в любом подходящем порядке. Кроме того, упоминания в единственном числе не исключают множество. Таким образом, единственное число, "первый", "второй" и т.д. не предотвращают множество. Знаки для ссылок в пунктах формулы изобретения обеспечены просто в качестве разъяснительного примера, который не должен рассматриваться как какое-либо ограничение объема формулы изобретения.

Claims (14)

1. Декодер (115) для формирования многоканального аудиосигнала, причем декодер (115) содержит:
первый приемник (401, 405) для приема сигнала понижающего микширования, представляющего собой комбинацию по меньшей мере сигнала первого канала с первым весовым коэффициентом и сигнала второго канала со вторым весовым коэффициентом, причем первый весовой коэффициент и второй весовой коэффициент имеют разные амплитуды по меньшей мере для некоторых частотно-временных интервалов;
второй приемник (401, 403) для приема параметрических данных повышающего микширования, характеризующих отношение между сигналом первого канала и сигналом второго канала;
схему (411) для формирования оценки первого весового коэффициента и оценки второго весового коэффициента из параметрических данных повышающего микширования; и
блок (407) повышающего микширования для формирования многоканального аудиосигнала посредством повышающего микширования сигнала понижающего микширования в ответ на параметрические данные повышающего микширования, оценку первого весового коэффициента и оценку второго весового коэффициента, причем повышающее микширование зависит от амплитуды по меньшей мере оценки первого весового коэффициента или оценки второго весового коэффициента.
2. Декодер (115) по п. 1, в котором схема (411) выполнена с возможностью формировать оценку первого весового коэффициента и оценку второго весового коэффициента с различными отношениями по меньшей мере к некоторым параметрам из параметрических данных по меньшей мере для некоторых частотно-временных интервалов.
3. Декодер (115) по п. 2, в котором блок (407) повышающего микширования выполнен с возможностью определять по меньшей мере одно из оценки первого весового коэффициента и оценки второго весового коэффициента как функции параметра энергии параметрических данных повышающего микширования, причем параметр энергии является показателем относительной энергетической характеристики для сигнала первого канала и сигнала второго канала.
4. Декодер (115) по п. 3, в котором параметр энергии является по меньшей мере одним из:
параметра разности интенсивности между каналами, IID;
параметра разности уровня между каналами, ILD;
и параметра когерентности/корреляции между каналами, IC/ICC.
5. Декодер (115) по п. 1, в котором параметрические данные повышающего микширования содержат показание точности для отношения между первым весовым коэффициентом и вторым весовым коэффициентом и параметрическими данными повышающего микширования, и декодер (115) выполнен с возможностью формировать по меньшей мере одну из оценки первого весового коэффициента и оценки второго весового коэффициента в ответ на показание точности.
6. Декодер (115) по п. 1, в котором по меньшей мере один из первого весового коэффициента и второго весового коэффициента по меньшей мере для одного частотного интервала имеет более высокое частотно-временное разрешение, чем соответствующий параметр из параметрических данных повышающего микширования.
7. Декодер (115) по п. 1, в котором блок (407) повышающего микширования выполнен с возможностью формировать значение полной разности фаз в ответ на параметрические данные и выполнять повышающее микширование в ответ на значение полной разности фаз, причем значение полной разности фаз зависит от оценки первого весового коэффициента и оценки второго весового коэффициента.
8. Декодер (115) по п. 1, в котором повышающее микширование не зависит от амплитуды по меньшей мере одной из оценки первого весового коэффициента и оценки второго весового коэффициента, за исключением значения полной разности фаз.
9. Декодер (115) по п. 1, в котором блок (407) повышающего микширования выполнен с возможностью:
формировать декоррелированный сигнал из сигнала понижающего микширования, причем декоррелированный сигнал декоррелирован с помощью сигнала понижающего микширования;
выполнять повышающее микширование сигнала понижающего микширования посредством применения матричного умножения к сигналу понижающего микширования и декоррелированному сигналу, причем коэффициенты матричного умножения зависят от оценки первого весового коэффициента и оценки второго весового коэффициента.
10. Декодер (115) по п. 1, в котором блок (407) повышающего микширования выполнен с возможностью определять оценку первого весового коэффициента посредством:
определения первого количественного показателя энергии, являющегося показателем энергии не выровненной по фазе комбинации сигнала первого канала и сигнала второго канала в ответ на параметрические данные повышающего микширования;
определения второго количественного показателя энергии, являющегося показателем энергии выровненной по фазе комбинации первого канала и второго канала в ответ на параметрические данные повышающего микширования;
определения первого количественного показателя первого количественного показателя энергии относительно второго количественного показателя энергии;
определения оценки первого весового коэффициента в ответ на первый количественный показатель.
11. Декодер (115) по п. 1, в котором блок (407) повышающего микширования выполнен с возможностью определять оценку первого весового коэффициента посредством:
определения в ответ на параметрические данные для каждой из множества пар предопределенных значений первого весового коэффициента и второго весового коэффициента количественного показателя энергии, являющегося показателем энергии сигнала понижающего микширования, соответствующего парам предопределенных значений; и
определения первого весового коэффициента в ответ на количественные показатели энергии и пары предопределенных значений.
12. Кодер (109) для формирования закодированного представления многоканального аудиосигнала, содержащего по меньшей мере первый канал и второй канал, причем кодер содержит:
блок (201, 203, 205) понижающего микширования для формирования сигнала понижающего микширования как комбинации по меньшей мере сигнала первого канала с первым весовым коэффициентом и сигнала второго канала со вторым весовым коэффициентом, причем первый весовой коэффициент и второй весовой коэффициент имеют разные амплитуды по меньшей мере для некоторых частотно-временных интервалов;
схему (201, 203, 209) для формирования параметрических данных повышающего микширования, характеризующих отношение между сигналом первого канала и сигналом второго канала, причем параметрические данные повышающего микширования дополнительно характеризуют первый весовой коэффициент и второй весовой коэффициент; и
схему (207, 211) для формирования закодированного представления, включающего в себя сигнал понижающего микширования и параметрические данные повышающего микширования,
при этом блок (201, 203, 205) понижающего микширования выполнен с возможностью:
определять первый количественный показатель энергии, являющийся показателем энергии не выровненной по фазе комбинации сигнала первого сигнала и сигнала второго канала;
определять второй количественный показатель энергии, являющийся показателем энергии выровненной по фазе комбинации сигнала первого сигнала и сигнала второго канала;
определять первый количественный показатель первого количественного показателя энергии относительно второго количественного показателя энергии; и
определять первый весовой коэффициент и второй весовой коэффициент в ответ на первый количественный показатель.
13. Способ формирования многоканального аудиосигнала, причем способ содержит этапы, на которых:
принимают сигнал понижающего микширования, представляющий собой комбинацию по меньшей мере сигнала первого канала с первым весовым коэффициентом и сигнала второго канала со вторым весовым коэффициентом, причем первый весовой коэффициент и второй весовой коэффициент имеют разные амплитуды по меньшей мере для некоторых частотно-временных интервалов;
принимают параметрические данные повышающего микширования, характеризующие отношение между сигналом первого канала и сигналом второго канала;
формируют оценку первого весового коэффициента и оценку второго весового коэффициента из параметрических данных повышающего микширования; и
формируют многоканальный аудиосигнал посредством повышающего микширования сигнала понижающего микширования в ответ на параметрические данные повышающего микширования, оценку первого весового коэффициента и оценку второго весового коэффициента, причем повышающее микширование зависит от амплитуды по меньшей мере одной из оценки первого весового коэффициента и оценки второго весового коэффициента.
14. Способ формирования закодированного представления многоканального аудиосигнала, содержащего по меньшей мере первый канал и второй канал, причем способ содержит этапы, на которых:
формируют сигнал понижающего микширования как комбинацию по меньшей мере сигнала первого канала с первым весовым коэффициентом и сигнала второго канала со вторым весовым коэффициентом, причем первый весовой коэффициент и второй весовой коэффициент имеют разные амплитуды по меньшей мере для некоторых частотно-временных интервалов;
формируют параметрические данные повышающего микширования, характеризующие отношение между сигналом первого канала и сигналом второго канала, причем параметрические данные повышающего микширования дополнительно характеризуют первый весовой коэффициент и второй весовой коэффициент; и
формируют закодированное представление, включающее в себя сигнал понижающего микширования и параметрические данные повышающего микширования.
RU2012123750/08A 2009-11-12 2010-11-05 Параметрическое кодирование и декодирование RU2560790C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09175771A EP2323130A1 (en) 2009-11-12 2009-11-12 Parametric encoding and decoding
EP09175771.6 2009-11-12
PCT/IB2010/055025 WO2011058484A1 (en) 2009-11-12 2010-11-05 Parametric encoding and decoding

Publications (2)

Publication Number Publication Date
RU2012123750A RU2012123750A (ru) 2013-12-20
RU2560790C2 true RU2560790C2 (ru) 2015-08-20

Family

ID=42008564

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2012123750/08A RU2560790C2 (ru) 2009-11-12 2010-11-05 Параметрическое кодирование и декодирование

Country Status (10)

Country Link
US (1) US9070358B2 (ru)
EP (2) EP2323130A1 (ru)
JP (1) JP5643834B2 (ru)
KR (1) KR101732338B1 (ru)
CN (1) CN102598122B (ru)
BR (1) BR112012011084B1 (ru)
MX (1) MX2012005414A (ru)
RU (1) RU2560790C2 (ru)
TW (1) TWI573130B (ru)
WO (1) WO2011058484A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2727799C1 (ru) * 2016-11-08 2020-07-24 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ понижающего или повышающего микширования многоканального сигнала с использованием фазовой компенсации

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8571875B2 (en) * 2006-10-18 2013-10-29 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding multichannel audio signals
EP2464145A1 (en) * 2010-12-10 2012-06-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decomposing an input signal using a downmixer
WO2013029225A1 (en) * 2011-08-29 2013-03-07 Huawei Technologies Co., Ltd. Parametric multichannel encoder and decoder
WO2013120531A1 (en) * 2012-02-17 2013-08-22 Huawei Technologies Co., Ltd. Parametric encoder for encoding a multi-channel audio signal
WO2013149673A1 (en) 2012-04-05 2013-10-10 Huawei Technologies Co., Ltd. Method for inter-channel difference estimation and spatial audio coding device
KR20140016780A (ko) * 2012-07-31 2014-02-10 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법 및 장치
WO2014023443A1 (en) * 2012-08-10 2014-02-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder, system and method employing a residual concept for parametric audio object coding
EP2717261A1 (en) * 2012-10-05 2014-04-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding
WO2014088328A1 (ko) 2012-12-04 2014-06-12 삼성전자 주식회사 오디오 제공 장치 및 오디오 제공 방법
WO2014171791A1 (ko) 2013-04-19 2014-10-23 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
US8804971B1 (en) * 2013-04-30 2014-08-12 Dolby International Ab Hybrid encoding of higher frequency and downmixed low frequency content of multichannel audio
CN104299615B (zh) * 2013-07-16 2017-11-17 华为技术有限公司 一种声道间电平差处理方法及装置
US9319819B2 (en) * 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
CN105336335B (zh) * 2014-07-25 2020-12-08 杜比实验室特许公司 利用子带对象概率估计的音频对象提取
EP2980789A1 (en) * 2014-07-30 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhancing an audio signal, sound enhancing system
RU2763374C2 (ru) * 2015-09-25 2021-12-28 Войсэйдж Корпорейшн Способ и система с использованием разности долговременных корреляций между левым и правым каналами для понижающего микширования во временной области стереофонического звукового сигнала в первичный и вторичный каналы
EP3301673A1 (en) * 2016-09-30 2018-04-04 Nxp B.V. Audio communication method and apparatus
US10224042B2 (en) * 2016-10-31 2019-03-05 Qualcomm Incorporated Encoding of multiple audio signals
JP6817433B2 (ja) * 2016-11-08 2021-01-20 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー.ファオ. 少なくとも2つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ
CN114898761A (zh) 2017-08-10 2022-08-12 华为技术有限公司 立体声信号编解码方法及装置
CN113782039A (zh) * 2017-08-10 2021-12-10 华为技术有限公司 时域立体声编解码方法和相关产品
CN109389984B (zh) 2017-08-10 2021-09-14 华为技术有限公司 时域立体声编解码方法和相关产品
US10580420B2 (en) 2017-10-05 2020-03-03 Qualcomm Incorporated Encoding or decoding of audio signals
EP3550561A1 (en) 2018-04-06 2019-10-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downmixer, audio encoder, method and computer program applying a phase value to a magnitude value
WO2020178322A1 (en) * 2019-03-06 2020-09-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for converting a spectral resolution
GB2582749A (en) * 2019-03-28 2020-10-07 Nokia Technologies Oy Determination of the significance of spatial audio parameters and associated encoding
US10904690B1 (en) * 2019-12-15 2021-01-26 Nuvoton Technology Corporation Energy and phase correlated audio channels mixer
US20220399026A1 (en) * 2021-06-11 2022-12-15 Nuance Communications, Inc. System and Method for Self-attention-based Combining of Multichannel Signals for Speech Processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6487535B1 (en) * 1995-12-01 2002-11-26 Digital Theater Systems, Inc. Multi-channel audio encoder
RU2006137573A (ru) * 2004-03-25 2008-04-27 ДиТиЭс, ИНК. (US) Многоканальный аудиокодек без потерь
RU2339088C1 (ru) * 2004-10-20 2008-11-20 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Индивидуальное формирование каналов для схем всс и т.п.
RU2355046C2 (ru) * 2004-09-08 2009-05-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для формирования многоканального сигнала или набора параметрических данных

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602004029872D1 (de) * 2003-03-17 2010-12-16 Koninkl Philips Electronics Nv Verarbeitung von mehrkanalsignalen
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
CN102122509B (zh) 2004-04-05 2016-03-23 皇家飞利浦电子股份有限公司 多信道解码器和多信道解码方法
JP4892184B2 (ja) * 2004-10-14 2012-03-07 パナソニック株式会社 音響信号符号化装置及び音響信号復号装置
US7961890B2 (en) * 2005-04-15 2011-06-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Multi-channel hierarchical audio coding with compact side information
JP2006325162A (ja) * 2005-05-20 2006-11-30 Matsushita Electric Ind Co Ltd バイノーラルキューを用いてマルチチャネル空間音声符号化を行うための装置
ES2433316T3 (es) * 2005-07-19 2013-12-10 Koninklijke Philips N.V. Generación de señales de audio de multiples canales
JP5113049B2 (ja) 2005-07-29 2013-01-09 エルジー エレクトロニクス インコーポレイティド 符号化されたオーディオ信号の生成方法及びオーディオ信号の処理方法
JP5507844B2 (ja) * 2005-10-20 2014-05-28 エルジー エレクトロニクス インコーポレイティド マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置
KR101218776B1 (ko) * 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
EP1989920B1 (en) * 2006-02-21 2010-01-20 Koninklijke Philips Electronics N.V. Audio encoding and decoding
WO2007111568A2 (en) 2006-03-28 2007-10-04 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for a decoder for multi-channel surround sound
JP5281575B2 (ja) * 2006-09-18 2013-09-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオオブジェクトのエンコード及びデコード
BRPI0715312B1 (pt) * 2006-10-16 2021-05-04 Koninklijke Philips Electrnics N. V. Aparelhagem e método para transformação de parâmetros multicanais

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6487535B1 (en) * 1995-12-01 2002-11-26 Digital Theater Systems, Inc. Multi-channel audio encoder
RU2006137573A (ru) * 2004-03-25 2008-04-27 ДиТиЭс, ИНК. (US) Многоканальный аудиокодек без потерь
RU2355046C2 (ru) * 2004-09-08 2009-05-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для формирования многоканального сигнала или набора параметрических данных
RU2339088C1 (ru) * 2004-10-20 2008-11-20 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Индивидуальное формирование каналов для схем всс и т.п.

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2727799C1 (ru) * 2016-11-08 2020-07-24 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ понижающего или повышающего микширования многоканального сигнала с использованием фазовой компенсации
US11450328B2 (en) 2016-11-08 2022-09-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding or decoding a multichannel signal using a side gain and a residual gain
US11488609B2 (en) 2016-11-08 2022-11-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for downmixing or upmixing a multichannel signal using phase compensation

Also Published As

Publication number Publication date
TWI573130B (zh) 2017-03-01
WO2011058484A1 (en) 2011-05-19
KR20120089335A (ko) 2012-08-09
BR112012011084A2 (pt) 2017-09-19
KR101732338B1 (ko) 2017-05-04
JP2013511062A (ja) 2013-03-28
TW201145259A (en) 2011-12-16
BR112012011084B1 (pt) 2020-12-08
CN102598122A (zh) 2012-07-18
EP2499638B1 (en) 2015-02-25
CN102598122B (zh) 2014-10-29
JP5643834B2 (ja) 2014-12-17
EP2499638A1 (en) 2012-09-19
US20120224702A1 (en) 2012-09-06
EP2323130A1 (en) 2011-05-18
US9070358B2 (en) 2015-06-30
RU2012123750A (ru) 2013-12-20
MX2012005414A (es) 2012-06-14

Similar Documents

Publication Publication Date Title
RU2560790C2 (ru) Параметрическое кодирование и декодирование
JP7161564B2 (ja) チャネル間時間差を推定する装置及び方法
US8433583B2 (en) Audio decoding
KR101613975B1 (ko) 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치
RU2497204C2 (ru) Устройство параметрического стереофонического повышающего микширования, параметрический стереофонический декодер, устройство параметрического стереофонического понижающего микширования, параметрический стереофонический кодер
RU2762302C1 (ru) Устройство, способ или компьютерная программа для оценки разности во времени между каналами
RU2006146948A (ru) Способы улучшения характеристик многоканальной реконструкции на основе прогнозирования
US9275646B2 (en) Method for inter-channel difference estimation and spatial audio coding device
RU2491656C2 (ru) Устройство декодирования звукового сигнала и способ регулирования баланса устройства декодирования звукового сигнала
JP2017058696A (ja) インターチャネル差分推定方法及び空間オーディオ符号化装置
CN117037816A (zh) 多声道音频编码方法、系统、介质及设备