RU2678161C2 - Уменьшение артефактов гребенчатого фильтра при многоканальном понижающем микшировании с адаптивным фазовым совмещением - Google Patents

Уменьшение артефактов гребенчатого фильтра при многоканальном понижающем микшировании с адаптивным фазовым совмещением Download PDF

Info

Publication number
RU2678161C2
RU2678161C2 RU2016105741A RU2016105741A RU2678161C2 RU 2678161 C2 RU2678161 C2 RU 2678161C2 RU 2016105741 A RU2016105741 A RU 2016105741A RU 2016105741 A RU2016105741 A RU 2016105741A RU 2678161 C2 RU2678161 C2 RU 2678161C2
Authority
RU
Russia
Prior art keywords
matrix
audio signal
input
channels
decoder
Prior art date
Application number
RU2016105741A
Other languages
English (en)
Other versions
RU2016105741A (ru
Inventor
Зимоне ФЮГ
Ахим КУНТЦ
Михаэль КРАЧМЕР
Юха ВИЛЬКАМО
Original Assignee
Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. filed Critical Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.
Publication of RU2016105741A publication Critical patent/RU2016105741A/ru
Application granted granted Critical
Publication of RU2678161C2 publication Critical patent/RU2678161C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)

Abstract

Изобретение относится к области обработки аудиосигналов. Технический результат заключается в повышении эффективности обработки аудиосигналов. Технический результат достигается за счет анализа входного аудиосигнала, при этом межканальные зависимости между входными каналами идентифицируются; выравнивания фазы входных каналов на основе идентифицированных межканальных зависимостей, при этом фазы входных каналов тем больше выровнены относительно друг друга, чем выше их межканальная зависимость; микширования с понижением выровненного входного аудиосигнала в выходной аудиосигнал, имеющий меньшее число выходных каналов, чем число входных каналов. 6 н. и 19 з.п. ф-лы, 10 ил.

Description

Настоящее изобретение относится к обработке аудиосигналов, и в частности, к уменьшению артефактов гребенчатого фильтра при многоканальном понижающем микшировании с адаптивным фазовым выравниванием.
Несколько многоканальных звуковых форматов использованы, из стандарта объемного 5.1-звучания, который является типичным для звуковых дорожек фильмов, для более широкомасштабных форматов трехмерного объемного звучания. В некоторых сценариях, необходимо передавать звуковой контент по меньшему числу громкоговорителей.
Кроме того, в новых способах кодирования аудио с низкой скоростью передачи битов, к примеру, описанных в работах авторов J. Breebaart, S. van de Par, A. Kohlrausch и E. Schuijers "Parametric coding of stereoaudio", EURASIP Journal on Applied Signal Processing, издание 2005, стр. 1305-1322, 2005 год, и авторов J. Herre, K. Kjörling, J. Breebaart, C. Faller, S. Disch, H. Purnhagen, J. Koppens, J. Hilpert, J. Röden, W. Oomen, K. Linzmeier и K. S. Chong, "MPEG Surround-The ISO/MPEG standard for efficient and compatible multichannel audio coding", J. Audio Eng. Soc, издание 56, № 11, стр. 932-955, 2008 год, более высокое число каналов передается в качестве набора сигналов понижающего микширования и вспомогательной пространственной информации, с помощью которого восстанавливается многоканальный сигнал с исходной конфигурацией каналов. Эти варианты использования обуславливают разработку способов понижающего микширования, которые сохраняют хорошее качество звука.
Простейший способ понижающего микширования представляет собой суммирование каналов с использованием статической матрицы понижающего микширования. Тем не менее, если входные каналы содержат звуки, которые являются когерентными, но не выравненными во времени, то сигнал понижающего микширования с большой вероятностью должен достигать воспринимаемого спектрального смещения, такого как характеристики гребенчатого фильтра.
В работе J. Breebaart и C. Faller "Spatial audio processing: MPEG Surround and other applications". Wiley-Interscience, 2008 год, описывается способ фазового выравнивания двух входных сигналов, который регулирует фазы входных каналов на основе оцененного параметра межканальной разности фаз (ICPD) в полосах частот. Решение предоставляет базовую функциональность, аналогичную базовой функциональности способа, предложенного в этом документе, но не является применимым для понижающего микширования более двух взаимозависимых каналов.
В WO 2012/006770, PCT/CN2010/075107 (Huawei, Faller, Lang, Xu), описывается обработка фазового выравнивания для случая двух-одного канала (стерео-моно). Обработка не является непосредственно применимой для многоканального аудио.
В работе авторов Wu и др. "Parametric Stereo Coding Scheme with the new Downmix Method and whole Band Inter Channel Time/Phase Differences", Proceedings of the ICASSP, 2013 год, описывается способ, который использует полнополосную межканальную разность фаз для стереопонижающего микширования. Фаза моносигнала задается равной разности фаз между левым каналом и полной разностью фаз. С другой стороны, способ является применимым только для стерео-монопонижающего микширования. Более двух взаимозависимых каналов не могут быть микшированы с понижением с помощью этого способа.
Цель настоящего изобретения заключается в том, чтобы предоставлять усовершенствованные принципы для обработки аудиосигналов. Цель настоящего изобретения достигается посредством кодера по п. 1, посредством декодера по п. 12, посредством системы по п. 13, посредством способа по п. 14 и посредством компьютерной программы по п. 15.
Предусмотрен декодер обработки аудиосигналов, имеющий, по меньшей мере, одну полосу частот и выполненный с возможностью обработки входного аудиосигнала, имеющего множество входных каналов, по меньшей мере, в одной полосе частот. Декодер выполнен с возможностью выравнивать фазы входных каналов в зависимости от межканальных зависимостей между входными каналами, при этом фазы входных каналов тем больше выравнены относительно друг друга, чем выше их межканальная зависимость. Дополнительно, декодер выполнен с возможностью микшировать с понижением выравненный входной аудиосигнал в выходной аудиосигнал, имеющий меньшее число выходных каналов, чем число входных каналов.
Базовый принцип работы декодера заключается в том, что взаимно зависимые (когерентные) входные каналы входного аудиосигнала притягивают друг друга с точки зрения фазы в конкретной полосе частот, в то время как те входные каналы входного аудиосигнала, которые являются взаимно независимыми (некогерентными), остаются незатронутыми. Цель предложенного декодера состоит в том, чтобы повышать качество понижающего микширования относительно подхода на основе частотной посткоррекции в критических состояниях подавления сигналов при предоставлении идентичной производительности в некритических состояниях.
Дополнительно, по меньшей мере, некоторые функции декодера могут передаваться во внешнее устройство, к примеру, в кодер, который предоставляет входной аудиосигнал. Это может обеспечивать возможность реагировать на сигналы, когда декодер предшествующего уровня техники может формировать артефакты. Дополнительно, можно обновлять правила обработки понижающего микширования без изменения декодера и обеспечивать высокое качество понижающего микширования. Ниже подробнее описывается передача функций декодера.
В некоторых вариантах осуществления, декодер может быть выполнен с возможностью анализировать входной аудиосигнал в полосе частот, чтобы идентифицировать межканальные зависимости между входными аудиоканалами. В этом случае, кодер, предоставляющий входной аудиосигнал, может представлять собой стандартный кодер, поскольку анализ входного аудиосигнала выполняется посредством самого декодера.
В вариантах осуществления, декодер может быть выполнен с возможностью принимать межканальные зависимости между входными каналами из внешнего устройства, к примеру, из кодера, который предоставляет входной аудиосигнал. Эта версия дает возможность гибких компоновок для рендеринга в декодере, но требует большего объема дополнительного трафика данных между кодером и декодером, обычно в потоке битов, содержащем входной сигнал декодера.
В некоторых вариантах осуществления, декодер может быть выполнен с возможностью нормализовать энергию выходного аудиосигнала на основе определенной энергии входного аудиосигнала, при этом декодер выполнен с возможностью определять энергию сигналов для входного аудиосигнала.
В некоторых вариантах осуществления, декодер может быть выполнен с возможностью нормализовать энергию выходного аудиосигнала на основе определенной энергии входного аудиосигнала, при этом декодер выполнен с возможностью принимать определенную энергию входного аудиосигнала из внешнего устройства, к примеру, из кодера, который предоставляет входной аудиосигнал.
Посредством определения энергии сигналов для входного аудиосигнала и посредством нормализации энергии выходного аудиосигнала, можно обеспечивать то, что энергия выходного аудиосигнала имеет соответствующий уровень по сравнению с другими полосами частот. Например, нормализация может выполняться таким образом, что энергия каждого выходного аудиосигнала полосы частот является идентичной сумме энергий полосовых входных аудиосигналов, умноженных на квадраты соответствующих усилений при понижающем микшировании.
В различных вариантах осуществления, декодер может содержать понижающий микшер для понижающего микширования входного аудиосигнала на основе матрицы понижающего микширования, при этом декодер выполнен с возможностью вычислять матрицу понижающего микширования таким образом, что фазы входных каналов выравниваются на основе идентифицированных межканальных зависимостей. Матричные операции являются математическим инструментом для эффективного разрешения многомерных проблем. Следовательно, использование матрицы понижающего микширования предоставляет гибкий и простой способ для того, чтобы микшировать с понижением входной аудиосигнал в выходной аудиосигнал, имеющий меньшее число выходных каналов, чем число входных каналов входного аудиосигнала.
В некоторых вариантах осуществления, декодер содержит понижающий микшер для понижающего микширования входного аудиосигнала на основе матрицы понижающего микширования, при этом декодер выполнен с возможностью принимать матрицу понижающего микширования, вычисленную таким образом, что фазы входных каналов выравниваются на основе идентифицированных межканальных зависимостей, из внешнего устройства, к примеру, из кодера, который предоставляет входной аудиосигнал. В силу этого существенно уменьшается сложность обработки выходного аудиосигнала в декодере.
В конкретных вариантах осуществления, декодер может быть выполнен с возможностью вычислять матрицу понижающего микширования таким образом, что энергия выходного аудиосигнала нормализована на основе определенной энергии входного аудиосигнала. В этом случае, нормализация энергии выходного аудиосигнала интегрирована в процесс понижающего микширования, так что упрощается обработка сигналов.
В вариантах осуществления, декодер может быть выполнен с возможностью принимать матрицу M понижающего микширования, вычисленную таким образом, что энергия выходного аудиосигнала нормализована на основе определенной энергии входного аудиосигнала, из внешнего устройства, к примеру, из кодера, который предоставляет входной аудиосигнал.
Этап частотной коррекции энергии может либо включаться в процесс кодирования, либо выполняться в декодере, поскольку он представляет собой несложный и четко заданный этап обработки.
В некоторых вариантах осуществления, декодер может быть выполнен с возможностью анализировать временные интервалы входного аудиосигнала с использованием функции окна, при этом межканальные зависимости определяются для каждого временного кадра.
В вариантах осуществления, декодер может быть выполнен с возможностью принимать анализ временных интервалов входного аудиосигнала с использованием функции окна, при этом межканальные зависимости определяются для каждого временного кадра, из внешнего устройства, к примеру, из кодера, который предоставляет входной аудиосигнал.
Обработка в обоих случаях может выполняться перекрывающимся покадровым способом, хотя другие варианты также являются легкодоступными, такие как использование рекурсивного окна для оценки релевантных параметров. В принципе, может выбираться любая функция окна.
В некоторых вариантах осуществления, декодер выполнен с возможностью вычислять матрицу ковариационных значений, при этом ковариационные значения выражают межканальную зависимость пары входных аудиоканалов. Вычисление матрицы ковариационных значений является простым способом захватывать кратковременные стохастические свойства полосы частот, которые могут использоваться для того, чтобы определять когерентность входных каналов входного аудиосигнала.
В вариантах осуществления, декодер выполнен с возможностью принимать матрицу ковариационных значений, при этом ковариационные значения выражают межканальную зависимость пары входного аудиоканала, из внешнего устройства, к примеру, из кодера, который предоставляет входной аудиосигнал. В этом случае, вычисление ковариационной матрицы может передаваться в кодер. Затем ковариационные значения ковариационной матрицы должны передаваться в потоке битов между кодером и декодером. Эта версия дает возможность гибких компоновок для рендеринга в приемном устройстве, но требует дополнительных данных в выходном аудиосигнале.
В предпочтительных вариантах осуществления, может устанавливаться матрица нормализованных ковариационных значений, при этом матрица нормализованных ковариационных значений основана на матрице ковариационных значений. Посредством этого признака, может быть упрощена последующая обработка.
В некоторых вариантах осуществления, декодер может быть выполнен с возможностью устанавливать матрицу значений притяжения посредством применения функции преобразования к матрице ковариационных значений или к матрице, извлеченной из матрицы ковариационных значений.
В некоторых вариантах осуществления, градиент функции преобразования может быть большим или равным нулю для всех ковариационных значений или значений, извлеченных из ковариационных значений.
В предпочтительных вариантах осуществления, функция преобразования может достигать значений между нулем и единицей для входных значений между нулем и единицей.
В вариантах осуществления, декодер может быть выполнен с возможностью принимать матрицу A значений притяжения, устанавливаемую посредством применения функции преобразования к матрице ковариационных значений или к матрице, извлеченной из матрицы ковариационных значений. Посредством применения нелинейной функции к матрице ковариационных значений или к матрице, извлеченной из матрицы ковариационных значений, такой как нормализованная ковариационная матрица, фазовое выравнивание может регулироваться в обоих случаях.
Матрица значений притяжения фаз предоставляет управляющие данные в форме коэффициентов притяжения фаз, которые определяют притяжение фаз между канальными парами. Регулирования фазы извлекаются для каждого частотно-временного мозаичного фрагмента на основе измеренной матрицы ковариационных значений, так что каналы с низкими ковариационными значениями не влияют друг на друга, и так что каналы с высокими ковариационными значениями имеют фазовую синхронизацию относительно друг друга.
В некоторых вариантах осуществления, функция преобразования является нелинейной функцией.
В вариантах осуществления, функция преобразования равна нулю для ковариационных значений или значений, извлеченных из ковариационных значений, меньших первого порогового значения преобразования, и/или при этом функция преобразования равна единице для ковариационных значений или значений, извлеченных из ковариационных значений, больших второго порогового значения преобразования. Посредством этого признака, функция преобразования состоит из трех интервалов. Для всех ковариационных значений или значений, извлеченных из ковариационных значений, меньших первого порогового значения преобразования, коэффициенты притяжения фаз вычисляются как равные нулю, и следовательно, регулирование фазы не выполняется. Для всех ковариационных значений или значений, извлеченных из ковариационных значений, превышающих первое пороговое значение преобразования, но меньших второго порогового значения преобразования, коэффициенты притяжения фаз вычисляются как значение между нулем и единицей, и следовательно, частичное регулирование фазы выполняется. Для всех ковариационных значений или значений, извлеченных из ковариационных значений, превышающих второе пороговое значение преобразования, коэффициенты притяжения фаз вычисляются как равные единице, и следовательно, полное регулирование фазы выполняется.
Пример приводится посредством следующей функции преобразования:
Figure 00000001
.
Другой предпочтительный пример приводится следующим образом:
Figure 00000002
для A≠B
для A=B
В некоторых вариантах осуществления, функция преобразования может быть представлена посредством функции, формирующей S-образную кривую.
В конкретных вариантах осуществления, декодер выполнен с возможностью вычислять матрицу коэффициентов фазового выравнивания, при этом матрица коэффициентов фазового выравнивания основана на матрице ковариационных значений и на прототипной матрице понижающего микширования.
В вариантах осуществления, декодер выполнен с возможностью принимать матрицу коэффициентов фазового выравнивания, при этом матрица коэффициентов фазового выравнивания основана на матрице ковариационных значений и на прототипной матрице понижающего микширования, из внешнего устройства, к примеру, из кодера, который предоставляет входной аудиосигнал.
Матрица коэффициентов фазового выравнивания описывает величину фазового выравнивания, которая требуется для того, чтобы выравнивать каналы с ненулевым притяжением входного аудиосигнала.
Прототипная матрица понижающего микширования задает то, какие из входных каналов сводятся в какие из выходных каналов. Коэффициенты матрицы понижающего микширования могут быть коэффициентами масштабирования для понижающего микширования входного канала в выходной канал.
Можно передавать полное вычисление матрицы коэффициентов фазового выравнивания в кодер. Матрица коэффициентов фазового выравнивания затем должна передаваться во входном аудиосигнале, но ее элементы зачастую равны нулю и могут квантоваться обусловленным способом. Поскольку матрица коэффициентов фазового выравнивания сильно зависит от прототипной матрицы понижающего микширования, эта матрица должна быть известной на стороне кодера. Это ограничивает возможную конфигурацию выходных каналов.
В некоторых вариантах осуществления, фазы и/или амплитуды коэффициентов понижающего микширования матрицы понижающего микширования формулируются как сглаженные во времени, так что исключаются временные артефакты вследствие подавления сигналов между смежными временными кадрами. В данном документе, "сглаженное во времени" означает то, что резкие изменения во времени не возникают для коэффициентов понижающего микширования. В частности, коэффициенты понижающего микширования могут изменяться во времени согласно непрерывной или квазинепрерывной функции.
В вариантах осуществления, фазы и/или амплитуды коэффициентов понижающего микширования матрицы понижающего микширования формулируются как сглаженные по частоте, так что исключаются спектральные артефакты вследствие подавления сигналов между смежными полосами частот. В данном документе, "сглаженное по частоте" означает то, что резкие изменения по частоте не возникают для коэффициентов понижающего микширования. В частности, коэффициенты понижающего микширования могут изменяться по частоте согласно непрерывной или квазинепрерывной функции.
В некоторых вариантах осуществления, декодер выполнен с возможностью вычислять или принимать нормализованную матрицу коэффициентов фазового выравнивания, при этом нормализованная матрица коэффициентов фазового выравнивания основана на матрице коэффициентов фазового выравнивания. Посредством этого признака, может быть упрощена последующая обработка.
В предпочтительных вариантах осуществления, декодер выполнен с возможностью устанавливать матрицу коэффициентов регуляризованного фазового выравнивания на основе матрицы коэффициентов фазового выравнивания.
В вариантах осуществления, декодер выполнен с возможностью принимать матрицу коэффициентов регуляризованного фазового выравнивания на основе матрицы коэффициентов фазового выравнивания из внешнего устройства, к примеру, из кодера, который предоставляет входной аудиосигнал.
Предложенный подход на основе понижающего микширования предоставляет эффективную регуляризацию в критическом состоянии противоположных фазовых сигналов, когда обработка фазового выравнивания может резко переключать свою полярность.
Дополнительный этап регуляризации задается с возможностью уменьшать подавления в переходных областях между смежными кадрами вследствие резко изменяющихся коэффициентов регулирования фазы. Эта регуляризация и недопущение резких изменений фазы между смежными частотно-временными мозаичными фрагментами представляет собой преимущество этого предложенного понижающего микширования. Она уменьшает нежелательные артефакты, которые могут возникать, когда фаза перескакивает между смежными частотно-временными мозаичными фрагментами, или появляются режекции между смежными полосами частот.
Матрица понижающего микширования с регуляризованным фазовым выравниванием получается посредством применения коэффициентов
Figure 00000003
фазовой регуляризации к нормализованной матрице фазового выравнивания.
Коэффициенты регуляризации могут вычисляться в контуре обработки для каждого частотно-временного мозаичного фрагмента. Регуляризация может применяться рекурсивно в направлении времени и частоты. Разность фаз между смежными временными квантами и полосами частот учитывается, и они взвешиваются посредством значений притяжения, обеспечивая в результате взвешенную матрицу. Из этой матрицы, могут извлекаться коэффициенты регуляризации, как подробнее пояснено ниже.
В предпочтительных вариантах осуществления, матрица понижающего микширования основана на матрице коэффициентов регуляризованного фазового выравнивания. Таким образом, обеспечивается то, что коэффициенты понижающего микширования матрицы понижающего микширования являются сглаженными по времени и частоте.
Кроме того, кодер обработки аудиосигналов, имеющий, по меньшей мере, одну полосу частот и выполненный с возможностью обработки входного аудиосигнала, имеющего множество входных каналов, по меньшей мере, в одной полосе частот, при этом кодер выполнен с возможностью:
- выравнивать фазы входных каналов в зависимости от межканальных зависимостей между входными каналами, при этом фазы входных каналов тем больше выравнены относительно друг друга, чем выше их межканальная зависимость; и
- микшировать с понижением выравненный входной аудиосигнал в выходной аудиосигнал, имеющий меньшее число выходных каналов, чем число входных каналов.
Кодер обработки аудиосигналов может быть сконфигурирован аналогично декодеру обработки аудиосигналов, поясненному в этой заявке.
Дополнительно, кодер обработки аудиосигналов, имеющий, по меньшей мере, одну полосу частот и выполненный с возможностью вывода потока битов, при этом поток битов содержит кодированный аудиосигнал в полосе частот, при этом кодированный аудиосигнал имеет множество кодированных каналов, по меньшей мере, в одной полосе частот, при этом кодер выполнен с возможностью:
- определять межканальные зависимости между кодированными каналами входного аудиосигнала и выводить межканальные зависимости в потоке битов; и/или
- определять энергию кодированного аудиосигнала и выводить определенную энергию кодированного аудиосигнала в потоке битов; и/или
- вычислять матрицу M понижающего микширования для понижающего микшера для понижающего микширования входного аудиосигнала на основе матрицы понижающего микширования таким образом, что фазы кодированных каналов выравниваются на основе идентифицированных межканальных зависимостей, предпочтительно таким образом, что энергия выходного аудиосигнала понижающего микшера нормализована на основе определенной энергии кодированного аудиосигнала, и передавать матрицу M понижающего микширования в потоке битов, при этом, в частности, коэффициенты понижающего микширования матрицы понижающего микширования формулируются как сглаженные во времени, так что исключаются временные артефакты вследствие подавления сигналов между смежными временными кадрами, и/или при этом, в частности, коэффициенты понижающего микширования матрицы понижающего микширования формулируются как сглаженные по частоте, так что исключаются спектральные артефакты вследствие подавления сигналов между смежными полосами частот; и/или
- анализировать временные интервалы кодированного аудиосигнала с использованием функции окна, при этом межканальные зависимости определяются для каждого временного кадра, и выводить межканальные зависимости для каждого временного кадра в потоке битов; и/или
- вычислять матрицу ковариационных значений, при этом ковариационные значения выражают межканальную зависимость пары кодированных аудиоканалов, и выводить матрицу ковариационных значений в потоке битов; и/или
- устанавливать матрицу значений притяжения посредством применения функции преобразования, при этом градиент функции преобразования предпочтительно больше или равен нулю для всех ковариационных значений или значений, извлеченных из ковариационных значений, и при этом функция преобразования предпочтительно достигает значений между нулем и единицей для входных значений между нулем и единицей, в частности, нелинейной функции, в частности, функции преобразования, которая равна нулю для ковариационных значений, меньших первого порогового значения преобразования, и/или которая равна единице для ковариационных значений, больших второго порогового значения преобразования, и/или которая представлена посредством функции, формирующей S-образную кривую, к матрице ковариационных значений или к матрице, извлеченной из матрицы ковариационных значений, и выводить матрицу значений притяжения в потоке битов; и/или
- вычислять матрицу коэффициентов фазового выравнивания, при этом матрица коэффициентов фазового выравнивания основана на матрице ковариационных значений и на прототипной матрице понижающего микширования; и/или
- устанавливать матрицу коэффициентов регуляризованного фазового выравнивания на основе матрицы V коэффициентов фазового выравнивания и выводить матрицу коэффициентов регуляризованного фазового выравнивания в потоке битов.
Поток битов из таких кодеров может передаваться и декодироваться посредством декодера, как описано в данном документе. Для получения дальнейшей информации обратитесь к пояснениям касательно декодера.
Также предусмотрена система, содержащая декодер обработки аудиосигналов согласно изобретению и кодер обработки аудиосигналов согласно изобретению.
Кроме того, предусмотрен способ для обработки входного аудиосигнала, имеющего множество входных каналов в полосе частот, при этом способ содержит: анализ входного аудиосигнала в полосе частот, при этом межканальные зависимости между входными аудиоканалами идентифицируются; выравнивание фаз входных каналов на основе идентифицированных межканальных зависимостей, при этом фазы входных каналов тем больше выравнены относительно друг друга, чем выше их межканальная зависимость; и понижающее микширование выравненного входного аудиосигнала в выходной аудиосигнал, имеющий меньшее число выходных каналов, чем число входных каналов в полосе частот.
Кроме того, предусмотрена компьютерная программа для реализации вышеуказанного способа при выполнении на компьютере или в процессоре сигналов.
Далее подробнее описываются варианты осуществления настоящего изобретения в отношении чертежей, на которых:
Фиг. 1 показывает блок-схему предложенного понижающего микширования с адаптивным фазовым выравниванием,
Фиг. 2 показывает принцип работы предложенного способа,
Фиг. 3 описывает этапы обработки для вычисления матрицы
Figure 00000004
понижающего микширования,
Фиг. 4 показывает формулу, которая может применяться к нормализованной ковариационной матрице
Figure 00000005
для вычисления матрицы
Figure 00000006
значений притяжения,
Фиг. 5 показывает принципиальную блок-схему концептуального общего представления трехмерного аудиокодера,
Фиг. 6 показывает принципиальную блок-схему концептуального общего представления трехмерного аудиодекодера,
Фиг. 7 показывает принципиальную блок-схему концептуального общего представления преобразователя форматов,
Фиг. 8 показывает пример обработки исходного сигнала, имеющего два канала во времени,
Фиг. 9 показывает пример обработки исходного сигнала, имеющего два канала по частоте, и
Фиг. 10 иллюстрирует 77-полосную гибридную гребенку фильтров.
Перед описанием вариантов осуществления настоящего изобретения, предоставляется дополнительная исходная информация относительно системы кодера и декодера предшествующего уровня техники.
Фиг. 5 показывает принципиальную блок-схему концептуального общего представления трехмерного аудиокодера 1, тогда как фиг. 6 показывает принципиальную блок-схему концептуального общего представления трехмерного аудиодекодера 2.
Система 1, 2 трехмерных аудиокодеков может быть основана на кодере 3 на основе стандартизированного кодирования речи и аудио (USAC) по стандарту MPEG-D для кодирования сигналов 4 каналов и сигналов 5 объектов, а также основана на декодере 6 на основе стандартизированного кодирования речи и аудио (USAC) по стандарту MPEG-D для декодирования выходного аудиосигнала 7 кодера 3.
Поток 7 битов может содержать кодированный аудиосигнал 37, ссылающийся на полосу частот кодера 1, при этом кодированный аудиосигнал 37 имеет множество кодированных каналов 38. Кодированный сигнал 37 может быть подан в полосу 36 частот (см. фиг. 1) декодера 2 в качестве входного аудиосигнала 37.
Чтобы повышать эффективность для кодирования большого количества объектов 5, адаптирована технология пространственного кодирования аудиообъектов (SAOC). Три типа модулей 8, 9, 10 рендеринга выполняют задачи рендеринга объектов 11, 12 в каналы 13, рендеринга каналов 13 в наушники или рендеринга каналов в различную компоновку громкоговорителей.
Когда сигналы объектов явно передаются или параметрически кодируются с использованием SAOC, соответствующая информация метаданных 14 объектов (OAM) сжимается и мультиплексируется в трехмерный поток 7 аудиобитов.
Модуль 15 предварительного рендеринга/микшер может быть необязательно использован для того, чтобы преобразовывать сцену 4, 5 ввода каналов и объектов в сцену 4, 16 каналов перед кодированием. Функционально он является идентичным модулю 15 рендеринга объектов/микшеру, описанному ниже.
Предварительный рендеринг объектов 5 обеспечивает детерминированную энтропию сигналов на входе кодера 3, который является по существу независимым от числа одновременно активных сигналов 5 объектов. При предварительном рендеринге объектов 5, не требуется передача метаданных 14 объектов.
Сигналы 5 дискретных объектов подготовлены посредством рендеринга в схему размещения каналов, которую кодер 3 выполнен с возможностью использовать. Весовые коэффициенты объектов 5 для каждого канала 16 получаются из ассоциированных метаданных 14 объектов.
Базовый кодек для сигналов 4 каналов громкоговорителя, сигналов 5 дискретных объектов, сигналов 14 понижающего микширования объектов и предварительно подготовленных посредством рендеринга сигналов 16 может быть основан на MPEG-D USAC-технологии. Он обрабатывает кодирование множества сигналов 4, 5, 14 посредством создания информации преобразования каналов и объектов на основе геометрической и семантической информации назначения входных каналов и объектов. Эта информация преобразования описывает то, как входные каналы 4 и объекты 5 преобразуются в USAC-канальные элементы, а именно, в элементы канальных пар (CPE), одноканальные элементы (SCE), низкочастотные эффекты (LFE), и соответствующая информация передается в декодер 6.
Все дополнительные рабочие данные, такие как SAOC-данные 17 или метаданные 14 объектов, могут проходить через дополнительные элементы и могут рассматриваться при управлении скоростью кодера 3.
Кодирование объектов 5 является возможным различными способами, в зависимости от требований по искажению в зависимости от скорости передачи и требований по интерактивности для модуля рендеринга. Следующие варианты кодирования объектов являются возможными:
- Предварительно подготовленные посредством рендеринга объекты 16: Сигналы 5 объектов предварительно подготавливаются посредством рендеринга и сводятся в сигналы 4 каналов, например, в 22.2-канальные сигналы 4, перед кодированием. Последующая цепочка кодирования видит 22.2-канальные сигналы 4.
- Формы сигналов дискретных объектов: Объекты 5 предоставляются в качестве монофонических форм сигнала в кодер 3. Кодер 3 использует одноканальные элементы (SCE), чтобы передавать объекты 5 в дополнение к сигналам 4 каналов. Декодированные объекты 18 подготавливаются посредством рендеринга и сводятся на стороне приемного устройства. Информация 19, 20 сжатых метаданных объектов передается в приемное устройство/модуль 21 рендеринга совместно.
- Формы 17 сигналов параметрических объектов: Свойства объектов и их взаимосвязь между собой описываются посредством SAOC-параметров 22, 23. Понижающее микширование сигналов 17 объектов кодируется с помощью USAC. Параметрическая информация 22 передается совместно. Число каналов 17 понижающего микширования выбирается в зависимости от числа объектов 5 и полной скорости передачи данных. Информация 23 сжатых метаданных объектов передается в модуль 24 SAOC-рендеринга.
SAOC-кодер 25 и декодер 24 для сигналов 5 объектов основаны на MPEG SAOC-технологии. Система допускает повторное создание, модификацию и рендеринг определенного числа аудиообъектов 5 на основе меньшего числа передаваемых каналов 7 и дополнительных параметрических данных 22, 23, таких как разности уровней объектов (OLD), межобъектные корреляции (IOC) и значения усиления при понижающем микшировании (DMG). Дополнительные параметрические данные 22, 23 демонстрируют значительно более низкую скорость передачи данных, чем требуется для передачи всех объектов по отдельности, что делает кодирование очень эффективным.
SAOC-кодер 25 принимает в качестве ввода сигналы 5 объектов/каналов в качестве монофонических форм сигнала и выводит параметрическую информацию 22 (которая пакетирована в трехмерный поток 7 аудиобитов) и транспортные SAOC-каналы 17 (которые кодируются с использованием одноканальных элементов и передаются). SAOC-декодер 24 восстанавливает сигналы 5 объектов/каналов из декодированных транспортных SAOC-каналов 26 и параметрической информации 23 и формирует выходную аудиосцену 27 на основе схемы размещения для воспроизведения, информации 20 распакованных метаданных объектов и необязательно на основе информации пользовательского взаимодействия.
Для каждого объекта 5, ассоциированные метаданные 14 объектов, которые указывают геометрическую позицию и объем объекта в трехмерном пространстве, эффективно кодируются посредством кодера 28 метаданных объектов посредством квантования свойств объектов во времени и пространстве. Сжатые метаданные 19 объектов (cOAM) передаются в приемное устройство в качестве вспомогательной информации 20, которая может декодироваться посредством OAM-декодера 29.
Модуль 21 рендеринга объектов использует сжатые метаданные 20 объектов для того, чтобы формировать формы 12 сигналов объектов согласно данному формату воспроизведения. Каждый объект 5 подготавливается посредством рендеринга в определенные выходные каналы 12 согласно своим метаданным 19, 20. Вывод этого блока 21 получается в результате суммы частичных результатов. Если декодируется как канальный контент 11, 30, таки и дискретные/параметрические объекты 12, 27, канальные формы 11, 30 сигналов и формы 12, 27 сигналов подготовленных посредством рендеринга объектов сводятся перед выводом результирующих форм 13 сигналов (или перед их подачей в модуль 9, 10 постпроцессора, такой как модуль 9 бинаурального рендеринга или модуль 10 рендеринга громкоговорителей) посредством микшера 8.
Модуль 9 бинаурального рендеринга формирует бинауральное понижающее микширование многоканального аудиоматериала 13 таким образом, что каждый входной канал 13 представлен посредством виртуального источника звука. Обработка осуществляется покадрово в области квадратурных зеркальных фильтров (QMF). Бинаурализация основана на измеренных бинауральных импульсных характеристиках в помещении.
Модуль 10 рендеринга громкоговорителей, подробнее показанный на фиг. 7, преобразует между конфигурацией 13 передаваемых каналов и требуемым форматом 31 воспроизведения. В силу этого далее он называется "преобразователем 10 форматов". Преобразователь 10 форматов выполняет преобразования в меньшие числа выходных каналов 31, т.е. он создает понижающего микширования посредством понижающего микшера 32. DMX-конфигуратор 33 автоматически формирует оптимизированные матрицы понижающего микширования для данной комбинации входных форматов 13 и выходных форматов 31 и применяет эти матрицы в процессе 32 понижающего микширования, при этом используются схема 34 размещения выходов микшера и схема 35 размещения для воспроизведения. Преобразователь 10 форматов обеспечивает возможность стандартных конфигураций громкоговорителей, а также случайных конфигураций с нестандартными позициями громкоговорителей.
Фиг. 1 показывает устройство обработки аудиосигналов, имеющее, по меньшей мере, одну полосу 36 частот и выполненное с возможностью обработки входного аудиосигнала 37, имеющего множество входных каналов 38, по меньшей мере, в одной полосе 36 частот, при этом устройство выполнено с возможностью:
- анализировать входной аудиосигнал 37, при этом межканальные зависимости 39 между входными каналами 38 идентифицируются; и
- выравнивать фазы входных каналов 38 на основе идентифицированных межканальных зависимостей 39, при этом фазы входных каналов 38 тем больше выравнены относительно друг друга, чем выше их межканальная зависимость 39; и
- микшировать с понижением выравненный входной аудиосигнал в выходной аудиосигнал 40, имеющий меньшее число выходных каналов 41, чем число входных каналов 38.
Устройство обработки аудиосигналов может представлять собой кодер 1 или декодер, поскольку изобретение является применимым для кодеров 1, а также для декодеров.
Предложенный способ понижающего микширования, представленный в качестве блок-схемы на фиг. 1, спроектирован со следующими принципами:
1. Регулирования фазы извлекаются для каждого частотно-временного мозаичного фрагмента на основе измеренной сигнальной ковариационной матрицы C, так что каналы с низким
Figure 00000007
не влияют друг на друга, и каналы с высоким
Figure 00000007
имеют фазовую синхронизацию относительно друг друга.
2. Регулирования фазы регуляризованы по времени и частоте, чтобы исключать появление артефактов подавления сигналов вследствие разностей регулирования фазы в областях перекрытия смежных частотно-временных мозаичных фрагментов.
3. Усиления матрицы понижающего микширования регулируются таким образом, что понижающее микширование сохраняет энергию.
Базовый принцип работы кодера 1 заключается в том, что взаимно зависимые (когерентные) входные каналы 38 входного аудиосигнала притягивают друг друга с точки зрения фазы в конкретной полосе 36 частот, в то время как те входные каналы 38 входного аудиосигнала 37, которые являются взаимно независимыми (некогерентными), остаются незатронутыми. Цель предложенного кодера 1 состоит в том, чтобы повышать качество понижающего микширования относительно подхода на основе частотной посткоррекции в критических состояниях подавления сигналов при предоставлении идентичной производительности в некритических состояниях.
Предложен адаптивный подход понижающего микширования, поскольку межканальные зависимости 39 типично неизвестны априори.
Простой подход для того, чтобы восстанавливать спектр сигнала, заключается в том, чтобы применять адаптивный частотный корректор 42, который ослабляет или усиливает сигнал в полосах 36 частот. Тем не менее, если имеется режекция частоты, которая является намного более крутой, чем применяемое разрешение преобразования частоты, целесообразно ожидать, что такой подход не может надежно восстанавливать сигнал 41. Эта проблема разрешается посредством предварительной обработки фаз входного сигнала 37 до понижающего микширования, в первую очередь во избежание таких режекций частоты.
Ниже поясняется вариант осуществления согласно изобретению способа для того, чтобы адаптивно микшировать с понижением два или более каналов 38 в меньшее число каналов 41 в полосах 36 частот, например, в так называемых частотно-временных мозаичных фрагментах. Способ содержит следующие признаки:
- Анализ энергий сигналов и межканальных зависимостей 39 (содержащихся в ковариационной матрице C) в полосах 36 частот.
- Регулирование фаз полосовых входных сигналов 38 каналов до понижающего микширования, так что уменьшаются эффекты подавления сигналов в понижающем микшировании, и/или увеличивается суммирование когерентных сигналов.
- Регулирования фаз таким образом, что канальная пара или группа, которая имеет высокую взаимозависимость (но потенциальное смещение фазы), больше выравнена друг относительно друга, тогда как каналы, которые являются менее взаимозависимыми (также с потенциальным смещением фазы), являются менее (или вообще не являются) выравненными по фазе относительно друг друга.
- Коэффициенты
Figure 00000008
регулирования фазы (необязательно) формулируются как сглаженные во времени, с тем чтобы исключать временные артефакты вследствие подавления сигналов между смежными временными кадрами.
- Коэффициенты
Figure 00000008
регулирования фазы (необязательно) формулируются как сглаженные по частоте, с тем чтобы исключать спектральные артефакты вследствие подавления сигналов между смежными полосами частот.
- Энергии полосовых сигналов 41 каналов понижающего микширования нормализованы, например, так что энергия каждого полосового сигнала 41 понижающего микширования является идентичной сумме энергий полосовых входных сигналов 38, умноженных на квадраты соответствующих усилений при понижающем микшировании.
Кроме того, предложенный подход на основе понижающего микширования предоставляет эффективную регуляризацию в критическом состоянии противоположных фазовых сигналов, когда обработка фазового выравнивания может резко переключать свою полярность.
Предоставленное ниже математическое описание понижающего микшера является практической реализацией вышеозначенного. Специалисты в данной области техники, как и следовало ожидать, могут формулировать другую конкретную реализацию, которая имеет признаки согласно вышеприведенному описанию.
Базовый принцип работы способа, проиллюстрированного на фиг. 2, заключается в том, что взаимно когерентные сигналы SC1, SC2, SC3 притягивают друг друга с точки зрения фазы в полосах 36 частот, в то время как те сигналы SI1, которые являются некогерентными, остаются незатронутыми. Цель предложенного способа состоит в том, чтобы просто повышать качество понижающего микширования относительно подхода на основе частотной посткоррекции в критических состояниях подавления сигналов при предоставлении идентичной производительности в некритическом состоянии.
Предложенный способ спроектирован с возможностью адаптивно формулировать в полосах 36 частот матрицу M понижающего микширования с фазовым выравниванием и частотной коррекцией энергии, на основе кратковременных стохастических свойств полосового сигнала 37 и статической прототипной матрицы Q понижающего микширования. В частности, способ выполнен с возможностью применять фазовое выравнивание взаимно только к тем каналам SC1, SC2, SC3, которые являются взаимозависимыми.
Общий план действий проиллюстрирован на фиг. 1. Обработка выполняется перекрывающимся покадровым способом, хотя другие варианты также являются легкодоступными, такие как использование рекурсивного окна для оценки релевантных параметров.
Для каждого кадра 43 входного аудиосигнала, матрица M понижающего микширования с фазовым выравниванием, содержащая коэффициенты понижающего микширования с фазовым выравниванием, задается в зависимости от стохастических данных кадра 43 входного сигнала и прототипной матрицы Q понижающего микширования, которая задает то, какой входной канал 38 сводится в какой выходной канал 41. Кадры 43 сигналов созданы на этапе 44 обработки функцией окна. Стохастические данные содержатся в комплекснозначной ковариационной матрице C входного сигнала 37, оцененного из кадра 43 сигнала (или, например, с использованием рекурсивного окна) на этапе 45 оценки. Из комплекснозначной ковариационной матрицы C, матрица
Figure 00000008
регулирования фазы извлекается на этапе 46, называемом "формулированием коэффициентов понижающего микширования с фазовым выравниванием".
Пусть число входных каналов равно
Figure 00000009
, а число каналов понижающего микширования равно
Figure 00000010
. Прототипная матрица
Figure 00000011
понижающего микширования и матрица понижающего микширования
Figure 00000004
с фазовым выравниванием типично являются разреженными и имеют размерность
Figure 00000012
. Матрица M понижающего микширования с фазовым выравниванием типично варьируется в качестве функции от времени и частоты.
Решение на основе понижающего микширования с фазовым выравниванием уменьшает подавление сигналов между каналами, но может вводить подавление в переходной области между смежными частотно-временными мозаичными фрагментами, если коэффициент регулирования фазы изменяется резко. Резкое изменение фазы во времени может возникать, когда практически противоположные фазовые входные сигналы микшированы с понижением, но варьируются, по меньшей мере, незначительно по амплитуде или фазе. В этом случае, полярность фазового выравнивания может переключаться быстро, даже если сами сигналы являются достаточно стабильными. Этот эффект может возникать, например, когда частота тонального компонента сигнала совпадает с межканальной разностью времен, что поочередно может базироваться, например, на использовании технологий записи с помощью разнесенных микрофонов или на звуковых эффектах на основе задержки.
На частотной оси, резкий сдвиг фаз между мозаичными фрагментами может возникать, например, когда два когерентных (но с различной задержкой) широкополосных сигнала микшированы с понижением. Разности фаз становятся большими к полосам верхних частот, и обертывание на определенных границах полос частот может вызывать режекцию в переходной области.
Предпочтительно, коэффициенты регулирования фазы в
Figure 00000008
должны быть регуляризованы на дополнительном этапе, чтобы исключать появление артефактов обработки вследствие внезапных сдвигов фаз, либо по времени или по частоте, либо как по времени, так и по частоте. Таким образом, может получаться регуляризованная матрица
Figure 00000013
. Если регуляризация 47 опускается, могут возникать артефакты подавления сигналов вследствие разностей регулирования фазы в областях перекрытия смежных временных кадров и/или смежных полос частот.
Нормализация 48 энергии затем адаптивно обеспечивает обусловленный уровень энергии в сигнале(ах) 40 понижающего микширования. Обработанные кадры 43 сигналов суммируются с перекрытием на этапе 49 перекрытия в выходной поток 40 данных. Следует отметить, что доступно множество изменений при проектировании таких структур частотно-временной обработки. Можно получать аналогичную обработку с различающимся упорядочением блоков обработки сигналов. Кроме того, некоторые блоки могут быть комбинированы в один этап обработки. Кроме того, подход для обработки 44 функцией окна или блочной обработки может повторно формулироваться различными способами при достижении аналогичных характеристик обработки.
Различные этапы понижающего микширования с фазовым выравниванием проиллюстрированы на фиг. 3. После трех общих этапов обработки получается матрица M понижающего микширования, которая используется для того, чтобы микшировать с понижением исходный многоканальный входной аудиосигнал 37 в другой номер канала.
Ниже приводится подробное описание различных подэтапов, которые необходимы для того, чтобы вычислять матрицу M.
Способ понижающего микширования согласно варианту осуществления изобретения может реализовываться в 64-полосной QMF-области. Может применяться 64-полосная комплексно-модулированная равномерная QMF-гребенка фильтров.
Из входного аудиосигнала x (который является эквивалентным входному аудиосигналу 38) в частотно-временной области, комплекснозначная ковариационная матрица
Figure 00000014
вычисляется как матрица
Figure 00000015
, где
Figure 00000016
является оператором математического ожидания, а
Figure 00000017
является сопряженным транспонированием
Figure 00000018
. В практической реализации, оператор математического ожидания заменен посредством оператора усреднения по нескольким временным и/или частотным выборкам.
Абсолютное значение этой матрицы C затем нормализовано на этапе 50 ковариационной нормализации таким образом, что оно содержит значения между 0 и 1 (элементы в таком случае называются
Figure 00000019
, и матрица в таком случае называется
Figure 00000005
). Эти значения выражают часть звуковой энергии, которая является когерентной между различными канальными парами, но может иметь смещение фазы. Другими словами, синфазные, несинфазные, инвертированные фазовые сигналы формируют нормализованное значение 1, в то время как некогерентные сигналы формируют значение 0.
Они преобразуются на этапе 51 вычисления значений притяжения в управляющие данные (матрицу A значений притяжения), которые представляют притяжение фаз между канальными парами посредством функции
Figure 00000020
преобразования, которая применяется ко всем записям абсолютной нормализованной ковариационной матрицы
Figure 00000021
. Здесь, формула:
Figure 00000022
,
может использоваться (см. результирующую функцию преобразования на фиг. 4).
В этом варианте осуществления, функция
Figure 00000023
преобразования равна нулю для нормализованных ковариационных значений
Figure 00000024
, меньших первого порогового значения 54 преобразования, и/или при этом функция
Figure 00000023
преобразования равна единице для нормализованных ковариационных значений
Figure 00000024
, превышающих второе пороговое значение 55 преобразования. Посредством этого признака, функция преобразования состоит из трех интервалов. Для всех нормализованных ковариационных значений
Figure 00000024
, меньших первого порогового значения 54 преобразования, коэффициенты
Figure 00000025
притяжения фаз вычисляются как равные нулю, и следовательно, регулирование фазы не выполняется. Для всех нормализованных ковариационных значений
Figure 00000024
, превышающих первое пороговое значение 54 преобразования, но меньших второго порогового значения 55 преобразования, коэффициенты
Figure 00000025
притяжения фаз вычисляются как значение между нулем и единицей, и следовательно, частичное регулирование фазы выполняется. Для всех нормализованных ковариационных значений
Figure 00000024
, превышающих второе пороговое значение 55 преобразования, коэффициенты
Figure 00000025
притяжения фаз вычисляются как равные единице, и следовательно, полное регулирование фазы выполняется.
Из этого значения притяжения, вычисляются коэффициенты
Figure 00000026
фазового выравнивания. Они описывают величину фазового выравнивания, которая требуется для того, чтобы выравнивать каналы с ненулевым притяжением сигнала
Figure 00000018
.
Figure 00000027
,
где с
Figure 00000028
является диагональной матрицей с элементами
Figure 00000029
по диагонали. Результат является матрицей
Figure 00000030
коэффициентов фазового выравнивания.
Коэффициенты
Figure 00000026
затем нормализованы на этапе 52 нормализации матрицы коэффициентов фазового выравнивания в абсолютную величину матрицы
Figure 00000011
понижающего микширования, что приводит к нормализованной матрице
Figure 00000008
понижающего микширования с фазовым выравниванием с элементами:
Figure 00000031
Преимущество этого понижающего микширования состоит в том, что каналы 38 с низким притяжением не влияют друг на друга, поскольку регулирования фазы извлекаются из измеренной сигнальной ковариационной матрицы
Figure 00000014
. Каналы 38 с высоким притяжением имеют фазовую синхронизацию относительно друг друга. Интенсивность модификации фазы зависит от свойств корреляции.
Решение на основе понижающего микширования с фазовым выравниванием уменьшает подавление сигналов между каналами, но может вводить подавление в переходной области между смежными частотно-временными мозаичными фрагментами, если коэффициент регулирования фазы изменяется резко. Резкое изменение фазы во времени может возникать, когда практически противоположные фазовые входные сигналы микшированы с понижением, но варьируются, по меньшей мере, незначительно по амплитуде или фазе. В этом случае, полярность фазового выравнивания может переключаться быстро.
Задается дополнительный этап 47 регуляризации, который уменьшает подавления в переходных областях между смежными кадрами вследствие резко изменяющихся коэффициентов
Figure 00000026
. регулирования фазы. Эта регуляризация и недопущение резких изменений фазы между аудиокадрами представляет собой преимущество этого предложенного понижающего микширования. Она уменьшает нежелательные артефакты, которые могут возникать, когда фаза перескакивает между смежными аудиокадрами, или при режекциях между смежными полосами частот.
Предусмотрены различные варианты, чтобы выполнять регуляризацию таким образом, чтобы не допускать больших сдвигов фаз между смежными частотно-временными мозаичными фрагментами. В одном варианте осуществления, используется простой способ регуляризации, подробно описанный далее. В способе, контур обработки может быть выполнен с возможностью осуществляться для каждого мозаичного фрагмента во времени последовательно от наименьшего частотного мозаичного фрагмента к наибольшему, и фазовая регуляризация может применяться рекурсивно относительно предыдущих мозаичных фрагментов во времени и по частоте.
Практический эффект спроектированного процесса, описанного ниже, проиллюстрирован на фиг. 8 и 9. Фиг. 8 показывает пример исходного сигнала 37, имеющего два канала 38 во времени. Между двумя каналами 38, существует медленно увеличивающаяся межканальная разность 56 фаз (IPD). Внезапный сдвиг фаз от +p к -p приводит к резкому изменению нерегуляризованного регулирования 57 фазы первого канала 38 и нерегуляризованного регулирования 58 фазы второго канала 38.
Тем не менее, регуляризованное регулирование 59 фазы первого канала 38 и регуляризованное регулирование 60 фазы второго канала 38 не демонстрируют резкие изменения.
Фиг. 9 показывает пример исходного сигнала 37, имеющего два канала 38. Дополнительно, показан исходный спектр 61 одного канала 38 сигнала 37. Неневыровненный спектр 62 понижающего микширования (пассивный спектр понижающего микширования) показывает эффекты гребенчатого фильтра. Эти эффекты гребенчатого фильтра уменьшаются в нерегуляризованном спектре 63 понижающего микширования. Тем не менее, такие эффекты гребенчатого фильтра незаметны в регуляризованном спектре 64 понижающего микширования.
Матрица
Figure 00000013
понижающего микширования с регуляризованным фазовым выравниванием может получаться посредством применения коэффициентов
Figure 00000003
фазовой регуляризации к матрице
Figure 00000008
.
Коэффициенты регуляризации вычисляются в контуре обработки для каждого частотно-временного кадра. Регуляризация 47 применяется рекурсивно в направлении времени и частоты. Разность фаз между смежными временными квантами и полосами частот учитывается, и они взвешиваются посредством значений притяжения, приводящих к взвешенной матрице
Figure 00000032
. Из этой матрицы, извлекаются коэффициенты регуляризации:
Figure 00000033
Постоянные смещения фазы исключаются посредством реализации регуляризации таким образом, что она стирается по направлению к нулю с шагом между 0 и
Figure 00000034
, что зависит от относительной энергии сигналов:
Figure 00000035
,
где:
Figure 00000036
Записи матрицы
Figure 00000013
понижающего микширования с регуляризованным фазовым выравниванием следующие:
Figure 00000037
.
В завершение, нормализованный по энергии вектор понижающего микширования с фазовым выравниванием задается на этапе 53 нормализации энергии для каждого канала j, формирующего строки конечной матрицы понижающего микширования с фазовым выравниванием:
Figure 00000038
После вычисления матрицы M, вычисляется выходной аудиоматериал. Выходные каналы QMF-области являются взвешенными суммами входных QMF-каналов. Комплекснозначные весовые коэффициенты, которые включают процесс адаптивного фазового выравнивания, являются элементами матрицы M:
Figure 00000039
Можно передавать некоторые этапы обработки в кодер 1. Это должно существенно уменьшать сложность обработки понижающего микширования 7 в декодере 2. Это также должно обеспечивать возможность реагировать на входные аудиосигналы 37, в которых стандартная версия понижающего микшера формирует артефакты. В таком случае должно быть возможным обновлять правила обработки понижающего микширования без изменения декодера 2, и может повышаться качество понижающего микширования.
Предусмотрены несколько вариантов того, какая часть понижающего микширования с фазовым выравниванием может передаваться в кодер 1. Можно передавать полное вычисление коэффициентов
Figure 00000026
фазового выравнивания в кодер 1. Коэффициенты
Figure 00000026
фазового выравнивания в таком случае должны передаваться в потоке 7 битов, но они зачастую равны нулю и могут квантоваться обусловленным способом. Поскольку коэффициенты
Figure 00000026
фазового выравнивания сильно зависят от прототипной матрицы
Figure 00000011
понижающего микширования, эта матрица
Figure 00000011
должна быть известной на стороне кодера. Это ограничивает возможную конфигурацию выходных каналов. Этап частотной коррекции или нормализации энергии затем может либо включаться в процесс кодирования, либо по-прежнему выполняться в декодере 2, поскольку он представляет собой несложный и четко заданный этап обработки.
Другой вариант состоит в том, чтобы передавать вычисление ковариационной матрицы
Figure 00000014
в кодер 1. В таком случае элементы ковариационной матрицы
Figure 00000014
должны передаваться в потоке 7 битов. Эта версия дает возможность гибких компоновок для рендеринга в приемном устройстве 2, но требует большего объема дополнительных данных в потоке 7 битов.
Далее описывается предпочтительный вариант осуществления изобретения.
Аудиосигналы 37, которые подаются в преобразователь 42 форматов, далее называются "входными сигналами". Аудиосигналы 40, которые являются результатом процесса преобразования формата, называются "выходными сигналами". Следует отметить, что входные аудиосигналы 37 из преобразователя форматов являются выходными аудиосигналами базового декодера 6.
Векторы и матрицы обозначаются посредством полужирных символов. Векторные элементы или матричные элементы обозначаются с помощью курсивных переменных, дополняемых посредством индексов, указывающих то, что строка/столбец векторного/матричного элемента в векторе/матрице, например,
Figure 00000040
обозначает вектор и его элементы. Аналогично, Ma,b обозначает элемент в a-ой строке и b-ом столбце матрицы M.
Используются следующие переменные:
Nin – число каналов в конфигурации входных каналов
Nout – число каналов в конфигурации выходных каналов
MDMX – матрица понижающего микширования, содержащая действительнозначные неотрицательные коэффициенты понижающего микширования (усиления при понижающем микшировании), причем MDMX имеет размерность (Nin x Nout)
GEQ – матрица, состоящая из значений усиления в расчете на полосу частот обработки, определяющих частотные характеристики частотных корректирующих фильтров
IEQ – вектор, передающий в служебных сигналах то, какие частотные корректирующие фильтры следует применять к входным каналам (если таковые имеются)
L – длина кадра, измеренная в аудиовыборках временной области
n – индекс выборки временной области
n – индекс временного QMF-кванта (=индекс подполосной выборки)
Ln – длина кадра, измеренная во временных QMF-квантах
F – индекс кадра (номер кадра)
K – число гибридных QMF-полос частот, K=77
k – индекс QMF-полосы частот (1...64) или индекс гибридной QMF-полосы частот (1... K)
A, B – индексы каналов (номера каналов из конфигураций каналов)
eps – числовая константа, eps=10-35
Инициализация преобразователя 42 форматов выполняется до того, как осуществляется обработка аудиовыборок, предоставляемых посредством базового декодера.
Инициализация учитывает в качестве входных параметров:
- частоту дискретизации аудиоданных, которые следует обрабатывать.
- параметр format_in, передающий в служебных сигналах конфигурацию каналов аудиоданных, которые следует обрабатывать с помощью преобразователя форматов.
- параметр format_out, передающий в служебных сигналах конфигурацию каналов требуемого выходного формата.
- Необязательно: Параметры, передающие в служебных сигналах отклонение позиций громкоговорителей от стандартной компоновки громкоговорителей (функциональность случайной компоновки).
Она возвращает:
- число каналов конфигурации входных громкоговорителей, Nin,
- число каналов конфигурации выходных громкоговорителей, Nout,
- матрицу MDMX понижающего микширования и параметры (IEQ, GEQ) частотного корректирующего фильтра, которые применяются в обработке аудиосигналов преобразователя 42 форматов.
- значения (Tg,A и Td,A) подстраиваемого усиления и задержки для компенсации варьирующихся расстояний между громкоговорителями.
Блок аудиообработки преобразователя 42 форматов получает аудиовыборки 37 временной области для Nin каналов 38 из базового декодера 6 и формирует микшированный с понижением выходной аудиосигнал 40 временной области, состоящий из Nout каналов 41.
Обработка принимает в качестве ввода:
- аудиоданные, декодированные посредством базового декодера 6,
- матрицу MDMX понижающего микширования, возвращаемую посредством инициализации преобразователя 42 форматов,
- параметры (IEQ, GEQ) частотного корректирующего фильтра, возвращаемые посредством инициализации преобразователя 42 форматов.
Она возвращает Nout-канальный выходной сигнал 40 временной области для конфигурации format_out каналов, передаваемой в служебных сигналах в ходе инициализации преобразователя 42 форматов.
Преобразователь 42 форматов может управлять смежными неперекрывающимися кадрами длины L=2048 выборок временной области входных аудиосигналов и выводит один кадр из L выборок в расчете на обработанный входной кадр длины L.
Дополнительно, может выполняться T/F-преобразование (гибридный QMF-анализ). В качестве первого этапа обработки, преобразователь преобразует L=2048 выборок Nin-канального входного сигнала
Figure 00000041
временной области в гибридное Nin-канальное QMF-представление сигнала, состоящее из Ln=32 временных QMF-квантов (индекс n временного кванта), и K=77 полос частот (индекс k полосы частот). Сначала выполняется QMF-анализ согласно 23003-2:2010 ISO/IEC, подраздел 7.14.2.2:
Figure 00000042
с
Figure 00000043
и
Figure 00000044
после которого выполняется гибридный анализ:
Figure 00000045
Гибридная фильтрация должна быть выполнена так, как описано в 8.6.4.3 из 14496-3:2009 ISO/IEC. Тем не менее, определение низкочастотного разбиения (таблица 8.36 из 14496-3:2009 ISO/IEC) может быть заменено посредством следующей таблицы:
Общее представление низкочастотного разбиения для 77-полосной гибридной гребенки фильтров
QMF-подполоса p частот Число Qp полос частот Фильтр
0 8 Тип A
1 4
2 4
Дополнительно, определения прототипного фильтра должны быть заменены посредством коэффициентов в следующей таблице:
Коэффициенты прототипной фильтрации для фильтров, которые разбивают нижние QMF-подполосы частот для 77-полосной гибридной гребенки фильтров
n g0[n], Q0=8 g1,2[n], Q1,2=4
0 0,00746082949812 -0,00305151927305
1 0,02270420949825 -0,00794862316203
2 0,04546865930473 0,0
3 0,07266113929591 0,04318924038756
4 0,09885108575264 0,12542448210445
5 0,11793710567217 0,21227807049160
6 0,125 0,25
7 0,11793710567217 0,21227807049160
8 0,09885108575264 0,12542448210445
9 0,07266113929591 0,04318924038756
10 0,04546865930473 0,0
11 0,02270420949825 -0,00794862316203
12 0,00746082949812 -0,00305151927305
Дополнительно, в отличие от 8.6.4.3 из 14496-3:2009 ISO/IEC, подподполосы частот не комбинируются, т.е. посредством разбиения наименьших 3 QMF-подполос частот на (8, 4, 4) подподполос частот, формируется 77-полосная гибридная гребенка фильтров. 77 гибридных QMF-полос частот не переупорядочены, но переданы в порядке, который следует из гибридной гребенки фильтров, см. фиг. 10.
Далее могут применяться статические усиления частотного корректора. Преобразователь 42 применяет нуль-фазовые усиления к входным каналам 38, передаваемым в служебных сигналах посредством переменных IEQ и GEQ.
IEQ является вектором длины Nin, который передает в служебных сигналах для каждого канала A из Nin входных каналов:
- либо то, что частотный корректирующий фильтр не должен применяться к конкретному входному каналу: IEQ,A=0,
- либо то, что должны применяться усиления GEQ, соответствующие частотному корректирующему фильтру с индексом IEQ,A>0.
В случае если IEQ,A>0 для входного канала A, входной сигнал канала A фильтруется посредством умножения на нуль-фазовые усиления, полученные из столбца матрицы GEQ, передаваемой в служебных сигналах посредством IEQ,A:
Figure 00000046
Следует отметить, что все следующие этапы обработки до преобразования обратно в сигналы временной области выполняются по отдельности для каждой гибридной QMF-полосы k частот и независимо от k. Параметр k полосы частот в силу этого опускается в следующих уравнениях, например,
Figure 00000047
для каждой полосы k частот.
Дополнительно, может выполняться обновление входных данных и сигнально-адаптивная обработка функцией окна входных данных. Пусть F является монотонно увеличивающимся индексом кадра, обозначающим текущий кадр входных данных, например,
Figure 00000048
для кадра F, начинающегося в F=0 для первого кадра входных данных после инициализации преобразователя 42 форматов. Аналитический кадр длины 2Ln формулируется из входных гибридных QMF-спектров следующим образом:
Figure 00000049
Аналитический кадр умножается на аналитическую функцию wF,n окна согласно следующему:
Figure 00000050
где wF,n представляет собой сигнально-адаптивное окно, которое вычисляется для каждого кадра F следующим образом:
Figure 00000051
Figure 00000052
Figure 00000053
Figure 00000054
Далее может выполняться ковариационный анализ. Ковариационный анализ выполняется для обработанных функцией окна входных данных, где оператор E(⋅) математического ожидания реализуется как суммирование автоматических/перекрестных членов по 2Ln временным QMF-квантам кадра F обработанных функцией окна входных данных. Следующие этапы обработки выполняются независимо для каждого обрабатываемого кадра F. Таким образом, индекс F опускается до тех пор, пока не потребуется для ясности, например,
Figure 00000055
для кадра F.
Следует отметить, что
Figure 00000056
обозначает вектор-строку с Nin элементов в случае Nin входных каналов. Матрица ковариационных значений в силу этого формируется следующим образом:
Figure 00000057
,
где (⋅)T обозначает транспонирование, и (⋅)* обозначает комплексно-сопряженное число переменной, и Cy является матрицей NinxNin, которая вычисляется один раз в расчете на каждый кадр.
Из ковариационной матрицы Cy, коэффициенты межканальной корреляции между каналами A и B извлекаются следующим образом:
Figure 00000058
,
где два индекса в обозначении Cy,a,b указывают матричный элемент в a-ой строке и b-ом столбце.
Дополнительно, может формулироваться матрица фазового выравнивания. ICCA,B значений преобразуются в матрицу T показателей притяжения с элементами:
Figure 00000059
и формулируется промежуточная матрица Mint смешивания с фазовым выравниванием (эквивалентная нормализованной матрице
Figure 00000008
коэффициентов фазового выравнивания в предыдущих вариантах осуществления). При использовании матрицы значений притяжения:
Figure 00000060
, и
V=MDMXP
матричные элементы извлекаются следующим образом:
Figure 00000061
,
где exp(⋅) обозначает показательную функцию,
Figure 00000062
является мнимой единицей, и arg(⋅) возвращает аргумент комплекснозначных переменных.
Промежуточная матрица Mint смешивания с фазовым выравниванием модифицируется для того, чтобы не допускать резких сдвигов фаз, что приводит к Mmod: Во-первых, матрица DF весовых коэффициентов задается для каждого кадра F в качестве диагональной матрицы с элементами
Figure 00000063
. Изменение фазы матрицы смешивания во времени (т.е. по кадрам) измеряется посредством сравнения текущей взвешенной промежуточной матрицы смешивания и взвешенной результирующей матрицы Mmod смешивания предыдущего кадра:
Figure 00000064
Figure 00000065
Измеренное изменение фазы промежуточной матрицы смешивания обрабатывается, чтобы получать параметр модификации фазы, который применяется к промежуточной матрице Mint смешивания, что приводит к Mmod (эквивалентной матрице
Figure 00000013
коэффициентов регуляризованного фазового выравнивания):
Figure 00000066
Масштабирование энергии применяется к матрице смешивания, чтобы получить конечную матрицу MPA смешивания с фазовым выравниванием, где:
Figure 00000067
, где (⋅)H обозначает оператор сопряженного транспонирования, и
Figure 00000068
где пределы задаются как
Figure 00000069
и
Figure 00000070
, элементы конечной матрицы смешивания с фазовым выравниванием приводятся далее следующим образом:
Figure 00000071
.
На дополнительном этапе, могут вычисляться выходные данные. Выходные сигналы для текущего кадра F вычисляются посредством применения идентичной комплекснозначной матрицы
Figure 00000072
понижающего микширования ко всем 2Ln временным квантам n вектора
Figure 00000073
обработанного функцией окна:
Figure 00000074
для
Figure 00000075
.
Этап суммирования с перекрытием применяется к заново вычисленному кадру
Figure 00000076
выходного сигнала, чтобы получать конечные выходные сигналы частотной области, содержащие Ln выборок в расчете на один канал для кадра F,
Figure 00000077
Далее может выполняться F/T-преобразование (гибридный QMF-синтез). Следует отметить, что этапы обработки, описанные выше, должны выполняться для каждой гибридной QMF-полосы k частот независимо. В следующих формулированиях, индекс k полосы частот повторно введен, т.е.
Figure 00000078
. Гибридный выходной сигнал
Figure 00000079
частотной QMF-области преобразован в Nout-канальный кадр сигнала временной области длины в L выборок временной области в расчете на один выходной канал B, давая в результате конечный выходной сигнал
Figure 00000080
временной области:
Гибридный синтез:
Figure 00000081
может выполняться, как задано на фиг. 8.21 из 14496-3:2009 ISO/IEC, т.е. посредством суммирования подподполос частот для трех наименьших QMF-подполос частот, чтобы получать три наименьших QMF-подполосы частот 64-полосного QMF-представления. Тем не менее, обработка, показанная на фиг. 8.21 из 14496-3:2009 ISO/IEC, должна быть адаптирована к разбиению (8, 4, 4) полосы низких частот, вместо показанного низкочастотного разбиения (6, 2, 2).
Последующий QMF-синтез:
Figure 00000082
может выполняться, как задано в 23003-2:2010 ISO/IEC, подраздел 7.14.2.2.
Если позиции выходных громкоговорителей отличаются по радиусу (т.е. если trimA не является идентичным для всех выходных каналов A), параметры компенсации, извлеченные в инициализации, могут применяться к выходным сигналам. Сигнал выходного канала A должен задерживаться посредством Td,A выборок временной области, и сигнал должен также умножаться на линейное усиление Tg,A.
Относительно декодера и кодера и способов описанных вариантов осуществления, следует упомянуть следующее.
Хотя некоторые аспекты описаны в контексте устройства, очевидно, что эти аспекты также представляют описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента, или признака соответствующего устройства.
В зависимости от определенных требований к реализации, варианты осуществления изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя хранения данных, например, гибкого диска, DVD, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего сохраненные электронночитаемые управляющие сигналы, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой таким образом, что осуществляется соответствующий способ.
Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий электронночитаемые управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.
В общем, варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт работает на компьютере. Программный код, например, может быть сохранен на машиночитаемом носителе.
Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе или на энергонезависимом носителе хранения данных.
Другими словами, следовательно, вариант осуществления изобретаемого способа представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа работает на компьютере.
Следовательно, дополнительный вариант осуществления изобретаемых способов представляет собой носитель хранения данных (цифровой носитель хранения данных или машиночитаемый носитель), содержащий записанную компьютерную программу для осуществления одного из способов, описанных в данном документе.
Следовательно, дополнительный вариант осуществления изобретаемого способа представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью передачи через соединение для передачи данных, например, через Интернет.
Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществлять один из способов, описанных в данном документе.
Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.
В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может быть использовано для того, чтобы выполнять часть или все из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы осуществлять один из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого устройства.
Хотя это изобретение описано с точки зрения нескольких вариантов осуществления, возникают изменения, перестановки и эквиваленты, которые попадают в пределы объема этого изобретения. Также следует отметить, что предусмотрено множество альтернативных способов реализации способов и структур настоящего изобретения. Следовательно, нижеприведенная прилагаемая формула изобретения должна интерпретироваться как включающая в себя все такие изменения, перестановки и эквиваленты, которые попадают в пределы истинной сущности и объема настоящего изобретения.

Claims (38)

1. Декодер обработки аудиосигналов, имеющий, по меньшей мере, одну полосу (36) частот и выполненный с возможностью обработки входного аудиосигнала (37), имеющего множество входных каналов (38), по меньшей мере, в одной полосе (36) частот, при этом декодер (2) выполнен с возможностью:
- выравнивать фазы входных каналов (38) в зависимости от межканальных зависимостей (39) между входными каналами (38), при этом фазы входных каналов (38) тем больше выравнены относительно друг друга, чем выше их межканальная зависимость (39); и
- микшировать с понижением выравненный входной аудиосигнал в выходной аудиосигнал (40), имеющий меньшее число выходных каналов (41), чем число входных каналов (38).
2. Декодер по п. 1, при этом декодер (2) выполнен с возможностью анализировать входной аудиосигнал (37) в полосе (36) частот, чтобы идентифицировать межканальные зависимости (39) между входными аудиоканалами (38) или принимать межканальные зависимости (39) между входными каналами (38) из внешнего устройства, к примеру из кодера (1), который предоставляет входной аудиосигнал (37).
3. Декодер по п. 1, при этом декодер (2) выполнен с возможностью нормализовать энергию выходного аудиосигнала (40) на основе определенной энергии входного аудиосигнала (37), при этом декодер (2) выполнен с возможностью определять энергию сигналов для входного аудиосигнала (37) или принимать определенную энергию входного аудиосигнала (37) из внешнего устройства, к примеру из кодера (1), который предоставляет входной аудиосигнал (37).
4. Декодер по п. 1, при этом декодер (2) содержит понижающий микшер (42) для понижающего микширования входного аудиосигнала (37) на основе матрицы (
Figure 00000083
) понижающего микширования, при этом декодер (1) выполнен с возможностью вычислять матрицу (
Figure 00000083
) понижающего микширования таким образом, что фазы входных каналов (38) выравниваются на основе идентифицированных межканальных зависимостей (39), или принимать матрицу (
Figure 00000083
) понижающего микширования, вычисленную таким образом, что фазы входных каналов (38) выравниваются на основе идентифицированных межканальных зависимостей (39), из внешнего устройства, к примеру из кодера (1), который предоставляет входной аудиосигнал (37).
5. Декодер по п. 4, при этом декодер (2) выполнен с возможностью вычислять матрицу (
Figure 00000084
понижающего микширования таким образом, что энергия выходного аудиосигнала (41) нормализована на основе определенной энергии входного аудиосигнала (37), или принимать матрицу (
Figure 00000083
) понижающего микширования, вычисленную таким образом, что энергия выходного аудиосигнала (41) нормализована на основе определенной энергии входного аудиосигнала (37), из внешнего устройства, к примеру из кодера (1), который предоставляет входной аудиосигнал (37).
6. Декодер по п. 1, при этом декодер (2) выполнен с возможностью анализировать временные интервалы (43) входного аудиосигнала (37) с использованием функции окна, при этом межканальные зависимости (39) определяются для каждого временного кадра (43) или при этом декодер (2) выполнен с возможностью принимать анализ временных интервалов (43) входного аудиосигнала (37) с использованием функции окна, при этом межканальные зависимости (39) определяются для каждого временного кадра (43) из внешнего устройства, к примеру из кодера (1), который предоставляет входной аудиосигнал (37).
7. Декодер по п. 1, при этом декодер (2) выполнен с возможностью вычислять матрицу (
Figure 00000085
) ковариационных значений, при этом ковариационные значения (
Figure 00000086
) выражают межканальную зависимость (39) пары входных аудиоканалов (38) или при этом декодер (2) выполнен с возможностью принимать матрицу (
Figure 00000085
) ковариационных значений, при этом ковариационные значения (
Figure 00000086
) выражают межканальную зависимость (39) пары входных аудиоканалов (38) из внешнего устройства, к примеру из кодера (1), который предоставляет входной аудиосигнал (37).
8. Декодер по п. 7, при этом декодер (2) выполнен с возможностью устанавливать матрицу (
Figure 00000087
) значений притяжения, которая представляет управляющие данные в форме коэффициентов притяжения фаз, которые определяют притяжение фаз между канальными парами, посредством применения функции (
Figure 00000088
) преобразования к матрице (
Figure 00000085
) ковариационных значений или к матрице (
Figure 00000089
), извлеченной из матрицы (
Figure 00000085
) ковариационных значений, или принимать матрицу (
Figure 00000087
) значений притяжения, которая представляет управляющие данные в форме коэффициентов притяжения фаз, которые определяют притяжение фаз между канальными парами, устанавливаемую посредством применения функции (
Figure 00000088
) преобразования к матрице (
Figure 00000085
) ковариационных значений или к матрице (
Figure 00000089
), извлеченной из матрицы (
Figure 00000085
) ковариационных значений, при этом градиент функции (
Figure 00000088
) преобразования предпочтительно больше или равен нулю для всех ковариационных значений (
Figure 00000086
) или значений (
Figure 00000090
), извлеченных из ковариационных значений (
Figure 00000086
), и при этом функция (
Figure 00000088
) преобразования предпочтительно достигает значений между нулем и единицей для входных значений между нулем и единицей.
9. Декодер по п. 8, в котором функция (
Figure 00000088
) преобразования является нелинейной функцией
Figure 00000091
.
10. Декодер по п. 8, в котором функция (
Figure 00000088
) преобразования равна нулю для ковариационных значений (
Figure 00000086
) или значений (
Figure 00000090
), извлеченных из ковариационных значений (
Figure 00000086
), меньших первого порогового значения преобразования, и/или при этом функция (
Figure 00000088
) преобразования равна единице для ковариационных значений (
Figure 00000086
) или значений (
Figure 00000090
), извлеченных из ковариационных значений (
Figure 00000086
), превышающих второе пороговое значение преобразования.
11. Декодер по п. 8, в котором функция (
Figure 00000088
) преобразования представлена посредством функции, формирующей S-образную кривую.
12. Декодер по п. 7, при этом декодер (2) выполнен с возможностью вычислять матрицу (
Figure 00000092
) коэффициентов фазового выравнивания, при этом матрица (
Figure 00000092
) коэффициентов фазового выравнивания основана на матрице (
Figure 00000085
) ковариационных значений и на прототипной матрице (
Figure 00000093
) понижающего микширования, или принимать матрицу (
Figure 00000092
) коэффициентов фазового выравнивания, при этом матрица (
Figure 00000092
) коэффициентов фазового выравнивания основана на матрице (
Figure 00000085
) ковариационных значений и на прототипной матрице (
Figure 00000093
) понижающего микширования, из внешнего устройства, к примеру из кодера (1), который предоставляет входной аудиосигнал (37).
13. Декодер по п. 12, в котором фазы и/или амплитуды коэффициентов (
Figure 00000094
) понижающего микширования матрицы (
Figure 00000083
) понижающего микширования формулируются как сглаженные во времени, так что исключаются временные артефакты вследствие подавления сигналов между смежными временными кадрами (43).
14. Декодер по п. 12, в котором фазы и/или амплитуды коэффициентов (
Figure 00000094
) понижающего микширования матрицы (
Figure 00000083
) понижающего микширования формулируются как сглаженные по частоте, так что исключаются спектральные артефакты вследствие подавления сигналов между смежными полосами (36) частот.
15. Декодер по п. 12, при этом декодер (2) выполнен с возможностью устанавливать матрицу (
Figure 00000095
) коэффициентов регуляризованного фазового выравнивания на основе матрицы (
Figure 00000092
) коэффициентов фазового выравнивания или принимать матрицу (
Figure 00000095
) коэффициентов регуляризованного фазового выравнивания на основе матрицы (
Figure 00000092
) коэффициентов фазового выравнивания из внешнего устройства, к примеру из кодера (1), который предоставляет входной аудиосигнал (37).
16. Декодер по п. 15, в котором матрица (
Figure 00000096
) понижающего микширования основана на матрице (
Figure 00000095
) коэффициентов регуляризованного фазового выравнивания.
17. Кодер обработки аудиосигналов, имеющий, по меньшей мере, одну полосу (36) частот и выполненный с возможностью обработки входного аудиосигнала (37), имеющего множество входных каналов (38), по меньшей мере, в одной полосе (36) частот, при этом кодер (1) выполнен с возможностью:
- выравнивать фазы входных каналов (38) в зависимости от межканальных зависимостей (39) между входными каналами (38), при этом фазы входных каналов (38) тем больше выравнены относительно друг друга, чем выше их межканальная зависимость (39); и
- микшировать с понижением выравненный входной аудиосигнал в выходной аудиосигнал (40), имеющий меньшее число выходных каналов (41), чем число входных каналов (38).
18. Кодер обработки аудиосигналов, имеющий, по меньшей мере, одну полосу (36) частот и выполненный с возможностью вывода потока (7) битов, при этом поток (7) битов содержит кодированный аудиосигнал (37) в полосе (36) частот, при этом кодированный аудиосигнал (37) имеет множество кодированных каналов (38), по меньшей мере, в одной полосе (36) частот, при этом кодер (1) выполнен с возможностью:
- вычислять матрицу (
Figure 00000096
) понижающего микширования для понижающего микшера (3) для понижающего микширования кодированного аудиосигнала (37) на основе матрицы (
Figure 00000096
) понижающего микширования таким образом, что фазы кодированных каналов (38) выравниваются на основе идентифицированных межканальных зависимостей (39), предпочтительно таким образом, что энергия выходного аудиосигнала понижающего микшера (41) нормализована на основе определенной энергии кодированного аудиосигнала (37), и выводить матрицу (
Figure 00000096
) понижающего микширования в потоке (7) битов, при этом, в частности, фазы и/или амплитуды коэффициентов (
Figure 00000094
) понижающего микширования матрицы (
Figure 00000097
) понижающего микширования формулируются как сглаженные во времени, так что исключаются временные артефакты вследствие подавления сигналов между смежными временными кадрами (43), и/или при этом, в частности, фазы и/или амплитуды коэффициентов (
Figure 00000094
) понижающего микширования матрицы (
Figure 00000096
) понижающего микширования формулируются как сглаженные по частоте, так что исключаются спектральные артефакты вследствие подавления сигналов между смежными полосами (36) частот; и/или
- устанавливать матрицу (
Figure 00000087
) значений притяжения, которая представляет управляющие данные в форме коэффициентов притяжения фаз, которые определяют притяжение фаз между канальными парами, посредством применения функции (
Figure 00000088
) преобразования, при этом градиент функции (
Figure 00000088
) преобразования предпочтительно больше или равен нулю для всех ковариационных значений (
Figure 00000086
) или значений (
Figure 00000090
), извлеченных из ковариационных значений (
Figure 00000086
), и при этом функция (
Figure 00000088
) преобразования предпочтительно достигает значений между нулем и единицей для входных значений между нулем и единицей, в частности, нелинейной функции
Figure 00000091
, в частности функции (
Figure 00000088
) преобразования, которая равна нулю для ковариационных значений (
Figure 00000086
) или значений (
Figure 00000090
), извлеченных из ковариационных значений (
Figure 00000086
), меньших первого порогового значения преобразования, и/или которая равна единице для ковариационных значений (
Figure 00000086
) или значений (
Figure 00000090
), извлеченных из ковариационных значений (
Figure 00000086
), превышающих второе пороговое значение преобразования, и/или которая представлена посредством функции, формирующей S-образную кривую, к матрице (
Figure 00000085
) ковариационных значений или к матрице (
Figure 00000089
), извлеченной из матрицы (
Figure 00000085
)ковариационных значений, и выводить матрицу (
Figure 00000087
) значений притяжения в потоке (7) битов; и/или
- вычислять матрицу (
Figure 00000092
) коэффициентов фазового выравнивания, при этом матрица (
Figure 00000092
) коэффициентов фазового выравнивания основана на матрице (
Figure 00000085
) ковариационных значений и на прототипной матрице (
Figure 00000093
) понижающего микширования.
19. Кодер обработки аудиосигналов по п. 18, при этом кодер (1) выполнен с возможностью определять межканальные зависимости (39) между входными каналами (38) входного аудиосигнала (37) и выводить межканальные зависимости (39) в потоке (7) битов; и/или
- определять энергию кодированного аудиосигнала (37) и выводить определенную энергию кодированного аудиосигнала (37) в потоке (7) битов.
20. Кодер обработки аудиосигналов по п. 18, при этом кодер (1) выполнен с возможностью анализировать временные интервалы (43) кодированного аудиосигнала (37) с использованием функции окна, при этом межканальные зависимости (39) определяются для каждого временного кадра (43), и выводить межканальные зависимости (39) для каждого временного кадра (43) в потоке (7) битов.
21. Кодер обработки аудиосигналов по п. 18, при этом кодер (1) выполнен с возможностью вычислять матрицу (
Figure 00000098
) ковариационных значений, при этом ковариационные значения (
Figure 00000099
) выражают межканальную зависимость (39) пары кодированных аудиоканалов (38), и выводить матрицу (
Figure 00000098
) ковариационных значений в потоке (7) битов.
22. Кодер обработки аудиосигналов по п. 18, при этом кодер (1) выполнен с возможностью устанавливать матрицу (
Figure 00000100
) коэффициентов регуляризованного фазового выравнивания на основе матрицы
Figure 00000101
коэффициентов фазового выравнивания и выводить матрицу (
Figure 00000100
) коэффициентов регуляризованного фазового выравнивания в потоке (7) битов.
23. Система обработки аудиосигналов, содержащая:
- декодер (2) обработки аудиосигналов по одному из пп. 1-16, и
- кодер (1) обработки аудиосигналов по одному из пп. 17-22.
24. Способ для обработки входного аудиосигнала (37), имеющего множество входных каналов (38) в полосе (36) частот, при этом способ содержит этапы, на которых:
- анализируют входной аудиосигнал (37) в полосе (36) частот, при этом межканальные зависимости (39) между входными аудиоканалами (38) идентифицируются;
- выравнивают фазы входных каналов (38) на основе идентифицированных межканальных зависимостей (39), при этом фазы входных каналов (38) тем больше выравнены относительно друг друга, чем выше их межканальная зависимость (39);
- микшируют с понижением выравненный входной аудиосигнал в выходной аудиосигнал (40), имеющий меньшее число выходных каналов (41), чем число входных каналов (38) в полосе (36) частот.
25. Машиночитаемый носитель, имеющий записанную компьютерную программу для реализации способа по п. 24 при выполнении на компьютере или в процессоре сигналов.
RU2016105741A 2013-07-22 2014-07-18 Уменьшение артефактов гребенчатого фильтра при многоканальном понижающем микшировании с адаптивным фазовым совмещением RU2678161C2 (ru)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP13177358 2013-07-22
EP13177358.2 2013-07-22
EP13189287.9 2013-10-18
EP13189287.9A EP2838086A1 (en) 2013-07-22 2013-10-18 In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment
PCT/EP2014/065537 WO2015011057A1 (en) 2013-07-22 2014-07-18 In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment

Publications (2)

Publication Number Publication Date
RU2016105741A RU2016105741A (ru) 2017-08-28
RU2678161C2 true RU2678161C2 (ru) 2019-01-23

Family

ID=48874132

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016105741A RU2678161C2 (ru) 2013-07-22 2014-07-18 Уменьшение артефактов гребенчатого фильтра при многоканальном понижающем микшировании с адаптивным фазовым совмещением

Country Status (18)

Country Link
US (2) US10360918B2 (ru)
EP (2) EP2838086A1 (ru)
JP (1) JP6279077B2 (ru)
KR (2) KR101943601B1 (ru)
CN (2) CN111862997A (ru)
AR (1) AR097001A1 (ru)
AU (1) AU2014295167B2 (ru)
BR (1) BR112016001003B1 (ru)
CA (1) CA2918874C (ru)
ES (1) ES2687952T3 (ru)
MX (1) MX359163B (ru)
PL (1) PL3025336T3 (ru)
PT (1) PT3025336T (ru)
RU (1) RU2678161C2 (ru)
SG (1) SG11201600393VA (ru)
TW (1) TWI560702B (ru)
WO (1) WO2015011057A1 (ru)
ZA (1) ZA201601112B (ru)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108806706B (zh) * 2013-01-15 2022-11-15 韩国电子通信研究院 处理信道信号的编码/解码装置及方法
WO2014112793A1 (ko) 2013-01-15 2014-07-24 한국전자통신연구원 채널 신호를 처리하는 부호화/복호화 장치 및 방법
EP2838086A1 (en) * 2013-07-22 2015-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment
EP2830051A3 (en) 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
KR102160254B1 (ko) 2014-01-10 2020-09-25 삼성전자주식회사 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치
JP6921832B2 (ja) * 2016-02-03 2021-08-18 ドルビー・インターナショナル・アーベー オーディオ符号化における効率的なフォーマット変換
US10217467B2 (en) * 2016-06-20 2019-02-26 Qualcomm Incorporated Encoding and decoding of interchannel phase differences between audio signals
CN112492502B (zh) * 2016-07-15 2022-07-19 搜诺思公司 联网麦克风设备及其方法以及媒体回放系统
CN107731238B (zh) * 2016-08-10 2021-07-16 华为技术有限公司 多声道信号的编码方法和编码器
CN107895580B (zh) * 2016-09-30 2021-06-01 华为技术有限公司 一种音频信号的重建方法和装置
US10362423B2 (en) * 2016-10-13 2019-07-23 Qualcomm Incorporated Parametric audio decoding
PT3539127T (pt) 2016-11-08 2020-12-04 Fraunhofer Ges Forschung Dispositivo de downmix e método para executar o downmix de pelo menos dois canais e codificador multicanal e descodificador multicanal
MX2019005147A (es) 2016-11-08 2019-06-24 Fraunhofer Ges Forschung Aparato y metodo para codificar o decodificar una se?al multicanal usando una ganancia lateral y una ganancia residual.
CN109427338B (zh) * 2017-08-23 2021-03-30 华为技术有限公司 立体声信号的编码方法和编码装置
EP3550561A1 (en) 2018-04-06 2019-10-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downmixer, audio encoder, method and computer program applying a phase value to a magnitude value
CN110660400B (zh) * 2018-06-29 2022-07-12 华为技术有限公司 立体声信号的编码、解码方法、编码装置和解码装置
BR112022000806A2 (pt) 2019-08-01 2022-03-08 Dolby Laboratories Licensing Corp Sistemas e métodos para atenuação de covariância
AU2020372899A1 (en) * 2019-10-30 2022-04-21 Dolby Laboratories Licensing Corporation Bitrate distribution in immersive voice and audio services
CN113518227B (zh) * 2020-04-09 2023-02-10 于江鸿 数据处理的方法和系统
GB2626953A (en) * 2023-02-08 2024-08-14 Nokia Technologies Oy Audio rendering of spatial audio

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009115211A2 (en) * 2008-03-20 2009-09-24 Fraunhofer-Gesellchaft Zur Förderung Der Angewandten Forschung E.V. Apparatus and method for converting an audio signal into a parameterized representation, apparatus and method for modifying a parameterized representation, apparatus and method for synthensizing a parameterized representation of an audio signal
US20110255588A1 (en) * 2010-04-17 2011-10-20 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multichannel signal
WO2012158705A1 (en) * 2011-05-19 2012-11-22 Dolby Laboratories Licensing Corporation Adaptive audio processing based on forensic detection of media processing history
RU2473140C2 (ru) * 2008-03-04 2013-01-20 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Устройство для микширования множества входных данных
RU2487429C2 (ru) * 2008-03-10 2013-07-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и метод для обработки аудиосигнала, содержащего переходный сигнал

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040042504A1 (en) * 2002-09-03 2004-03-04 Khoury John Michael Aligning data bits in frequency synchronous data channels
US20090299756A1 (en) * 2004-03-01 2009-12-03 Dolby Laboratories Licensing Corporation Ratio of speech to non-speech audio such as for elderly or hearing-impaired listeners
CA2992097C (en) 2004-03-01 2018-09-11 Dolby Laboratories Licensing Corporation Reconstructing audio signals with multiple decorrelation techniques and differentially coded parameters
CN1942929A (zh) * 2004-04-05 2007-04-04 皇家飞利浦电子股份有限公司 多信道编码器
JP2006050241A (ja) * 2004-08-04 2006-02-16 Matsushita Electric Ind Co Ltd 復号化装置
US7830921B2 (en) 2005-07-11 2010-11-09 Lg Electronics Inc. Apparatus and method of encoding and decoding audio signal
TW200742275A (en) * 2006-03-21 2007-11-01 Dolby Lab Licensing Corp Low bit rate audio encoding and decoding in which multiple channels are represented by fewer channels and auxiliary information
US8452587B2 (en) * 2008-05-30 2013-05-28 Panasonic Corporation Encoder, decoder, and the methods therefor
CN101604983B (zh) * 2008-06-12 2013-04-24 华为技术有限公司 编解码装置、系统及其方法
WO2010042024A1 (en) * 2008-10-10 2010-04-15 Telefonaktiebolaget Lm Ericsson (Publ) Energy conservative multi-channel audio coding
CA2748045C (en) * 2009-01-05 2016-04-26 Gordon Toll Apparatus and method for defining a safety zone for a vehicle, a person or an animal
EP2214161A1 (en) * 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for upmixing a downmix audio signal
WO2010097748A1 (en) * 2009-02-27 2010-09-02 Koninklijke Philips Electronics N.V. Parametric stereo encoding and decoding
US8666752B2 (en) * 2009-03-18 2014-03-04 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-channel signal
WO2010105695A1 (en) * 2009-03-20 2010-09-23 Nokia Corporation Multi channel audio coding
CN101533641B (zh) * 2009-04-20 2011-07-20 华为技术有限公司 对多声道信号的声道延迟参数进行修正的方法和装置
WO2011039668A1 (en) * 2009-09-29 2011-04-07 Koninklijke Philips Electronics N.V. Apparatus for mixing a digital audio
RU2576476C2 (ru) 2009-09-29 2016-03-10 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф., Декодер аудиосигнала, кодер аудиосигнала, способ формирования представления сигнала повышающего микширования, способ формирования представления сигнала понижающего микширования, компьютерная программа и бистрим, использующий значение общего параметра межобъектной корреляции
KR101641685B1 (ko) 2010-03-29 2016-07-22 삼성전자주식회사 멀티채널 오디오의 다운믹스 방법 및 장치
CN102986254B (zh) * 2010-07-12 2015-06-17 华为技术有限公司 音频信号产生装置
AU2010345325B2 (en) 2010-07-14 2013-09-26 Guangdong Shengyi Sci. Tech Co., Ltd. Composite material, high-frequency circuit substrate made therefrom and making method thereof
BR112013004362B1 (pt) * 2010-08-25 2020-12-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. aparelho para a geração de um sinal descorrelacionado utilizando informação de fase transmitida
EP2838086A1 (en) * 2013-07-22 2015-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2473140C2 (ru) * 2008-03-04 2013-01-20 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Устройство для микширования множества входных данных
RU2487429C2 (ru) * 2008-03-10 2013-07-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и метод для обработки аудиосигнала, содержащего переходный сигнал
WO2009115211A2 (en) * 2008-03-20 2009-09-24 Fraunhofer-Gesellchaft Zur Förderung Der Angewandten Forschung E.V. Apparatus and method for converting an audio signal into a parameterized representation, apparatus and method for modifying a parameterized representation, apparatus and method for synthensizing a parameterized representation of an audio signal
US20110255588A1 (en) * 2010-04-17 2011-10-20 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multichannel signal
WO2012158705A1 (en) * 2011-05-19 2012-11-22 Dolby Laboratories Licensing Corporation Adaptive audio processing based on forensic detection of media processing history

Also Published As

Publication number Publication date
AR097001A1 (es) 2016-02-10
CN111862997A (zh) 2020-10-30
KR20160033776A (ko) 2016-03-28
US20190287542A1 (en) 2019-09-19
PT3025336T (pt) 2018-11-19
MX359163B (es) 2018-09-18
SG11201600393VA (en) 2016-02-26
WO2015011057A1 (en) 2015-01-29
CN105518775A (zh) 2016-04-20
ZA201601112B (en) 2017-08-30
TWI560702B (en) 2016-12-01
KR20180027607A (ko) 2018-03-14
JP6279077B2 (ja) 2018-02-14
KR101943601B1 (ko) 2019-04-17
US10937435B2 (en) 2021-03-02
US20160133262A1 (en) 2016-05-12
BR112016001003A2 (pt) 2017-07-25
BR112016001003B1 (pt) 2022-09-27
AU2014295167B2 (en) 2017-04-13
CN105518775B (zh) 2020-07-17
JP2016525716A (ja) 2016-08-25
ES2687952T3 (es) 2018-10-30
RU2016105741A (ru) 2017-08-28
CA2918874A1 (en) 2015-01-29
EP2838086A1 (en) 2015-02-18
KR101835239B1 (ko) 2018-04-19
PL3025336T3 (pl) 2019-02-28
EP3025336A1 (en) 2016-06-01
MX2016000909A (es) 2016-05-05
EP3025336B1 (en) 2018-08-08
AU2014295167A1 (en) 2016-02-11
TW201523586A (zh) 2015-06-16
US10360918B2 (en) 2019-07-23
CA2918874C (en) 2019-05-28
BR112016001003A8 (pt) 2020-01-07

Similar Documents

Publication Publication Date Title
RU2678161C2 (ru) Уменьшение артефактов гребенчатого фильтра при многоканальном понижающем микшировании с адаптивным фазовым совмещением
US11871205B2 (en) Parametric stereo upmix apparatus, a parametric stereo decoder, a parametric stereo downmix apparatus, a parametric stereo encoder
JP7258935B2 (ja) スペクトルドメイン・リサンプリングを用いて多チャネル信号を符号化又は復号化する装置及び方法
US8015018B2 (en) Multichannel decorrelation in spatial audio coding
KR101256555B1 (ko) 청각 이벤트의 함수에 따라서 공간 오디오 코딩파라미터들을 제어
EP1829424B1 (en) Temporal envelope shaping of decorrelated signals
US10553223B2 (en) Adaptive channel-reduction processing for encoding a multi-channel audio signal
CA2750272C (en) Apparatus, method and computer program for upmixing a downmix audio signal
RU2696952C2 (ru) Аудиокодировщик и декодер
KR20180009337A (ko) 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
RU2628177C2 (ru) Способы кодирования и декодирования звука, соответствующие машиночитаемые носители и соответствующие устройство кодирования и устройство декодирования звука