RU2602988C1 - Звуковые кодирующее устройство и декодирующее устройство - Google Patents

Звуковые кодирующее устройство и декодирующее устройство Download PDF

Info

Publication number
RU2602988C1
RU2602988C1 RU2015136341/08A RU2015136341A RU2602988C1 RU 2602988 C1 RU2602988 C1 RU 2602988C1 RU 2015136341/08 A RU2015136341/08 A RU 2015136341/08A RU 2015136341 A RU2015136341 A RU 2015136341A RU 2602988 C1 RU2602988 C1 RU 2602988C1
Authority
RU
Russia
Prior art keywords
signals
frequency
frequencies
encoding
coding
Prior art date
Application number
RU2015136341/08A
Other languages
English (en)
Inventor
Кристофер ЧОЭРЛИНГ
Хейко ПУРНХАГЕН
Харальд МУНДТ
Карл Йонас РОЭДЕН
Лейф СЕЛЬСТРОМ
Original Assignee
Долби Интернешнл Аб
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Долби Интернешнл Аб filed Critical Долби Интернешнл Аб
Application granted granted Critical
Publication of RU2602988C1 publication Critical patent/RU2602988C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Error Detection And Correction (AREA)

Abstract

Изобретение относится к области многоканального звукового кодирования. Техническим результатом является повышение качества кодированного и декодированного звукового сигнала. Способ декодирования в многоканальной системе обработки звуковых сигналов для реконструкции М кодированных каналов, где M>2 включает следующие этапы: прием N сигналов понижающего микширования с кодированием формы, содержащих спектральные коэффициенты, соответствующие частотам между первой и второй частотами разделения каналов, где 1<N<M; прием M сигналов с кодированием формы, содержащих спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов, при этом каждый из M сигналов с кодированием формы соответствует соответствующему одному из М кодированных каналов; понижающее микширование M сигналов с кодированием формы в N сигналов понижающего микширования, содержащих спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов; объединение каждого из N сигналов понижающего микширования с кодированием формы, содержащих спектральные коэффициенты, соответствующие частотам между первой и второй частотами разделения каналов, с соответствующим одним из N сигналов понижающего микширования, содержащих спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов, в N объединенных сигналов понижающего микширования; расширение каждого из N объединенных сигналов понижающего микширования в частотный диапазон выше второй частоты разделения каналов путем выполнения высокочастотной реконструкции, в результате чего каждый расширенный сигнал понижающего микширования содержит спектральные коэффициенты, соответствующие диапазону, проходящему ниже первой частоты разделения каналов и выше второй частоты разделения каналов; выполнение параметрического повышающего микширования N объединенных сигналов понижающего микширования с расширенным диапазоном частоты в M сигналов повышающего микширования, содержащих спектральные коэффициенты, соответствующие частотам выше первой частоты разделения каналов, при этом каждый из M сигналов повышающего микширования соответствует одному из М кодированных каналов; и объединение M сигналов повышающего микширования, содержащих спектральные коэффициенты, соответствующие частотам выше первой частоты разделения каналов, с M сигналами с кодированием формы, содержащими спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов. 6 н. и 23 з.п. ф-лы, 8 ил.

Description

Перекрестная ссылка на родственные заявки
Настоящая заявка притязает на приоритет предварительной заявки на патент США № 61/808680, поданной 5 апреля 2013 года, описание которой полностью включается в настоящее описание посредством ссылки.
Область техники изобретения
Изобретение, описанное в настоящем документе, относится, в общем, к многоканальному звуковому кодированию. В частности, оно относится к кодирующему устройству и декодирующему устройству для гибридного кодирования, включающего параметрическое кодирование и дискретное многоканальное кодирование.
Предпосылки создания изобретения
При обычном многоканальном звуковом кодировании возможные схемы кодирования включают дискретное многоканальное кодирование или параметрическое кодирование, такое как формат MPEG Surround. Используемая схема зависит от полосы частот звуковой системы. Известно, что методы параметрического кодирования являются масштабируемыми и эффективными в части качества прослушивания, что делает их особенно привлекательными в применениях с низким битрейтом. В применениях с высоким битрейтом часто используется дискретное многоканальное кодирование. Существующие форматы распространения или обработки и связанные с ними технологии кодирования могут быть усовершенствованы с точки зрения их эффективности использования частоты пропускания, особенно в случаях применения с битрейтом между низким битрейтом и высоким битрейтом.
Документ US7292901 (Kroon и соавт.) относится к способу гибридного кодирования, в котором гибридный звуковой сигнал формируют по меньшей мере из одной микшированной с понижением спектральной составляющей и по меньшей мере из одной не микшированной спектральной составляющей. Способ, представленный в настоящей заявке, может повысить емкость приложения, имеющего определенный битрейт, но для дополнительного повышения эффективности системы обработки звуковых сигналов могут потребоваться дополнительные усовершенствования.
Краткое описание графических материалов
Далее приводится описание примерных вариантов осуществления со ссылками на прилагаемые графические материалы, на которых:
фиг. 1 представляет собой обобщенную блок-схему декодирующей системы в соответствии с одним примерным вариантом осуществления;
фиг. 2 иллюстрирует первую часть декодирующей системы на фиг. 1;
фиг. 3 иллюстрирует вторую часть декодирующей системы на фиг. 1;
фиг. 4 иллюстрирует третью часть декодирующей системы на фиг. 1;
фиг. 5 представляет собой обобщенную блок-схему кодирующей системы в соответствии с одним примерным вариантом осуществления;
фиг. 6 представляет собой обобщенную блок-схему декодирующей системы в соответствии с одним примерным вариантом осуществления;
фиг. 7 иллюстрирует третью часть декодирующей системы на фиг. 6; и
фиг. 8 представляет собой обобщенную блок-схему декодирующей системы в соответствии с одним примерным вариантом осуществления.
Все фигуры являются схематическими и, как правило, показывают лишь те части, которые необходимы для разъяснения изобретения; другие части могут быть упущены или просто подразумеваться. Если не указано иначе, подобные части на разных фигурах обозначены подобными позициями.
Подробное описание
Обзор: декодирующее устройство
В настоящем описании «звуковой сигнал» может представлять собой чисто звуковой сигнал, звуковую часть аудиовизуального сигнала или мультимедийного сигнала или любое из них в сочетании с метаданными.
В настоящем описании «понижающее микширование нескольких сигналов» означает объединение нескольких сигналов, например путем образования линейных комбинаций, чтобы получить меньшее число сигналов. Операция, обратная понижающему микшированию, называется повышающим микшированием, то есть выполнение операции на меньшем числе сигналов для получения большего числа сигналов.
В соответствии с первым аспектом примерные варианты осуществления предлагают способы, устройства и компьютерные программные продукты для реконструкции многоканального звукового сигнала на основании входного сигнала. Предлагаемые способы, устройства и компьютерные программные продукты могут, как правило, иметь одни и те же признаки и преимущества.
В соответствии с примерными вариантами осуществления предлагается декодирующее устройство для многоканальной системы обработки звуковых сигналов для реконструкции М кодированных каналов, где M > 2. Декодирующее устройство содержит первую приемную стадию, предназначенную для приема N сигналов понижающего микширования с кодированием формы, содержащих спектральные коэффициенты, соответствующие частотам между первой и второй частотами разделения каналов, где 1<N<M.
Декодирующее устройство дополнительно содержит вторую приемную стадию, предназначенную для приема M сигналов с кодированием формы, содержащих спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов, при этом каждый из M сигналов с кодированием формы соответствует соответствующему одному из М кодированных каналов.
Декодирующее устройство дополнительно содержит стадию понижающего микширования после второй приемной стадии, предназначенную для понижающего микширования M сигналов с кодированием формы в N сигналов понижающего микширования, содержащих спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов.
Декодирующее устройство дополнительно содержит первую объединительную стадию после первой приемной стадии и стадии понижающего микширования, предназначенную для объединения каждого из N сигналов понижающего микширования, принятых первой приемной стадией, с соответствующим одним из N сигналов понижающего микширования из стадии понижающего микширования в N объединенных сигналов понижающего микширования.
Декодирующее устройство дополнительно содержит стадию высокочастотной реконструкции после первой объединительной стадии, предназначенную для расширения каждого из N объединенных сигналов понижающего микширования из объединительной стадии в частотный диапазон выше второй частоты разделения каналов путем выполнения высокочастотной реконструкции.
Декодирующее устройство дополнительно содержит стадию повышающего микширования после стадии высокочастотной реконструкции, предназначенную для выполнения параметрического повышающего микширования N сигналов с расширенным диапазоном частоты из стадии высокочастотной реконструкции в M сигналов повышающего микширования, содержащих спектральные коэффициенты, соответствующие частотам выше первой частоты разделения каналов, при этом каждый из M сигналов повышающего микширования соответствует одному из М кодированных каналов.
Декодирующее устройство дополнительно содержит вторую объединительную стадию после стадии повышающего микширования и второй приемной стадии, предназначенную для объединения M сигналов повышающего микширования из стадии повышающего микширования с M сигналами с кодированием формы, принятыми второй приемной стадией.
M сигналов с кодированием формы представляют собой чисто сигналы с кодированием формы без подмешанных параметрических сигналов, т. е. они представляют собой не микшированное с понижением дискретное представление обработанного многоканального звукового сигнала. Преимущество наличия более низких частот, представленных в этих сигналах с кодированием формы, может заключаться в том, что человеческое ухо более чувствительно к части звукового сигнала, имеющей низкие частоты. При кодировании этой части с лучшим качеством может улучшиться общее впечатление декодированного звука.
Преимущество наличия по меньшей мере двух сигналов понижающего микширования заключается в том, что этот вариант осуществления обеспечивает повышенную размерность сигналов понижающего микширования по сравнению с системами лишь с одним каналом понижающего микширования. В соответствии с этим вариантом осуществления может, таким образом, обеспечиваться лучшее качество декодированного звука, что может перевесить увеличение битрейта, обеспечиваемое системой с одним сигналом понижающего микширования.
Преимущество использования гибридного кодирования, включающего параметрическое кодирование с понижающим микшированием и дискретное многоканальное кодирование, заключается в том, что оно может повысить качество декодированного звукового сигнала для некоторых битрейтов по сравнению с использованием обычного способа параметрического кодирования, т. е. MPEG Surround с HE-AAC. При битрейтах примерно 72 килобит в секунду (кбит/с) обычная модель параметрического кодирования может насыщаться, т. е. качество декодированного звукового сигнала ограничивается недостатками параметрической модели, а не нехваткой битов для кодирования. Следовательно, для битрейтов от примерно 72 кбит/с может быть преимущественным использовать биты на дискретное кодирование формы сигнала более низких частот. В то же время гибридный подход с использованием параметрического кодирования с понижающим микшированием и дискретного многоканального кодирования может повысить качество декодированного звукового сигнала для некоторых битрейтов, например при 128 кбит/с или ниже, по сравнению с использованием подхода, в котором все биты используются на более низких частотах с кодированием формы сигнала, и использованием репликации спектральной полосы (SBR) для оставшихся частот.
Преимущество наличия N сигналов понижающего микширования с кодированием формы, которые содержат лишь спектральные данные, соответствующие частотам между первой частотой разделения каналов и второй частотой разделения каналов, заключается в том, что требуемая скорость передачи битов для системы обработки звуковых сигналов может уменьшиться. Альтернативно, биты, сэкономленные благодаря наличию отфильтрованного полосовым фильтром сигнала понижающего микширования, могут использоваться на более низких частотах с кодированием формы сигнала, например частоты дискретизации, поскольку эти частоты могут быть выше, или может повыситься первая частота разделения каналов.
Поскольку, как уже отмечалось, человеческое ухо более чувствительно к части звукового сигнала, имеющей низкие частоты, высокие частоты как часть звукового сигнала, имеющего частоты выше второй частоты разделения каналов, могут восстанавливаться высокочастотной реконструкцией без снижения качества воспринимаемого звука декодированного звукового сигнала.
Одно дополнительное преимущество данного варианта осуществления может заключаться в том, что поскольку параметрическое повышающее микширование, выполняемое в стадии повышающего микширования, действует лишь на спектральные коэффициенты, соответствующие частотам выше первой частоты разделения каналов, сложность повышающего микширования снижается.
В соответствии с еще одним вариантом осуществления объединение, выполняемое на первой объединительной стадии, в которой каждый из N сигналов понижающего микширования с кодированием формы, содержащих спектральные коэффициенты, соответствующие частотам между первой и второй частотами разделения каналов, объединяется с соответствующим одним из N сигналов понижающего микширования, содержащих спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов в N объединенных сигналов понижающего микширования, выполняется в частотной области.
Преимущество этого варианта осуществления может заключаться в том, что M сигналов с кодированием формы и N сигналов понижающего микширования с кодированием формы могут кодироваться кодером формы сигнала с использованием перекрывающихся многооконных преобразований с независимой многооконной работой для M сигналов с кодированием формы и N сигналов понижающего микширования с кодированием формы соответственно и по-прежнему оставаться декодируемым декодирующим устройством.
В соответствии с еще одним вариантом осуществления расширение каждого из N объединенных сигналов понижающего микширования в частотный диапазон выше второй частоты разделения каналов в стадии высокочастотной реконструкции выполняется в частотной области.
В соответствии с одним дополнительным вариантом осуществления объединение, выполняемое на второй объединительной стадии, т. е. объединение сигналов повышающего микширования, содержащих спектральные коэффициенты, соответствующие частотам выше первой частоты разделения каналов, с M сигналами с кодированием формы, содержащими спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов, выполняется в частотной области. Как уже отмечалось, преимущество объединения М сигналов в области QMF заключается в том, что может использоваться независимая многооконная работа перекрывающихся многооконных преобразований, используемая для кодирования сигналом в области MDCT.
В соответствии с еще одним вариантом осуществления выполняемое параметрическое повышающее микширование N объединенных сигналов понижающего микширования с расширенным диапазоном частоты в M сигналов повышающего микширования на стадии повышающего микширования выполняется в частотной области.
В соответствии с еще одним вариантом осуществления понижающее микширование M сигналов с кодированием формы в N сигналов понижающего микширования, содержащих спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов, выполняется в частотной области.
В соответствии с одним вариантом осуществления частотная область представляет собой область квадратурных зеркальных фильтров (QMF).
В соответствии с еще одним вариантом осуществления понижающее микширование, выполненное на стадии понижающего микширования, на которой M сигналов с кодированием формы микшируются с понижением в N сигналов понижающего микширования, содержащих спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов, выполняется во временной области.
В соответствии с еще одним вариантом осуществления первая частота разделения каналов зависит от скорости передачи битов многоканальной системы обработки звуковых сигналов. Это может привести к тому, что имеющаяся полоса частот используется для повышения качества декодированного звукового сигнала, поскольку часть звукового сигнала, имеющая частоты ниже первой частоты разделения каналов, имеет полностью кодированную форму.
В соответствии с еще одним вариантом осуществления расширение каждого из N объединенных сигналов понижающего микширования в частотный диапазон выше второй частоты разделения каналов путем выполнения высокочастотной реконструкции на стадии высокочастотной реконструкции выполняется с использованием параметров высокочастотной реконструкции. Параметры высокочастотной реконструкции могут приниматься декодирующим устройством, например на приемной стадии, а затем посылаться на стадию высокочастотной реконструкции. Высокочастотная реконструкция может, например, представлять собой выполнение репликации спектральной полосы (SBR).
В соответствии с еще одним вариантом осуществления параметрическое повышающее микширование на стадии повышающего микширования выполняется с использованием параметров повышающего микширования. Параметры повышающего микширования принимаются кодирующим устройством, например, на приемной стадии, и посылаются на стадию повышающего микширования. Генерируется декоррелированная версия N объединенных сигналов понижающего микширования с расширенным диапазоном частоты, и N объединенных сигналов понижающего микширования с расширенным диапазоном частоты и декоррелированная версия N объединенных сигналов понижающего микширования с расширенным диапазоном частоты подвергаются матричной операции. Параметры матричной операции даются параметрами повышающего микширования.
В соответствии с еще одним вариантом осуществления принятые N сигналов понижающего микширования с кодированием формы на первой приемной стадии и принятые M сигналов с кодированием формы на второй приемной стадии кодируются с использованием перекрывающихся многооконных преобразований с независимой многооконной работой для N сигналов понижающего микширования с кодированием формы и M сигналов с кодированием формы соответственно.
Преимущество этого может заключаться в том, что это обеспечивает повышенное качество кодирования и, таким образом, повышенное качество декодированного многоканального звукового сигнала. Например, если в некоторый момент времени обнаруживается переходное состояние при более высокой частоте, кодер формы сигнала может кодировать этот конкретный временной кадр с более короткой последовательностью в окне, а для полосы более низких частот может сохраняться последовательность в окне по умолчанию.
В соответствии с вариантами осуществления декодирующее устройство может содержать третью приемную стадию, предназначенную для приема дополнительного сигнала с кодированием формы, содержащего спектральные коэффициенты, соответствующие подмножеству частот выше первой частоты разделения каналов. Декодирующее устройство может дополнительно содержать стадию чередования после стадии повышающего микширования. Стадия чередования может предназначаться для чередования дополнительного сигнала с кодированием формы с одним из M сигналов повышающего микширования. Третья приемная стадия может дополнительно предназначаться для приема нескольких дополнительных сигналов с кодированием формы, а стадия чередования может дополнительно предназначаться для чередования нескольких дополнительных сигналов с кодированием формы с несколькими из M сигналов повышающего микширования.
Это является преимущественным в том, что некоторые части частотного диапазона выше первой частоты разделения каналов, которые трудно параметрически реконструировать из сигналов понижающего микширования, могут быть представлены в виде с кодированной формой для чередования с параметрически реконструированными сигналами повышающего микширования.
В одном примерном варианте осуществления чередование выполняется путем добавления дополнительного сигнала с кодированием формы с одним из M сигналов повышающего микширования. В соответствии с еще одним примерным вариантом осуществления стадия чередования дополнительного сигнала с кодированием формы с одним из M сигналов повышающего микширования включает замену одного из M сигналов повышающего микширования дополнительным сигналом с кодированием формы в подмножестве частот выше первой частоты разделения каналов, соответствующих спектральным коэффициентам дополнительного сигнала с кодированием формы.
В соответствии с примерными вариантами осуществления декодирующее устройство может дополнительно предназначаться для приема управляющего сигнала, например, третьей приемной стадией. Управляющий сигнал может указывать как чередовать дополнительный сигнал с кодированием формы с одним из M сигналов повышающего микширования, при этом стадия чередования дополнительного сигнала с кодированием формы с одним из M сигналов повышающего микширования основывается на управляющем сигнале. В частности, управляющий сигнал может указывать частотный диапазон и временной диапазон, такие как один или несколько временных/частотных плиток в области QMF, для которых дополнительный сигнал с кодированием формы должен чередоваться с одним из M сигналов повышающего микширования. Соответственно, чередование может происходить во времени и частоте в одном канале.
Преимуществом этого является то, что можно выбирать временные диапазоны и частотные диапазоны, не страдающие от проблем наложения спектров или запуска/замирания перекрывающегося многооконного преобразования, используемого для кодирования сигналов с кодированием формы.
Обзор: кодирующее устройство
В соответствии со вторым аспектом примерные варианты осуществления предлагают способы, устройства и компьютерные программные продукты для кодирования многоканального звукового сигнала на основании входного сигнала.
Предлагаемые способы, устройства и компьютерные программные продукты могут, как правило, иметь одни и те же признаки и преимущества.
Преимущества, касающиеся признаков и устройств, представленных в обзоре декодирующего устройства выше, могут, как правила, распространяться и на соответствующие признаки и установки для кодирующего устройства.
В соответствии с примерными вариантами осуществления предлагается кодирующее устройство для многоканальной системы обработки звуковых сигналов для кодирования M каналов, где M > 2.
Кодирующее устройство содержит приемную стадию, предназначенную для приема M сигналов, соответствующих M каналам, подлежащих кодированию.
Кодирующее устройство дополнительно содержит первую стадию кодирования формы, предназначенную для приема M сигналов из приемной стадии и для генерирования M сигналов с кодированием формы путем индивидуального кодирования формы M сигналов для частотного диапазона, соответствующего частотам до первой частоты разделения каналов, при этом M сигналов с кодированием формы содержат спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов.
Кодирующее устройство дополнительно содержит стадию понижающего микширования, предназначенную для приема M сигналов из приемной стадии и для понижающего микширования M сигналов в N сигналов понижающего микширования, где 1<N<M.
Кодирующее устройство дополнительно содержит стадию кодирования высокочастотной реконструкции, предназначенную для приема N сигналов понижающего микширования из стадии понижающего микширования и для подвергания N сигналов понижающего микширования кодированию высокочастотной реконструкции, при этом стадия кодирования высокочастотной реконструкции предназначена для извлечения параметров высокочастотной реконструкции, делающих возможной высокочастотную реконструкцию N сигналов понижающего микширования выше второй частоты разделения каналов.
Кодирующее устройство дополнительно содержит стадию параметрического кодирования, предназначенную для приема M сигналов из приемной стадии и N сигналов понижающего микширования из стадии понижающего микширования и для подвергания M сигналов параметрическому кодированию для частотного диапазона, соответствующего частотам выше первой частоты разделения каналов, при этом стадия параметрического кодирования предназначена для извлечения параметров повышающего микширования, делающих возможным повышающее микширование N сигналов понижающего микширования в M реконструированных сигналов, соответствующих M каналам для частотного диапазона выше первой частоты разделения каналов.
Кодирующее устройство дополнительно содержит вторую стадию кодирования формы, предназначенную для приема N сигналов понижающего микширования из стадии понижающего микширования и для генерирования N сигналов понижающего микширования с кодированием формы путем кодирования формы N сигналов понижающего микширования для частотного диапазона, соответствующего частотам между первой и второй частотами разделения каналов, при этом N сигналов понижающего микширования с кодированием формы содержат спектральные коэффициенты, соответствующие частотам между первой частотой разделения каналов и второй частотой разделения каналов.
В соответствии с одним вариантом осуществления подвергание N сигналов понижающего микширования кодированию высокочастотной реконструкции на стадии кодирования высокочастотной реконструкции выполняется в частотной области, предпочтительно, в области квадратурных зеркальных фильтров (QMF).
В соответствии с одним дополнительным вариантом осуществления подвергание M сигналов параметрическому кодированию на стадии параметрического кодирования выполняется в частотной области, предпочтительно, в области квадратурных зеркальных фильтров (QMF).
В соответствии с еще одним вариантом осуществления генерирование M сигналов с кодированием формы путем индивидуального кодирования формы M сигналов на первой стадии кодирования формы параметрическому кодированию перекрывающегося многооконного преобразования к M сигналам, при этом разные перекрывающиеся последовательности в окне используются по меньшей мере для двух M сигналов.
В соответствии с вариантами осуществления кодирующее устройство может дополнительно содержать третью стадию кодирования формы, предназначенную для генерирования дополнительного сигнала кодированной формы путем кодирования формы одного из M сигналов для частотного диапазона, соответствующего подмножеству частотного диапазона выше первой частоты разделения каналов.
В соответствии с вариантами осуществления кодирующее устройство может содержать стадию генерирования управляющего сигнала. Стадия генерирования управляющего сигнала предназначена для генерирования управляющего сигнала, указывающего, как чередовать дополнительный сигнал с кодированием формы с параметрической реконструкцией одного из M сигналов в декодирующем устройстве. Например, управляющий сигнал может указывать частотный диапазон и временной диапазон, для которых дополнительный сигнал с кодированием формы должен чередоваться с одним из M сигналов повышающего микширования.
Примерные варианты осуществления
Фиг. 1 представляет собой обобщенную блок-схему декодирующего устройства 100 в многоканальной системе обработки звуковых сигналов для реконструкции М кодированных каналов. Декодирующее устройство 100 содержит три концептуальные части 200, 300, 400, которые будут подробнее объяснены ниже со ссылками на фиг. 2-4. В первой концептуальной части 200 кодирующее устройство принимает N сигналов понижающего микширования с кодированием формы и M сигналов с кодированием формы, представляющих многоканальный звуковой сигнал, подлежащий декодированию, где 1<N<M. В проиллюстрированном примере N задано равным 2. Во второй концептуальной части 300 M сигналов с кодированием формы микшируются с понижением и объединяются с N сигналами понижающего микширования с кодированием формы. Затем выполняется высокочастотная реконструкция (HFR) для объединенных сигналов понижающего микширования. В третьей концептуальной части 400 прошедшие высокочастотную реконструкцию сигналы микшируются с повышением, и M сигналов с кодированием формы объединяются с сигналами повышающего микширования для реконструкции М кодированных каналов.
В примерном варианте осуществления, описанном со ссылками на фиг. 2-4, описывается реконструкция закодированного 5.1-канального объемного звука. Можно отметить, что в описанном варианте осуществления или на графических материалах сигнал низкочастотных эффектов не упоминается. Это не означает, что любые низкочастотные эффекты пренебрегаются. Низкочастотные эффекты (Lfe) добавляются к реконструированным 5 каналам любым подходящим путем, хорошо известным специалисту в области техники, к которой относится изобретение. Можно также отметить, что описанное декодирующее устройство в равной мере хорошо подходит для других типов кодированного объемного звука, таких как 7.1- или 9.1-канальный объемный звук.
Фиг. 2 иллюстрирует концептуальную первую часть 200 декодирующего устройства 100 на фиг. 1. Декодирующее устройство содержит две приемные стадии 212, 214. На первой приемной стадии 212 битовый поток 202 декодируется и деквантируется в два сигнала 208a-b понижающего микширования с кодированием формы. Каждый из этих двух сигналов 208a-b понижающего микширования с кодированием формы содержит спектральные коэффициенты, соответствующие частотам между первой частотой ky разделения каналов и второй частотой kx разделения каналов.
На второй приемной стадии 212 битовый поток 202 декодируется и деквантируется в пять сигналов 210a-e с кодированием формы. Каждый из пяти сигналов 208a-e понижающего микширования с кодированием формы содержит спектральные коэффициенты, соответствующие частотам до первой частоты ky разделения каналов.
Как пример, сигналы 210a-e содержат двухканальные парные элементы и один одноканальный элемент для центра. Канальные парные элементы могут, например, представлять собой комбинацию левого переднего и левого объемного сигналов и комбинацию правого переднего и правого объемного сигналов. Один дополнительный пример - это комбинация левого переднего и правого переднего сигналов и комбинация левого объемного и правого объемного сигналов. Эти канальные парные элементы могут, например, кодироваться в формате «сумма и разность». Все пять сигналов 210a-e могут кодироваться с использованием перекрывающихся многооконных преобразований с независимой многооконной работой и по-прежнему оставаться декодируемыми декодирующим устройством. Это может обеспечить повышенное качество кодирования и, таким образом, повышенное качество декодированного сигнала.
Как пример, первая частота ky разделения каналов равна 1,1 кГц. Как пример, вторая частота kх разделения каналов лежит в диапазоне 5,6-8 кГц. Следует отметить, что первая частота ky разделения каналов может варьировать, даже на базе отдельного сигнала, т. е. кодирующее устройство может обнаруживать, что некая составляющая сигнала в конкретном выходном сигнале не может быть точно воспроизведена стерео сигналами 208a-b понижающего микширования, и может - для этого конкретного момента времени - увеличить полосу частот, т. е. первую частоту ky разделения каналов, соответствующего сигнала с кодированием формы, т. е. 210a-e, для выполнения надлежащего кодирования формы этой составляющей сигнала.
Как будет описано позже в настоящем описании, остальные стадии кодирующего устройства 100 типично действуют в области квадратурных зеркальных фильтров (QMF). По этой причине каждый из сигналов 208a-b, 210a-e, принятых первой и второй приемными стадиями 212, 214, которые принимаются в виде модифицированного дискретного косинусного преобразования (MDCT), преобразовывается во временную область с использованием обратного MDCT 216. Затем каждый сигнал преобразуется обратно в частотную область с использованием QMF-преобразования 218.
На фиг. 3 пять сигналов 210 с кодированием формы микшируются с понижением в два сигнала 310, 312 понижающего микширования, содержащие спектральные коэффициенты, соответствующие частотам до первой частоты ky разделения каналов, на стадии 308 понижающего микширования. Эти сигналы 310, 312 понижающего микширования могут формироваться путем выполнения понижающего микширования на низкочастотных многоканальных сигналах 210a-e с использованием той же схемы понижающего микширования, которая использовалась в кодирующем устройстве для создания двух сигналов 208a-b понижающего микширования, показанных на фиг. 2.
Эти два новых сигнала 310, 312 понижающего микширования затем объединяются на первой объединительной стадии 320, 322 с соответствующим сигналом 208a-b понижающего микширования для образования объединенных сигналов 302a-b понижающего микширования. Таким образом, каждый из объединенных сигналов 302a-b понижающего микширования содержит спектральные коэффициенты, соответствующие частотам до первой частоты ky разделения каналов, берущие начало из сигналов 310, 312 понижающего микширования, и спектральные коэффициенты, соответствующие частотам между первой частотой ky разделения каналов и второй частотой kx разделения каналов, берущие начало из двух сигналов 208a-b понижающего микширования с кодированием формы, принятых на первой приемной стадии 212 (показанной на фиг. 2).
Кодирующее устройство дополнительно содержит стадию 314 высокочастотной реконструкции (HFR). Стадия HFR предназначена для расширения каждого из двух объединенных сигналов 302a-b понижающего микширования из объединительной стадии в частотный диапазон выше второй частоты kx разделения каналов путем выполнения высокочастотной реконструкции. В соответствии с некоторыми вариантами осуществления выполненная высокочастотная реконструкция может представлять собой выполнение репликации спектральной полосы (SBR). Высокочастотная реконструкция может выполняться с использованием параметров высокочастотной реконструкции, которые могут приниматься на стадии 314 HFR, любым подходящим путем.
Выходом из стадии 314 высокочастотной реконструкции 314 являются два сигнала 304a-b, представляющие собой сигналы 208a-b понижающего микширования с примененным HFR-расширением 316, 318. Как уже отмечалось, стадия 314 HFR представляет собой выполнение высокочастотной реконструкции, исходя из частот, присутствующих во входном сигнале 210a-e из второй приемной стадии 214 (показанной на фиг. 2), объединенном с двумя сигналами 208a-b понижающего микширования. Несколько упрощенно, диапазон 316, 318 HFR содержит части спектральных коэффициентов из сигналов 310, 312 понижающего микширования, копированные до диапазона 316, 318 HFR. Следовательно, части пяти сигналов 210a-e с кодированием формы появятся в диапазоне 316, 318 HFR выходного сигнала 304 из стадии 314 HFR.
Следует отметить, что понижающее микширование на стадии 308 понижающего микширования и объединение на первой объединительной стадии 320, 322 перед стадией 314 высокочастотной реконструкции 314 может выполняться во временной области, т. е. после того, как каждый сигнал преобразовался во временную область с использованием обратного модифицированного дискретного косинусного преобразования (MDCT) 216 (показанного на фиг. 2). Однако, учитывая, что сигналы 210a-e с кодированием формы и сигналы 208a-b понижающего микширования с кодированием формы могут кодироваться кодером формы сигнала с использованием перекрывающихся многооконных преобразований с независимой многооконной работой, сигналы 210a-e и 208a-b не могут беспроблемно («бесшовно») объединяться во временной области. Таким образом, лучше управляемый сценарий достигается, если, по меньшей мере, объединение на первой объединительной стадии 320, 322 выполняется в области QMF.
Фиг. 4 иллюстрирует третью и последнюю концептуальную часть 400 кодирующего устройства 100. Выход 304 из стадии 314 HFR являет собой вход для стадии 402 повышающего микширования. Стадия 402 повышающего микширования создает пятисигнальный выход 404a-e путем выполнения параметрического повышающего микширования на сигналах 304a-b с расширенным диапазоном частоты. Каждый из пяти сигналов 404a-e повышающего микширования соответствует одному из пяти кодированных каналов в закодированном 5.1-канальном объемном звуке для частот выше первой частоты ky разделения каналов. В соответствии с примерной методикой параметрического повышающего микширования стадия 402 повышающего микширования вначале принимает параметры параметрического микширования. Стадия 402 повышающего микширования дополнительно генерирует декоррелированные версии двух объединенных сигналов 304a-b понижающего микширования с расширенным диапазоном частоты. Стадия 402 повышающего микширования дополнительно подвергает два объединенных сигналов 304a-b понижающего микширования с расширенным диапазоном частоты и декоррелированные версии двух объединенных сигналов 304a-b понижающего микширования с расширенным диапазоном частоты матричной операции, при этом параметры матричной операции даются параметрами повышающего микширования. Альтернативно, может использоваться любая иная методика параметрического повышающего микширования, известная в области техники, к которой относится изобретение. Применимые методики параметрического повышающего микширования описаны, например, в “MPEG Surround- ISO/MPEG Standard for Efficient and Compatible Multichannel Audio Coding'' (Flerre et al., Journal of Audio Engineering Society, Vol. 56, No. 11, 2008 November).
Таким образом, выход 404a-e из стадии 402 повышающего микширования 402 не содержит частот ниже первой частоты ky разделения каналов. Остальные спектральные коэффициенты, соответствующие частотам до первой частоты ky разделения каналов, существуют в пяти сигналах 210a-e с кодированием формы, задержанных на стадии 412 задержки, для синхронизации сигналов 404 повышающего микширования.
Кодирующее устройство 100 дополнительно содержит вторую объединительную стадию 416, 418. Вторая объединительная стадия 416, 418 предназначена для объединения пяти сигналов 404a-e повышающего микширования с пятью сигналами 210a-e с кодированием формы, которые были приняты на второй приемной стадии 214 (показанной на фиг. 2).
Можно отметить, что к результирующему объединенному сигналу 422 может быть добавлен сигнал Lfe как отдельный сигнал. Затем каждый из сигналов 422 преобразуется во временную область с использованием обратного QMF-преобразования 420. Таким образом, выход из обратного QMF-преобразования 414 представляет собой полностью декодированный 5.1-канальный звуковой сигнал.
Фиг. 6 иллюстрирует декодирующую систему 100', которая представляет собой модификацию декодирующей системы 100 на фиг. 1. Декодирующая система 100' имеет концептуальные части 200', 300' и 400', соответствующие концептуальным частям 100, 200 и 300 на фиг. 1. Различие между декодирующей системой 100' на фиг. 6 и декодирующей системой на фиг. 1 заключается в том, что в концептуальной части 200' есть третья приемная стадия 616, а в третьей концептуальной части 400' есть стадия чередования 714.
Третья приемная стадия 616 предназначена для приема дополнительного сигнала с кодированием формы. Этот дополнительный сигнал с кодированием формы содержит спектральные коэффициенты, соответствующие подмножеству частот выше первой частоты разделения каналов. Дополнительный сигнал с кодированием формы может преобразовываться во временную область с использованием обратного MDCT 216. Затем он может преобразовываться обратно в частотную область с использованием QMF-преобразования 218.
Следует понимать, что этот дополнительный сигнал с кодированием формы может приниматься как отдельный сигнал. Однако этот дополнительный сигнал с кодированием формы может также образовывать часть одного или нескольких из пяти сигналов 210a-e с кодированием формы. Иными словами, дополнительный сигнал 210a-e с кодированием формы может совместно кодироваться с одним или несколькими из пяти сигналов 201a-e с кодированием формы, например, с использованием того же MDCT. В таком случае третья приемная стадия 616 соответствует второй приемной стадии, т. е. дополнительный сигнал с кодированием формы принимается вместе с пятью сигналами 210a-e с кодированием формы на второй приемной стадии 214.
Фиг. 7 подробнее иллюстрирует третью концептуальную часть 300' декодирующего устройства 100' на фиг. 6. Дополнительный сигнал 710 с кодированием формы представляет собой вход в третью концептуальную часть 400' в дополнение к сигналам 304a-b понижающего микширования с высокочастотным расширением и пяти сигналам 210a-e с кодированием формы. В проиллюстрированном примере дополнительный сигнал 710 с кодированием формы соответствует третьему каналу из пяти каналов. Дополнительный сигнал 710 с кодированием формы дополнительно содержит спектральные коэффициенты, соответствующие интервалу частот, начинающемуся от первой частоты ky разделения каналов. Однако в разных вариантах осуществления форма подмножества частотного диапазона выше первой частоты разделения каналов, охватываемого дополнительным сигналом 710 с кодированием формы, может, естественно, варьировать. Следует также отметить, что могут приниматься несколько сигналов 710a-e с кодированием формы, при этом разные сигналы с кодированием формы могут соответствовать разным выходным каналам. Подмножество частотного диапазона, охватываемое несколькими дополнительными сигналами 710a-e с кодированием формы, среди разных из нескольких дополнительных сигналов 710а-е с кодированием формы может варьировать.
Дополнительный сигнал 710 с кодированием формы может задерживаться на стадии 712 задержки для синхронизации сигналов 404 повышающего микширования, являющихся выходом из стадии 402 повышающего микширования. Сигналы 404 повышающего микширования и дополнительный сигнал 710 с кодированием формы затем подаются на стадию 714 чередования. Стадия 714 чередования чередует, т. е. объединяет сигналы 404 повышающего микширования с дополнительным сигналом 710 с кодированием формы для генерирования чередующегося сигнала 704. Таким образом, в настоящем примере стадия 714 чередования чередует третий сигнал 404c повышающего микширования с дополнительным сигналом 710 с кодированием формы. Чередование может выполняться добавлением этих двух сигналов вместе. Однако обычно чередование выполняется заменой сигналов 404 повышающего микширования дополнительным сигналом 710 с кодированием формы в частотном диапазоне и временном диапазоне, где сигналы перекрываются.
Чередующийся сигнал 704 затем подается на вторую объединительную стадию 416, 418, где он объединяется с сигналами 201а-е с кодированием формы для генерирования выходного сигнала 722 таким же образом, как описано со ссылками на фиг. 4. Следует отметить, что порядок стадии 714 чередования и второй объединительной стадии 416, 418 может быть обратным, то есть объединение выполняется до чередования.
Кроме того, в случае если дополнительный сигнал 710 с кодированием формы образует часть одного или нескольких из пяти сигналов 210a-e с кодированием формы, вторая объединительная стадия 416, 418 и стадия 714 чередования могут быть объединены в одну стадию. В частности, эта объединенная стадия использовала бы спектральный контент пяти сигналов 210a-e с кодированием формы для частот до первой частоты ky разделения каналов. Для частот выше первой частоты разделения каналов объединенная стадия использовала бы сигналы 404 повышающего микширования, чередующиеся с дополнительным сигналом 710 с кодированием формы.
Стадия 714 чередования может действовать под управлением управляющего сигнала. С этой целью декодирующее устройство 100' может принимать, например, на третьей приемной стадии 616, управляющий сигнал, указывающий, как чередовать дополнительный сигнал с кодированием формы с одним из M сигналов повышающего микширования. Например, управляющий сигнал может указывать частотный диапазон и временной диапазон, для которых дополнительный сигнал 710 с кодированием формы должен чередоваться с одним из сигналов 404 повышающего микширования. Например, частотный диапазон и временной диапазон могут выражаться на языке плиток времени/частоты, для которых необходимо выполнить чередование. Плитки времени/частоты могут представлять собой плитки времени/частоты в отношении сетки времени/частот области QMF, где происходит чередование.
Управляющий сигнал может использовать векторы, такие как бинарные векторы, для указания плиток времени/частоты, для которых необходимо выполнить чередование. В частности, может быть первый вектор, относящийся к частотному направлению, указывающий частоты, для которых необходимо выполнить чередование. Это указание может, например, выполняться указанием логической частоты для соответствующего интервала частот в первом векторе. Может быть и второй вектор, относящийся к временнóму направлению, указывающий интервалы времени, для которых необходимо выполнить чередование. Это указание может, например, выполняться указанием логического времени для соответствующего временного интервала во втором векторе. С этой целью временной кадр обычно делится на несколько временных слотов, при этом указание времени может выполняться на субкадровой основе. Путем пересечения первого и второго векторов можно построить матрицу времени/частоты. Например, матрица времени/частоты может представлять собой бинарную матрицу, содержащую логический элемент для каждой плитки времени/частоты, для которой первый и второй векторы указывают логический элемент. Затем стадия 714 чередования может использовать матрицу времени/частоты при выполнении чередования, например, так, что один или несколько сигналов 704 повышающего микширования заменяются дополнительным сигналом 710 с кодированием формы для указываемых плиток времени/частоты, например, логическим элементом в матрице время/частота.
Следует отметить, что векторы могут использовать другие схемы, чем бинарная схема, для указания плиток времени/частоты, для которых необходимо выполнить чередование. Например, векторы могли бы указывать посредством первого значения, например нуля, что чередование выполнять не нужно, и вторым значением, что чередование должно выполняться в отношении некоторого канала, идентифицированного этим вторым значением.
На фиг. 5 показана как пример обобщенная блок-схема кодирующей системы 500 для многоканальной системы обработки звуковых сигналов для кодирования M каналов в соответствии с одним вариантом осуществления.
В примерном варианте осуществления, описанном со ссылками на фиг. 5, описывается кодирование 5.1-канального объемного звука. Таким образом, в проиллюстрированном примере М задано равным пяти. Можно отметить, что в описанном варианте осуществления или на графических материалах сигнал низкочастотных эффектов не упоминается. Это не означает, что любые низкочастотные эффекты пренебрегаются. Низкочастотные эффекты (Lfe) добавляются в битовый поток 552 любым подходящим путем, хорошо известным специалисту в области техники, к которой относится изобретение. Можно также отметить, что описанное кодирующее устройство в равной мере хорошо подходит для кодирования других типов объемного звука, таких как 7.1- или 9.1-канальный объемный звук. В кодирующем устройстве 500 пять сигналов 502, 504 принимаются на приемной стадии (не показанной). Кодирующее устройство 500 содержит первую стадию 506 кодирования формы, предназначенную для приема пяти сигналов 502, 504 из приемной стадии и генерирования пяти сигналов 518 с кодированием формы путем индивидуального кодирования формы пяти сигналов 502, 504. Стадия 506 кодирования формы может, например, подвергать каждый из пяти принятых сигналов 502, 504 преобразованию MDCT. Как уже отмечалось в отношении декодирующего устройства, кодирующее устройство может выбрать кодирование каждого из пяти принятых сигналов 502, 504 с использованием преобразования MDCT с независимой многооконной работой. Это может обеспечить повышенное качество кодирования и, таким образом, повышенное качество декодированного сигнала.
Пять сигналов 518 с кодированием формы имеют кодированную форму для частотного диапазона, соответствующего частотам до первой частоты разделения каналов. Таким образом, пять сигналов 518 с кодированием формы содержат спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов. Этого можно добиться пропусканием каждого из пяти сигналов 518 с кодированием формы через фильтр нижних частот. Пять сигналов 518 с кодированием формы затем проходят квантование 520 в соответствии с психоакустической моделью. Психоакустическая модель предназначена для воспроизведения как можно точнее, учитывая доступный битрейт в многоканальной системе обработки звуковых сигналов, кодированных сигналов, воспринимаемых слушателем после декодирования на стороне декодирующего устройства системы.
Как уже отмечалось, кодирующее устройство 500 выполняет гибридное кодирование, включающее дискретное многоканальное кодирование и параметрическое кодирование. Дискретное многоканальное кодирование выполняется на стадии 506 кодирования формы на каждом из входных сигналов 502, 504 для частот до первой частоты разделения каналов, как описано выше. Параметрическое кодирование выполняется, чтобы смочь на стороне декодирующего устройства реконструировать пять входных сигналов 502, 504 из N сигналов понижающего микширования для частот выше первой частоты разделения каналов. В проиллюстрированном примере на фиг. 5 N задано равным 2. Понижающее микширование пяти входных сигналов 502, 504 выполняется на стадии 534 понижающего микширования. Стадия 534 понижающего микширования преимущественно действует в области QMF. Следовательно, перед вводом на стадию 534 понижающего микширования 534 пять сигналов 502, 504 преобразуются в область QMF на стадии 526 анализа QMF. Стадия понижающего микширования выполняет операцию линейного понижающего микширования на пяти сигналах 502, 504 и выдает два сигнала 544, 546 понижающего микширования.
Эти два сигнала 544, 546 понижающего микширования принимаются второй стадией 508 кодирования формы после того, как они преобразованы обратно во временную область после обратного QMF-преобразования 554. Вторая стадия 508 кодирования формы генерирует два сигнала понижающего микширования с кодированием формы путем кодирования формы двух сигналов 544, 546 понижающего микширования для частотного диапазона, соответствующего частотам между первой и второй частотами разделения каналов. Стадия 508 кодирования формы может, например, подвергать каждый из двух сигналов понижающего микширования преобразованию MDCT. Таким образом, два сигнала понижающего микширования с кодированием формы содержат спектральные коэффициенты, соответствующие частотам между первой частотой разделения каналов и второй частотой разделения каналов. Затем два сигнала понижающего микширования с кодированием формы проходят квантование 522 в соответствии с психоакустической моделью.
Для возможности реконструкции частот выше второй частоты разделения каналов на стороне декодирующего устройства параметры 538 высокочастотной реконструкции (HFR) извлекаются из двух сигналов 544, 546 понижающего микширования. Эти параметры извлекаются на стадии 532 кодирования HFR.
Для возможности реконструкции пяти сигналов из двух сигналов 544, 546 понижающего микширования на стороне декодирующего устройства пять входных сигналов 502, 504 принимаются на стадии 530 параметрического кодирования. Эти пять сигналов 502, 504 проходят параметрическое кодирование для частотного диапазона, соответствующего частотам выше первой частоты разделения каналов. Затем стадия 530 параметрического кодирования предназначена для извлечения параметров 536 повышающего микширования, позволяющих выполнить повышающее микширование двух сигналов 544, 546 понижающего микширования в пять реконструированных сигналов, соответствующих пяти входным сигналам 502, 504 (т. е. пяти каналам в закодированном 5.1-канальном объемном звуке) для частотного диапазона выше первой частоты разделения каналов. Можно отметить, что параметры 536 повышающего микширования извлекаются только для частот выше первой частоты разделения каналов. Это может уменьшить сложность стадии 530 параметрического кодирования и битрейт соответствующих параметрических данных.
Можно отметить, что понижающее микширование 534 может выполняться во временной области. В этом случае стадия 526 анализа QMF должна находиться после стадии 534 понижающего микширования до стадии 532 кодирования HFR, поскольку стадии 532 кодирования HFR обычно действует в области QMF. В этом случае стадию 554 обратных QMF можно упустить.
Кодирующее устройство 500 дополнительно содержит стадию генерирования битового потока, т. е. мультиплексор 524 битового потока. В соответствии с этим примерным вариантом осуществления кодирующего устройства 500 стадия генерирования битового потока предназначена для приема пяти кодированных и квантованных сигналов 548, двух параметрических сигналов 536, 538 и двух кодированных и квантованных сигналов 550 понижающего микширования. Эти сигналы на стадии 524 генерирования битового потока преобразуются в битовый поток 552 для дальнейшего распределения в многоканальной звуковой системе.
В описанной многоканальной звуковой системе часто существует максимальный доступный битрейт, например при потоковой передаче звука в сети Интернет. Поскольку характеристики каждого временного кадра входных сигналов 502, 504 отличаются, совершенно одинаковое распределение битов между пятью сигналами 548 с кодированием формы и двумя сигналами 550 понижающего микширования с кодированием формы использоваться не может. Кроме того, каждый отдельный сигнал 548 и 550 может требовать до некоторой степени присвоить биты, так чтобы сигналы могли быть реконструированы согласно психоакустической модели. В соответствии с одним примерным вариантом осуществления первая и вторая стадии 506, 508 кодирования формы используют общий резервуар битов. Доступные биты на кодированный кадр вначале распределяются между первой и второй стадиями 506, 508 кодирования формы в зависимости от характеристик кодируемых сигналов и настоящей психоакустической модели. Затем биты распределяются между отдельными сигналами 548, 550, как описано выше. При распределении доступных битов, естественно, учитывается число битов, используемых для параметров 538 высокочастотной реконструкции и параметров 536 повышающего микширования. При этом внимание уделяется настройке психоакустической модели для первой и второй стадий 506, 508 кодирования формы для воспринимаемого плавного перехода первой частоты разделения каналов в отношении числа битов, выделенных в конкретном временном кадре.
Фиг. 8 иллюстрирует альтернативный вариант осуществления кодирующей системы 800.
Различие между кодирующей системой 800 на фиг. 8 и кодирующей системой 500 на фиг. 5 заключается в том, что кодирующее устройство 800 предназначено для генерирования дополнительного сигнала с кодированием формы путем кодирования формы одного или нескольких входных сигналов 502, 504 для частотного диапазона, соответствующего подмножеству частотного диапазона выше первой частоты разделения каналов.
С этой целью кодирующее устройство 800 содержит стадию 802 обнаружения чередования. Стадия 802 обнаружения чередования предназначена для идентификации частей входных сигналов 502, 504, не качественно реконструированных параметрической реконструкцией после кодирования на стадии 530 параметрического кодирования и стадии 532 кодирования высокочастотной реконструкции. Например, стадия 802 обнаружения чередования может сравнивать входные сигналы 502, 504 с параметрической реконструкцией входных сигналов 502, 504, определенной на стадии 530 параметрического кодирования и стадии 532 кодирования высокочастотной реконструкции. На основании этого сравнения стадия 802 обнаружения чередования может идентифицировать подмножество 804 частотного диапазона выше первой частоты разделения каналов, подлежащее кодированию формы сигнала. Кроме того, стадия 802 обнаружения чередования может идентифицировать временной диапазон, в течение которого идентифицированное подмножество 804 частотного диапазона выше первой частоты разделения каналов подлежит кодированию формы сигнала. Идентифицированные частотное и временное подмножества 804, 806 могут быть входом для первой стадии 506 кодирования формы. На основании полученных частотного и временного подмножеств 804 и 806 первая стадия 506 кодирования формы генерирует дополнительный сигнал 808 с кодированием формы путем кодирования формы одного или нескольких входных сигналов 502, 504 для временного и частотного диапазонов, идентифицированных подмножествами 804, 806. Затем дополнительный сигнал 808 с кодированием формы может кодироваться и квантоваться на стадии 520 и добавляться в битовый поток 846.
Стадия 802 обнаружения чередования может дополнительно содержать стадию генерирования управляющего сигнала. Стадия генерирования управляющего сигнала предназначена для генерирования управляющего сигнала 810, указывающего, как чередовать дополнительный сигнал с кодированием формы с параметрической реконструкцией одного из входных сигналов 502, 504 в декодирующем устройстве. Например, управляющий сигнал может указывать частотный диапазон и временной диапазон, для которых дополнительный сигнал с кодированием формы должен чередоваться с параметрической реконструкцией, как описано со ссылками на фиг. 7. Управляющий сигнал может добавляться в битовый поток 846.
После изучения приведенного выше описания эквиваленты, расширения, альтернативы и различные дополнительные варианты осуществления настоящего изобретения станут очевидными специалисту в данной области техники. Хотя в настоящем описании и на графических материалах раскрыты некоторые конкретные варианты осуществления и примеры, но раскрытие этими конкретными примерами не ограничивается. Возможны многочисленные модификации и изменения в пределах объема настоящего изобретения, определенного прилагаемой формулой изобретения. Любые ссылочные позиции, встречающиеся в формуле изобретения, не должны рассматриваться как ограничивающие ее объем.
Кроме того, после изучения графических материалов, описания и прилагаемой формулы изобретения специалисту могут быть понятными изменения раскрытых вариантов осуществления и могут использоваться им при практической реализации изобретения. В формуле изобретения слова «включающий» и «содержащий» не исключают другие элементы или этапы, и единственное число не исключает множественное. Сам факт, что некоторые признаки упоминаются во взаимно отличных зависимых пунктах формулы изобретения, не говорит о том, что не может быть использовано с выгодой сочетание этих признаков.
Системы и способы, раскрытые выше, могут быть осуществлены в виде программного обеспечения, программно-аппаратного обеспечения, аппаратных средств или их сочетания. При осуществлении в виде аппаратных средств разделение задач между функциональными узлами, о которых говорилось в вышеприведенном описании, не обязательно соответствует разделению на физические узлы; наоборот, один физический компонент может выполнять несколько функций, и одно задание может выполняться несколькими физическими компонентами во взаимодействии. Некоторые компоненты или все компоненты могут быть осуществлены в виде программного обеспечения, выполняемого процессором цифровых сигналов или микропроцессором, или быть осуществлены в виде аппаратных средств или в виде зависимой от приложения интегральной микросхемы. Такое программное обеспечение может распространяться на машиночитаемых носителях, которые могут содержать компьютерные носители информации (или постоянные носители) и каналы передачи информации (или временные носители). Как хорошо известно специалисту в области техники, к которой относится изобретение, термин «компьютерные носители информации» включает энергозависимые и энергонезависимые, сменные и несменные носители, реализованные в любом способе или технологии для хранения информации, такой как машиночитаемые команды, структуры данных, программные модули или другие данные. Компьютерные носители информации включают, но не ограничиваются этим, ОЗУ, ПЗУ, ЭСППЗУ, флеш-память или другую технологию памяти, компакт-диски, компакт-диски формата DVD или другие оптические диски для хранения информации, магнитные кассеты, магнитную ленту, магнитный диск для хранения информации или другие магнитные устройства для хранения информации, или любой другой носитель, который может быть использован для хранения желаемой информации, и который может быть доступным с помощью компьютера. Дополнительно специалисту хорошо известно, что в каналах передачи информации, как правило, осуществлены машиночитаемые команды, структуры данных, программные модули или другие данные в виде модулированного сигнала данных, такого как несущая волна или другой механизм переноса, и включены любые средства для доставки информации.

Claims (29)

1. Способ декодирования в многоканальной системе обработки звуковых сигналов для реконструкции М кодированных каналов, где M>2, включающий следующие этапы:
прием N сигналов понижающего микширования с кодированием формы, содержащих спектральные коэффициенты, соответствующие частотам между первой и второй частотами разделения каналов, где 1<N<M;
прием M сигналов с кодированием формы, содержащих спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов, при этом каждый из M сигналов с кодированием формы соответствует соответствующему одному из М кодированных каналов;
понижающее микширование M сигналов с кодированием формы в N сигналов понижающего микширования, содержащих спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов;
объединение каждого из N сигналов понижающего микширования с кодированием формы, содержащих спектральные коэффициенты, соответствующие частотам между первой и второй частотами разделения каналов, с соответствующим одним из N сигналов понижающего микширования, содержащих спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов, в N объединенных сигналов понижающего микширования;
расширение каждого из N объединенных сигналов понижающего микширования в частотный диапазон выше второй частоты разделения каналов путем выполнения высокочастотной реконструкции, в результате чего каждый расширенный сигнал понижающего микширования содержит спектральные коэффициенты, соответствующие диапазону, проходящему ниже первой частоты разделения каналов и выше второй частоты разделения каналов;
выполнение параметрического повышающего микширования N объединенных сигналов понижающего микширования с расширенным диапазоном частоты в M сигналов повышающего микширования, содержащих спектральные коэффициенты, соответствующие частотам выше первой частоты разделения каналов, при этом каждый из M сигналов повышающего микширования соответствует одному из М кодированных каналов; и
объединение M сигналов повышающего микширования, содержащих спектральные коэффициенты, соответствующие частотам выше первой частоты разделения каналов, с M сигналами с кодированием формы, содержащими спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов.
2. Способ декодирования по п. 1, отличающийся тем, что этап объединения каждого из N сигналов понижающего микширования с кодированием формы, содержащих спектральные коэффициенты, соответствующие частотам между первой и второй частотами разделения каналов, с соответствующим одним из N сигналов понижающего микширования, содержащих спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов, в N объединенных сигналов понижающего микширования выполняют в частотной области.
3. Способ декодирования по п. 1, отличающийся тем, что этап расширения каждого из N объединенных сигналов понижающего микширования в частотный диапазон выше второй частоты разделения каналов выполняют в частотной области.
4. Способ декодирования по п. 1, отличающийся тем, что этап объединения M сигналов повышающего микширования, содержащих спектральные коэффициенты, соответствующие частотам выше первой частоты разделения каналов, с M сигналами с кодированием формы, содержащими спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов, выполняют в частотной области.
5. Способ декодирования по п. 1, отличающийся тем, что этап выполнения параметрического повышающего микширования N объединенных сигналов понижающего микширования с расширенным диапазоном частоты в M сигналов повышающего микширования выполняют в частотной области.
6. Способ декодирования по п. 1, отличающийся тем, что этап понижающего микширования M сигналов с кодированием формы в N сигналов понижающего микширования, содержащих спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов, выполняется в частотной области.
7. Способ декодирования по любому из пп. 2-6, отличающийся тем, что частотная область представляет собой область квадратурных зеркальных фильтров (QMF).
8. Способ декодирования по любому из пп. 1-5, отличающийся тем, что этап понижающего микширования M сигналов с кодированием формы в N сигналов понижающего микширования, содержащих спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов, выполняют во временной области.
9. Способ декодирования по п. 1, отличающийся тем, что первая частота разделения каналов зависит от скорости передачи битов многоканальной системы обработки звуковых сигналов.
10. Способ декодирования по п. 1, отличающийся тем, что этап расширения каждого из N объединенных сигналов понижающего микширования в частотный диапазон выше второй частоты разделения каналов путем выполнения высокочастотной реконструкции включает:
прием параметров высокочастотной реконструкции; и
расширение каждого из N объединенных сигналов понижающего микширования в частотный диапазон выше второй частоты разделения каналов путем выполнения высокочастотной реконструкции с использованием параметров высокочастотной реконструкции.
11. Способ декодирования по п. 10, отличающийся тем, что этап расширения каждого из N объединенных сигналов понижающего микширования в частотный диапазон выше второй частоты разделения каналов путем выполнения высокочастотной реконструкции включает выполнение репликации спектральной полосы (SBR).
12. Способ декодирования по п. 1, отличающийся тем, что этап выполнения параметрического повышающего микширования N объединенных сигналов понижающего микширования с расширенным диапазоном частоты в M сигналов повышающего микширования включает:
прием параметров повышающего микширования;
генерирование декоррелированных версий N объединенных сигналов понижающего микширования с расширенным диапазоном частоты; и
подвергание N объединенных сигналов понижающего микширования с расширенным диапазоном частоты и декоррелированных версий N объединенных сигналов понижающего микширования с расширенным диапазоном частоты матричной операции, при этом параметры матричной операции заданы параметрами повышающего микширования.
13. Способ декодирования по п. 1, отличающийся тем, что принятые N сигналов понижающего микширования с кодированием формы и принятые M сигналов с кодированием формы кодируют с использованием перекрывающихся многооконных преобразований с независимой многооконной работой для N сигналов понижающего микширования с кодированием формы и M сигналов с кодированием формы соответственно.
14. Способ декодирования по п. 1, отличающийся тем, что дополнительно включает следующие этапы:
прием дополнительного сигнала с кодированием формы, содержащего спектральные коэффициенты, соответствующие подмножеству частот выше первой частоты разделения каналов;
чередование дополнительного сигнала с кодированием формы с одним из M сигналов повышающего микширования.
15. Способ декодирования по п. 14, отличающийся тем, что этап чередования дополнительного сигнала с кодированием формы с одним из M сигналов повышающего микширования включает добавление дополнительного сигнала с кодированием формы с одним из M сигналов повышающего микширования.
16. Способ декодирования по п. 14, отличающийся тем, что этап чередования дополнительного сигнала с кодированием формы с одним из M сигналов повышающего микширования включает замену одного из M сигналов повышающего микширования дополнительным сигналом с кодированием формы в подмножестве частот выше первой частоты разделения каналов, соответствующих спектральным коэффициентам дополнительного сигнала с кодированием формы.
17. Способ декодирования по любому из пп. 14-16, отличающийся тем, что дополнительно включает прием управляющего сигнала, указывающего, как чередовать дополнительный сигнал с кодированием формы с одним из M сигналов повышающего микширования, при этом этап чередования дополнительного сигнала с кодированием формы с одним из M сигналов повышающего микширования основывается на управляющем сигнале.
18. Способ декодирования по п. 17, отличающийся тем, что управляющий сигнал указывает частотный диапазон и временной диапазон, для которых дополнительный сигнал с кодированием формы должен чередоваться с одним из M сигналов повышающего микширования.
19. Машиночитаемый носитель, содержащий компьютерный программный продукт с командами для выполнения способа по любому из предыдущих пунктов.
20. Декодирующее устройство для многоканальной системы обработки звуковых сигналов для реконструкции М кодированных каналов, где M>2, содержащее:
первую приемную стадию, предназначенную для приема N сигналов понижающего микширования с кодированием формы, содержащих спектральные коэффициенты, соответствующие частотам между первой и второй частотами разделения каналов, где 1<N<M;
вторую приемную стадию, предназначенную для приема M сигналов с кодированием формы, содержащих спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов, при этом каждый из M сигналов с кодированием формы соответствует соответствующему одному из М кодированных каналов;
стадию понижающего микширования после второй приемной стадии, предназначенную для понижающего микширования M сигналов с кодированием формы в N сигналов понижающего микширования, содержащих спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов;
первую объединительную стадию после первой приемной стадии и стадии понижающего микширования, предназначенную для объединения каждого из N сигналов понижающего микширования, принятых первой приемной стадией, с соответствующим одним из N сигналов понижающего микширования из стадии понижающего микширования в N объединенных сигналов понижающего микширования;
стадию высокочастотной реконструкции после первой объединительной стадии, предназначенную для расширения каждого из N объединенных сигналов понижающего микширования из объединительной стадии в частотный диапазон выше второй частоты разделения каналов путем выполнения высокочастотной реконструкции, в результате чего каждый расширенный сигнал понижающего микширования содержит спектральные коэффициенты, соответствующие диапазону, проходящему ниже первой частоты разделения каналов и выше второй частоты разделения каналов;
стадию повышающего микширования после стадии высокочастотной реконструкции, предназначенную для выполнения параметрического повышающего микширования N сигналов с расширенным диапазоном частоты из стадии высокочастотной реконструкции в M сигналов повышающего микширования, содержащих спектральные коэффициенты, соответствующие частотам выше первой частоты разделения каналов, при этом каждый из M сигналов повышающего микширования соответствует одному из М кодированных каналов; и
вторую объединительную стадию после стадии повышающего микширования и второй приемной стадии, предназначенную для объединения M сигналов повышающего микширования из стадии повышающего микширования с M сигналами с кодированием формы, принятыми второй приемной стадией.
21. Способ кодирования для многоканальной системы обработки звуковых сигналов для кодирования M каналов, где M>2, включающий следующие этапы:
прием M сигналов, соответствующих M каналам, подлежащих кодированию; генерирование M сигналов с кодированием формы путем индивидуального кодирования формы M сигналов для частотного диапазона, соответствующего частотам до первой частоты разделения каналов, при этом M сигналов с кодированием формы содержат спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов;
понижающее микширование M сигналов, каждый из которых содержит спектральные коэффициенты, соответствующие диапазону, проходящему ниже первой частоты разделения каналов и выше второй частоты разделения каналов, в N сигналов понижающего микширования, где 1<N<M;
подвергание N сигналов понижающего микширования кодированию высокочастотной реконструкции, при этом извлекают параметры высокочастотной реконструкции, делающие возможной высокочастотную реконструкцию N сигналов понижающего микширования выше второй частоты разделения каналов;
подвергание M сигналов параметрическому кодированию для частотного диапазона, соответствующего частотам выше первой частоты разделения каналов, при этом извлекают параметры повышающего микширования, делающие возможным повышающее микширование N сигналов понижающего микширования в M реконструированных сигналов, соответствующих M каналам для частотного диапазона выше первой частоты разделения каналов;
генерирование N сигналов понижающего микширования с кодированием формы путем кодирования формы N сигналов понижающего микширования для частотного диапазона, соответствующего частотам между первой и второй частотами разделения каналов, при этом N сигналов понижающего микширования с кодированием формы содержат спектральные коэффициенты, соответствующие частотам между первой частотой разделения каналов и второй частотой разделения каналов.
22. Способ кодирования по п. 21, отличающийся тем, что этап подвергания N сигналов понижающего микширования кодированию высокочастотной реконструкции выполняют в частотной области, предпочтительно в области квадратурных зеркальных фильтров (QMF).
23. Способ кодирования по п. 21, отличающийся тем, что этап подвергания M сигналов параметрическому кодированию выполняют в частотной области, предпочтительно в области квадратурных зеркальных фильтров (QMF).
24. Способ кодирования по п. 21, отличающийся тем, что этап генерирования M сигналов с кодированием формы путем индивидуального кодирования формы M сигналов включает применение перекрывающегося многооконного преобразования к M сигналам, при этом разные перекрывающиеся последовательности в окне используют по меньшей мере для двух M сигналов.
25. Способ кодирования по п. 21, отличающийся тем, что дополнительно включает этап:
генерирования дополнительного сигнала кодированной формы путем кодирования формы одного из M сигналов для частотного диапазона, соответствующего подмножеству частотного диапазона выше первой частоты разделения каналов.
26. Способ кодирования по п. 25, отличающийся тем, что дополнительно включает генерирование управляющего сигнала, указывающего, как чередовать дополнительный сигнал с кодированием формы с параметрической реконструкцией одного из M сигналов в декодирующем устройстве.
27. Способ кодирования по п. 26, отличающийся тем, что управляющий сигнал указывает частотный диапазон и временной диапазон, для которых дополнительный сигнал с кодированием формы должен чередоваться с одним из M сигналов повышающего микширования.
28. Машиночитаемый носитель, содержащий компьютерный программный продукт с командами для выполнения способа по любому из пп. 21-27.
29. Кодирующее устройство для многоканальной системы обработки звуковых сигналов для кодирования M каналов, где M>2, содержащее следующие стадии:
приемную стадию, предназначенную для приема M сигналов, соответствующих M каналам, подлежащих кодированию;
первую стадию кодирования формы, предназначенную для приема M сигналов из приемной стадии и для генерирования M сигналов с кодированием формы путем индивидуального кодирования формы M сигналов для частотного диапазона, соответствующего частотам до первой частоты разделения каналов, при этом M сигналов с кодированием формы содержат спектральные коэффициенты, соответствующие частотам до первой частоты разделения каналов;
стадию понижающего микширования, предназначенную для приема M сигналов из приемной стадии, при этом каждый из М принятых сигналов понижающего микширования содержит спектральные коэффициенты, соответствующие диапазону, проходящему ниже первой частоты разделения каналов и выше второй частоты разделения каналов, и для понижающего микширования M сигналов в N сигналов понижающего микширования, где 1<N<M;
стадию кодирования высокочастотной реконструкции, предназначенную для приема N сигналов понижающего микширования из стадии понижающего микширования и для подвергания N сигналов понижающего микширования кодированию высокочастотной реконструкции, при этом стадия кодирования высокочастотной реконструкции предназначена для извлечения параметров высокочастотной реконструкции, делающих возможной высокочастотную реконструкцию N сигналов понижающего микширования выше второй частоты разделения каналов;
стадию параметрического кодирования, предназначенную для приема M сигналов из приемной стадии и для подвергания M сигналов параметрическому кодированию для частотного диапазона, соответствующего частотам выше первой частоты разделения каналов, при этом стадия параметрического кодирования предназначена для извлечения параметров повышающего микширования, делающих возможным повышающее микширование N сигналов понижающего микширования в M реконструированных сигналов, соответствующих M каналам для частотного диапазона выше первой частоты разделения каналов; и
вторую стадию кодирования формы, предназначенную для приема N сигналов понижающего микширования из стадии понижающего микширования и для генерирования N сигналов понижающего микширования с кодированием формы путем кодирования формы N сигналов понижающего микширования для частотного диапазона, соответствующего частотам между первой и второй частотами разделения каналов, при этом N сигналов понижающего микширования с кодированием формы содержат спектральные коэффициенты, соответствующие частотам между первой частотой разделения каналов и второй частотой разделения каналов.
RU2015136341/08A 2013-04-05 2014-04-04 Звуковые кодирующее устройство и декодирующее устройство RU2602988C1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361808680P 2013-04-05 2013-04-05
US61/808,680 2013-04-05
PCT/EP2014/056852 WO2014161992A1 (en) 2013-04-05 2014-04-04 Audio encoder and decoder

Related Child Applications (1)

Application Number Title Priority Date Filing Date
RU2016141142A Division RU2641265C1 (ru) 2013-04-05 2014-04-04 Звуковые кодирующее устройство и декодирующее устройство

Publications (1)

Publication Number Publication Date
RU2602988C1 true RU2602988C1 (ru) 2016-11-20

Family

ID=50439393

Family Applications (2)

Application Number Title Priority Date Filing Date
RU2016141142A RU2641265C1 (ru) 2013-04-05 2014-04-04 Звуковые кодирующее устройство и декодирующее устройство
RU2015136341/08A RU2602988C1 (ru) 2013-04-05 2014-04-04 Звуковые кодирующее устройство и декодирующее устройство

Family Applications Before (1)

Application Number Title Priority Date Filing Date
RU2016141142A RU2641265C1 (ru) 2013-04-05 2014-04-04 Звуковые кодирующее устройство и декодирующее устройство

Country Status (21)

Country Link
US (6) US9489957B2 (ru)
EP (3) EP3627506A1 (ru)
JP (7) JP6031201B2 (ru)
KR (7) KR102380370B1 (ru)
CN (2) CN105308680B (ru)
AU (1) AU2014247001B2 (ru)
BR (7) BR122020017065B1 (ru)
CA (1) CA2900743C (ru)
DK (1) DK2954519T3 (ru)
ES (2) ES2619117T3 (ru)
HK (1) HK1213080A1 (ru)
HU (1) HUE031660T2 (ru)
IL (1) IL240117A0 (ru)
MX (4) MX369023B (ru)
MY (3) MY183360A (ru)
PL (1) PL2954519T3 (ru)
RU (2) RU2641265C1 (ru)
SG (1) SG11201506139YA (ru)
TW (1) TWI546799B (ru)
UA (1) UA113117C2 (ru)
WO (1) WO2014161992A1 (ru)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI546799B (zh) 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
EP3022254B1 (de) 2013-07-18 2020-02-26 Basf Se Vereinzelung einer polyarylenetherlösung
KR102244612B1 (ko) * 2014-04-21 2021-04-26 삼성전자주식회사 무선 통신 시스템에서 음성 데이터를 송신 및 수신하기 위한 장치 및 방법
EP3067887A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
WO2016204581A1 (ko) 2015-06-17 2016-12-22 삼성전자 주식회사 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
EP3284087B1 (en) 2016-01-22 2019-03-06 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatuses and methods for encoding or decoding an audio multi-channel signal using spectral-domain resampling
US10146500B2 (en) * 2016-08-31 2018-12-04 Dts, Inc. Transform-based audio codec and method with subband energy smoothing
US10354667B2 (en) 2017-03-22 2019-07-16 Immersion Networks, Inc. System and method for processing audio data
EP3588495A1 (en) * 2018-06-22 2020-01-01 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Multichannel audio coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2473140C2 (ru) * 2008-03-04 2013-01-20 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Устройство для микширования множества входных данных

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5459B2 (ru) 1973-12-20 1979-01-05
IT1044736B (it) * 1975-04-23 1980-04-21 Cselt Centro Studi Lab Telecom Sistema numerico per la trasmissione dei canali di due fasci modulati a impulsi codificati alla velocita di un solo fascio
JP2000122679A (ja) * 1998-10-15 2000-04-28 Sony Corp 音声帯域拡張方法及び装置、音声合成方法及び装置
JP3677185B2 (ja) * 1999-11-29 2005-07-27 株式会社東芝 符号分割多重伝送方式と送信装置及び受信装置
SE0004187D0 (sv) * 2000-11-15 2000-11-15 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
EP1423847B1 (en) * 2001-11-29 2005-02-02 Coding Technologies AB Reconstruction of high frequency components
US20030220800A1 (en) 2002-05-21 2003-11-27 Budnikov Dmitry N. Coding multichannel audio signals
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
WO2005086139A1 (en) * 2004-03-01 2005-09-15 Dolby Laboratories Licensing Corporation Multichannel audio coding
BRPI0509100B1 (pt) 2004-04-05 2018-11-06 Koninl Philips Electronics Nv Codificador de multicanal operável para processar sinais de entrada, método paracodificar sinais de entrada em um codificador de multicanal
US7742912B2 (en) 2004-06-21 2010-06-22 Koninklijke Philips Electronics N.V. Method and apparatus to encode and decode multi-channel audio signals
KR101120911B1 (ko) * 2004-07-02 2012-02-27 파나소닉 주식회사 음성신호 복호화 장치 및 음성신호 부호화 장치
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
CN101151658B (zh) 2005-03-30 2011-07-06 皇家飞利浦电子股份有限公司 多声道音频编码和解码方法、编码器和解码器
JP2006323037A (ja) * 2005-05-18 2006-11-30 Matsushita Electric Ind Co Ltd オーディオ信号復号化装置
US8019614B2 (en) * 2005-09-02 2011-09-13 Panasonic Corporation Energy shaping apparatus and energy shaping method
US7974713B2 (en) * 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
JP5507844B2 (ja) * 2005-10-20 2014-05-28 エルジー エレクトロニクス インコーポレイティド マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置
US7831434B2 (en) * 2006-01-20 2010-11-09 Microsoft Corporation Complex-transform channel coding with extended-band frequency coding
EP1853092B1 (en) 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
JP2010503881A (ja) * 2006-09-13 2010-02-04 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 音声・音響送信器及び受信器のための方法及び装置
KR101435893B1 (ko) * 2006-09-22 2014-09-02 삼성전자주식회사 대역폭 확장 기법 및 스테레오 부호화 기법을 이용한오디오 신호의 부호화/복호화 방법 및 장치
JP5141180B2 (ja) * 2006-11-09 2013-02-13 ソニー株式会社 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体
KR101405972B1 (ko) 2007-07-02 2014-06-12 엘지전자 주식회사 방송 수신기 및 방송신호 처리방법
US8295494B2 (en) * 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
WO2009046909A1 (en) 2007-10-09 2009-04-16 Koninklijke Philips Electronics N.V. Method and apparatus for generating a binaural audio signal
WO2009068087A1 (en) * 2007-11-27 2009-06-04 Nokia Corporation Multichannel audio coding
KR20100086000A (ko) 2007-12-18 2010-07-29 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
JP5243553B2 (ja) * 2008-01-01 2013-07-24 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
CN102089814B (zh) * 2008-07-11 2012-11-21 弗劳恩霍夫应用研究促进协会 对编码的音频信号进行解码的设备和方法
PL2146344T3 (pl) * 2008-07-17 2017-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sposób kodowania/dekodowania sygnału audio obejmujący przełączalne obejście
TWI413109B (zh) * 2008-10-01 2013-10-21 Dolby Lab Licensing Corp 用於上混系統之解相關器
US20100223061A1 (en) 2009-02-27 2010-09-02 Nokia Corporation Method and Apparatus for Audio Coding
WO2010097748A1 (en) 2009-02-27 2010-09-02 Koninklijke Philips Electronics N.V. Parametric stereo encoding and decoding
BR122019023877B1 (pt) * 2009-03-17 2021-08-17 Dolby International Ab Sistema codificador, sistema decodificador, método para codificar um sinal estéreo para um sinal de fluxo de bits e método para decodificar um sinal de fluxo de bits para um sinal estéreo
PL2394268T3 (pl) 2009-04-08 2014-06-30 Fraunhofer Ges Forschung Urządzenie, sposób i program komputerowy do realizacji upmixu sygnału audio downmixu z użyciem wygładzania wartości faz
KR20110018107A (ko) 2009-08-17 2011-02-23 삼성전자주식회사 레지듀얼 신호 인코딩 및 디코딩 방법 및 장치
CN102667919B (zh) * 2009-09-29 2014-09-10 弗兰霍菲尔运输应用研究公司 音频信号解码器和编码器、提供上混和下混信号表示型态的方法
RU2591011C2 (ru) * 2009-10-20 2016-07-10 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Кодер аудиосигнала, декодер аудиосигнала, способ кодирования или декодирования аудиосигнала с удалением алиасинга (наложения спектров)
JP5422664B2 (ja) * 2009-10-21 2014-02-19 パナソニック株式会社 音響信号処理装置、音響符号化装置および音響復号装置
KR101710113B1 (ko) * 2009-10-23 2017-02-27 삼성전자주식회사 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법
EP2375409A1 (en) 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
BR122019013299B1 (pt) * 2010-04-09 2021-01-05 Dolby International Ab aparelho e método para emitir um sinal de áudio esterofônico possuindo um canal esquerdo e um canal direito e meio legível por computador não transitório
MY194835A (en) 2010-04-13 2022-12-19 Fraunhofer Ges Forschung Audio or Video Encoder, Audio or Video Decoder and Related Methods for Processing Multi-Channel Audio of Video Signals Using a Variable Prediction Direction
TR201900417T4 (tr) 2010-08-25 2019-02-21 Fraunhofer Ges Forschung Birden fazla kanala haiz olan bir ses sinyalini enkode etmek için bir cihaz.
EP2477188A1 (en) 2011-01-18 2012-07-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding of slot positions of events in an audio signal frame
FR2973551A1 (fr) 2011-03-29 2012-10-05 France Telecom Allocation par sous-bandes de bits de quantification de parametres d'information spatiale pour un codage parametrique
JP6185457B2 (ja) 2011-04-28 2017-08-23 ドルビー・インターナショナル・アーベー 効率的なコンテンツ分類及びラウドネス推定
KR101572034B1 (ko) 2011-05-19 2015-11-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 파라메트릭 오디오 코딩 방식들의 포렌식 검출
US9166864B1 (en) * 2012-01-18 2015-10-20 Google Inc. Adaptive streaming for legacy media frameworks
TWI546799B (zh) * 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
CN116741188A (zh) * 2013-04-05 2023-09-12 杜比国际公司 立体声音频编码器和解码器
EP2830056A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding an audio signal with intelligent gap filling in the spectral domain
US9685164B2 (en) * 2014-03-31 2017-06-20 Qualcomm Incorporated Systems and methods of switching coding technologies at a device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2473140C2 (ru) * 2008-03-04 2013-01-20 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Устройство для микширования множества входных данных

Also Published As

Publication number Publication date
US20220059110A1 (en) 2022-02-24
UA113117C2 (xx) 2016-12-12
MX347936B (es) 2017-05-19
US20240153517A1 (en) 2024-05-09
JP2016513287A (ja) 2016-05-12
JP2022068353A (ja) 2022-05-09
JP2017078858A (ja) 2017-04-27
JP2021047450A (ja) 2021-03-25
CN105308680A (zh) 2016-02-03
JP6808781B2 (ja) 2021-01-06
JP6031201B2 (ja) 2016-11-24
KR20200033988A (ko) 2020-03-30
KR20210005315A (ko) 2021-01-13
CN109410966B (zh) 2023-08-29
KR20200096328A (ko) 2020-08-11
US10438602B2 (en) 2019-10-08
US20200098381A1 (en) 2020-03-26
JP6377110B2 (ja) 2018-08-22
WO2014161992A1 (en) 2014-10-09
BR112015019711A2 (pt) 2017-07-18
US9728199B2 (en) 2017-08-08
MY185848A (en) 2021-06-14
AU2014247001A1 (en) 2015-08-13
MX2019012711A (es) 2019-12-16
KR20240038819A (ko) 2024-03-25
JP6537683B2 (ja) 2019-07-03
JP2019191596A (ja) 2019-10-31
KR102094129B1 (ko) 2020-03-30
MX2015011145A (es) 2016-01-12
EP3171361A1 (en) 2017-05-24
IL240117A0 (en) 2015-09-24
BR122022004784B1 (pt) 2022-06-07
MY183360A (en) 2021-02-18
JP2018185536A (ja) 2018-11-22
SG11201506139YA (en) 2015-09-29
TWI546799B (zh) 2016-08-21
KR102201951B1 (ko) 2021-01-12
US20160343383A1 (en) 2016-11-24
KR102142837B1 (ko) 2020-08-28
BR122017006819A2 (pt) 2019-09-03
CN109410966A (zh) 2019-03-01
US11830510B2 (en) 2023-11-28
BR122022004786A2 (ru) 2017-07-18
US9489957B2 (en) 2016-11-08
CA2900743A1 (en) 2014-10-09
ES2748939T3 (es) 2020-03-18
BR122022004787A8 (pt) 2022-09-06
EP2954519A1 (en) 2015-12-16
BR122022004787A2 (ru) 2017-07-18
DK2954519T3 (en) 2017-03-20
PL2954519T3 (pl) 2017-06-30
BR122022004786B1 (pt) 2022-10-04
JP2024038139A (ja) 2024-03-19
EP3171361B1 (en) 2019-07-24
CA2900743C (en) 2016-08-16
MY196084A (en) 2023-03-14
KR20150113976A (ko) 2015-10-08
BR122020017065B1 (pt) 2022-03-22
JP7413418B2 (ja) 2024-01-15
EP3627506A1 (en) 2020-03-25
BR122021004537B1 (pt) 2022-03-22
US20160012825A1 (en) 2016-01-14
BR122022004784B8 (pt) 2022-09-13
KR20220044609A (ko) 2022-04-08
JP7033182B2 (ja) 2022-03-09
BR112015019711B1 (pt) 2022-04-26
BR122017006819B1 (pt) 2022-07-26
MX369023B (es) 2019-10-25
KR101763129B1 (ko) 2017-07-31
US20170301362A1 (en) 2017-10-19
BR122022004787B1 (pt) 2022-10-18
AU2014247001B2 (en) 2015-08-27
EP2954519B1 (en) 2017-02-01
BR122022004786A8 (pt) 2022-09-06
CN105308680B (zh) 2019-03-19
RU2641265C1 (ru) 2018-01-16
ES2619117T3 (es) 2017-06-23
US11114107B2 (en) 2021-09-07
MX2022004397A (es) 2022-06-16
HUE031660T2 (en) 2017-07-28
KR102380370B1 (ko) 2022-04-01
TW201505024A (zh) 2015-02-01
HK1213080A1 (zh) 2016-06-24
KR20170087529A (ko) 2017-07-28

Similar Documents

Publication Publication Date Title
RU2602988C1 (ru) Звуковые кодирующее устройство и декодирующее устройство