RU2713701C1 - Аудиокодер и декодер для кодирования по форме волны с перемежением - Google Patents

Аудиокодер и декодер для кодирования по форме волны с перемежением Download PDF

Info

Publication number
RU2713701C1
RU2713701C1 RU2019120194A RU2019120194A RU2713701C1 RU 2713701 C1 RU2713701 C1 RU 2713701C1 RU 2019120194 A RU2019120194 A RU 2019120194A RU 2019120194 A RU2019120194 A RU 2019120194A RU 2713701 C1 RU2713701 C1 RU 2713701C1
Authority
RU
Russia
Prior art keywords
frequency
signal
waveform
encoded signal
transition
Prior art date
Application number
RU2019120194A
Other languages
English (en)
Inventor
Кристофер ЧЕРЛИНГ
Робин ТЕЗИНГ
Харальд МУНДТ
Хейко ПУРНХАГЕН
Карл Йонас РЁДЕН
Original Assignee
Долби Интернэшнл Аб
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Долби Интернэшнл Аб filed Critical Долби Интернэшнл Аб
Application granted granted Critical
Publication of RU2713701C1 publication Critical patent/RU2713701C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388—Details of processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Error Detection And Correction (AREA)

Abstract

Изобретение относится к кодированию и декодированию аудиосигналов. Технический результат – улучшение реконструкции высокочастотных полос аудиосигнала. Для этого способ декодирования включает в себя прием кодированного по форме волны сигнала, имеющего спектральный состав, соответствующий поднабору диапазона частот выше частоты перехода. Кодированный по форме волны сигнал перемежается с параметрической высокочастотной реконструкцией аудиосигнала выше частоты перехода. 4 н. и 16 з.п. ф-лы, 9 ил.

Description

Область техники, к которой относится изобретение
Раскрытое здесь изобретение, в целом, относится к кодированию и декодированию аудиосигнала. В частности, оно относится к аудиокодеру и аудиодекодеру, предназначенным для осуществления высокочастотной реконструкции аудиосигналов.
Уровень техники
В системах аудиокодирования используются разные методологии для кодирования аудиосигнала, например, собственно кодирование по форме волны, параметрическое пространственное кодирование и алгоритмы высокочастотной реконструкции, в том числе алгоритм копирования спектральной полосы (SBR). Стандарт MPEG-4 объединяет кодирование по форме волны и SBR аудиосигналов. Точнее говоря, кодер может осуществлять кодирование по форме волны аудиосигнала для спектральных полос до частоты перехода и кодировать спектральные полосы выше частоты перехода с использованием кодирования SBR. Затем кодированная по форме волны часть аудиосигнала передается на декодер совместно с параметрами SBR, определенными при кодировании SBR. На основании кодированной по форме волны части аудиосигнала и параметров SBR, декодер затем реконструирует аудиосигнал в спектральных полосах выше частоты перехода, что рассмотрено в обзорной статье Brinker et al., An overview of the Coding Standard MPEG-4 Audio Amendments 1 and 2: HE-AAC, SSC, and HE-AAC v2, EURASIP Journal on Audio, Speech, and Music Processing, Volume 2009, Article ID 468971.
Одна проблема этого подхода состоит в том, что сильные тональные компоненты, т.е. сильные гармонические компоненты, или любой компонент в высоких спектральных полосах, которые плохо реконструируются алгоритмом SBR, пропадают в выходном сигнале.
По этой причине, алгоритм SBR осуществляет процедуру обнаружения пропавших гармоник. Тональные компоненты, которые не удается надлежащим образом восстановить посредством высокочастотной реконструкции SBR, идентифицируются на стороне кодера. Информация о частотном положении этих сильных тональных компонентов передается на декодер, где спектральные составы в спектральных полосах, где располагаются пропавшие тональные компоненты, заменяются синусоидами, генерируемыми на декодере.
Преимущество обнаружения пропавших гармоник, обеспеченного в алгоритме SBR, состоит в том, что оно является решением очень низкой битовой скорости, поскольку, несколько упрощая, на декодер необходимо передавать только частотное положение тонального компонента и его уровень амплитуды.
Недостаток обнаружения пропавших гармоник алгоритма SBR состоит в том, что это очень грубая модель. Другой недостаток состоит в том, что при низкой скорости передачи, т.е. когда количество битов, которые могут передаваться в секунду невелико, и, в результате, спектральные полосы широки, большой диапазон частот будет заменен синусоидой.
Еще один недостаток алгоритма SBR состоит в том, что он имеет тенденцию размывать переходные процессы, происходящие в аудиосигнале. Обычно возникает опережающее эхо и запаздывающее эхо переходного процесса в аудиосигнале, реконструированном методом SBR. Таким образом, остается простор для усовершенствований.
Краткое описание чертежей
В дальнейшем, иллюстративные варианты осуществления будут описано более подробно и со ссылкой на прилагаемые чертежи, в которых:
фиг. 1 – схема декодера согласно иллюстративным вариантам осуществления;
фиг. 2 – схема декодера согласно иллюстративным вариантам осуществления;
фиг. 3 – блок-схема операций способа декодирования согласно иллюстративным вариантам осуществления;
фиг. 4 – схема декодера согласно иллюстративным вариантам осуществления;
фиг. 5 – схема кодера согласно иллюстративным вариантам осуществления;
фиг. 6 – блок-схема операций способа кодирования согласно иллюстративным вариантам осуществления;
фиг. 7 – диаграмма схемы сигнализации согласно иллюстративным вариантам осуществления; и
фиг. 8a-b – схематическая иллюстрация блока перемежения согласно иллюстративным вариантам осуществления.
Все фигуры являются упрощенными и, в целом, демонстрируют лишь части, которые необходимы для пояснения изобретения, тогда как другие части можно исключить или считать необязательными. Если не указано обратное, аналогичные ссылочные позиции относятся к аналогичным частям на разных фигурах.
Подробное описание изобретения
Ввиду вышеизложенного, задачей является обеспечение кодера и декодера и соответствующих способов, которые обеспечивают улучшенную реконструкцию переходных процессов и тональных компонентов в высокочастотных полосах.
I. Обзор - декодер
Используемый здесь термин "аудиосигнал" может означать собственно аудиосигнал, аудио-часть аудиовизуального сигнала или мультимедийного сигнала или любой из них совместно с метаданными.
Согласно первому аспекту, иллюстративные варианты осуществления предусматривают способы декодирования, устройства декодирования и компьютерные программные продукты для декодирования. Предложенные способы, устройства и компьютерные программные продукты, в целом, могут иметь одни и те же признаки и преимущества.
Согласно иллюстративным вариантам осуществления, предусмотрен способ декодирования в системе обработки аудиосигнала, содержащий: прием первого кодированного по форме волны сигнала, имеющего спектральный состав до первой частоты перехода; прием второго кодированного по форме волны сигнала, имеющего спектральный состав, соответствующий поднабору диапазона частот выше первой частоты перехода; прием параметров высокочастотной реконструкции; осуществление высокочастотная реконструкция с использованием первого кодированного по форме волны сигнала и параметров высокочастотной реконструкции для генерации расширенного по частоте сигнала, имеющего спектральный состав выше первой частоты перехода; и перемежение расширенного по частоте сигнала со вторым кодированным по форме волны сигналом.
Используемый здесь термин "кодированный по форме волны сигнал" следует интерпретировать как сигнал, кодированный путем прямого квантования представления формы волны; наиболее предпочтительно, квантования линий частотного преобразования сигнала входной формы волны. В этом состоит отличие от параметрического кодирования, где сигнал представляется вариациями обобщенной модели атрибута сигнала.
Таким образом, способ декодирования предусматривает использование кодированных по форме волны данных в поднаборе диапазона частот выше первой частоты перехода и их перемежение с реконструированным по высокой частоте сигналом. Таким образом, важные части сигнала в полосе частот выше первой частоты перехода, например, тональные компоненты или переходные процессы, которые обычно плохо реконструируются параметрическими алгоритмами высокочастотной реконструкции, можно кодировать по форме волны. В результате, реконструкция этих важных частей сигнала в полосе частот выше первой частоты перехода улучшается.
Согласно иллюстративным вариантам осуществления, поднабор диапазона частот выше первой частоты перехода является разреженным поднабором. Например, он может содержать множество изолированных частотных интервалов. Это имеет преимущество в том, что для кодирования второго кодированного по форме волны сигнала используется малое количество битов. Тем не менее, благодаря наличию множества изолированных частотных интервалов, тональные компоненты, например единичные гармоники, аудиосигнала могут хорошо захватываться вторым кодированным по форме волны сигналом. В результате, улучшение реконструкции тональных компонентов для высокочастотных полос достигается при низком расходовании битов.
Используемый здесь термин "пропавшие гармоники" или "единичные гармоники" означает любую произвольную сильную тональную часть спектра. В частности, следует понимать, что понятие "пропавшие гармоники" или "единичные гармоники" не ограничивается гармониками гармонического ряда.
Согласно иллюстративным вариантам осуществления, второй кодированный по форме волны сигнал может представлять переходный процесс в аудиосигнале, подлежащем реконструкции. Переходный процесс обычно ограничен коротким временным диапазоном, например, приблизительно сотней временных выборок при частоте дискретизации 48 кГц, например, временным диапазоном порядка 5 - 10 миллисекунд, но может иметь широкий диапазон частот. Поэтому, для захвата переходного процесса, поднабор диапазона частот выше первой частоты перехода может содержать частотный интервал, проходящий между первой частотой перехода и второй частотой перехода. Это имеет преимущество в том, что можно добиться улучшенной реконструкции переходных процессов.
Согласно иллюстративным вариантам осуществления, вторая частота перехода изменяется как функция времени. Например, вторая частота перехода может изменяться во временном кадре, установленном системой обработки аудиосигнала. Таким образом, можно вычислять короткий временной диапазон переходных процессов.
Согласно иллюстративным вариантам осуществления, этап осуществления высокочастотной реконструкции содержит осуществление копирования спектральной полосы, SBR. Высокочастотная реконструкция обычно осуществляется в частотной области, например, в области псевдоквадратурных зеркальных фильтров, QMF, состоящей, например, из 64 подполос.
Согласно иллюстративным вариантам осуществления, этап перемежения расширенного по частоте сигнала со вторым кодированным по форме волны сигналом осуществляется в частотной области, например, в области QMF. Обычно, для упрощения реализации и улучшения контроля временных и частотных характеристик двух сигналов, перемежение осуществляется в той же частотной области, что и высокочастотная реконструкция.
Согласно иллюстративным вариантам осуществления, первый и второй кодированные по форме волны сигналы, будучи приняты, кодируются с использованием одного и того же модифицированного дискретного косинусного преобразования, MDCT.
Согласно иллюстративным вариантам осуществления, способ декодирования может содержать регулировку спектрального состава расширенного по частоте сигнала в соответствии с параметрами высокочастотной реконструкции для регулировки спектральной огибающей расширенного по частоте сигнала.
Согласно иллюстративным вариантам осуществления, перемежение может содержать суммирование второго кодированного по форме волны сигнала с расширенным по частоте сигналом. Этот вариант предпочтителен, если второй кодированный по форме волны сигнал представляет тональные компоненты, например, когда поднабор диапазона частот выше первой частоты перехода содержит множество изолированных частотных интервалов. Суммирование второго кодированного по форме волны сигнала с расширенным по частоте сигналом имитирует параметрическое суммирование гармоник, известное из SBR, и позволяет SBR копировать сигнал, подлежащий использованию, во избежание замены больших диапазонов частот единичным тональным компонентом путем его примешивания на подходящем уровне.
Согласно иллюстративным вариантам осуществления, перемежение содержит замену спектрального состава расширенного по частоте сигнала спектральным составом второго кодированного по форме волны сигнала в поднаборе диапазона частот выше первой частоты перехода, который соответствует спектральному составу второго кодированного по форме волны сигнала. Этот вариант предпочтителен, когда второй кодированный по форме волны сигнал представляет переходный процесс, например, когда поднабор диапазона частот выше первой частоты перехода может, таким образом, содержать частотный интервал, проходящий между первой частотой перехода и второй частотой перехода. Замена обычно осуществляется только для временного диапазона, покрытого вторым кодированным по форме волны сигналом. Таким образом, можно заменять как можно меньше, но все же достаточно для замены переходного процесса и потенциального временного размывания, присутствующего в расширенном по частоте сигнале, и перемежение, таким образом, не ограничивается отрезком времени, указанным временной сеткой огибающей SBR.
Согласно иллюстративным вариантам осуществления, первый и второй кодированные по форме волны сигналы могут быть отдельными сигналами, в том смысле, что они кодировались по отдельности. Альтернативно, первый кодированный по форме волны сигнал и второй кодированный по форме волны сигнал образуют первый и второй сигнальные участки общего, совместно кодированного сигнала. Последняя альтернатива более привлекательна с точки зрения реализации.
Согласно иллюстративным вариантам осуществления, способ декодирования может содержать прием сигнала управления, содержащего данные, относящиеся к одному или более временным диапазонам и одному или более диапазонам частот выше первой частоты перехода, для которых доступен второй кодированный по форме волны сигнал, причем этап перемежения расширенного по частоте сигнала со вторым кодированным по форме волны сигналом базируется на сигнале управления. Это имеет преимущество в том, что обеспечивает эффективное управление перемежением.
Согласно иллюстративным вариантам осуществления, сигнал управления содержит, по меньшей мере, один из второго вектора, указывающего один или более диапазонов частот выше первой частоты перехода, для которых доступен второй кодированный по форме волны сигнал для перемежения с расширенным по частоте сигналом, и третьего вектора, указывающего один или более временных диапазонов, для которых доступен второй кодированный по форме волны сигнал для перемежения с расширенным по частоте сигналом. Это позволяет удобно реализовать сигнал управления.
Согласно иллюстративным вариантам осуществления, сигнал управления содержит первый вектор, указывающий один или более диапазонов частот выше первой частоты перехода, подлежащих параметрической реконструкции на основании параметров высокочастотной реконструкции. Таким образом, расширенному по частоте сигналу можно отдавать приоритет над вторым кодированным по форме волны сигналом для определенных полос частот.
Согласно иллюстративным вариантам осуществления, также предусмотрен компьютерный программный продукт, содержащий считываемый компьютером носитель с инструкциями для осуществления любого способа декодирования первого аспекта.
Согласно иллюстративным вариантам осуществления, также предусмотрен декодер для системы обработки аудиосигнала, содержащий: блок приема, выполненный с возможностью приема первого кодированного по форме волны сигнала, имеющего спектральный состав до первой частоты перехода, второго кодированного по форме волны сигнала, имеющего спектральный состав, соответствующий поднабору диапазона частот выше первой частоты перехода, и параметров высокочастотной реконструкции; блок высокочастотной реконструкции, выполненный с возможностью приема первого декодированного по форме волны сигнала и параметров высокочастотной реконструкции от блока приема и осуществления высокочастотной реконструкции с использованием первого кодированного по форме волны сигнала и параметров высокочастотной реконструкции для генерации расширенного по частоте сигнала, имеющего спектральный состав выше первой частоты перехода; и блок перемежения, выполненный с возможностью приема расширенного по частоте сигнала от блока высокочастотной реконструкции и второго кодированного по форме волны сигнала от блока приема и перемежения расширенного по частоте сигнала со вторым кодированным по форме волны сигналом.
Согласно иллюстративным вариантам осуществления, декодер может быть выполнен с возможностью осуществления любого раскрытого здесь способа декодирования.
II. Обзор - кодер
Согласно второму аспекту, иллюстративные варианты осуществления предусматривают способы кодирования, устройства кодирования и компьютерные программные продукты для кодирования. Предложенные способы, устройства и компьютерные программные продукты, в целом, могут иметь одни и те же признаки и преимущества.
Преимущества, касающиеся признаков и настроек, представленных в вышеприведенном обзоре декодера, в целом, могут быть пригодны для соответствующих признаков и настроек для кодера.
Согласно иллюстративным вариантам осуществления, предусмотрен способ кодирования в системе обработки аудиосигнала, содержащий следующие этапы: прием аудиосигнала, подлежащего кодированию; вычисление, на основании принятого аудиосигнала, параметров высокочастотной реконструкции, допускающих высокочастотную реконструкцию принятого аудиосигнала выше первой частоты перехода; идентификацию, на основании принятого аудиосигнала, поднабора диапазона частот выше первой частоты перехода, для которого спектральный состав принятого аудиосигнала подлежит кодированию по форме волны, и затем, на декодере, перемежению с высокочастотной реконструкцией аудиосигнала; генерацию первого кодированного по форме волны сигнала путем кодирования по форме волны принятого аудиосигнала для спектральных полос до первой частоты перехода; и второго кодированного по форме волны сигнала путем кодирования по форме волны принятого аудиосигнала для спектральных полос, соответствующих идентифицированному поднабору диапазона частот выше первой частоты перехода.
Согласно иллюстративным вариантам осуществления, поднабор диапазона частот выше первой частоты перехода может содержать множество изолированных частотных интервалов.
Согласно иллюстративным вариантам осуществления, поднабор диапазона частот выше первой частоты перехода может содержать частотный интервал, проходящий между первой частотой перехода и второй частотой перехода.
Согласно иллюстративным вариантам осуществления, вторая частота перехода может изменяться как функция времени.
Согласно иллюстративным вариантам осуществления, параметры высокочастотной реконструкции вычисляются с использованием кодирования с копированием спектральной полосы, SBR.
Согласно иллюстративным вариантам осуществления, способ кодирования может дополнительно содержать регулировку уровней спектральной огибающей, содержащихся в параметрах высокочастотной реконструкции, для компенсации суммирования высокочастотной реконструкции принятого аудиосигнала со вторым кодированным по форме волны сигналом на декодере. Поскольку второй кодированный по форме волны сигнал суммируется с реконструированным по высокой частоте сигналом на декодере, уровни спектральной огибающей комбинированного сигнала отличаются от уровней спектральной огибающей реконструированного по высокой частоте сигнала. Это изменение уровней спектральной огибающей можно вычислять на кодере, благодаря чему, комбинированный сигнал на декодере получает целевую спектральную огибающую. Благодаря осуществлению регулировки на стороне кодера, можно сократить потребность в интеллекте на стороне декодера, иными словами; необходимость в задании на декодере конкретных правил по обработке ситуации устраняется за счет конкретной сигнализации от кодера к декодеру. Это позволяет в будущем оптимизировать систему будущими оптимизациями кодера без необходимости в обновлении потенциально широко распространенных декодеров.
Согласно иллюстративным вариантам осуществления, этап регулировки параметров высокочастотной реконструкции может содержать: измерение энергии второго кодированного по форме волны сигнала; и регулировку уровней спектральной огибающей, предназначенных для управления спектральной огибающей реконструированного по высокой частоте сигнала, путем вычитания измеренной энергии второго кодированного по форме волны сигнала из уровней спектральной огибающей для спектральных полос, соответствующих спектральным составам второго кодированного по форме волны сигнала.
Согласно иллюстративным вариантам осуществления, также предусмотрен компьютерный программный продукт, содержащий считываемый компьютером носитель с инструкциями для осуществления любого способа кодирования второго аспекта.
Согласно иллюстративным вариантам осуществления, предусмотрен и кодер для системы обработки аудиосигнала, содержащий: блок приема, выполненный с возможностью приема аудиосигнала, подлежащего кодированию; блок высокочастотного кодирования, выполненный с возможностью приема аудиосигнала от блока приема и вычисления, на основании принятого аудиосигнала, параметров высокочастотной реконструкции, допускающих высокочастотную реконструкцию принятого аудиосигнала выше первой частоты перехода; блок обнаружения кодирования с перемежением, выполненный с возможностью идентификации, на основании принятого аудиосигнала, поднабора диапазона частот выше первой частоты перехода, для которого спектральный состав принятого аудиосигнала подлежит кодированию по форме волны, и затем, на декодере, перемежению с высокочастотной реконструкцией аудиосигнала; и блок кодирования по форме волны, выполненный с возможностью приема аудиосигнала от блока приема и генерации первого кодированного по форме волны сигнала путем кодирования по форме волны принятого аудиосигнала для спектральных полос до первой частоты перехода; и приема идентифицированного поднабора диапазона частот выше первой частоты перехода от блока обнаружения кодирования с перемежением и генерации второго кодированного по форме волны сигнала путем кодирования по форме волны принятого аудиосигнала для спектральных полос, соответствующих принятому идентифицированному поднабору диапазона частот.
Согласно иллюстративным вариантам осуществления, кодер может дополнительно содержать блок регулировки огибающей, выполненный с возможностью приема параметров высокочастотной реконструкции от блока высокочастотного кодирования и идентифицированного поднабора диапазона частот выше первой частоты перехода от блока обнаружения кодирования с перемежением, и, на основании принятых данных, регулировки параметров высокочастотной реконструкции для компенсации последующего перемежения высокочастотной реконструкции принятого аудиосигнала со вторым кодированным по форме волны сигналом на декодере.
Согласно иллюстративным вариантам осуществления, декодер может быть выполнен с возможностью осуществления любого раскрытого здесь способа декодирования.
III. Иллюстративные варианты осуществления - декодер
Фиг. 1 демонстрирует иллюстративный вариант осуществления декодера 100. Декодер содержит блок 110 приема, блок 120 высокочастотной реконструкции и блок 130 перемежения.
Работа декодера 100 будет объяснена более подробно со ссылкой на иллюстративный вариант осуществления, представленный на фиг. 2, демонстрирующую декодер 200, и блок-схему операций, изображенная на фиг. 3. Целью декодера 200 является обеспечение улучшенной реконструкции сигнала для высоких частот при наличии сильных тональных компонентов в высокочастотных полосах аудиосигнала, подлежащего реконструкции. Блок 110 приема принимает, на этапе D02, первый кодированный по форме волны сигнал 201. Первый кодированный по форме волны сигнал 201 имеет спектральный состав до первой частоты fc перехода, т.е. первый кодированный по форме волны сигнал 201 является сигналом низкой полосы, который ограничен диапазоном частот ниже первой частоты fc перехода.
Блок 110 приема принимает, на этапе D04, второй кодированный по форме волны сигнал 202. Второй кодированный по форме волны сигнал 202 имеет спектральный состав, который соответствует поднабору диапазона частот выше первой частоты fc перехода. В примере, приведенном на фиг. 2, второй кодированный по форме волны сигнал 202 имеет спектральный состав, соответствующий множеству изолированных частотных интервалов 202a и 202b. Таким образом, второй кодированный по форме волны сигнал 202 можно рассматривать как состоящий из множества сигналов ограниченной полосы, причем каждый сигнал ограниченной полосы соответствует одному из изолированных частотных интервалов 202a и 202b. На фиг. 2 показаны только два частотных интервала 202a и 202b. В целом, спектральный состав второго кодированного по форме волны сигнала может соответствовать любому количеству частотных интервалов переменной ширины.
Блок 110 приема может принимать первый и второй кодированные по форме волны сигналы 201 и 202 как два отдельных сигнала. Альтернативно, первый и второй кодированные по форме волны сигналы 201 и 202 могут образовывать первый и второй сигнальные участки общего сигнала, принятого блоком 110 приема. Другими словами, первый и второй кодированные по форме волны сигналы могут совместно кодироваться, например с использованием одного и того же преобразования MDCT.
Обычно, первый кодированный по форме волны сигнал 201 и второй кодированный по форме волны сигнал 202, принятые блоком 110 приема, кодируются с использованием преобразования на основе перекрывающихся окон, например, преобразования MDCT. Блок приема может содержать блок 240 декодирования формы волны выполненный с возможностью преобразования первого и второго кодированных по форме волны сигналов 201 и 202 во временную область. Блок 240 декодирования формы волны обычно содержит набор фильтров MDCT, выполненный с возможностью осуществления обратное преобразование MDCT первого и второго кодированных по форме волны сигналов 201 и 202.
Блок 110 приема дополнительно принимает, на этапе D06, параметры высокочастотной реконструкции, которые используются блоком 120 высокочастотной реконструкции, что будет раскрыто ниже.
Первый кодированный по форме волны сигнал 201 и высокочастотные параметры, принятые блоком 110 приема, затем поступают на блок 120 высокочастотной реконструкции. Блок 120 высокочастотной реконструкции обычно действует на сигналах в частотной области, предпочтительно, в области QMF. Поэтому, до поступления на блок 120 высокочастотной реконструкции, первый кодированный по форме волны сигнал 201 предпочтительно преобразовывать в частотную область, предпочтительно, область QMF, блоком 250 анализа QMF. Блок 250 анализа QMF обычно содержит набор фильтров QMF, выполненный с возможностью осуществления преобразования QMF первого кодированного по форме волны сигнала 201.
На основании первого кодированного по форме волны сигнала 201 и параметров высокочастотной реконструкции, блок 120 высокочастотной реконструкции, на этапе D08, расширяет первый кодированный по форме волны сигнал 201 на частоты выше первой частоты fc перехода. В частности, блок 120 высокочастотной реконструкции генерирует расширенный по частоте сигнал 203, который имеет спектральный состав выше первой частоты fc перехода. Расширенный по частоте сигнал 203, таким образом, является сигналом высокой полосы.
Блок 120 высокочастотной реконструкции может действовать согласно любому известному алгоритму для осуществления высокочастотной реконструкции. В частности, блок 120 высокочастотной реконструкции может быть выполнен с возможностью осуществления SBR что раскрыто в обзорной статье Brinker et al., An overview of the Coding Standard MPEG-4 Audio Amendments 1 and 2: HE-AAC, SSC, and HE-AAC v2, EURASIP Journal on Audio, Speech, and Music Processing, Volume 2009, Article ID 468971. Таким образом, блок высокочастотной реконструкции может содержать несколько подкаскадов, выполненных с возможностью генерации расширенного по частоте сигнала 203 на нескольких этапах. Например, блок 120 высокочастотной реконструкции может содержать блок 221 высокочастотной генерации, блок 222 суммирования параметрических высокочастотных компонентов и блок 223 регулировки огибающей.
Короче говоря, блок 221 высокочастотной генерации, на первом подэтапе D08a, расширяет первый кодированный по форме волны сигнал 201 до диапазона частот выше частоты fc перехода для генерации расширенного по частоте сигнала 203. Генерация осуществляется путем выбора участков подполосы первого кодированного по форме волны сигнала 201 и согласно конкретным правилам, в соответствии с параметрами высокочастотной реконструкции, дублирования или копирования выбранных участков подполосы первого кодированного по форме волны сигнала 201 в выбранные участки подполосы диапазона частот выше первой частоты fc перехода.
Параметры высокочастотной реконструкции могут дополнительно содержать параметры пропавших гармоник для добавления пропавших гармоник в расширенный по частоте сигнал 203. Как рассмотрено выше, пропавшие гармоники следует интерпретировать как любую произвольную сильную тональную часть спектра. Например, параметры пропавших гармоник могут содержать параметры, указывающие частоту и амплитуду пропавших гармоник. На основании параметров пропавших гармоник, блок 222 суммирования параметрических высокочастотных компонентов генерирует, на подэтапе D08b, синусоидальные компоненты и добавляет синусоидальные компоненты в расширенный по частоте сигнал 203.
Параметры высокочастотной реконструкции могут дополнительно содержать параметры спектральной огибающей, описывающие целевые уровни энергии расширенного по частоте сигнала 203. На основании параметров спектральной огибающей, на подэтапе D08c блок 223 регулировки огибающей может регулировать спектральный состав расширенного по частоте сигнала 203, т.е. спектральные коэффициенты расширенного по частоте сигнала 203, благодаря чему, уровни энергии расширенного по частоте сигнала 203 соответствуют целевым уровням энергии, описанным параметрами спектральной огибающей.
Затем расширенный по частоте сигнал 203 от блока 120 высокочастотной реконструкции и второй кодированный по форме волны сигнал от блока 110 приема поступают на блок 130 перемежения. Блок 130 перемежения обычно действует в той же частотной области, предпочтительно, области QMF, что и блок 120 высокочастотной реконструкции. Таким образом, второй кодированный по форме волны сигнал 202 обычно поступает на блок перемежения через блок 250 анализа QMF. Дополнительно, второй кодированный по форме волны сигнал 202 обычно задерживается, блоком 260 задержки, для компенсации времени, необходимого блоку 120 высокочастотной реконструкции для осуществления высокочастотной реконструкции. Таким образом, второй кодированный по форме волны сигнал 202 и расширенный по частоте сигнал 203 будут синхронизироваться, благодаря чему, блок 130 перемежения действует на сигналах, соответствующих одному и тому же временному кадру.
Затем блок 130 перемежения, на этапе D10, перемежает, т.е. объединяет второй кодированный по форме волны сигнал 202 с расширенным по частоте сигналом 203 для генерации перемеженного сигнала 204. Для перемежения второго кодированного по форме волны сигнала 202 с расширенным по частоте сигналом 203 можно использовать разные подходы.
Согласно одному иллюстративному варианту осуществления, блок 130 перемежения перемежает расширенный по частоте сигнал 203 со вторым кодированным по форме волны сигналом 202 путем суммирования расширенного по частоте сигнала 203 и второго кодированного по форме волны сигнала 202. Спектральные составы второго кодированного по форме волны сигнала 202 перекрываются со спектральными составами расширенного по частоте сигнала 203 в поднаборе диапазона частот, соответствующем спектральным составам второго кодированного по форме волны сигнала 202. Благодаря суммированию расширенного по частоте сигнала 203 и второго кодированного по форме волны сигнала 202, перемеженный сигнал 204 таким образом содержит спектральные составы расширенного по частоте сигнала 203, а также спектральные составы второго кодированного по форме волны сигнала 202 для перекрывающихся частот. В результате суммирования, уровни спектральной огибающей перемеженного сигнала 204 возрастают для перекрывающихся частот. Предпочтительно, что будет раскрыто ниже, увеличение уровней спектральной огибающей благодаря суммированию вычисляется на стороне кодера при определении уровней энергетической огибающей, содержащихся в параметрах высокочастотной реконструкции. Например, уровни спектральной огибающей для перекрывающихся частот могут уменьшаться на стороне кодера на величину, соответствующую увеличению уровней спектральной огибающей благодаря перемежению на стороне декодера.
Альтернативно, увеличение уровней спектральной огибающей вследствие суммирования можно вычислять на стороне декодера. Например, можно предусмотреть блок измерения энергии, который измеряет энергию второго кодированного по форме волны сигнала 202, сравнивает измеренную энергию с целевыми уровнями энергии, описанными параметрами спектральной огибающей, и регулирует расширенный по частоте сигнал 203 таким образом, чтобы уровни спектральной огибающей для перемеженного сигнала 204 были равны целевым уровням энергии.
Согласно другому иллюстративному варианту осуществления, блок 130 перемежения перемежает расширенный по частоте сигнал 203 со вторым кодированным по форме волны сигналом 202 путем замены спектральных составов расширенного по частоте сигнала 203 спектральными составами второго кодированного по форме волны сигнала 202 для тех частот, где расширенный по частоте сигнал 203 и второй кодированный по форме волны сигнал 202 перекрывается. В иллюстративных вариантах осуществления, где расширенный по частоте сигнал 203 заменяется вторым кодированным по форме волны сигналом 202, не требуется регулировать уровни спектральной огибающей для компенсации перемежения расширенного по частоте сигнала 203 и второго кодированного по форме волны сигнала 202.
Блок 120 высокочастотной реконструкции, предпочтительно, действует на частоте дискретизации, которая равна частоте дискретизации базового кодера более низкого уровня, который использовался для кодирования первого кодированного по форме волны сигнала 201. Таким образом, для кодирования второго кодированного по форме волны сигнала 202 можно использовать то же преобразование на основе перекрывающихся окон, например, то же MDCT, которое использовалось для кодирования первого кодированного по форме волны сигнала 202.
Блок 130 перемежения дополнительно может быть выполнен с возможностью приема первого кодированного по форме волны сигнала 201 от блока приема, предпочтительно через блок 240 декодирования формы волны, блок 250 анализа QMF и блок 260 задержки, и для объединения перемеженного сигнала 204 с первым кодированным по форме волны сигналом 201 для генерации комбинированного сигнала 205, имеющего спектральный состав для частот ниже, а также выше первой частоты перехода.
Затем выходной сигнал блока 130 перемежения, т.е. перемеженный сигнал 204 или комбинированный сигнал 205, с помощью блока 270 синтеза QMF, можно преобразовывать обратно во временную область.
Предпочтительно, блок 250 анализа QMF и блок 270 синтеза QMF имеют одинаковое количество подполос, в том смысле, что частота дискретизации сигнала, поступающего на блок 250 анализа QMF, равна частоте дискретизации сигнала, выводимого из блока 270 синтеза QMF. В результате, кодер формы волны (использующий MDCT), который использовался для кодирования по форме волны первого и второго кодированных по форме волны сигналов, может действовать на той же частоте дискретизации, что и выходной сигнал. Таким образом, первый и второй кодированные по форме волны сигналы можно эффективно и структурно просто кодировать с использованием одного и того же преобразования MDCT. В этом состоит отличие от уровня техники, где частота дискретизации кодера формы волны обычно ограничена половиной частоты дискретизации выходного сигнала, и последующий модуль высокочастотной реконструкции выполняет повышающую дискретизацию, а также высокочастотную реконструкцию. Это ограничивает способность кодировать по форме волны частоты, охватывающие весь выходной диапазон частот.
Фиг. 4 демонстрирует иллюстративный вариант осуществления декодера 400. Декодер 400 предназначен обеспечивать улучшенную реконструкцию сигнала для высоких частот при наличии переходных процессов во входном аудиосигнале, подлежащем реконструкции. Главное различие между примером, приведенным на фиг. 4, и примером, приведенным на фиг. 2, состоит в форме спектрального состава и длительности второго кодированного по форме волны сигнала.
Фиг. 4 демонстрирует работу декодера 400 на протяжении множества последовательных временных участков временного кадра; в данном случае показано три последовательных временных участка. Временной кадр может соответствовать, например, 2048 временным выборкам.
В частности, на протяжении первого временного участка, блок 110 приема принимает первый кодированный по форме волны сигнал 401a, имеющий спектральный состав до первой частоты fc1 перехода. Второй кодированный по форме волны сигнал на протяжении первого временного участка не принимается.
На протяжении второго временного участка блок 110 приема принимает первый кодированный по форме волны сигнал 401b, имеющий спектральный состав до первой частоты fc1 перехода, и второй кодированный по форме волны сигнал 402b, имеющий спектральный состав, который соответствует поднабору диапазона частот выше первой частоты fc1 перехода. В примере, приведенном на фиг. 4, второй кодированный по форме волны сигнал 402b имеет спектральный состав, соответствующий частотному интервалу, проходящему между первой частотой fc1 перехода и второй частотой fC2 перехода. Таким образом, второй кодированный по форме волны сигнал 402b является сигналом ограниченной полосы, ограниченным полосой частот между первой частотой fc1 перехода и второй частотой fC2 перехода.
На протяжении третьего временно участка блок 110 приема принимает первый кодированный по форме волны сигнал 401c, имеющий спектральный состав до первой частоты fc1 перехода. На протяжении третьего временного участка второй кодированный по форме волны сигнал не принимается.
На протяжении проиллюстрированных первого и третьего временных участков не существует вторых кодированных по форме волны сигналов. На протяжении этих временных участков декодер будет работать, как традиционный декодер, выполненный с возможностью осуществления высокочастотной реконструкции, например традиционный декодер SBR. Блок 120 высокочастотной реконструкции будет генерировать расширенные по частоте сигналы 403a и 403c на основании первых кодированных по форме волны сигналов 401a и 401c, соответственно. Однако поскольку вторые кодированные по форме волны сигналы отсутствуют, перемежение не будет осуществляться блоком 130 перемежения.
На протяжении проиллюстрированного второго временного участка присутствует второй кодированный по форме волны сигнал 402b. На протяжении второго временного участка декодер 400 будет работать таким же образом, как описано в отношении фиг. 2. В частности, блок 120 высокочастотной реконструкции осуществляет высокочастотную реконструкцию на основании первого кодированного по форме волны сигнала и параметров высокочастотной реконструкции для генерации расширенного по частоте сигнала 403b. Затем расширенный по частоте сигнал 403b поступает на блок 130 перемежения, где он перемежается со вторым кодированным по форме волны сигналом 402b с образованием перемеженного сигнала 404b. Как рассмотрено в связи с иллюстративным вариантом осуществления, представленным на фиг. 2, перемежение может осуществляться с использованием подход добавления или замены.
В вышеприведенном примере, на протяжении первого и третьего временных участков второго кодированного по форме волны сигнала не существует. На протяжении этих временных участков вторая частота перехода равна первой частоте перехода, и перемежение не осуществляется. На протяжении второго временного кадра вторая частота перехода больше первой частоты перехода, и перемежение осуществляется. В целом, вторая частота перехода может, таким образом, изменяться как функция времени. В частности, вторая частота перехода может изменяться во временном кадре. Перемежение будет осуществляться, когда вторая частота перехода больше первой частоты перехода и меньше максимальной частоты представленной декодером. Случай, когда вторая частота перехода равна максимальной частоте, соответствует собственно кодированию по форме волны, и высокочастотная реконструкция не требуется.
Следует отметить, что варианты осуществления, описанные в отношении фиг. 2 и 4, можно комбинировать. Фиг. 7 демонстрирует частотно-временную матрицу 700, заданную в отношении частотной области, предпочтительно, области QMF, в которой блок 130 перемежения осуществляет перемежение. Проиллюстрированная частотно-временная матрица 700 соответствует одному кадру из аудиосигнала, подлежащего декодированию. Проиллюстрированная матрица 700 делится на 16 временных слотов и множество частотных подполос, начиная с первой частоты fc1 перехода. Дополнительно показаны первый временной диапазон T1, охватывающий временной диапазон ниже восьмого временного слота, второй временной диапазон T2, охватывающий восьмой временной слот, и временной диапазон T3, охватывающий временные слоты выше восьмого временного слота. Разные спектральные огибающие, как часть данных SBR, могут быть связаны с разными временными диапазонами T1 - T3.
В настоящем примере, два сильных тональных компонента в полосах 710 и 720 частот идентифицированы в аудиосигнале на стороне кодера. Полосы 710 и 720 частот могут иметь такую же ширину полосы, как например, полосы огибающей SBR, т.е. такое же разрешение по частоте, которое используется для представления спектральной огибающей. Эти тональные компоненты в полосах 710 и 720 имеют временной диапазон, соответствующий полному временному кадру, т.е. временной диапазон тональных компонентов включает в себя временные диапазоны T1 - T3. На стороне кодера принимается решение кодировать по форме волны тональные компоненты полос 710 и 720 на протяжении первого временного диапазона T1, проиллюстрированные тональными компонентами 710a и 720, заштрихованными на протяжении первого временного диапазона T1. Дополнительно на стороне кодера принимается решение, что на протяжении второго и третьего временных диапазонов T2 и T3, первый тональный компонент 710 подлежит параметрической реконструкции на декодере путем включения синусоиды, как объяснено в связи с блоком 222 суммирования параметрических высокочастотных компонентов, показанным на фиг. 2. Это проиллюстрировано квадратным рисунком первого тонального компонента 710b на протяжении (второго временного диапазона T2) и третьего временного диапазона T3. На протяжении второго и третьего временных диапазонов T2 и T3, второй тональный компонент 720 все еще кодируется по форме волны. Дополнительно, в этом варианте осуществления, первый и второй тональные компоненты подлежат перемежению с высокочастотным реконструированным аудиосигналом посредством суммирования, и, таким образом, кодер регулирует передаваемую спектральную огибающую, огибающую SBR, соответственно.
Дополнительно, переходный процесс 730 идентифицируется в аудиосигнале на стороне кодера. Переходный процесс 730 имеет продолжительность времени, соответствующую второму временному диапазону T2, и соответствует частотному интервалу между первой частотой fc1 перехода и второй частотой fC2 перехода. На стороне кодера принимается решение кодировать по форме волны частотно-временной участок аудиосигнала, соответствующий положению переходного процесса. В этом варианте осуществления перемежение кодированного по форме волны переходного процесса осуществляется путем замены. Схема сигнализации предназначена для сигнализации этой информации на декодер. Схема сигнализации содержит информацию, указывающую, в каких временных диапазонах и/или в каких диапазонах частот выше первой частоты fc1 перехода доступен второй кодированный по форме волны сигнал. Схема сигнализации также может быть связана с правилами, указывающими, как должно осуществляться перемежение, т.е., осуществлять ли перемежение посредством суммирования или замены. Схема сигнализации также может быть связана с правилами, задающими приоритетный порядок добавления или замены разных сигналов, что будет объяснено ниже.
Схема сигнализации включает в себя первый вектор 740, обозначенный “дополнительная синусоида”, указывающий для каждой подполосы частот, следует ли параметрически добавлять синусоиду, или нет. На фиг. 7, суммирование первого тонального компонента 710b во втором и третьем временных диапазонах T2 и T3 указано “1” для соответствующей подполосы первого вектора 740. Сигнализация, включающая в себя первый вектор 740, известна из уровня техники. В традиционном декодере задаются правила, когда синусоиде разрешено начинаться. Правило состоит в том, что если обнаружена новая синусоида, т.е. сигнализация “дополнительная синусоида” первого вектора 740 изменяется от нуля в одном кадре до единицы в следующем кадре, на протяжении конкретной подполосы, то синусоида начинается в начале кадра, если в кадре не происходит событие перехода, для которого синусоида начинается в момент перехода. В иллюстрируемом примере, в кадре происходит событие 730 перехода, поясняющее, почему параметрическая реконструкция посредством синусоиды для полосы 710 частот начинается только после события 730 перехода.
Схема сигнализации дополнительно включает в себя второй вектор 750, обозначенный “кодирование по форме волны”. Второй вектор 750 указывает для каждой подполосы частот, доступен ли кодированный по форме волны сигнал для перемежения с высокочастотной реконструкцией аудиосигнала. На фиг. 7, доступность кодированного по форме волны сигнала для первого и второго тональных компонентов 710 и 720 указан “1” для соответствующей подполосы второго вектора 750. В настоящем примере, указание доступности кодированных по форме волны данных во втором векторе 750 также является указанием того, что перемежение подлежит осуществлению путем добавления. Однако в других вариантах осуществления указание доступности кодированных по форме волны данных во втором векторе 750 может быть указанием того, что перемежение подлежит осуществлению посредством замены.
Схема сигнализации дополнительно включает в себя третий вектор 760, обозначенный “кодирование по форме волны”. Третий вектор 760 указывает для каждого временного слота, доступен ли кодированный по форме волны сигнал для перемежения с высокочастотной реконструкцией аудиосигнала. На фиг. 7, доступность кодированного по форме волны сигнала для переходного процесса 730 указан “1” для соответствующего временного слота третьего вектора 760. В настоящем примере, указание доступности кодированных по форме волны данных в третьем векторе 760 также является указанием того, что перемежение подлежит осуществлению посредством замены. Однако в других вариантах осуществления указание доступности кодированных по форме волны данных в третьем векторе 760 может быть указанием того, что перемежение подлежит осуществлению путем добавления.
Существует много альтернатив реализации первого, второго и третьего вектора 740, 750, 760. В некоторых вариантах осуществления, векторы 740, 750, 760 являются двоичными векторами, которые используют логический нуль или логическую единицу для обеспечения их указаний. В других вариантах осуществления, векторы 740, 750, 760 могут принимать разные формы. Например, первое значение, например “0” в векторе, может указывать, что кодированные по форме волны данные недоступны для конкретной полосы частот или временного слота. Второе значение, например “1” в векторе, может указывать, что перемежение подлежит осуществлению путем добавления для конкретной полосы частот или временного слота. Третье значение, например “2” в векторе, может указывать, что перемежение подлежит осуществлению посредством замены для конкретной полосы частот или временного слота.
Вышеупомянутая иллюстративная схема сигнализации также может быть связана с приоритетным порядком, который может применяться в случае конфликта. В порядке примера, третий вектор 760, представляющий перемежение переходного процесса посредством замены, может иметь приоритет над первым и вторым векторами 740 и 750. Дополнительно, первый вектор 740 может иметь приоритет над вторым вектором 750. Следует понимать, что можно задать любой приоритетный порядок между векторами 740, 750, 760.
Фиг. 8a более подробно демонстрирует блок 130 перемежения, показанный на фиг. 1. Блок 130 перемежения может содержать компонент 1301 декодирования сигнализации, компонент 1302 логики решений и компонент 1303 перемежения. Как рассмотрено выше, блок 130 перемежения принимает второй кодированный по форме волны сигнал 802 и расширенный по частоте сигнал 803. Блок 130 перемежения также может принимать сигнал 805 управления. Компонент 1301 декодирования сигнализации декодирует сигнал 805 управления на три части, соответствующие первому вектору 740, второму вектору 750 и третьему вектору 760 схемы сигнализации, описанной в отношении фиг. 7. Они отправляются на компонент 1302 логики решений, который на основании логики создает частотно-временную матрицу 870 для кадра QMF, указывающую, какой из второго кодированного по форме волны сигнала 802 и расширенного по частоте сигнала 803 использовать для какого частотно-временного мозаичного элемента. Частотно-временная матрица 870 отправляется на компонент 1303 перемежения и используется при перемежении второго кодированного по форме волны сигнала 802 с расширенным по частоте сигналом 803.
Компонент 1302 логики решений более подробно показан на фиг. 8b. Компоненты 1302 логики решений может содержать компонент 13021 генерации частотно-временной матрицы и компонент 13022 назначения приоритетов. Компонент 13021 генерации частотно-временной матрицы генерирует частотно-временную матрицу 870, имеющую частотно-временные мозаичные элементы, соответствующие текущему кадру QMF. Компонент 13021 генерации частотно-временной матрицы включает информацию из первого вектора 740, второго вектора 750 и третьего вектора 760 в частотно-временную матрицу. Например, как показано на фиг. 7, при наличии “1” (или, в более общем случае, любого числа, отличного от нуля) во втором векторе 750 для определенной частоты, частотно-временные мозаичные элементы, соответствующие определенной частоте, заданы равными “1” (или, в более общем случае, числу, присутствующему в векторе 750) в частотно-временной матрице 870, указывающей, что перемежение со вторым кодированным по форме волны сигналом 802 подлежит осуществлению для этих частотно-временных мозаичных элементов. Аналогично, при наличии ”1” (или, в более общем случае, любому числу, отличному от нуля) в третьем векторе 760 для определенного временного слота, частотно-временные мозаичные элементы, соответствующие определенному временному слоту, заданы равными ”1” (или, в более общем случае, любому числу, отличному от нуля) в частотно-временной матрице 870, указывающей, что перемежение со вторым кодированным по форме волны сигналом 802 подлежит осуществлению для этих частотно-временных мозаичных элементов. Аналогично, при наличии ”1” в первом векторе 740 для определенной частоты, частотно-временные мозаичные элементы, соответствующие определенной частоте, заданы равными “1” в частотно-временной матрице 870, указывающей, что выходной сигнал 804 должен базироваться на расширенном по частоте сигнале 803, в котором определенная частота параметрически реконструирована, например путем включения синусоидального сигнала.
Для некоторых частотно-временных мозаичных элементов происходит конфликт между информацией из первого вектора 740, второго вектора 750 и третьего вектора 760, в том смысле, что более, чем один из векторов 740-760 указывает число, отличное от нуля, например “1”, для одного и того же частотно-временного мозаичного элемента частотно-временной матрицы 870. В такой ситуации, компоненту 13022 назначения приоритетов необходимо принимать решение, как назначать приоритеты информации из векторов для устранения конфликтов в частотно-временной матрице 870. Точнее говоря, компонент 13022 назначения приоритетов принимает решение, должен ли выходной сигнал 804 базироваться на расширенном по частоте сигнале 803 (таким образом, отдавая приоритет первому вектору 740), посредством перемежения второго кодированного по форме волны сигнала 802 в частотном направлении (таким образом, отдавая приоритет второму вектору 750), или посредством перемежения второго кодированного по форме волны сигнала 802 во временном направлении (таким образом, отдавая приоритет третьему вектору 750).
С этой целью, компонент 13022 назначения приоритетов содержит заранее заданные правила, указывающие приоритетный порядок векторов 740-760. Компонент 13022 назначения приоритетов также может содержать заранее заданные правила, указывающие, как должно осуществляться перемежение, т.е. осуществлять ли перемежение путем добавления или замены.
Предпочтительно, эти правила таковы:
перемежению во временном направлении, т.е. перемежению, заданному третьим вектором 760, отдается наивысший приоритет. Перемежение во временном направлении, предпочтительно, осуществляется путем замены расширенного по частоте сигнала 803 в тех частотно-временных мозаичных элементов, которые заданы третьим вектором 760. Разрешение по времени третьего вектора 760 соответствует временном слоту кадра QMF. Если кадр QMF соответствует 2048 выборкам временной области, временной слот обычно может соответствовать 128 выборкам временной области.
параметрической реконструкции частот, т.е. использованию расширенного по частоте сигнала 803, заданному первым вектором 740, отдается второй после наивысшего приоритета. Разрешение по частоте первого вектора 740 является разрешением по частоте кадра QMF, например, полосой огибающей SBR. Традиционные правила, указывающие сигнализацию и интерпретацию первого вектора 740 по-прежнему пригодны.
перемежению в частотном направлении, т.е. перемежению, заданному вторым вектором 750, отдается самый низкий приоритетный порядок. Перемежение в частотном направлении осуществляется путем добавления расширенного по частоте сигнала 803 в те частотно-временные мозаичные элементы, которые заданы вторым вектором 750. Разрешение по частоте второго вектора 750 соответствует разрешению по частоте кадра QMF, например, полоса огибающей SBR.
III. Иллюстративные варианты осуществления - кодер
Фиг. 5 демонстрирует иллюстративный вариант осуществления кодера 500, который пригоден для использования в системе обработки аудиосигнала. Кодер 500 содержит блок 510 приема, блок 520 кодирования по форме волны, блок 530 высокочастотного кодирования, блок 540 обнаружения кодирования с перемежением и блок 550 передачи. Блок 530 высокочастотного кодирования может содержать блок 530a вычисления параметров высокочастотной реконструкции и блок 530b регулировки параметров высокочастотной реконструкции.
Работа кодера 500 будет описана в дальнейшем со ссылкой на фиг. 5 и в блок-схеме операций, изображенной на фиг. 6. На этапе E02, блок 510 приема принимает аудиосигнал, подлежащий кодированию.
Принятый аудиосигнал поступает на блок 530 высокочастотного кодирования. На основании принятого аудиосигнала, блок 530 высокочастотного кодирования и, в частности, блок 530a вычисления параметров высокочастотной реконструкции, вычисляет на этапе E04 параметры высокочастотной реконструкции, допускающие высокочастотную реконструкцию принятого аудиосигнала выше первой частоты fc перехода. Блок 530a вычисления параметров высокочастотной реконструкции может использовать любой известный метод для вычисления параметров высокочастотной реконструкции, например кодирование SBR. Блок 530 высокочастотного кодирования обычно действует в области QMF. Таким образом, до вычисления параметров высокочастотной реконструкции, блок 530 высокочастотного кодирования может осуществлять анализ QMF принятого аудиосигнала. В результате, параметры высокочастотной реконструкции задаются в отношении области QMF.
Вычисленные параметры высокочастотной реконструкции могут содержать несколько параметров, относящихся к высокочастотной реконструкции. Например, параметры высокочастотной реконструкции могут содержать параметры, указывающие, как дублировать или копировать аудиосигнал из участков подполосы диапазона частот ниже первой частоты fc перехода в участки подполосы диапазона частот выше первой частоты fc перехода. Такие параметры иногда именуются параметрами, описывающими заплаточную структуру.
Параметры высокочастотной реконструкции могут дополнительно содержать параметры спектральной огибающей, описывающие целевые уровни энергии участков подполосы диапазона частот выше первой частоты перехода.
Параметры высокочастотной реконструкции могут дополнительно содержать параметры пропавших гармоник, указывающие гармоники, или сильные тональные компоненты, которые будут пропадать, если аудиосигнал реконструируется в диапазоне частот выше первой частоты перехода с использованием параметров, описывающих заплаточную структуру.
Затем блок 540 обнаружения кодирования с перемежением, на этапе E06, идентифицирует поднабор диапазона частот выше первой частоты fc перехода, для которого спектральный состав принятого аудиосигнала подлежит кодированию по форме волны. Другими словами, блок 540 обнаружения кодирования с перемежением служит для идентификации частот выше первой частоты перехода, для которого высокочастотная реконструкция не дает желаемого результата.
Блок 540 обнаружения кодирования с перемежением может применять разные подходы для идентификации нужного поднабора диапазона частот выше первой частоты fc перехода. Например, блок 540 обнаружения кодирования с перемежением может идентифицировать сильные тональные компоненты, которые не удается хорошо реконструировать посредством высокочастотной реконструкции. Идентификация сильных тональных компонентов может осуществляться на основании принятого аудиосигнала, например, путем определения энергии аудиосигнала как функции частоты и идентификации частот, имеющих высокую энергию, как содержащих сильные тональные компоненты. Дополнительно, идентификация может базироваться на знании том, как принятый аудиосигнал будет реконструироваться на декодере. В частности, такая идентификация может базироваться на квотах тональности, которые выражаются как отношение меры тональности принятого аудиосигнала и меры тональности реконструкции принятого аудиосигнала для полос частот выше первой частоты перехода. Высокая квота тональности указывает, что аудиосигнал не будет успешно реконструироваться для частоты, соответствующей квоте тональности.
Блок 540 обнаружения кодирования с перемежением также может обнаруживать в принятом аудиосигнале переходные процессы, которые не удается хорошо реконструировать посредством высокочастотной реконструкции. Такая идентификация может быть результатом частотно-временного анализа принятого аудиосигнала. Например, частотно-временной интервал, где происходит переходный процесс, может быть выявлен из спектрограммы принятого аудиосигнала. Такой частотно-временной интервал обычно имеет временной диапазон, который короче временного кадра принятого аудиосигнала. Соответствующий диапазон частот обычно соответствует частотному интервалу, который расширяется до второй частоты перехода. Поэтому поднабор диапазона частот выше первой частоты перехода может идентифицироваться блоком 540 обнаружения кодирования с перемежением как интервал, проходящий от первой частоты перехода до второй частоты перехода.
Блок 540 обнаружения кодирования с перемежением может дополнительно принимать параметры высокочастотной реконструкции от блока 530a вычисления параметров высокочастотной реконструкции. На основании параметров пропавших гармоник из параметров высокочастотной реконструкции, блок 540 обнаружения кодирования с перемежением может идентифицировать частоты пропавших гармоник и принимать решение включать, по меньшей мере, некоторые из частот пропавших гармоник в идентифицированный поднабор диапазона частот выше первой частоты fc перехода. Такой подход может иметь преимущество, если в аудиосигнале существуют сильный тональный компонент, который не удается точно смоделировать в пределах параметрической модели.
Принятый аудиосигнал также поступает на блок 520 кодирования по форме волны. Блок 520 кодирования по форме волны, на этапе E08, осуществляет кодирование по форме волны принятого аудиосигнала. В частности, блок 520 кодирования по форме волны генерирует первый кодированный по форме волны сигнал путем кодирования по форме волны аудиосигнала для спектральных полос до первой частоты fc перехода. Дополнительно, блок 520 кодирования по форме волны принимает идентифицированный поднабор от блока 540 обнаружения кодирования с перемежением. Затем блок 520 кодирования по форме волны генерирует второй кодированный по форме волны сигнал путем кодирования по форме волны принятого аудиосигнала для спектральных полос, соответствующих идентифицированному поднабору диапазона частот выше первой частоты перехода. По этой причине, второй кодированный по форме волны сигнал будут иметь спектральный состав, соответствующий идентифицированному поднабору диапазона частот выше первой частоты fc перехода.
Согласно иллюстративным вариантам осуществления, блок 520 кодирования по форме волны может генерировать первый и второй кодированные по форме волны сигналы, сначала кодируя по форме волны принятый аудиосигнал для всех спектральных полос, и затем удаляя спектральный состав кодированного по форме волны сигнала для частот, соответствующих идентифицированному поднабору частот выше первой частоты fc перехода.
Блок кодирования по форме волны может, например, осуществлять кодирование по форме волны с использованием набора фильтров преобразования на основе перекрывающихся окон, например набора фильтров MDCT. Такие наборы фильтров преобразования на основе перекрывающихся окон используют окна, имеющие определенную временную протяженность, благодаря чему, значения сигнала в предыдущем и следующем временным кадрах влияют на значения преобразованного сигнала в одном временном кадре. Для ослабления этого влияния может быть преимущественно осуществлять определенную величину временного перекодирования, в том смысле, что блок 520 кодирования по форме волны не только подвергает кодированию по форме волны текущий временной кадр принятого аудиосигнала, но и предыдущий и следующий временные кадры принятого аудиосигнала. Аналогично, блок 530 высокочастотного кодирования также может кодировать не только текущий временной кадр принятого аудиосигнала, но и предыдущий и следующий временные кадры принятого аудиосигнала. Таким образом, в области QMF можно добиться улучшенного монтажного перехода между вторым кодированным по форме волны сигналом и высокочастотной реконструкцией аудиосигнала. Дополнительно, это избавляет от необходимости в регулировке границ данных спектральной огибающей.
Следует отметить, что первый и второй кодированные по форме волны сигналы могут быть отдельными сигналами. Однако предпочтительно, чтобы они образовывали участки первого и второго кодированных по форме волны сигналов из общего сигнала. Если да, они могут генерироваться путем осуществления единичной операцией кодирования по форме волны на принятом аудиосигнале, например, путем применения единичного преобразования MDCT к принятому аудиосигналу.
Блок 530 высокочастотного кодирования и, в частности, блок 530b регулировки параметров высокочастотной реконструкции, также может принимать идентифицированный поднабор диапазона частот выше первой частоты fc перехода. На основании принятых данных блок 530b регулировки параметров высокочастотной реконструкции, на этапе E10, может регулировать параметры высокочастотной реконструкции. В частности, блок 530b регулировки параметров высокочастотной реконструкции может регулировать параметры высокочастотной реконструкции, соответствующие спектральным полосам, содержащимся в идентифицированном поднаборе.
Например, блок 530b регулировки параметров высокочастотной реконструкции может регулировать параметры спектральной огибающей, описывающие целевые уровни энергии участков подполосы диапазона частот выше первой частоты перехода. Это особенно значимо, если второй кодированный по форме волны сигнал нужно суммировать с высокочастотной реконструкцией аудиосигнала на декодере, поскольку затем энергия второго кодированного по форме волны сигнала будет суммироваться с энергией высокочастотной реконструкцией. Для компенсации такого суммирования, блок 530b регулировки параметров высокочастотной реконструкции может регулировать параметры энергетической огибающей путем вычитания измеренной энергии второго кодированного по форме волны сигнала из целевых уровней энергии для спектральных полос, соответствующих идентифицированному поднабору диапазона частот выше первой частоты fc перехода. Таким образом, полная энергия сигнала будет сохраняться при суммировании второго кодированного по форме волны сигнала и высокочастотной реконструкции на декодере. Энергия второго кодированного по форме волны сигнала может измеряться, например, блоком 540 обнаружения кодирования с перемежением.
Блок 530b регулировки параметров высокочастотной реконструкции также может регулировать параметры пропавших гармоник. В частности, если подполоса, содержащая пропавшие гармоники, указанные параметрами пропавших гармоник, составляет часть идентифицированного поднабора диапазона частот выше первой частоты fc перехода, то подполоса будет кодироваться по форме волны блоком 520 кодирования по форме волны. Таким образом, блок 530b регулировки параметров высокочастотной реконструкции может удалять такие пропавшие гармоники из параметров пропавших гармоник, поскольку такие пропавшие гармоники не требуется параметрически реконструировать на стороне декодера.
Затем блок 550 передачи принимает первый и второй кодированные по форме волны сигналы от блока 520 кодирования по форме волны и параметры высокочастотной реконструкции от блока 530 высокочастотного кодирования. Блок 550 передачи форматирует принятые данные в битовый поток для передачи на декодер.
Блок 540 обнаружения кодирования с перемежением может дополнительно сигнализировать информацию на блок 550 передачи для включения в битовый поток. В частности, блок 540 обнаружения кодирования с перемежением может сигнализировать, как нужно перемежать второй кодированный по форме волны сигнал с высокочастотной реконструкцией аудиосигнала, например, осуществлять ли перемежение путем добавления сигналов или путем замены одного из сигналов другим, и для какого диапазона частот и какого интервала времени следует перемежать кодированные по форме волны сигналы. Например, сигнализация может осуществляться с использованием схемы сигнализации, рассмотренной со ссылкой на фиг. 7.
Эквиваленты, расширения, альтернативы и т.п.
Дополнительные варианты осуществления настоящего изобретения станут очевидны специалисту в данной области техники после изучения вышеприведенного описания. Хотя в настоящем описании и чертежах раскрыты варианты осуществления и примеры, изобретение не ограничивается этими конкретными примерами. Многочисленные модификации и вариации можно предложить, не выходя за рамки объема настоящего изобретения, заданного прилагаемой формуле изобретения. Никакие ссылочные позиции, приведенные в формуле изобретения, не следует понимать в порядке ограничения ее объема.
Дополнительно, специалист в данной области техники можно понять и реализовать вариации раскрытых вариантов осуществления, применяя на практике изобретение, изучая чертежи, раскрытие и нижеследующая формула изобретения. В формуле изобретения, слово "содержащий" не исключает наличия других элементов или этапов, и употребление их названий в единственном числе не исключает наличия их множества. Лишь тот факт, что определенные меры упомянуты во взаимно различных зависимых пунктах, не говорит о том, что нельзя выгодно использовать комбинацию этих мер.
Раскрытые выше системы и способы можно реализовать как программное обеспечение, программно-аппаратное обеспечение, аппаратное обеспечение или их комбинацию. В аппаратной реализации, распределение задач между функциональными блоками, упомянутыми в вышеприведенном описании, не обязательно соответствуют разделению на физические блоки; напротив, один физический компонент может иметь несколько функциональных возможностей, и одна задача может совместно осуществляться несколькими физическими компонентами. Определенные компоненты или все компоненты можно реализовать как программное обеспечение, выполняемое цифровым сигнальным процессором или микропроцессором, или реализовать как аппаратное обеспечение или как специализированная интегральная схема. Такое программное обеспечение могут распространяться на компьютерно-считываемых носителях, которые могут содержать компьютерные носители данных (или нетранзиторные носители) и среды передачи данных (или транзиторные носители). Как хорошо известно специалисту в данной области техники, термин "компьютерные носители данных" включает в себя энергозависимые и энергонезависимые, сменные и стационарные носители реализованный посредством любого способа или технологии для хранения информации, например, компьютерно-считываемых инструкций, структур данных, программных модулей или других данных. Компьютерные носители данных включают в себя, но без ограничения, RAM, ROM, EEPROM, флэш-память или другую технологию памяти, CD-ROM, цифровые универсальные диски (DVD) или другое оптическое дисковое запоминающее устройство, магнитные кассеты, магнитную ленту, магнитное дисковое запоминающее устройство или другие магнитные запоминающие устройства, или любой другой носитель, который можно использовать для хранения нужной информации и к которым может обращаться компьютер. Дополнительно, специалисту в данной области техники хорошо известно, что среды передачи данных обычно воплощают компьютерно-считываемые инструкции, структуры данных, программные модули или другие данные в модулированном сигнале данных, например, несущей волне или другом механизме переноса, и включают в себя любые среды доставки информации.

Claims (32)

1. Способ декодирования аудиосигнала в системе аудиообработки, содержащий этапы, на которых:
принимают первый кодированный по форме волны сигнал, имеющий спектральный состав вплоть до первой частоты перехода,
принимают второй кодированный по форме волны сигнал, имеющий спектральный состав, соответствующий поднабору диапазона частот выше первой частоты перехода,
принимают сигнал управления, содержащий данные, относящиеся к одному или более временным диапазонам или одному, или более диапазонам частот выше упомянутой первой частоты перехода, для которых доступен второй кодированный по форме волны сигнал,
принимают параметры высокочастотной реконструкции,
осуществляют высокочастотную реконструкцию с использованием по меньшей мере части первого кодированного по форме волны сигнала и параметров высокочастотной реконструкции для того, чтобы генерировать расширенный по частоте сигнал, имеющий спектральный состав выше первой частоты перехода, и
перемежают расширенный по частоте сигнал со вторым кодированным по форме волны сигналом на основе упомянутого сигнала управления.
2. Способ декодирования по пункту 1, в котором спектральный состав второго кодированного по форме волны сигнала имеет изменяющуюся со временем верхнюю границу.
3. Способ декодирования по пункту 1, дополнительно содержащий этап, на котором объединяют расширенный по частоте сигнал, второй кодированный по форме волны сигнал и первый кодированный по форме волны сигнал для формирования аудиосигнала полной полосы частот.
4. Способ декодирования по пункту 1, в котором этап осуществления высокочастотной реконструкции содержит копирование полосы более низких частот в полосу более высоких частот.
5. Способ декодирования по пункту 1, в котором этап осуществления высокочастотной реконструкции осуществляют в частотной области.
6. Способ декодирования по пункту 1, в котором этап перемежения расширенного по частоте сигнала со вторым кодированным по форме волны сигналом осуществляют в частотной области.
7. Способ декодирования по пункту 5, в котором частотная область является областью квадратурных зеркальных фильтров, QMF.
 8. Способ декодирования по пункту 1, в котором принимаемые первый и второй кодированные по форме волны сигналы кодируют с использованием одного и того же преобразования MDCT.
9. Способ декодирования по пункту 1, дополнительно содержащий этап, на котором регулируют спектральный состав расширенного по частоте сигнала в соответствии с параметрами высокочастотной реконструкции для того, чтобы регулировать спектральную огибающую расширенного по частоте сигнала.
10. Способ декодирования по пункту 1, в котором перемежение содержит этап, на котором суммируют второй кодированный по форме волны сигнал с расширенным по частоте сигналом.
11. Способ декодирования по пункту 1, в котором перемежение содержит этап, на котором заменяют спектральный состав расширенного по частоте сигнала спектральным составом второго кодированного по форме волны сигнала в поднаборе диапазона частот выше первой частоты перехода, который соответствует спектральному составу второго кодированного по форме волны сигнала.
12. Способ декодирования по п. 1, в котором первый кодированный по форме волны сигнал и второй кодированный по форме волны сигнал образуют первый и второй сигнальные участки общего сигнала.
13. Способ декодирования по п. 1, в котором сигнал управления содержит, по меньшей мере, один из второго вектора, указывающего один или более диапазонов частот выше первой частоты перехода, для которых доступен второй кодированный по форме волны сигнал для перемежения с расширенным по частоте сигналом, и третьего вектора, указывающего один или более временных диапазонов, для которых доступен второй кодированный по форме волны сигнал для перемежения с расширенным по частоте сигналом.
 14. Способ декодирования по п. 1, в котором сигнал управления содержит первый вектор, указывающий один или более диапазонов частот выше первой частоты перехода, подлежащих параметрической реконструкции на основе параметров высокочастотной реконструкции.
15. Долговременный считываемый компьютером носитель с инструкциями, которые при исполнении процессором выполняют способ по п. 1.
16. Аудиодекодер для декодирования, закодированного аудиосигнала, причем аудиодекодер содержит:
интерфейс ввода, выполненный с возможностью приема первого кодированного по форме волны сигнала со спектральным составом вплоть до первой частоты перехода, второго кодированного по форме волны сигнала со спектральным составом, соответствующим поднабору диапазона частот выше первой частоты перехода, сигнала управления, содержащего данные, относящиеся к одному или более временным диапазонам или одному или более диапазонам частот выше упомянутой первой частоты перехода, для которых доступен второй кодированный по форме волны сигнал, и параметров высокочастотной реконструкции;
блок высокочастотной реконструкции, выполненный с возможностью приема первого кодированного по форме волны сигнала и параметров высокочастотной реконструкции с входного интерфейса и осуществления высокочастотной реконструкции с использованием первого кодированного по форме волны сигнала и параметров высокочастотной реконструкции для того, чтобы генерировать расширенный по частоте сигнал, имеющий спектральный состав выше первой частоты перехода;
блок перемежения, выполненный с возможностью приема расширенного по частоте сигнала с блока высокочастотной реконструкции и второго кодированного по форме волны сигнала с входного интерфейса и перемежения расширенного по частоте сигнала со вторым кодированным по форме волны сигналом на основе упомянутого сигнала управления.
  17. Способ кодирования в системе аудиообработки, содержащий этапы, на которых:
принимают аудиосигнал, который должен быть закодирован;
вычисляют, на основании принятого аудиосигнала, параметры высокочастотной реконструкции, допускающие высокочастотную реконструкцию принятого аудиосигнала выше первой частоты перехода,
идентифицируют, на основании принятого аудиосигнала, поднабор диапазона частот выше первой частоты перехода, для которого спектральный состав принятого аудиосигнала подлежит кодированию по форме волны, и затем, на декодере, перемежению с высокочастотной реконструкцией аудиосигнала;
генерируют первый кодированный по форме волны сигнал путем кодирования по форме волны принятого аудиосигнала для спектральных полос вплоть до первой частоты перехода; второй кодированный по форме волны сигнал путем кодирования по форме волны принятого аудиосигнала для спектральных полос, соответствующих идентифицированному поднабору диапазона частот выше первой частоты перехода; и сигнал управления, содержащий данные, относящиеся к одному или более временным диапазонам или одному или более диапазонам частот выше упомянутой первой частоты перехода, для которых доступен второй кодированный по форме волны сигнал.
18. Способ кодирования по п. 17, в котором спектральный состав второго кодированного по форме волны сигнала имеет изменяющуюся со временем верхнюю границу.
19. Способ кодирования по п. 17, в котором параметры высокочастотной реконструкции вычисляют с использованием кодирования с копированием спектральной полосы, SBR.
20. Способ кодирования по п. 17, в котором поднабор диапазона частот выше первой частоты перехода включает в себя изолированный частотный интервал, не смежный со спектральным составом первого кодированного по форме волны сигнала.
RU2019120194A 2013-04-05 2019-06-28 Аудиокодер и декодер для кодирования по форме волны с перемежением RU2713701C1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361808687P 2013-04-05 2013-04-05
US61/808,687 2013-04-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2018127009A Division RU2694024C1 (ru) 2013-04-05 2018-07-24 Аудиокодер и декодер для кодирования по форме волны с перемежением

Related Child Applications (1)

Application Number Title Priority Date Filing Date
RU2020101868A Division RU2809586C2 (ru) 2013-04-05 2020-01-17 Аудиокодер и декодер для кодирования по форме волны с перемежением

Publications (1)

Publication Number Publication Date
RU2713701C1 true RU2713701C1 (ru) 2020-02-06

Family

ID=50442508

Family Applications (4)

Application Number Title Priority Date Filing Date
RU2015147173A RU2622872C2 (ru) 2013-04-05 2014-04-04 Аудиокодер и декодер для кодирования по форме волны с перемежением
RU2017118558A RU2665228C1 (ru) 2013-04-05 2014-04-04 Аудиокодер и декодер для кодирования по форме волны с перемежением
RU2018127009A RU2694024C1 (ru) 2013-04-05 2018-07-24 Аудиокодер и декодер для кодирования по форме волны с перемежением
RU2019120194A RU2713701C1 (ru) 2013-04-05 2019-06-28 Аудиокодер и декодер для кодирования по форме волны с перемежением

Family Applications Before (3)

Application Number Title Priority Date Filing Date
RU2015147173A RU2622872C2 (ru) 2013-04-05 2014-04-04 Аудиокодер и декодер для кодирования по форме волны с перемежением
RU2017118558A RU2665228C1 (ru) 2013-04-05 2014-04-04 Аудиокодер и декодер для кодирования по форме волны с перемежением
RU2018127009A RU2694024C1 (ru) 2013-04-05 2018-07-24 Аудиокодер и декодер для кодирования по форме волны с перемежением

Country Status (10)

Country Link
US (5) US9514761B2 (ru)
EP (4) EP3742440B1 (ru)
JP (6) JP6026704B2 (ru)
KR (7) KR102170665B1 (ru)
CN (7) CN117253497A (ru)
BR (4) BR122020020705B1 (ru)
ES (1) ES2688134T3 (ru)
HK (1) HK1217054A1 (ru)
RU (4) RU2622872C2 (ru)
WO (1) WO2014161995A1 (ru)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3742440B1 (en) * 2013-04-05 2024-07-31 Dolby International AB Audio decoder for interleaved waveform coding
CN105493182B (zh) * 2013-08-28 2020-01-21 杜比实验室特许公司 混合波形编码和参数编码语音增强
RU2665281C2 (ru) * 2013-09-12 2018-08-28 Долби Интернэшнл Аб Временное согласование данных обработки на основе квадратурного зеркального фильтра
EP3288031A1 (en) 2016-08-23 2018-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding an audio signal using a compensation value
EP3337065B1 (en) * 2016-12-16 2020-11-25 Nxp B.V. Audio processing circuit, audio unit and method for audio signal blending
US20190051286A1 (en) * 2017-08-14 2019-02-14 Microsoft Technology Licensing, Llc Normalization of high band signals in network telephony communications
JP7270836B2 (ja) 2019-08-08 2023-05-10 ブームクラウド ３６０ インコーポレイテッド 音響心理学的周波数範囲拡張のための非線形適応フィルタバンク
CN113192521B (zh) * 2020-01-13 2024-07-05 华为技术有限公司 一种音频编解码方法和音频编解码设备
CN113808596A (zh) * 2020-05-30 2021-12-17 华为技术有限公司 一种音频编码方法和音频编码装置
JP7253208B2 (ja) 2021-07-09 2023-04-06 株式会社ディスコ ダイヤモンド成膜方法及びダイヤモンド成膜装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5970443A (en) * 1996-09-24 1999-10-19 Yamaha Corporation Audio encoding and decoding system realizing vector quantization using code book in communication system
EP1158494B1 (en) * 2000-05-26 2002-05-29 Lucent Technologies Inc. Method and apparatus for performing audio coding and decoding by interleaving smoothed critical band evelopes at higher frequencies
WO2003046891A1 (en) * 2001-11-29 2003-06-05 Coding Technologies Ab Methods for improving high frequency reconstruction
US7684981B2 (en) * 2005-07-15 2010-03-23 Microsoft Corporation Prediction of spectral coefficients in waveform coding and decoding
US7693709B2 (en) * 2005-07-15 2010-04-06 Microsoft Corporation Reordering coefficients for waveform coding or decoding
US20100262420A1 (en) * 2007-06-11 2010-10-14 Frauhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Audio encoder for encoding an audio signal having an impulse-like portion and stationary portion, encoding methods, decoder, decoding method, and encoding audio signal
US8046214B2 (en) * 2007-06-22 2011-10-25 Microsoft Corporation Low complexity decoder for complex transform coding of multi-channel sound
US8190425B2 (en) * 2006-01-20 2012-05-29 Microsoft Corporation Complex cross-correlation parameters for multi-channel audio
RU2470384C1 (ru) * 2007-06-13 2012-12-20 Квэлкомм Инкорпорейтед Кодирование сигнала с использованием кодирования с регуляризацией основных тонов и без регуляризации основных тонов

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2598159B2 (ja) * 1990-08-28 1997-04-09 三菱電機株式会社 音声信号処理装置
DE69322805T2 (de) 1992-04-03 1999-08-26 Yamaha Corp. Verfahren zur Steuerung von Tonquellenposition
US5598478A (en) 1992-12-18 1997-01-28 Victor Company Of Japan, Ltd. Sound image localization control apparatus
EP0695109B1 (en) 1994-02-14 2011-07-27 Sony Corporation Device for reproducing video signal and audio signal
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
US6442275B1 (en) * 1998-09-17 2002-08-27 Lucent Technologies Inc. Echo canceler including subband echo suppressor
CA2311817A1 (en) 1998-09-24 2000-03-30 Fourie, Inc. Apparatus and method for presenting sound and image
SE9903553D0 (sv) * 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
SE0004187D0 (sv) * 2000-11-15 2000-11-15 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
CN1177433C (zh) 2002-04-19 2004-11-24 华为技术有限公司 一种移动网络中广播多播业务源的管理方法
KR20050057288A (ko) 2002-09-09 2005-06-16 코닌클리케 필립스 일렉트로닉스 엔.브이. 스마트 스피커들
US7191136B2 (en) * 2002-10-01 2007-03-13 Ibiquity Digital Corporation Efficient coding of high frequency signal information in a signal using a linear/non-linear prediction model based on a low pass baseband
US7318035B2 (en) * 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
DE10338694B4 (de) 2003-08-22 2005-08-25 Siemens Ag Wiedergabeeinrichtung, umfassend wenigstens einen Bildschirm zur Darstellung von Informationen
RU2374703C2 (ru) 2003-10-30 2009-11-27 Конинклейке Филипс Электроникс Н.В. Кодирование или декодирование аудиосигнала
DE102004007200B3 (de) 2004-02-13 2005-08-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiocodierung
EP1719117A1 (en) 2004-02-16 2006-11-08 Koninklijke Philips Electronics N.V. A transcoder and method of transcoding therefore
KR20070009644A (ko) * 2004-04-27 2007-01-18 마츠시타 덴끼 산교 가부시키가이샤 스케일러블 부호화 장치, 스케일러블 복호화 장치 및 그방법
KR100608062B1 (ko) * 2004-08-04 2006-08-02 삼성전자주식회사 오디오 데이터의 고주파수 복원 방법 및 그 장치
CA2581810C (en) * 2004-10-26 2013-12-17 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
SE0402652D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
JP4939424B2 (ja) 2004-11-02 2012-05-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 複素値のフィルタ・バンクを用いたオーディオ信号の符号化及び復号化
DE102005008343A1 (de) 2005-02-23 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System
JP5129117B2 (ja) * 2005-04-01 2013-01-23 クゥアルコム・インコーポレイテッド 音声信号の高帯域部分を符号化及び復号する方法及び装置
US8199828B2 (en) 2005-10-13 2012-06-12 Lg Electronics Inc. Method of processing a signal and apparatus for processing a signal
CN101086845B (zh) * 2006-06-08 2011-06-01 北京天籁传音数字技术有限公司 声音编码装置及方法以及声音解码装置及方法
WO2008004812A1 (en) 2006-07-04 2008-01-10 Electronics And Telecommunications Research Institute Apparatus and method for restoring multi-channel audio signal using he-aac decoder and mpeg surround decoder
JP2008096567A (ja) 2006-10-10 2008-04-24 Matsushita Electric Ind Co Ltd オーディオ符号化装置およびオーディオ符号化方法ならびにプログラム
JP4973919B2 (ja) 2006-10-23 2012-07-11 ソニー株式会社 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム
EP3288027B1 (en) 2006-10-25 2021-04-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating complex-valued audio subband values
JP5141180B2 (ja) * 2006-11-09 2013-02-13 ソニー株式会社 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体
US8363842B2 (en) 2006-11-30 2013-01-29 Sony Corporation Playback method and apparatus, program, and recording medium
JPWO2008084688A1 (ja) * 2006-12-27 2010-04-30 パナソニック株式会社 符号化装置、復号装置及びこれらの方法
KR101379263B1 (ko) * 2007-01-12 2014-03-28 삼성전자주식회사 대역폭 확장 복호화 방법 및 장치
JP2008268384A (ja) * 2007-04-17 2008-11-06 Nec Lcd Technologies Ltd 液晶表示装置
US8015368B2 (en) 2007-04-20 2011-09-06 Siport, Inc. Processor extensions for accelerating spectral band replication
US8630863B2 (en) * 2007-04-24 2014-01-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding audio/speech signal
DK2571024T3 (en) 2007-08-27 2015-01-05 Ericsson Telefon Ab L M Adaptive transition frequency between the noise filling and bandwidth extension
JP5008542B2 (ja) * 2007-12-10 2012-08-22 花王株式会社 トナー用結着樹脂の製造方法
EP3296992B1 (en) * 2008-03-20 2021-09-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for modifying a parameterized representation
JP5010743B2 (ja) * 2008-07-11 2012-08-29 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン スペクトル傾斜で制御されたフレーミングを使用して帯域拡張データを計算するための装置及び方法
CA2836871C (en) * 2008-07-11 2017-07-18 Stefan Bayer Time warp activation signal provider, audio signal encoder, method for providing a time warp activation signal, method for encoding an audio signal and computer programs
EP2144171B1 (en) * 2008-07-11 2018-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder for encoding and decoding frames of a sampled audio signal
CN102089814B (zh) * 2008-07-11 2012-11-21 弗劳恩霍夫应用研究促进协会 对编码的音频信号进行解码的设备和方法
EP2301028B1 (en) * 2008-07-11 2012-12-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus and a method for calculating a number of spectral envelopes
ES2592416T3 (es) * 2008-07-17 2016-11-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Esquema de codificación/decodificación de audio que tiene una derivación conmutable
JP5215077B2 (ja) 2008-08-07 2013-06-19 シャープ株式会社 コンテンツ再生装置、コンテンツ再生方法、プログラムおよび記録媒体
US8532983B2 (en) * 2008-09-06 2013-09-10 Huawei Technologies Co., Ltd. Adaptive frequency prediction for encoding or decoding an audio signal
US9947340B2 (en) * 2008-12-10 2018-04-17 Skype Regeneration of wideband speech
PL4231290T3 (pl) * 2008-12-15 2024-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder powiększania szerokości pasma audio, powiązany sposób oraz program komputerowy
DK2211339T3 (en) 2009-01-23 2017-08-28 Oticon As listening System
EP2239732A1 (en) * 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
TWI556227B (zh) * 2009-05-27 2016-11-01 杜比國際公司 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體
US8515768B2 (en) * 2009-08-31 2013-08-20 Apple Inc. Enhanced audio decoder
JP5754899B2 (ja) * 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
CN102257567B (zh) 2009-10-21 2014-05-07 松下电器产业株式会社 音响信号处理装置、音响编码装置及音响解码装置
CN102667920B (zh) * 2009-12-16 2014-03-12 杜比国际公司 Sbr比特流参数缩混
CN108989721B (zh) 2010-03-23 2021-04-16 杜比实验室特许公司 用于局域化感知音频的技术
US9275650B2 (en) * 2010-06-14 2016-03-01 Panasonic Corporation Hybrid audio encoder and hybrid audio decoder which perform coding or decoding while switching between different codecs
WO2012000882A1 (en) * 2010-07-02 2012-01-05 Dolby International Ab Selective bass post filter
CN103155033B (zh) * 2010-07-19 2014-10-22 杜比国际公司 高频重建期间的音频信号处理
JP5533502B2 (ja) 2010-09-28 2014-06-25 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
US9117440B2 (en) 2011-05-19 2015-08-25 Dolby International Ab Method, apparatus, and medium for detecting frequency extension coding in the coding history of an audio signal
JP5817499B2 (ja) * 2011-12-15 2015-11-18 富士通株式会社 復号装置、符号化装置、符号化復号システム、復号方法、符号化方法、復号プログラム、及び符号化プログラム
BR122021018240B1 (pt) * 2012-02-23 2022-08-30 Dolby International Ab Método para codificar um sinal de áudio multicanal, método para decodificar um fluxo de bits de áudio codificado, sistema configurado para codificar um sinal de áudio, e sistema para decodificar um fluxo de bits de áudio codificado
US9129600B2 (en) * 2012-09-26 2015-09-08 Google Technology Holdings LLC Method and apparatus for encoding an audio signal
EP3742440B1 (en) 2013-04-05 2024-07-31 Dolby International AB Audio decoder for interleaved waveform coding

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5970443A (en) * 1996-09-24 1999-10-19 Yamaha Corporation Audio encoding and decoding system realizing vector quantization using code book in communication system
EP1158494B1 (en) * 2000-05-26 2002-05-29 Lucent Technologies Inc. Method and apparatus for performing audio coding and decoding by interleaving smoothed critical band evelopes at higher frequencies
WO2003046891A1 (en) * 2001-11-29 2003-06-05 Coding Technologies Ab Methods for improving high frequency reconstruction
US7684981B2 (en) * 2005-07-15 2010-03-23 Microsoft Corporation Prediction of spectral coefficients in waveform coding and decoding
US7693709B2 (en) * 2005-07-15 2010-04-06 Microsoft Corporation Reordering coefficients for waveform coding or decoding
US8190425B2 (en) * 2006-01-20 2012-05-29 Microsoft Corporation Complex cross-correlation parameters for multi-channel audio
US20100262420A1 (en) * 2007-06-11 2010-10-14 Frauhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Audio encoder for encoding an audio signal having an impulse-like portion and stationary portion, encoding methods, decoder, decoding method, and encoding audio signal
RU2470384C1 (ru) * 2007-06-13 2012-12-20 Квэлкомм Инкорпорейтед Кодирование сигнала с использованием кодирования с регуляризацией основных тонов и без регуляризации основных тонов
US8046214B2 (en) * 2007-06-22 2011-10-25 Microsoft Corporation Low complexity decoder for complex transform coding of multi-channel sound

Also Published As

Publication number Publication date
JP2021113975A (ja) 2021-08-05
RU2015147173A (ru) 2017-05-15
RU2665228C1 (ru) 2018-08-28
KR102170665B1 (ko) 2020-10-29
US11875805B2 (en) 2024-01-16
KR102694669B1 (ko) 2024-08-14
KR20160075806A (ko) 2016-06-29
JP2019168712A (ja) 2019-10-03
CN110265047B (zh) 2021-05-18
JP7317882B2 (ja) 2023-07-31
JP2018101160A (ja) 2018-06-28
JP6026704B2 (ja) 2016-11-16
EP3742440A1 (en) 2020-11-25
US20170018279A1 (en) 2017-01-19
WO2014161995A1 (en) 2014-10-09
KR20220137791A (ko) 2022-10-12
KR20200123490A (ko) 2020-10-29
BR112015025022B1 (pt) 2022-03-29
HK1217054A1 (zh) 2016-12-16
EP2981959A1 (en) 2016-02-10
RU2020101868A (ru) 2021-07-19
RU2694024C1 (ru) 2019-07-08
BR122017006820A2 (pt) 2019-09-03
BR122020020698B1 (pt) 2022-05-31
US20240194210A1 (en) 2024-06-13
KR102107982B1 (ko) 2020-05-11
JP6541824B2 (ja) 2019-07-10
KR101632238B1 (ko) 2016-06-21
CN110223703B (zh) 2023-06-02
EP2981959B1 (en) 2018-07-25
CN105103224A (zh) 2015-11-25
BR112015025022A2 (pt) 2017-07-18
EP3382699A1 (en) 2018-10-03
CN110265047A (zh) 2019-09-20
EP4428860A2 (en) 2024-09-11
US20160042742A1 (en) 2016-02-11
CN117253497A (zh) 2023-12-19
KR102243688B1 (ko) 2021-04-27
ES2688134T3 (es) 2018-10-31
EP3382699B1 (en) 2020-06-17
RU2622872C2 (ru) 2017-06-20
US9514761B2 (en) 2016-12-06
US11145318B2 (en) 2021-10-12
BR122020020705B1 (pt) 2022-05-03
KR20240127481A (ko) 2024-08-22
KR20200049881A (ko) 2020-05-08
EP3742440B1 (en) 2024-07-31
US10121479B2 (en) 2018-11-06
US20190066708A1 (en) 2019-02-28
JP6859394B2 (ja) 2021-04-14
JP2017058686A (ja) 2017-03-23
CN117275495A (zh) 2023-12-22
JP6317797B2 (ja) 2018-04-25
US20220101865A1 (en) 2022-03-31
KR20150122245A (ko) 2015-10-30
JP2016515723A (ja) 2016-05-30
CN110136728B (zh) 2023-08-04
KR102450178B1 (ko) 2022-10-06
KR20210044321A (ko) 2021-04-22
CN110136728A (zh) 2019-08-16
CN110223703A (zh) 2019-09-10
JP7551860B2 (ja) 2024-09-17
CN117253498A (zh) 2023-12-19
BR122017006820B1 (pt) 2022-04-19
CN105103224B (zh) 2019-08-02
JP2023143924A (ja) 2023-10-06

Similar Documents

Publication Publication Date Title
RU2713701C1 (ru) Аудиокодер и декодер для кодирования по форме волны с перемежением
RU2809586C2 (ru) Аудиокодер и декодер для кодирования по форме волны с перемежением