RU2666468C2 - Расширение полосы пропускания аудио посредством вставки шума с предварительно приданной формой по времени в частотной области - Google Patents

Расширение полосы пропускания аудио посредством вставки шума с предварительно приданной формой по времени в частотной области Download PDF

Info

Publication number
RU2666468C2
RU2666468C2 RU2016121163A RU2016121163A RU2666468C2 RU 2666468 C2 RU2666468 C2 RU 2666468C2 RU 2016121163 A RU2016121163 A RU 2016121163A RU 2016121163 A RU2016121163 A RU 2016121163A RU 2666468 C2 RU2666468 C2 RU 2666468C2
Authority
RU
Russia
Prior art keywords
signal
shaping
module
time
frequency domain
Prior art date
Application number
RU2016121163A
Other languages
English (en)
Other versions
RU2016121163A (ru
Inventor
Саша ДИШ
Маркус МУЛЬТРУС
Беньямин ШУБЕРТ
Маркус ШНЕЛЛЬ
Original Assignee
Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. filed Critical Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.
Publication of RU2016121163A publication Critical patent/RU2016121163A/ru
Application granted granted Critical
Publication of RU2666468C2 publication Critical patent/RU2666468C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03—Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Abstract

Изобретение относится к средствам для расширения полосы пропускания аудио посредством вставки шума. Технический результат заключается в повышении эффективности расширения полосы пропускания. Принимают битовый поток и выводят закодированный аудиосигнал из битового потока, используя приемник битового потока. Выводят декодированный аудиосигнал во временной области из закодированного аудиосигнала, используя модуль базового декодера. Определяют временную огибающую декодированного аудиосигнала, используя генератор временной огибающей. Создают сигнал расширения полосы пропускания частотной области, используя модуль расширения полосы пропускания, выполняющий следующие этапы. Создают сигнал шума во временной области, используя генератор шума модуля расширения полосы пропускания. Придают форму по времени сигналу шума в зависимости от временной огибающей декодированного аудиосигнала, используя модуль предварительного придания формы. Трансформируют сигнал шума с приданной формой в сигнал шума частотной области, при этом сигнал расширения полосы пропускания частотной области зависит от сигнала шума частотной области, используя время-частотный преобразователь. 3 н. и 21 з.п. ф-лы, 4 ил.

Description

Изобретение относится к кодированию речи и аудио и, в частности, к расширению полосы пропускания (BWE) аудио.
Методики расширения полосы пропускания сфокусированы на улучшении воспринимаемого качестве аудио кодека посредством уширения его эффективной выходной полосы пропускания. Вместо кодирования всего диапазона полосы пропускания с помощью лежащего в основе базового кодера, кодеки, использующие методику расширения полосы пропускания обеспечивают меньший расход битов в менее важных по восприятию диапазонах верхней частоты (HF). Таким образом, больше битов доступно базовому кодеру, обрабатывающему более важный диапазон нижней частоты (LF) с более высокой точностью. По этой причине методики расширения полосы пропускания обычно используются в кодеках, которым требуется реализовать надлежащее воспринимаемое качество при низких скоростях передачи битов.
В целом, существует два разных подхода расширения полосы пропускания, которые необходимо различать: Слепое расширение полосы пропускания и направленное расширение полосы пропускания. При слепом расширении полосы пропускания, не передается какой-либо дополнительной побочной информации. Таким образом, HF-контент, который должен быть вставлен на стороне декодера, генерируется, используя лишь информацию, которая выводится из декодированного LF-сигнала базового кодера. Поскольку передача затратной подобной информации не требуется, методики Слепого расширения полосы пропускания хорошо подходят для кодеков, работающих на самых низких скоростях передачи битов или для обратно совместимых процедур постобработки. С другой стороны, недостаток возможности управления обеспечивает лишь относительно небольшое эффективное расширение полосы пропускания, используя Слепое расширение полосы пропускания (например, 6,4-7,0 кГц в [1]). В противоположность слепому подходу, при направленном расширении полосы пропускания HF-контент реконструируется, используя параметры, которые извлекаются на стороне кодировщика и передаются декодеру в качестве побочной информации в битовом потоке. Следовательно, направленное расширение полосы пропускания обеспечивает более хорошее управление HF-реконструкцией, и возможно воспроизведение более широких эффективных полос пропускания. Из-за дополнительного расхода битов, методики направленного расширения полосы пропускания обычно используются для кодеков, работающих на более высоких скоростях передачи битов, чем системы, включающие в себя слепое расширение полосы пропускания.
В частности, существуют разные методологии для реализации расширения полосы пропускания.
При кодировании речи, обычно используются основанные на модели исходного фильтра способы расширения полосы пропускания, которые тесно связаны с лежащими в их основе базовыми кодерами, как например в G.722.2 (AMR-WB) [1]. В AMR-WB, выходная полоса пропускания в 6,4 кГц базового кодера ACELP (линейное предсказание с возбуждением алгебраическим кодом) расширяется до 7,0 кГц посредством введения белого шума в область возбуждения. Впоследствии, расширенному возбуждению придается форма посредством фильтра, который выведен из фильтра линейного предсказания (LP) базового кодера. В зависимости от скорости передачи битов коэффициент усиления для масштабирования вставленного шума либо оценивается используя только информацию базового кодера, либо он извлекается в кодировщике и передается. Данный способ расширения полосы пропускания в значительной степени зависит от лежащей в его основе схемы кодирования, поскольку он использует ее механизмы синтеза и, следовательно, дополнительно должен выполняться в той же самой области.
Общеизвестной независимой от базового кодера методикой расширения полосы пропускания в кодировании аудио является репликация спектральной полосы (SBR) [2]. В противоположность предыдущему примеру, репликация спектральной полосы может быть применена независимо от лежащего в ее основе базового кодера. В качестве первого этапа, входной сигнал разбивается на LF- и HF-часть на стороне кодировщика, например, посредством использования набора фильтров анализа квадратурного зеркального фильтра (QMF). LF-сигнал подается на базовый кодер в то время как HF-часть обрабатывается посредством репликации спектральной полосы. Вследствие этого, параметры, описывающие частотно-временную огибающую HF-сигнала, как, впрочем, и тональность/шумность HF-сигнала относительно LF-сигнала, извлекаются и передаются. После декодирования, сигнал трансформируется, используя тот же самый набор фильтров анализа, который использовался в кодировщике. Чтобы реконструировать HF-контент, декодированный сигнал копируется, зеркально отображается или транспонируется порционно в HF-диапазон, подвергается постобработке, чтобы совпадать с тональностью/шумностью исходного, и ему придается форма по времени, как, впрочем, и по спектру, учитывая переданные параметры. Впоследствии выходной сигнал во временной области генерируется посредством соответствующего набора фильтров синтеза.
В противоположность предыдущим отмеченным (полу-) параметрическим способам также существуют многочисленные подходы на основе слоя, использующие несколько, выбираемых по скорости передачи битов слоев для расширения полосы пропускания. Данный принцип также в значительной степени связан со схемами масштабируемого кодирования. Эти методики часто используются для расширения существующих систем кодирования допускающим совместную работу образом. В [3] представляется сверхширокополосное (SWB) расширение полосы пропускания для G.711.1 и G.722, которое обрабатывает дополнительную полосу пропускания (8,0-14,4 кГц) с помощью основанной на модифицированном дискретном косинусном преобразовании схеме кодирования независимой от базового кодера. Данный подход обеспечивает точную реконструкцию HF-частей, но за счет дополнительно необходимого, высокого расхода битов.
Несмотря на то что вышеупомянутые подходы расширения полосы пропускания широко распространены в настоящих системах кодирования речи и аудио, все они представляют конкретные дефекты или недостатки, соответственно.
Цель настоящего изобретения состоит в предоставлении улучшенной концепции для расширения полосы пропускания.
Данная цель достигается посредством устройства декодера для декодирования битового потока, при этом устройство декодера аудио содержит:
приемник битового потока, выполненный с возможностью приема битового потока и выведения закодированного аудиосигнала из битового потока;
модуль базового декодера, выполненный с возможностью выведения декодированного аудиосигнала во временной области из закодированного аудиосигнала;
генератор временной огибающей, выполненный с возможностью определения временной огибающей декодированного аудиосигнала;
модуль расширения полосы пропускания, выполненный с возможностью создания сигнала расширения полосы пропускания частотной области, при этом модуль расширения полосы пропускания содержит генератор шума, выполненный с возможностью создания сигнала шума во временной области, при этом модуль расширения полосы пропускания содержит модуль предварительного придания формы, выполненный с возможностью придания формы по времени сигналу шума в зависимости от временной огибающей декодированного аудиосигнала для того, чтобы создать сигнал шума с приданной формой и при этом модуль расширения полосы пропускания содержит время-частотный преобразователь, выполненный с возможностью трансформирования сигнала шума с приданной формой в сигнал шума частотной области; при этом сигнал расширения полосы пропускания частотной области зависит от сигнала шума частотной области;
время-частотный преобразователь, выполненный с возможностью трансформирования декодированного аудиосигнала в декодированный аудиосигнал частотной области;
объединитель, выполненный с возможностью объединения декодированного аудиосигнала частотной области и сигнала расширения полосы пропускания частотной области для того, чтобы создать аудиосигнал частотной области с расширенной полосой пропускания; и
частотно-временной преобразователь, выполненный с возможностью трансформирования аудиосигнал частотной области с расширенной полосой пропускания в аудиосигнал временной области с расширенной полосой пропускания.
Изобретение предоставляет концепцию расширения полосы пропускания, которая может быть главным образом применена независимо от лежащей в основе методики базового кодирования. Кроме того, оно предлагает расширение полосы пропускания вплоть до сверхширокополосных диапазонов частот для точек, работающих с низкой скоростью передачи битов, с высоким воспринимаемым качеством в особенности для речевых сигналов. Это достигается посредством генерирования сигналов шума с приданной формой по времени во временной области, которые трансформируются и вставляются в декодированный аудиосигнал частотной области.
Понятие сигнал расширения полосы пропускания частотной области относится к сигналу, содержащему частоты, которые не содержатся в декодированном аудиосигнале.
В гибких, адаптивных к сигналу системах, включающих в себя более одного единого базового кодера, например, как содержится в унифицированном кодировании речи и аудио (MPEG-D USAC), артефакты переключения, которые возникают на переходе между разными базовыми кодерами, могут быть более ярко выделены, поскольку в то же самое время также должно переключаться расширение полосы пропускания. Эти проблемы могут быть преодолены посредством применения независимой от базового кодера методики расширения полосы пропускания в соответствии с изобретением.
Репликация спектральной полосы привносит артефакты, которые могут быть раздражающими, в особенности, когда кодируется речь, из-за накладки LF-компонентов на HF-часть. Эти артефакты возникают из-за корреляции LF- и HF-контента, на который осуществляется накладка, с одной стороны. С другой стороны, возможное спектральное несовпадение между LF- и HF-частью приводит к резко звучащим, негармоничным искажениям. В противоположность этому, устройство декодера в соответствии с изобретением предупреждает создание артефактов и резкого звучания.
Другой дефект репликации спектральной полосы состоит в том, что присутствует ограниченная возможность манипулирования временной структурой HF-части, на которую осуществляется накладка. Из-за необходимости эффективного для скорости передачи битов параметрического время-частотного представления контента, временное разрешение является ограниченным. Это может быть недостатком для, например, обработки женской речи, где основной тон глоттальных импульсов является высоким и также проявляет высокое временное непостоянство. Устройство декодера в соответствии с изобретением, в противоположность репликации спектральной полосы, хорошо подходит для воспроизведения женской речи.
Наконец, расширение полосы пропускания, основанное на нескольких слоях, способно точно реконструировать HF-контент как по спектру, так и по времени, но с другой стороны его необходимый расход битов значительно выше, чем для параметрических подходов. Устройство декодера в соответствии с изобретением обеспечивает более низкий расход битов, обусловленный такими подходами.
Таким образом, настоящее изобретение предоставляет новую концепцию расширения полосы пропускания, которая объединяет преимущества общеизвестных, ранее описанных методик расширения полосы пропускания, при этом исключая их недостатки. В частности предоставляется концепция, которая обеспечивает высококачественное, сверхширокополосное кодирование речи на низких скоростях передачи битов, при этом независимое от лежащего в основе базового кодера.
Изобретение обеспечивает с высоким воспринимаемым качеством в особенности применительно к речи выходные полосы пропускания вплоть до сверхширокополосного диапазона. Расширение полосы пропускания в соответствии с изобретением основано на вставке шума. Дополнительно, новое расширение полосы пропускания является независимым от лежащего в его основе базового кодека. Вследствие этого, оно - в противоположность стандартному расширению полосы пропускания кодирования речи - подходит для использования поверх переключаемых систем, включающих в себя фундаментально разные схемы кодирования.
Поскольку микширование сигнала нового предлагаемого расширения полосы пропускания и сигнала базового кодера выполняется в сравнимом время-частотном представлении с репликацией спектральной полосы, обе методики могут быть легко объединены в объединенной системе, где будет возможно гладкое переключение на основе кадр-за-кадром или смешивание в рамках заданного кадра. Так как новое расширение полосы пропускания сфокусировано главным образом на речи, данный подход может быть желательным для обработки сигналов, содержащих музыку или смешанный контент. Управление переключением может осуществляться либо посредством переданной побочной информации, либо посредством параметров, которые выводятся в декодере посредством анализа базового сигнала.
В соответствии с изобретением, генерирование и последующее придание формы шуму выполняется во временной области, поскольку во временной области временное разрешение может быть выше, чем в решениях, в которых шум генерируется и ему придается форма в время-частотном представлении, подобно тому, что применяется в обработке репликации спектральной полосы, поскольку наборы фильтров ограничивают временное разрешение, которое является неотъемлемым для воспроизведения речи с высоким основным тоном (например, женской).
Чтобы избежать вышеупомянутых проблем и все же выполнить требования, новое расширение полосы пропускания выполняет следующие этапы обработки: Сначала, один сигнал шума генерируется во временной области, при этом количество элементов дискретизации возникает из частоты кадров системы, как, впрочем, и выбранной частоты дискретизации и полосы пропускания сигнала шума. Впоследствии, осуществляется придание формы по времени сигналу шума, на основании временной огибающей декодированного сигнала базового кодера. Кроме того, объединенный время-частотно представленный сигнал преобразуется в аудио сигнал временной области с расширенной полосой пропускания посредством обратной трансформации.
Методики расширения полосы пропускания обычно используются в кодировании речи и аудио для улучшения воспринимаемого качества посредством уширения эффективной выходной полосы пропускания. Таким образом, большая часть доступных битов может быть использована внутри базового кодера, обеспечивая более высокую точность в более важном диапазоне нижней частоты. Несмотря на то что есть существующие подходы, некоторые из которых получили широкое признание, у всех у них отсутствует целесообразность использования при обработке речи системами, которые включают в себя несколько, переключаемых базовых кодеров, на основании разных схем кодирования. Так как расширение полосы пропускания в соответствии с изобретением является независимым от технологии базового декодера, настоящее изобретение предлагает методику расширения полосы пропускания, которая прекрасно подходит для вышеупомянутого и других применений.
В рамках расширения полосы пропускания в соответствии с изобретением, полностью синтетические сигналы расширения могут быть сгенерированы с временной огибающей, в отношении которой может быть осуществлено предварительное придание формы, и вследствие этого адаптированные к лежащему в основе сигналу базового кодера. Придание формы временной огибающей сигналу расширения может быть выполнено в значительно более высоком временном разрешении, чем это доступно в рамках реального набора фильтров или области трансформации, используемых в процессе пост-придания формы расширения полосы пропускания.
В соответствии с предпочтительным вариантом осуществления изобретения сигнал расширения полосы пропускания частотной области создается без репликации спектральной полосы. Посредством этих признаков могут быть минимизированы требуемые вычислительные затраты.
В соответствии с предпочтительным вариантом осуществления изобретения модуль расширения полосы пропускания выполнен таким образом, что придание формы по времени сигналу шума выполняется чрезмерно выраженным образом. Вместо придания формы сигналу шума на основании исходной временной огибающей декодированного аудиосигнала; также можно выполнять данное придание формы чрезмерно выраженным образом. Это может быть реализовано посредством раздвижения временной огибающей с точки зрения амплитуд, другими словами посредством динамического растяжения, в частности посредством модифицирования измеренной огибающей, чтобы представлять импульсы более острыми, чем было измерено, перед выведением коэффициентов усиления предварительного придания формы на ее основе. Несмотря на то что данное чрезмерное выражение не представляет собой фактическую исходную огибающую, разборчивость некоторых фрагментов сигнала, подобных, например, гласным звукам, улучшается применительно к очень низким скоростям передачи битов.
В соответствии с предпочтительным вариантом осуществления изобретения, модуль расширения полосы пропускания выполнен таким образом, что придание формы по времени сигналу шума выполняется по субполосам посредством разбиения сигнала шума на несколько сигналов шума субполосы посредством набора из полосовых фильтров и выполнения особого придания формы по времени над каждым из сигналов шума субполосы.
Вместо единообразного предварительного придания формы сигналу шума, придание формы может быть выполнено более точно посредством разбиения сигнала шума на несколько субполос посредством набора из полосовых фильтров и выполнения особого придания формы над каждым сигналом субполосы.
В соответствии с предпочтительным вариантом осуществления изобретения модуль расширения полосы пропускания содержит селектор диапазона частот, выполненный с возможностью установки диапазона частот сигнала расширения полосы пропускания частотной области. После преобразования сигнала шума с приданной формой во время-частотное представление, целевая полоса пропускания аудиосигнала частотной области с расширенной полосой пропускания может быть выбрана и, при необходимости, сдвинута до своей предназначенной, спектральной позиции. Посредством этих признаков диапазон частот аудиосигнала временной области с расширенной полосой пропускания может быть выбран простым образом.
В соответствии с предпочтительным вариантом осуществления изобретения модуль расширения полосы пропускания содержит модуль пост-придания формы, выполненный с возможностью придания формы по времени и/или по спектру в частной области сигналу расширения полосы пропускания частотной области. Посредством этих признаков сигнал расширения полосы пропускания частотной области может быть адаптирован по отношению к дополнительному временному тренду и/или спектральной огибающей для уточнения.
В соответствии с предпочтительным вариантом осуществления изобретения приемник битового потока выполнен с возможностью выведения сигнала побочной информации из битового потока, при этом модуль расширения полосы пропускания выполнен с возможностью создания сигнала расширения полосы пропускания частотной области в зависимости от сигнала побочной информации. Другими словами, дополнительная побочная информация, которая была извлечена внутри кодировщика и передана через битовый поток, может быть применена для дополнительного уточнения сигнала расширения полосы пропускания частотной области. Посредством этих признаков воспринимаемое качество аудиосигнала временной области с расширенной полосой пропускания может быть дополнительно увеличено.
В соответствии с предпочтительным вариантом осуществления изобретения генератор шума выполнен с возможностью создания сигнала шума в зависимости от сигнала побочной информации. В данном варианте осуществления управление генератором шума может осуществляться таким образом, чтобы получать сигнал шума со спектральным наклоном, вместо спектрально плоского белого шума, для того, чтобы дополнительно улучшить воспринимаемое качество аудиосигнала временной области с расширенной полосой пропускания.
В соответствии с предпочтительным вариантом осуществления изобретения модуль предварительного придания формы выполнен с возможностью придания формы по времени сигналу шума в зависимости от сигнала побочной информации. В рамках предварительного придания формы, побочная информация может быть использована, чтобы, например, выбирать некоторую целевую полосу пропускания сигнала базового декодера, которая используется для предварительного придания формы.
В соответствии с предпочтительным вариантом осуществления изобретения модуль пост-придания формы выполнен с возможностью придания формы по времени и/или по спектру выходному сигналу шума частотной области в зависимости от сигнала побочной информации. Использование побочной информации при пост-придании формы может гарантировать то, что грубая время-частотная огибающая сигнала расширения полосы пропускания частотной области следует исходной огибающей.
В соответствии с предпочтительным вариантом осуществления изобретения модуль расширения полосы пропускания содержит дополнительный генератор шума, выполненный с возможностью создания дополнительного сигнала шума во временной области, дополнительный модуль предварительного придания формы, выполненный с возможностью придания формы по времени дополнительному сигналу шума в зависимости от временной огибающей декодированного аудиосигнала для того, чтобы создавать дополнительный сигнал шума с приданной формой и дополнительный время-частотный преобразователь, выполненный с возможностью трансформирования дополнительного сигнала шума с приданной формой в дополнительный сигнал шума частотной области; при этом сигнал расширения полосы пропускания частотной области зависит от дополнительного сигнала шума частотной области. Создание сигнала расширения полосы пропускания частотной области используя два или более сигнала шума частотной области может привести к увеличению воспринимаемого качества аудиосигнала временной области с расширенной полосой частот.
В соответствии с предпочтительным вариантом осуществления изобретения модуль расширения полосы пропускания выполнен таким образом, что придание формы по времени дополнительному сигналу шума выполняется чрезмерно выраженным образом. Вместо придания формы дополнительному сигналу шума на основании исходной временной огибающей декодированного аудиосигнала; также можно выполнять данное придание формы чрезмерно выраженным образом. Это может быть реализовано посредством раздвижения временной огибающей с точки зрения амплитуд, перед выведением коэффициентов усиления предварительного придания формы на ее основе. Несмотря на то что данное чрезмерное выражение не представляет собой фактическую исходную огибающую, разборчивость некоторых фрагментов сигнала, подобных, например, гласным звукам, улучшается применительно к очень низким скоростям передачи битов.
В соответствии с предпочтительным вариантом осуществления изобретения модуль расширения полосы пропускания выполнен таким образом, что придание формы по времени дополнительному сигналу шума выполняется по субполосам посредством разбиения дополнительного сигнала шума на несколько дополнительных сигналов шума субполосы посредством набора из полосовых фильтров и выполнения особого придания формы по времени над каждым из дополнительных сигналов шума субполосы.
Вместо единообразного предварительного придания формы дополнительному сигналу шума, придание формы может быть выполнено более точно посредством разбиения дополнительного сигнала шума на несколько субполос посредством набора из полосовых фильтров и выполнения особого придания формы над каждым сигналом субполосы.
В соответствии с предпочтительным вариантом осуществления изобретения модуль расширения полосы пропускания содержит генератор тона, выполненный с возможностью создания сигнала тона во временной области, модуль предварительного придания формы тону, выполненный с возможностью придания формы по времени сигналу тона в зависимости от временной огибающей декодированного аудиосигнала для того, чтобы создать сигнал тона с приданной формой и время-частотный преобразователь, выполненный с возможностью трансформирования сигнала тона с приданной формой в сигнал тона частотной области, при этом сигнал расширения полосы пропускания частотной области зависит от сигнала тона частотной области.
Упомянутый генератор тона может быть функциональным, чтобы создавать все виды тонов, например, синусоидальные тоны, тоны треугольной и прямоугольной волны, пилообразные тоны, импульсы, которые напоминают искусственно озвученную речь, и т.д. В дополнение к обработке синтетических сигналов шума, также можно генерировать синтетические компоненты тона во временной области, которым придается форма по времени и впоследствии трансформируются в частотное представление. В данном случае, придание формы во временной области является более выгодным, например, для точного моделирования фаз ADSR (Атака, Спад, Поддержка, Затухание) тонов, что невозможно в обычном представлении в частотной области. Дополнительное использование сигнала тона частотной области может дополнительно увеличить качество сигнала временной области с расширенной полосой пропускания.
В соответствии с предпочтительным вариантом осуществления изобретения модуль базового декодера содержит базовый декодер временной области и базовый декодер частотной области, при этом либо базовый декодер временной области, либо базовый декодер частотной области используется для выведения декодированного аудиосигнала из закодированного аудиосигнала. Эти признаки позволяют использовать изобретение в среде унифицированного кодирования речи и аудио (MPEG-D USAC).
В соответствии с предпочтительным вариантом осуществления экстрактор параметра управления выполнен с возможностью извлечения параметров управления, используемых модулем базового декодера, из декодированного аудиосигнала и при этом модуль расширения полосы пропускания выполнен с возможностью создания сигнала расширения полосы пропускания частотной области в зависимости от параметров управления. Несмотря на то что сигнал расширения полосы пропускания частотной области может быть создан вслепую на основании огибающей базового кодера или на основании управления посредством параметров, выведенных из сигнала базового кодера, он также может быть создан частично направленным образом, посредством извлеченных и переданных параметров от кодировщика.
В соответствии с предпочтительным вариантом осуществления изобретения, модуль расширения полосы пропускания содержит калькулятор коэффициентов усиления придания формы, выполненный с возможностью установления коэффициентов усиления придания формы для модуля предварительного придания формы в зависимости от временной огибающей декодированного аудиосигнала и при этом модуль предварительного придания формы выполнен с возможностью придания формы по времени сигналу шума в зависимости от коэффициентов усиления придания формы для модуля предварительного придания формы. Эти признаки обеспечивают реализацию изобретения в простом виде.
В соответствии с предпочтительным вариантом осуществления изобретения калькулятор коэффициентов усиления придания формы для установления коэффициентов усиления придания формы для модуля предварительного придания формы выполнен с возможностью установления коэффициентов усиления придания формы для модуля предварительного придания формы в зависимости от параметров управления. Эти признаки обеспечивают реализацию изобретения в простом виде.
В соответствии с предпочтительным вариантом осуществления изобретения модуль расширения полосы пропускания содержит калькулятор коэффициентов усиления придания формы, выполненный с возможностью установления коэффициентов усиления придания формы для дополнительного модуля предварительного придания формы в зависимости от временной огибающей декодированного аудиосигнала и при этом дополнительный модуль предварительного придания формы выполнен с возможностью придания формы по времени дополнительному сигналу шума в зависимости от коэффициентов усиления придания формы для дополнительного модуля предварительного придания формы.
В соответствии с предпочтительным вариантом осуществления изобретения калькулятор коэффициентов усиления придания формы для установления коэффициентов усиления придания формы для дополнительного модуля предварительного придания формы выполнен с возможностью установления коэффициентов усиления придания формы для дополнительного модуля предварительного придания формы в зависимости от параметров управления.
В соответствии с предпочтительным вариантом осуществления изобретения, модуль расширения полосы пропускания содержит калькулятор коэффициентов усиления придания формы, выполненный с возможностью установления коэффициентов усиления придания формы для модуля предварительного придания формы тону в зависимости от временной огибающей декодированного аудиосигнала и при этом модуль предварительного придания формы тону выполнен с возможностью придания формы по времени сигналу тона в зависимости от коэффициентов усиления придания формы для модуля предварительного придания формы тону.
В соответствии с предпочтительным вариантом осуществления изобретения калькулятор коэффициентов усиления придания формы для установления коэффициентов усиления придания формы для модуля предварительного придания формы тону выполнен с возможностью установления коэффициентов усиления придания формы для дополнительного модуля предварительного придания формы в зависимости от параметров управления.
В дополнительном аспекте, цель достигается посредством способа для декодирования битового потока, при этом способ содержит этапы, на которых:
принимают битовый поток и выводят закодированный аудиосигнал из битового потока, используя приемник битового потока;
выводят декодированный аудиосигнал во временной области из закодированного аудиосигнала, используя модуль базового декодера;
определяют временную огибающую декодированного аудиосигнала, используя генератор временной огибающей;
создают сигнал расширения полосы пропускания частотной области, используя модуль расширения полосы пропускания, исполняющий этапы, на которых:
создают сигнал шума во временной области, используя генератор шума модуля расширения полосы пропускания,
придают форму по времени сигналу шума в зависимости от временной огибающей декодированного аудиосигнала для того, чтобы создать сигнал шума с приданной формой, используя модуль предварительного придания формы модуля расширения полосы пропускания,
трансформируют сигнал шума с приданной формой в сигнал шума частотной области; при этом сигнал расширения полосы пропускания частотной области зависит от сигнала шума частотной области, используя время-частотный преобразователь модуля расширения полосы пропускания;
трансформируют декодированный аудиосигнал в декодированный аудиосигнал частотной области, используя дополнительный время-частотный преобразователь;
объединяют декодированный аудиосигнал частотной области и сигнал расширения полосы пропускания частотной области для того, чтобы создать аудиосигнал частотной области с расширенной полосой пропускания, используя объединитель; и
трансформируют аудиосигнал частотной области с расширенной полосой пропускания в аудиосигнал временной области с расширенной полосой пропускания, используя частотно-временной преобразователь.
В дополнительном аспекте цель достигается посредством компьютерной программы, исполняющей способ изобретения, при выполнении на процессоре.
Предпочтительные варианты осуществления изобретения впоследствии рассматриваются в отношении сопроводительных чертежей, на которых:
Фиг. 1 иллюстрирует первый вариант осуществления устройства декодера аудио в соответствии с изобретением в схематичном виде;
Фиг. 2 иллюстрирует второй вариант осуществления устройства декодера аудио в соответствии с изобретением в схематичном виде;
Фиг. 3 иллюстрирует третий вариант осуществления устройства декодера аудио в соответствии с изобретением в схематичном виде; и
Фиг. 4 иллюстрирует четвертый вариант осуществления устройства декодера аудио в соответствии с изобретением в схематичном виде.
Фиг. 1 иллюстрирует первый вариант осуществления устройства декодера аудио в соответствии с изобретением в схематичном виде.
Устройство 1 декодера аудио содержит:
приемник 2 битового потока, выполненный с возможностью приема битового потока BS и выведения закодированного аудиосигнала EAS из битового потока BS;
модуль 3 базового декодера, выполненный с возможностью выведения декодированного аудиосигнала DAS во временной области из закодированного аудиосигнала EAS;
генератор 4 временной огибающей, выполненный с возможностью определения временной огибающей TED декодированного аудиосигнала DAS;
модуль 5 расширения полосы пропускания, выполненный с возможностью создания сигнала расширения полосы пропускания BEF частотной области, при этом модуль 5 расширения полосы пропускания содержит генератор 6 шума, выполненный с возможностью создания сигнала шума NOS во временной области, при этом модуль 5 расширения полосы пропускания содержит модуль 7 предварительного придания формы, выполненный с возможностью придания формы по времени сигналу шума NOS в зависимости от временной огибающей TED декодированного аудиосигнала DAS для того, чтобы создать сигнал шума с приданной формой SNS и при этом модуль 5 расширения полосы пропускания содержит время-частотный преобразователь 8, выполненный с возможностью трансформирования сигнала шума с приданной формой SNS в сигнал шума частотной области FNS; при этом сигнал расширения полосы пропускания частотной области BEF зависит от сигнала шума частотной области FNS;
время-частотный преобразователь 9, выполненный с возможностью трансформирования декодированного аудиосигнала DAS в декодированный аудиосигнал частотной области FDS;
объединитель 10, выполненный с возможностью объединения декодированного аудиосигнала частотной области FDS и сигнала расширения полосы пропускания частотной области BEF для того, чтобы создать аудиосигнал частотной области с расширенной полосой пропускания BFS; и
частотно-временной преобразователь 11, выполненный с возможностью трансформирования аудиосигнал частотной области с расширенной полосой пропускания BFS в аудиосигнал временной области с расширенной полосой пропускания BAS.
Изобретение предоставляет концепцию расширения полосы пропускания, которая может быть главным образом применена независимо от лежащей в основе методики базового кодирования. Кроме того, оно предлагает расширение полосы пропускания вплоть до сверхширокополосных диапазонов частот для точек, работающих с низкой скоростью передачи битов, с высоким воспринимаемым качеством в особенности для речевых сигналов. Это достигается посредством генерирования сигналов шума с приданной формой по времени SNS во временной области, которые трансформируются и вставляются в декодированный аудиосигнал частотной области FDS.
В гибких, адаптивных к сигналу системах, включающих в себя более одного единого базового кодера, например, как содержится в унифицированном кодировании речи и аудио (MPEG-D USAC), артефакты переключения, которые возникают на переходе между разными базовыми кодерами, могут быть более ярко выделены, поскольку в то же самое время также должно переключаться расширение полосы пропускания. Эти проблемы могут быть преодолены посредством применения независимой от базового кодера методики расширения полосы пропускания в соответствии с изобретением.
Репликация спектральной полосы привносит артефакты, которые могут быть раздражающими, в особенности, когда кодируется речь, из-за накладки LF-компонентов на HF-часть. Эти артефакты возникают из-за корреляции LF- и HF-контента, на который осуществляется накладка, с одной стороны. С другой стороны, возможное спектральное несовпадение между LF- и HF-частью приводит к резко звучащим, негармоничным искажениям. В противоположность этому, устройство 1 декодера в соответствии с изобретением предупреждает создание артефактов и резкого звучания.
Другой дефект репликации спектральной полосы состоит в том, что присутствует ограниченная возможность манипулирования временной структурой HF-части, на которую осуществляется накладка. Из-за необходимости эффективного для скорости передачи битов параметрического время-частотного представления контента, временное разрешение является ограниченным. Это может быть недостатком для, например, обработки женской речи, где основной тон глоттальных импульсов является высоким и также проявляет высокое временное непостоянство. Устройство 1 декодера в соответствии с изобретением, в противоположность репликации спектральной полосы, хорошо подходит для воспроизведения женской речи.
Наконец, расширение полосы пропускания, основанное на нескольких слоях способно точно реконструировать HF-контент как по спектру, так и по времени, но с другой стороны его необходимый расход битов значительно выше, чем для параметрических подходов. Устройство 1 декодера в соответствии с изобретением обеспечивает более низкий расход битов, обусловленный такими подходами.
Таким образом, настоящее изобретение предоставляет новую концепцию расширения полосы пропускания, которая объединяет преимущества общеизвестных, ранее описанных методик расширения полосы пропускания, при этом исключая их недостатки. В частности предоставляется концепция, которая обеспечивает высококачественное, сверхширокополосное кодирование речи на низких скоростях передачи битов, при этом независимое от лежащего в основе базового кодера 3.
Изобретение обеспечивает с высоким воспринимаемым качеством в особенности применительно к речи выходные полосы пропускания вплоть до сверхширокополосного диапазона. Расширение полосы пропускания в соответствии с изобретением основано на вставке шума. Дополнительно, новое расширение полосы пропускания является независимым от лежащего в его основе базового кодека. Вследствие этого, оно - в противоположность стандартному расширению полосы пропускания кодирования речи - подходит для использования поверх переключаемых систем, включающих в себя фундаментально разные схемы кодирования.
Поскольку микширование сигнала нового предлагаемого расширения полосы пропускания и сигнала базового кодера выполняется в сравнимом время-частотном представлении с репликацией спектральной полосы, обе методики могут быть легко объединены в объединенной системе, где будет возможно гладкое переключение на основе кадр-за-кадром или смешивание в рамках заданного кадра. Так как новое расширение полосы пропускания сфокусировано главным образом на речи, данный подход может быть желательным для обработки сигналов содержащих музыку или смешанный контент. Управление переключением может осуществляться либо посредством переданной побочной информации, либо посредством параметров, которые выводятся в декодере 3 посредством анализа базового сигнала DAS.
В соответствии с изобретением, генерирование и последующее придание формы шуму выполняется во временной области, поскольку во временной области временное разрешение может быть выше, чем в решениях, в которых шум генерируется и ему придается форма в время-частотном представлении, подобно тому, что применяется в обработке репликации спектральной полосы, поскольку наборы фильтров ограничивают временное разрешение, которое является неотъемлемым для воспроизведения речи с высоким основным тоном (например, женской).
Чтобы избежать вышеупомянутых проблем и все же выполнить требования, новое расширение полосы пропускания выполняет следующие этапы обработки: Сначала, один сигнал шума NOS генерируется во временной области, при этом количество элементов дискретизации возникает из частоты кадров системы, как, впрочем, и выбранной частоты дискретизации и полосы пропускания сигнала шума. Впоследствии, осуществляется придание формы по времени сигналу шума NOS, на основании временной огибающей TED декодированного сигнала базового кодера DAS. Кроме того, объединенный время-частотно представленный сигнал BFS преобразуется в аудио сигнал временной области с расширенной полосой пропускания BAS посредством обратной трансформации.
Методики расширения полосы пропускания обычно используются в кодировании речи и аудио для улучшения воспринимаемого качества посредством уширения эффективной выходной полосы пропускания. Таким образом большая часть доступных битов может быть использована внутри базового кодера 3, обеспечивая более высокую точность в более важном диапазоне нижней частоты. Несмотря на то что есть существующие подходы, некоторые из которых получили широкое признание, у всех у них отсутствует целесообразность использования при обработке речи системами, которые включают в себя несколько, переключаемых базовых кодеров, на основании разных схем кодирования. Так как расширение полосы пропускания в соответствии с изобретением является независимым от технологии базового декодера, настоящее изобретение предлагает методику расширения полосы пропускания, которая прекрасно подходит для вышеупомянутого и других применений.
В рамках расширения полосы пропускания в соответствии с изобретением, полностью синтетические сигналы расширения могут быть сгенерированы с временной огибающей, в отношении которой может быть осуществлено предварительное придание формы, и вследствие этого адаптированные к лежащему в основе сигналу базового кодера DAS. Придание формы временной огибающей сигналу расширения SNS может быть выполнено в значительно более высоком временном разрешении, чем это доступно в рамках реального набора фильтров или области трансформации, используемых в процессе пост-придания формы расширения полосы пропускания.
В соответствии с предпочтительным вариантом осуществления изобретения сигнал расширения полосы пропускания частотной области BEF создается без репликации спектральной полосы. Посредством этих признаков могут быть минимизированы требуемые вычислительные затраты.
В соответствии с предпочтительным вариантом осуществления изобретения модуль 5 расширения полосы пропускания выполнен таким образом, что придание формы по времени сигналу шума NOS выполняется чрезмерно выраженным образом. Вместо придания формы сигналу шума NOS на основании исходной временной огибающей TED декодированного аудиосигнала DAS; также можно выполнять данное придание формы чрезмерно выраженным образом. Это может быть реализовано посредством раздвижения временной огибающей TED с точки зрения амплитуд, перед выведением коэффициентов усиления предварительного придания формы на ее основе. Несмотря на то что данное чрезмерное выражение не представляет собой фактическую исходную огибающую TED, разборчивость некоторых фрагментов сигнала, подобных, например, гласным звукам, улучшается применительно к очень низким скоростям передачи битов.
В соответствии с предпочтительным вариантом осуществления изобретения, модуль 5 расширения полосы пропускания выполнен таким образом, что придание формы по времени сигналу шума NOS выполняется по субполосам посредством разбиения сигнала шума NOS на несколько сигналов шума субполосы посредством набора из полосовых фильтров и выполнения особого придания формы по времени над каждым из сигналов шума субполосы.
Вместо единообразного предварительного придания формы сигналу шума NOS, придание формы может быть выполнено более точно посредством разбиения сигнала шума NOS на несколько субполос посредством набора из полосовых фильтров и выполнения особого придания формы над каждым сигналом субполосы.
Кроме того, изобретение относится к способу для декодирования битового потока BS, при этом способ содержит этапы, на которых:
принимают битовый поток BS и выводят закодированный аудиосигнал EAS из битового потока BS, используя приемник 2 битового потока;
выводят декодированный аудиосигнал DAS во временной области из закодированного аудиосигнала EAS, используя модуль 3 базового декодера;
определяют временную огибающую TED декодированного аудиосигнала DAS, используя генератор 4 временной огибающей;
создают сигнал расширения полосы пропускания частотной области BEF, используя модуль 5 расширения полосы пропускания, исполняющий этапы, на которых:
создают сигнал шума NOS во временной области, используя генератор 6 шума модуля 5 расширения полосы пропускания,
придают форму по времени сигналу шума NOS в зависимости от временной огибающей TED декодированного аудиосигнала DAS для того, чтобы создать сигнал шума с приданной формой SNS, используя модуль 7 предварительного придания формы модуля 5 расширения полосы пропускания,
трансформируют сигнал шума с приданной формой SMS в сигнал шума частотной области FNS; при этом сигнал расширения полосы пропускания частотной области BEF зависит от сигнала шума частотной области FNS, используя время-частотный преобразователь 8 модуля 5 расширения полосы пропускания;
трансформируют декодированный аудиосигнал DAS в декодированный аудиосигнал частотной области FDS, используя дополнительный время-частотный преобразователь 9;
объединяют декодированный аудиосигнал частотной области FDS и сигнал расширения полосы пропускания частотной области BEF для того, чтобы создать аудиосигнал частотной области с расширенной полосой пропускания BFS, используя объединитель 10; и
трансформируют аудиосигнал частотной области с расширенной полосой пропускания BFS в аудиосигнал временной области с расширенной полосой пропускания BAS, используя частотно-временной преобразователь 11.
Более того, изобретение относится к компьютерной программе, которая, когда выполняется на процессоре, исполняет способ в соответствии с изобретением.
Фиг. 2 иллюстрирует второй вариант осуществления устройства декодера аудио в соответствии с изобретением в схематичном виде.
В соответствии с предпочтительным вариантом осуществления изобретения модуль 5 расширения полосы пропускания содержит селектор 12 диапазона частот, выполненный с возможностью установки диапазона частот сигнала расширения полосы пропускания частотной области BEF. После преобразования сигнала шума с приданной формой SNS во время-частотное представление FNS, целевая полоса пропускания аудиосигнала частотной области с расширенной полосой пропускания BEF может быть выбрана и, при необходимости, сдвинута до своей предназначенной, спектральной позиции. Посредством этих признаков диапазон частот аудиосигнала временной области с расширенной полосой пропускания BAS может быть выбран простым образом.
В соответствии с предпочтительным вариантом осуществления изобретения модуль 5 расширения полосы пропускания содержит модуль пост-придания формы, выполненный с возможностью придания формы по времени и/или по спектру в частной области сигналу расширения полосы пропускания частотной области BEF. Посредством этих признаков сигнал расширения полосы пропускания частотной области BEF может быть адаптирован по отношению к дополнительному временному тренду и/или спектральной огибающей для уточнения.
В соответствии с предпочтительным вариантом осуществления изобретения приемник 2 битового потока выполнен с возможностью выведения сигнала побочной информации SIS из битового потока BS, при этом модуль 5 расширения полосы пропускания выполнен с возможностью создания сигнала расширения полосы пропускания частотной области BEF в зависимости от сигнала побочной информации SIS. Другими словами, дополнительная побочная информация, которая была извлечена внутри кодировщика и передана через битовый поток BS, может быть применена для дополнительного уточнения сигнала расширения полосы пропускания частотной области BEF. Посредством этих признаков воспринимаемое качество аудиосигнала временной области с расширенной полосой пропускания BAS может быть дополнительно увеличено.
В соответствии с предпочтительным вариантом осуществления изобретения генератор 6 шума выполнен с возможностью создания сигнала шума NOS в зависимости от сигнала побочной информации SIS. В данном варианте осуществления управление генератором 6 шума может осуществляться таким образом, чтобы получать сигнал шума со спектральным наклоном, вместо спектрально плоского белого шума, для того, чтобы дополнительно улучшить воспринимаемое качество аудиосигнала временной области с расширенной полосой пропускания BAS.
В соответствии с предпочтительным вариантом осуществления изобретения модуль 7 предварительного придания формы выполнен с возможностью придания формы по времени сигналу шума NOS в зависимости от сигнала побочной информации SIS. В рамках предварительного придания формы, побочная информация может быть использована, чтобы, например, выбирать некоторую целевую полосу пропускания сигнала базового декодера DAS, которая используется для предварительного придания формы.
В соответствии с предпочтительным вариантом осуществления изобретения модуль 13 пост-придания формы выполнен с возможностью придания формы по времени и/или по спектру сигналу расширения полосы пропускания частотной области BEF в зависимости от сигнала побочной информации SIS. Использование побочной информации при пост-придании формы может гарантировать то, что грубая время-частотная огибающая сигнала расширения полосы пропускания частотной области BEF следует исходной огибающей TED.
Фиг. 3 иллюстрирует третий вариант осуществления устройства декодера аудио в соответствии с изобретением в схематичном виде.
В соответствии с предпочтительным вариантом осуществления изобретения модуль 5 расширения полосы пропускания содержит дополнительный генератор 14 шума, выполненный с возможностью создания дополнительного сигнала шума NOSF во временной области, дополнительный модуль 15 предварительного придания формы, выполненный с возможностью придания формы по времени дополнительному сигналу шума NOSF в зависимости от временной огибающей TED декодированного аудиосигнала DAS для того, чтобы создавать дополнительный сигнал шума с приданной формой SNSF и дополнительный время-частотный преобразователь 16, выполненный с возможностью трансформирования дополнительного сигнала шума с приданной формой SNSF в дополнительный сигнал шума частотной области FNSF, при этом сигнал расширения полосы пропускания частотной области BEF зависит от дополнительного сигнала шума частотной области FNSF. Создание сигнала расширения полосы пропускания частотной области BEF используя два сигнала шума частотной области FNS, FNSF может привести к увеличению воспринимаемого качества аудиосигнала временной области с расширенной полосой частот BAS.
В соответствии с предпочтительным вариантом осуществления изобретения модуль 5 расширения полосы пропускания выполнен таким образом, что придание формы по времени дополнительному сигналу шума NOSF выполняется чрезмерно выраженным образом. Это может быть реализовано посредством раздвижения временной огибающей с точки зрения амплитуд, перед выведением коэффициентов усиления предварительного придания формы на ее основе. Несмотря на то что данное чрезмерное выражение не представляет собой фактическую исходную огибающую, разборчивость некоторых фрагментов сигнала, подобных, например, гласным звукам, улучшается применительно к очень низким скоростям передачи битов.
В соответствии с предпочтительным вариантом осуществления изобретения модуль 5 расширения полосы пропускания выполнен таким образом, что придание формы по времени дополнительному сигналу шума NOSF выполняется по субполосам посредством разбиения дополнительного сигнала шума NOSF на несколько дополнительных сигналов шума субполосы посредством набора из полосовых фильтров и выполнения особого придания формы по времени над каждым из дополнительных сигналов шума субполосы.
Вместо единообразного предварительного придания формы дополнительному сигналу шума, придание формы может быть выполнено более точно посредством разбиения дополнительного сигнала шума на несколько субполос посредством набора из полосовых фильтров и выполнения особого придания формы над каждым сигналом субполосы.
В соответствии с предпочтительным вариантом осуществления изобретения модуль 5 расширения полосы пропускания содержит генератор 17 тона, выполненный с возможностью создания сигнала тона TOS во временной области, модуль 18 предварительного придания формы тону, выполненный с возможностью придания формы по времени сигналу тона TOS в зависимости от временной огибающей TED декодированного аудиосигнала DAS для того, чтобы создать сигнал тона с приданной формой STS, и время-частотный преобразователь 19, выполненный с возможностью трансформирования сигнала тона с приданной формой STS в сигнал тона частотной области FTS, при этом сигнал расширения полосы пропускания частотной области BEF зависит от сигнала тона частотной области FTS. В дополнение к обработке синтетических сигналов шума NOS, NOSF, также можно генерировать синтетические компоненты тона во временной области, которым придается форма по времени и впоследствии трансформируются в частотное представление FTS. В данном случае, придание формы во временной области является более выгодным, например, для точного моделирования фаз ADSR (Атака, Спад, Поддержка, Затухание) тонов, что невозможно в обычном представлении в частотной области. Дополнительное использование сигнала тона частотной области FTS может дополнительно увеличить качество сигнала временной области с расширенной полосой пропускания BAS.
Сигнал шума частотной области FNS, дополнительный сигнал частотной области FNSF и/или сигнал тона частотной области могут быть объединены посредством объединителя 20.
Фиг. 4 иллюстрирует четвертый вариант осуществления устройства декодера аудио в соответствии с изобретением в схематичном виде.
В соответствии с предпочтительным вариантом осуществления изобретения модуль 5 базового декодера содержит базовый декодер 21 временной области и базовый декодер 22 частотной области, при этом либо базовый декодер 21 временной области, либо базовый декодер 22 частотной области выбирается для выведения декодированного аудиосигнала DAS из закодированного аудиосигнала EAS. Эти признаки позволяют использовать изобретение в среде унифицированного кодирования речи и аудио (MPEG-D USAC).
В соответствии с предпочтительным вариантом осуществления экстрактор 23 параметра управления выполнен с возможностью извлечения параметров управления CP, используемых модулем 3 базового декодера, из декодированного аудиосигнала DAS и при этом модуль 5 расширения полосы пропускания выполнен с возможностью создания сигнала расширения полосы пропускания частотной области BEF в зависимости от параметров управления CP. Несмотря на то что сигнал расширения полосы пропускания частотной области BEF может быть создан вслепую на основании огибающей базового кодера или на основании управления посредством параметров, выведенных из сигнала базового кодера, он также может быть создан частично направленным образом, посредством извлеченных и переданных параметров от кодировщика.
В соответствии с предпочтительным вариантом осуществления изобретения, модуль 5 расширения полосы пропускания содержит калькулятор 24 коэффициентов усиления придания формы, выполненный с возможностью установления коэффициентов усиления придания формы SG для модуля 7 предварительного придания формы в зависимости от временной огибающей TED декодированного аудиосигнала DAS и при этом модуль 7 предварительного придания формы выполнен с возможностью придания формы по времени сигналу шума NOS в зависимости от коэффициентов усиления придания формы SG для модуля 7 предварительного придания формы. Эти признаки обеспечивают реализацию изобретения в простом виде.
В соответствии с предпочтительным вариантом осуществления изобретения калькулятор 24 коэффициентов усиления придания формы для установления коэффициентов усиления придания формы SG для модуля 7 предварительного придания формы выполнен с возможностью установления коэффициентов усиления придания формы SG для модуля 7 предварительного придания формы в зависимости от параметров управления CP.
В соответствии с предпочтительным вариантом осуществления изобретения модуль 5 расширения полосы пропускания содержит калькулятор коэффициентов усиления придания формы, выполненный с возможностью установления коэффициентов усиления придания формы для дополнительного модуля 15 предварительного придания формы в зависимости от временной огибающей TED декодированного аудиосигнала DAS и при этом дополнительный модуль 14 предварительного придания формы выполнен с возможностью придания формы по времени дополнительному сигналу шума NOSF в зависимости от коэффициентов усиления придания формы для дополнительного модуля 14 предварительного придания формы.
В соответствии с предпочтительным вариантом осуществления изобретения калькулятор коэффициентов усиления придания формы для установления коэффициентов усиления придания формы для дополнительного модуля 15 предварительного придания формы выполнен с возможностью установления коэффициентов усиления придания формы для дополнительного модуля 14 предварительного придания формы в зависимости от параметров управления CP.
В соответствии с предпочтительным вариантом осуществления изобретения, модуль 5 расширения полосы пропускания содержит калькулятор коэффициентов усиления придания формы, выполненный с возможностью установления коэффициентов усиления придания формы для модуля 18 предварительного придания формы тону в зависимости от временной огибающей TED декодированного аудиосигнала DAS и при этом модуль 18 предварительного придания формы тону выполнен с возможностью придания формы по времени сигналу тона TOS в зависимости от коэффициентов усиления придания формы для модуля 18 предварительного придания формы тону.
В соответствии с предпочтительным вариантом осуществления изобретения калькулятор коэффициентов усиления придания формы для установления коэффициентов усиления придания формы для модуля 18 предварительного придания формы тону выполнен с возможностью установления коэффициентов усиления придания формы для дополнительного модуля 18 предварительного придания формы в зависимости от параметров управления CP.
Фигура 4 иллюстрирует предпочтительный вариант осуществления нового расширения полосы пропускания поэтапно в качестве улучшения переключаемой системы кодирования. Примерная система содержит базовый декодер 21 временной области и базовый кодер 22 частотной области, работающие на временной частоте дискретизации в 12,8 кГц и кадровой синхронизацией 20 мс, каждый. Данные заданные установки дают результатом 256 выходных элементов дискретизации декодера на кадр и выходную полосу пропускания в 6,4 кГц. Посредством применения расширения полосы пропускания, предполагается, что эффективная выходная полоса пропускания системы расширяется до 14,4 кГц с помощью одного сигнала шума, при частоте дискретизации 32,0 кГц. Следовательно, следующие этапы могут быть выполнены для каждого кадра:
На этапе генерирования шума кадр шума с 8,0 кГц эффективной полосой пропускания (14,4 кГц – 6,4 кГц), может быть получен посредством генерирования 20 мс белого шума при дискретизации 16,0 кГц, что дает результатом 320 элементов дискретизации шума.
На этапе извлечения параметра управления, могут быть повторно использованы параметры из базового декодера, например, собственная частота и коэффициент усиления долгосрочного предсказателя (LTP) кодера речи. Кроме того, могут быть извлечены параметры из выходного сигнала базового декодера, например, средняя точка спектра и величина пересечения нулевого уровня. Более того, решение по силе предварительного придания формы может быть основано на параметрах управления, например: сильное придание формы для высокой собственной частоты и высокого коэффициента усиления долгосрочного предсказателя (гласные звуки с высоким основным тоном) и слабое или отсутствующее придание формы для высокой средней точки спектра и величины пересечения нулевого уровня (шипящий звук).
На этапе генерирования временной огибающей фильтр верхних частот может быть использован, чтобы удалять DC часть и очень низкие частоты из выходного сигнала базового декодера DAS, элементы дискретизации времени могут быть преобразованы в энергии и коэффициенты кодирования с линейным предсказанием (LPC) могут быть вычислены из энергий.
На этапе вычисления коэффициентов усиления придания формы коэффициенты кодирования с линейным предсказанием могут быть преобразованы в частотную характеристику длиной в 320 элементов дискретизации, которая представляет собой сглаженную временную огибающую и элементы дискретизации сглаженной временной огибающей могут быть преобразованы в значения коэффициента усиления с учетом целевой силы придания формы.
На этапе предварительного придания формы по времени значения коэффициента предварительного придания формы могут быть применены к элементам дискретизации шума.
На этапе время-частотного преобразования выходной сигнал базового декодера DAS может быть обработан посредством набора квадратурных зеркальных фильтров анализа, включающего в себя фильтры 400 кГц полосы пропускания и размером скачка 1,25 мс, что приводит к время-частотной матрице из 20 субполос квадратурного зеркального фильтра и 16 слотов времени. Кроме того, кадр шума может быть обработан посредством дополнительного набора квадратурных зеркальных фильтров, включающих в себя точно такие же настройки как для выходного сигнала декодера, что приводит к время-частотной матрице из 16 субполос квадратурного зеркального фильтра и 16 слотов времени.
На этапе транспонирования (выбор полосы пропускания) кадр шума может быть сдвинут до целевого диапазона частот и помещен поверх матрицы сигнала декодера в выходную T/F-матрицу из 36 субполос квадратурного зеркального фильтра и 16 слотов времени.
На этапе пост-придания формы по времени и спектру правильный временной тренд для критичных участков сигнала (например, переходов) может быть гарантирован посредством пост-придания формы по времени транспонированной огибающей-квадратурного зеркального фильтра посредством переданной побочной информации. Более того, исходный спектральный наклон и полная энергия могут быть аппроксимированы посредством пост-придания формы по времени транспонированной огибающей-квадратурного зеркального фильтра посредством переданной побочной информации.
На этапе синтезирования выходная время-частотная матрица из 36 субполос может быть обработана посредством набора квадратурных зеркальных фильтров синтеза 40 субполос, что приводит к сверхширокополосному выходному сигналу временной области BAS с частотой дискретизации в 32,0 кГц и эффективной полосой пропускания в 14,4 кГц.
В отношении декодера и способов описанных вариантов осуществления должно быть упомянуто следующее:
Несмотря на то что некоторые аспекты были описаны в контексте устройства, очевидно, что эти аспекты также представляют собой описание соответствующего способа, при этом блок или устройство соответствует этапу способа или признаку этапа способа. Аналогичным образом, аспекты, описанные в контексте этапа способа, также представляют собой описание соответствующего блока или элемента или признака соответствующего устройства.
В зависимости от конкретных требований к реализации, варианты осуществления изобретения могут быть реализованы в аппаратном обеспечении или в программном обеспечении. Реализация может быть выполнена, используя цифровой запоминающий носитель информации, например гибкий диск, DVD, CD, ROM, PROM, EPROM, EEPROM или Флэш-память, с сохраненными на нем электрически читаемыми сигналами управления, которые взаимодействуют (или выполнены с возможностью взаимодействия) с программируемой компьютерной системой таким образом, что выполняется соответствующий способ.
Некоторые варианты осуществления в соответствии с изобретением содержат носитель данных с электрически читаемыми сигналами управления, которые выполнены с возможностью взаимодействия с программируемой компьютерной системой таким образом, что выполняется один из описанных в данном документе способов.
В целом, варианты осуществления настоящего изобретения могут быть реализованы в качестве компьютерного программного продукта с программным кодом, при этом программный код работает для выполнения одного из способов, когда компьютерный программный продукт выполняется на компьютере. Программный код может, например, быть сохранен на машиночитаемом носителе.
Прочие варианты осуществления содержат компьютерную программу для выполнения одного из способов, описываемых в данном документе, которая хранится на машиночитаемом носителе или не временном запоминающем носителе информации.
Другими словами, вариант осуществления способа изобретения является, вследствие этого, компьютерной программой с программным кодом для выполнения одного из способов, описываемых в данном документе, когда компьютерная программа выполняется на компьютере.
Дополнительный вариант осуществления способов изобретения является, вследствие этого, носителем данных (или цифровым запоминающим носителем информации, или машиночитаемым носителем информации), содержащим, записанную на нем, компьютерную программу для выполнения одного из способов, описываемых в данном документе.
Дополнительный вариант осуществления способа изобретения является, вследствие этого, потоком данных или последовательностью сигналов, представляющими компьютерную программу для выполнения одного из способов, описываемых в данном документе. Поток данных или последовательность сигналов могут быть выполнены с возможностью, например, переноса через соединения связи для передачи данных, например, через Интернет.
Дополнительный вариант осуществления содержит средство обработки, например, компьютер, или программируемое логическое устройство, выполненное с возможностью или адаптированное для выполнения одного из способов, описываемых в данном документе.
Дополнительный вариант осуществления содержит компьютер, с инсталлированной на нем компьютерной программой для выполнения одного из способов, описываемых в данном документе.
В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая вентильная матрица) может быть использовано, чтобы выполнять некоторые или все из функциональных возможностей способов, описываемых в данном документе. В некоторых вариантах осуществления, программируемая вентильная матрица может взаимодействовать с микропроцессором для того, чтобы выполнять один из способов, описываемых в данном документе. В целом, способы преимущественно выполняются посредством любого устройства аппаратного обеспечения.
Несмотря на то что данное изобретение было описано с точки зрения нескольких вариантов осуществления, существуют изменения, перестановки, и эквиваленты, которые лежат в рамках объема изобретения. Следует отметить, что существует много альтернативных вариантов реализации способов и композиций настоящего изобретения. Вследствие этого, подразумевается, что нижеследующая формула изобретения интерпретируется как включающая в себя все такие изменения, перестановки и эквиваленты, как лежащие в рамках истинной сущности и объема настоящего изобретения.
Условные обозначения
1 устройство декодера аудио
2 приемник битового потока
3 модуль базового декодера
4 генератор временной огибающей
5 модуль расширения полосы пропускания
6 генератор шума
7 модуль предварительного придания формы
8 время-частотный преобразователь
9 время-частотный преобразователь
10 объединитель
11 частотно-временной преобразователь
12 селектор диапазона частот
13 модуль пост-придания формы
14 дополнительный генератор шума
15 дополнительный модуль предварительного придания формы
16 дополнительный время-частотный преобразователь
17 генератор тона
18 модуль предварительного придания формы тону
19 время-частотный преобразователь
20 объединитель
21 базовый декодер временной области
22 базовый декодер частотной области
23 экстрактор параметра управления
24 калькулятор коэффициентов усиления придания формы
BS битовый поток
EAS закодированный аудиосигнал
DAS декодированный аудиосигнал
TED временная огибающая
BEF сигнал расширения полосы пропускания частотной области
NOS сигнал шума
SNS сигнал шума с приданной формой
FNS сигнал шума частотной области
FDS декодированный аудиосигнал частотной области
BFS аудиосигнал частотной области с расширенной полосой пропускания
BAS аудиосигнал временной области с расширенной полосой пропускания
FSR сигнал шума частотной области с выбранным диапазоном частот
SIS сигнал побочной информации
NOSF дополнительный сигнал шума
SNSF дополнительный сигнал шума с приданной формой
FNSF дополнительный сигнал шума частотной области
TOS сигнал тона
SRS сигнал тона с приданной формой
FTS сигнал тона частотной области
SG коэффициенты усиления придания формы
CP параметры управления.
Ссылки
[1] Bessette, B.; и др.: «The Adaptive Multirate Wideband Speech Codec (AMR-WB)», IEEE Transactions on Speech and Audio Processing, Том 10, No. 8, ноябрь 2002.
[2] Dietz, M.; и др.: «Spectral Band Replication, a novel approach in audio coding», Proceedings of the 112th AES Convention, май 2002.
[3] Miao, L.; и др.: «G.711.1 Annex D and G.722 Annex B - New ITU-T Super Wideband Codecs», IEEE ICASSP 2011, стр. 5232-5235.

Claims (41)

1. Устройство декодера аудио для декодирования битового потока (BS), содержащее:
приемник (2) битового потока, выполненный с возможностью приема битового потока (BS) и выведения закодированного аудиосигнала (EAS) из битового потока (BS);
модуль (3) базового декодера, выполненный с возможностью выведения декодированного аудиосигнала (DAS) во временной области из закодированного аудиосигнала (EAS);
генератор (4) временной огибающей, выполненный с возможностью определения временной огибающей (TED) декодированного аудиосигнала (DAS);
модуль (5) расширения полосы пропускания, выполненный с возможностью создания сигнала расширения полосы пропускания частотной области (BEF), при этом модуль (5) расширения полосы пропускания содержит генератор (6) шума, выполненный с возможностью создания сигнала шума (NOS) во временной области, при этом модуль (5) расширения полосы пропускания содержит модуль (7) предварительного придания формы, выполненный с возможностью придания формы по времени сигналу шума (NOS) в зависимости от временной огибающей (TED) декодированного аудиосигнала (DAS) для того, чтобы создать сигнал шума с приданной формой (SNS), при этом модуль (5) расширения полосы пропускания содержит время-частотный преобразователь (8), выполненный с возможностью трансформирования сигнала шума с приданной формой (SNS) в сигнал шума частотной области (FNS); при этом сигнал расширения полосы пропускания частотной области (BEF) зависит от сигнала шума частотной области (FNS);
время-частотный преобразователь (9), выполненный с возможностью трансформирования декодированного аудиосигнала (DAS) в декодированный аудиосигнал частотной области (FDS);
объединитель (10), выполненный с возможностью объединения декодированного аудиосигнала частотной области (FDS) и сигнала расширения полосы пропускания частотной области (BEF) для того, чтобы создать аудиосигнал частотной области с расширенной полосой пропускания (BFS); и
частотно-временной преобразователь (11), выполненный с возможностью трансформирования аудиосигнала частотной области с расширенной полосой пропускания (BFS) в аудиосигнал временной области с расширенной полосой пропускания (BAS).
2. Устройство декодера аудио по п. 1, в котором сигнал расширения полосы пропускания частотной области (BEF) создается без репликации спектральной полосы.
3. Устройство декодера аудио по п. 1, в котором модуль (5) расширения полосы пропускания выполнен таким образом, что придание формы по времени сигналу шума (NOS) выполняется чрезмерно выраженным образом посредством динамического расширения временной огибающей.
4. Устройство декодера аудио по п. 1, в котором модуль (5) расширения полосы пропускания выполнен таким образом, что придание формы по времени сигналу шума (NOS) выполняется по субполосам путем разбиения сигнала шума (NOS) на несколько сигналов шума субполосы посредством набора из полосовых фильтров и выполнения конкретного придания формы по времени в отношении каждого из сигналов шума субполосы.
5. Устройство декодера аудио по п. 1, в котором модуль (5) расширения полосы пропускания содержит селектор (12) диапазона частот, выполненный с возможностью установки диапазона частот сигнала расширения полосы пропускания частотной области (BEF).
6. Устройство декодера аудио по п. 1, в котором модуль (5) расширения полосы пропускания содержит модуль пост-придания формы, выполненный с возможностью придания формы по времени и/или по спектру в частной области сигналу расширения полосы пропускания частотной области (BEF).
7. Устройство декодера аудио по п. 1, в котором приемник (2) битового потока выполнен с возможностью выведения сигнала побочной информации (SIS) из битового потока (BS), при этом модуль (5) расширения полосы пропускания выполнен с возможностью создания сигнала расширения полосы пропускания частотной области (BEF) в зависимости от сигнала побочной информации (SIS).
8. Устройство декодера аудио по п. 7, в котором генератор (6) шума выполнен с возможностью создания сигнала шума (NOS) в зависимости от сигнала побочной информации (SIS).
9. Устройство декодера аудио по п. 7, в котором модуль (7) предварительного придания формы выполнен с возможностью придания формы по времени сигналу шума (NOS) в зависимости от сигнала побочной информации (SIS).
10. Устройство декодера аудио по п. 7, в котором модуль (13) пост-придания формы выполнен с возможностью придания формы по времени и/или по спектру сигналу расширения полосы пропускания частотной области (BEF) в зависимости от сигнала побочной информации (SIS).
11. Устройство декодера аудио по п. 1, в котором модуль (5) расширения полосы пропускания содержит дополнительный генератор (14) шума, выполненный с возможностью создания дополнительного сигнала шума (NOSF) во временной области, дополнительный модуль (15) предварительного придания формы, выполненный с возможностью придания формы по времени дополнительному сигналу шума (NOSF) в зависимости от временной огибающей (TED) декодированного аудиосигнала (DAS) для того, чтобы создавать дополнительный сигнал шума с приданной формой (SNSF), и дополнительный время-частотный преобразователь (16), выполненный с возможностью трансформирования дополнительного сигнала шума с приданной формой (SNSF) в дополнительный сигнал шума частотной области (FNSF), при этом сигнал расширения полосы пропускания частотной области (BEF) зависит от дополнительного сигнала шума частотной области (FNSF).
12. Устройство декодера аудио по п. 11, в котором модуль (5) расширения полосы пропускания выполнен таким образом, что придание формы по времени дополнительному сигналу шума (NOSF) выполняется чрезмерно выраженным образом посредством динамического расширения временной огибающей.
13. Устройство декодера аудио по п. 11, в котором модуль (5) расширения полосы пропускания выполнен таким образом, что придание формы по времени дополнительному сигналу шума (NOSF) выполняется по субполосам путем разбиения дополнительного сигнала шума (NOSF) на несколько дополнительных сигналов шума субполосы посредством набора из полосовых фильтров и выполнения конкретного придания формы по времени в отношении каждого из дополнительных сигналов шума субполосы.
14. Устройство декодера аудио по п. 1, в котором модуль (5) расширения полосы пропускания содержит генератор (17) тона, выполненный с возможностью создания сигнала тона (TOS) во временной области, модуль (18) предварительного придания формы тону, выполненный с возможностью придания формы по времени сигналу тона (TOS) в зависимости от временной огибающей (TED) декодированного аудиосигнала (DAS) для того, чтобы создать сигнал тона с приданной формой (STS), и время-частотный преобразователь (19), выполненный с возможностью трансформирования сигнала тона с приданной формой (STS) в сигнал тона частотной области (FTS), при этом сигнал расширения полосы пропускания частотной области (BEF) зависит от сигнала тона частотной области (FTS).
15. Устройство декодера аудио по п. 1, в котором модуль (5) базового декодера содержит базовый декодер (21) временной области и базовый декодер (22) частотной области, при этом либо базовый декодер (21) временной области, либо базовый декодер (22) частотной области используется для выведения декодированного аудиосигнала (DAS) из закодированного аудиосигнала (EAS).
16. Устройство декодера аудио по п. 15, в котором экстрактор (23) параметра управления выполнен с возможностью извлечения параметров управления (CP), используемых модулем (3) базового декодера, из декодированного аудиосигнала (DAS), при этом модуль (5) расширения полосы пропускания выполнен с возможностью создания сигнала расширения полосы пропускания частотной области (BEF) в зависимости от параметров управления (CP).
17. Устройство декодера аудио по п. 1, в котором модуль (5) расширения полосы пропускания содержит калькулятор (24) коэффициентов усиления придания формы, выполненный с возможностью установления коэффициентов усиления придания формы (SG) для модуля (7) предварительного придания формы в зависимости от временной огибающей (TED) декодированного аудиосигнала (DAS), при этом модуль (7) предварительного придания формы выполнен с возможностью придания формы по времени сигналу шума (NOS) в зависимости от коэффициентов усиления придания формы (SG) для модуля (7) предварительного придания формы.
18. Устройство декодера аудио по п. 16, в котором калькулятор (24) коэффициентов усиления придания формы для установления коэффициентов усиления придания формы (SG) для модуля (7) предварительного придания формы выполнен с возможностью установления коэффициентов усиления придания формы (SG) для модуля (7) предварительного придания формы в зависимости от параметров управления (CP).
19. Устройство декодера аудио по п. 11, в котором модуль (5) расширения полосы пропускания содержит калькулятор коэффициентов усиления придания формы, выполненный с возможностью установления коэффициентов усиления придания формы для дополнительного модуля (15) предварительного придания формы в зависимости от временной огибающей (TED) декодированного аудиосигнала (DAS), при этом дополнительный модуль (14) предварительного придания формы выполнен с возможностью придания формы по времени дополнительному сигналу шума (NOSF) в зависимости от коэффициентов усиления придания формы для дополнительного модуля (14) предварительного придания формы.
20. Устройство декодера аудио по п. 16, в котором калькулятор коэффициентов усиления придания формы для установления коэффициентов усиления придания формы для дополнительного модуля (15) предварительного придания формы выполнен с возможностью установления коэффициентов усиления придания формы для дополнительного модуля (15) предварительного придания формы в зависимости от параметров управления (CP).
21. Устройство декодера аудио по п. 14, в котором модуль (5) расширения полосы пропускания содержит калькулятор коэффициентов усиления придания формы, выполненный с возможностью установления коэффициентов усиления придания формы для модуля (18) предварительного придания формы тону в зависимости от временной огибающей (TED) декодированного аудиосигнала (DAS), при этом модуль (18) предварительного придания формы тону выполнен с возможностью придания формы по времени сигналу тона (TOS) в зависимости от коэффициентов усиления придания формы для модуля (18) предварительного придания формы тону.
22. Устройство декодера аудио по п. 16, в котором калькулятор коэффициентов усиления придания формы для установления коэффициентов усиления придания формы для модуля (18) предварительного придания формы тону выполнен с возможностью установления коэффициентов усиления придания формы для дополнительного модуля (18) предварительного придания формы в зависимости от параметров управления (CP).
23. Способ декодирования битового потока (BS), содержащий этапы, на которых:
принимают битовый поток (BS) и выводят закодированный аудиосигнал (EAS) из битового потока (BS), используя приемник (2) битового потока;
выводят декодированный аудиосигнал (DAS) во временной области из закодированного аудиосигнала (EAS), используя модуль (3) базового декодера;
определяют временную огибающую (TED) декодированного аудиосигнала (DAS), используя генератор (4) временной огибающей;
создают сигнал расширения полосы пропускания частотной области (BEF), используя модуль (5) расширения полосы пропускания, выполняющий этапы, на которых:
создают сигнал шума (NOS) во временной области, используя генератор (6) шума модуля (5) расширения полосы пропускания,
придают форму по времени сигналу шума (NOS) в зависимости от временной огибающей (TED) декодированного аудиосигнала (DAS) для того, чтобы создать сигнал шума с приданной формой (SNS), используя модуль (7) предварительного придания формы модуля (5) расширения полосы пропускания,
трансформируют сигнал шума с приданной формой (SNS) в сигнал шума частотной области (FNS), при этом сигнал расширения полосы пропускания частотной области (BEF) зависит от сигнала шума частотной области (FNS), используя время-частотный преобразователь (8) модуля (5) расширения полосы пропускания;
трансформируют декодированный аудиосигнал (DAS) в декодированный аудиосигнал частотной области (FDS), используя дополнительный время-частотный преобразователь (9);
объединяют декодированный аудиосигнал частотной области (FDS) и сигнал расширения полосы пропускания частотной области (BEF) для того, чтобы создать аудиосигнал частотной области с расширенной полосой пропускания (BFS), используя объединитель (10); и
трансформируют аудиосигнал частотной области с расширенной полосой пропускания (BFS) в аудиосигнал временной области с расширенной полосой пропускания (BAS), используя частотно-временной преобразователь (11).
24. Машиночитаемый носитель информации, содержащий компьютерную программу для реализации, при ее исполнении в процессоре, способа по п. 23.
RU2016121163A 2013-10-31 2014-10-30 Расширение полосы пропускания аудио посредством вставки шума с предварительно приданной формой по времени в частотной области RU2666468C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13191127 2013-10-31
EP13191127.3 2013-10-31
PCT/EP2014/073375 WO2015063227A1 (en) 2013-10-31 2014-10-30 Audio bandwidth extension by insertion of temporal pre-shaped noise in frequency domain

Publications (2)

Publication Number Publication Date
RU2016121163A RU2016121163A (ru) 2017-12-05
RU2666468C2 true RU2666468C2 (ru) 2018-09-07

Family

ID=51845400

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016121163A RU2666468C2 (ru) 2013-10-31 2014-10-30 Расширение полосы пропускания аудио посредством вставки шума с предварительно приданной формой по времени в частотной области

Country Status (11)

Country Link
US (1) US9805731B2 (ru)
EP (1) EP3063761B1 (ru)
JP (1) JP6396459B2 (ru)
KR (1) KR101852749B1 (ru)
CN (1) CN105706166B (ru)
CA (1) CA2927990C (ru)
ES (1) ES2657337T3 (ru)
MX (1) MX355452B (ru)
RU (1) RU2666468C2 (ru)
TR (1) TR201802303T4 (ru)
WO (1) WO2015063227A1 (ru)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3483882A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
EP3483878A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
EP3483883A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
WO2019091573A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an audio signal using downsampling or interpolation of scale parameters
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
EP3483880A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
EP3671741A1 (en) * 2018-12-21 2020-06-24 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Audio processor and method for generating a frequency-enhanced audio signal using pulse processing
CN110534128B (zh) * 2019-08-09 2021-11-12 普联技术有限公司 一种噪音处理方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1451812B1 (en) * 2001-11-23 2006-06-21 Koninklijke Philips Electronics N.V. Audio signal bandwidth extension
EP2228790A2 (en) * 1999-06-21 2010-09-15 DTS, Inc. Improving sound quality of established low bit-rate audio coding systems without loss of decoder compatility
WO2010115845A1 (en) * 2009-04-09 2010-10-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
WO2011000780A1 (en) * 2009-06-29 2011-01-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Bandwidth extension encoder, bandwidth extension decoder and phase vocoder
US20110054911A1 (en) * 2009-08-31 2011-03-03 Apple Inc. Enhanced Audio Decoder
US20120136670A1 (en) * 2010-06-09 2012-05-31 Tomokazu Ishikawa Bandwidth extension method, bandwidth extension apparatus, program, integrated circuit, and audio decoding apparatus

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3605706B2 (ja) * 1994-10-06 2004-12-22 伸 中川 音響信号再生方法及び装置
CN1830148B (zh) * 2003-07-29 2010-11-24 松下电器产业株式会社 音频信号频带扩展装置
CA2457988A1 (en) * 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
CN101138274B (zh) * 2005-04-15 2011-07-06 杜比国际公司 用于处理去相干信号或组合信号的设备和方法
CN101140759B (zh) * 2006-09-08 2010-05-12 华为技术有限公司 语音或音频信号的带宽扩展方法及系统
JP2008096567A (ja) * 2006-10-10 2008-04-24 Matsushita Electric Ind Co Ltd オーディオ符号化装置およびオーディオ符号化方法ならびにプログラム
ES2526333T3 (es) * 2007-08-27 2015-01-09 Telefonaktiebolaget L M Ericsson (Publ) Frecuencia de transición adaptativa entre el rellenado con ruido y la extensión del ancho de banda
DK3401907T3 (da) * 2007-08-27 2020-03-02 Ericsson Telefon Ab L M Fremgangsmåde og indretning til perceptuel spektral afkodning af et audiosignal omfattende udfyldning af spektrale huller
US9275652B2 (en) * 2008-03-10 2016-03-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for manipulating an audio signal having a transient event
CN101281748B (zh) * 2008-05-14 2011-06-15 武汉大学 用编码索引实现的空缺子带填充方法及编码索引生成方法
WO2010028297A1 (en) * 2008-09-06 2010-03-11 GH Innovation, Inc. Selective bandwidth extension
US8532983B2 (en) * 2008-09-06 2013-09-10 Huawei Technologies Co., Ltd. Adaptive frequency prediction for encoding or decoding an audio signal
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
RU2630390C2 (ru) * 2011-02-14 2017-09-07 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для маскирования ошибок при стандартизированном кодировании речи и аудио с низкой задержкой (usac)
KR102053900B1 (ko) * 2011-05-13 2019-12-09 삼성전자주식회사 노이즈 필링방법, 오디오 복호화방법 및 장치, 그 기록매체 및 이를 채용하는 멀티미디어 기기

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2228790A2 (en) * 1999-06-21 2010-09-15 DTS, Inc. Improving sound quality of established low bit-rate audio coding systems without loss of decoder compatility
EP1451812B1 (en) * 2001-11-23 2006-06-21 Koninklijke Philips Electronics N.V. Audio signal bandwidth extension
WO2010115845A1 (en) * 2009-04-09 2010-10-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
RU2011109670A (ru) * 2009-04-09 2012-09-27 Фраунхофер-Гезелльшафт цур Фердерунг дер ангевандтен (DE) Устройство и способ формирования синтезированного аудиосигнала и кодирования аудиосигнала
WO2011000780A1 (en) * 2009-06-29 2011-01-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Bandwidth extension encoder, bandwidth extension decoder and phase vocoder
US20110054911A1 (en) * 2009-08-31 2011-03-03 Apple Inc. Enhanced Audio Decoder
US20120136670A1 (en) * 2010-06-09 2012-05-31 Tomokazu Ishikawa Bandwidth extension method, bandwidth extension apparatus, program, integrated circuit, and audio decoding apparatus

Also Published As

Publication number Publication date
RU2016121163A (ru) 2017-12-05
US20160240200A1 (en) 2016-08-18
WO2015063227A1 (en) 2015-05-07
JP6396459B2 (ja) 2018-09-26
MX2016005167A (es) 2016-07-05
EP3063761A1 (en) 2016-09-07
CN105706166B (zh) 2020-07-14
KR101852749B1 (ko) 2018-06-07
ES2657337T3 (es) 2018-03-02
EP3063761B1 (en) 2017-11-22
CA2927990A1 (en) 2015-05-07
JP2016541012A (ja) 2016-12-28
CN105706166A (zh) 2016-06-22
TR201802303T4 (tr) 2018-03-21
US9805731B2 (en) 2017-10-31
CA2927990C (en) 2018-08-14
KR20160075768A (ko) 2016-06-29
MX355452B (es) 2018-04-18

Similar Documents

Publication Publication Date Title
RU2666468C2 (ru) Расширение полосы пропускания аудио посредством вставки шума с предварительно приданной формой по времени в частотной области
JP7135132B2 (ja) 周波数ドメインプロセッサ、時間ドメインプロセッサ及び連続的な初期化のためのクロスプロセッサを使用するオーディオ符号器及び復号器
RU2646314C1 (ru) Гармоническое преобразование, усовершенствованное перекрестным произведением
RU2607262C2 (ru) Устройство и способ для воспроизведения аудиосигнала, устройство и способ для генерирования кодированного аудиосигнала, компьютерная программа и кодированный аудиосигнал
RU2671997C2 (ru) Кодер и декодер аудиосигнала, использующие процессор частотной области с заполнением промежутка в полной полосе и процессор временной области
CN105793924B (zh) 使用错误隐藏提供经解码的音频信息的音频解码器及方法
CN102089812B (zh) 用以使用混叠切换方案将音频信号编码/解码的装置与方法
TWI492222B (zh) 用以產生合成音訊信號及將音訊信號編碼之裝置與方法
RU2483364C2 (ru) Схема аудиокодирования/декодирования с переключением байпас
AU2010268160B2 (en) Bandwidth extension encoder, bandwidth extension decoder and phase vocoder
RU2676870C1 (ru) Декодер для формирования аудиосигнала с улучшенной частотной характеристикой, способ декодирования, кодер для формирования кодированного сигнала и способ кодирования с использованием компактной дополнительной информации для выбора
JP2019511738A (ja) ハイブリッドコンシールメント方法：オーディオコーデックにおける周波数および時間ドメインパケットロスの組み合わせ
RU2574849C2 (ru) Устройство и способ для кодирования и декодирования аудиосигнала с использованием выровненной части опережающего просмотра
BR112016009563B1 (pt) Extensão de largura de banda de áudio através da inserção de ruído temporal pré- formado no domínio de frequência