RU2512103C2 - Шумовой фон, устройство обработки шумового фона, метод обеспечения параметров шумового фона, метод обеспечения спектрального представления шумового фона аудиосигнала, компьютерная программа и кодированный аудиосигнал - Google Patents

Шумовой фон, устройство обработки шумового фона, метод обеспечения параметров шумового фона, метод обеспечения спектрального представления шумового фона аудиосигнала, компьютерная программа и кодированный аудиосигнал Download PDF

Info

Publication number
RU2512103C2
RU2512103C2 RU2011102410/08A RU2011102410A RU2512103C2 RU 2512103 C2 RU2512103 C2 RU 2512103C2 RU 2011102410/08 A RU2011102410/08 A RU 2011102410/08A RU 2011102410 A RU2011102410 A RU 2011102410A RU 2512103 C2 RU2512103 C2 RU 2512103C2
Authority
RU
Russia
Prior art keywords
spectral
noise
quantized
representation
regions
Prior art date
Application number
RU2011102410/08A
Other languages
English (en)
Other versions
RU2011102410A (ru
Inventor
Николаус РЕТТЕЛБАХ
Бернхард ГРИЛЛ
Гильом ФУХС
Стефан ГЕЙЕРСБЕРГЕР
Маркус МУЛТРУС
Харальд ПОПП
Юрген ХЕРРЕ
Стефан ВАБНИК
Геральд ШУЛЛЕР
Йенс ХИРШФЕЛЬД
Original Assignee
Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=40941986&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=RU2512103(C2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. filed Critical Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.
Publication of RU2011102410A publication Critical patent/RU2011102410A/ru
Application granted granted Critical
Publication of RU2512103C2 publication Critical patent/RU2512103C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/035—Scalar quantisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

Шумозаполнитель для создания шумозаполненного спектрального представления звукового сигнала на основе входного спектрального представления звукового сигнала состоит из идентификатора спектральной области, созданного для идентификации спектральных областей входного спектрального представления, отделенных от ненулевых спектральных областей входного спектрального представления, по крайней мере, одной промежуточной спектральной областью для того, чтобы получить идентифицированные спектральные области; и устройства для вставки шума, созданно для того, чтобы выборочно вносить шум в идентифицированные спектральные области для получения шумозаполненного спектрального представления звукового сигнала. Вычислитель параметра шумозаполнения для расчета параметра шумозаполнения на основе квантованного спектрального представления звукового сигнала включает в себя идентификатор спектральной области, как упоминалось выше, и вычислитель значения шума, предназначенный для выборочного рассмотрения ошибок квантования в идентифицированных спектральных областях для расчета параметра шумозаполнения. Соответственно, возможно получить кодированное представление звукового сигнала, представляющее звуковой сигнал. Технический результат - улучшение шумозаполнения кодированного звукового сигнала, ограничивая нежелательные искажения. 6 н. и 9 з.п. ф-лы, 9 ил.

Description

Предпосылки создания изобретения
Реализация изобретения позволяет использовать шумозаполнитель с целью создания заполненного шумом спектрального представления звукового сигнала на основе входного спектрального представления звукового сигнала, вычислять параметр шумозаполнения на основе квантованного спектрального представления звукового сигнала, создать кодированный звуковой сигнал, использовать новый метод создания заполненного шумом спектрального звукового сигнала, использовать новый метод вычисления параметра шумозаполнения на основе квантованного спектрального звукового сигнала, использовать компьютерные программы для осуществления вышеуказанных методов.
Далее будут описаны некоторые сценарии, в которых изобретение может быть реализовано. Многие кодеры звуковых сигналов в частотной области основаны на идее, что некоторые области частот или области спектра (например, частотные линии или спектральные линии, полученные в результате преобразования временной области в частотную область) более важны, чем другие спектральные области. В связи с этим спектральные области с высокой психоакустической релевантностью обычно кодируются с большей точностью, чем спектральные области с меньшей психоакустической релевантностью. Психоакустическая релевантность разных спектральных областей может быть, например, вычислена с использованием психоакустической модели, которая принимает во внимание маскировку более слабых спектральных областей прилегающими более сильными спектральными пиками.
При необходимости понизить битрейт кодированного звукового сигнала до более низкого уровня некоторые спектральные области квантуются с очень низкой точностью (например, с точностью один бит или два бита). Соответственно многие спектральные области, квантованные с низкой точностью, квантуются до нуля. Поэтому при низком битрейте звуковые кодеры с преобразованием неизбежно функционируют с искажениями, особенно с искажениями, вызванными частотными линиями, квантованными до нуля. Действительно, грубое квантование спектрального значения при низком битрейте звукового кодирования может привести к очень разреженному спектру после инверсного квантования, так как многие спектральные линии могут быть квантованы до нуля. Эти частотные пробелы в восстановленном сигнале производят нежелательные звуковые искажения. Это может сделать воспроизводимый звук слишком резким или нестабильным (свист высокого тона), когда частотные пробелы в спектре перемещаются от фрейма к фрейму.
Шумозаполнение является средством для маскировки этих искажений путем заполнения на стороне декодера квантованных до нуля коэффициентов или частотных полос произвольным шумом. Энергия вставленного шума определяется параметром, вычисленным и переданным кодером.
Известны различные концепции шумозаполнения. Например, так называемый AMR-WR+ сочетает в себе шумозаполнение и дискретное преобразование Фурье (ДПФ), как описано, например, в ссылке [1]. Кроме того, международный стандарт ITU-T G.729.1 определяет концепцию, которая сочетает в себе шумозаполнение и изменение дискретного косинусного преобразования (МСКТ). Подробности представлены в работе [2].
Дальнейшие аспекты, касающиеся шумозаполнения, описаны в международной заявке на патент PCT/IB2002/001388 от Koninklijke Philips Electronics NV (см. ссылку [3]).
Тем не менее традиционные подходы к шумозаполнению приводят к значительным звуковым искажениям.
В связи с этим возникает необходимость создать концепцию шумозаполнения, которая обеспечит улучшение звукового впечатления.
Краткое описание изобретения
Форма реализации настоящего изобретения представляет собой шумозаполнитель для получения заполненного шумом спектрального звукового сигнала на основе входного спектрального звукового сигнала. Шумозаполнитель включает в себя идентификатор спектральной области, предназначенный для идентификации спектральных областей (например, спектральных линий или спектральных бункеров) входного спектрального сигнала, отделенного от ненулевых спектральных областей (например, спектральных линий или спектральных бункеров) входного спектрального сигнала, по крайней мере, одной промежуточной спектральной областью для получения идентифицированных спектральных областей. Шумозаполнитель также включает в себя устройство для вставки шума, предназначенное для того, чтобы выборочно вставлять шум в идентифицированные спектральные области (например, спектральные линии или спектральные бункеры) для получения заполненных шумом спектральных представлений звукового сигнала.
Применение данного изобретения основано на том, что тональные компоненты спектрального звукового сигнала, как правило, ухудшаются с точки зрения слухового впечатления, если шумозаполнение применяется в непосредственной близости от таких тональных компонентов. В связи с этим установлено, что улучшения слухового впечатления шумозаполненного звукового сигнала можно добиться, если применять шумозаполнение только в спектральных областях, которые отдалены от таких тональных, ненулевых спектральных областей. Соответственно, тональные компоненты спектра звукового сигнала (которые не квантованы к нулю в квантованном спектральном представлении на входе в шумозаполнитель) остаются слышимыми (т.е. не размываются близко расположенным шумом), при этом удается эффективно избежать появления больших спектральных пробелов.
В предпочтительном варианте осуществления настоящего изобретения, идентификатор спектральной области предназначен для определения спектральных линий входного спектрального представления, которые квантованы к нулю и которые включают, по крайней мере, первое заданное число низкочастотных соседних спектральных линий, квантованных к нулю, и, по крайней мере, второе заданное число высокочастотных соседних спектральных линий, квантованных к нулю, как определенную спектральную область, где первое заданное число больше или равно единице и где второе заданное число больше или равно единице. В этом способе реализации изобретения устройство для вставки шума предназначено для того, чтобы выборочно вносить шум в определенные спектральные линии, оставляя спектральные линии, квантованные до ненулевого значения, и спектральные линии, квантованные к нулю, но не имеющие первое заданное число низкочастотных соседних спектральных линий, квантованных к нулю, или второе заданное число высокочастотных соседних спектральных линий, квантованных к нулю, не подвергнутыми шумозаполнению. Таким образом, шумозаполнение избирательно в том смысле, что шум вводится только в спектральные линии, которые квантованы к нулю и которые находятся на отдалении от линий, квантованных до ненулевого значения, как в верхнем, так и в нижнем спектральном направлении, например, первым заданным числом низкочастотных соседних спектральных линий, квантованных к нулю, и вторым заданным числом высокочастотных соседних спектральных линий, квантованных к нулю.
В предпочтительном варианте реализации изобретения, первое заданное число равно второму заданному числу, такому что минимальное расстояние в направлении частот вверх от линий, квантованных до ненулевого значения, равно минимальному расстоянию в направлении частоты вниз от линий, квантованных до ненулевого значения.
В предпочтительном варианте реализации изобретения шумозаполнитель предназначен для того, чтобы вносить шум только в спектральные области в верхней части спектрального представления звукового сигнала, оставляя нижнюю часть спектрального представления звукового сигнала не затронутой шумозаполнением. Такая концепция полезна, так как, как правило, более высокие частоты менее важны для слухового восприятия, чем низкие частоты. Значения, квантованные к нулю, также в основном возникают во второй половине спектра (т.е. для высоких частот). Также добавление шума на высоких частотах менее вероятно приведет к конечному восстановлению звука.
В предпочтительном варианте реализации изобретения, идентификатор спектральной области суммирует квантованные значения интенсивности (например, значения энергии или амплитуды) в спектральных областях в заданном двустороннем спектральном окружении данной спектральной области (т.е. спектральном окружении, охватывающем низкие и более высокие частоты) для получения общего значения и оценки общего значения для того, чтобы решить, является ли данная спектральная область идентифицированной спектральной областью или нет. Было установлено, что сумма значений энергии квантованного спектра в двустороннем спектральном окружении данной спектральной области имеет значение для решения, следует ли применить шумозаполнение в данной спектральной области.
В другом предпочтительном варианте реализации изобретения идентификатор спектральной области предназначен для сканирования диапазона спектральных областей входного спектрального представления для обнаружения смежных последовательностей спектральных областей, квантованных к нулю, и определения одной или нескольких центральных спектральных областей (т.е. не лежащих на границе спектральной области) вышеупомянутых смежных последовательностей в качестве идентифицированных спектральных областей.
Было установлено, что выявление определенной "Run - длины " в спектральных областях, квантованных к нулю, является задачей, которая характеризуется особенно низкой вычислительной сложностью. Для выявления таких смежных последовательностей спектральных областей можно определить, являются ли все спектральные области в пределах этой последовательности спектральных областей квантованными к нулю, что можно вычислить с помощью сравнительно простого алгоритма или цепи. Если будет установлено, что такая смежная последовательность спектральных областей квантуется в ноль, одна или несколько из внутренних спектральных областей в последовательности (которые расположены достаточно далеко от спектральных областей за пределами данной последовательности спектральных областей) рассматриваются как идентифицированные спектральные области. Таким образом, при помощи сканирования диапазона спектральных областей (например, последовательно выбирая смещенные последовательности спектральных областей), можно провести эффективный анализ спектрального представления, чтобы определить спектральные области, квантованные к нулю и отдаленные от спектральных областей, квантованных в ненулевое значение, на заданное минимальное расстояние.
Другой вариант использования изобретения - применение вычислителя параметра шумозаполнения для вычисления параметра шумозаполнения на основе квантованного спектрального представления звукового сигнала. Вычисление параметра шумозаполнения включает в себя идентификатор спектральной области, предназначенный для идентификации спектральных областей квантованного спектрального представления, отделенных от ненулевых спектральных областей квантованного спектрального представления, по крайней мере, одной промежуточной спектральной областью для выявления идентифицированных спектральных областей. Вычисление параметра шумозаполнения включает в себя вычислитель значения шума, который предназначен для выборочного рассмотрения ошибок квантования в идентифицированных спектральных областях для вычисления параметра шумозаполнения. Вычислитель параметра шумозаполнения основан на идее, что желательным является ограничить шумозаполнние со стороны декодера спектральными областями, которые отделены от тональных спектральных областей (квантованных в ненулевое значение), и что, принимая эту концепцию во внимание, следовательно, параметр шума должен рассчитываться на стороне кодера. Соответственно, можно получить параметр шумозаполнения, что особенно хорошо подходит для описанной выше концепции декодера. Кроме того, было обнаружено, что спектральные области, которые квантованны к нулю, но которые очень близки к спектральным областям, квантованным в ненулевое значение, часто не отражают действительно шумоподобного аудиоконтента, а, скорее, очень тесно связаны с соседними тональными (квантованными в ненулевое значение) спектральными областями. Соответственно, было установлено, что, как правило, нежелательно рассматривать ошибки квантования спектральных областей, которые находятся рядом со спектральными областями, квантованными в ненулевое значение, для расчета параметра шумозаполнения, потому что это, как правило, приводит к сильной переоценка шума, в результате чего получается слишком шумное реконструированное спектральное представление.
Таким образом, концепция вычисления параметра шумозаполнения, описанная здесь, может использоваться в сочетании с описанной выше концепцией шумозаполнения и даже в сочетании с обычными концепциями шумозаполнения.
В предпочтительных вариантах использования изобретения концепция идентификации спектральных областей, которая была обсуждена в связи с шумозаполнителем, может также применяться в сочетании с вычислением параметра шумозаполнения.
В предпочтительном варианте использования изобретения, вычислитель значения шума предназначен для рассмотрения действительной энергии ошибки квантования идентифицированной спектральной области для расчета параметра шумозаполнения. Было установлено, что рассмотрение фактической ошибки квантования (а не приблизительной ошибки квантования или средней ошибки квантования), как правило, приводит к более высоким результатам, так как фактическая ошибка квантования обычно отличается от среднестатистической ошибки квантования.
В предпочтительном варианте использования, вычислитель значения шума предназначен для того, чтобы определить энергию ошибки нетонального квантования, распределенную на множество идентифицированных спектральных областей в отношении к энергии ошибки тонального квантования, сосредоточенной в одной спектральной области. Эта концепция основана на открытии того факта, что нетональный широкополосный шум, средняя энергия которого лежит ниже порога квантования и который вследствие этого квантован к нулю, имеет гораздо большее значение для шумозаполнителя, чем один тональный звуковой компонент, интенсивность которого лежит ниже порога квантования, даже если нетональный широкополосный шум и тональный компонент были квантованы к нулю. Причина состоит в том, что шумозаполнитель путем генерации случайных шумов на декодер может смоделировать отсутствующий нетональный широкополосный шум в квантованном спектральном представлении, но не отсутствующий тональный компонент. Таким образом, предпочтение нетональных компонентов шума, квантованных до нуля, перед тональными компонентами, квантованными к нулю, влечет за собой более реалистичную звуковую реконструкцию. Это также связано с тем, что слуховое восприятие человеком ухудшается из-за наличия спектральных пробелов гораздо больше (например, в виде отсутствия широкополосного шума, квантованного к нулю), чем из-за отсутствия малого спектрального пика, квантованного к нулю. Тональные компоненты могут быть сосредоточены в одной спектральной линии или могут быть распределены по нескольким смежным спектральным линиям (например, i-1, i, i+1). Спектральная область может, например, состоять из одной или нескольких спектральных линий.
В предпочтительном варианте использования, вычислитель значения шума предназначен для того, чтобы рассчитать общее значение энергии ошибок логарифмического квантования в идентифицированных спектральных областях для получения параметра шумозаполнения. С помощью расчета общего значения энергии ошибок логарифмического квантования в идентифицированных спектральных областях описанное выше относительное превосходство нетональных спектральных областей, квантованных до нуля, над тональными областями, квантованными к нулю, можно получить самым эффективным образом.
Другой вариант применения изобретения, предполагает создание представления кодированного звукового сигнала для представления звукового сигнала. Представление кодированного звукового сигнала включает в себя представление кодированной квантованной спектральной области звукового сигнала и параметр кодированного шумозаполнения. Параметр шумозаполнения представляет ошибку квантования спектральных областей спектрального представления домена, квантованного к нулю, и отдаленного от спектральных областей представления спектрального домена, квантованного к ненулевому значению, на заданное число промежуточных спектральных областей. Описанное выше представление кодированного звукового сигнала используется для шумозаполнителя, описанного выше, и может быть получено с помощью вычислителя параметра шумозаполнения, о котором говорилось выше. Представление кодированного звукового сигнала позволяет производить реконструкцию звукового сигнала с особенно хорошим качеством звука, поскольку параметр шумозаполнения выборочно отражает ошибки квантования квантованного представления спектрального домена для таких спектральных областей, в которых присутствует значимая шумовая информация и которые должны быть выборочно рассмотрены для шумозаполнения со стороны декодера.
Другой вариант использования изобретения делает возможным создание метода представления заполненного шумом звукового сигнала.
Еще один вариант использования изобретения делает возможным создание метода вычисления параметра шумозаполнения на основе квантованного спектрального представления звукового сигнала.
Еще один вариант использования изобретения делает возможным создание компьютерной программы для реализации вышеуказанных методов.
Краткое описание к чертежам.
Способы применения изобретения в дальнейшем будет описаны со ссылкой на приложенные чертежи:
На Фиг.1 показана блок-схема шумозаполнителя в зависимости от разных способов применения изобретения;
На Фиг.2 показана блок-схема декодера звукового сигнала, содержащая шумозаполнитель в соответствии с данным изобретением;
На Фиг.3 показана программа псевдо-код для реализации функциональных возможностей шумозаполнителя на Фиг.1;
На Фиг.4 показано графическое представление идентификации спектральных областей, которая может быть выполнена в шумозаполнителе на Фиг.1;
На Фиг.5 показана блок-схема расчета параметра шумозаполнения, в соответствии с вариантом изобретения;
На Фиг.6 показана программа псевдокод для реализации функциональности расчета параметра шумозаполнения в соответствии с Фиг.5;
На Фиг.7 показана блок-схема метода получения спектрального представления с шумозаполнением для звукового сигнала на основе входного спектрального представления звукового сигнала;
На Фиг.8 показана блок-схема метода расчета параметра шумозаполнения на основе квантованного спектрального представления звукового сигнала;
На Фиг.9 показано графическое представление представления звукового сигнала в соответствии с вариантом применения изобретения.
Шумозаполнитель на Фиг.1-4
Фиг.1 показывает блок-схему шумозаполнителя 100 в соответствии с вариантом применения изобретения. Шумозаполнитель 100 предназначен для приема входного спектрального представления 110 звукового сигнала, например, в форме декодированных спектральных коэффициентов (которые могут быть, например, квантованы или обратно квантованы). Шумозаполнитель 100 также предназначен для создания заполненного спектрального представления 112 звукового сигнала на основе входного спектрального представления 110.
Шумозаполнитель 100 содержит идентификатор спектральной области 120, который предназначен для выявления спектральных областей входного спектрального представления 110, отделенного от ненулевых спектральных областей входного спектрального представления 110, по крайней мере, одной промежуточной спектральной областью для получения информации 122, указывающей идентифицированные спектральные области. Шумозаполнитель 100 также включает в себя устройство ввода шума 130, которое предназначено для того, чтобы выборочно вносить шум в идентифицированные спектральные области (описанные информацией 122) для получения шумозаполненного спектрального представления 112 от звукового сигнала.
Что касается функциональности шумозаполнителя 100, то, в целом, можно сказать, что шумозаполнитель 100 выборочно заполняет шумом спектральные области (например, спектральные линии или спектральные бункера) входного спектрального представления 110, например, путем замены спектральных значений спектральных линий, квантованных к нулю, спектральными значениями, описывающими шум. Таким образом, спектральные дыры или спектральные лакуны во входном спектральном представлении 110 могут быть заполнены, они могут, например, возникнуть в результате грубого квантования входного спектрального представления 110. Тем не менее шумозаполнитель 100 не вносит шум во все спектральные линии, квантованные к нулю (т.е. спектральные линии, спектральные значения которых квантованы к нулю). Напротив, шумозаполнитель 100 только вносит шум в такие спектральные линии, квантованные к нулю, которые находятся на достаточном расстоянии от любых спектральных линий, квантованных в ненулевое значение. Таким образом, шумозаполнение не полностью заполняет спектральные пробелы или спектральные лакуны, а сохраняет спектральное расстояние, по крайней мере, в одну спектральную область (или, по крайней мере, расстояние на любое другое заданное число спектральных областей) между теми спектральными линиями, в которых вносится шум и спектральные линии квантованы в ненулевое значение. Таким образом, спектральное расстояние между заполняющим шумом, внесенным в спектральное представление, и спектральными линиями, квантованными в ненулевое значение, сохраняется таким образом, что значимые для психоакустики спектральные линии (которые не квантуется к нулю во входном спектральном представлении звукового сигнала) могут быть четко различимы (благодаря спектральному расстоянию в заданное число одной или нескольких спектральных областей) от шумового заполнения, внесенного в спектр шумозаполнителем. Соответственно, наиболее значимое для психоакустики звуковое содержание (представленное спектральными линиями с ненулевыми значениями во входном спектральном представлении 110) можно четко различить, так как больших спектральных пробелов удается избежать. Это связано с тем, что шумозаполнение выборочно отключается вблизи от спектральных линий входного спектрального представления, квантованного в ненулевое значение, в то время как шумозаполнение происходит в центральных областях спектральных пробелов или спектральных лакун.
Далее будут описаны условия применения для шумозаполнителя 100 со ссылкой на Фиг.2. Фиг.2 показывает блок-схему декодера звукового сигнала 200 в соответствии с вариантом использования изобретения. Декодер звукового сигнала 200 включает в себя в качестве ключевого компонента шумозаполнитель 100. Декодер звукового сигнала 200 также включает в себя декодер спектрального коэффициента 210, который предназначен для получения представления кодированного звукового сигнала 212 и создания декодированного необязательно обратно квантованного представления 214 спектральных коэффициентов кодированного звукового сигнала. Декодер спектрального коэффициента 210 может включать, например, декодер энтропии (например, арифметический декодер или декодер длины серии) и, при необходимости, обратный квантователь для вывода декодированного представления 214 спектральных коэффициентов (например, в форме обратно квантованных коэффициентов) из представления кодированного звукового сигнала 212. Шумозаполнитель 100 предназначен для приема декодированного представления 214 спектральных коэффициентов (которые необязательно обратно) в качестве входного спектрального представления 110 звукового сигнала.
Декодер звукового сигнала 200 также включает в себя выделитель шум-фактора 220, который предназначен для извлечения шум-фактора 222 из представления кодированного звукового сигнала 212 и передачи извлеченного шум-фактора 222 до шумозаполнителя 100. Декодер звукового сигнала 200 также включает в себя формирователь спектра 230, который предназначен для получения реконструированного представления спектра 232 от шумозаполнителя 100. Реконструированное представление спектра 232 может быть, например, равно шумозаполненному спектральному представлению 112, полученному от шумозаполнителя.
Формирователь спектра 230, который можно рассматривать как факультативный, предназначен для получения информации о спектре 234 на основе реконструированного представления спектра 232. Декодер звукового сигнала 200 дополнительно содержит конвертер спектральной области во временную область 240, который получает представление спектра 234, полученное от формирователя спектра 230, или в отсутствие формирователя спектра 230 реконструированное представления спектра 232, и на основании этого можно получить представление звукового сигнала во временной области 242. Конвертер спектральной области во временную область 240 может быть, например, предназначен для выполнения обратного дискретного косинусного преобразования (IMDCT).
В предпочтительном варианте, шумозаполнение на стороне декодера включает в себя следующие этапы (или следует по следующим этапам).
1. Декодирование минимального уровня шума.
2. Декодирование квантованных значений частотных линий.
3. Определение спектральных областей в выбранной части спектра, где длина серии нулей выше, чем минимальный размер длины серий.
4. Применение случайно генерированного знака для декодированного уровня собственных шумов для каждой из линий в отдельных областях.
Минимальный уровень шума декодируется следующим образом:
nf_decoded=0.0625 * (8-индекс).
Обнаруженные спектральные области, например, выбираются таким же образом, как это делается на стороне кодера (что будет описано ниже).
Гауссовский шум без запоминания данных в MDCT области порождается спектром с той же амплитудой для всех линий, но со случайными знаками. Таким образом, для каждой из линий в пределах выбранных областей декодер генерирует случайный знак (-1 или +1) и применяет его к декодированному собственному шуму. Однако могут быть также применены другие методы вставки шума.
Далее, следует более подробное описание со ссылкой на Фиг.1, 2, 3 и 4, где Фиг.3 показывает программу псевдокода для алгоритма шумозаполнения со стороны декодера, что может быть осуществлено шумозаполнителем 100, и где Фиг.4 показывает графическое представление шумозаполнения.
Начнем с того, что декодирование собственного шума может быть выполнено экстрактором шум-фактора 220, который получает, например, расчетный показатель шума (также кратко обозначаемый как "индекс") и выдает на его основе декодированное значение шум-фактора 222 (также обозначаемое "nf_decoded"). Расчетный показатель шума может быть, например, закодирован с использованием трех или четырех бит, и это может быть, например, целым числом в диапазоне от 0 до 7, или целым числом в диапазоне от 0 до 15.
Квантованные значения частотных линий (также называемых "спектральные линии" или "спектральные бункеры") могут быть получены от декодера спектрального коэффициента 210. Соответственно, получаем квантованные (или, по необходимости, обратно квантованные) значения спектральных линий (также называемых "спектральные коэффициенты"), которые обозначаются как "квантованные (x(i))". Здесь i обозначает индекс частоты значений спектральных линий.
Впоследствии спектральные области обнаруживаются шумозаполнителем 100 в выбранной части спектра (например, в верхней части спектра начиная с заданного индекса частоты спектральных линий i), где длина серий нулей (т.е. значений квантованных спектральных линий, квантованных к нулю) выше, чем минимальный размер длины серий. Обнаружение таких спектральных областей осуществляется первым блоком частью 310 из алгоритма 300 на Фиг.3. Как видно из первой части/первого узла 310 из алгоритма 300, множество R обнаруженных областей инициализируется/приводится в исходное состояние/устанавливается в исходное состояние/калибруется как пустое множеством в начале алгоритма (R={};).
В случае алгоритма на Фиг.3, минимальная длина серий установлена в фиксированном значении 8, но, конечно, любое другое значение может быть выбрано.
Впоследствии, таким образом, следовательно, для множества рассматриваемых спектральных линий (обозначенных текущей переменной "индекс линий") определяется, содержит ли каждая из рассматриваемых спектральных линий двустороннюю среду спектральных линий, квантованную к нулю (и является ли сама рассматриваемая спектральная линия квантованной к нулю). Например, все линии во второй половине спектров могут рассматриваться последовательно, причем линия, рассматриваемая в данный момент, назначается индексом частоты "индекс линии". Для рассматриваемой линии, обозначенной "индексом линии", вычисляется сумма квантованных спектральных коэффициентов "квантованных (x(i))" в среде начиная от индекса спектральной частоты линий "индекс линии - (MinimalRunLength)/2" до индекса спектральной частоты линий "индекс линии+MinimalRunLength)/2". Если будет установлено, что сумма значений спектральной линии в указанной среде рассматриваемой в данный момент спектральной линии (с индексом частоты спектральной линии "индекс линии") равен нулю, то рассматриваемая в данный момент спектральная линия (или, точнее, индекс частоты спектральной линии "индекс линии") добавляется в множество R обнаруженных областей (или обнаруженных спектральных линий). Следовательно, если индекс частоты спектральной линии добавляется в множество R, это означает, что спектральные линии с индексами линий между "индексом линий - MinimalRunLength)/2" и "индексом линий + MinimalRunLength)/2" все содержат значения спектральных линий, квантованные к нулю.
Соответственно, в первой части 310 программы псевдокода 310 получается множество R индексов частот спектральных линий "индекс линий", которое содержит те (и только те) спектральные линии рассматриваемой спектральной части, которые "достаточно" отдалены (т.е. по крайней мере, MinimalRunLength/2 линиями) от любых спектральных линий, квантованных в ненулевое значение.
Обнаружение такой области представлено Фиг.4, которая показывает графическое представление 400 спектра. Абсцисса 410 показывает частоту спектральных линий с помощью индекса частоты спектральных линий "индекс линии". Ордината 412 показывает интенсивность (например, амплитуды и энергии) спектральных линий. Как показано на Фиг.4, часть спектра, проиллюстрированная графическим представлением 400, состоит из четырех спектральных линий 420а, 420b, 420с и 420d, квантованных в ненулевое значение. Кроме того, между спектральными линиями 420с и 420d есть 11 спектральных линий 422a-422k, квантованных к нулю. Кроме того, предполагается, что спектральная линия считается достаточно отдаленной от спектральной линии, квантованной в ненулевое значение, только если есть, по крайней мере, четыре спектральные линии, квантованные до нуля, между рассматриваемой спектральной линией и любой другой спектральной линией, квантованной в ненулевое значение (и, естественно, если рассматриваемая спектральная линия сама квантована к нулю). Однако при рассмотрении спектральной линии 422а, обнаруживается, что спектральная линия 422а непосредственно примыкает к спектральной линии 422с, которая не квантуется к нулю, таким образом, индекс частоты спектральной линии 422а не будет частью множества R, вычисляемого по первой части 310 из алгоритма 300. Кроме того, обнаруживается, что спектральные линии 422b, 422с, 422d и отдалены достаточно далеко от спектральных линий, квантованных в ненулевое значение, так, что индексы частоты спектральных линий от 422b к 422d также не могут быть частью множества R. В отличие от этого следует отметить, что спектральная линия 422е отстоит достаточно далеко от спектральных линий, квантованных в ненулевое значение, потому что спектральная линия 422е является линией центра (или, в общем, центральной линией), в последовательности из 9 смежных спектральных линий, квантованных к нулю. Таким образом, индекс частоты спектральной линии 422е будет частью множества R, вычисляемого в первой части 310 из алгоритма 300. То же самое справедливо и для спектральных линий 422f и 422g, так как индексы частоты спектральных линий 422f и 422g будут частью множества R, определяемого в первой части 310 из алгоритма 300, потому что спектральные линии 422f, 422g расположены достаточно далеко от более низкочастотных спектральных линий 420а, 420b и 420с, квантованных в ненулевое значение, и от любых более высокочастотных спектральных линий, квантованных в ненулевое значение. С другой стороны, спектральные линии 422h, 422i, 422j и 422к не будут частью множества R, потому что эти спектральные линии расположены слишком близко с точки зрения частоты, кроме того, спектральная линия 420d квантована в ненулевое значение.
Таким образом, множество R не будет содержать индексы частот спектральных линий 420а, 420b, 420с, 420d, потому что эти спектральные линии квантованы в ненулевое значение. Кроме того, индексы частоты спектральных линий 422а, 422b, 422с, 422d, 422h, 422i, 422j и 422k не будут входить в множество R, потому что эти спектральные линии расположены слишком близко к спектральным линиям 420а, 420b, 420с и 420d. В отличие от этого индексы частот спектральных линий 422е, 422f, 422g будут входить в множество R, потому что эти спектральные линии сами квантованы к нулю и расположены достаточно далеко от любых соседних ненулевых спектральных линий.
Алгоритм 300 также включает в себя вторую часть 320 из декодирования собственного шума, где индекс значения шума ("индекс" в части программного кода 320) преобразуется в декодированный показатель значения шума ("nf_decoded" в программном коде 300).
Программный код 300 также содержит третью часть 330 шумозаполнения идентифицированных спектральных линий, т.е. спектральных линий с индексами частотности i, которые входят в множество R. Для этого спектральные значения идентифицированных спектральных линий (назначенные для примера как x(i), где текущая переменная i последовательно принимает значения всех индексов частоты спектральных линий, входящих в множество R) настроены на значения шумозаполнения. Значения шумозаполнения получаются, например, путем умножения значения декодированного шумозаполнения (nf_decoded) на случайное число или псевдослучайное число (обозначенное как "случайное (-1, +1)"), где случайное или псевдослучайное число может взять, например, случайно или псевдослучайно значения -1 и +1. Однако различное обеспечение случайного или псевдослучайного шума естественно возможно.
Шумозаполнение также показано на Фиг.4. Как видно на Фиг.4, нулевые спектральные значения спектральных линий 422е, 422f и 422g заменяются значениями шумозаполнения значений (это показано пунктирными линиями на Фиг.4).
Вычислитель параметра шумозаполнения на Фиг.5 и 6
Фиг.5 показывает блок-схему калькулятора параметра шумозаполнения 500. Вычислитель параметра шумозаполнения предназначен для получения квантованного спектрального представления 510 звукового сигнала и создания на его основе параметра шумозаполнения 512. Вычислитель параметра шумозаполнения 500 включает в себя идентификатор спектральной области 520, который предназначен для получения квантованного спектрального представления 510 звукового сигнала и определения спектральных областей (например, спектральных линий) квантованного спектрального представления 510, отделенных от ненулевых спектральных областей квантованного спектрального представления 510, по крайней мере, одной промежуточной спектральной областью (например, спектральной линией), для получения информации 522, описывающей идентифицированные спектральные области (например, идентифицированные спектральные линии). Вычислитель параметра шумозаполнения 500 также включает в себя вычислитель значения шума 530, предназначенный для получения информации об ошибке квантования 532 и определения параметра шумозаполнения 512. Для этой цели вычислитель значения шума предназначен выборочно рассматривать ошибки квантования в идентифицированных спектральных областях, описанные информацией 522, для расчета параметра шумозаполнения 512.
Информация об ошибке квантования 532 может быть, например, идентична информации об энергии (или информации об интенсивности), описывающей энергии (или интенсивности) тех спектральных линий, которые квантованы к нулю в квантованном спектральном представлении 510.
Вычислитель параметра шумозаполнения 500 может дополнительно содержать квантователь 540, который предназначен для получения неквантованного спектрального представления 542 звукового сигнала и определение квантованного спектрального представления 510 звукового сигнала. Квантователь 540 может иметь регулируемую разрешающую способность, которую можно, например, индивидуально регулировать для каждой спектральной линии, или спектральной полосы (например, в зависимости от психоакустической значимости спектральных линий или спектральных полос, которая выявляется с помощью психоакустической модели). Функциональность квантователя с переменным разрешением может быть равна, функциональности описанной в Международных Стандартах ISO/IEC 13818-7 и ISO/IEC 14496-3. В частности, квантователь 540 может быть настроен так, что в квантованном спектральном представлении 510 звукового сигнала будут спектральные лакуны или спектральные дыры, т.е. сопредельные области соседних спектральных линий, квантованных к нулю.
Более того, неквантованное спектральное представление 542 может служить в качестве информации об ошибках квантования 532, или информация об ошибках квантования 532 может быть выведена из неквантованного спектрального представления 542.
Далее будет подробно описана функциональность вычисления параметра шумозаполнения, которое может быть выполнено вычислителем параметра шумозаполнения 500. При вычислении параметра шумозаполнения со стороны кодера, шумозаполнение предпочтительно применять в области квантования. При таком способе введенный шум впоследствии формируется обратным фильтром психоакустической значимости.
Энергия шума, введенного декодером, рассчитывается и кодируется на стороне кодера по следующим этапам
1. Получить квантованные значения частоты линий.
2. Выбрать только часть спектра.
3. Определить спектральные области в выбранной части спектра, где длина серий нулей выше, чем минимальный размер длин серий.
4. Вычислить среднее геометрическое ошибки квантования из ранее обнаруженных областей.
5. Квантовать равномерно среднее геометрическое с 3 битами.
Что касается первого этапа, квантованные значения частоты линий могут быть получены с использованием квантователя 540. Квантованные значения частоты линий, следовательно, могу быть представлены в квантованном спектральном представлении 510.
Что касается второго этапа, который можно считать необязательным, следует отметить, что вычисление шумозаполнения предпочтительнее осуществлять на основе высокочастотной части спектра. В предпочтительном варианте энергия шума (называемая собственным шумом), рассчитывается только на вторую половину спектров, т.е. для высоких частот (но не для более низких частот). Действительно, как правило, высокие частоты (верхняя часть спектра) являются менее важными для восприятия, чем низкие частоты, и нуль-квантованные значения возникают в основном во второй половине спектров. Кроме того, добавление шума на высоких частотах менее вероятно приведет к окончательному шумному восстановлению реституции звука.
Что касается третьего этапа, путем ограничения шумозаполнения на спектральных областях, где возникает длина серий нуль-квантованных значений, можно избежать того, чтобы шумозаполнение влияло на необнуленные значения слишком сильно. Таким образом, шумозаполнение не применяется в окрестности по близости от необнуленных значений, и оригинальная первоначальная тональность этих линий тогда лучше сохраняется. Минимальный размер длины серий фиксируется к 8 в предпочтительном варианте. Это означает, что 8 линий, окружающих необнуленные значения, не подвержены влиянию шумозаполнения (и, следовательно, не принимаются во внимание при расчете значения шума).
Что касается четвертого этапа, ошибки квантования в квантованной области находятся в диапазоне [-0,5, 0,5], и считаются равномерно распределенными. Энергия квантования ошибок в обнаруженных областях является средней в логарифмической области (т.е. среднее геометрическое). Собственный шум, nf, затем рассчитывается следующим образом:
nf=power(10, sum (log10(E(x(i))))/(2*n)).
nf=мощность (10, сумма (log10(Е (x(i))))/(2*n)).
В вышеприведенной формуле сумма () является суммой логарифмических энергий, log10 (Е()), из отдельных линий х (i) в пределах обнаруженных областей, и n является количеством линий в пределах этих областей. Собственный шум, nf, находится между 0 и 0,5. Такой расчет позволяет принимать во внимание исходную спектральную неравномерность обнуленных значений, а затем получить информацию о характеристиках их тональности / шумности.
Если обнуленные значения очень тональные, собственный шум (компьютер в аппарате 500) пойдет на нуль, и низкий уровень собственного шума будет добавлен в декодере (например, в декодере 100, 200, описанных выше). Если обнуленные значения действительно шумны, уровень собственного шума будет высоким, и шумозаполнение можно рассматривать как высоко параметрическое кодирование обнуленных спектральных линий, как и PNS (Perceptual Noise Substitution) (замена восприятия шума) (см. также [4]).
Что касается пятого этапа, индекс квантования ("индекс") от собственного шума рассчитывается следующим образом:
index=max(0, min(7, int(8-16*nf))).
Индекс передается, например, на 3 бита.
Далее, будет описан алгоритм вычисления параметра шумозаполнения со ссылкой на Фиг.6, которая показывает программу псевдокод 600 для такого алгоритма получения параметра шумозаполнения в соответствии с вариантом изобретения. Алгоритм 600 включает в себя первую часть - блок-узел 610 выявления областей, которые должны рассматриваться для вычисления параметра шумозаполнения. Идентифицированные выявленные области (например, спектральные линии) описываются множеством R, которое может, например, включать индексы частот спектральных линий ("индекс линий") идентифицированных спектральных линий. Можно идентифицировать спектральные линии, которые сами квантованы к нулю и которые расположены достаточно далеко от любых других спектральных линий, квантованных в ненулевое значение.
Первая часть 610 программы 600 может быть идентична первой части 310 программы 300. Соответственно, квантованное спектральное представление ("квантованного (х(i))"), используемое в алгоритме 600, может быть, например, идентичным квантованному спектральному представлению ("квантованного х(i))"), используемому в алгоритме 300 на стороне декодера. Другими словами, квантованное спектральное представление, используемое на стороне кодера, может передаваться в закодированном виде декодеру в системе передачи, включающей кодер и декодер.
Алгоритм 600 включает в себя вторую часть 620 вычисления собственного шума. При вычислении собственного шума, принимаются во внимание только те спектральные области (или спектральные линии), которые включаются в множество R, вычисленное в первой части 610 из алгоритма 600. Как видно, значение шумозаполнения nf сначала обнуляется. Число рассматриваемых спектральных линий (n) также сначала обнуляется. Далее энергии всех спектральных линий, индексы линий, которые включены в множество R, суммируются, причем энергии спектральных линий логарифмируются до суммирования. Например, логарифм по основанию 10 (log 10) от энергий (Е (х(i))) спектральных линий может быть суммирован. Следует отметить, что реальная энергия спектральных линий до квантования (обозначенная как "Е или энергия (х(i))") суммируется в логарифмической форме. Также учитывается число рассматриваемых спектральных линий. Таким образом, после исполнения второй части 620 из алгоритма 600 переменная nf указывает на логарифмическую сумму энергий идентифицированных спектральных линий до квантования, а переменная n описывает число идентифицированных спектральных линий.
Алгоритм 600 также включает в себя третью часть 630 квантования значения nf, т.е. логарифмическую сумму идентифицированных спектральных линий. Отображающее уравнение, как описано выше или как показано на Фиг.6, может быть использовано.
Метод использования в соответствии с Фиг.7
Фиг.7 показывает блок-схему метода для получения шумозаполненного спектрального представления звукового сигнала на основе входного спектрального представления звукового сигнала. Метод 700 на Фиг.7 включает в себя этап 710 идентификации спектральных областей входного спектрального представления звукового сигнала, отделенных от ненулевых спектральных областей входного спектрального представления, по крайней мере, одной промежуточной спектральной областью, для получения идентифицированных спектральных областей. Метод 700 также включает в себя этап 720 выборочного введения шума в идентифицированные спектральные области для получения шумозаполненного спектрального представления звукового сигнала.
Метод 700 может быть дополнен любым из свойств или функциональных возможностей, описанных здесь в связи с изобретенным шумозаполнителем.
Метод использования в соответствии с Фиг.8
На Фиг.8 показана блок-схема метода получения параметра шумозаполнения на основе квантованного спектрального представления звукового сигнала. Метод 800 включает в себя этап 810 идентификации спектральных областей квантованного спектрального представления звукового сигнала, отделенных от ненулевых спектральных областей квантованного спектрального представления, по крайней мере, одной промежуточной спектральной областью, для получения идентифицировнных спектральных областей. Метод 800 также включает в себя этап 820 выборочного рассмотрения ошибок квантования в идентифицированных спектральных областях для расчета параметра шумозаполнения.
Метод 800 может быть дополнен любым из свойств и функциональных возможностей, описанных здесь в связи с вычислителем параметра шумозаполнения.
Представление звукового сигнала на Фиг.9
На Фиг.9 показано графическое представление представления звукового сигнала в соответствии с вариантом изобретения. Представление звукового сигнала 900 может, например, служить основой для входного спектрального представления 110. Представление звукового сигнала 900 может также взять на себя функциональность представления кодированного звукового сигнала 212. Представление звукового сигнала 900 может быть получено с помощью вычислителя параметра шумозаполнения 500, в котором представление звукового сигнала 900 может, например, включать квантованное спектральное представление 510 звукового сигнала и параметр шумозаполнения 512, например, в кодированном виде.
Другими словами, кодированное представление звукового сигнала 900 может представлять звуковой сигнал. Представление кодированного звукового сигнала 900 включает в себя кодированное квантованное спектральное представление области звукового сигнала, а также кодированный параметр шумозаполнения. Параметр шумозаполнения представляет ошибки квантования спектральных областей в представлении спектрального домена, квантованных к нулю и отделенных от спектральных областей представления спектрального домена, квантованного в ненулевое значение, по крайней мере, одной промежуточной спектральной областью.
Естественно, представление звукового сигнала 900 может быть дополнено любой информацией, изложенной выше.
Альтернативные способы использования
В зависимости от определенных требований к использованию изобретения могут быть осуществлены в оборудовании или в программном обеспечении. Изобретение может быть применено с использованием любого цифрового носителя, например дискеты, DVD, CD, ROM, FROM, EPROM, EEPROM или флэш-карты, имеющего установленные электронно-читаемые сигналы управления, которые совместимы (или способны работать вместе) с программируемым компьютером Системы, в которой осуществляется соответствующий метод.
Некоторые варианты использования изобретения включают в себя использование носителя данных, имеющего электронно-читаемые сигналы управления, которые способны работать с программируемой компьютерной системой, в которой осуществляется один из методов, описанных здесь.
Как правило, использование данного изобретения может быть реализовано в виде программного продукта с программным кодом, при этом программный код используется для выполнения одного из методов, когда программный продукт запущен на компьютере.
Программный код может быть, например, сохранен на электронном носителе.
Другие варианты реализации изобретения включают в себя использование компьютерной программы для выполнения одного из методов, описанных выше, которая хранится на читаемом носителе.
Таким образом, реализацией изобретения является компьютерная программа, имеющая программный код для выполнения одного из методов, описанных здесь, когда компьютерная программа запущена на компьютере.
Еще один способ реализации изобретенных методов включает использование носителя информации (или цифрового запоминающего устройства), содержащего компьютерную программу для выполнения одного из методов, описанных в данном документе.
Еще одной формой реализации изобретенных методов является поток данных или последовательность сигналов, представляющих компьютерную программу для выполнения одного из методов, описанных в данном документе. Поток данных или последовательность сигналов может быть, например, настроена на передачу через канал передачи данных, например через Интернет.
Еще один вариант использования изобретения включает в себя средства обработки данных, например компьютер или программируемое логическое устройство, настроенное или адаптированное для выполнения одного из методов, описанных в данном документе.
Еще один вариант использования изобретения включает в себя использование компьютера, на котором установлена компьютерная программа для выполнения одного из методов, описанных в данном документе.
В некоторых способах реализации изобретения программируемое логическое устройство (например, логическая матрица, программируемая пользователем) может быть использована для выполнения некоторых или всех функциональных возможностей, описанных в данном документе.
В некоторых вариантах реализации, логическая матрица, программируемая пользователем, может использоваться вместе с микропроцессором для выполнения одного из методов, описанных в данном документе.
Заключение
Подводя итог всему вышесказанному, следует отметить, что данное изобретение совершенствует такой инструмент звукового кодирования, как "шумозаполнение", благодаря тому, что оно учитывает характеристики входного сигнала и декодированного сигнала при вычислении параметров шумозаполнения на стороне кодера и применении шума на стороне декодера.
Реализация изобретения предполагает, что тональность нуль-квантованных спектральных линий оценивается и используется для оценки собственного шума. Этот собственный шум затем передается в декодер, который осуществляет шумозаполнение нулевых квантованных значений, которые возникают в отдельных областях спектров. Эти области выбираются в зависимости от характеристик декодируемых спектров.
Что касается контекста изобретения, можно отметить, что изобретение связано с преобразованием на основе кодирования, при котором используется скалярное квантование на MDCT. MDCT коэффициенты предварительно нормированы кривой, рассчитанной на перцептивной значимости. Кривая выводится из предыдущего LPC (кодирование с линейным предсказанием Linear Prediction Coding) анализа путем взвешивания LPC коэффициентов, как это делается в режиме ТСХ из AMR-WB+(см. [1]). На основе взвешенных коэффициентов разработан фильтр взвешивания восприятий, который применяется до MDCT. Обратный фильтр применяется также на стороне декодера после обратной MDCT. Этот обратный фильтр взвешивания восприятий формирует шумы для квантования таким образом, что это сводит к минимуму или маскирует воспринимаемый шум.
Во всех формах реализации изобретения преодолены недостатки предшествующих устройств. Шумозаполнение традиционно применяется на систематической основе для нуль-квантованных значений, учитывая только спектральный порог огибающей, порог маскировки или порог энергии. Предшествующие способы не учитывали ни характеристики входного сигнала, ни характеристики декодированного сигнала. Таким образом, традиционный инструментарий может ввести дополнительные нежелательные искажения, особенно искажения шума, и свести к нулю преимущества такого инструмента.
В отличие от этого реализация данного изобретения позволяет улучшить шумозаполнение, ограничивая нежелательные искажения, как сказано выше.
Литература
[1] "Extended Adaptive Multi-Rate - Wideband (AMR-WB+) codec", 3GPP TS 26.290 V6.3.0, 2005-06, Technical Specification.
[2] Ragot et al, "ITU-T G.729.1: AN 8-32 Kbit/S Scalable Coder Interoperable with G.729 for Wideband Telephony and Voice Over IP", Vol.4, ICASSP 07, 15-20 April 2007.
[3] "AUDIO CODING", International Application No.: PCT/IB2002/001388, Applicant: KONINKLIJKE PHILIPS ELECTRONICS N.V. [NL/NL]; Groenewoudseweg 1 NL-5621 BA Eindhoven (NL). Inventors: TAORI, Rakesh; Prof Holstlaan 6 NL-5656 AA Eindhoven (NL) and VAN DE PAR, Steven, L., J., D., E.; Prof. Holstlaan 6 NL-5656 AA Eindhoven (NL).
[4] Generic Coding of Moving Pictures and Associated Audio: Advanced Audio Coding. International Standard 13818-7, ISO/IEC JTC1/SC29/WG11 Moving Pictures Expert Group, 1997.

Claims (15)

1. Шумозаполнитель (100) для получения шумозаполненного спектрального представления (112) звукового сигнала на основе входного спектрального представления (110) звукового сигнала, включающий:
идентификатор спектральной области (120), предназначенный для выявления спектральных областей (422е, 422f, 422g) входного спектрального представления (110), которые квантованы к нулю и отделены от ненулевых спектральных областей (420а, 420b, 420с, 420d) входного спектрального представления (110), по крайней мере, одной промежуточной спектральной областью (422а, 422b, 422с, 422d, 422h, 422i, 422j, 422k) для получения идентифицированных спектральных областей (422е, 422f, 422g); и
устройство для вставки шума (130), предназначенное для того, чтобы выборочно вносить шум в идентифицированные спектральные области (422е, 422f, 422g) для получения шумозаполненного спектрального представления (112) звукового сигнала.
2. Шумозаполнитель (100) по п.1, в котором идентификатор спектральной области (120) предназначен для идентификации, в соответствии с идентифицированными спектральными областями, спектральных линий (422е, 422f, 422g) входного спектрального представления (110), которые квантованы к нулю и включают, по крайней мере, первое заданное число (4) низкочастотных соседних спектральных линий (422а, 422b, 422с, 422d; 422b, 422с, 422d, 422е, 422с, 422d, 422е, 422f), квантованных к нулю, и, по крайней мере, второе заданное число (4) высокочастотных соседних спектральных линий (422f, 422g, 422h, 422i, 422g, 422h, 422i, 422j; 422h, 422i, 422j, 422k), квантованных к нулю, в соответствии с идентифицированными спектральными областями;
в которых первое заданное число (4) больше или равно 1, и при этом второе заданное число (4) больше или равно 1; и
в котором устройство для вставки шума (130) предназначено для того, чтобы выборочно вносить шум в идентифицированные спектральные линии (422е, 422f, 422g), оставляя спектральные линии (420а, 420b, 420с, 420d), квантованные в ненулевое значение, и спектральные линии (422а, 422b, 422с, 422d, 422h, 422i, 422j, 422k), квантованные к нулю, но не имеющие первого заданного числа (4) более низкочастотных соседних спектральных линий, квантованных к нулю, или второго заданного числа (4) более высокочастотных соседних спектральных линий, квантованных к нулю, не подверженных шумозаполнению.
3. Шумозаполнитель (100) по п.2, в котором первое заданное число (4) равно второму заданному числу (4).
4. Шумозаполнитель (100) по п.1, в котором шумозаполнитель предназначен для того, чтобы вносить шум только в спектральные области верхней части входного спектрального представления (110) звукового сигнала, оставляя нижнюю часть входного спектрального представления (110) звукового сигнала не подверженной шумозаполнению.
5. Шумозаполнитель (100) по п.1, в котором идентификатор спектральной области (120) предназначен для того, чтобы суммировать квантованные значения интенсивности (квантованные (х (i))) спектральных областей в заданном двустороннем спектральном диапазоне данной спектральной области (i) для получения суммы значений (Е) и оценки суммы значений (Е), чтобы определить, является ли данная спектральная область (i) идентифицированной спектральной областью или нет.
6. Шумозаполнитель (100) по п.1, в котором идентификатор спектральной области (120) предназначен для сканирования диапазона спектральных областей входного спектрального представления (110) для обнаружения смежных последовательностей (422а - 422i; 422b - 422j; 422с - 422k) спектральных областей, квантованных к нулю, и определения одной или нескольких центральных спектральных областей (422е, 422f, 422g) обнаруженной смежной последовательности в качестве идентифицированных спектральных областей.
7. Вычислитель параметра шумозаполнения (500) для определения параметра шумозаполнения (512) на основе квантованного спектрального представления (510) звукового сигнала включает:
идентификатор спектральной области (520), предназначенный для идентификации спектральных областей (422е, 422f, 422g) квантованного спектрального представления (510), отделенных от ненулевых спектральных областей (420а, 420b, 420с, 420d) квантованного спектрального представления (510), по крайней мере, одной промежуточной спектральной областью (422а, 422b, 422с, 422d, 422h, 422i, 422j, 422k) для получения идентифицированных спектральных областей (422е, 422f, 422g); и
вычислитель значения шума (530), предназначенный для того, чтобы выборочно рассматривать ошибки квантования (энергии (х (i))) идентифицированных спектральных областей (i) для расчета параметра шумозаполнения (512, nf).
8. Вычислитель параметра шумозаполнения (500) по п.7, в котором идентификатор спектральных областей (520) предназначен для идентификации спектральных линий (422е, 422f, 422g) входного спектрального представления (510), которые квантованы к нулю и которые содержат, по крайне мере, первое заданное число (4) более низкочастотных соседних спектральных линий (422а, 422b, 422с, 422d; 422b, 422с, 422d, 422е, 422с, 422d, 422е, 422f), квантованных к нулю, и, по крайней мере, второе заданное число (4) высокочастотных соседних спектральных линий (422f, 422g, 422h, 422i, 422g, 422h, 422i, 422j; 422h, 422i, 422j, 422k), квантованных к нулю, в соответствии с идентифицированными спектральными областями,
в котором первое заданное число (4) больше или равно 1, и при этом второе заданное число (4) больше или равно 1; и
в котором вычислитель значения шума (520) предназначен для того, чтобы выборочно рассматривать ошибки квантования идентифицированных спектральных областей (i) для расчета параметра шумозаполнения, оставляя при расчете параметра без внимания спектральные линии (420а, 420b, 420с, 420d), квантованные к ненулевому значению, и спектральные линии (422а, 422b, 422с, 422d, 422h, 422i, 422j, 422k), квантованные к нулю, но не имеющие первое заданное число (4) более низкочастотных соседних спектральных линий, квантованных к нулю, или второе заданное число (4) более высокочастотных соседних спектральных линий, квантованных к нулю.
9. Вычислитель параметра шумозаполнения (500) по п.7, в котором вычислитель значения шума (530) предназначен для того, чтобы учитывать фактическую энергии (энергия (х (i))) ошибок квантования в идентифицированных спектральных областях (i) для расчета параметра шумозаполнения (512, nf, nf_index).
10. Вычислитель параметра шумозаполнения (500) по п.7, в котором вычислитель значения шума (530) предназначен для того, чтобы определить энергию ошибки нетонального квантования (энергии (х (i))), распределенную по множеству идентифицированных спектральных областей, по сравнению с энергией ошибки тонального квантования, сосредоточенной в одной спектральной области или во множестве смежных спектральных линий.
11. Вычислитель параметра шумозаполнения (500) по п.7, в котором вычислитель значения шума (530) предназначен для расчета суммы логарифмических энергий ошибки квантования (log10 (энергии (х (i)))) в идентифицированных спектральных областях (i) для получения параметра шумозаполнения (512, nf, nf_index).
12. Способ (700) для создания шумозаполненного спектрального звукового сигнала на основе входного спектрального представления звукового сигнала, включающий:
идентификацию (710) спектральных областей входного спектрального представления, отделенных от ненулевых спектральных областей входного спектрального представления, по крайней мере, одной промежуточной спектральной областью для получения идентифицированных спектральных областей; и
выборочную вставку (720) шума в идентифицированные спектральные области для получения шумозаполненного спектрального представления звукового сигнала.
13. Способ (800) для вычисления параметра шумозаполнения параметров на основе квантованного спектрального представления звукового сигнала включает:
идентификацию (810) спектральных областей квантованного спектрального представления, отделенных от ненулевых спектральных областей квантованного спектрального представления, по крайней мере, одной промежуточной спектральной областью для нахождения идентифицированных спектральных областей; и
выборочное рассмотрение (820) ошибок квантования в идентифицированных спектральных областях для расчета параметра шумозаполнения.
14. Машиночитаемый носитель информации с записанной на нем компьютерной программой для осуществления способа по п.12, когда компьютерная программа запущена на компьютере.
15. Машиночитаемый носитель информации с записанной на нем компьютерной программой для осуществления способа по п.13, когда компьютерная программа запущена на компьютере.
RU2011102410/08A 2008-07-11 2009-06-26 Шумовой фон, устройство обработки шумового фона, метод обеспечения параметров шумового фона, метод обеспечения спектрального представления шумового фона аудиосигнала, компьютерная программа и кодированный аудиосигнал RU2512103C2 (ru)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US7987208P 2008-07-11 2008-07-11
US61/079,872 2008-07-11
US10382008P 2008-10-08 2008-10-08
US61/103,820 2008-10-08
PCT/EP2009/004653 WO2010003565A1 (en) 2008-07-11 2009-06-26 Noise filler, noise filling parameter calculator, method for providing a noise filling parameter, method for providing a noise-filled spectral representation of an audio signal, corresponding computer program and encoded audio signal

Publications (2)

Publication Number Publication Date
RU2011102410A RU2011102410A (ru) 2012-07-27
RU2512103C2 true RU2512103C2 (ru) 2014-04-10

Family

ID=40941986

Family Applications (2)

Application Number Title Priority Date Filing Date
RU2011104006/08A RU2519069C2 (ru) 2008-07-11 2009-06-25 Устройство аудио кодирования, устройство аудио декодирования, методы кодирования и декодирования аудио-сигнала, аудио поток и компьютерная программа
RU2011102410/08A RU2512103C2 (ru) 2008-07-11 2009-06-26 Шумовой фон, устройство обработки шумового фона, метод обеспечения параметров шумового фона, метод обеспечения спектрального представления шумового фона аудиосигнала, компьютерная программа и кодированный аудиосигнал

Family Applications Before (1)

Application Number Title Priority Date Filing Date
RU2011104006/08A RU2519069C2 (ru) 2008-07-11 2009-06-25 Устройство аудио кодирования, устройство аудио декодирования, методы кодирования и декодирования аудио-сигнала, аудио поток и компьютерная программа

Country Status (22)

Country Link
US (9) US9043203B2 (ru)
EP (7) EP4372745A1 (ru)
JP (2) JP5622726B2 (ru)
KR (4) KR101582057B1 (ru)
CN (2) CN102089808B (ru)
AR (2) AR072482A1 (ru)
AT (1) ATE535903T1 (ru)
AU (2) AU2009267459B2 (ru)
BR (6) BR122021003726B1 (ru)
CA (2) CA2730361C (ru)
CO (2) CO6341671A2 (ru)
EG (1) EG26480A (ru)
ES (5) ES2422412T3 (ru)
HK (2) HK1157045A1 (ru)
MX (2) MX2011000382A (ru)
MY (2) MY178597A (ru)
PL (3) PL3246918T3 (ru)
PT (1) PT2304719T (ru)
RU (2) RU2519069C2 (ru)
TW (2) TWI417871B (ru)
WO (2) WO2010003556A1 (ru)
ZA (2) ZA201100091B (ru)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR122021003726B1 (pt) 2008-07-11 2021-11-09 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Codificador de áudio, decodificador de áudio, métodos para codificar e decodificar um sinal de áudio.
EP2182513B1 (en) * 2008-11-04 2013-03-20 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
US8553897B2 (en) * 2009-06-09 2013-10-08 Dean Robert Gary Anderson Method and apparatus for directional acoustic fitting of hearing aids
US8879745B2 (en) * 2009-07-23 2014-11-04 Dean Robert Gary Anderson As Trustee Of The D/L Anderson Family Trust Method of deriving individualized gain compensation curves for hearing aid fitting
US9101299B2 (en) * 2009-07-23 2015-08-11 Dean Robert Gary Anderson As Trustee Of The D/L Anderson Family Trust Hearing aids configured for directional acoustic fitting
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
US9117458B2 (en) * 2009-11-12 2015-08-25 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US8924222B2 (en) 2010-07-30 2014-12-30 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coding of harmonic signals
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
US9208792B2 (en) * 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
WO2012037515A1 (en) 2010-09-17 2012-03-22 Xiph. Org. Methods and systems for adaptive time-frequency resolution in digital data coding
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
WO2012053150A1 (ja) * 2010-10-18 2012-04-26 パナソニック株式会社 音声符号化装置および音声復号化装置
WO2012122303A1 (en) 2011-03-07 2012-09-13 Xiph. Org Method and system for two-step spreading for tonal artifact avoidance in audio coding
US9015042B2 (en) * 2011-03-07 2015-04-21 Xiph.org Foundation Methods and systems for avoiding partial collapse in multi-block audio coding
US9009036B2 (en) 2011-03-07 2015-04-14 Xiph.org Foundation Methods and systems for bit allocation and partitioning in gain-shape vector quantization for audio coding
JP5820487B2 (ja) 2011-03-18 2015-11-24 フラウンホーファーゲゼルシャフトツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． オーディオコンテントを表すビットストリームのフレームにおけるフレーム要素位置決め
EP2705516B1 (en) * 2011-05-04 2016-07-06 Nokia Technologies Oy Encoding of stereophonic signals
AU2012276367B2 (en) * 2011-06-30 2016-02-04 Samsung Electronics Co., Ltd. Apparatus and method for generating bandwidth extension signal
US9875748B2 (en) * 2011-10-24 2018-01-23 Koninklijke Philips N.V. Audio signal noise attenuation
US8942397B2 (en) * 2011-11-16 2015-01-27 Dean Robert Gary Anderson Method and apparatus for adding audible noise with time varying volume to audio devices
JP5942463B2 (ja) * 2012-02-17 2016-06-29 株式会社ソシオネクスト オーディオ信号符号化装置およびオーディオ信号符号化方法
US9305567B2 (en) 2012-04-23 2016-04-05 Qualcomm Incorporated Systems and methods for audio signal processing
CN103778918B (zh) * 2012-10-26 2016-09-07 华为技术有限公司 音频信号的比特分配的方法和装置
CN103854653B (zh) * 2012-12-06 2016-12-28 华为技术有限公司 信号解码的方法和设备
AU2014211539B2 (en) * 2013-01-29 2017-04-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Low-complexity tonality-adaptive audio signal quantization
MX346927B (es) 2013-01-29 2017-04-05 Fraunhofer Ges Forschung Énfasis de bajas frecuencias para codificación basada en lpc (codificación de predicción lineal) en el dominio de frecuencia.
RU2631988C2 (ru) * 2013-01-29 2017-09-29 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Заполнение шумом при аудиокодировании с перцепционным преобразованием
BR112015019176B1 (pt) * 2013-04-05 2021-02-09 Dolby Laboratories Licensing Corporation método e aparelho de expansão de um sinal de áudio, método e aparelho de compressão de um sinal de áudio, e mídia legível por computador
EP2981961B1 (en) 2013-04-05 2017-05-10 Dolby International AB Advanced quantizer
EP2992605B1 (en) * 2013-04-29 2017-06-07 Dolby Laboratories Licensing Corporation Frequency band compression with dynamic thresholds
EP4290510A3 (en) 2013-05-24 2024-02-14 Dolby International AB Audio encoder
BR112015032013B1 (pt) * 2013-06-21 2021-02-23 Fraunhofer-Gesellschaft zur Förderung der Angewandten ForschungE.V. Método e equipamento para a obtenção de coeficientes do espectropara um quadro de substituição de um sinal de áudio, descodificador de áudio,receptor de áudio e sistema para transmissão de sinais de áudio
WO2014210284A1 (en) * 2013-06-27 2014-12-31 Dolby Laboratories Licensing Corporation Bitstream syntax for spatial voice coding
EP2830064A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection
EP2830058A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Frequency-domain audio coding supporting transform length switching
EP2830060A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Noise filling in multichannel audio coding
CN105531762B (zh) 2013-09-19 2019-10-01 索尼公司 编码装置和方法、解码装置和方法以及程序
AU2014329890B2 (en) 2013-10-03 2017-10-26 Dolby Laboratories Licensing Corporation Adaptive diffuse signal generation in an upmixer
CN111580772B (zh) * 2013-10-22 2023-09-26 弗劳恩霍夫应用研究促进协会 用于音频设备的组合动态范围压缩和引导截断防止的构思
EP3285254B1 (en) 2013-10-31 2019-04-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder and method for providing a decoded audio information using an error concealment based on a time domain excitation signal
PL3336839T3 (pl) 2013-10-31 2020-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder audio i sposób dostarczania zdekodowanej informacji audio z wykorzystaniem maskowania błędów modyfikującego sygnał pobudzenia w dziedzinie czasu
WO2015081699A1 (zh) 2013-12-02 2015-06-11 华为技术有限公司 一种编码方法及装置
KR20230042410A (ko) 2013-12-27 2023-03-28 소니그룹주식회사 복호화 장치 및 방법, 및 프로그램
EP4109445A1 (en) * 2014-03-14 2022-12-28 Telefonaktiebolaget LM Ericsson (PUBL) Audio coding method and apparatus
CN111710342B (zh) * 2014-03-31 2024-04-16 弗朗霍弗应用研究促进协会 编码装置、解码装置、编码方法、解码方法及程序
US9685166B2 (en) 2014-07-26 2017-06-20 Huawei Technologies Co., Ltd. Classification between time-domain coding and frequency domain coding
EP2980801A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for estimating noise in an audio signal, noise estimator, audio encoder, audio decoder, and system for transmitting audio signals
EP2980792A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling
JPWO2016052191A1 (ja) * 2014-09-30 2017-07-20 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US20160173808A1 (en) 2014-12-16 2016-06-16 Psyx Research, Inc. System and method for level control at a receiver
WO2016142002A1 (en) * 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
TWI771266B (zh) * 2015-03-13 2022-07-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
WO2016162283A1 (en) * 2015-04-07 2016-10-13 Dolby International Ab Audio coding with range extension
US9454343B1 (en) 2015-07-20 2016-09-27 Tls Corp. Creating spectral wells for inserting watermarks in audio signals
US9311924B1 (en) 2015-07-20 2016-04-12 Tls Corp. Spectral wells for inserting watermarks in audio signals
US9626977B2 (en) 2015-07-24 2017-04-18 Tls Corp. Inserting watermarks into audio signals that have speech-like properties
US10115404B2 (en) 2015-07-24 2018-10-30 Tls Corp. Redundancy in watermarking audio signals that have speech-like properties
IL276591B2 (en) 2015-10-08 2023-09-01 Dolby Int Ab Layered coding for voice or compressed sound field representations
CA3228629A1 (en) 2015-10-08 2017-04-13 Dolby International Ab Layered coding and data structure for compressed higher-order ambisonics sound or sound field representations
US10142743B2 (en) 2016-01-01 2018-11-27 Dean Robert Gary Anderson Parametrically formulated noise and audio systems, devices, and methods thereof
EP3208800A1 (en) * 2016-02-17 2017-08-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for stereo filing in multichannel coding
AU2017219696B2 (en) * 2016-02-17 2018-11-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Post-processor, pre-processor, audio encoder, audio decoder and related methods for enhancing transient processing
US10146500B2 (en) 2016-08-31 2018-12-04 Dts, Inc. Transform-based audio codec and method with subband energy smoothing
EP3382703A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and methods for processing an audio signal
EP3396670B1 (en) * 2017-04-28 2020-11-25 Nxp B.V. Speech signal processing
WO2019081070A1 (en) * 2017-10-27 2019-05-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. APPARATUS, METHOD, OR COMPUTER PROGRAM PRODUCT FOR GENERATING ENHANCED BANDWIDTH AUDIO SIGNAL USING NEURAL NETWORK PROCESSOR
WO2019091576A1 (en) * 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
US10950251B2 (en) * 2018-03-05 2021-03-16 Dts, Inc. Coding of harmonic signals in transform-based audio codecs
US11694708B2 (en) * 2018-09-23 2023-07-04 Plantronics, Inc. Audio device and method of audio processing with improved talker discrimination
US11264014B1 (en) * 2018-09-23 2022-03-01 Plantronics, Inc. Audio device and method of audio processing with improved talker discrimination
WO2020073148A1 (en) * 2018-10-08 2020-04-16 Telefonaktiebolaget Lm Ericsson (Publ) Transmission power determination for an antenna array
WO2020164751A1 (en) * 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and decoding method for lc3 concealment including full frame loss concealment and partial frame loss concealment
EP3939035A4 (en) * 2019-03-10 2022-11-02 Kardome Technology Ltd. LANGUAGE IMPROVEMENT USING CLUSTERING OF HINTS
WO2020207593A1 (en) * 2019-04-11 2020-10-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, apparatus for determining a set of values defining characteristics of a filter, methods for providing a decoded audio representation, methods for determining a set of values defining characteristics of a filter and computer program
US20200402522A1 (en) * 2019-06-24 2020-12-24 Qualcomm Incorporated Quantizing spatial components based on bit allocations determined for psychoacoustic audio coding
US11361776B2 (en) 2019-06-24 2022-06-14 Qualcomm Incorporated Coding scaled spatial components
US11538489B2 (en) 2019-06-24 2022-12-27 Qualcomm Incorporated Correlating scene-based audio data for psychoacoustic audio coding
CN112037802B (zh) * 2020-05-08 2022-04-01 珠海市杰理科技股份有限公司 基于语音端点检测的音频编码方法及装置、设备、介质
US11545172B1 (en) * 2021-03-09 2023-01-03 Amazon Technologies, Inc. Sound source localization using reflection classification
CN114900246B (zh) * 2022-05-25 2023-06-13 中国电子科技集团公司第十研究所 噪声基底估计方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2237296C2 (ru) * 1998-11-23 2004-09-27 Телефонактиеболагет Лм Эрикссон (Пабл) Кодирование речи с функцией изменения комфортного шума для повышения точности воспроизведения
EP1736966A2 (en) * 2002-06-17 2006-12-27 Dolby Laboratories Licensing Corporation Method for generating audio information
RU2294565C2 (ru) * 2001-03-08 2007-02-27 Матсушита Электрик Индастриал Ко., Лтд. Способ и система динамической адаптации синтезатора речи для повышения разборчивости синтезируемой им речи

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4703505A (en) * 1983-08-24 1987-10-27 Harris Corporation Speech data encoding scheme
US4956871A (en) * 1988-09-30 1990-09-11 At&T Bell Laboratories Improving sub-band coding of speech at low bit rates by adding residual speech energy signals to sub-bands
JPH0934493A (ja) 1995-07-20 1997-02-07 Graphics Commun Lab:Kk 音響信号符号化装置、音響信号復号装置および音響信号処理装置
US6092041A (en) 1996-08-22 2000-07-18 Motorola, Inc. System and method of encoding and decoding a layered bitstream by re-applying psychoacoustic analysis in the decoder
US5797120A (en) * 1996-09-04 1998-08-18 Advanced Micro Devices, Inc. System and method for generating re-configurable band limited noise using modulation
US5924064A (en) * 1996-10-07 1999-07-13 Picturetel Corporation Variable length coding using a plurality of region bit allocation patterns
US5960389A (en) * 1996-11-15 1999-09-28 Nokia Mobile Phones Limited Methods for generating comfort noise during discontinuous transmission
US6167133A (en) * 1997-04-02 2000-12-26 At&T Corporation Echo detection, tracking, cancellation and noise fill in real time in a communication system
US6240386B1 (en) 1998-08-24 2001-05-29 Conexant Systems, Inc. Speech codec employing noise classification for noise compensation
US7124079B1 (en) 1998-11-23 2006-10-17 Telefonaktiebolaget Lm Ericsson (Publ) Speech coding with comfort noise variability feature for increased fidelity
JP3804902B2 (ja) 1999-09-27 2006-08-02 パイオニア株式会社 量子化誤差補正方法及び装置並びにオーディオ情報復号方法及び装置
FI116643B (fi) * 1999-11-15 2006-01-13 Nokia Corp Kohinan vaimennus
SE0004187D0 (sv) * 2000-11-15 2000-11-15 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
DE60233032D1 (de) * 2001-03-02 2009-09-03 Panasonic Corp Audio-kodierer und audio-dekodierer
KR100871999B1 (ko) * 2001-05-08 2008-12-05 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩
JP4506039B2 (ja) 2001-06-15 2010-07-21 ソニー株式会社 符号化装置及び方法、復号装置及び方法、並びに符号化プログラム及び復号プログラム
KR100462611B1 (ko) * 2002-06-27 2004-12-20 삼성전자주식회사 하모닉 성분을 이용한 오디오 코딩방법 및 장치
JP4218271B2 (ja) * 2002-07-19 2009-02-04 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体
DE10236694A1 (de) 2002-08-09 2004-02-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum skalierbaren Codieren und Vorrichtung und Verfahren zum skalierbaren Decodieren
KR100477699B1 (ko) * 2003-01-15 2005-03-18 삼성전자주식회사 양자화 잡음 분포 조절 방법 및 장치
WO2005004113A1 (ja) * 2003-06-30 2005-01-13 Fujitsu Limited オーディオ符号化装置
ATE391988T1 (de) * 2003-10-10 2008-04-15 Agency Science Tech & Res Verfahren zum codieren eines digitalen signals in einen skalierbaren bitstrom, verfahren zum decodieren eines skalierbaren bitstroms
US7723474B2 (en) 2003-10-21 2010-05-25 The Regents Of The University Of California Molecules that selectively home to vasculature of pre-malignant dysplastic lesions or malignancies
US7436786B2 (en) * 2003-12-09 2008-10-14 International Business Machines Corporation Telecommunications system for minimizing the effect of white noise data packets for the generation of required white noise on transmission channel utilization
JP2005202248A (ja) * 2004-01-16 2005-07-28 Fujitsu Ltd オーディオ符号化装置およびオーディオ符号化装置のフレーム領域割り当て回路
DE102004007200B3 (de) 2004-02-13 2005-08-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiocodierung
CA2457988A1 (en) 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
US7613306B2 (en) * 2004-02-25 2009-11-03 Panasonic Corporation Audio encoder and audio decoder
ES2291877T3 (es) 2004-05-17 2008-03-01 Nokia Corporation Codificacion de audio con diferentes modelos de codificacion.
US7649988B2 (en) 2004-06-15 2010-01-19 Acoustic Technologies, Inc. Comfort noise generator using modified Doblinger noise estimate
US7873515B2 (en) * 2004-11-23 2011-01-18 Stmicroelectronics Asia Pacific Pte. Ltd. System and method for error reconstruction of streaming audio information
KR100707173B1 (ko) 2004-12-21 2007-04-13 삼성전자주식회사 저비트율 부호화/복호화방법 및 장치
US7885809B2 (en) * 2005-04-20 2011-02-08 Ntt Docomo, Inc. Quantization of speech and audio coding parameters using partial information on atypical subsequences
RU2419171C2 (ru) * 2005-07-22 2011-05-20 Франс Телеком Способ переключения скорости передачи битов при аудиодекодировании с масштабированием скорости передачи битов и масштабированием полосы пропускания
JP4627737B2 (ja) * 2006-03-08 2011-02-09 シャープ株式会社 デジタルデータ復号化装置
WO2007122614A2 (en) * 2006-04-21 2007-11-01 Galtronics Ltd. Twin ground antenna
JP4380669B2 (ja) * 2006-08-07 2009-12-09 カシオ計算機株式会社 音声符号化装置、音声復号装置、音声符号化方法、音声復号方法、及び、プログラム
US7275936B1 (en) * 2006-09-22 2007-10-02 Lotes Co., Ltd. Electrical connector
US8275611B2 (en) * 2007-01-18 2012-09-25 Stmicroelectronics Asia Pacific Pte., Ltd. Adaptive noise suppression for digital speech signals
EP2116997A4 (en) * 2007-03-02 2011-11-23 Panasonic Corp AUDIO DECODING DEVICE AND AUDIO DECODING METHOD
ES2858423T3 (es) 2007-08-27 2021-09-30 Ericsson Telefon Ab L M Método y dispositivo para el llenado de huecos espectrales
US9269372B2 (en) 2007-08-27 2016-02-23 Telefonaktiebolaget L M Ericsson (Publ) Adaptive transition frequency between noise fill and bandwidth extension
US8554550B2 (en) * 2008-01-28 2013-10-08 Qualcomm Incorporated Systems, methods, and apparatus for context processing using multi resolution analysis
BR122021003726B1 (pt) * 2008-07-11 2021-11-09 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Codificador de áudio, decodificador de áudio, métodos para codificar e decodificar um sinal de áudio.
US9208792B2 (en) 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
WO2012053150A1 (ja) 2010-10-18 2012-04-26 パナソニック株式会社 音声符号化装置および音声復号化装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2237296C2 (ru) * 1998-11-23 2004-09-27 Телефонактиеболагет Лм Эрикссон (Пабл) Кодирование речи с функцией изменения комфортного шума для повышения точности воспроизведения
RU2294565C2 (ru) * 2001-03-08 2007-02-27 Матсушита Электрик Индастриал Ко., Лтд. Способ и система динамической адаптации синтезатора речи для повышения разборчивости синтезируемой им речи
EP1736966A2 (en) * 2002-06-17 2006-12-27 Dolby Laboratories Licensing Corporation Method for generating audio information
US7337118B2 (en) * 2002-06-17 2008-02-26 Dolby Laboratories Licensing Corporation Audio coding system using characteristics of a decoded signal to adapt synthesized spectral components

Also Published As

Publication number Publication date
KR101582057B1 (ko) 2015-12-31
CA2730536A1 (en) 2010-01-14
CA2730361A1 (en) 2010-01-14
AU2009267459B2 (en) 2014-01-23
BR122021003097B1 (pt) 2021-11-03
US20110170711A1 (en) 2011-07-14
US11869521B2 (en) 2024-01-09
AR072482A1 (es) 2010-09-01
ZA201100091B (en) 2011-10-26
ES2422412T3 (es) 2013-09-11
CA2730536C (en) 2014-12-02
BR122021003142B1 (pt) 2021-11-03
EP2304719B1 (en) 2017-07-26
ES2642906T3 (es) 2017-11-20
EP3246918A1 (en) 2017-11-22
BRPI0910522A2 (pt) 2020-10-20
KR20140036042A (ko) 2014-03-24
HK1160285A1 (en) 2012-08-10
EG26480A (en) 2013-12-02
KR20160004403A (ko) 2016-01-12
KR101518532B1 (ko) 2015-05-07
US20240096337A1 (en) 2024-03-21
EP4235660A2 (en) 2023-08-30
EP4372744A1 (en) 2024-05-22
US20150112693A1 (en) 2015-04-23
US9449606B2 (en) 2016-09-20
ES2955669T3 (es) 2023-12-05
US20170004839A1 (en) 2017-01-05
ZA201100085B (en) 2011-10-26
KR20110039245A (ko) 2011-04-15
US9711157B2 (en) 2017-07-18
EP4372745A1 (en) 2024-05-22
RU2011102410A (ru) 2012-07-27
MY155785A (en) 2015-11-30
US20110173012A1 (en) 2011-07-14
BR122021003752B1 (pt) 2021-11-09
US20140236605A1 (en) 2014-08-21
AU2009267468B2 (en) 2012-03-15
HK1157045A1 (en) 2012-06-22
EP4375998A1 (en) 2024-05-29
CN102089806B (zh) 2012-12-05
TW201007696A (en) 2010-02-16
BRPI0910811A2 (pt) 2020-11-03
JP2011527455A (ja) 2011-10-27
JP5622726B2 (ja) 2014-11-12
JP5307889B2 (ja) 2013-10-02
MX2011000382A (es) 2011-02-25
CO6341671A2 (es) 2011-11-21
PL2304720T3 (pl) 2012-04-30
CN102089808A (zh) 2011-06-08
KR20110040829A (ko) 2011-04-20
CA2730361C (en) 2017-01-03
BRPI0910811B1 (pt) 2021-09-21
ATE535903T1 (de) 2011-12-15
WO2010003556A1 (en) 2010-01-14
MY178597A (en) 2020-10-16
EP2304720A1 (en) 2011-04-06
KR101251790B1 (ko) 2013-04-08
US9043203B2 (en) 2015-05-26
BR122021003726B1 (pt) 2021-11-09
CN102089808B (zh) 2014-02-12
TW201007697A (en) 2010-02-16
EP2304719A1 (en) 2011-04-06
AU2009267459A1 (en) 2010-01-14
EP2304720B1 (en) 2011-11-30
PT2304719T (pt) 2017-11-03
MX2011000359A (es) 2011-02-25
PL2304719T3 (pl) 2017-12-29
US20170309283A1 (en) 2017-10-26
CN102089806A (zh) 2011-06-08
US10629215B2 (en) 2020-04-21
EP4235660A3 (en) 2023-09-13
RU2519069C2 (ru) 2014-06-10
US20210272577A1 (en) 2021-09-02
CO6280569A2 (es) 2011-05-20
US11024323B2 (en) 2021-06-01
RU2011104006A (ru) 2012-08-20
WO2010003565A1 (en) 2010-01-14
KR101706009B1 (ko) 2017-02-22
ES2374640T3 (es) 2012-02-20
EP3246918C0 (en) 2023-06-14
EP3246918B1 (en) 2023-06-14
ES2526767T3 (es) 2015-01-15
TWI492223B (zh) 2015-07-11
AR072497A1 (es) 2010-09-01
JP2011527451A (ja) 2011-10-27
US8983851B2 (en) 2015-03-17
AU2009267468A1 (en) 2010-01-14
PL3246918T3 (pl) 2023-11-06
TWI417871B (zh) 2013-12-01
US20240096338A1 (en) 2024-03-21

Similar Documents

Publication Publication Date Title
RU2512103C2 (ru) Шумовой фон, устройство обработки шумового фона, метод обеспечения параметров шумового фона, метод обеспечения спектрального представления шумового фона аудиосигнала, компьютерная программа и кодированный аудиосигнал
CN110197667B (zh) 对音频信号的频谱执行噪声填充的装置
EP2490215A2 (en) Method and apparatus to extract important spectral component from audio signal and low bit-rate audio signal coding and/or decoding method and apparatus using the same
US9546924B2 (en) Transform audio codec and methods for encoding and decoding a time segment of an audio signal
JP2008536192A (ja) コード化されたオーディオの経済的な音量計測
EP1398761A1 (en) Bit rate reduction in audio encoders by exploiting inharmonicity effects and auditory temporal masking
EP1517300B1 (en) Encoding of audio data
Gunjal et al. Traditional Psychoacoustic Model and Daubechies Wavelets for Enhanced Speech Coder Performance
CN114783449A (zh) 神经网络训练方法、装置、电子设备及介质
Suresh et al. MDCT domain analysis and synthesis of reverberation for parametric stereo audio
EP1777698A1 (en) Bit rate reduction in audio encoders by exploiting inharmonicity effects and auditory temporal masking