RU2740074C1 - Временное формирование шума - Google Patents

Временное формирование шума Download PDF

Info

Publication number
RU2740074C1
RU2740074C1 RU2020118948A RU2020118948A RU2740074C1 RU 2740074 C1 RU2740074 C1 RU 2740074C1 RU 2020118948 A RU2020118948 A RU 2020118948A RU 2020118948 A RU2020118948 A RU 2020118948A RU 2740074 C1 RU2740074 C1 RU 2740074C1
Authority
RU
Russia
Prior art keywords
filter
filtering
tns
impulse response
energy
Prior art date
Application number
RU2020118948A
Other languages
English (en)
Inventor
Эммануэль РАВЕЛЛИ
Манфред ЛУТЦКИ
Маркус ШНЕЛЛЬ
Александр ЧЕКАЛИНСКИЙ
Горан МАРКОВИЧ
Штефан ГЕИЭРСБЕРГЕР
Original Assignee
Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. filed Critical Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.
Application granted granted Critical
Publication of RU2740074C1 publication Critical patent/RU2740074C1/ru

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0224Processing in the time domain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Picture Signal Circuits (AREA)
  • Error Detection And Correction (AREA)
  • Noise Elimination (AREA)

Abstract

Изобретение относится к средствам для обработки аудиосигнала. Технический результат заключается в повышении эффективности аудиокодирования. Выполняют фильтрацию временного формирования шума (TNS) информационного сигнала, включающего в себя множество кадров. Для каждого кадра выполняют выбор (S34) между фильтрацией с помощью первого фильтра (14a) и фильтрацией с помощью второго фильтра (15a), импульсный отклик которого имеет более низкую энергию, на основе метрики кадра, причем второй фильтр (15a) не является фильтром идентичности. Выполняют фильтрацию кадра с использованием фильтрации, выбранной между фильтрацией с помощью первого фильтра (14a) и фильтрацией с помощью второго фильтра (15a). Модифицируют первый фильтр (14a) так, чтобы получить второй фильтр (15a), энергия импульсного отклика которого сокращена. 3 н. и 19 з.п. ф-лы, 14 ил.

Description

1. Область техники
Примеры в настоящем документе относятся к устройству кодирования и декодирования, в частности, для выполнения временного формирования шума (TNS; Temporal Noise Shaping).
2. Предшествующий уровень техники
Следующие документы представляют предшествующий уровень техники.
ЛИТЕРАТУРА
[1] Herre, Jürgen, and James D. Johnston. "Enhancing the performance of perceptual audio coders by using temporal noise shaping (TNS)." Audio Engineering Society Convention 101. Audio Engineering Society, 1996.
[2] Herre, Jurgen, and James D. Johnston. "Continuously signal-adaptive filterbank for high-quality perceptual audio coding." Applications of Signal Processing to Audio and Acoustics, 1997. 1997 IEEE ASSP Workshop on. IEEE, 1997.
[3] Herre, Jürgen. "Temporal noise shaping, quantization and coding methods in perceptual audio coding: A tutorial introduction." Audio Engineering Society Conference: 17th International Conference: High-Quality Audio Coding. Audio Engineering Society, 1999.
[4] Herre, Juergen Heinrich. "Perceptual noise shaping in the time domain via LPC prediction in the frequency domain." U.S. Patent No. 5,781,888. 14 Jul. 1998.
[5] Herre, Juergen Heinrich. "Enhanced joint stereo coding method using temporal envelope shaping." U.S. Patent No. 5,812,971. 22 Sep. 1998.
[6] 3GPP TS 26.403; General audio codec audio processing functions; Enhanced aacPlus general audio codec; Encoder specification; Advanced Audio Coding (AAC) part.
[7] ISO/IEC 14496-3:2001; Information technology - Coding of audio-visual objects - Part 3: Audio.
[8] 3GPP TS 26.445; Codec for Enhanced Voice Services (EVS); Detailed algorithmic description.
Временное формирование шума (TNS) является инструментом для аудиокодеров на основе преобразования, который был разработан в 90-х годах (труды конференции [1-3] и патенты [4-5]). С тех пор оно было интегрировано в главные стандарты аудиокодирования, такие как MPEG-2 AAC, MPEG-4 AAC, 3GPP E-AAC-Plus, MPEG-D USAC, 3GPP EVS, MPEG-H 3D Audio.
TNS может быть кратко описано следующим образом. На стороне кодера и перед квантованием сигнал фильтруется в частотной области (FD) с использованием линейного прогнозирования (LP), чтобы сгладить сигнал во временной области. На стороне декодера и после обратного квантования сигнал фильтруется обратно в частотной области с использованием обратного фильтра с прогнозированием, чтобы сформировать шум квантования во временной области, в результате чего он получается маскирован сигналом.
TNS является эффективным при подавлении так называемого артефакта опережающего эха на сигналах, содержащих острые нарастания громкости, такие как, например, кастаньеты. Оно также полезно для сигналов, содержащих псевдостационарную последовательность похожих на импульсы сигналов, таких как, например, речь.
TNS обычно используется в аудиокодере, действующем на относительно высокой битовой скорости. При использовании в аудиокодере, работающем на низкой битовой скорости, TNS может иногда вносить артефакты, ухудшая качество аудиокодера. Эти артефакты похожи на щелчки или шум и появляются в большинстве случаев с речевыми сигналами или тональными музыкальными сигналами.
Примеры в настоящем документе позволяют подавлять или сокращать ухудшения TNS, поддерживая его преимущества.
Несколько приведенных ниже примеров позволяют получить улучшенное TNS для аудиокодирования на низкой битовой скорости.
3. Сущность изобретения
В соответствии с примерами обеспечено устройство кодера, содержащее:
инструмент временного формирования шума (TNS) для выполнения фильтрации с линейным прогнозированием (LP) информационного сигнала, включающего в себя множество кадров; и
контроллер, выполненный с возможностью управлять инструментом TNS таким образом, чтобы инструмент TNS выполнял фильтрацию LP с помощью:
первого фильтра, импульсный отклик которого имеет более высокую энергию; и
второго фильтра, импульсный отклик которого имеет более низкую энергию, чем импульсный отклик первого фильтра, причем второй фильтр не является фильтром идентичности,
причем контроллер выполнен с возможностью выбирать между фильтрацией с помощью первого фильтра и фильтрацией с помощью второго фильтра на основе метрики кадра.
Следует отметить, что возможно удалить артефакты в проблематичных кадрах, минимально затрагивая другие кадры.
Вместо того, чтобы просто включать/выключать операции TNS, возможно поддержать преимущества инструмента TNS, сокращая его ухудшения. Таким образом, достигается интеллектуально обоснованное управление в реальном времени посредством сокращения фильтрации в случае необходимости.
В соответствии с примерами, контроллер дополнительно выполнен с возможностью:
модифицировать первый фильтр, чтобы получить второй фильтр, в котором сокращена энергия импульсного отклика фильтра.
В соответствии с этим при необходимости может быть создан второй фильтр с сокращенной энергией импульсного отклика.
В соответствии с примерами, контроллер дополнительно выполнен с возможностью:
применять по меньшей мере один поправочный коэффициент к первому фильтру, чтобы получить второй фильтр.
Посредством разумной модификации первого фильтра возможно создать состояние фильтрации, которое не может быть достигнуто простым включением и выключением TNS. По меньшей мере получается одно промежуточное состояние между полной фильтрацией и отсутствием фильтрации. Это промежуточное состояние, вызываемое при необходимости, позволяет сокращать недостатки TNS и поддерживать его положительных характеристики.
В соответствии с примерами, контроллер дополнительно выполнен с возможностью:
определять по меньшей мере один поправочный коэффициент на основе по меньшей мере метрики кадра.
В соответствии с примерами, контроллер дополнительно выполнен с возможностью:
определять по меньшей мере один поправочный коэффициент на основе порога определения фильтрации TNS, который используется для выбора между выполнением фильтрации TNS и не выполнением фильтрации TNS.
В соответствии с примерами, контроллер дополнительно выполнен с возможностью
определять по меньшей мере один поправочный коэффициент с использованием линейной функции метрики кадра, причем линейная функция возрастает с увеличением поправочного коэффициента и/или энергии импульсного отклика фильтра.
Следовательно, возможно определить для разных метрик разные поправочные коэффициенты, чтобы получить параметры фильтра, которые наиболее приспособлены для каждого кадра.
В соответствии с примерами контроллер дополнительно выполнен с возможностью определять поправочный коэффициент как
Figure 00000001
где
Figure 00000002
- порог определения фильтрации TNS,
Figure 00000003
- порог определения типа фильтрации,
Figure 00000004
- метрика кадра, и
Figure 00000005
- фиксированное значение.
Артефакты, вызванные TNS, возникают в кадрах, в которых коэффициент усиления прогнозирования находится в конкретном интервале, который здесь задан как набор значений, выше порога
Figure 00000002
определения фильтрации TNS, но ниже порога
Figure 00000006
определения фильтрации. В некоторых случаях, в которых метрики составляют коэффициент усиления прогнозирования
Figure 00000007
и
Figure 00000008
, артефакты, вызванные TNS, имеют тенденцию быть между 1,5 и 2. Таким образом, некоторые примеры преодолевают эти ухудшения, сокращая фильтрацию на
Figure 00000009
.
В соответствии с примерами, контроллер дополнительно выполнен с возможностью модифицировать параметры первого фильтра, чтобы получить параметры второго фильтра, применяя:
Figure 00000010
где
Figure 00000011
- параметры первого фильтра,
Figure 00000012
- поправочные коэффициенты,
Figure 00000013
,
Figure 00000014
- параметры второго фильтра, и K - порядок первого фильтра.
Это простая, но пригодная методика для получения параметров второго фильтра, чтобы энергия импульсного отклика была сокращена относительно энергии импульсного отклика первого фильтра.
В соответствии с примерами контроллер дополнительно выполнен с возможностью получать метрику кадра по меньшей мере из одного из коэффициента усиления прогнозирования, энергии информационного сигнала и/или ошибки прогнозирования.
Поэтому эти метрики позволяют просто и достоверно различать кадры, которые должны быть фильтрованы вторым фильтром, от кадров, которые должны быть фильтрованы первым фильтром.
В соответствии с примерами, метрика кадра содержит коэффициент усиления прогнозирования, вычисленный как
Figure 00000015
где
Figure 00000016
ассоциирован с энергией информационного сигнала, и
Figure 00000017
ассоциирован ошибкой прогнозирования.
В соответствии с примерами, контроллер выполнен с возможностью:
по меньшей мере сокращать коэффициент усиления прогнозирования и/или сокращать энергию информационного сигнала, сокращать энергию импульсного отклика второго фильтра и/или по меньшей мере увеличивать ошибку прогнозирования, сокращать энергию импульсного отклика второго фильтра.
В соответствии с примерами контроллер выполнен с возможностью:
сравнивать метрику кадра с порогом определения типа фильтрации (например, thresh2), чтобы выполнить фильтрацию с помощью первого фильтра, когда метрика кадра ниже порога определения типа фильтрации.
В соответствии с этим легко автоматически установить, следует ли фильтровать сигнал с использованием первого фильтра или второго фильтра.
В соответствии с примерами контроллер выполнен с возможностью:
выбирать между выполнением фильтрации и не выполнением фильтрации на основе метрики кадра.
В соответствии с этим также возможно полностью избежать фильтрации TNS, когда это не нужно.
В примерах одна и та же метрика может использоваться дважды (при сравнении с двумя разными порогами) - для выбора между первым фильтром и вторым фильтром, и для выбора фильтрации или отсутствия фильтрации.
В соответствии с примерами, контроллер выполнен с возможностью:
сравнивать метрику кадра с порогом определения фильтрации TNS, чтобы принять решение избежать фильтрации TNS, когда метрика кадра ниже порога определения фильтрации TNS.
В соответствии с примерами, устройство может дополнительно содержать:
блок записи битового потока для подготовки битового потока с коэффициентами отражения или их квантованной версии, полученной посредством TNS.
Эти данные могут быть сохранены и/или переданы, например, декодеру.
В соответствии с примерами обеспечена система, содержащая сторону кодера и сторону декодера, причем сторона кодера содержит упомянутое выше и/или ниже устройство кодера.
В соответствии с примерами обеспечен способ для выполнения фильтрации временного формирования шума (TNS) информационного сигнала, включающего в себя множество кадров, способ содержит:
- для каждого кадра выполнение выбора на основе метрики кадра между фильтрацией с помощью первого фильтра, импульсный отклик которого имеет более высокую энергию, и фильтрацией с помощью второго фильтра, импульсный отклик которого имеет энергию более низкую, чем энергия импульсного отклика первого фильтра (14a), причем второй фильтр не является фильтром идентичности;
- фильтрацию кадра с использованием фильтрации, выбранной между первым фильтром и вторым фильтром.
В соответствии с примерами обеспечено запоминающее устройство долговременного хранения, хранящее инструкции, которые при их исполнении процессором побуждают процессор выполнять по меньшей мере некоторые этапы упомянутых выше и/или ниже способов и/или реализовывать упомянутые выше и/ или ниже систему и устройство.
4. Описание чертежей
Фиг. 1 показывает устройство кодера в соответствии с примером.
Фиг. 2 показывает устройство декодера в соответствии с примером.
Фиг. 3 показывает способ в соответствии с примером.
Фиг. 3А показывает методики в соответствии с примером.
Фиг. 3B и 3C показывают способы в соответствии с примерами.
Фиг. 4 показывает способы в соответствии с примерами.
Фиг. 5 показывает устройство кодера в соответствии с примером.
Фиг. 6 показывает устройство декодера в соответствии с примером.
Фиг. 7 и 8 показывают устройство кодера в соответствии с примерами.
Фиг. 8(1)-8(3) показывают прохождение сигнала в соответствии с примерами.
5. Примеры
Фиг. 1 показывает устройство 10 кодера. Устройство 10 кодера может быть предназначено для обработки (и передачи и/или хранения) информационных сигналов, таких как аудиосигналы. Информационный сигнал может быть разделен на временную последовательность кадров. Каждый кадр может быть представлен, например, в частотной области (FD). Представление FD может являться последовательностью элементов разрешения, каждый из которых находится на конкретной частоте. Представление FD может представлять собой частотный спектр.
Устройство 10 кодера может, среди прочего, содержать инструмент временного формирования шума (TNS), инструмент 11 предназначен для выполнения фильтрации TNS информационного сигнала 13 в частотной области (FD) (Xs(n)). Устройство 10 кодера может, среди прочего, содержать контроллер 12 TNS. Контроллер 12 TNS может быть выполнен с возможностью управлять инструментом 11 TNS таким образом, чтобы инструмент 11 TNS выполнял фильтрацию (например, для некоторых кадров) с использованием по меньшей мере одной фильтрации с линейным прогнозированием (LP) с более высокой энергией импульсного отклика и (например, для некоторых других кадров) с использованием по меньшей мере одной фильтрации LP с более низкой энергией импульсного отклика. Контроллер 12 TNS выполнен с возможностью выполнять выбор между фильтрацией LP с более высокой энергией импульсного отклика и фильтрацией LP c более низкой энергией импульсного отклика на основе метрики, ассоциированной с кадром (метрики кадра). Энергия импульсного отклика первого фильтра выше, чем энергия импульсного отклика второго фильтра.
Информационный сигнал 13 FD (Xs(n)) может быть получен, например, от инструмента модифицированного дискретного косинусного преобразования (MDCT) (или модифицированного дискретного синусного преобразования (MDST)), который преобразовал представление кадра из временной области (TD) в частотную область (FD).
Инструмент 11 TNS может обработать сигналы, например, с использованием группы параметров 14 (a(k)) фильтра c линейным прогнозированием (LP), которые могут являться параметрами первого фильтра 14a. Инструмент 11 TNS может также содержать параметры 14’ (aw(k)), которые могут являться параметрами второго фильтра 15a (второй фильтр 15a может иметь импульсную характеристику с более низкой энергией по сравнению с импульсной характеристикой первого фильтра 14a). Параметры 14’ можно трактовать как взвешенную версию параметров 14, и второй фильтр 15a можно трактовать как произведенный из первого фильтра 14a. Параметры могут содержать, среди прочего, один или более из следующих параметров (или их квантованной версии): коэффициенты кодирования LP (LPC), коэффициенты отражения (RC), коэффициенты rci(k) или их квантованная версия rcq(k), арксинусные коэффициенты отражения (ASRC), логарифмические отношения площадей (LAR), пары спектральных линий (LSP) и/или частоты спектральных линий (LS) или другие виды таких параметров. В примерах возможно использовать любое представление коэффициентов фильтра.
Выходными данными инструмента 11 TNS может являться отфильтрованная версия 15 (Xf(n)) информационного сигнала 13 FD (Xs(n)).
Другими выходными данными инструмента 11 TNS может являться группа выходных параметров 16, таких как коэффициенты отражения rci(k) (или их квантованная версия rcq(k)).
После компонентов 11 и 12 кодер битового потока может закодировать выходные данные 15 и 16 в битовый поток, который может быть передан (например, беспроводным образом с, использованием такого протокола, как Bluetooth) и/или сохранен (например, в блоке хранения большой емкости).
Фильтрация TNS обеспечивает коэффициенты отражения, которые в общем случае отличаются от нуля. Фильтрация TNS обеспечивает выходные данные, которые в общем случае отличаются от входных данных.
Фиг. 2 показывает устройство 20 декодера, которое может использовать выходные данные (или их обработанную версию) инструмента 11 TNS. Устройство 20 декодера может содержать, среди прочего, декодер 21 TNS и контроллер 22 декодера TNS. Компоненты 21 и 22 могут совместно функционировать, чтобы получить выходные данные 23 синтеза
Figure 00000018
). В декодер 21 TNS может вводиться, например, декодированное представление 25 (или его обработанная версия
Figure 00000019
) информационного сигнала, полученного устройством 20 декодера. Декодер 21 TNS может получать на входе (в качестве входных данных 26) коэффициенты отражения rci(k) (или их квантованные версии rcq(k)). Коэффициенты отражения rci(k) или rcq(k) могут являться декодированной версией коэффициентов отражения rci(k) или rcq(k), обеспеченных на выходе 16 устройства 10 кодера.
Как показано на фиг. 1, контроллер 12 TNS может управлять инструментом 11 TNS на основе, среди прочего, метрики 17 кадра (например, коэффициента усиления прогнозирования, или predGain). Например, контроллер 12 TNS может выполнить фильтрацию посредством выбора между по меньшей мере фильтрацией LP с более высокой энергией импульсного отклика и/или фильтрацией LP с более низкой энергией импульсного отклика, и/или между фильтрацией и отсутствием фильтрации. Кроме фильтрации LP с более высокой энергией импульсного отклика и фильтрации LP с более низкой энергией импульсного отклика в соответствии с примеры возможна по меньшей мере одна фильтрация LP с промежуточной энергией импульсного отклика.
Номер для ссылок 17’ на фиг. 1 относится к информации, командам и/или управляющим данным, которые обеспечиваются инструменту 14 TNS от контроллера 12 TNS. Например, инструменту TNS 14 может быть обеспечено решение на основе метрики 17 (например, "использовать первый фильтр" или "использовать второй фильтр"). Настройки фильтров также могут быть обеспечены инструменту 14 TNS. Например, фильтру TNS может быть обеспечен поправочный коэффициент (
Figure 00000020
), чтобы модифицировать первый фильтр 14a для получения второго фильтра 15a.
Метрика 17, например, может представлять собой метрику, ассоциированную с энергией сигнала в кадре (например, метрика может быть такой, что чем выше энергия, тем выше метрика). Метрика, например, может представлять собой метрику, ассоциированную с ошибкой прогнозирования (например, метрика может быть такой, что чем выше ошибка прогнозирования, тем ниже метрика). Метрика, например, может являться значением, ассоциированным с соотношением между ошибкой прогнозирования и энергией сигнала (например, метрика может быть такой, что чем выше отношение между энергией и ошибкой прогнозирования, тем выше метрика). Метрика, например, может являться коэффициентом усиления прогнозирования для текущего кадра или значением, ассоциированным или пропорциональным коэффициенту усиления прогнозирования для текущего кадра (например, чем выше коэффициент усиления прогнозирования, тем выше метрика). Метрика (17) кадра может быть ассоциирована с пологостью временной огибающей сигнала.
Было отмечено, что артефакты вследствие TNS наступают только тогда (или по меньшей мере преимущественно), когда коэффициент усиления прогнозирования является низким. Таким образом, когда коэффициент усиления прогнозирования является высоким, проблемы, вызванные TNS, не возникают (или имеют меньшую тенденцию к возникновению), и возможно выполнить полное формирование TNS (например, фильтрацию LP с более высокой энергией импульсного отклика). Когда коэффициент усиления прогнозирования является очень низким, предпочтительно совсем не выполнять TNS (отсутствие фильтрации). Когда коэффициент усиления прогнозирования имеет промежуточное значение, предпочтительно сократить эффекты TNS посредством использования фильтрации с линейным прогнозированием с более низкой энергией импульсного отклика (например, посредством взвешивания коэффициентов LP или других параметров фильтрации, и/или коэффициентов отражения, и/или с использованием фильтра, импульсный отклик которого имеет более низкую энергию). Фильтрация LP с более высокой энергией импульсного отклика и фильтрация LP с более низкой энергией импульсного отклика отличаются друг от друга в том, что фильтрация LP с более высокой энергией импульсного отклика определена таким образом, чтобы вызывать более высокую энергию импульсного отклика, чем фильтрация LP с более низкой энергией импульсного отклика. Фильтр в общем случае характеризуется энергией импульсного отклика, и, таким образом, возможно идентифицировать его с помощью его энергии импульсного отклика. Фильтрация LP с более высокой энергией импульсного отклика означает использование фильтра, импульсный отклик которого имеет более высокую энергию, чем у фильтра, используемого при фильтрации LP с более низкой энергией импульсного отклика.
Следовательно, с помощью настоящих примеров операции TNS могут быть вычислены посредством:
- выполнения фильтрации LP с высокой энергией импульсного отклика, когда метрика (например, коэффициент усиления прогнозирования) является высокой (например, выше порога определения типа фильтрации);
- выполнения фильтрации LP с низкой энергией импульсного отклика, когда метрика (например, коэффициент усиления прогнозирования) имеет промежуточное значение (например, между порогом определения фильтрации TNS и порогом определения типа фильтрации); и
- не выполнения фильтрации TNS, когда метрика (например, коэффициент усиления прогнозирования) является низкой (например, ниже порога определения фильтрации TNS).
Фильтрация LP с высокой энергией импульсного отклика может быть получена, например, с использованием первого фильтра, имеющего высокую энергию импульсного отклика. Фильтрация LP с низкой энергией импульсного отклика может быть получена, например, с использованием второго фильтра, имеющего более низкую энергию импульсного отклика. Первый и второй фильтры могут являться линейными независимыми от времени фильтрами (LTI).
В примерах первый фильтр может быть описан с использованием параметров фильтра a(k) (14). В примерах второй фильтр может являться модифицированной версией первого фильтра (например, полученным посредством контроллера 12 TNS). Второй фильтр (фильтр с более низкой энергией импульсного отклика) может быть получен посредством масштабирования с сокращением параметров первого фильтра (например, с использованием параметра
Figure 00000020
или
Figure 00000021
,
Figure 00000022
, где k - натуральное число,
Figure 00000023
,
Figure 00000024
является порядком первого фильтра).
Таким образом, в примерах, когда получены параметры фильтра, и на основе метрики определено, что необходима фильтрация с более низкой энергией импульсного отклика, параметры фильтра первого фильтра могут быть модифицированы (например, масштабированы с сокращением), чтобы получить параметры фильтра второго фильтра для использования для фильтра с более низкой энергией импульсного отклика.
Фиг. 3 показывает способ 30, который может быть реализован в устройстве 10 кодера.
На этапе S31 получается метрика кадра (например, коэффициент 17 усиления прогнозирования).
На этапе S32 проверяется, выше ли метрика 17 кадра, чем порог определения фильтрации TNS или первый порог (который может быть равен 1,5 в некоторых примерах). Примером метрики может являться коэффициент усиления прогнозирования.
Если на этапе S32 подтверждено, что метрика 17 кадра ниже, чем первый порог (thresh), на этапе S33 операция фильтрации не выполняется (возможно было бы сказать, что используется фильтр идентичности, который представляет собой фильтр, в котором выходные данные являются такими же, как входные данные). Например, Xf(n)=Xs(n) (выходные данные 15 инструмента 11 TNS совпадают со входными данными 13), и/или коэффициенты отражения rci(k) (и/или их квантованные версии rc0(k)) также устанавливаются равными 0. Таким образом, операции (и выходные данные) устройства 20 декодера не будут подвергаться влиянию инструмента 11 TNS. Следовательно, на этапе S33 не может использоваться ни первый фильтр, ни второй фильтр.
Если на этапе S32 подтверждено, что метрика 17 кадра больше, чем порог определения фильтрации TNS или первый порог (thresh), может быть выполнена вторая проверка на этапе S34 посредством сравнения метрики кадра с порогом определения типа фильтрации или вторым порогом (thresh2, который может быть больше, чем первый порог, и равен, например, 2).
Если на этапе S34 подтверждено, что метрика 17 кадра ниже, чем порог определения типа фильтрации или второй порог (thresh2), на этапе S35 выполняется фильтрация LP с более низкой энергией импульсного отклика (например, используется второй фильтр с более низкой энергией импульсного отклика, второй фильтр не является фильтром идентичности).
Если на этапе S34 подтверждено, что метрика 17 кадра больше, чем порог определения типа фильтрации или второй порог (thresh2), на этапе S36 выполняется фильтрация LP с более высокой энергией импульсного отклика (например, используется первый фильтр, энергия импульсного отклика которого выше, чем у фильтра с более низкой энергией).
Способ 30 может быть повторен для последующего кадра.
В примерах фильтрация LP с более низкой энергией импульсного отклика (этап S35) может отличаться от фильтрации LP с более высокой энергией импульсного отклика (этап S36) в том, что к параметрам фильтра 14 (a(k)) могут быть применены весовые коэффициенты с разными значениями (например, фильтрация LP с более высокой энергией импульсного отклика может быть основана на единичных весовых коэффициентах, а фильтрация LP с более низкой энергией импульсного отклика может быть основана на весовых коэффициентах ниже единицы). В примерах фильтрация LP с более низкой энергией импульсного отклика может отличаться от фильтрации LP с более высокой энергией импульсного отклика в том, что коэффициенты 16 отражения, полученные посредством выполнения фильтрации LP с более низкой энергией импульсного отклика, могут вызвать более высокое подавление энергии импульсного отклика, чем подавление, вызванное коэффициентами отражения, полученными посредством выполнения фильтрации LP с более высокой энергией импульсного отклика.
Следовательно, при выполнении фильтрации с более высокой энергией импульсного отклика на этапе S36 первый фильтр используется на основе параметров фильтра 14 (a(k)) (которые являются, таким образом, первыми параметрами фильтра). При выполнении фильтрации с более низкой энергией импульсного отклика на этапе S35 используется второй фильтр. Второй фильтр может быть получен посредством модификации параметров первого фильтра (например, посредством применения весовых коэффициентом меньше единицы).
Последовательность этапов S31-S32-S34 может отличаться в других примерах: например, этап S34 может предшествовать этапу S32. Один из этапов S32 и/или S34 может быть необязательным в некоторых примерах.
В примерах по меньшей мере один из первого и/или второго порогов может быть фиксирован (например, сохранен в элементе памяти).
В примерах фильтрация с более низкой энергией импульсного отклика может быть получена посредством сокращения импульсного отклика фильтра с помощью регулировки параметров фильтра LP (например, коэффициентов LPC или других параметров фильтрации) и/или коэффициентов отражения, или промежуточного значения, используемого для получения коэффициентов отражения. Например, коэффициенты меньше единицы (весовые коэффициенты) могут быть применены к параметрам фильтра LP (например, коэффициентам LPC или другим параметрам фильтрации) и/или коэффициентам отражения, или промежуточному значению, используемому для получения коэффициентов отражения.
В примерах регулировка (и/или сокращение энергии импульсного отклика) может представлять собой (или выражено как):
Figure 00000025
где
Figure 00000026
- порог определения типа фильтрации (и может составлять, например, 2),
Figure 00000027
- порог определения фильтрации TNS (и может составлять 1,5),
Figure 00000028
- константа (например, значение между 0,7 и 0,95, такое как между 0,8 и 0,9, такое как 0,85). Значения
Figure 00000029
могут использоваться, чтобы масштабировать коэффициенты LPC (или другие параметры фильтрации) и/или коэффициенты отражения. frameMetrics - метрика кадра.
В одном примере формула может представлять собой:
Figure 00000030
где
Figure 00000026
- порог определения типа фильтрации (и может составлять, например, 2),
Figure 00000027
- порог определения фильтрации TNS (и может составлять 1,5),
Figure 00000028
- константа (например, значение между 0,7 и 0,95, такое как между 0,8 и 0,9, такое как 0,85). Значения
Figure 00000029
могут использоваться, чтобы масштабировать коэффициенты LPC (или другие параметры фильтрации) и/или коэффициенты отражения. predGain может представлять собой коэффициент усиления прогнозирования.
Из формулы можно заметить, что frameMetrics (или
Figure 00000031
) ниже
Figure 00000026
, но близко к этому значению (например, 1,999) сделает сокращение энергии импульсного отклика слабым (например,
Figure 00000032
). Таким образом, фильтрация LP с более низкой энергией импульсного отклика может быть одной из множества разных фильтраций LP с более низкой энергией импульсного отклика, каждая из которых описывается своим параметром регулировки
Figure 00000033
, например, в соответствии со значением метрики кадра.
В примерах фильтрации LP с более низкой энергией импульсного отклика разные значения метрик могут вызвать разные регулировки. Например, более высокий коэффициент усиления прогнозирования может иметь отношение к более высокому значению
Figure 00000033
и более низкому сокращению энергии импульсного отклика относительно первого фильтра.
Figure 00000033
может рассматриваться как линейная функция, зависящая от
Figure 00000031
. Приращение
Figure 00000034
вызовет приращение
Figure 00000033
, что в свою очередь уменьшит сокращение энергии импульсного отклика. Если
Figure 00000031
сокращается,
Figure 00000033
также сокращается, и энергия импульсного отклика будет соответственно также сокращаться.
Следовательно, последующие кадры того же самого сигнала могут быть отфильтрованы по-другому:
- некоторые кадры могут быть отфильтрованы с использованием первого фильтра (фильтрация с более высокой энергией импульсного отклика), в котором сохраняются параметры (14) фильтра;
- некоторые другие кадры могут быть отфильтрованы с использованием второго фильтра (фильтрация с более низкой энергией импульсного отклика), в котором первый фильтр модифицирован, чтобы получить второй фильтр с более низкой энергией импульсного отклика (например, модифицируются параметры 14 фильтра), чтобы сократить энергию импульсного отклика относительно первого фильтра;
- некоторые другие кадры также могут быть отфильтрованы с использованием второго фильтра (фильтрация с более низкой энергией импульсного отклика), но с другой регулировкой (как последовательность разных значений метрики кадра).
В соответствии с этим, для каждого кадра может быть определен особый первый фильтр (например, на основе параметров фильтра), в то время как второй фильтр может быть разработан посредством модификации параметров первого фильтра.
Фиг. 3А показывают пример контроллера 12 и блока 11 TNS, совместно функционирующих для выполнения операций фильтрации TNS.
Метрика 17 кадра (например, коэффициент усиления прогнозирования) быть получена и сравнена с порогом 18a определения фильтрации TNS (например, в блоке 10a сравнения). Если метрика 17 кадра больше, чем порог 18a определения фильтрации TNS (thresh), разрешается (например, селектором 11a) сравнить метрику 17 кадра с порогом 18b определения типа фильтрации (например, в блоке 12a сравнения). Если метрика кадра 17 больше, чем порог 18b определения типа фильтрации, то активируется первый фильтр 14a, импульсный отклик которого имеет более высокую энергию (например,
Figure 00000035
). Если метрика 17 кадра ниже порога 18b определения типа фильтрации, то активируется второй фильтр 15a, импульсный отклик которого имеет более низкую энергию (например,
Figure 00000036
) (элемент 12b указывает отрицание двоичного значения, выданного блоком 12a сравнения). Первый фильтр 14a, импульсный отклик которого имеет более высокую энергию, может выполнить фильтрацию S36 с более высокой энергией импульсного отклика, и второй фильтр 15a, импульсный отклик которого имеет более низкую энергию, может выполнить фильтрацию S35 с более низкой энергией импульсного отклика.
Фиг. 3B и 3C показывают способы 36 и 35 для использования первого и второго фильтров 14a и 15a, соответственно (например, для этапов S36 и S35, соответственно).
Способ 36 может содержать этап S36a получения параметров 14 фильтра. Способ 36 может содержать этап S36b выполнения фильтрации (например, этап S36) с использованием параметров первого фильтра 14a. Этап S35b может быть выполнен только при определении (например, на этапе S34), что метрика кадра выше порога определения типа фильтрации (например, на этапе S35).
Способ 35 может содержать этап S35a получения параметров 14 фильтра первого фильтра 14a. Способ 35 может содержать этап S35b определения поправочного коэффициента
Figure 00000033
(например, посредством использования по меньшей мере одного из порогов thresh и thresh2 и метрики кадра). Способ 35 может содержать этап 35c для изменения первого фильтра 14a, чтобы получить второй фильтр 15a, имеющий более низкую энергию импульсного отклика относительно первого фильтра 14a. В частности, первый фильтр 14a может быть модифицирован посредством применения поправочного коэффициента
Figure 00000033
(например, полученного на этапе S35b) к параметрам 14 первого фильтра 14a, чтобы получить параметры второго фильтра. Способ 35 может содержать этап S35d, на котором выполняется фильтрация с помощью второго фильтра (например, на этапе S35 способа 30). Этапы S35a, S35b и S35c могут быть выполнены при определении (например, на этапе S34), что метрика кадра меньше, чем порог определения типа фильтрации (например, на этапе S35).
Фиг. 4 показывает способ 40’ (на стороне кодера) и способ 40” (на стороне декодера), которые могут сформировать единый способ 40. Способы 40’ и 40” могут иметь некоторый контакт в том, что кодер, работающий в соответствии со способом 40’, может передать битовый поток (например, беспроводным образом с использованием Bluetooth) декодеру, работающему в соответствии со способом 40”.
Ниже обсуждаются этапы способа 40 (обозначены как последовательность a)-b)-c)-d)-1)-2)-3)-e)-f) и последовательностью S41'-S49’).
a) Этап S41’: Может быть обработана автокорреляция спектра MDCT (или MDST) (значение FD), например,
Figure 00000037
где
Figure 00000038
- порядок фильтра LP (например,
Figure 00000039
). Здесь
Figure 00000040
может являться значением FD, вводимым в инструмент 11 TNS. Например,
Figure 00000040
может относиться к элементу разрешения, ассоциированному с частотой с индексом
Figure 00000041
.
b) Этап S42’: Автокорреляция может быть обработана с помощью оконной функции задержки:
Figure 00000042
Пример функции оконной обработки задержки может быть представлен, например:
Figure 00000043
где
Figure 00000044
- параметр окна (например,
Figure 00000045
).
c) Этап S43’: Коэффициенты фильтра LP могут быть оценены с использованием, например, рекурсивной процедуры Левинсона-Дербина, такой как:
Figure 00000046
где
Figure 00000047
- оценочные коэффициенты LPC (или другие параметры фильтрации),
Figure 00000048
- соответствующие коэффициенты отражения, и
Figure 00000049
- ошибка прогнозирования.
d) Этап S44’: Принятие решения (этап S44’ или S32) включить/выключить фильтрацию TNS текущего кадра может основано, например, на метрике кадра, такой как коэффициент усиления прогнозирования:
Если
Figure 00000050
, то включить фильтрацию TNS
причем коэффициент усиления прогнозирования вычисляется как
Figure 00000051
и
Figure 00000027
- порог (например,
Figure 00000027
).
1) Этап S45’: Весовой коэффициент
Figure 00000012
может быть получен (например, на этапе S45’) как
Figure 00000052
где
Figure 00000053
- второй порог (например,
Figure 00000054
), и
Figure 00000055
- минимальный весовой коэффициент (например,
Figure 00000056
).
Figure 00000057
может являться, например, порогом определения типа фильтрации.
Когда
Figure 00000058
, используется первый фильтр 14a. Когда
Figure 00000059
, используется второй фильтр 15a (например, на этапе S35b).
2) Этап S46’: Коэффициенты LPC (или другие параметры фильтрации) могут быть взвешены (например, на этапе S46’) с использованием коэффициента
Figure 00000012
:
Figure 00000010
Figure 00000060
является возведением в степень (например,
Figure 00000061
).
3) Этап S47’: Взвешенные коэффициенты LPC (или другие параметры фильтрации) могут быть преобразованы в коэффициенты отражения, например, с использованием следующей процедуры (этап S47’):
Figure 00000062
e) Этап S48': Если фильтрация TNS включена (например, в результате определения на этапе S32), коэффициенты отражения могут быть квантованы (этап S48’) с использованием, например, скалярного однородного квантование в области арксинуса:
Figure 00000063
Figure 00000064
где
Figure 00000065
- ширина ячейки (например,
Figure 00000066
), и
Figure 00000067
- функция округления до ближайшего целого числа.
Figure 00000068
- выходные индексы блока квантования, которые затем кодируются, например, с использованием арифметического кодирования.
Figure 00000069
- квантованные коэффициенты отражения.
f) Этап S49’: Если фильтрация TNS включена, спектр MDCT (или MDST) фильтруется (этап S49’) с использованием квантованных коэффициентов отражения и структуры решеточного фильтра
Figure 00000070
Битовый поток может быть передан декодеру. Битовый поток может содержать вместе с представлением FD информационного сигнала (например, аудиосигнала) также управляющие данные, такие как коэффициенты отражения, полученные посредством выполнения операций TNS, описанных выше (анализ TNS).
Способ 40” (сторона декодера) может содержать этапы g) (S41”) и h) (S42”), на которых, если фильтрация TNS включена, квантованные коэффициенты отражения декодируются, и квантованный фильтр MDCT (или MDST) подвергается обратной фильтрации. Может использоваться следующая процедура:
Figure 00000071
На фиг. 5 показан пример устройства 50 кодера (которое может воплотить устройство 10 кодера и/или выполнить по меньшей мере некоторые операции способов 30 и 40’).
Устройство 50 кодера может содержать множество инструментов для кодирования входного сигнала (который может являться, например, аудиосигналом). Например, инструмент 51 MDCT может преобразовывать представление TD информационного сигнала в представлении FD. Инструмент 52 формирования спектрального шума (SNS) может выполнять анализ формирования шума (например, анализ формирования спектрального шума (SNS)) и извлекать коэффициенты LPC или другие параметры фильтрации (например, a(k) 14). Инструмент 11 TNS может являться таким, как упомянуто выше, и им может управлять контроллером 12. Инструмент 11 TNS может выполнять операцию фильтрации (например, в соответствии со способом 30 или 40’) и выдавать фильтрованную версию информационного сигнала и версию коэффициентов отражения. Инструмент 13 квантования может выполнять квантование данных, выданных инструментом 11 TNS. Арифметический кодер 54 может обеспечивать, например, энтропийное кодирование. Инструмент 55’ уровня шума также может использоваться для оценки уровня шума сигнала. Блок 55 записи битового потока может формировать битовый поток, ассоциированный с входным сигналом, который может быть передан (например, беспроводным образом с использованием Bluetooth) и/или сохранен.
Также может использоваться детектор 58’ частотной полосы (который может обнаруживать частотную полосу входного сигнала). Он может обеспечивать информацию об активном спектре сигнала. Эта информация также может использоваться в некоторых примерах, чтобы управлять инструментами кодирования.
Устройство 50 кодера также может содержать инструмент 57 долгосрочной постфильтрации, на вход которого может подаваться представление TD входного сигнала, например, после того как представление TD было дискретизировано с понижением посредством инструмента 56.
На фиг. 6 показан пример устройства 60 декодера (которое может воплотить устройство 20 декодера и/или выполнить по меньшей мере некоторые операции способа 40”).
Устройство 60 декодера может содержать блок 61 считывания, который может считывать битовый поток (например, подготовленный устройством 50). Устройство 60 декодера может содержать арифметический разностный декодер 61a, который может выполнять, например, энтропийное декодирование, разностное декодирование и/или арифметическое декодирование с цифровым представлением в FD (восстановленный спектр), например, как представлено декодером. Устройство 60 декодера может содержать инструмент 62 заполнения шумом и инструмент 63 глобального усиления. Устройство 60 декодера может содержать декодер 21 TNS и контроллер 22 декодера TNS. Устройство 60 может содержать инструмент 65 декодера SNS. Устройство 60 декодера может содержать инструмент 65' обратного преобразования MDCT (или MDST) для преобразования цифрового представления информационного сигнала из области FD в область TD. Долгосрочная постфильтрация может быть выполнена инструментом 66 LTPF 66 в области TD. Информация 68 о частотной полосе может быть получена, например, от детектора 58’ частотной полосы и применена к некоторым инструментам (например, 62 и 21).
Здесь обеспечены примеры операций упомянутого выше устройства.
Формирование временного шума (TNS) может использоваться инструментом 11 для управления временной формой шума квантования в каждом окне преобразования.
В примерах, если фильтрация TNS активна в текущем кадре, то могут быть применены до двух фильтров на каждый спектр MDCT (или спектр MDST, или другой спектр или другое представление в области FD). Возможно применить множество фильтров и/или выполнить фильтрацию TNS в конкретном частотном диапазоне. В некоторых примерах это является необязательным.
Количество фильтров для каждой конфигурации и начальная и конечная частоты каждого фильтра заданы в следующей таблице:
Ширина полосы num_tns_filters start_freq(f) stop_freq(f) sub_start(f, s) sub_stop(f, s)
NB 1 {12} {80} {{12,34,57}} {{34,57,80}}
WB 1 {12} {160} {{12,61,110}} {{61,110,160}}
SSWB 1 {12} {240} {{12,88,164}} {{88,164,240}}
SWB 2 {12,160} {160,320} {{12,61,110},
{160,213,266}}
{{61,110,160},
{213,266,320}}
FB 2 {12,200} {200,400} {{12,74,137},
{200,266,333}}
{{74,137,200},
{266,333,400}}
Такая информация, как начальная и конечная частоты, может быть сообщена, например, детектором 58’ частотной полосы.
Где NB - узкополосный, WB - широкополосный, SSWB - полусуперширокополосный, SWB - суперширокополосный, и FB - полноширокополосный.
Ниже описаны этапы кодирования TNS. Сначала анализ может оценить набор коэффициентов отражения для каждого фильтра TNS. Затем эти коэффициенты отражения могут быть квантованы. И, наконец, спектр преобразования MDCT (или спектр MDST, или другой спектр, или другое представление FD) может быть отфильтрован с использованием квантованных коэффициентов отражения.
Полный анализ TNS, описанный ниже, повторяется для каждого фильтра TNS
Figure 00000072
, где
Figure 00000073
(num_tns_filters обеспечивается приведенной выше таблицей).
Нормализованная автокорреляционная функция может быть вычислена (например, на этапе S41’) следующим образом, для каждого
Figure 00000074
Figure 00000075
где
Figure 00000076
и
Figure 00000077
где
Figure 00000078
и
Figure 00000079
заданы в приведенной выше таблице.
Нормализованная функция автокорреляции может быть обработана с помощью оконной функции с задержкой (например, на этапе S42’), например, с использованием:
Figure 00000080
Рекурсия Левинсона-Дербина, описанная выше, может использоваться (например, на этапе S43’) для получения коэффициентов LPC или других параметров фильтрации
Figure 00000081
и/или ошибки прогнозирования
Figure 00000082
.
Решение включить/выключить фильтр TNS
Figure 00000072
в текущем кадре основано на коэффициенте усиления прогнозирования:
Если
Figure 00000083
, то включить фильтр TNS
Figure 00000072
Например, c
Figure 00000084
и получаемым коэффициентом усиления прогнозирования, например, как:
Figure 00000085
Дополнительные описанные ниже этапы выполняются, только если включен фильтр TNS
Figure 00000072
(например, если этап S32 имеет результат "ДА").
Весовой коэффициент
Figure 00000033
вычислен как
Figure 00000086
где
Figure 00000087
,
Figure 00000088
и
Figure 00000089
Коэффициенты LPC или другие параметры фильтрации могут быть взвешены (например, на этапе S46’) с использованием коэффициента
Figure 00000033
Figure 00000090
Взвешенные коэффициенты LPC или другие параметры фильтрации могут быть преобразованы (например, на этапе S47’) коэффициенты отражения, например, с использованием следующего алгоритма:
Figure 00000091
где
Figure 00000092
являются окончательными оценочными коэффициентами отражения для фильтра TNS
Figure 00000072
.
Если фильтр TNS
Figure 00000072
выключен (например, результат "НЕТ" в проверке этапа S32), то коэффициенты отражения могут быть просто установлены в 0:
Figure 00000093
.
Теперь обсуждается процесс квантования, выполняемый на этапе S48’.
Для каждого фильтра TNS
Figure 00000072
полученные коэффициенты отражения могут быть квантованы, например, с использованием скалярное однородного квантования в области арксинуса
Figure 00000094
и
Figure 00000095
где
Figure 00000066
и
Figure 00000096
являются округлением к самой близкой функции целого числа, например.
Figure 00000097
может быть индексами продукции блока квантования, и
Figure 00000098
может быть квантованными коэффициентами отражения.
Порядок квантованных коэффициентов отражения может быть вычислен с использованием
Figure 00000099
Общее количество битов, использованных фильтрацией TNS в текущем кадре, может быть вычислено следующим образом
Figure 00000100
где
Figure 00000101
и
Figure 00000102
Значения
Figure 00000103
и
Figure 00000104
могут быть представлены в таблицах.
Спектр MDCT (или MDST)
Figure 00000105
(входные данные 15 на фиг. 1) может быть отфильтрован с использованием следующей процедуры:
Figure 00000106
где
Figure 00000107
является отфильтрованным спектром MDCT TNS (или MDST) (выходные данные15 на фиг. 1).
Со ссылкой на операции, выполненные в декодере (например, 20, 60), квантованные коэффициенты отражения могут быть получены для каждого фильтра TNS
Figure 00000072
с использованием
Figure 00000108
где
Figure 00000098
являются выходными индексами квантования.
Спектр MDCT (или MDST)
Figure 00000109
, представленный декодеру 21 TNS (например, полученный из инструмента 63 глобального усиления), может быть отфильтрован с использованием следующего алгоритма
Figure 00000110
где
Figure 00000111
представляет собой выходные данные декодера TNS.
6. Обсуждение изобретения
Как разъяснялось выше, TNS может иногда вносить артефакты, ухудшая качество аудиокодера. Эти артефакты похожи на щелчки или шум и появляются в большинстве случаев с речевыми сигналами или тональными музыкальными сигналами.
Было замечено, что артефакты, сформированные TNS, возникают только в кадрах, в которых коэффициент усиления прогнозирования predGain является низким и близок к порогу thresh.
Можно было предположить, что увеличение порога легко решит проблему. Но для большинства кадров на самом деле полезно включить фильтрацию TNS, даже когда коэффициент усиления прогнозирования является низким.
Наше предлагаемое решение состоит в том, чтобы поддерживать такой же порог, но регулировать фильтр TNS, когда коэффициент усиления прогнозирования является низким, чтобы сократить энергию импульсного отклика.
Имеется много способов реализовать эту регулировку (что может называться, как "ослабление", например, когда получается подавление энергии импульсного отклика посредством сокращения параметров фильтра LP). Мы можем использовать весовые коэффициенты
Figure 00000112
где
Figure 00000113
- параметры фильтра LP (например, коэффициенты LPC) вычисленные на этапе c) кодера, и
Figure 00000114
- взвешенные параметры фильтра LP. Корректирующий (взвешенный) коэффициент
Figure 00000033
делается зависимым от коэффициента усиления прогнозирования таким образом, что применяется более высокое подавление энергии импульсного отклика (
Figure 00000036
) для более низких коэффициентов усиления прогнозирования, и в результате чего нет, например, подавления энергии импульсного отклика (
Figure 00000035
) для более высоких коэффициентов усиления прогнозирования.
Предлагаемое решение, как доказано, было очень эффективным при удалении всех артефактов на проблематичных кадрах с минимальным воздействием на другие кадры.
Теперь может быть сделана ссылка на фиг. 8(1)-8(3). Они показывают кадр аудиосигнала (сплошная линия) и частотную характеристику (штриховая линия) соответствующего фильтра прогнозирования TNS.
Фиг. 8(1): сигнал кастаньет
Фиг. 8(2): сигнал камертона
Фиг. 8(3): речевой сигнал
Коэффициент усиления прогнозирования относится к пологости временной огибающей сигнала (см., например, раздел 3 [2] или раздел 1.2 [3]).
Низкий коэффициент усиления прогнозирования подразумевает тенденциозно пологую временную огибающую, в то время как высокий коэффициент усиления прогнозирования подразумевает чрезвычайно не пологую временную огибающую.
Фиг. 8(1) показывает случай очень низкого коэффициента усиления прогнозирования (predGain=1,0). Это соответствует случаю очень стационарного аудиосигнала с пологой временной огибающей. В этом случае predGain=1 <thresh (например, thresh=1,5): фильтрация не выполняется (этап S33).
Фиг. 8(2) показывает случай очень высокого коэффициента усиления прогнозирования (12,3). Это соответствует случаю сильного и острого нарастания громкости с очень не пологой временной огибающей. В этом случае predGain=12,3 > thresh2 (threh2=2): фильтрация более высокой энергии импульсного отклика выполняется на этапе S36.
Фиг. 8(3) показывает случай, когда коэффициент усиления прогнозирования находится между thresh и thresh2, например, в диапазоне 1,5-2,0 (выше, чем первый порог, ниже, чем второй порог). Это соответствует случаю немного не пологой временной огибающей. В этом случае thresh<predGain<thresh2: фильтрация с более низкой энергией импульсного отклика выполнятся на этапе в S35, с использованием второго фильтра 15a с более низкой энергией импульсного отклика.
7. Другие примеры
Фиг. 7 показывает устройство 110, которое может реализовать устройство 10 или 50 кодера и/или выполнять по меньшей мере некоторые этапы способа 30 и/или 40’. Устройство 110 может содержать процессор 111 и блок 112 памяти долговременного хранения, хранящий инструкции, которые при их исполнении процессором 111 могут побудить процессор 111 выполнять фильтрацию и/или анализ TNS. Устройство 110 может содержать блок 116 ввода, который может получать входной сигнал (например, аудиосигнал). Процессор 111 может, таким образом, выполнять процессы TNS.
Фиг. 8 показывает устройство 120, которое может реализовать устройство 20 или 60 декодера и/или выполнить способ 40’. Устройство 120 может содержать процессор 121 и блок 122 памяти долговременного хранения, хранящий инструкции, которые при их исполнении процессором 121 могут побудить процессор 121 выполнять, среди прочего, операцию синтеза TNS. Устройство 120 может содержать блок 126 ввода, который может получать декодированное представление информационного сигнала (например, аудиосигнала) в FD. Процессор 121 может, таким образом, выполнять процессы для получения декодированного представления информационного сигнала, например, в TD. Это декодированное представление может быть предоставлено внешним блокам с использованием блока 127 вывода. Блок 127 вывода может содержать, например, блок связи для взаимодействия с внешним устройствами (например, с использованием беспроводной связи, такой как Bluetooth) и/или внешними пространствами памяти. Процессор 121 может хранить декодированное представление аудиосигнала в локальном пространстве 128 памяти.
В примерах системы 110 и 120 могут быть одним и тем же устройством.
В зависимости от некоторых требований реализации примеры могут быть реализованы в аппаратных средствах. Реализация может быть выполнена с использованием цифровых носителей информации, например, гибкого диска, цифрового универсального диска (DVD), диска Blu-ray, компакт-диска (CD), постоянного запоминающего устройства (ПЗУ; ROM), программируемого ПЗУ (ППЗУ; PROM), стираемого и программируемого ПЗУ (ЭПЗЗУ; EPROM), электрически стираемого ЭППЗУ (ЭСППЗУ EEPROM) или флэш-памяти, хранящих считываемые в электронном виде сигналы, которые могут выполнять соответствующий способ. Таким образом, цифровой носитель информации может быть машиночитаемым.
Обычно примеры могут быть реализованы как компьютерный программный продукт с программными командами, программные команды выполняют один из способов, когда компьютерный программный продукт исполняется на компьютере. Программные команды могут быть сохранены на машиночитаемом носителе.
Другие примеры содержат компьютерную программу для выполнения одного из способов, описанных в настоящем документе, сохраненных на машиночитаемой носителе. Другими словами, примером способа, таким образом, является компьютерная программа, имеющая программные команды для выполнения одного из способов, описанных в настоящем документе, когда компьютерная программа выполняется на компьютере.
Дополнительным примером способов, таким образом, является носитель данных (или цифровой носитель информации, или машиночитаемый носитель) содержащий записанную на нем компьютерную программу для выполнения одного из способов, описанных в настоящем документе. Носитель данных, цифровой носитель информации или носитель с записанными данными являются материальными и/или не временным носителем, а не нематериальными и временными сигналами.
Дополнительный пример содержит блок обработки, например, компьютер или программируемое логическое устройство, выполняющее один из способов, описанных в настоящем документе.
Дополнительный пример содержит компьютер с установленной на нем компьютерной программой для выполнения одного из способов, описанных в настоящем документе.
Дополнительный пример содержит устройство или систему, переносящую (например, в электронном виде или оптически) компьютерную программу для выполнения одного из способов, описанных в настоящем документе, к приемнику. Приемник может, например, являться компьютером, мобильным устройством, запоминающим устройством и т.п. Устройство или система могут, например, содержать файловый сервер для переноса компьютерной программы к приемнику.
В некоторых примерах программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться, чтобы выполнять некоторые или все функции способов, описанных в настоящем документе. В некоторых примерах программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы выполнять один из способов, описанных в настоящем документе. Обычно способы могут быть выполнены любым подходящим аппаратным устройством.
Описанные выше примеры являются иллюстративным для обсуждаемых выше принципов. Подразумевается, что модификации и вариации подробностей, описанных в настоящем документе, будут очевидны. Таким образом, объем описания ограничен лишь формулой изобретения, а не подробностями, представленными в примерах настоящего документа.

Claims (49)

1. Устройство (10, 50, 110) кодера, содержащее:
инструмент (11) формирования временного шума (TNS) для выполнения фильтрации (S33, S35, S36) с линейным прогнозированием (LP) информационного сигнала (13), включающего в себя множество кадров; и
контроллер (12), выполненный с возможностью управлять инструментом (11) TNS таким образом, чтобы инструмент (11) TNS выполнил фильтрацию LP с помощью
первого фильтра (14a), импульсный отклик которого имеет более высокую энергию (S36); и
второго фильтра (15a), импульсный отклик которого имеет более низкую энергию (S35), причем второй фильтр (15a) не является фильтром идентичности,
причем контроллер (12) выполнен с возможностью выбирать (S34) между фильтрацией (S36) с помощью первого фильтра (14a) и фильтрацией (S35) с помощью второго фильтра (15a) на основе метрики (17) кадра,
причем контроллер (11) дополнительно выполнен с возможностью
модифицировать первый фильтр (14a) для получения второго фильтра (15a), в котором сокращена энергия импульсного отклика фильтра.
2. Устройство кодера по п. 1, причем контроллер (11) дополнительно выполнен с возможностью
применять (S45’) поправочный коэффициент к первому фильтру (14a), чтобы получить второй фильтр (15a).
3. Устройство кодера по п. 2, выполненное с возможностью модифицировать первый фильтр (14a), чтобы получить второй фильтр (15a), модифицируя амплитуду параметров (14) первого фильтра (14a) с использованием поправочного коэффициента.
4. Устройство кодера по п. 2, в котором контроллер (11) дополнительно выполнен с возможностью
определять (S45’) поправочный коэффициент на основе порога (18b) определения типа фильтрации, используемого для выбора (S32) между фильтрацией (S36) с помощью первого фильтра (14a) и фильтрацией (S35) с помощью второго фильтра (15a).
5. Устройство кодера по п. 2, в котором контроллер (11) дополнительно выполнен с возможностью
определять (S45’) поправочный коэффициент на основе, по меньшей мере, метрики (17) кадра.
6. Устройство кодера по п. 2, в котором контроллер (11) дополнительно выполнен с возможностью
определять (S45’) поправочный коэффициент на основе порога (18b) определения фильтрации TNS, который используется для выбора (S32) между выполнением фильтрации (S34, S35) TNS и невыполнением (S33) фильтрации TNS.
7. Устройство кодера по п. 2, в котором контроллер (11) дополнительно выполнен с возможностью
определять (S45’) поправочный коэффициент с использованием линейной функции метрики (17) кадра, причем линейная функция является такой, что увеличение метрики кадра соответствует увеличению поправочного коэффициента и/или энергии импульсного отклика фильтра.
8. Устройство кодера по п. 2, выполненное с возможностью определять поправочный коэффициент как
Figure 00000115
где
Figure 00000116
- порог (18a) определения фильтрации TNS,
Figure 00000117
- порог (18b) определения типа фильтрации,
Figure 00000118
- метрика (17) кадра, и
Figure 00000119
- фиксированное значение.
9. Устройство кодера по п. 2, выполненное с возможностью модифицировать параметры (14) первого фильтра (14a) для получения параметров второго фильтра (15a), применяя
Figure 00000120
,
где
Figure 00000121
- параметры (14) первого фильтра (14a),
Figure 00000122
- поправочный коэффициент,
Figure 00000123
,
Figure 00000124
являются параметрами второго фильтра (15a), и K - порядок первого фильтра (14a).
10. Устройство кодера по п. 1, в котором контроллер (11) дополнительно выполнен с возможностью
получать метрику (17) кадра из по меньшей мере одного из коэффициента усиления прогнозирования, энергии информационного сигнала и/или ошибки прогнозирования.
11. Устройство кодера по п. 1, в котором метрика кадра содержит коэффициент усиления прогнозирования, вычисленный как
Figure 00000125
,
где
Figure 00000126
ассоциирован с энергией информационного сигнала, и
Figure 00000127
ассоциирован ошибкой прогнозирования.
12. Устройство кодера по п. 1, в котором контроллер выполнен с возможностью,
по меньшей мере, для сокращения коэффициента усиления прогнозирования и/или сокращения энергии информационного сигнала, сокращать энергию импульсного отклика второго фильтра и/или, по меньшей мере, для увеличения ошибки прогнозирования, сокращать энергию импульсного отклика второго фильтра.
13. Устройство кодера по п. 1, причем контроллер (11) дополнительно выполнен с возможностью
сравнивать (S34) метрику (17) кадра с порогом (18b) определения типа фильтрации, чтобы выполнить фильтрацию (S36) с помощью первого фильтра (15a), когда метрика (17) кадра ниже порога (18b) определения типа фильтрации.
14. Устройство кодера по п. 1, в котором контроллер (11) дополнительно выполнен с возможностью
выбирать (S32, S44’) между выполнением фильтрации (S35, S36) и невыполнением фильтрации (S33) на основе метрики (17) кадра.
15. Устройство кодера по п. 14, в котором контроллер (11) дополнительно выполнен с возможностью
сравнивать (S32, S44’) метрику (17) кадра с порогом (18a) определения фильтрации TNS, чтобы избежать (S33) фильтрации TNS, когда метрика (17) кадра ниже порога (18a) определения фильтрации TNS.
16. Устройство кодера по п. 1, дополнительно содержащее:
блок записи битового потока для снабжения битового потока коэффициентами отражения (16) или их квантованной версией, полученными инструментом (11) TNS.
17. Устройство кодера по п. 1, причем параметры (14) фильтрации первого фильтра (14a) выбираются между коэффициентами кодирования LP, LPC и/или любым другим представлением коэффициентов фильтра.
18. Устройство кодера по п. 1, в котором информационный сигнал является аудиосигналом.
19. Устройство кодера по п. 1, в котором контроллер (11) дополнительно выполнен с возможностью модифицировать первый фильтр (14a), чтобы получить второй фильтр (15a), в котором сокращена энергия импульсного отклика фильтра.
20. Устройство кодера по п. 1, в котором метрика (17) кадра ассоциирована с пологостью временной огибающей сигнала.
21. Способ (30, 40’) для выполнения фильтрации временного формирования шума (TNS) информационного сигнала, включающего в себя множество кадров, причем способ содержит этапы, на которых
- для каждого кадра выполняют выбор (S34) между фильтрацией с помощью первого фильтра (14a) и фильтрацией с помощью второго фильтра (15a), импульсный отклик которого имеет более низкую энергию, на основе метрики кадра, причем второй фильтр (15a) не является фильтром идентичности;
- выполняют фильтрацию кадра с использованием фильтрации с фильтрацией, выбранной между фильтрацией с помощью первого фильтра (14a) и фильтрацией с помощью второго фильтра (15a); и
модифицируют первый фильтр (14a) так, чтобы получить второй фильтр (15a), энергия импульсного отклика которого сокращена.
22. Запоминающее устройство долговременного хранения, хранящее инструкции, которые при их исполнении процессором (111, 121) побуждают процессор выполнять способ по п. 21.
RU2020118948A 2017-11-10 2018-11-06 Временное формирование шума RU2740074C1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17201094.4A EP3483880A1 (en) 2017-11-10 2017-11-10 Temporal noise shaping
EP17201094.4 2017-11-10
PCT/EP2018/080339 WO2019091978A1 (en) 2017-11-10 2018-11-06 Temporal noise shaping

Publications (1)

Publication Number Publication Date
RU2740074C1 true RU2740074C1 (ru) 2021-01-11

Family

ID=60301908

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2020118948A RU2740074C1 (ru) 2017-11-10 2018-11-06 Временное формирование шума

Country Status (18)

Country Link
US (1) US11127408B2 (ru)
EP (2) EP3483880A1 (ru)
JP (1) JP6990306B2 (ru)
KR (1) KR102428419B1 (ru)
CN (1) CN111587456B (ru)
AR (1) AR113480A1 (ru)
AU (1) AU2018363699B2 (ru)
BR (1) BR112020009104A2 (ru)
CA (1) CA3081781C (ru)
ES (1) ES2905911T3 (ru)
MX (1) MX2020004789A (ru)
PL (1) PL3707712T3 (ru)
PT (1) PT3707712T (ru)
RU (1) RU2740074C1 (ru)
SG (1) SG11202004204UA (ru)
TW (1) TWI701658B (ru)
WO (1) WO2019091978A1 (ru)
ZA (1) ZA202002520B (ru)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6642146B2 (ja) 2015-03-31 2020-02-05 日立金属株式会社 窒化珪素系セラミックス集合基板及びその製造方法
CN113643713B (zh) * 2021-10-13 2021-12-24 北京百瑞互联技术有限公司 一种蓝牙音频编码方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0797324B1 (en) * 1996-03-22 2004-11-24 Lucent Technologies Inc. Enhanced joint stereo coding method using temporal envelope shaping
EP0785631B1 (en) * 1996-01-16 2007-03-21 Lucent Technologies Inc. Perceptual noise shaping in the time domain via LPC prediction in the frequency domain
US20110019829A1 (en) * 2008-04-04 2011-01-27 Panasonic Corporation Stereo signal converter, stereo signal reverse converter, and methods for both
RU2591661C2 (ru) * 2009-10-08 2016-07-20 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Многорежимный декодировщик аудио сигнала, многорежимный кодировщик аудио сигналов, способы и компьютерные программы с использованием кодирования с линейным предсказанием на основе ограничения шума
CN104269173B (zh) * 2014-09-30 2018-03-13 武汉大学深圳研究院 切换模式的音频带宽扩展装置与方法

Family Cites Families (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3639753A1 (de) 1986-11-21 1988-06-01 Inst Rundfunktechnik Gmbh Verfahren zum uebertragen digitalisierter tonsignale
US5012517A (en) 1989-04-18 1991-04-30 Pacific Communication Science, Inc. Adaptive transform coder having long term predictor
US5233660A (en) 1991-09-10 1993-08-03 At&T Bell Laboratories Method and apparatus for low-delay celp speech coding and decoding
JPH05281996A (ja) 1992-03-31 1993-10-29 Sony Corp ピッチ抽出装置
IT1270438B (it) 1993-06-10 1997-05-05 Sip Procedimento e dispositivo per la determinazione del periodo del tono fondamentale e la classificazione del segnale vocale in codificatori numerici della voce
US5581653A (en) 1993-08-31 1996-12-03 Dolby Laboratories Licensing Corporation Low bit-rate high-resolution spectral envelope coding for audio encoder and decoder
JP3402748B2 (ja) 1994-05-23 2003-05-06 三洋電機株式会社 音声信号のピッチ周期抽出装置
DE69619284T3 (de) 1995-03-13 2006-04-27 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Erweiterung der Sprachbandbreite
WO1997027578A1 (en) 1996-01-26 1997-07-31 Motorola Inc. Very low bit rate time domain speech analyzer for voice messaging
JPH1091194A (ja) 1996-09-18 1998-04-10 Sony Corp 音声復号化方法及び装置
US6570991B1 (en) 1996-12-18 2003-05-27 Interval Research Corporation Multi-feature speech/music discrimination system
KR100261253B1 (ko) 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치
GB2326572A (en) 1997-06-19 1998-12-23 Softsound Limited Low bit rate audio coder and decoder
WO1999016050A1 (en) 1997-09-23 1999-04-01 Voxware, Inc. Scalable and embedded codec for speech and audio signals
US6507814B1 (en) 1998-08-24 2003-01-14 Conexant Systems, Inc. Pitch determination using speech classification and prior pitch estimation
US7272556B1 (en) 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
US6735561B1 (en) * 2000-03-29 2004-05-11 At&T Corp. Effective deployment of temporal noise shaping (TNS) filters
US7099830B1 (en) * 2000-03-29 2006-08-29 At&T Corp. Effective deployment of temporal noise shaping (TNS) filters
US7395209B1 (en) 2000-05-12 2008-07-01 Cirrus Logic, Inc. Fixed point audio decoding system and method
US7020605B2 (en) * 2000-09-15 2006-03-28 Mindspeed Technologies, Inc. Speech coding system with time-domain noise attenuation
US7512535B2 (en) 2001-10-03 2009-03-31 Broadcom Corporation Adaptive postfiltering methods and systems for decoding speech
US6785645B2 (en) 2001-11-29 2004-08-31 Microsoft Corporation Real-time speech and music classifier
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
US7447631B2 (en) 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
US7433824B2 (en) 2002-09-04 2008-10-07 Microsoft Corporation Entropy coding by adapting coding between level and run-length/level modes
US7502743B2 (en) 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
JP4287637B2 (ja) 2002-10-17 2009-07-01 パナソニック株式会社 音声符号化装置、音声符号化方法及びプログラム
KR101049751B1 (ko) 2003-02-11 2011-07-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩
KR20030031936A (ko) 2003-02-13 2003-04-23 배명진 피치변경법을 이용한 단일 음성 다중 목소리 합성기
CA2529851A1 (en) 2003-06-17 2004-12-23 Matsushita Electric Industrial Co., Ltd. Receiving apparatus, sending apparatus and transmission system
KR101058062B1 (ko) * 2003-06-30 2011-08-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 잡음 부가에 의한 디코딩된 오디오의 품질 개선
US7983909B2 (en) 2003-09-15 2011-07-19 Intel Corporation Method and apparatus for encoding audio data
US7009533B1 (en) 2004-02-13 2006-03-07 Samplify Systems Llc Adaptive compression and decompression of bandlimited signals
DE102004009954B4 (de) * 2004-03-01 2005-12-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Verarbeiten eines Multikanalsignals
DE602005022641D1 (de) 2004-03-01 2010-09-09 Dolby Lab Licensing Corp Mehrkanal-Audiodekodierung
DE102004009949B4 (de) 2004-03-01 2006-03-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ermitteln eines Schätzwertes
ATE523876T1 (de) 2004-03-05 2011-09-15 Panasonic Corp Fehlerverbergungseinrichtung und fehlerverbergungsverfahren
EP1869673B1 (en) 2005-04-01 2010-09-22 Qualcomm Incorporated Methods and apparatuses for encoding and decoding a highband portion of a speech signal
US7539612B2 (en) 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
US7546240B2 (en) 2005-07-15 2009-06-09 Microsoft Corporation Coding with improved time resolution for selected segments via adaptive block transformation of a group of samples from a subband decomposition
KR100888474B1 (ko) 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
US7805297B2 (en) 2005-11-23 2010-09-28 Broadcom Corporation Classification-based frame loss concealment for audio signals
WO2007070007A1 (en) 2005-12-14 2007-06-21 Matsushita Electric Industrial Co., Ltd. A method and system for extracting audio features from an encoded bitstream for audio classification
US8255207B2 (en) 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
CN101395661B (zh) 2006-03-07 2013-02-06 艾利森电话股份有限公司 音频编码和解码的方法和设备
US8150065B2 (en) 2006-05-25 2012-04-03 Audience, Inc. System and method for processing an audio signal
CN101460998A (zh) 2006-05-30 2009-06-17 皇家飞利浦电子股份有限公司 音频信号的线性预测编码
US8015000B2 (en) 2006-08-03 2011-09-06 Broadcom Corporation Classification-based frame loss concealment for audio signals
CN101501761B (zh) * 2006-08-15 2012-02-08 杜比实验室特许公司 无需边信息对时域噪声包络的任意整形
FR2905510B1 (fr) 2006-09-01 2009-04-10 Voxler Soc Par Actions Simplif Procede d'analyse en temps reel de la voix pour le controle en temps reel d'un organe numerique et dispositif associe
CN101140759B (zh) 2006-09-08 2010-05-12 华为技术有限公司 语音或音频信号的带宽扩展方法及系统
DE102006049154B4 (de) 2006-10-18 2009-07-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kodierung eines Informationssignals
KR101292771B1 (ko) 2006-11-24 2013-08-16 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치
CN101548319B (zh) 2006-12-13 2012-06-20 松下电器产业株式会社 后置滤波器以及滤波方法
FR2912249A1 (fr) 2007-02-02 2008-08-08 France Telecom Codage/decodage perfectionnes de signaux audionumeriques.
JP4871894B2 (ja) 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
JP5618826B2 (ja) 2007-06-14 2014-11-05 ヴォイスエイジ・コーポレーション Itu.t勧告g.711と相互運用可能なpcmコーデックにおいてフレーム消失を補償する装置および方法
EP2015293A1 (en) 2007-06-14 2009-01-14 Deutsche Thomson OHG Method and apparatus for encoding and decoding an audio signal using adaptively switched temporal resolution in the spectral domain
JP4928366B2 (ja) 2007-06-25 2012-05-09 日本電信電話株式会社 ピッチ探索装置、パケット消失補償装置、それらの方法、プログラム及びその記録媒体
JP4572218B2 (ja) 2007-06-27 2010-11-04 日本電信電話株式会社 音楽区間検出方法、音楽区間検出装置、音楽区間検出プログラム及び記録媒体
JP4981174B2 (ja) 2007-08-24 2012-07-18 フランス・テレコム 確率テーブルの動的な計算によるシンボルプレーン符号化/復号化
US20110035212A1 (en) 2007-08-27 2011-02-10 Telefonaktiebolaget L M Ericsson (Publ) Transform coding of speech and audio signals
CN100524462C (zh) 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
EP2207166B1 (en) 2007-11-02 2013-06-19 Huawei Technologies Co., Ltd. An audio decoding method and device
WO2009066869A1 (en) * 2007-11-21 2009-05-28 Electronics And Telecommunications Research Institute Frequency band determining method for quantization noise shaping and transient noise shaping method using the same
CA2711047C (en) 2007-12-31 2015-08-04 Lg Electronics Inc. A method and an apparatus for processing an audio signal
WO2009150290A1 (en) 2008-06-13 2009-12-17 Nokia Corporation Method and apparatus for error concealment of encoded audio data
EP2346029B1 (en) 2008-07-11 2013-06-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, method for encoding an audio signal and corresponding computer program
EP2144231A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing
EP2144230A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
AU2009267394B2 (en) 2008-07-11 2012-10-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder and decoder for encoding frames of sampled audio signals
WO2010031049A1 (en) 2008-09-15 2010-03-18 GH Innovation, Inc. Improving celp post-processing for music signals
JP5555707B2 (ja) 2008-10-08 2014-07-23 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン マルチ分解能切替型のオーディオ符号化及び復号化スキーム
GB2466673B (en) 2009-01-06 2012-11-07 Skype Quantization
RU2542668C2 (ru) 2009-01-28 2015-02-20 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Звуковое кодирующее устройство, звуковой декодер, кодированная звуковая информация, способы кодирования и декодирования звукового сигнала и компьютерная программа
JP4945586B2 (ja) 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
FR2944664A1 (fr) 2009-04-21 2010-10-22 Thomson Licensing Dispositif et procede de traitement d'images
US8352252B2 (en) 2009-06-04 2013-01-08 Qualcomm Incorporated Systems and methods for preventing the loss of information within a speech frame
US8428938B2 (en) 2009-06-04 2013-04-23 Qualcomm Incorporated Systems and methods for reconstructing an erased speech frame
KR20100136890A (ko) 2009-06-19 2010-12-29 삼성전자주식회사 컨텍스트 기반의 산술 부호화 장치 및 방법과 산술 복호화 장치 및 방법
CN101958119B (zh) 2009-07-16 2012-02-29 中兴通讯股份有限公司 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
ES2888804T3 (es) * 2009-10-15 2022-01-07 Voiceage Corp Conformación simultánea de ruido en el dominio del tiempo y el dominio de la frecuencia para transformaciones TDAC
ES2533098T3 (es) 2009-10-20 2015-04-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificador de señal de audio, decodificador de señal de audio, método para proveer una representación codificada de un contenido de audio, método para proveer una representación decodificada de un contenido de audio y programa de computación para su uso en aplicaciones de bajo retardo
MX2012004572A (es) 2009-10-20 2012-06-08 Fraunhofer Ges Forschung Codificador de audio, decodificador de audio, metodo para codificar informacion de audio, metodo para decodificar informacion de audio y programa de computacion que usa una regla dependiente de la region para un mapeado mediante codificacion aritmetica.
US7978101B2 (en) 2009-10-28 2011-07-12 Motorola Mobility, Inc. Encoder and decoder using arithmetic stage to compress code space that is not fully utilized
US8207875B2 (en) 2009-10-28 2012-06-26 Motorola Mobility, Inc. Encoder that optimizes bit allocation for information sub-parts
KR101761629B1 (ko) 2009-11-24 2017-07-26 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
CA2786944C (en) 2010-01-12 2016-03-15 Fraunhofer Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding and audio information, method for decoding an audio information and computer program using a hash table describing both significant state values and interval boundaries
US20110196673A1 (en) 2010-02-11 2011-08-11 Qualcomm Incorporated Concealing lost packets in a sub-band coding decoder
EP2375409A1 (en) 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
FR2961980A1 (fr) * 2010-06-24 2011-12-30 France Telecom Controle d'une boucle de retroaction de mise en forme de bruit dans un codeur de signal audionumerique
KR102492622B1 (ko) 2010-07-02 2023-01-30 돌비 인터네셔널 에이비 선택적인 베이스 포스트 필터
CA2806000C (en) 2010-07-20 2016-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio information, method for decoding an audio information and computer program using an optimized hash table
US8738385B2 (en) 2010-10-20 2014-05-27 Broadcom Corporation Pitch-based pre-filtering and post-filtering for compression of audio signals
KR101617816B1 (ko) 2011-02-14 2016-05-03 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 스펙트럼 도메인 잡음 형상화를 사용하는 선형 예측 기반 코딩 방식
US9270807B2 (en) 2011-02-23 2016-02-23 Digimarc Corporation Audio localization using audio signal encoding and recognition
AU2012230440C1 (en) 2011-03-18 2016-09-08 Dolby International Ab Frame element positioning in frames of a bitstream representing audio content
MY166916A (en) 2011-04-21 2018-07-24 Samsung Electronics Co Ltd Apparatus for quantizing linear predictive coding coefficients, sound encoding apparatus, apparatus for dequantizing linear predictive coding coefficients, sound decoding apparatus, and electronic device therefore
US8891775B2 (en) * 2011-05-09 2014-11-18 Dolby International Ab Method and encoder for processing a digital stereo audio signal
FR2977439A1 (fr) 2011-06-28 2013-01-04 France Telecom Fenetres de ponderation en codage/decodage par transformee avec recouvrement, optimisees en retard.
FR2977969A1 (fr) 2011-07-12 2013-01-18 France Telecom Adaptation de fenetres de ponderation d'analyse ou de synthese pour un codage ou decodage par transformee
US9672840B2 (en) * 2011-10-27 2017-06-06 Lg Electronics Inc. Method for encoding voice signal, method for decoding voice signal, and apparatus using same
CA2831176C (en) 2012-01-20 2014-12-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for audio encoding and decoding employing sinusoidal substitution
KR101621287B1 (ko) 2012-04-05 2016-05-16 후아웨이 테크놀러지 컴퍼니 리미티드 다채널 오디오 신호 및 다채널 오디오 인코더를 위한 인코딩 파라미터를 결정하는 방법
US20130282372A1 (en) 2012-04-23 2013-10-24 Qualcomm Incorporated Systems and methods for audio signal processing
JP6088644B2 (ja) 2012-06-08 2017-03-01 サムスン エレクトロニクス カンパニー リミテッド フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置
GB201210373D0 (en) 2012-06-12 2012-07-25 Meridian Audio Ltd Doubly compatible lossless audio sandwidth extension
FR2992766A1 (fr) * 2012-06-29 2014-01-03 France Telecom Attenuation efficace de pre-echos dans un signal audionumerique
CN102779526B (zh) 2012-08-07 2014-04-16 无锡成电科大科技发展有限公司 语音信号中基音提取及修正方法
US9406307B2 (en) 2012-08-19 2016-08-02 The Regents Of The University Of California Method and apparatus for polyphonic audio signal prediction in coding and networking systems
US9293146B2 (en) 2012-09-04 2016-03-22 Apple Inc. Intensity stereo coding in advanced audio coding
WO2014046526A1 (ko) 2012-09-24 2014-03-27 삼성전자 주식회사 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
US9401153B2 (en) 2012-10-15 2016-07-26 Digimarc Corporation Multi-mode audio recognition and auxiliary data encoding and decoding
MX343572B (es) * 2013-01-29 2016-11-09 Fraunhofer Ges Forschung Concepto de llenado con ruido.
FR3001593A1 (fr) 2013-01-31 2014-08-01 France Telecom Correction perfectionnee de perte de trame au decodage d'un signal.
SG10202106262SA (en) 2013-02-05 2021-07-29 Ericsson Telefon Ab L M Method and apparatus for controlling audio frame loss concealment
TWI530941B (zh) 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
AU2014283389B2 (en) 2013-06-21 2017-10-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for improved concealment of the adaptive codebook in ACELP-like concealment employing improved pulse resynchronization
EP2830063A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for decoding an encoded audio signal
EP2830055A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Context-based entropy coding of sample values of a spectral envelope
KR101831289B1 (ko) 2013-10-18 2018-02-22 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. 오디오 신호의 스펙트럼의 스펙트럼 계수들의 코딩
US9906858B2 (en) 2013-10-22 2018-02-27 Bongiovi Acoustics Llc System and method for digital signal processing
EP3336839B1 (en) 2013-10-31 2019-07-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder and method for providing a decoded audio information using an error concealment modifying a time domain excitation signal
CA2927990C (en) 2013-10-31 2018-08-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio bandwidth extension by insertion of temporal pre-shaped noise in frequency domain
WO2015071173A1 (en) 2013-11-13 2015-05-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder for encoding an audio signal, audio transmission system and method for determining correction values
GB2524333A (en) 2014-03-21 2015-09-23 Nokia Technologies Oy Audio signal payload
US9396733B2 (en) 2014-05-06 2016-07-19 University Of Macau Reversible audio data hiding
NO2780522T3 (ru) 2014-05-15 2018-06-09
EP2963645A1 (en) 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Calculator and method for determining phase correction data for an audio signal
US9685166B2 (en) 2014-07-26 2017-06-20 Huawei Technologies Co., Ltd. Classification between time-domain coding and frequency domain coding
EP2980796A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for processing an audio signal, audio decoder, and audio encoder
EP2980799A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing an audio signal using a harmonic post-filter
EP2980798A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Harmonicity-dependent controlling of a harmonic filter tool
EP2988300A1 (en) 2014-08-18 2016-02-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Switching of sampling rates at audio processing devices
EP3067886A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
US9886963B2 (en) 2015-04-05 2018-02-06 Qualcomm Incorporated Encoder selection
JP6422813B2 (ja) 2015-04-13 2018-11-14 日本電信電話株式会社 符号化装置、復号装置、これらの方法及びプログラム
US9978400B2 (en) 2015-06-11 2018-05-22 Zte Corporation Method and apparatus for frame loss concealment in transform domain
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
US9837089B2 (en) 2015-06-18 2017-12-05 Qualcomm Incorporated High-band signal generation
KR20170000933A (ko) 2015-06-25 2017-01-04 한국전기연구원 시간 지연 추정을 이용한 풍력 터빈의 피치 제어 시스템
US9830921B2 (en) 2015-08-17 2017-11-28 Qualcomm Incorporated High-band target signal control
US9978381B2 (en) 2016-02-12 2018-05-22 Qualcomm Incorporated Encoding of multiple audio signals
US10283143B2 (en) 2016-04-08 2019-05-07 Friday Harbor Llc Estimating pitch of harmonic signals
CN107945809B (zh) 2017-05-02 2021-11-09 大连民族大学 一种复调音乐多音高估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0785631B1 (en) * 1996-01-16 2007-03-21 Lucent Technologies Inc. Perceptual noise shaping in the time domain via LPC prediction in the frequency domain
EP0797324B1 (en) * 1996-03-22 2004-11-24 Lucent Technologies Inc. Enhanced joint stereo coding method using temporal envelope shaping
US20110019829A1 (en) * 2008-04-04 2011-01-27 Panasonic Corporation Stereo signal converter, stereo signal reverse converter, and methods for both
EP2264698A4 (en) * 2008-04-04 2012-06-13 Panasonic Corp STEREO SIGNAL CONVERTER, STEREO SIGNAL INVERTER AND METHODS THEREOF
RU2591661C2 (ru) * 2009-10-08 2016-07-20 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Многорежимный декодировщик аудио сигнала, многорежимный кодировщик аудио сигналов, способы и компьютерные программы с использованием кодирования с линейным предсказанием на основе ограничения шума
CN104269173B (zh) * 2014-09-30 2018-03-13 武汉大学深圳研究院 切换模式的音频带宽扩展装置与方法

Also Published As

Publication number Publication date
EP3707712B1 (en) 2021-12-01
US11127408B2 (en) 2021-09-21
KR20200090793A (ko) 2020-07-29
CN111587456A (zh) 2020-08-25
ZA202002520B (en) 2021-10-27
AU2018363699A1 (en) 2020-05-21
AU2018363699B2 (en) 2020-11-19
PT3707712T (pt) 2022-02-15
EP3483880A1 (en) 2019-05-15
CN111587456B (zh) 2023-08-04
PL3707712T3 (pl) 2022-03-28
KR102428419B1 (ko) 2022-08-02
JP2021502597A (ja) 2021-01-28
TW201923754A (zh) 2019-06-16
SG11202004204UA (en) 2020-06-29
MX2020004789A (es) 2020-08-13
AR113480A1 (es) 2020-05-06
BR112020009104A2 (pt) 2020-10-20
WO2019091978A1 (en) 2019-05-16
TWI701658B (zh) 2020-08-11
CA3081781A1 (en) 2019-05-16
US20200265850A1 (en) 2020-08-20
CA3081781C (en) 2022-10-04
JP6990306B2 (ja) 2022-01-12
ES2905911T3 (es) 2022-04-12
EP3707712A1 (en) 2020-09-16

Similar Documents

Publication Publication Date Title
US11854561B2 (en) Low-frequency emphasis for LPC-based coding in frequency domain
JP5203929B2 (ja) スペクトルエンベロープ表示のベクトル量子化方法及び装置
KR101078625B1 (ko) 이득 계수 제한을 위한 시스템, 방법 및 장치
US10706865B2 (en) Apparatus and method for selecting one of a first encoding algorithm and a second encoding algorithm using harmonics reduction
CN105264597B (zh) 感知转换音频编码中的噪声填充
KR101998609B1 (ko) 혼합형 시간-영역/주파수-영역 코딩 장치, 인코더, 디코더, 혼합형 시간-영역/주파수-영역 코딩 방법, 인코딩 방법 및 디코딩 방법
RU2691243C2 (ru) Зависящее от гармоничности управление инструментом фильтрации гармоник
KR102299193B1 (ko) 상부 주파수 대역에서 검출된 피크 스펙트럼 영역을 고려하여 오디오 신호를 부호화하는 오디오 인코더, 오디오 신호를 부호화하는 방법, 및 컴퓨터 프로그램
EP2290815A2 (en) Method and system for reducing effects of noise producing artifacts in a voice codec
KR102380487B1 (ko) 오디오 신호 디코더에서의 개선된 주파수 대역 확장
US11335355B2 (en) Estimating noise of an audio signal in the log2-domain
RU2740074C1 (ru) Временное формирование шума
KR102099293B1 (ko) 오디오 인코더 및 오디오 신호를 인코딩하는 방법
KR102426050B1 (ko) 피치 지연 선택