RU2740074C1 - Временное формирование шума - Google Patents
Временное формирование шума Download PDFInfo
- Publication number
- RU2740074C1 RU2740074C1 RU2020118948A RU2020118948A RU2740074C1 RU 2740074 C1 RU2740074 C1 RU 2740074C1 RU 2020118948 A RU2020118948 A RU 2020118948A RU 2020118948 A RU2020118948 A RU 2020118948A RU 2740074 C1 RU2740074 C1 RU 2740074C1
- Authority
- RU
- Russia
- Prior art keywords
- filter
- filtering
- tns
- impulse response
- energy
- Prior art date
Links
- 230000002123 temporal effect Effects 0.000 title claims abstract description 19
- 230000015572 biosynthetic process Effects 0.000 title description 3
- 238000001914 filtration Methods 0.000 claims abstract description 155
- 230000004044 response Effects 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims abstract description 57
- 230000005236 sound signal Effects 0.000 claims abstract description 9
- 238000012937 correction Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 17
- 238000007493 shaping process Methods 0.000 claims description 14
- 238000012886 linear function Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 238000001228 spectrum Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 9
- 238000013139 quantization Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000001629 suppression Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 3
- 238000005311 autocorrelation function Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/03—Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0224—Processing in the time domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
- G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Picture Signal Circuits (AREA)
- Error Detection And Correction (AREA)
- Noise Elimination (AREA)
Abstract
Изобретение относится к средствам для обработки аудиосигнала. Технический результат заключается в повышении эффективности аудиокодирования. Выполняют фильтрацию временного формирования шума (TNS) информационного сигнала, включающего в себя множество кадров. Для каждого кадра выполняют выбор (S34) между фильтрацией с помощью первого фильтра (14a) и фильтрацией с помощью второго фильтра (15a), импульсный отклик которого имеет более низкую энергию, на основе метрики кадра, причем второй фильтр (15a) не является фильтром идентичности. Выполняют фильтрацию кадра с использованием фильтрации, выбранной между фильтрацией с помощью первого фильтра (14a) и фильтрацией с помощью второго фильтра (15a). Модифицируют первый фильтр (14a) так, чтобы получить второй фильтр (15a), энергия импульсного отклика которого сокращена. 3 н. и 19 з.п. ф-лы, 14 ил.
Description
1. Область техники
Примеры в настоящем документе относятся к устройству кодирования и декодирования, в частности, для выполнения временного формирования шума (TNS; Temporal Noise Shaping).
2. Предшествующий уровень техники
Следующие документы представляют предшествующий уровень техники.
ЛИТЕРАТУРА
[1] Herre, Jürgen, and James D. Johnston. "Enhancing the performance of perceptual audio coders by using temporal noise shaping (TNS)." Audio Engineering Society Convention 101. Audio Engineering Society, 1996.
[2] Herre, Jurgen, and James D. Johnston. "Continuously signal-adaptive filterbank for high-quality perceptual audio coding." Applications of Signal Processing to Audio and Acoustics, 1997. 1997 IEEE ASSP Workshop on. IEEE, 1997.
[3] Herre, Jürgen. "Temporal noise shaping, quantization and coding methods in perceptual audio coding: A tutorial introduction." Audio Engineering Society Conference: 17th International Conference: High-Quality Audio Coding. Audio Engineering Society, 1999.
[4] Herre, Juergen Heinrich. "Perceptual noise shaping in the time domain via LPC prediction in the frequency domain." U.S. Patent No. 5,781,888. 14 Jul. 1998.
[5] Herre, Juergen Heinrich. "Enhanced joint stereo coding method using temporal envelope shaping." U.S. Patent No. 5,812,971. 22 Sep. 1998.
[6] 3GPP TS 26.403; General audio codec audio processing functions; Enhanced aacPlus general audio codec; Encoder specification; Advanced Audio Coding (AAC) part.
[7] ISO/IEC 14496-3:2001; Information technology - Coding of audio-visual objects - Part 3: Audio.
[8] 3GPP TS 26.445; Codec for Enhanced Voice Services (EVS); Detailed algorithmic description.
Временное формирование шума (TNS) является инструментом для аудиокодеров на основе преобразования, который был разработан в 90-х годах (труды конференции [1-3] и патенты [4-5]). С тех пор оно было интегрировано в главные стандарты аудиокодирования, такие как MPEG-2 AAC, MPEG-4 AAC, 3GPP E-AAC-Plus, MPEG-D USAC, 3GPP EVS, MPEG-H 3D Audio.
TNS может быть кратко описано следующим образом. На стороне кодера и перед квантованием сигнал фильтруется в частотной области (FD) с использованием линейного прогнозирования (LP), чтобы сгладить сигнал во временной области. На стороне декодера и после обратного квантования сигнал фильтруется обратно в частотной области с использованием обратного фильтра с прогнозированием, чтобы сформировать шум квантования во временной области, в результате чего он получается маскирован сигналом.
TNS является эффективным при подавлении так называемого артефакта опережающего эха на сигналах, содержащих острые нарастания громкости, такие как, например, кастаньеты. Оно также полезно для сигналов, содержащих псевдостационарную последовательность похожих на импульсы сигналов, таких как, например, речь.
TNS обычно используется в аудиокодере, действующем на относительно высокой битовой скорости. При использовании в аудиокодере, работающем на низкой битовой скорости, TNS может иногда вносить артефакты, ухудшая качество аудиокодера. Эти артефакты похожи на щелчки или шум и появляются в большинстве случаев с речевыми сигналами или тональными музыкальными сигналами.
Примеры в настоящем документе позволяют подавлять или сокращать ухудшения TNS, поддерживая его преимущества.
Несколько приведенных ниже примеров позволяют получить улучшенное TNS для аудиокодирования на низкой битовой скорости.
3. Сущность изобретения
В соответствии с примерами обеспечено устройство кодера, содержащее:
инструмент временного формирования шума (TNS) для выполнения фильтрации с линейным прогнозированием (LP) информационного сигнала, включающего в себя множество кадров; и
контроллер, выполненный с возможностью управлять инструментом TNS таким образом, чтобы инструмент TNS выполнял фильтрацию LP с помощью:
первого фильтра, импульсный отклик которого имеет более высокую энергию; и
второго фильтра, импульсный отклик которого имеет более низкую энергию, чем импульсный отклик первого фильтра, причем второй фильтр не является фильтром идентичности,
причем контроллер выполнен с возможностью выбирать между фильтрацией с помощью первого фильтра и фильтрацией с помощью второго фильтра на основе метрики кадра.
Следует отметить, что возможно удалить артефакты в проблематичных кадрах, минимально затрагивая другие кадры.
Вместо того, чтобы просто включать/выключать операции TNS, возможно поддержать преимущества инструмента TNS, сокращая его ухудшения. Таким образом, достигается интеллектуально обоснованное управление в реальном времени посредством сокращения фильтрации в случае необходимости.
В соответствии с примерами, контроллер дополнительно выполнен с возможностью:
модифицировать первый фильтр, чтобы получить второй фильтр, в котором сокращена энергия импульсного отклика фильтра.
В соответствии с этим при необходимости может быть создан второй фильтр с сокращенной энергией импульсного отклика.
В соответствии с примерами, контроллер дополнительно выполнен с возможностью:
применять по меньшей мере один поправочный коэффициент к первому фильтру, чтобы получить второй фильтр.
Посредством разумной модификации первого фильтра возможно создать состояние фильтрации, которое не может быть достигнуто простым включением и выключением TNS. По меньшей мере получается одно промежуточное состояние между полной фильтрацией и отсутствием фильтрации. Это промежуточное состояние, вызываемое при необходимости, позволяет сокращать недостатки TNS и поддерживать его положительных характеристики.
В соответствии с примерами, контроллер дополнительно выполнен с возможностью:
определять по меньшей мере один поправочный коэффициент на основе по меньшей мере метрики кадра.
В соответствии с примерами, контроллер дополнительно выполнен с возможностью:
определять по меньшей мере один поправочный коэффициент на основе порога определения фильтрации TNS, который используется для выбора между выполнением фильтрации TNS и не выполнением фильтрации TNS.
В соответствии с примерами, контроллер дополнительно выполнен с возможностью
определять по меньшей мере один поправочный коэффициент с использованием линейной функции метрики кадра, причем линейная функция возрастает с увеличением поправочного коэффициента и/или энергии импульсного отклика фильтра.
Следовательно, возможно определить для разных метрик разные поправочные коэффициенты, чтобы получить параметры фильтра, которые наиболее приспособлены для каждого кадра.
В соответствии с примерами контроллер дополнительно выполнен с возможностью определять поправочный коэффициент как
где - порог определения фильтрации TNS, - порог определения типа фильтрации, - метрика кадра, и - фиксированное значение.
Артефакты, вызванные TNS, возникают в кадрах, в которых коэффициент усиления прогнозирования находится в конкретном интервале, который здесь задан как набор значений, выше порога определения фильтрации TNS, но ниже порога определения фильтрации. В некоторых случаях, в которых метрики составляют коэффициент усиления прогнозирования и , артефакты, вызванные TNS, имеют тенденцию быть между 1,5 и 2. Таким образом, некоторые примеры преодолевают эти ухудшения, сокращая фильтрацию на .
В соответствии с примерами, контроллер дополнительно выполнен с возможностью модифицировать параметры первого фильтра, чтобы получить параметры второго фильтра, применяя:
где - параметры первого фильтра, - поправочные коэффициенты, , - параметры второго фильтра, и K - порядок первого фильтра.
Это простая, но пригодная методика для получения параметров второго фильтра, чтобы энергия импульсного отклика была сокращена относительно энергии импульсного отклика первого фильтра.
В соответствии с примерами контроллер дополнительно выполнен с возможностью получать метрику кадра по меньшей мере из одного из коэффициента усиления прогнозирования, энергии информационного сигнала и/или ошибки прогнозирования.
Поэтому эти метрики позволяют просто и достоверно различать кадры, которые должны быть фильтрованы вторым фильтром, от кадров, которые должны быть фильтрованы первым фильтром.
В соответствии с примерами, метрика кадра содержит коэффициент усиления прогнозирования, вычисленный как
В соответствии с примерами, контроллер выполнен с возможностью:
по меньшей мере сокращать коэффициент усиления прогнозирования и/или сокращать энергию информационного сигнала, сокращать энергию импульсного отклика второго фильтра и/или по меньшей мере увеличивать ошибку прогнозирования, сокращать энергию импульсного отклика второго фильтра.
В соответствии с примерами контроллер выполнен с возможностью:
сравнивать метрику кадра с порогом определения типа фильтрации (например, thresh2), чтобы выполнить фильтрацию с помощью первого фильтра, когда метрика кадра ниже порога определения типа фильтрации.
В соответствии с этим легко автоматически установить, следует ли фильтровать сигнал с использованием первого фильтра или второго фильтра.
В соответствии с примерами контроллер выполнен с возможностью:
выбирать между выполнением фильтрации и не выполнением фильтрации на основе метрики кадра.
В соответствии с этим также возможно полностью избежать фильтрации TNS, когда это не нужно.
В примерах одна и та же метрика может использоваться дважды (при сравнении с двумя разными порогами) - для выбора между первым фильтром и вторым фильтром, и для выбора фильтрации или отсутствия фильтрации.
В соответствии с примерами, контроллер выполнен с возможностью:
сравнивать метрику кадра с порогом определения фильтрации TNS, чтобы принять решение избежать фильтрации TNS, когда метрика кадра ниже порога определения фильтрации TNS.
В соответствии с примерами, устройство может дополнительно содержать:
блок записи битового потока для подготовки битового потока с коэффициентами отражения или их квантованной версии, полученной посредством TNS.
Эти данные могут быть сохранены и/или переданы, например, декодеру.
В соответствии с примерами обеспечена система, содержащая сторону кодера и сторону декодера, причем сторона кодера содержит упомянутое выше и/или ниже устройство кодера.
В соответствии с примерами обеспечен способ для выполнения фильтрации временного формирования шума (TNS) информационного сигнала, включающего в себя множество кадров, способ содержит:
- для каждого кадра выполнение выбора на основе метрики кадра между фильтрацией с помощью первого фильтра, импульсный отклик которого имеет более высокую энергию, и фильтрацией с помощью второго фильтра, импульсный отклик которого имеет энергию более низкую, чем энергия импульсного отклика первого фильтра (14a), причем второй фильтр не является фильтром идентичности;
- фильтрацию кадра с использованием фильтрации, выбранной между первым фильтром и вторым фильтром.
В соответствии с примерами обеспечено запоминающее устройство долговременного хранения, хранящее инструкции, которые при их исполнении процессором побуждают процессор выполнять по меньшей мере некоторые этапы упомянутых выше и/или ниже способов и/или реализовывать упомянутые выше и/ или ниже систему и устройство.
4. Описание чертежей
Фиг. 1 показывает устройство кодера в соответствии с примером.
Фиг. 2 показывает устройство декодера в соответствии с примером.
Фиг. 3 показывает способ в соответствии с примером.
Фиг. 3А показывает методики в соответствии с примером.
Фиг. 3B и 3C показывают способы в соответствии с примерами.
Фиг. 4 показывает способы в соответствии с примерами.
Фиг. 5 показывает устройство кодера в соответствии с примером.
Фиг. 6 показывает устройство декодера в соответствии с примером.
Фиг. 7 и 8 показывают устройство кодера в соответствии с примерами.
Фиг. 8(1)-8(3) показывают прохождение сигнала в соответствии с примерами.
5. Примеры
Фиг. 1 показывает устройство 10 кодера. Устройство 10 кодера может быть предназначено для обработки (и передачи и/или хранения) информационных сигналов, таких как аудиосигналы. Информационный сигнал может быть разделен на временную последовательность кадров. Каждый кадр может быть представлен, например, в частотной области (FD). Представление FD может являться последовательностью элементов разрешения, каждый из которых находится на конкретной частоте. Представление FD может представлять собой частотный спектр.
Устройство 10 кодера может, среди прочего, содержать инструмент временного формирования шума (TNS), инструмент 11 предназначен для выполнения фильтрации TNS информационного сигнала 13 в частотной области (FD) (Xs(n)). Устройство 10 кодера может, среди прочего, содержать контроллер 12 TNS. Контроллер 12 TNS может быть выполнен с возможностью управлять инструментом 11 TNS таким образом, чтобы инструмент 11 TNS выполнял фильтрацию (например, для некоторых кадров) с использованием по меньшей мере одной фильтрации с линейным прогнозированием (LP) с более высокой энергией импульсного отклика и (например, для некоторых других кадров) с использованием по меньшей мере одной фильтрации LP с более низкой энергией импульсного отклика. Контроллер 12 TNS выполнен с возможностью выполнять выбор между фильтрацией LP с более высокой энергией импульсного отклика и фильтрацией LP c более низкой энергией импульсного отклика на основе метрики, ассоциированной с кадром (метрики кадра). Энергия импульсного отклика первого фильтра выше, чем энергия импульсного отклика второго фильтра.
Информационный сигнал 13 FD (Xs(n)) может быть получен, например, от инструмента модифицированного дискретного косинусного преобразования (MDCT) (или модифицированного дискретного синусного преобразования (MDST)), который преобразовал представление кадра из временной области (TD) в частотную область (FD).
Инструмент 11 TNS может обработать сигналы, например, с использованием группы параметров 14 (a(k)) фильтра c линейным прогнозированием (LP), которые могут являться параметрами первого фильтра 14a. Инструмент 11 TNS может также содержать параметры 14’ (aw(k)), которые могут являться параметрами второго фильтра 15a (второй фильтр 15a может иметь импульсную характеристику с более низкой энергией по сравнению с импульсной характеристикой первого фильтра 14a). Параметры 14’ можно трактовать как взвешенную версию параметров 14, и второй фильтр 15a можно трактовать как произведенный из первого фильтра 14a. Параметры могут содержать, среди прочего, один или более из следующих параметров (или их квантованной версии): коэффициенты кодирования LP (LPC), коэффициенты отражения (RC), коэффициенты rci(k) или их квантованная версия rcq(k), арксинусные коэффициенты отражения (ASRC), логарифмические отношения площадей (LAR), пары спектральных линий (LSP) и/или частоты спектральных линий (LS) или другие виды таких параметров. В примерах возможно использовать любое представление коэффициентов фильтра.
Выходными данными инструмента 11 TNS может являться отфильтрованная версия 15 (Xf(n)) информационного сигнала 13 FD (Xs(n)).
Другими выходными данными инструмента 11 TNS может являться группа выходных параметров 16, таких как коэффициенты отражения rci(k) (или их квантованная версия rcq(k)).
После компонентов 11 и 12 кодер битового потока может закодировать выходные данные 15 и 16 в битовый поток, который может быть передан (например, беспроводным образом с, использованием такого протокола, как Bluetooth) и/или сохранен (например, в блоке хранения большой емкости).
Фильтрация TNS обеспечивает коэффициенты отражения, которые в общем случае отличаются от нуля. Фильтрация TNS обеспечивает выходные данные, которые в общем случае отличаются от входных данных.
Фиг. 2 показывает устройство 20 декодера, которое может использовать выходные данные (или их обработанную версию) инструмента 11 TNS. Устройство 20 декодера может содержать, среди прочего, декодер 21 TNS и контроллер 22 декодера TNS. Компоненты 21 и 22 могут совместно функционировать, чтобы получить выходные данные 23 синтеза ). В декодер 21 TNS может вводиться, например, декодированное представление 25 (или его обработанная версия ) информационного сигнала, полученного устройством 20 декодера. Декодер 21 TNS может получать на входе (в качестве входных данных 26) коэффициенты отражения rci(k) (или их квантованные версии rcq(k)). Коэффициенты отражения rci(k) или rcq(k) могут являться декодированной версией коэффициентов отражения rci(k) или rcq(k), обеспеченных на выходе 16 устройства 10 кодера.
Как показано на фиг. 1, контроллер 12 TNS может управлять инструментом 11 TNS на основе, среди прочего, метрики 17 кадра (например, коэффициента усиления прогнозирования, или predGain). Например, контроллер 12 TNS может выполнить фильтрацию посредством выбора между по меньшей мере фильтрацией LP с более высокой энергией импульсного отклика и/или фильтрацией LP с более низкой энергией импульсного отклика, и/или между фильтрацией и отсутствием фильтрации. Кроме фильтрации LP с более высокой энергией импульсного отклика и фильтрации LP с более низкой энергией импульсного отклика в соответствии с примеры возможна по меньшей мере одна фильтрация LP с промежуточной энергией импульсного отклика.
Номер для ссылок 17’ на фиг. 1 относится к информации, командам и/или управляющим данным, которые обеспечиваются инструменту 14 TNS от контроллера 12 TNS. Например, инструменту TNS 14 может быть обеспечено решение на основе метрики 17 (например, "использовать первый фильтр" или "использовать второй фильтр"). Настройки фильтров также могут быть обеспечены инструменту 14 TNS. Например, фильтру TNS может быть обеспечен поправочный коэффициент (), чтобы модифицировать первый фильтр 14a для получения второго фильтра 15a.
Метрика 17, например, может представлять собой метрику, ассоциированную с энергией сигнала в кадре (например, метрика может быть такой, что чем выше энергия, тем выше метрика). Метрика, например, может представлять собой метрику, ассоциированную с ошибкой прогнозирования (например, метрика может быть такой, что чем выше ошибка прогнозирования, тем ниже метрика). Метрика, например, может являться значением, ассоциированным с соотношением между ошибкой прогнозирования и энергией сигнала (например, метрика может быть такой, что чем выше отношение между энергией и ошибкой прогнозирования, тем выше метрика). Метрика, например, может являться коэффициентом усиления прогнозирования для текущего кадра или значением, ассоциированным или пропорциональным коэффициенту усиления прогнозирования для текущего кадра (например, чем выше коэффициент усиления прогнозирования, тем выше метрика). Метрика (17) кадра может быть ассоциирована с пологостью временной огибающей сигнала.
Было отмечено, что артефакты вследствие TNS наступают только тогда (или по меньшей мере преимущественно), когда коэффициент усиления прогнозирования является низким. Таким образом, когда коэффициент усиления прогнозирования является высоким, проблемы, вызванные TNS, не возникают (или имеют меньшую тенденцию к возникновению), и возможно выполнить полное формирование TNS (например, фильтрацию LP с более высокой энергией импульсного отклика). Когда коэффициент усиления прогнозирования является очень низким, предпочтительно совсем не выполнять TNS (отсутствие фильтрации). Когда коэффициент усиления прогнозирования имеет промежуточное значение, предпочтительно сократить эффекты TNS посредством использования фильтрации с линейным прогнозированием с более низкой энергией импульсного отклика (например, посредством взвешивания коэффициентов LP или других параметров фильтрации, и/или коэффициентов отражения, и/или с использованием фильтра, импульсный отклик которого имеет более низкую энергию). Фильтрация LP с более высокой энергией импульсного отклика и фильтрация LP с более низкой энергией импульсного отклика отличаются друг от друга в том, что фильтрация LP с более высокой энергией импульсного отклика определена таким образом, чтобы вызывать более высокую энергию импульсного отклика, чем фильтрация LP с более низкой энергией импульсного отклика. Фильтр в общем случае характеризуется энергией импульсного отклика, и, таким образом, возможно идентифицировать его с помощью его энергии импульсного отклика. Фильтрация LP с более высокой энергией импульсного отклика означает использование фильтра, импульсный отклик которого имеет более высокую энергию, чем у фильтра, используемого при фильтрации LP с более низкой энергией импульсного отклика.
Следовательно, с помощью настоящих примеров операции TNS могут быть вычислены посредством:
- выполнения фильтрации LP с высокой энергией импульсного отклика, когда метрика (например, коэффициент усиления прогнозирования) является высокой (например, выше порога определения типа фильтрации);
- выполнения фильтрации LP с низкой энергией импульсного отклика, когда метрика (например, коэффициент усиления прогнозирования) имеет промежуточное значение (например, между порогом определения фильтрации TNS и порогом определения типа фильтрации); и
- не выполнения фильтрации TNS, когда метрика (например, коэффициент усиления прогнозирования) является низкой (например, ниже порога определения фильтрации TNS).
Фильтрация LP с высокой энергией импульсного отклика может быть получена, например, с использованием первого фильтра, имеющего высокую энергию импульсного отклика. Фильтрация LP с низкой энергией импульсного отклика может быть получена, например, с использованием второго фильтра, имеющего более низкую энергию импульсного отклика. Первый и второй фильтры могут являться линейными независимыми от времени фильтрами (LTI).
В примерах первый фильтр может быть описан с использованием параметров фильтра a(k) (14). В примерах второй фильтр может являться модифицированной версией первого фильтра (например, полученным посредством контроллера 12 TNS). Второй фильтр (фильтр с более низкой энергией импульсного отклика) может быть получен посредством масштабирования с сокращением параметров первого фильтра (например, с использованием параметра или , , где k - натуральное число, , является порядком первого фильтра).
Таким образом, в примерах, когда получены параметры фильтра, и на основе метрики определено, что необходима фильтрация с более низкой энергией импульсного отклика, параметры фильтра первого фильтра могут быть модифицированы (например, масштабированы с сокращением), чтобы получить параметры фильтра второго фильтра для использования для фильтра с более низкой энергией импульсного отклика.
Фиг. 3 показывает способ 30, который может быть реализован в устройстве 10 кодера.
На этапе S31 получается метрика кадра (например, коэффициент 17 усиления прогнозирования).
На этапе S32 проверяется, выше ли метрика 17 кадра, чем порог определения фильтрации TNS или первый порог (который может быть равен 1,5 в некоторых примерах). Примером метрики может являться коэффициент усиления прогнозирования.
Если на этапе S32 подтверждено, что метрика 17 кадра ниже, чем первый порог (thresh), на этапе S33 операция фильтрации не выполняется (возможно было бы сказать, что используется фильтр идентичности, который представляет собой фильтр, в котором выходные данные являются такими же, как входные данные). Например, Xf(n)=Xs(n) (выходные данные 15 инструмента 11 TNS совпадают со входными данными 13), и/или коэффициенты отражения rci(k) (и/или их квантованные версии rc0(k)) также устанавливаются равными 0. Таким образом, операции (и выходные данные) устройства 20 декодера не будут подвергаться влиянию инструмента 11 TNS. Следовательно, на этапе S33 не может использоваться ни первый фильтр, ни второй фильтр.
Если на этапе S32 подтверждено, что метрика 17 кадра больше, чем порог определения фильтрации TNS или первый порог (thresh), может быть выполнена вторая проверка на этапе S34 посредством сравнения метрики кадра с порогом определения типа фильтрации или вторым порогом (thresh2, который может быть больше, чем первый порог, и равен, например, 2).
Если на этапе S34 подтверждено, что метрика 17 кадра ниже, чем порог определения типа фильтрации или второй порог (thresh2), на этапе S35 выполняется фильтрация LP с более низкой энергией импульсного отклика (например, используется второй фильтр с более низкой энергией импульсного отклика, второй фильтр не является фильтром идентичности).
Если на этапе S34 подтверждено, что метрика 17 кадра больше, чем порог определения типа фильтрации или второй порог (thresh2), на этапе S36 выполняется фильтрация LP с более высокой энергией импульсного отклика (например, используется первый фильтр, энергия импульсного отклика которого выше, чем у фильтра с более низкой энергией).
Способ 30 может быть повторен для последующего кадра.
В примерах фильтрация LP с более низкой энергией импульсного отклика (этап S35) может отличаться от фильтрации LP с более высокой энергией импульсного отклика (этап S36) в том, что к параметрам фильтра 14 (a(k)) могут быть применены весовые коэффициенты с разными значениями (например, фильтрация LP с более высокой энергией импульсного отклика может быть основана на единичных весовых коэффициентах, а фильтрация LP с более низкой энергией импульсного отклика может быть основана на весовых коэффициентах ниже единицы). В примерах фильтрация LP с более низкой энергией импульсного отклика может отличаться от фильтрации LP с более высокой энергией импульсного отклика в том, что коэффициенты 16 отражения, полученные посредством выполнения фильтрации LP с более низкой энергией импульсного отклика, могут вызвать более высокое подавление энергии импульсного отклика, чем подавление, вызванное коэффициентами отражения, полученными посредством выполнения фильтрации LP с более высокой энергией импульсного отклика.
Следовательно, при выполнении фильтрации с более высокой энергией импульсного отклика на этапе S36 первый фильтр используется на основе параметров фильтра 14 (a(k)) (которые являются, таким образом, первыми параметрами фильтра). При выполнении фильтрации с более низкой энергией импульсного отклика на этапе S35 используется второй фильтр. Второй фильтр может быть получен посредством модификации параметров первого фильтра (например, посредством применения весовых коэффициентом меньше единицы).
Последовательность этапов S31-S32-S34 может отличаться в других примерах: например, этап S34 может предшествовать этапу S32. Один из этапов S32 и/или S34 может быть необязательным в некоторых примерах.
В примерах по меньшей мере один из первого и/или второго порогов может быть фиксирован (например, сохранен в элементе памяти).
В примерах фильтрация с более низкой энергией импульсного отклика может быть получена посредством сокращения импульсного отклика фильтра с помощью регулировки параметров фильтра LP (например, коэффициентов LPC или других параметров фильтрации) и/или коэффициентов отражения, или промежуточного значения, используемого для получения коэффициентов отражения. Например, коэффициенты меньше единицы (весовые коэффициенты) могут быть применены к параметрам фильтра LP (например, коэффициентам LPC или другим параметрам фильтрации) и/или коэффициентам отражения, или промежуточному значению, используемому для получения коэффициентов отражения.
В примерах регулировка (и/или сокращение энергии импульсного отклика) может представлять собой (или выражено как):
где - порог определения типа фильтрации (и может составлять, например, 2), - порог определения фильтрации TNS (и может составлять 1,5), - константа (например, значение между 0,7 и 0,95, такое как между 0,8 и 0,9, такое как 0,85). Значения могут использоваться, чтобы масштабировать коэффициенты LPC (или другие параметры фильтрации) и/или коэффициенты отражения. frameMetrics - метрика кадра.
В одном примере формула может представлять собой:
где - порог определения типа фильтрации (и может составлять, например, 2), - порог определения фильтрации TNS (и может составлять 1,5), - константа (например, значение между 0,7 и 0,95, такое как между 0,8 и 0,9, такое как 0,85). Значения могут использоваться, чтобы масштабировать коэффициенты LPC (или другие параметры фильтрации) и/или коэффициенты отражения. predGain может представлять собой коэффициент усиления прогнозирования.
Из формулы можно заметить, что frameMetrics (или ) ниже , но близко к этому значению (например, 1,999) сделает сокращение энергии импульсного отклика слабым (например, ). Таким образом, фильтрация LP с более низкой энергией импульсного отклика может быть одной из множества разных фильтраций LP с более низкой энергией импульсного отклика, каждая из которых описывается своим параметром регулировки , например, в соответствии со значением метрики кадра.
В примерах фильтрации LP с более низкой энергией импульсного отклика разные значения метрик могут вызвать разные регулировки. Например, более высокий коэффициент усиления прогнозирования может иметь отношение к более высокому значению и более низкому сокращению энергии импульсного отклика относительно первого фильтра. может рассматриваться как линейная функция, зависящая от . Приращение вызовет приращение , что в свою очередь уменьшит сокращение энергии импульсного отклика. Если сокращается, также сокращается, и энергия импульсного отклика будет соответственно также сокращаться.
Следовательно, последующие кадры того же самого сигнала могут быть отфильтрованы по-другому:
- некоторые кадры могут быть отфильтрованы с использованием первого фильтра (фильтрация с более высокой энергией импульсного отклика), в котором сохраняются параметры (14) фильтра;
- некоторые другие кадры могут быть отфильтрованы с использованием второго фильтра (фильтрация с более низкой энергией импульсного отклика), в котором первый фильтр модифицирован, чтобы получить второй фильтр с более низкой энергией импульсного отклика (например, модифицируются параметры 14 фильтра), чтобы сократить энергию импульсного отклика относительно первого фильтра;
- некоторые другие кадры также могут быть отфильтрованы с использованием второго фильтра (фильтрация с более низкой энергией импульсного отклика), но с другой регулировкой (как последовательность разных значений метрики кадра).
В соответствии с этим, для каждого кадра может быть определен особый первый фильтр (например, на основе параметров фильтра), в то время как второй фильтр может быть разработан посредством модификации параметров первого фильтра.
Фиг. 3А показывают пример контроллера 12 и блока 11 TNS, совместно функционирующих для выполнения операций фильтрации TNS.
Метрика 17 кадра (например, коэффициент усиления прогнозирования) быть получена и сравнена с порогом 18a определения фильтрации TNS (например, в блоке 10a сравнения). Если метрика 17 кадра больше, чем порог 18a определения фильтрации TNS (thresh), разрешается (например, селектором 11a) сравнить метрику 17 кадра с порогом 18b определения типа фильтрации (например, в блоке 12a сравнения). Если метрика кадра 17 больше, чем порог 18b определения типа фильтрации, то активируется первый фильтр 14a, импульсный отклик которого имеет более высокую энергию (например, ). Если метрика 17 кадра ниже порога 18b определения типа фильтрации, то активируется второй фильтр 15a, импульсный отклик которого имеет более низкую энергию (например, ) (элемент 12b указывает отрицание двоичного значения, выданного блоком 12a сравнения). Первый фильтр 14a, импульсный отклик которого имеет более высокую энергию, может выполнить фильтрацию S36 с более высокой энергией импульсного отклика, и второй фильтр 15a, импульсный отклик которого имеет более низкую энергию, может выполнить фильтрацию S35 с более низкой энергией импульсного отклика.
Фиг. 3B и 3C показывают способы 36 и 35 для использования первого и второго фильтров 14a и 15a, соответственно (например, для этапов S36 и S35, соответственно).
Способ 36 может содержать этап S36a получения параметров 14 фильтра. Способ 36 может содержать этап S36b выполнения фильтрации (например, этап S36) с использованием параметров первого фильтра 14a. Этап S35b может быть выполнен только при определении (например, на этапе S34), что метрика кадра выше порога определения типа фильтрации (например, на этапе S35).
Способ 35 может содержать этап S35a получения параметров 14 фильтра первого фильтра 14a. Способ 35 может содержать этап S35b определения поправочного коэффициента (например, посредством использования по меньшей мере одного из порогов thresh и thresh2 и метрики кадра). Способ 35 может содержать этап 35c для изменения первого фильтра 14a, чтобы получить второй фильтр 15a, имеющий более низкую энергию импульсного отклика относительно первого фильтра 14a. В частности, первый фильтр 14a может быть модифицирован посредством применения поправочного коэффициента (например, полученного на этапе S35b) к параметрам 14 первого фильтра 14a, чтобы получить параметры второго фильтра. Способ 35 может содержать этап S35d, на котором выполняется фильтрация с помощью второго фильтра (например, на этапе S35 способа 30). Этапы S35a, S35b и S35c могут быть выполнены при определении (например, на этапе S34), что метрика кадра меньше, чем порог определения типа фильтрации (например, на этапе S35).
Фиг. 4 показывает способ 40’ (на стороне кодера) и способ 40” (на стороне декодера), которые могут сформировать единый способ 40. Способы 40’ и 40” могут иметь некоторый контакт в том, что кодер, работающий в соответствии со способом 40’, может передать битовый поток (например, беспроводным образом с использованием Bluetooth) декодеру, работающему в соответствии со способом 40”.
Ниже обсуждаются этапы способа 40 (обозначены как последовательность a)-b)-c)-d)-1)-2)-3)-e)-f) и последовательностью S41'-S49’).
a) Этап S41’: Может быть обработана автокорреляция спектра MDCT (или MDST) (значение FD), например,
где - порядок фильтра LP (например, ). Здесь может являться значением FD, вводимым в инструмент 11 TNS. Например, может относиться к элементу разрешения, ассоциированному с частотой с индексом .
b) Этап S42’: Автокорреляция может быть обработана с помощью оконной функции задержки:
Пример функции оконной обработки задержки может быть представлен, например:
c) Этап S43’: Коэффициенты фильтра LP могут быть оценены с использованием, например, рекурсивной процедуры Левинсона-Дербина, такой как:
где - оценочные коэффициенты LPC (или другие параметры фильтрации), - соответствующие коэффициенты отражения, и - ошибка прогнозирования.
d) Этап S44’: Принятие решения (этап S44’ или S32) включить/выключить фильтрацию TNS текущего кадра может основано, например, на метрике кадра, такой как коэффициент усиления прогнозирования:
причем коэффициент усиления прогнозирования вычисляется как
где - второй порог (например, ), и - минимальный весовой коэффициент (например, ). может являться, например, порогом определения типа фильтрации.
Когда , используется первый фильтр 14a. Когда , используется второй фильтр 15a (например, на этапе S35b).
2) Этап S46’: Коэффициенты LPC (или другие параметры фильтрации) могут быть взвешены (например, на этапе S46’) с использованием коэффициента :
3) Этап S47’: Взвешенные коэффициенты LPC (или другие параметры фильтрации) могут быть преобразованы в коэффициенты отражения, например, с использованием следующей процедуры (этап S47’):
e) Этап S48': Если фильтрация TNS включена (например, в результате определения на этапе S32), коэффициенты отражения могут быть квантованы (этап S48’) с использованием, например, скалярного однородного квантование в области арксинуса:
- выходные индексы блока квантования, которые затем кодируются, например, с использованием арифметического кодирования.
f) Этап S49’: Если фильтрация TNS включена, спектр MDCT (или MDST) фильтруется (этап S49’) с использованием квантованных коэффициентов отражения и структуры решеточного фильтра
Битовый поток может быть передан декодеру. Битовый поток может содержать вместе с представлением FD информационного сигнала (например, аудиосигнала) также управляющие данные, такие как коэффициенты отражения, полученные посредством выполнения операций TNS, описанных выше (анализ TNS).
Способ 40” (сторона декодера) может содержать этапы g) (S41”) и h) (S42”), на которых, если фильтрация TNS включена, квантованные коэффициенты отражения декодируются, и квантованный фильтр MDCT (или MDST) подвергается обратной фильтрации. Может использоваться следующая процедура:
На фиг. 5 показан пример устройства 50 кодера (которое может воплотить устройство 10 кодера и/или выполнить по меньшей мере некоторые операции способов 30 и 40’).
Устройство 50 кодера может содержать множество инструментов для кодирования входного сигнала (который может являться, например, аудиосигналом). Например, инструмент 51 MDCT может преобразовывать представление TD информационного сигнала в представлении FD. Инструмент 52 формирования спектрального шума (SNS) может выполнять анализ формирования шума (например, анализ формирования спектрального шума (SNS)) и извлекать коэффициенты LPC или другие параметры фильтрации (например, a(k) 14). Инструмент 11 TNS может являться таким, как упомянуто выше, и им может управлять контроллером 12. Инструмент 11 TNS может выполнять операцию фильтрации (например, в соответствии со способом 30 или 40’) и выдавать фильтрованную версию информационного сигнала и версию коэффициентов отражения. Инструмент 13 квантования может выполнять квантование данных, выданных инструментом 11 TNS. Арифметический кодер 54 может обеспечивать, например, энтропийное кодирование. Инструмент 55’ уровня шума также может использоваться для оценки уровня шума сигнала. Блок 55 записи битового потока может формировать битовый поток, ассоциированный с входным сигналом, который может быть передан (например, беспроводным образом с использованием Bluetooth) и/или сохранен.
Также может использоваться детектор 58’ частотной полосы (который может обнаруживать частотную полосу входного сигнала). Он может обеспечивать информацию об активном спектре сигнала. Эта информация также может использоваться в некоторых примерах, чтобы управлять инструментами кодирования.
Устройство 50 кодера также может содержать инструмент 57 долгосрочной постфильтрации, на вход которого может подаваться представление TD входного сигнала, например, после того как представление TD было дискретизировано с понижением посредством инструмента 56.
На фиг. 6 показан пример устройства 60 декодера (которое может воплотить устройство 20 декодера и/или выполнить по меньшей мере некоторые операции способа 40”).
Устройство 60 декодера может содержать блок 61 считывания, который может считывать битовый поток (например, подготовленный устройством 50). Устройство 60 декодера может содержать арифметический разностный декодер 61a, который может выполнять, например, энтропийное декодирование, разностное декодирование и/или арифметическое декодирование с цифровым представлением в FD (восстановленный спектр), например, как представлено декодером. Устройство 60 декодера может содержать инструмент 62 заполнения шумом и инструмент 63 глобального усиления. Устройство 60 декодера может содержать декодер 21 TNS и контроллер 22 декодера TNS. Устройство 60 может содержать инструмент 65 декодера SNS. Устройство 60 декодера может содержать инструмент 65' обратного преобразования MDCT (или MDST) для преобразования цифрового представления информационного сигнала из области FD в область TD. Долгосрочная постфильтрация может быть выполнена инструментом 66 LTPF 66 в области TD. Информация 68 о частотной полосе может быть получена, например, от детектора 58’ частотной полосы и применена к некоторым инструментам (например, 62 и 21).
Здесь обеспечены примеры операций упомянутого выше устройства.
Формирование временного шума (TNS) может использоваться инструментом 11 для управления временной формой шума квантования в каждом окне преобразования.
В примерах, если фильтрация TNS активна в текущем кадре, то могут быть применены до двух фильтров на каждый спектр MDCT (или спектр MDST, или другой спектр или другое представление в области FD). Возможно применить множество фильтров и/или выполнить фильтрацию TNS в конкретном частотном диапазоне. В некоторых примерах это является необязательным.
Количество фильтров для каждой конфигурации и начальная и конечная частоты каждого фильтра заданы в следующей таблице:
Ширина полосы | num_tns_filters | start_freq(f) | stop_freq(f) | sub_start(f, s) | sub_stop(f, s) |
NB | 1 | {12} | {80} | {{12,34,57}} | {{34,57,80}} |
WB | 1 | {12} | {160} | {{12,61,110}} | {{61,110,160}} |
SSWB | 1 | {12} | {240} | {{12,88,164}} | {{88,164,240}} |
SWB | 2 | {12,160} | {160,320} | {{12,61,110}, {160,213,266}} |
{{61,110,160}, {213,266,320}} |
FB | 2 | {12,200} | {200,400} | {{12,74,137}, {200,266,333}} |
{{74,137,200}, {266,333,400}} |
Такая информация, как начальная и конечная частоты, может быть сообщена, например, детектором 58’ частотной полосы.
Где NB - узкополосный, WB - широкополосный, SSWB - полусуперширокополосный, SWB - суперширокополосный, и FB - полноширокополосный.
Ниже описаны этапы кодирования TNS. Сначала анализ может оценить набор коэффициентов отражения для каждого фильтра TNS. Затем эти коэффициенты отражения могут быть квантованы. И, наконец, спектр преобразования MDCT (или спектр MDST, или другой спектр, или другое представление FD) может быть отфильтрован с использованием квантованных коэффициентов отражения.
Полный анализ TNS, описанный ниже, повторяется для каждого фильтра TNS , где (num_tns_filters обеспечивается приведенной выше таблицей).
Нормализованная автокорреляционная функция может быть вычислена (например, на этапе S41’) следующим образом, для каждого
где
и
Нормализованная функция автокорреляции может быть обработана с помощью оконной функции с задержкой (например, на этапе S42’), например, с использованием:
Рекурсия Левинсона-Дербина, описанная выше, может использоваться (например, на этапе S43’) для получения коэффициентов LPC или других параметров фильтрации и/или ошибки прогнозирования .
Решение включить/выключить фильтр TNS в текущем кадре основано на коэффициенте усиления прогнозирования:
Дополнительные описанные ниже этапы выполняются, только если включен фильтр TNS (например, если этап S32 имеет результат "ДА").
Коэффициенты LPC или другие параметры фильтрации могут быть взвешены (например, на этапе S46’) с использованием коэффициента
Взвешенные коэффициенты LPC или другие параметры фильтрации могут быть преобразованы (например, на этапе S47’) коэффициенты отражения, например, с использованием следующего алгоритма:
Если фильтр TNS выключен (например, результат "НЕТ" в проверке этапа S32), то коэффициенты отражения могут быть просто установлены в 0: .
Теперь обсуждается процесс квантования, выполняемый на этапе S48’.
Для каждого фильтра TNS полученные коэффициенты отражения могут быть квантованы, например, с использованием скалярное однородного квантования в области арксинуса
и
где и являются округлением к самой близкой функции целого числа, например. может быть индексами продукции блока квантования, и может быть квантованными коэффициентами отражения.
Порядок квантованных коэффициентов отражения может быть вычислен с использованием
Общее количество битов, использованных фильтрацией TNS в текущем кадре, может быть вычислено следующим образом
где
и
Спектр MDCT (или MDST) (входные данные 15 на фиг. 1) может быть отфильтрован с использованием следующей процедуры:
Со ссылкой на операции, выполненные в декодере (например, 20, 60), квантованные коэффициенты отражения могут быть получены для каждого фильтра TNS с использованием
Спектр MDCT (или MDST) , представленный декодеру 21 TNS (например, полученный из инструмента 63 глобального усиления), может быть отфильтрован с использованием следующего алгоритма
6. Обсуждение изобретения
Как разъяснялось выше, TNS может иногда вносить артефакты, ухудшая качество аудиокодера. Эти артефакты похожи на щелчки или шум и появляются в большинстве случаев с речевыми сигналами или тональными музыкальными сигналами.
Было замечено, что артефакты, сформированные TNS, возникают только в кадрах, в которых коэффициент усиления прогнозирования predGain является низким и близок к порогу thresh.
Можно было предположить, что увеличение порога легко решит проблему. Но для большинства кадров на самом деле полезно включить фильтрацию TNS, даже когда коэффициент усиления прогнозирования является низким.
Наше предлагаемое решение состоит в том, чтобы поддерживать такой же порог, но регулировать фильтр TNS, когда коэффициент усиления прогнозирования является низким, чтобы сократить энергию импульсного отклика.
Имеется много способов реализовать эту регулировку (что может называться, как "ослабление", например, когда получается подавление энергии импульсного отклика посредством сокращения параметров фильтра LP). Мы можем использовать весовые коэффициенты
где - параметры фильтра LP (например, коэффициенты LPC) вычисленные на этапе c) кодера, и - взвешенные параметры фильтра LP. Корректирующий (взвешенный) коэффициент делается зависимым от коэффициента усиления прогнозирования таким образом, что применяется более высокое подавление энергии импульсного отклика () для более низких коэффициентов усиления прогнозирования, и в результате чего нет, например, подавления энергии импульсного отклика () для более высоких коэффициентов усиления прогнозирования.
Предлагаемое решение, как доказано, было очень эффективным при удалении всех артефактов на проблематичных кадрах с минимальным воздействием на другие кадры.
Теперь может быть сделана ссылка на фиг. 8(1)-8(3). Они показывают кадр аудиосигнала (сплошная линия) и частотную характеристику (штриховая линия) соответствующего фильтра прогнозирования TNS.
Фиг. 8(1): сигнал кастаньет
Фиг. 8(2): сигнал камертона
Фиг. 8(3): речевой сигнал
Коэффициент усиления прогнозирования относится к пологости временной огибающей сигнала (см., например, раздел 3 [2] или раздел 1.2 [3]).
Низкий коэффициент усиления прогнозирования подразумевает тенденциозно пологую временную огибающую, в то время как высокий коэффициент усиления прогнозирования подразумевает чрезвычайно не пологую временную огибающую.
Фиг. 8(1) показывает случай очень низкого коэффициента усиления прогнозирования (predGain=1,0). Это соответствует случаю очень стационарного аудиосигнала с пологой временной огибающей. В этом случае predGain=1 <thresh (например, thresh=1,5): фильтрация не выполняется (этап S33).
Фиг. 8(2) показывает случай очень высокого коэффициента усиления прогнозирования (12,3). Это соответствует случаю сильного и острого нарастания громкости с очень не пологой временной огибающей. В этом случае predGain=12,3 > thresh2 (threh2=2): фильтрация более высокой энергии импульсного отклика выполняется на этапе S36.
Фиг. 8(3) показывает случай, когда коэффициент усиления прогнозирования находится между thresh и thresh2, например, в диапазоне 1,5-2,0 (выше, чем первый порог, ниже, чем второй порог). Это соответствует случаю немного не пологой временной огибающей. В этом случае thresh<predGain<thresh2: фильтрация с более низкой энергией импульсного отклика выполнятся на этапе в S35, с использованием второго фильтра 15a с более низкой энергией импульсного отклика.
7. Другие примеры
Фиг. 7 показывает устройство 110, которое может реализовать устройство 10 или 50 кодера и/или выполнять по меньшей мере некоторые этапы способа 30 и/или 40’. Устройство 110 может содержать процессор 111 и блок 112 памяти долговременного хранения, хранящий инструкции, которые при их исполнении процессором 111 могут побудить процессор 111 выполнять фильтрацию и/или анализ TNS. Устройство 110 может содержать блок 116 ввода, который может получать входной сигнал (например, аудиосигнал). Процессор 111 может, таким образом, выполнять процессы TNS.
Фиг. 8 показывает устройство 120, которое может реализовать устройство 20 или 60 декодера и/или выполнить способ 40’. Устройство 120 может содержать процессор 121 и блок 122 памяти долговременного хранения, хранящий инструкции, которые при их исполнении процессором 121 могут побудить процессор 121 выполнять, среди прочего, операцию синтеза TNS. Устройство 120 может содержать блок 126 ввода, который может получать декодированное представление информационного сигнала (например, аудиосигнала) в FD. Процессор 121 может, таким образом, выполнять процессы для получения декодированного представления информационного сигнала, например, в TD. Это декодированное представление может быть предоставлено внешним блокам с использованием блока 127 вывода. Блок 127 вывода может содержать, например, блок связи для взаимодействия с внешним устройствами (например, с использованием беспроводной связи, такой как Bluetooth) и/или внешними пространствами памяти. Процессор 121 может хранить декодированное представление аудиосигнала в локальном пространстве 128 памяти.
В примерах системы 110 и 120 могут быть одним и тем же устройством.
В зависимости от некоторых требований реализации примеры могут быть реализованы в аппаратных средствах. Реализация может быть выполнена с использованием цифровых носителей информации, например, гибкого диска, цифрового универсального диска (DVD), диска Blu-ray, компакт-диска (CD), постоянного запоминающего устройства (ПЗУ; ROM), программируемого ПЗУ (ППЗУ; PROM), стираемого и программируемого ПЗУ (ЭПЗЗУ; EPROM), электрически стираемого ЭППЗУ (ЭСППЗУ EEPROM) или флэш-памяти, хранящих считываемые в электронном виде сигналы, которые могут выполнять соответствующий способ. Таким образом, цифровой носитель информации может быть машиночитаемым.
Обычно примеры могут быть реализованы как компьютерный программный продукт с программными командами, программные команды выполняют один из способов, когда компьютерный программный продукт исполняется на компьютере. Программные команды могут быть сохранены на машиночитаемом носителе.
Другие примеры содержат компьютерную программу для выполнения одного из способов, описанных в настоящем документе, сохраненных на машиночитаемой носителе. Другими словами, примером способа, таким образом, является компьютерная программа, имеющая программные команды для выполнения одного из способов, описанных в настоящем документе, когда компьютерная программа выполняется на компьютере.
Дополнительным примером способов, таким образом, является носитель данных (или цифровой носитель информации, или машиночитаемый носитель) содержащий записанную на нем компьютерную программу для выполнения одного из способов, описанных в настоящем документе. Носитель данных, цифровой носитель информации или носитель с записанными данными являются материальными и/или не временным носителем, а не нематериальными и временными сигналами.
Дополнительный пример содержит блок обработки, например, компьютер или программируемое логическое устройство, выполняющее один из способов, описанных в настоящем документе.
Дополнительный пример содержит компьютер с установленной на нем компьютерной программой для выполнения одного из способов, описанных в настоящем документе.
Дополнительный пример содержит устройство или систему, переносящую (например, в электронном виде или оптически) компьютерную программу для выполнения одного из способов, описанных в настоящем документе, к приемнику. Приемник может, например, являться компьютером, мобильным устройством, запоминающим устройством и т.п. Устройство или система могут, например, содержать файловый сервер для переноса компьютерной программы к приемнику.
В некоторых примерах программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться, чтобы выполнять некоторые или все функции способов, описанных в настоящем документе. В некоторых примерах программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы выполнять один из способов, описанных в настоящем документе. Обычно способы могут быть выполнены любым подходящим аппаратным устройством.
Описанные выше примеры являются иллюстративным для обсуждаемых выше принципов. Подразумевается, что модификации и вариации подробностей, описанных в настоящем документе, будут очевидны. Таким образом, объем описания ограничен лишь формулой изобретения, а не подробностями, представленными в примерах настоящего документа.
Claims (49)
1. Устройство (10, 50, 110) кодера, содержащее:
инструмент (11) формирования временного шума (TNS) для выполнения фильтрации (S33, S35, S36) с линейным прогнозированием (LP) информационного сигнала (13), включающего в себя множество кадров; и
контроллер (12), выполненный с возможностью управлять инструментом (11) TNS таким образом, чтобы инструмент (11) TNS выполнил фильтрацию LP с помощью
первого фильтра (14a), импульсный отклик которого имеет более высокую энергию (S36); и
второго фильтра (15a), импульсный отклик которого имеет более низкую энергию (S35), причем второй фильтр (15a) не является фильтром идентичности,
причем контроллер (12) выполнен с возможностью выбирать (S34) между фильтрацией (S36) с помощью первого фильтра (14a) и фильтрацией (S35) с помощью второго фильтра (15a) на основе метрики (17) кадра,
причем контроллер (11) дополнительно выполнен с возможностью
модифицировать первый фильтр (14a) для получения второго фильтра (15a), в котором сокращена энергия импульсного отклика фильтра.
2. Устройство кодера по п. 1, причем контроллер (11) дополнительно выполнен с возможностью
применять (S45’) поправочный коэффициент к первому фильтру (14a), чтобы получить второй фильтр (15a).
3. Устройство кодера по п. 2, выполненное с возможностью модифицировать первый фильтр (14a), чтобы получить второй фильтр (15a), модифицируя амплитуду параметров (14) первого фильтра (14a) с использованием поправочного коэффициента.
4. Устройство кодера по п. 2, в котором контроллер (11) дополнительно выполнен с возможностью
определять (S45’) поправочный коэффициент на основе порога (18b) определения типа фильтрации, используемого для выбора (S32) между фильтрацией (S36) с помощью первого фильтра (14a) и фильтрацией (S35) с помощью второго фильтра (15a).
5. Устройство кодера по п. 2, в котором контроллер (11) дополнительно выполнен с возможностью
определять (S45’) поправочный коэффициент на основе, по меньшей мере, метрики (17) кадра.
6. Устройство кодера по п. 2, в котором контроллер (11) дополнительно выполнен с возможностью
определять (S45’) поправочный коэффициент на основе порога (18b) определения фильтрации TNS, который используется для выбора (S32) между выполнением фильтрации (S34, S35) TNS и невыполнением (S33) фильтрации TNS.
7. Устройство кодера по п. 2, в котором контроллер (11) дополнительно выполнен с возможностью
определять (S45’) поправочный коэффициент с использованием линейной функции метрики (17) кадра, причем линейная функция является такой, что увеличение метрики кадра соответствует увеличению поправочного коэффициента и/или энергии импульсного отклика фильтра.
8. Устройство кодера по п. 2, выполненное с возможностью определять поправочный коэффициент как
9. Устройство кодера по п. 2, выполненное с возможностью модифицировать параметры (14) первого фильтра (14a) для получения параметров второго фильтра (15a), применяя
10. Устройство кодера по п. 1, в котором контроллер (11) дополнительно выполнен с возможностью
получать метрику (17) кадра из по меньшей мере одного из коэффициента усиления прогнозирования, энергии информационного сигнала и/или ошибки прогнозирования.
11. Устройство кодера по п. 1, в котором метрика кадра содержит коэффициент усиления прогнозирования, вычисленный как
12. Устройство кодера по п. 1, в котором контроллер выполнен с возможностью,
по меньшей мере, для сокращения коэффициента усиления прогнозирования и/или сокращения энергии информационного сигнала, сокращать энергию импульсного отклика второго фильтра и/или, по меньшей мере, для увеличения ошибки прогнозирования, сокращать энергию импульсного отклика второго фильтра.
13. Устройство кодера по п. 1, причем контроллер (11) дополнительно выполнен с возможностью
сравнивать (S34) метрику (17) кадра с порогом (18b) определения типа фильтрации, чтобы выполнить фильтрацию (S36) с помощью первого фильтра (15a), когда метрика (17) кадра ниже порога (18b) определения типа фильтрации.
14. Устройство кодера по п. 1, в котором контроллер (11) дополнительно выполнен с возможностью
выбирать (S32, S44’) между выполнением фильтрации (S35, S36) и невыполнением фильтрации (S33) на основе метрики (17) кадра.
15. Устройство кодера по п. 14, в котором контроллер (11) дополнительно выполнен с возможностью
сравнивать (S32, S44’) метрику (17) кадра с порогом (18a) определения фильтрации TNS, чтобы избежать (S33) фильтрации TNS, когда метрика (17) кадра ниже порога (18a) определения фильтрации TNS.
16. Устройство кодера по п. 1, дополнительно содержащее:
блок записи битового потока для снабжения битового потока коэффициентами отражения (16) или их квантованной версией, полученными инструментом (11) TNS.
17. Устройство кодера по п. 1, причем параметры (14) фильтрации первого фильтра (14a) выбираются между коэффициентами кодирования LP, LPC и/или любым другим представлением коэффициентов фильтра.
18. Устройство кодера по п. 1, в котором информационный сигнал является аудиосигналом.
19. Устройство кодера по п. 1, в котором контроллер (11) дополнительно выполнен с возможностью модифицировать первый фильтр (14a), чтобы получить второй фильтр (15a), в котором сокращена энергия импульсного отклика фильтра.
20. Устройство кодера по п. 1, в котором метрика (17) кадра ассоциирована с пологостью временной огибающей сигнала.
21. Способ (30, 40’) для выполнения фильтрации временного формирования шума (TNS) информационного сигнала, включающего в себя множество кадров, причем способ содержит этапы, на которых
- для каждого кадра выполняют выбор (S34) между фильтрацией с помощью первого фильтра (14a) и фильтрацией с помощью второго фильтра (15a), импульсный отклик которого имеет более низкую энергию, на основе метрики кадра, причем второй фильтр (15a) не является фильтром идентичности;
- выполняют фильтрацию кадра с использованием фильтрации с фильтрацией, выбранной между фильтрацией с помощью первого фильтра (14a) и фильтрацией с помощью второго фильтра (15a); и
модифицируют первый фильтр (14a) так, чтобы получить второй фильтр (15a), энергия импульсного отклика которого сокращена.
22. Запоминающее устройство долговременного хранения, хранящее инструкции, которые при их исполнении процессором (111, 121) побуждают процессор выполнять способ по п. 21.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17201094.4A EP3483880A1 (en) | 2017-11-10 | 2017-11-10 | Temporal noise shaping |
EP17201094.4 | 2017-11-10 | ||
PCT/EP2018/080339 WO2019091978A1 (en) | 2017-11-10 | 2018-11-06 | Temporal noise shaping |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2740074C1 true RU2740074C1 (ru) | 2021-01-11 |
Family
ID=60301908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2020118948A RU2740074C1 (ru) | 2017-11-10 | 2018-11-06 | Временное формирование шума |
Country Status (18)
Country | Link |
---|---|
US (1) | US11127408B2 (ru) |
EP (2) | EP3483880A1 (ru) |
JP (1) | JP6990306B2 (ru) |
KR (1) | KR102428419B1 (ru) |
CN (1) | CN111587456B (ru) |
AR (1) | AR113480A1 (ru) |
AU (1) | AU2018363699B2 (ru) |
BR (1) | BR112020009104A2 (ru) |
CA (1) | CA3081781C (ru) |
ES (1) | ES2905911T3 (ru) |
MX (1) | MX2020004789A (ru) |
PL (1) | PL3707712T3 (ru) |
PT (1) | PT3707712T (ru) |
RU (1) | RU2740074C1 (ru) |
SG (1) | SG11202004204UA (ru) |
TW (1) | TWI701658B (ru) |
WO (1) | WO2019091978A1 (ru) |
ZA (1) | ZA202002520B (ru) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6642146B2 (ja) | 2015-03-31 | 2020-02-05 | 日立金属株式会社 | 窒化珪素系セラミックス集合基板及びその製造方法 |
CN113643713B (zh) * | 2021-10-13 | 2021-12-24 | 北京百瑞互联技术有限公司 | 一种蓝牙音频编码方法、装置及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0797324B1 (en) * | 1996-03-22 | 2004-11-24 | Lucent Technologies Inc. | Enhanced joint stereo coding method using temporal envelope shaping |
EP0785631B1 (en) * | 1996-01-16 | 2007-03-21 | Lucent Technologies Inc. | Perceptual noise shaping in the time domain via LPC prediction in the frequency domain |
US20110019829A1 (en) * | 2008-04-04 | 2011-01-27 | Panasonic Corporation | Stereo signal converter, stereo signal reverse converter, and methods for both |
RU2591661C2 (ru) * | 2009-10-08 | 2016-07-20 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Многорежимный декодировщик аудио сигнала, многорежимный кодировщик аудио сигналов, способы и компьютерные программы с использованием кодирования с линейным предсказанием на основе ограничения шума |
CN104269173B (zh) * | 2014-09-30 | 2018-03-13 | 武汉大学深圳研究院 | 切换模式的音频带宽扩展装置与方法 |
Family Cites Families (146)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3639753A1 (de) | 1986-11-21 | 1988-06-01 | Inst Rundfunktechnik Gmbh | Verfahren zum uebertragen digitalisierter tonsignale |
US5012517A (en) | 1989-04-18 | 1991-04-30 | Pacific Communication Science, Inc. | Adaptive transform coder having long term predictor |
US5233660A (en) | 1991-09-10 | 1993-08-03 | At&T Bell Laboratories | Method and apparatus for low-delay celp speech coding and decoding |
JPH05281996A (ja) | 1992-03-31 | 1993-10-29 | Sony Corp | ピッチ抽出装置 |
IT1270438B (it) | 1993-06-10 | 1997-05-05 | Sip | Procedimento e dispositivo per la determinazione del periodo del tono fondamentale e la classificazione del segnale vocale in codificatori numerici della voce |
US5581653A (en) | 1993-08-31 | 1996-12-03 | Dolby Laboratories Licensing Corporation | Low bit-rate high-resolution spectral envelope coding for audio encoder and decoder |
JP3402748B2 (ja) | 1994-05-23 | 2003-05-06 | 三洋電機株式会社 | 音声信号のピッチ周期抽出装置 |
DE69619284T3 (de) | 1995-03-13 | 2006-04-27 | Matsushita Electric Industrial Co., Ltd., Kadoma | Vorrichtung zur Erweiterung der Sprachbandbreite |
WO1997027578A1 (en) | 1996-01-26 | 1997-07-31 | Motorola Inc. | Very low bit rate time domain speech analyzer for voice messaging |
JPH1091194A (ja) | 1996-09-18 | 1998-04-10 | Sony Corp | 音声復号化方法及び装置 |
US6570991B1 (en) | 1996-12-18 | 2003-05-27 | Interval Research Corporation | Multi-feature speech/music discrimination system |
KR100261253B1 (ko) | 1997-04-02 | 2000-07-01 | 윤종용 | 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치 |
GB2326572A (en) | 1997-06-19 | 1998-12-23 | Softsound Limited | Low bit rate audio coder and decoder |
WO1999016050A1 (en) | 1997-09-23 | 1999-04-01 | Voxware, Inc. | Scalable and embedded codec for speech and audio signals |
US6507814B1 (en) | 1998-08-24 | 2003-01-14 | Conexant Systems, Inc. | Pitch determination using speech classification and prior pitch estimation |
US7272556B1 (en) | 1998-09-23 | 2007-09-18 | Lucent Technologies Inc. | Scalable and embedded codec for speech and audio signals |
US6735561B1 (en) * | 2000-03-29 | 2004-05-11 | At&T Corp. | Effective deployment of temporal noise shaping (TNS) filters |
US7099830B1 (en) * | 2000-03-29 | 2006-08-29 | At&T Corp. | Effective deployment of temporal noise shaping (TNS) filters |
US7395209B1 (en) | 2000-05-12 | 2008-07-01 | Cirrus Logic, Inc. | Fixed point audio decoding system and method |
US7020605B2 (en) * | 2000-09-15 | 2006-03-28 | Mindspeed Technologies, Inc. | Speech coding system with time-domain noise attenuation |
US7512535B2 (en) | 2001-10-03 | 2009-03-31 | Broadcom Corporation | Adaptive postfiltering methods and systems for decoding speech |
US6785645B2 (en) | 2001-11-29 | 2004-08-31 | Microsoft Corporation | Real-time speech and music classifier |
US20030187663A1 (en) * | 2002-03-28 | 2003-10-02 | Truman Michael Mead | Broadband frequency translation for high frequency regeneration |
US7447631B2 (en) | 2002-06-17 | 2008-11-04 | Dolby Laboratories Licensing Corporation | Audio coding system using spectral hole filling |
US7433824B2 (en) | 2002-09-04 | 2008-10-07 | Microsoft Corporation | Entropy coding by adapting coding between level and run-length/level modes |
US7502743B2 (en) | 2002-09-04 | 2009-03-10 | Microsoft Corporation | Multi-channel audio encoding and decoding with multi-channel transform selection |
JP4287637B2 (ja) | 2002-10-17 | 2009-07-01 | パナソニック株式会社 | 音声符号化装置、音声符号化方法及びプログラム |
KR101049751B1 (ko) | 2003-02-11 | 2011-07-19 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 오디오 코딩 |
KR20030031936A (ko) | 2003-02-13 | 2003-04-23 | 배명진 | 피치변경법을 이용한 단일 음성 다중 목소리 합성기 |
CA2529851A1 (en) | 2003-06-17 | 2004-12-23 | Matsushita Electric Industrial Co., Ltd. | Receiving apparatus, sending apparatus and transmission system |
KR101058062B1 (ko) * | 2003-06-30 | 2011-08-19 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 잡음 부가에 의한 디코딩된 오디오의 품질 개선 |
US7983909B2 (en) | 2003-09-15 | 2011-07-19 | Intel Corporation | Method and apparatus for encoding audio data |
US7009533B1 (en) | 2004-02-13 | 2006-03-07 | Samplify Systems Llc | Adaptive compression and decompression of bandlimited signals |
DE102004009954B4 (de) * | 2004-03-01 | 2005-12-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Verarbeiten eines Multikanalsignals |
DE602005022641D1 (de) | 2004-03-01 | 2010-09-09 | Dolby Lab Licensing Corp | Mehrkanal-Audiodekodierung |
DE102004009949B4 (de) | 2004-03-01 | 2006-03-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Ermitteln eines Schätzwertes |
ATE523876T1 (de) | 2004-03-05 | 2011-09-15 | Panasonic Corp | Fehlerverbergungseinrichtung und fehlerverbergungsverfahren |
EP1869673B1 (en) | 2005-04-01 | 2010-09-22 | Qualcomm Incorporated | Methods and apparatuses for encoding and decoding a highband portion of a speech signal |
US7539612B2 (en) | 2005-07-15 | 2009-05-26 | Microsoft Corporation | Coding and decoding scale factor information |
US7546240B2 (en) | 2005-07-15 | 2009-06-09 | Microsoft Corporation | Coding with improved time resolution for selected segments via adaptive block transformation of a group of samples from a subband decomposition |
KR100888474B1 (ko) | 2005-11-21 | 2009-03-12 | 삼성전자주식회사 | 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법 |
US7805297B2 (en) | 2005-11-23 | 2010-09-28 | Broadcom Corporation | Classification-based frame loss concealment for audio signals |
WO2007070007A1 (en) | 2005-12-14 | 2007-06-21 | Matsushita Electric Industrial Co., Ltd. | A method and system for extracting audio features from an encoded bitstream for audio classification |
US8255207B2 (en) | 2005-12-28 | 2012-08-28 | Voiceage Corporation | Method and device for efficient frame erasure concealment in speech codecs |
CN101395661B (zh) | 2006-03-07 | 2013-02-06 | 艾利森电话股份有限公司 | 音频编码和解码的方法和设备 |
US8150065B2 (en) | 2006-05-25 | 2012-04-03 | Audience, Inc. | System and method for processing an audio signal |
CN101460998A (zh) | 2006-05-30 | 2009-06-17 | 皇家飞利浦电子股份有限公司 | 音频信号的线性预测编码 |
US8015000B2 (en) | 2006-08-03 | 2011-09-06 | Broadcom Corporation | Classification-based frame loss concealment for audio signals |
CN101501761B (zh) * | 2006-08-15 | 2012-02-08 | 杜比实验室特许公司 | 无需边信息对时域噪声包络的任意整形 |
FR2905510B1 (fr) | 2006-09-01 | 2009-04-10 | Voxler Soc Par Actions Simplif | Procede d'analyse en temps reel de la voix pour le controle en temps reel d'un organe numerique et dispositif associe |
CN101140759B (zh) | 2006-09-08 | 2010-05-12 | 华为技术有限公司 | 语音或音频信号的带宽扩展方法及系统 |
DE102006049154B4 (de) | 2006-10-18 | 2009-07-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Kodierung eines Informationssignals |
KR101292771B1 (ko) | 2006-11-24 | 2013-08-16 | 삼성전자주식회사 | 오디오 신호의 오류은폐방법 및 장치 |
CN101548319B (zh) | 2006-12-13 | 2012-06-20 | 松下电器产业株式会社 | 后置滤波器以及滤波方法 |
FR2912249A1 (fr) | 2007-02-02 | 2008-08-08 | France Telecom | Codage/decodage perfectionnes de signaux audionumeriques. |
JP4871894B2 (ja) | 2007-03-02 | 2012-02-08 | パナソニック株式会社 | 符号化装置、復号装置、符号化方法および復号方法 |
JP5618826B2 (ja) | 2007-06-14 | 2014-11-05 | ヴォイスエイジ・コーポレーション | Itu.t勧告g.711と相互運用可能なpcmコーデックにおいてフレーム消失を補償する装置および方法 |
EP2015293A1 (en) | 2007-06-14 | 2009-01-14 | Deutsche Thomson OHG | Method and apparatus for encoding and decoding an audio signal using adaptively switched temporal resolution in the spectral domain |
JP4928366B2 (ja) | 2007-06-25 | 2012-05-09 | 日本電信電話株式会社 | ピッチ探索装置、パケット消失補償装置、それらの方法、プログラム及びその記録媒体 |
JP4572218B2 (ja) | 2007-06-27 | 2010-11-04 | 日本電信電話株式会社 | 音楽区間検出方法、音楽区間検出装置、音楽区間検出プログラム及び記録媒体 |
JP4981174B2 (ja) | 2007-08-24 | 2012-07-18 | フランス・テレコム | 確率テーブルの動的な計算によるシンボルプレーン符号化/復号化 |
US20110035212A1 (en) | 2007-08-27 | 2011-02-10 | Telefonaktiebolaget L M Ericsson (Publ) | Transform coding of speech and audio signals |
CN100524462C (zh) | 2007-09-15 | 2009-08-05 | 华为技术有限公司 | 对高带信号进行帧错误隐藏的方法及装置 |
EP2207166B1 (en) | 2007-11-02 | 2013-06-19 | Huawei Technologies Co., Ltd. | An audio decoding method and device |
WO2009066869A1 (en) * | 2007-11-21 | 2009-05-28 | Electronics And Telecommunications Research Institute | Frequency band determining method for quantization noise shaping and transient noise shaping method using the same |
CA2711047C (en) | 2007-12-31 | 2015-08-04 | Lg Electronics Inc. | A method and an apparatus for processing an audio signal |
WO2009150290A1 (en) | 2008-06-13 | 2009-12-17 | Nokia Corporation | Method and apparatus for error concealment of encoded audio data |
EP2346029B1 (en) | 2008-07-11 | 2013-06-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, method for encoding an audio signal and corresponding computer program |
EP2144231A1 (en) | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme with common preprocessing |
EP2144230A1 (en) | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme having cascaded switches |
AU2009267394B2 (en) | 2008-07-11 | 2012-10-18 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio encoder and decoder for encoding frames of sampled audio signals |
WO2010031049A1 (en) | 2008-09-15 | 2010-03-18 | GH Innovation, Inc. | Improving celp post-processing for music signals |
JP5555707B2 (ja) | 2008-10-08 | 2014-07-23 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | マルチ分解能切替型のオーディオ符号化及び復号化スキーム |
GB2466673B (en) | 2009-01-06 | 2012-11-07 | Skype | Quantization |
RU2542668C2 (ru) | 2009-01-28 | 2015-02-20 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Звуковое кодирующее устройство, звуковой декодер, кодированная звуковая информация, способы кодирования и декодирования звукового сигнала и компьютерная программа |
JP4945586B2 (ja) | 2009-02-02 | 2012-06-06 | 株式会社東芝 | 信号帯域拡張装置 |
JP4932917B2 (ja) * | 2009-04-03 | 2012-05-16 | 株式会社エヌ・ティ・ティ・ドコモ | 音声復号装置、音声復号方法、及び音声復号プログラム |
FR2944664A1 (fr) | 2009-04-21 | 2010-10-22 | Thomson Licensing | Dispositif et procede de traitement d'images |
US8352252B2 (en) | 2009-06-04 | 2013-01-08 | Qualcomm Incorporated | Systems and methods for preventing the loss of information within a speech frame |
US8428938B2 (en) | 2009-06-04 | 2013-04-23 | Qualcomm Incorporated | Systems and methods for reconstructing an erased speech frame |
KR20100136890A (ko) | 2009-06-19 | 2010-12-29 | 삼성전자주식회사 | 컨텍스트 기반의 산술 부호화 장치 및 방법과 산술 복호화 장치 및 방법 |
CN101958119B (zh) | 2009-07-16 | 2012-02-29 | 中兴通讯股份有限公司 | 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法 |
ES2888804T3 (es) * | 2009-10-15 | 2022-01-07 | Voiceage Corp | Conformación simultánea de ruido en el dominio del tiempo y el dominio de la frecuencia para transformaciones TDAC |
ES2533098T3 (es) | 2009-10-20 | 2015-04-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Codificador de señal de audio, decodificador de señal de audio, método para proveer una representación codificada de un contenido de audio, método para proveer una representación decodificada de un contenido de audio y programa de computación para su uso en aplicaciones de bajo retardo |
MX2012004572A (es) | 2009-10-20 | 2012-06-08 | Fraunhofer Ges Forschung | Codificador de audio, decodificador de audio, metodo para codificar informacion de audio, metodo para decodificar informacion de audio y programa de computacion que usa una regla dependiente de la region para un mapeado mediante codificacion aritmetica. |
US7978101B2 (en) | 2009-10-28 | 2011-07-12 | Motorola Mobility, Inc. | Encoder and decoder using arithmetic stage to compress code space that is not fully utilized |
US8207875B2 (en) | 2009-10-28 | 2012-06-26 | Motorola Mobility, Inc. | Encoder that optimizes bit allocation for information sub-parts |
KR101761629B1 (ko) | 2009-11-24 | 2017-07-26 | 엘지전자 주식회사 | 오디오 신호 처리 방법 및 장치 |
CA2786944C (en) | 2010-01-12 | 2016-03-15 | Fraunhofer Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio encoder, audio decoder, method for encoding and audio information, method for decoding an audio information and computer program using a hash table describing both significant state values and interval boundaries |
US20110196673A1 (en) | 2010-02-11 | 2011-08-11 | Qualcomm Incorporated | Concealing lost packets in a sub-band coding decoder |
EP2375409A1 (en) | 2010-04-09 | 2011-10-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction |
FR2961980A1 (fr) * | 2010-06-24 | 2011-12-30 | France Telecom | Controle d'une boucle de retroaction de mise en forme de bruit dans un codeur de signal audionumerique |
KR102492622B1 (ko) | 2010-07-02 | 2023-01-30 | 돌비 인터네셔널 에이비 | 선택적인 베이스 포스트 필터 |
CA2806000C (en) | 2010-07-20 | 2016-07-05 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio encoder, audio decoder, method for encoding an audio information, method for decoding an audio information and computer program using an optimized hash table |
US8738385B2 (en) | 2010-10-20 | 2014-05-27 | Broadcom Corporation | Pitch-based pre-filtering and post-filtering for compression of audio signals |
KR101617816B1 (ko) | 2011-02-14 | 2016-05-03 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 스펙트럼 도메인 잡음 형상화를 사용하는 선형 예측 기반 코딩 방식 |
US9270807B2 (en) | 2011-02-23 | 2016-02-23 | Digimarc Corporation | Audio localization using audio signal encoding and recognition |
AU2012230440C1 (en) | 2011-03-18 | 2016-09-08 | Dolby International Ab | Frame element positioning in frames of a bitstream representing audio content |
MY166916A (en) | 2011-04-21 | 2018-07-24 | Samsung Electronics Co Ltd | Apparatus for quantizing linear predictive coding coefficients, sound encoding apparatus, apparatus for dequantizing linear predictive coding coefficients, sound decoding apparatus, and electronic device therefore |
US8891775B2 (en) * | 2011-05-09 | 2014-11-18 | Dolby International Ab | Method and encoder for processing a digital stereo audio signal |
FR2977439A1 (fr) | 2011-06-28 | 2013-01-04 | France Telecom | Fenetres de ponderation en codage/decodage par transformee avec recouvrement, optimisees en retard. |
FR2977969A1 (fr) | 2011-07-12 | 2013-01-18 | France Telecom | Adaptation de fenetres de ponderation d'analyse ou de synthese pour un codage ou decodage par transformee |
US9672840B2 (en) * | 2011-10-27 | 2017-06-06 | Lg Electronics Inc. | Method for encoding voice signal, method for decoding voice signal, and apparatus using same |
CA2831176C (en) | 2012-01-20 | 2014-12-09 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for audio encoding and decoding employing sinusoidal substitution |
KR101621287B1 (ko) | 2012-04-05 | 2016-05-16 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 다채널 오디오 신호 및 다채널 오디오 인코더를 위한 인코딩 파라미터를 결정하는 방법 |
US20130282372A1 (en) | 2012-04-23 | 2013-10-24 | Qualcomm Incorporated | Systems and methods for audio signal processing |
JP6088644B2 (ja) | 2012-06-08 | 2017-03-01 | サムスン エレクトロニクス カンパニー リミテッド | フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置 |
GB201210373D0 (en) | 2012-06-12 | 2012-07-25 | Meridian Audio Ltd | Doubly compatible lossless audio sandwidth extension |
FR2992766A1 (fr) * | 2012-06-29 | 2014-01-03 | France Telecom | Attenuation efficace de pre-echos dans un signal audionumerique |
CN102779526B (zh) | 2012-08-07 | 2014-04-16 | 无锡成电科大科技发展有限公司 | 语音信号中基音提取及修正方法 |
US9406307B2 (en) | 2012-08-19 | 2016-08-02 | The Regents Of The University Of California | Method and apparatus for polyphonic audio signal prediction in coding and networking systems |
US9293146B2 (en) | 2012-09-04 | 2016-03-22 | Apple Inc. | Intensity stereo coding in advanced audio coding |
WO2014046526A1 (ko) | 2012-09-24 | 2014-03-27 | 삼성전자 주식회사 | 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치 |
US9401153B2 (en) | 2012-10-15 | 2016-07-26 | Digimarc Corporation | Multi-mode audio recognition and auxiliary data encoding and decoding |
MX343572B (es) * | 2013-01-29 | 2016-11-09 | Fraunhofer Ges Forschung | Concepto de llenado con ruido. |
FR3001593A1 (fr) | 2013-01-31 | 2014-08-01 | France Telecom | Correction perfectionnee de perte de trame au decodage d'un signal. |
SG10202106262SA (en) | 2013-02-05 | 2021-07-29 | Ericsson Telefon Ab L M | Method and apparatus for controlling audio frame loss concealment |
TWI530941B (zh) | 2013-04-03 | 2016-04-21 | 杜比實驗室特許公司 | 用於基於物件音頻之互動成像的方法與系統 |
AU2014283389B2 (en) | 2013-06-21 | 2017-10-05 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for improved concealment of the adaptive codebook in ACELP-like concealment employing improved pulse resynchronization |
EP2830063A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for decoding an encoded audio signal |
EP2830055A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Context-based entropy coding of sample values of a spectral envelope |
KR101831289B1 (ko) | 2013-10-18 | 2018-02-22 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. | 오디오 신호의 스펙트럼의 스펙트럼 계수들의 코딩 |
US9906858B2 (en) | 2013-10-22 | 2018-02-27 | Bongiovi Acoustics Llc | System and method for digital signal processing |
EP3336839B1 (en) | 2013-10-31 | 2019-07-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder and method for providing a decoded audio information using an error concealment modifying a time domain excitation signal |
CA2927990C (en) | 2013-10-31 | 2018-08-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio bandwidth extension by insertion of temporal pre-shaped noise in frequency domain |
WO2015071173A1 (en) | 2013-11-13 | 2015-05-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoder for encoding an audio signal, audio transmission system and method for determining correction values |
GB2524333A (en) | 2014-03-21 | 2015-09-23 | Nokia Technologies Oy | Audio signal payload |
US9396733B2 (en) | 2014-05-06 | 2016-07-19 | University Of Macau | Reversible audio data hiding |
NO2780522T3 (ru) | 2014-05-15 | 2018-06-09 | ||
EP2963645A1 (en) | 2014-07-01 | 2016-01-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Calculator and method for determining phase correction data for an audio signal |
US9685166B2 (en) | 2014-07-26 | 2017-06-20 | Huawei Technologies Co., Ltd. | Classification between time-domain coding and frequency domain coding |
EP2980796A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and apparatus for processing an audio signal, audio decoder, and audio encoder |
EP2980799A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for processing an audio signal using a harmonic post-filter |
EP2980798A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Harmonicity-dependent controlling of a harmonic filter tool |
EP2988300A1 (en) | 2014-08-18 | 2016-02-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Switching of sampling rates at audio processing devices |
EP3067886A1 (en) | 2015-03-09 | 2016-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal |
US9886963B2 (en) | 2015-04-05 | 2018-02-06 | Qualcomm Incorporated | Encoder selection |
JP6422813B2 (ja) | 2015-04-13 | 2018-11-14 | 日本電信電話株式会社 | 符号化装置、復号装置、これらの方法及びプログラム |
US9978400B2 (en) | 2015-06-11 | 2018-05-22 | Zte Corporation | Method and apparatus for frame loss concealment in transform domain |
US10847170B2 (en) | 2015-06-18 | 2020-11-24 | Qualcomm Incorporated | Device and method for generating a high-band signal from non-linearly processed sub-ranges |
US9837089B2 (en) | 2015-06-18 | 2017-12-05 | Qualcomm Incorporated | High-band signal generation |
KR20170000933A (ko) | 2015-06-25 | 2017-01-04 | 한국전기연구원 | 시간 지연 추정을 이용한 풍력 터빈의 피치 제어 시스템 |
US9830921B2 (en) | 2015-08-17 | 2017-11-28 | Qualcomm Incorporated | High-band target signal control |
US9978381B2 (en) | 2016-02-12 | 2018-05-22 | Qualcomm Incorporated | Encoding of multiple audio signals |
US10283143B2 (en) | 2016-04-08 | 2019-05-07 | Friday Harbor Llc | Estimating pitch of harmonic signals |
CN107945809B (zh) | 2017-05-02 | 2021-11-09 | 大连民族大学 | 一种复调音乐多音高估计方法 |
-
2017
- 2017-11-10 EP EP17201094.4A patent/EP3483880A1/en not_active Withdrawn
-
2018
- 2018-11-06 AU AU2018363699A patent/AU2018363699B2/en active Active
- 2018-11-06 PT PT187966759T patent/PT3707712T/pt unknown
- 2018-11-06 EP EP18796675.9A patent/EP3707712B1/en active Active
- 2018-11-06 WO PCT/EP2018/080339 patent/WO2019091978A1/en unknown
- 2018-11-06 JP JP2020524877A patent/JP6990306B2/ja active Active
- 2018-11-06 MX MX2020004789A patent/MX2020004789A/es unknown
- 2018-11-06 KR KR1020207015836A patent/KR102428419B1/ko active IP Right Grant
- 2018-11-06 RU RU2020118948A patent/RU2740074C1/ru active
- 2018-11-06 BR BR112020009104-9A patent/BR112020009104A2/pt unknown
- 2018-11-06 CN CN201880086260.1A patent/CN111587456B/zh active Active
- 2018-11-06 CA CA3081781A patent/CA3081781C/en active Active
- 2018-11-06 PL PL18796675T patent/PL3707712T3/pl unknown
- 2018-11-06 ES ES18796675T patent/ES2905911T3/es active Active
- 2018-11-06 SG SG11202004204UA patent/SG11202004204UA/en unknown
- 2018-11-07 TW TW107139531A patent/TWI701658B/zh active
- 2018-11-09 AR ARP180103272A patent/AR113480A1/es active IP Right Grant
-
2020
- 2020-05-07 ZA ZA2020/02520A patent/ZA202002520B/en unknown
- 2020-05-07 US US16/868,954 patent/US11127408B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0785631B1 (en) * | 1996-01-16 | 2007-03-21 | Lucent Technologies Inc. | Perceptual noise shaping in the time domain via LPC prediction in the frequency domain |
EP0797324B1 (en) * | 1996-03-22 | 2004-11-24 | Lucent Technologies Inc. | Enhanced joint stereo coding method using temporal envelope shaping |
US20110019829A1 (en) * | 2008-04-04 | 2011-01-27 | Panasonic Corporation | Stereo signal converter, stereo signal reverse converter, and methods for both |
EP2264698A4 (en) * | 2008-04-04 | 2012-06-13 | Panasonic Corp | STEREO SIGNAL CONVERTER, STEREO SIGNAL INVERTER AND METHODS THEREOF |
RU2591661C2 (ru) * | 2009-10-08 | 2016-07-20 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Многорежимный декодировщик аудио сигнала, многорежимный кодировщик аудио сигналов, способы и компьютерные программы с использованием кодирования с линейным предсказанием на основе ограничения шума |
CN104269173B (zh) * | 2014-09-30 | 2018-03-13 | 武汉大学深圳研究院 | 切换模式的音频带宽扩展装置与方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3707712B1 (en) | 2021-12-01 |
US11127408B2 (en) | 2021-09-21 |
KR20200090793A (ko) | 2020-07-29 |
CN111587456A (zh) | 2020-08-25 |
ZA202002520B (en) | 2021-10-27 |
AU2018363699A1 (en) | 2020-05-21 |
AU2018363699B2 (en) | 2020-11-19 |
PT3707712T (pt) | 2022-02-15 |
EP3483880A1 (en) | 2019-05-15 |
CN111587456B (zh) | 2023-08-04 |
PL3707712T3 (pl) | 2022-03-28 |
KR102428419B1 (ko) | 2022-08-02 |
JP2021502597A (ja) | 2021-01-28 |
TW201923754A (zh) | 2019-06-16 |
SG11202004204UA (en) | 2020-06-29 |
MX2020004789A (es) | 2020-08-13 |
AR113480A1 (es) | 2020-05-06 |
BR112020009104A2 (pt) | 2020-10-20 |
WO2019091978A1 (en) | 2019-05-16 |
TWI701658B (zh) | 2020-08-11 |
CA3081781A1 (en) | 2019-05-16 |
US20200265850A1 (en) | 2020-08-20 |
CA3081781C (en) | 2022-10-04 |
JP6990306B2 (ja) | 2022-01-12 |
ES2905911T3 (es) | 2022-04-12 |
EP3707712A1 (en) | 2020-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11854561B2 (en) | Low-frequency emphasis for LPC-based coding in frequency domain | |
JP5203929B2 (ja) | スペクトルエンベロープ表示のベクトル量子化方法及び装置 | |
KR101078625B1 (ko) | 이득 계수 제한을 위한 시스템, 방법 및 장치 | |
US10706865B2 (en) | Apparatus and method for selecting one of a first encoding algorithm and a second encoding algorithm using harmonics reduction | |
CN105264597B (zh) | 感知转换音频编码中的噪声填充 | |
KR101998609B1 (ko) | 혼합형 시간-영역/주파수-영역 코딩 장치, 인코더, 디코더, 혼합형 시간-영역/주파수-영역 코딩 방법, 인코딩 방법 및 디코딩 방법 | |
RU2691243C2 (ru) | Зависящее от гармоничности управление инструментом фильтрации гармоник | |
KR102299193B1 (ko) | 상부 주파수 대역에서 검출된 피크 스펙트럼 영역을 고려하여 오디오 신호를 부호화하는 오디오 인코더, 오디오 신호를 부호화하는 방법, 및 컴퓨터 프로그램 | |
EP2290815A2 (en) | Method and system for reducing effects of noise producing artifacts in a voice codec | |
KR102380487B1 (ko) | 오디오 신호 디코더에서의 개선된 주파수 대역 확장 | |
US11335355B2 (en) | Estimating noise of an audio signal in the log2-domain | |
RU2740074C1 (ru) | Временное формирование шума | |
KR102099293B1 (ko) | 오디오 인코더 및 오디오 신호를 인코딩하는 방법 | |
KR102426050B1 (ko) | 피치 지연 선택 |