RU2676242C1 - Декодер для формирования аудиосигнала с улучшенной частотной характеристикой, способ декодирования, кодер для формирования кодированного сигнала и способ кодирования с использованием компактной дополнительной информации для выбора - Google Patents
Декодер для формирования аудиосигнала с улучшенной частотной характеристикой, способ декодирования, кодер для формирования кодированного сигнала и способ кодирования с использованием компактной дополнительной информации для выбора Download PDFInfo
- Publication number
- RU2676242C1 RU2676242C1 RU2017109527A RU2017109527A RU2676242C1 RU 2676242 C1 RU2676242 C1 RU 2676242C1 RU 2017109527 A RU2017109527 A RU 2017109527A RU 2017109527 A RU2017109527 A RU 2017109527A RU 2676242 C1 RU2676242 C1 RU 2676242C1
- Authority
- RU
- Russia
- Prior art keywords
- signal
- parametric
- selection
- additional information
- information
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims description 53
- 230000015572 biosynthetic process Effects 0.000 title claims description 8
- 230000004044 response Effects 0.000 claims abstract description 52
- 230000003595 spectral effect Effects 0.000 claims abstract description 29
- 230000000694 effects Effects 0.000 claims abstract description 11
- 238000013179 statistical model Methods 0.000 claims description 42
- 238000000605 extraction Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 230000005284 excitation Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims 1
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 3
- 239000000126 substance Substances 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000010076 replication Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000002360 explosive Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010021403 Illusion Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
- G10L19/265—Pre-filtering, e.g. high frequency emphasis prior to encoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/002—Dynamic bit allocation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
- G10L21/0388—Details of processing therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Abstract
Изобретение относится к средствам для кодирования аудиосигнала. Технический результат заключается в повышении эффективности кодирования аудиоданных. Извлекают свойство из базового сигнала. Извлекают дополнительную информацию для выбора, ассоциированную с базовым сигналом. Формируют параметрическое представление для оценки спектрального диапазона аудиосигнала с улучшенной частотной характеристикой, не определяемого базовым сигналом. Причем обеспечивают некоторое количество альтернативных параметрических представлений в ответ на упомянутое свойство, и при этом выбирают одно из альтернативных параметрических представлений в качестве параметрического представления в ответ на дополнительную информацию для выбора. Оценивают аудиосигнал с улучшенной частотной характеристикой с использованием выбранного параметрического представления. При формировании параметрического представления принимают параметрическую информацию улучшения частотной характеристики, ассоциированной с базовым сигналом. 6 н. и 11 з.п. ф-лы, 16 ил.
Description
Настоящее изобретение относится к аудиокодированию и, в частности, к аудиокодированию в контексте улучшения частотной характеристики, т.е. того, что выходной сигнал декодера имеет большее число полос частот по сравнению с кодированным сигналом. Такие процедуры содержат расширение полосы частот, спектральную репликацию или интеллектуальное заполнение пробелов.
Современные системы кодирования голосовых данных способны улучшать широкополосное (WB) цифровое аудиосодержимое, то есть сигналы с частотами до 7-8 кГц, при скоростях передачи данных до минимум 6 кбит/с. Наиболее широко обсуждаемыми примерами являются рекомендации G.722.2 [1] ITU-T, а также более недавно разработанные G.718 [4, 10] и документ Unified Speech and Audio Coding (USAC) [8] MPEG-D. Оба из них, то есть G.722.2, также известный как AMR-WB, и G.718 используют технологии расширения полосы частот (BWE) между 6,4 и 7 кГц, чтобы позволить лежащему в основе базовому кодеру ACELP «сосредоточиться» на более значимых с точки зрения восприятия нижних частотах (в частности тех частотах, при которых система слуха человека является фазочувствительной), и таким образом достигают достаточного качества в особенности при очень низких скоростях передачи данных. В профиле расширенного высокоэффективного усовершенствованного аудиокодирования USAC (xHE-AAC) используется улучшенная репликация спектральной полосы (eSBR) для увеличения ширины полосы частот аудиоданных за пределы ширины полосы частот базового кодера, которая обычно составляет менее 6 кГц при 16 кбит/с. Существующие в настоящее время процессы BWE могут быть в общем разделены на два принципиальных подхода:
- «Слепое» или искусственное BWE, в котором высокочастотные (ВЧ) компоненты восстанавливают только из декодированного низкочастотного (НЧ) сигнала базового кодера, т.е. без необходимости передачи дополнительной информации из кодера. Эта схема используется в AMR-WB и G.718 при 16 кбит/с и ниже, а также в некоторых обратно совместимых средствах последующей обработки BWE, работающих с традиционными телефонными голосовыми данными с узкой полосой частот [5, 9, 12] (пример: Фиг. 15).
- Направленное BWE, которое отличается от «слепого» BWE тем, что некоторые из параметров, используемых для восстановления ВЧ содержимого передаются декодеру в качестве дополнительной информации, а не оцениваются из декодированного базового сигнала. AMR-WB, G.718, xHE-AAC, а также некоторые другие кодеки [2, 7, 11] используют данный подход, но не при очень низких скоростях передачи данных (Фиг. 16).
На Фиг. 15 проиллюстрировано такое «слепое» или искусственное расширение полосы частот, описанное в публикации Bernd Geiser, Peter Jax и Peter Vary:: “ROBUST WIDEBAND ENHANCEMENT OF SPEECH BY COMBINED CODING AND ARTIFICIAL BANDWIDTH EXTENSION”, Proceedings of International Workshop on Acoustic Echo and Noise Control (IWAENC), 2005. Самостоятельный алгоритм расширения полосы частот, проиллюстрированный на Фиг. 15, содержит процедуру 1500 интерполяции, анализирующий фильтр 1600, расширение 1700 сигнала возбуждения, синтезирующий фильтр 1800, процедуру 1510 извлечения свойств, процедуру 1520 оценки огибающей и статистическую модель 1530. После интерполяции узкополосного сигнала в широкополосную частоту выборки вычисляют вектор свойств. Затем посредством предварительно обученной статистической скрытой марковской модели (СММ) определяют оценку для широкополосной спектральной огибающей с точки зрения коэффициентов линейного прогнозирования (LP). Эти широкополосные коэффициенты используются для анализирующей фильтрации интерполированного узкополосного сигнала. После расширения итогового сигнала возбуждения применяют инверсный синтезирующий фильтр. Выбор расширения сигнала возбуждения, который не изменяет узкополосный сигнал, является прозрачным по отношению к компонентам узкополосного сигнала.
На Фиг. 16 проиллюстрировано расширение полосы частот с дополнительной информацией, описанное в вышеупомянутой публикации, причем расширение полосы частот содержит телефонный фильтр 1620 полосы пропускания, блок 1610 извлечения дополнительной информации, (комбинированный) кодер 1630, декодер 1640 и блок 1650 расширения полосы частот. Эта система для широкополосного улучшения голосового сигнала полосы ошибок посредством комбинированного кодирования и расширения полосы частот проиллюстрирована на Фиг. 16. В передающем терминале анализируется спектральная огибающая полосы высоких частот широкополосного входного сигнала и определяется дополнительная информация. Итоговое сообщение m кодируется либо отдельно, либо совместно с узкополосным голосовым сигналом. В приемнике дополнительная информация для декодера используется для поддержки оценки огибающей широкополосного сигнала в алгоритме расширения полосы частот. Сообщение m получают посредством нескольких процедур. Пространственное представление частот от 3,4 кГц до 7 кГц извлекают из широкополосного сигнала, доступного только на передающей стороне.
Эту огибающую поддиапазона вычисляют путем избирательного линейного прогнозирования, т.е. вычисления спектра мощности широкополосного сигнала, за которым следует обратное дискретное преобразование Фурье (IDFT) компонентов его верхней полосы частот и последующий рекурсивный алгоритм Левинсона-Дарбина 8 порядка. Итоговые коэффициенты LP для поддиапазона преобразуют в кепстральную область и наконец квантуют посредством векторного квантователя с помощью кодовой таблицы размера M = 2N. Для длины кадра в 20 мс это приводит к скорости передачи данных дополнительной информации в 300 бит/с. Комбинированный оценочный подход расширяет вычисление апостериорных вероятностей и повторно вводит зависимости от свойства узкополосного сигнала. Таким образом получается улучшенная форма маскировки ошибок, в которой для оценки ее параметров используется более одного источника информации.
При низких скоростях передачи данных, как правило ниже 10 кбит/с, в WB кодеках может наблюдаться определенная дилемма в отношении качества. С одной стороны, такие скорости уже являются слишком низкими, чтобы оправдать передачу даже умеренных объемов данных BWE, исключая обычные системы направленного BWE с 1 кбит/с или более дополнительной информации. С другой стороны, оказывается, что допустимое «слепое» BWE звучит значительно хуже в случае по меньшей мере некоторых видов голосового или музыкального материала вследствие невозможности надлежащего прогнозирования параметров из базового сигнала. Это в особенности верно для некоторых звуков речи, таких как фрикативные согласные с низкой корреляцией между ВЧ и НЧ. Поэтому желательно уменьшить скорость передачи дополнительной информации для схемы направленного BWE до уровня значительно менее 1 кбит/с, что позволило бы использовать данную схему даже при кодировании с очень низкой скоростью передачи данных.
В последние годы документированы многоступенчатые подходы к BWE [1-10]. Все они в общем случае являются либо полностью «слепыми», либо полностью направленными в определенной рабочей точке, безотносительно к моментальным характеристикам входного сигнала. Кроме того, многие системы «слепого» BWE [1, 3, 4, 5, 9, 10] оптимизированы в особенности для голосовых сигналов, а не для музыки, и поэтому могут обеспечивать неудовлетворительные результаты в случае с музыкой. Наконец, большинство реализаций BWE являются относительно сложными в плане вычислений, поскольку используют преобразования Фурье, вычисления фильтров коэффициентов LP (LPC) или векторное квантование дополнительной информации (векторное кодирование с прогнозированием в USAC MPEG-D [8]). Это может быть недостатком при внедрении новой технологии кодирования на рынках мобильных телекоммуникаций при том, что большинство мобильных устройств обеспечивает очень ограниченную вычислительную мощность и емкость аккумуляторных батарей.
Подход, в котором «слепое» BWE расширено за счет малого объема дополнительной информации, представлен в [12] и проиллюстрирован на Фиг. 16. Однако дополнительная информация “m” ограничивается передачей спектральной огибающей диапазона частот с расширенной полосой частот.
Другая проблема процедуры, проиллюстрированной на Фиг. 16, заключается в очень сложном способе оценки огибающей с использованием, с одной стороны, низкочастотного свойства и, с другой стороны, дополнительной информации по огибающей. Оба вида входных данных, т.е. низкочастотное свойство и дополнительная высокочастотная огибающая, влияют на статистическую модель. Это приводит к сложной реализации на стороне декодера, что особенно проблематично для мобильных устройств ввиду повышенного потребления мощности. Кроме того, статистическую модель даже еще сложнее обновить ввиду того, что на нее влияют не только дополнительные данные высокочастотной огибающей.
Задача настоящего изобретения состоит в создании усовершенствованной концепции кодирования/декодирования аудиоданных.
Данная задача решается декодером по пункту 1 формулы изобретения, кодером по пункту 15 формулы изобретения, способом декодирования по пункту 20 формулы изобретения, способом кодирования по пункту 21 формулы изобретения, компьютерной программой по пункту 22 формулы изобретения или кодированным сигналом по пункту 23 формулы изобретения.
Настоящее изобретение основано на наблюдении о том, что для еще большего уменьшения объема дополнительной информации и, кроме того, для того, чтобы сделать весь кодер/декодер не чрезмерно сложным, параметрическое кодирование высокочастотной части согласно уровню техники должно быть заменено или по меньшей мере улучшено дополнительной информацией для выбора, фактически относящейся к статистической модели, используемой вместе с блоком извлечения свойств в декодере с улучшением частотной характеристики. Ввиду того, что извлечение свойств в сочетании со статистической моделью обеспечивает альтернативные параметрические представления, которые имеют неопределенности конкретно для определенных частей голосовых данных, было обнаружено, что фактическое управление статистической моделью в генераторе параметров на стороне декодера в отношении того, какая из имеющихся альтернатив будет наилучшей, превосходит фактическое параметрическое кодирование определенной характеристики сигнала конкретно в применениях с очень низкой скоростью передачи данных, при которых дополнительная информация для расширения полосы частот является ограниченной.
Таким образом улучшается «слепое» BWE, которое использует модель источника для кодированного сигнала, путем расширения с небольшим объемом добавленной дополнительной информации, в частности если сам сигнал не допускает реконструкцию высокочастотного (ВЧ) содержимого на приемлемом уровне воспринимаемого качества. Таким образом, данная процедура объединяет параметры модели источника, которые формируются из кодированного содержимого от базового кодера, посредством дополнительной информации. Это полезно, в частности, для повышения воспринимаемого качества звуков, которые трудно кодировать в такой модели источника. Такие звуки обычно демонстрируют низкую корреляцию между ВЧ и НЧ содержимым.
Настоящее изобретение направлено на решение проблем традиционного BWE при кодировании аудиосигнала с очень низкой скоростью передачи данных и на устранение недостатков существующих, известных из уровня техники технологий BWE. Решение вышеописанной дилеммы в отношении качества обеспечено путем предложения в минимальной степени направленного BWE в качестве адаптируемого по отношению к сигналу сочетания «слепого» и направленного BWE. BWE согласно изобретению добавляет к сигналу некоторый небольшой объем дополнительной информации, который позволяет дополнительно различать кодированные сигналы, которые в ином случае являются проблематичными. При кодировании голосовых данных это применимо, в частности, к сибилянтам или фрикативным звукам.
Было обнаружено, что в WB кодеках спектральная огибающая ВЧ области выше области базового кодера представляет наиболее важные данные, необходимые для выполнения BWE с приемлемым воспринимаемым качеством. Все прочие параметры, такие как спектральная огибающая тонкой структуры и временная огибающая, зачастую могут довольно точно выводиться из декодированного базового сигнала или обладают невысокой важностью в плане восприятия. Однако для фрикативных звуков часто отсутствует надлежащее воспроизведение в сигнале BWE. Таким образом, дополнительная информация может включать в себя добавочную информацию, различающую различные сибилянты или фрикативные звуки, такие как «ф», «с», «ч» и «ш».
Другая проблематичная акустическая информация для расширения полосы частот возникает, когда встречаются взрывные звуки или аффрикаты, такие как «т» или «ч».
Настоящее изобретение позволяет использовать лишь эту дополнительную информацию и фактически передавать эту дополнительную информацию, когда это необходимо, и не передавать эту дополнительную информацию, когда в статистической модели не ожидается неопределенность.
Кроме того, в предпочтительных вариантах выполнения настоящего изобретения используется лишь малый объем дополнительной информации, такой как три или менее бита на кадр, комбинированное обнаружение голосовой активности/обнаружение голосовых/неголосовых данных для управления блоком оценки сигнала, различные статистические модели, определяемые классификатором сигнала или альтернативными параметрическими представлениями, относящимися не только к оценке огибающей, но также относящимися к другим инструментам расширения полосы частот или улучшения параметров расширения полосы частот или добавления новых параметров к уже имеющимся и фактически передаваемым параметрам расширения полосы частот.
Предпочтительные варианты выполнения настоящего изобретения описаны ниже в контексте сопровождающих чертежей и также представлены в зависимых пунктах формулы изобретения.
Фиг. 1 иллюстрирует декодер для формирования аудиосигнала с улучшенной частотной характеристикой;
Фиг. 2 иллюстрирует предпочтительную реализацию в контексте блока извлечения дополнительной информации по Фиг. 1;
Фиг. 3 иллюстрирует таблицу, соотносящую число битов дополнительной информации для выбора с числом альтернативных параметрических представлений;
Фиг. 4 иллюстрирует предпочтительную процедуру, выполняемую в генераторе параметров;
Фиг. 5 иллюстрирует предпочтительную реализацию блока оценки сигнала, управляемого детектором голосовой активности или детектором голосовых/неголосовых данных;
Фиг. 6 иллюстрирует предпочтительную реализацию генератора параметров, управляемого классификатором сигнала;
Фиг. 7 иллюстрирует пример результата для статистической модели и соответствующую дополнительную информацию для выбора;
Фиг. 8 иллюстрирует примерный кодированный сигнал, содержащий кодированный базовый сигнал и соответствующую дополнительную информацию;
Фиг. 9 иллюстрирует схему обработки сигнала расширения полосы частот для улучшения оценки огибающей;
Фиг. 10 иллюстрирует другую реализацию декодера в контексте процедур репликации спектральной полосы;
Фиг. 11 иллюстрирует другой вариант выполнения декодера в контексте дополнительно передаваемой дополнительной информации;
Фиг. 12 иллюстрирует вариант выполнения кодера для формирования кодированного сигнала;
Фиг. 13 иллюстрирует реализацию генератора дополнительной информации для выбора по Фиг. 12;
Фиг. 14 иллюстрирует другую реализацию генератора дополнительной информации для выбора по Фиг. 12;
Фиг. 15 иллюстрирует самостоятельный алгоритм расширения полосы частот из уровня техники; и
Фиг. 16 иллюстрирует общий вид передающей системы с добавочным сообщением.
Фиг. 1 иллюстрирует декодер для формирования аудиосигнала 120 с улучшенной частотной характеристикой. Декодер содержит блок 104 извлечения свойств для извлечения (по меньшей мере) свойства из базового сигнала 100. В общем случае блок извлечения свойств может извлекать одно свойство или множество свойств, т.е. два или более свойств, и даже предпочтительно, чтобы блок извлечения свойств извлекал множество свойств. Это применимо не только к блоку извлечения свойств в декодере, но и к блоку извлечения свойств в кодере.
Кроме того, предусмотрен блок 110 извлечения дополнительной информации для извлечения дополнительной информации 114 для выбора, ассоциированной с базовым сигналом 100. Кроме того, генератор 108 параметров соединен с блоком 104 извлечения свойств посредством линии 112 передачи свойств и с блоком 110 извлечения дополнительной информации посредством дополнительной информации 114 для выбора. Генератор 108 параметров выполнен с возможностью формирования параметрического представления для оценки спектрального диапазона аудиосигнала с улучшенной частотной характеристикой, не определяемого базовым сигналом. Генератор 108 параметров выполнен с возможностью обеспечения некоторого числа альтернативных параметрических представлений в ответ на свойства 112 и выбора одного из альтернативных параметрических представлений в качестве упомянутого параметрического представления в ответ на дополнительную информацию 114 для выбора. Кроме того, декодер содержит блок 118 оценки сигнала для оценки аудиосигнала с улучшенной частотной характеристикой с использованием параметрического представления, выбранного блоком выбора, т.е. параметрического представления 116.
В частности, блок 104 извлечения свойств может быть реализован с возможностью извлечения свойств из декодированного базового сигнала, как показано на Фиг. 2. Тогда интерфейс 210 ввода выполнен с возможностью приема кодированного входного сигнала 200. Этот кодированный входной сигнал 200 вводится в интерфейс 210, и затем интерфейс 210 отделяет дополнительную информацию для выбора от кодированного базового сигнала. Таким образом, интерфейс 210 ввода действует как блок 110 извлечения дополнительной информации по Фиг. 1. Кодированный базовый сигнал 201, выдаваемый интерфейсом 210 ввода, затем вводится в базовый декодер 124 для обеспечения декодированного базового сигнала, который может быть базовым сигналом 100.
Однако, в качестве альтернативы, блок извлечения свойств также может действовать или извлекать свойство из кодированного базового сигнала. Обычно кодированный базовый сигнал содержит представление коэффициентов масштабирования для полос частот или любое другое представление аудиоинформации. В зависимости от вида извлечения свойств кодированное представление аудиосигнала представляет декодированный базовый сигнал и поэтому свойства могут быть извлечены. В качестве альтернативы или дополнения, свойство может быть извлечено не только из полностью декодированного базового сигнала, но также из частично декодированного базового сигнала. При кодировании в частотной области кодированный сигнал представляет представление в частотной области, содержащее последовательность спектральных кадров. Таким образом, кодированный базовый сигнал может быть лишь частично декодирован для получения декодированного представления последовательности спектральных кадров перед выполнением собственно спектрально-временного преобразования. Таким образом, блок 104 извлечения свойств может извлекать свойства либо из кодированного базового сигнала, либо из частично декодированного базового сигнала или полностью декодированного базового сигнала. Блок 104 извлечения свойств может быть реализован по отношению к извлекаемым им свойствам так, как это известно в данной области техники и, например, блок извлечения свойств может быть реализован так, как это делается в технологиях создания «цифровых отпечатков» аудиосигналов или идентификации (ID) аудиосигналов.
Предпочтительно дополнительная информация 114 для выбора содержит число N битов на кадр базового сигнала. Фиг. 3. иллюстрирует таблицу для различных альтернатив. Число битов для дополнительной информации для выбора либо является фиксированным, либо выбирается в зависимости от числа альтернативных параметрических представлений, обеспечиваемых статистической моделью в ответ на извлеченное свойство. Один бит дополнительной информации для выбора достаточен, когда только два альтернативных параметрических представления обеспечены статистической моделью в ответ на упомянутое свойство. Когда статистическая модель обеспечивает максимально четыре альтернативы, для дополнительной информации для выбора необходимы два бита. Три бита дополнительной информации для выбора допускают максимально восемь одновременных альтернативных параметрических представлений. Четыре бита дополнительной информации для выбора фактически допускают 16 альтернативных параметрических представлений, и пять битов дополнительной информации для выбора допускают 32 одновременных альтернативных параметрических представления. Предпочтительно использовать три или менее трех битов дополнительной информации для выбора на кадр, что приводит к скорости передачи дополнительной информации в 150 битов в секунду, когда секунда разделена на 50 кадров. Эта скорость передачи дополнительной информации может даже быть снижена ввиду того, что дополнительная информация для выбора необходима только тогда, когда статистическая модель фактически обеспечивает альтернативные параметрические представления. Таким образом, когда статистическая модель обеспечивает только одну альтернативу для свойства, бит дополнительной информации для выбора вовсе не нужен. С другой стороны, когда статистическая модель обеспечивает только четыре альтернативных параметрических представления, необходимы только два бита, а не три бита дополнительной информации для выбора. Таким образом, в типичных случаях скорость передачи добавочной дополнительной информации может быть снижена даже менее 150 битов в секунду.
Кроме того генератор параметров выполнен с возможностью обеспечения не более чем количества альтернативных параметрических представлений, равного 2N. С другой стороны, когда генератор 108 параметров обеспечивает, например, только пять альтернативных параметрических представлений, тем не менее требуется три бита дополнительной информации для выбора.
Фиг. 4 иллюстрирует предпочтительную реализацию генератора 108 параметров. В частности, генератор 108 параметров выполнен таким образом, что свойство 112 по Фиг. 1 вводится в статистическую модель, как обозначено на этапе 400. Затем, как обозначено на этапе 402 модель обеспечивает множество альтернативных параметрических представлений.
Кроме того, генератор 108 параметров выполнен с возможностью получения дополнительной информации 114 для выбора из блока извлечения дополнительной информации, как обозначено на этапе 404. Затем на этапе 406 выбирают конкретное альтернативное параметрическое представление с использованием дополнительной информации 114 для выбора. Наконец на этапе 408 выбранное альтернативное параметрическое представление выдают в блок 118 оценки сигнала.
Предпочтительно генератор 108 параметров выполнен с возможностью использования при выборе одного из альтернативных параметрических представлений предварительно заданного порядка альтернативных параметрических представлений или, в качестве альтернативы, порядка альтернатив по сигналу кодера. Для этой цели обратимся к Фиг. 7. Фиг. 7 иллюстрирует результат обеспечения статистической моделью четырех альтернативных параметрических представлений 702, 704, 706, 708. Также проиллюстрирован соответствующий код дополнительной информации для выбора. Альтернатива 702 соответствует битовой структуре 712. Альтернатива 704 соответствует битовой структуре 714. Альтернатива 706 соответствует битовой структуре 716, и альтернатива 708 соответствует битовой структуре 718. Таким образом, когда генератор 108 параметров или, например, этап 402 получает четыре альтернативы 702-708 в порядке, проиллюстрированном на Фиг. 7, дополнительная информация для выбора, имеющая битовую структуру 716, будет уникальным образом идентифицировать альтернативное параметрическое представление 3 (ссылочная позиция 706), и тогда генератор 108 параметров выберет эту третью альтернативу. Однако когда битовая структура дополнительной информации для выбора является битовой структурой 712, будет выбрана первая альтернатива 702.
Таким образом, предварительно заданный порядок альтернативных параметрических представлений может быть порядком, в котором статистическая модель фактически выдает альтернативы в ответ на извлеченное свойство. В качестве альтернативы, если отдельная альтернатива имеет различные ассоциированные вероятности, которые, однако, весьма близки друг к другу, предварительно заданный порядок может состоять в том, что параметрическое представление с наибольшей вероятностью следует первым и так далее. В качестве альтернативы, порядок может сигнализироваться, например, одним битом, но для того, чтобы сэкономить даже этот бит, предпочтительным является предварительно заданный порядок.
Далее обратимся к Фиг. 9-11.
В варианте выполнения по Фиг. 9 изобретение в особенности приспособлено для голосовых сигналов, поскольку для извлечения параметров используется специализированная голосовая модель источника. Однако изобретение не ограничено кодированием голосовых данных. В различных вариантах выполнения могут использоваться также и другие модели источника.
В частности, дополнительная информация 114 для выбора также называется «информацией о фрикативных звуках», поскольку такая дополнительная информация для выбора различает проблематичные сибилянты и фрикативные звуки, такие как «ф», «с» или «ш». Таким образом, дополнительная информация для выбора обеспечивает ясное определение одной из трех проблематичных альтернатив, которые, например, обеспечены статистической моделью 904 в процессе оценки 902 огибающей, причем оба действия выполняются в генераторе 108 параметров. Итогом оценки огибающей является параметрическое представление спектральной огибающей для спектральных участков, не включенных в базовый сигнал.
Таким образом, блок 104 может соответствовать блоку 1510 по Фиг. 15. Кроме того, блок 1530 по Фиг. 15 может соответствовать статистической модели 904 по Фиг. 9.
Кроме того, предпочтительно, чтобы блок 118 оценки сигнала содержал анализирующий фильтр 910, блок 912 расширения сигнала возбуждения и синтезирующий фильтр 914. Таким образом, блоки 910, 912, 914 могут соответствовать блокам 1600, 1700 и 1800 по Фиг. 15. В частности, анализирующий фильтр 910 представляет собой анализирующий фильтр LPC. Блок 902 оценки огибающей управляет коэффициентами фильтра для анализирующего фильтра 910 таким образом, что результат блока 910 представляет собой сигнал возбуждения фильтра. Этот сигнал возбуждения фильтра расширен по отношению к частоте для получения сигнала возбуждения на выходе блока 912, который не только имеет частотный диапазон декодера 124 для выходного сигнала, но также имеет частотный или спектральный диапазон, не определяемый базовым кодером и/или превышающий спектральный диапазон базового сигнала. Таким образом, аудиосигнал 909 на выходе декодера подвергается повышающей дискретизации и интерполируется интерполятором 900 и затем интерполированный сигнал подвергается обработке в блоке 118 оценки сигнала. Таким образом, интерполятор 900 по Фиг. 9 может соответствовать интерполятору 1500 по Фиг. 15. Однако предпочтительно в отличие от Фиг. 15 извлечение 104 свойств выполняется с использованием не интерполированного сигнала, а неинтерполированного сигнала, как показано на Фиг. 15. Это полезно по той причине, что блок 104 извлечения свойств работает более эффективно ввиду того, что неинтерполированный аудиосигнал 909 имеет меньшее число выборок по сравнению с определенным временным участком аудиосигнала, сравниваемого с подвергнутым повышающей дискретизации и интерполированным сигналом на выходе блока 900.
Фиг. 10 иллюстрирует другой вариант выполнения настоящего изобретения. В отличие от Фиг. 9, Фиг. 10 содержит статистическую модель 904, которая не только обеспечивает оценку огибающей, как на Фиг. 9, но также обеспечивает дополнительные параметрические представления, содержащие информацию для формирования отсутствующих тонов 1080 или информацию для инверсной фильтрации 1040 или информацию для маскирующего шума (шумовой завесы) 1020, который необходимо добавить. Блоки 1020, 1040, процедуры формирования 1060 спектральной огибающей и отсутствующих тонов 1080 описаны в стандарте MPEG-4 в контексте HE-AAC (высокоэффективного усовершенствованного аудиокодирования).
Таким образом, другие сигналы, отличные от голосовых данных, также могут кодироваться, как проиллюстрировано на Фиг. 10. В таком случае может быть не достаточно кодировать только спектральную огибающую 1060, но также и другую дополнительную информацию, такую как тональность (1040), уровень шума (1020) или отсутствующие синусоиды (1080), как это делается в технологии репликации спектральной полосы (SBR), проиллюстрированной в [6].
Другой вариант выполнения проиллюстрирован на Фиг. 11, на которой дополнительная информация 114, т.е. дополнительная информация для выбора, используется в дополнение к дополнительной информации SBR, проиллюстрированной в блоке 1100. Таким образом, дополнительная информация для выбора, содержащая, например, информацию относительно обнаруженных звуков речи, добавляется к уже имеющейся дополнительной информации 1100 SBR. Это помогает более точно регенерировать высокочастотное содержимое для звуков голоса, таких как сибилянты, а также фрикативные, взрывные, или таких как гласные звуки. Таким образом, процедура, проиллюстрированная на Фиг. 11, имеет преимущество, состоящее в том, что дополнительно передаваемая дополнительная информация 114 для выбора поддерживает классификацию (фонем) на стороне декодера для обеспечения адаптации параметров SBR или BWE (расширения полосы частот) на стороне декодера. Таким образом, в отличие от Фиг. 10 вариант выполнения по Фиг. 11 обеспечивает уже имеющуюся дополнительную информацию SBR в качестве дополнения к дополнительной информации для выбора.
Фиг. 8 иллюстрирует примерное представление кодированного входного сигнала. Кодированный входной сигнал состоит из последовательных кадров 800, 806, 812. Каждый кадр имеет кодированный базовый сигнал. В качестве примера, кадр 800 имеет голосовые данные в качестве кодированного базового сигнала. Кадр 806 имеет музыку в качестве кодированного базового сигнала, а кадр 812 опять же имеет голосовые данные в качестве кодированного базового сигнала. В качестве примера, кадр 800 имеет в качестве дополнительной информации только дополнительную информацию для выбора, но не имеет дополнительной информации SBR. Таким образом, кадр 800 соответствует Фиг. 9 или Фиг. 10. В качестве примера, кадр 806 содержит информацию SBR, но не содержит какой-либо дополнительной информации для выбора. Кроме того, кадр 812 содержит кодированный голосовой сигнал и, в отличие от кадра 800, кадр 812 не содержит какую-либо дополнительную информацию для выбора. Это вызвано тем, что дополнительная информация для выбора не нужна, поскольку на стороне кодера не обнаружены какие-либо неопределенности в процессе извлечения свойств/статистической модели.
Далее описана Фиг. 5. Применяется детектор голосовой активности или детектор 500 голосовых/неголосовых данных, работающий с базовым сигналом для определения того, следует ли применять технологию улучшения полосы частот или частотной характеристики согласно изобретению или другую технологию расширения полосы частот. Таким образом, когда детектор голосовой активности или детектор голосовых/неголосовых данных обнаруживает голос или речь, используется первая технология расширения полосы частот BWEXT.1, проиллюстрированная позицией 511, которая работает, например, как описано в отношении Фиг. 1, 9, 10, 11. Таким образом, переключатели 502, 504 устанавливаются так, что принимаются параметры от генератора параметров со входа 512 и переключатель 504 соединяет эти параметры с блоком 511. Однако когда детектор 500 обнаруживает ситуацию, которая не указывает на какие-либо голосовые сигналы, но указывает, например, на музыкальные сигналы, параметры 514 расширения полосы частот из битового потока вводятся предпочтительно в процедуру 513 другой технологии расширения полосы частот. Таким образом детектор 500 обнаруживает то, следует ли применять технологию 511 расширения полосы частот согласно изобретению. Для неголосовых сигналов кодер может переключаться на другие технологии расширения полосы частот, проиллюстрированные блоком 513, такие как те, что упомянуты [6, 8]. Таким образом, блок 118 оценки сигнала по Фиг. 5 выполнен с возможностью переключения на другую процедуру расширения полосы частот и/или использования других параметров, извлекаемых из кодированного сигнала, когда детектор 500 обнаруживает неголосовую активность или неголосовой сигнал. Для этой другой технологии 513 расширения полосы частот дополнительная информация для выбора предпочтительно отсутствует в битовом потоке и также не используется, что обозначено на Фиг. 5 путем переключения переключателя 502 на вход 514.
Фиг. 6 иллюстрирует другую реализацию генератора 108 параметров. Генератор 108 параметров предпочтительно имеет множество статистических моделей, таких как первая статистическая модель 600 и вторая статистическая модель 602. Кроме того, предусмотрен блок 604 выбора, управляемый дополнительной информацией для выбора для обеспечения правильного альтернативного параметрического представления. То, какая статистическая модель является активной, регулируется дополнительным классификатором 606 сигнала, принимающим на входе базовый сигнал, т.е. тот же сигнал, что вводится в блок 104 извлечения свойств. Таким образом, статистическая модель по Фиг. 10 или по любым другим чертежам может быть различной в зависимости от кодированного содержимого. Для голосовых данных применяется статистическая модель, которая представляет модель источника для формирования голосовых данных, в то время как для других сигналов, таких как музыкальные сигналы, согласно, например, классификации посредством классификатора 606 сигнала, используется другая модель, которая обучена на основании большого набора музыкальных данных. Кроме того, различные статистические модели полезны для различных языков и т.д.
Как описано выше, Фиг. 7 иллюстрирует множество альтернатив, получаемых статистической моделью, такой как статистическая модель 600. Таким образом, выходные данные блока 600 существуют, например, для различных альтернатив, как показано параллельной линией 605. Таким же образом вторая статистическая модель 602 может также выдавать множество альтернатив, таких как альтернативы, показанные линией 606. В зависимости от конкретной статистической модели предпочтительно, чтобы выводились только те альтернативы, которые обладают довольно высокой вероятностью по отношению к блоку 104 извлечения свойств. Таким образом, в ответ на упомянутое свойство статистическая модель обеспечивает множество альтернативных параметрических представлений, причем каждое альтернативное параметрическое представление обладает вероятностью, идентичной вероятностям других различных альтернативных параметрических представлений или отличной от вероятностей других параметрических представлений менее чем на 10 %. Таким образом, в варианте выполнения выдается только параметрическое представление, обладающее наибольшей вероятностью, и некоторое число других альтернативных параметрических представлений, которые обладают вероятностью, лишь на 10% меньшей, чем вероятность наиболее подходящей альтернативы.
Фиг. 12 иллюстрирует кодер для формирования кодированного сигнала 1212. Кодер содержит базовый кодер 1200 для кодирования исходного сигнала 1206 для получения кодированного базового аудиосигнала 1208, имеющего информацию о меньшем числе полос частот по сравнению с исходным сигналом 1206. Кроме того, предусмотрен генератор 1202 дополнительной информации для выбора для формирования дополнительной информации 1210 для выбора (SSI - дополнительная информация для выбора). Дополнительная информация 1210 для выбора указывает на определенное альтернативное параметрическое представление, обеспеченное статистической моделью в ответ на свойство, извлеченное из исходного сигнала 1206 или из кодированного аудиосигнала 1208 или из декодированной версии кодированного аудиосигнала. Кроме того, кодер содержит интерфейс 1204 вывода для вывода кодированного сигнала 1212. Кодированный сигнал 1212 содержит кодированный аудиосигнал 1208 и дополнительную информацию 1210 для выбора. Предпочтительно генератор 1202 дополнительной информации для выбора реализован как показано на Фиг. 13. Для этой цели генератор 1202 дополнительной информации для выбора содержит базовый декодер 1300. Предусмотрен блок 1302 извлечения свойств, который работает с декодированным базовым сигналом, выдаваемым блоком 1300. Свойство вводится в процессор 1304 статистических моделей для формирования некоторого числа альтернативных параметрических представлений для оценки спектрального диапазона сигнала с улучшенной частотной характеристикой, не определяемого декодированным базовым сигналом, выдаваемым блоком 1300. Все эти альтернативные параметрические представления 1305 вводятся в блок 1306 оценки сигнала для оценки аудиосигнала 1307 с улучшенной частотной характеристикой. Затем эти оцениваемые аудиосигналы 1307 с улучшенной частотной характеристикой вводятся в блок 1308 сравнения для сравнения аудиосигналов 1307 с улучшенной частотной характеристикой с исходным сигналом по Фиг. 12. Генератор 1202 дополнительной информации для выбора дополнительно выполнен с возможностью установления дополнительной информации 1210 для выбора таким образом, что дополнительная информация для выбора уникальным образом идентифицирует альтернативное параметрическое представление, обеспечивающее аудиосигнал с улучшенной частотной характеристикой, который наилучшим образом соответствует исходному сигналу согласно критерию оптимизации. Критерий оптимизации может представлять собой критерий, основанный на MMSE (минимальной среднеквадратической ошибке), критерий, минимизирующий разность между выборками, или предпочтительно психоакустический критерий, минимизирующий воспринимаемое искажение или любой другой критерий оптимизации, известный специалистам в данной области техники.
В то время как Фиг. 13 иллюстрирует процедуру с замкнутым циклом или процедуру «анализа через синтез», Фиг. 14 иллюстрирует альтернативную реализацию генератора 1202 дополнительной информации для выбора, в большей степени подобную процедуре с незамкнутым циклом. В варианте выполнения по Фиг. 14 исходный сигнал 1206 содержит ассоциированную метаинформацию для генератора 1202 дополнительной информации для выбора, описывающую последовательность акустической информации (например, аннотаций) для последовательности выборок исходного аудиосигнала. В этом варианте выполнения генератор 1202 дополнительной информации для выбора содержит блок 1400 извлечения метаданных для извлечения последовательности метаинформации и, кроме того, блок интерпретации метаданных, обычно обладающий информацией о статистической модели, используемой на стороне декодера для интерпретации последовательности метаинформации в последовательность дополнительной информации 1210 для выбора, ассоциированной с исходным аудиосигналом. Метаданные, извлеченные блоком 1400 извлечения метаданных, отбрасываются в кодере и не передаются в кодированном сигнале 1212. Вместо этого в кодированном сигнале передается дополнительная информация 1210 для выбора вместе с кодированным аудиосигналом 1208, сформированным базовым кодером, которая имеет другое частотное содержимое и обычно меньшее частотное содержимое по сравнению с формируемым в итоге декодированным сигналом или по сравнению с исходным сигналом 1206.
Дополнительная информация 1210 для выбора, сформированная генератором 1202 дополнительной информации для выбора, может иметь любую из характеристик, описанных в контексте предыдущих чертежей.
Хотя настоящее изобретение было описано в контексте блок-схем, в которых блоки представляют фактические или логические компоненты аппаратного обеспечения, настоящее изобретение может также быть реализовано посредством способа, реализуемого компьютером. В последнем случае блоки представляют соответствующие этапы способа, причем эти этапы обозначают функции, выполняемые соответствующими логическими или физическими блоками аппаратного обеспечения.
Хотя некоторые аспекты описаны в контексте устройства, ясно, что эти аспекты также представляют собой описание соответствующего способа, причем блок или устройство соответствуют этапу способа или признаку этапа способа. Аналогичным образом, аспекты, описанные в контексте этапа способа, также представляют собой описание соответствующего блока или элемента или признака соответствующего устройства. Некоторые или все этапы способа могут быть выполнены посредством (или с использованием) устройства аппаратного обеспечения, такого как, например, микропроцессор, программируемый компьютер или электронная схема. В некоторых вариантах выполнения один или более из некоторых наиболее важных этапов способа могут быть выполнены посредством такого устройства.
Передаваемый или кодированный сигнал согласно изобретению может быть сохранен на цифровом носителе данных или может быть передан в среде передачи, такой как беспроводная среда передачи или проводная среда передачи, такая как Интернет.
В зависимости от различных требований к реализации варианты выполнения изобретения могут быть реализованы в аппаратном или программном обеспечении. Реализация может быть осуществлена с использованием цифрового носителя данных, например гибкого магнитного диска, DVD, диска Blu-Ray, CD, ROM, PROM и EPROM, EEPROM или FLASH-памяти, на которых сохранены считываемые электронными средствами управляющие сигналы, которые взаимодействуют (или способны взаимодействовать) с программируемой компьютерной системой таким образом, что выполняется соответствующий способ. Таким образом, цифровой носитель данных может быть машиночитаемым.
Некоторые варианты выполнения согласно изобретению содержат носитель данных, имеющий считываемые электронными средствами управляющие сигналы, которые способны взаимодействовать с программируемой компьютерной системой таким образом, что выполняется один из способов, описанных в настоящем документе.
В общем случае, варианты выполнения настоящего изобретения могут быть реализованы в виде компьютерного программного продукта с программным кодом, причем программный код выполнен с возможностью выполнения одного из способов, когда компьютерная программа выполняется на компьютере. Программный код может, например, быть сохранен на машиночитаемом носителе.
Другие варианты выполнения содержат компьютерную программу для выполнения одного из способов, описанных в настоящем документе, сохраненную на машиночитаемом носителе.
Другими словами, вариант выполнения способа согласно изобретению, таким образом, представляет собой компьютерную программу, имеющую программный код для выполнения одного из способов, описанных в настоящем документе, когда компьютерная программа выполняется на компьютере.
Другой вариант выполнения способа согласно изобретению, таким образом, представляет собой носитель данных (или постоянный носитель данных, такой как цифровой носитель данных или машиночитаемый носитель), содержащий записанную на нем компьютерную программу для выполнения одного из способов, описанных в настоящем документе. Носитель данных, цифровой носитель данных или носитель записи обычно являются материальными и/или постоянными.
Другой вариант выполнения способа согласно изобретению, таким образом, представляет собой поток данных или последовательность сигналов, представляющие компьютерную программу для выполнения одного из способов, описанных в настоящем документе. Поток данных или последовательность сигналов могут, например, быть выполнены с возможностью их передачи посредством соединения для передачи данных, например через Интернет.
Другой вариант выполнения содержит средство обработки, например компьютер или программируемое логическое устройство, конфигурированное или выполненное с возможностью выполнения одного из способов, описанных в настоящем документе.
Другой вариант выполнения содержит компьютер, на котором установлена компьютерная программа для выполнения одного из способов, описанных в настоящем документе.
Другой вариант выполнения согласно изобретению содержит устройство или систему, выполненные с возможностью передачи (например, электронными или оптическими средствами) компьютерной программы для выполнения одного из способов, описанных в настоящем документе, в приемник. Приемник может быть, например, компьютером, мобильным устройством, запоминающим устройством или тому подобным. Устройство или система могут содержать, например, файловый сервер для передачи компьютерной программы в приемник.
В некоторых вариантах выполнения может использоваться программируемое логическое устройство (например, программируемая вентильная матрица) для выполнения некоторых или всех функций способов, описанных в настоящем документе. В некоторых вариантах выполнения программируемая вентильная матрица может взаимодействовать с микропроцессором для выполнения одного из способов, описанных в настоящем документе. В общем случае способы предпочтительно выполняются любым аппаратным устройством.
Вышеописанные варианты выполнения являются лишь иллюстрацией принципов настоящего изобретения. Следует понимать, что другим специалистам в данной области техники будут очевидны модификации и изменения в конфигурациях и подробностях, описанных в настоящем документе. Таким образом, подразумевается ограничение только объемом нижеследующей формулы изобретения, но не конкретными подробностями, представленными в настоящем документе в качестве описания и пояснения вариантов выполнения изобретения.
Список литературы
B. Bessette и др.., “The Adaptive Multi-rate Wideband Speech Codec (AMR-WB),” IEEE Trans. on Speech and Audio Processing, том 10, №. 8, ноябрь 2002 г.
B. Geiser и др.., “Bandwidth Extension for Hierarchical Speech and Audio Coding in ITU-T Rec. G.729.1,” IEEE Trans. on Audio, Speech, and Language Processing, том 15, № 8, ноябрь 2007 г.
B. Iser, W. Minker и G. Schmidt, Bandwidth Extension of Speech Signals, Springer Lecture Notes in Electrical Engineering, том 13, Нью-Йорк, 2008 г.
M. Jelínek и R. Salami, “Wideband Speech Coding Advances in VMR-WB Standard,” IEEE Trans. on Audio, Speech, and Language Processing, том 15, №. 4, май 2007 г.
I. Katsir, I. Cohen и D. Malah, “Speech Bandwidth Extension Based on Speech Phonetic Content and Speaker Vocal Tract Shape Estimation,” в Proc. EUSIPCO 2011, Барселона, Испания, сентябрь 2011 г.
E. Larsen и R. M. Aarts, Audio Bandwidth Extension: Application of Psychoacoustics, Signal Processing and Loudspeaker Design, Уайли, Нью-Йорк, 2004 г.
J. Mäkinen и др, “AMR-WB+: A New Audio Coding Standard for 3rd Generation Mobile Audio Services,” в Proc. ICASSP 2005, Филадельфия, США, март 2005 г.
M. Neuendorf и др. “MPEG Unified Speech and Audio Coding - The ISO/MPEG Stan-dard for High-Efficiency Audio Coding of All Content Types,” в Proc. 132nd Convention of the AES, Будапешт, Венгрия, апрель 2012 г. Также опубликовано в Журнале AES в 2013 г.
H. Pulakka и P. Alku, “Bandwidth Extension of Telephone Speech Using a Neural Network and a Filter Bank Implementation for Highband Mel Spectrum,” IEEE Trans. on Audio, Speech, and Language Processing, том 19, № 7, сентябрь 2011 г.
T. Vaillancourt и др., “ITU-T EV-VBR: A Robust 8-32 kbit/s Scalable Coder for Error Prone Telecommunications Channels,” в Proc. EUSIPCO 2008, Лозанна, Швейцария, август 2008 г.
L. Miao и др., “G.711.1 Annex D and G.722 Annex B: New ITU-T Superwideband codecs,” в Proc. ICASSP 2011, Прага, Чехия, май 2011 г.
Bernd Geiser, Peter Jax и Peter Vary:: “ROBUST WIDEBAND ENHANCEMENT OF SPEECH BY COMBINED CODING AND ARTIFICIAL BANDWIDTH EXTENSION”, Proceedings of International Workshop on Acoustic Echo and Noise Control (IWAENC), 2005 г.
Claims (69)
1. Декодер для формирования аудиосигнала (120) с улучшенной частотной характеристикой, содержащий:
блок (104) извлечения свойств для извлечения свойства из базового сигнала (100);
блок (110) извлечения дополнительной информации для извлечения дополнительной информации для выбора, ассоциированной с базовым сигналом;
генератор (108) параметров для формирования параметрического представления для оценки спектрального диапазона аудиосигнала (120) с улучшенной частотной характеристикой, не определяемого базовым сигналом (100), причем генератор (108) параметров выполнен с возможностью обеспечения некоторого количества альтернативных параметрических представлений (702, 704, 706, 708) в ответ на упомянутое свойство (112), и при этом генератор (108) параметров выполнен с возможностью выбора одного из альтернативных параметрических представлений в качестве параметрического представления в ответ на дополнительную информацию (712-718) для выбора; и
блок (118) оценки сигнала для оценки аудиосигнала (120) с улучшенной частотной характеристикой с использованием выбранного параметрического представления;
причем генератор (108) параметров выполнен с возможностью приема параметрической информации (1100) улучшения частотной характеристики, ассоциированной с базовым сигналом (100), причем параметрическая информация улучшения частотной характеристики содержит группу отдельных параметров,
причем генератор (108) параметров выполнен с возможностью обеспечения выбранного параметрического представления в дополнение к параметрической информации улучшения частотной характеристики,
причем выбранное параметрическое представление содержит параметр, не включенный в группу отдельных параметров, или значение изменения параметра для изменения параметра в группе отдельных параметров, и
при этом блок (118) оценки сигнала выполнен с возможностью оценки аудиосигнала с улучшенной частотной характеристикой с использованием выбранного параметрического представления и параметрической информации (1100) улучшения частотной характеристики.
2. Декодер по п. 1, дополнительно содержащий:
интерфейс (210) ввода для приема кодированного входного сигнала (200), содержащего кодированный базовый сигнал (201) и дополнительную информацию (114) для выбора; и
базовый декодер (124) для декодирования кодированного базового сигнала для получения базового сигнала (100).
3. Декодер по п. 1, в котором генератор (108) параметров выполнен с возможностью использования при выборе одного из альтернативных параметрических представлений предварительно заданного порядка альтернативных параметрических представлений или сигнализируемого кодером порядка альтернативных параметрических представлений.
4. Декодер по п. 1, в котором генератор (108) параметров выполнен с возможностью обеспечения представления огибающей в качестве параметрического представления,
причем дополнительная информация (114) для выбора указывает на один из множества различных сибилянтов или фрикативных звуков, и
при этом генератор (108) параметров выполнен с возможностью обеспечения представления огибающей, идентифицируемого дополнительной информацией для выбора.
5. Декодер по п. 1,
в котором блок (118) оценки сигнала содержит интерполятор (900) для интерполяции базового сигнала (100), и
при этом блок (104) извлечения свойств выполнен с возможностью извлечения свойства из неинтерполированного базового сигнала (100).
6. Декодер по п. 1,
в котором блок (118) оценки сигнала содержит:
анализирующий фильтр (910) для анализа базового сигнала или интерполированного базового сигнала для получения сигнала возбуждения;
блок (912) расширения сигнала возбуждения для формирования улучшенного сигнала возбуждения, имеющего спектральный диапазон, не включенный в базовый сигнал (100); и
синтезирующий фильтр (914) для фильтрации расширенного сигнала возбуждения;
причем анализирующий фильтр (910) или синтезирующий фильтр (914) определяется выбранным параметрическим представлением.
7. Декодер по п. 1,
в котором блок (118) оценки сигнала содержит процессор расширения спектральной полосы частот для формирования расширенной спектральной полосы, соответствующей спектральному диапазону, не включенному в базовый сигнал, с использованием по меньшей мере спектральной полосы базового сигнала и параметрического представления,
причем параметрическое представление содержит параметры для по меньшей мере одного из регулирования (1060) спектральной огибающей, добавления (1020) маскирующего шума, инверсной фильтрации (1040) и добавления (1080) отсутствующих тонов,
причем генератор параметров выполнен с возможностью обеспечения, для упомянутого свойства, множества альтернативных параметрических представлений, причем каждое альтернативное параметрическое представление имеет параметры для по меньшей мере одного из регулирования (1060) спектральной огибающей, добавления (1020) маскирующего шума, инверсной фильтрации (1040) и добавления (1080) отсутствующих тонов.
8. Декодер по п. 1, дополнительно содержащий:
детектор голосовой активности или детектор (500) голосовых/неголосовых данных,
причем блок (118) оценки сигнала выполнен с возможностью оценки сигнала с улучшенной частотной характеристикой с использованием параметрического представления, только когда детектор голосовой активности или детектор (500) голосовых/неголосовых данных указывает на голосовую активность или голосовой сигнал.
9. Декодер по п. 8,
в котором блок (118) оценки сигналов выполнен с возможностью переключения (502, 504) с процедуры (511) улучшения частотной характеристики на другую процедуру (513) улучшения частотной характеристики или использования других параметров (514), извлеченных из кодированного сигнала, когда детектор голосовой активности или детектор (500) голосовых/неголосовых данных указывает на неголосовой сигнал или на сигнал, не содержащий голосовой активности.
10. Декодер по п. 1,
в котором статистическая модель выполнена с возможностью обеспечения, в ответ на упомянутое свойство, множества альтернативных параметрических представлений (702-708),
причем каждое альтернативное параметрическое представление обладает вероятностью, идентичной вероятности другого альтернативного параметрического представления или отличной от вероятности упомянутого альтернативного параметрического представления менее чем на 10% от максимальной вероятности.
11. Декодер по п. 1,
в котором дополнительная информация для выбора включена только в кадр (800) кодированного сигнала, когда генератор (108) параметров обеспечивает множество альтернативных параметрических представлений, и
причем дополнительная информация для выбора не включена в другой кадр (812) кодированного аудиосигнала, в котором генератор (108) параметров обеспечивает только одно альтернативное параметрическое представление в ответ на упомянутое свойство (112).
12. Кодер для формирования кодированного сигнала (1212), содержащий:
базовый кодер (1200) для кодирования исходного сигнала (1206), чтобы получить кодированный аудиосигнал (1208), содержащий информацию о меньшем количестве полос частот по сравнению с исходным сигналом (1206);
генератор (1202) дополнительной информации для выбора для формирования дополнительной информации (1210) для выбора, указывающей на определенное альтернативное параметрическое представление (702-708), обеспеченное статистической моделью в ответ на свойство (112), извлеченное из исходного сигнала (1206), или из кодированного аудиосигнала (1208), или из декодированной версии кодированного аудиосигнала (1208); и
интерфейс (1204) вывода для вывода кодированного сигнала (1212), причем кодированный сигнал содержит кодированный аудиосигнал (1208) и дополнительную информацию (1210) для выбора;
причем исходный сигнал содержит ассоциированную метаинформацию, описывающую последовательность акустической информации для последовательности выборок исходного аудиосигнала,
причем генератор (1202) дополнительной информации для выбора содержит:
блок (1400) извлечения метаданных для извлечения последовательности метаинформации и
блок (1402) интерпретации метаданных для интерпретации последовательности метаинформации в последовательность дополнительной информации (1210) для выбора.
13. Кодер по п. 12,
в котором интерфейс (1204) вывода выполнен с возможностью включать дополнительную информацию (1210) для выбора в кодированный сигнал (1212), только когда статистическая модель обеспечивает множество альтернативных параметрических представлений, и не включать какую-либо дополнительную информацию для выбора в кадр кодированного аудиосигнала (1208), в котором статистическая модель выполнена с возможностью обеспечения только одного параметрического представления в ответ на упомянутое свойство.
14. Способ формирования аудиосигнала (120) с улучшенной частотной характеристикой, содержащий этапы, на которых:
извлекают (104) свойство из базового сигнала (100);
извлекают (110) дополнительную информацию для выбора, ассоциированную с базовым сигналом;
формируют (108) параметрическое представление для оценки спектрального диапазона аудиосигнала (120) с улучшенной частотной характеристикой, не определяемого базовым сигналом (100), причем обеспечивают некоторое количество альтернативных параметрических представлений (702, 704, 706, 708) в ответ на упомянутое свойство (112), и при этом выбирают одно из альтернативных параметрических представлений в качестве параметрического представления в ответ на дополнительную информацию (712-718) для выбора; и
оценивают (118) аудиосигнал (120) с улучшенной частотной характеристикой с использованием выбранного параметрического представления;
причем при формировании параметрического представления принимают параметрическую информацию (1100) улучшения частотной характеристики, ассоциированной с базовым сигналом (100), причем параметрическая информация улучшения частотной характеристики содержит группу отдельных параметров,
причем при формировании параметрического представления генератор (108) параметров обеспечивает выбранное параметрическое представление в дополнение к параметрической информации улучшения частотной характеристики,
причем выбранное параметрическое представление содержит параметр, не включенный в группу отдельных параметров, или значение изменения параметра для изменения параметра в группе отдельных параметров,
при этом при оценке оценивают аудиосигнал с улучшенной частотной характеристикой с использованием выбранного параметрического представления и параметрической информации (1100) улучшения частотной характеристики.
15. Способ формирования кодированного сигнала (1212), содержащий этапы, на которых:
кодируют (1200) исходный сигнал (1206) для получения кодированного аудиосигнала (1208), содержащего информацию о меньшем количестве полос частот по сравнению с исходным сигналом (1206);
формируют (1202) дополнительную информацию (1210) для выбора, указывающую на альтернативное параметрическое представление (702-708), обеспеченное статистической моделью в ответ на свойство (112), извлеченное из исходного сигнала (1206), или из кодированного аудиосигнала (1208), или из декодированной версии кодированного аудиосигнала (1208); и
выводят (1204) кодированный сигнал (1212), причем кодированный сигнал содержит кодированный аудиосигнал (1208) и дополнительную информацию (1210) для выбора;
причем исходный сигнал содержит ассоциированную метаинформацию, описывающую последовательность акустической информации для последовательности выборок исходного аудиосигнала,
причем формирование дополнительной информации для выбора содержит этапы, на которых:
извлекают (1400) метаданные последовательность метаинформации; и
интерпретируют (1402) последовательность метаинформации в последовательность дополнительной информации (1210) для выбора.
16. Машиночитаемый носитель, имеющий сохраненную на нем компьютерную программу для выполнения, при исполнении на компьютере или в процессоре, способа по п. 14.
17. Машиночитаемый носитель, имеющий сохраненную на нем компьютерную программу для выполнения, при исполнении на компьютере или в процессоре, способа по п. 15.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361758092P | 2013-01-29 | 2013-01-29 | |
| US61/758,092 | 2013-01-29 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2015136789A Division RU2627102C2 (ru) | 2013-01-29 | 2014-01-28 | Декодер для формирования аудиосигнала с улучшенной частотной характеристикой, способ декодирования, кодер для формирования кодированного сигнала и способ кодирования с использованием компактной дополнительной информации для выбора |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2676242C1 true RU2676242C1 (ru) | 2018-12-26 |
Family
ID=50023570
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017109527A RU2676242C1 (ru) | 2013-01-29 | 2014-01-28 | Декодер для формирования аудиосигнала с улучшенной частотной характеристикой, способ декодирования, кодер для формирования кодированного сигнала и способ кодирования с использованием компактной дополнительной информации для выбора |
| RU2017109526A RU2676870C1 (ru) | 2013-01-29 | 2014-01-28 | Декодер для формирования аудиосигнала с улучшенной частотной характеристикой, способ декодирования, кодер для формирования кодированного сигнала и способ кодирования с использованием компактной дополнительной информации для выбора |
| RU2015136789A RU2627102C2 (ru) | 2013-01-29 | 2014-01-28 | Декодер для формирования аудиосигнала с улучшенной частотной характеристикой, способ декодирования, кодер для формирования кодированного сигнала и способ кодирования с использованием компактной дополнительной информации для выбора |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017109526A RU2676870C1 (ru) | 2013-01-29 | 2014-01-28 | Декодер для формирования аудиосигнала с улучшенной частотной характеристикой, способ декодирования, кодер для формирования кодированного сигнала и способ кодирования с использованием компактной дополнительной информации для выбора |
| RU2015136789A RU2627102C2 (ru) | 2013-01-29 | 2014-01-28 | Декодер для формирования аудиосигнала с улучшенной частотной характеристикой, способ декодирования, кодер для формирования кодированного сигнала и способ кодирования с использованием компактной дополнительной информации для выбора |
Country Status (19)
| Country | Link |
|---|---|
| US (3) | US10657979B2 (ru) |
| EP (3) | EP2951828B1 (ru) |
| JP (3) | JP6096934B2 (ru) |
| KR (3) | KR101775084B1 (ru) |
| CN (3) | CN109509483B (ru) |
| AR (1) | AR094673A1 (ru) |
| AU (3) | AU2014211523B2 (ru) |
| BR (1) | BR112015018017B1 (ru) |
| CA (4) | CA3013756C (ru) |
| ES (3) | ES2924427T3 (ru) |
| HK (1) | HK1218460A1 (ru) |
| MX (1) | MX345622B (ru) |
| MY (1) | MY172752A (ru) |
| RU (3) | RU2676242C1 (ru) |
| SG (3) | SG10201608613QA (ru) |
| TR (1) | TR201906190T4 (ru) |
| TW (3) | TWI585754B (ru) |
| WO (1) | WO2014118155A1 (ru) |
| ZA (1) | ZA201506313B (ru) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3008533A1 (fr) * | 2013-07-12 | 2015-01-16 | Orange | Facteur d'echelle optimise pour l'extension de bande de frequence dans un decodeur de signaux audiofrequences |
| TWI693594B (zh) | 2015-03-13 | 2020-05-11 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
| US10008214B2 (en) * | 2015-09-11 | 2018-06-26 | Electronics And Telecommunications Research Institute | USAC audio signal encoding/decoding apparatus and method for digital radio services |
| WO2019081070A1 (en) * | 2017-10-27 | 2019-05-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | APPARATUS, METHOD, OR COMPUTER PROGRAM PRODUCT FOR GENERATING ENHANCED BANDWIDTH AUDIO SIGNAL USING NEURAL NETWORK PROCESSOR |
| KR102556098B1 (ko) * | 2017-11-24 | 2023-07-18 | 한국전자통신연구원 | 심리음향 기반 가중된 오류 함수를 이용한 오디오 신호 부호화 방법 및 장치, 그리고 오디오 신호 복호화 방법 및 장치 |
| CN108399913B (zh) * | 2018-02-12 | 2021-10-15 | 北京容联易通信息技术有限公司 | 高鲁棒性音频指纹识别方法及系统 |
| JP7019096B2 (ja) | 2018-08-30 | 2022-02-14 | ドルビー・インターナショナル・アーベー | 低ビットレート符号化オーディオの増強を制御する方法及び機器 |
| JP2023512178A (ja) * | 2020-02-03 | 2023-03-24 | ピンドロップ セキュリティー、インコーポレイテッド | 音声バイオメトリクスのクロスチャネル登録と認証 |
| CN113808596A (zh) * | 2020-05-30 | 2021-12-17 | 华为技术有限公司 | 一种音频编码方法和音频编码装置 |
| CN112233685B (zh) * | 2020-09-08 | 2024-04-19 | 厦门亿联网络技术股份有限公司 | 基于深度学习注意力机制的频带扩展方法及装置 |
| KR20220151953A (ko) | 2021-05-07 | 2022-11-15 | 한국전자통신연구원 | 부가 정보를 이용한 오디오 신호의 부호화 및 복호화 방법과 그 방법을 수행하는 부호화기 및 복호화기 |
| US20230016637A1 (en) * | 2021-07-07 | 2023-01-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and Method for End-to-End Adversarial Blind Bandwidth Extension with one or more Convolutional and/or Recurrent Networks |
| CN114443891B (zh) * | 2022-01-14 | 2022-12-06 | 北京有竹居网络技术有限公司 | 编码器的生成方法、指纹提取方法、介质及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070094027A1 (en) * | 2005-10-21 | 2007-04-26 | Nokia Corporation | Methods and apparatus for implementing embedded scalable encoding and decoding of companded and vector quantized audio data |
| US20070255572A1 (en) * | 2004-08-27 | 2007-11-01 | Shuji Miyasaka | Audio Decoder, Method and Program |
| EP2239732A1 (en) * | 2009-04-09 | 2010-10-13 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for generating a synthesis audio signal and for encoding an audio signal |
| WO2011047886A1 (en) * | 2009-10-21 | 2011-04-28 | Dolby International Ab | Apparatus and method for generating a high frequency audio signal using adaptive oversampling |
| RU2455710C2 (ru) * | 2008-01-31 | 2012-07-10 | Фраунхофер-Гезелльшафт цур Фердерунг дер ангевандтен | Устройство и способ расширения полосы пропускания аудио сигнала |
| RU2011101616A (ru) * | 2008-07-11 | 2012-07-27 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. (DE) | Синтезатор аудиосигнала и кодирующее устройство аудиосигнала |
Family Cites Families (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5646961A (en) * | 1994-12-30 | 1997-07-08 | Lucent Technologies Inc. | Method for noise weighting filtering |
| US6226616B1 (en) * | 1999-06-21 | 2001-05-01 | Digital Theater Systems, Inc. | Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility |
| US8605911B2 (en) * | 2001-07-10 | 2013-12-10 | Dolby International Ab | Efficient and scalable parametric stereo coding for low bitrate audio coding applications |
| US7603267B2 (en) * | 2003-05-01 | 2009-10-13 | Microsoft Corporation | Rules-based grammar for slots and statistical model for preterminals in natural language understanding system |
| US7447317B2 (en) * | 2003-10-02 | 2008-11-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V | Compatible multi-channel coding/decoding by weighting the downmix channel |
| CA2457988A1 (en) * | 2004-02-18 | 2005-08-18 | Voiceage Corporation | Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization |
| BRPI0515128A (pt) * | 2004-08-31 | 2008-07-08 | Matsushita Electric Ind Co Ltd | aparelho de geração de sinal estéreo e método de geração de sinal estéreo |
| SE0402652D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Methods for improved performance of prediction based multi- channel reconstruction |
| US20080126092A1 (en) * | 2005-02-28 | 2008-05-29 | Pioneer Corporation | Dictionary Data Generation Apparatus And Electronic Apparatus |
| US7751572B2 (en) * | 2005-04-15 | 2010-07-06 | Dolby International Ab | Adaptive residual audio coding |
| KR20070003574A (ko) * | 2005-06-30 | 2007-01-05 | 엘지전자 주식회사 | 오디오 신호 인코딩 및 디코딩 방법 및 장치 |
| DE102005032724B4 (de) * | 2005-07-13 | 2009-10-08 | Siemens Ag | Verfahren und Vorrichtung zur künstlichen Erweiterung der Bandbreite von Sprachsignalen |
| US20070055510A1 (en) * | 2005-07-19 | 2007-03-08 | Johannes Hilpert | Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding |
| US7546237B2 (en) * | 2005-12-23 | 2009-06-09 | Qnx Software Systems (Wavemakers), Inc. | Bandwidth extension of narrowband speech |
| US7835904B2 (en) * | 2006-03-03 | 2010-11-16 | Microsoft Corp. | Perceptual, scalable audio compression |
| DE602006021347D1 (de) * | 2006-03-28 | 2011-05-26 | Fraunhofer Ges Forschung | Verbessertes verfahren zur signalformung bei der mehrkanal-audiorekonstruktion |
| JP4766559B2 (ja) | 2006-06-09 | 2011-09-07 | Ｋｄｄｉ株式会社 | 音楽信号の帯域拡張方式 |
| EP1883067A1 (en) * | 2006-07-24 | 2008-01-30 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for lossless encoding of a source signal, using a lossy encoded data stream and a lossless extension data stream |
| CN101140759B (zh) * | 2006-09-08 | 2010-05-12 | 华为技术有限公司 | 语音或音频信号的带宽扩展方法及系统 |
| CN101479787B (zh) * | 2006-09-29 | 2012-12-26 | Lg电子株式会社 | 用于编码和解码基于对象的音频信号的方法和装置 |
| JP5026092B2 (ja) * | 2007-01-12 | 2012-09-12 | 三菱電機株式会社 | 動画像復号装置および動画像復号方法 |
| EP2077550B8 (en) * | 2008-01-04 | 2012-03-14 | Dolby International AB | Audio encoder and decoder |
| EP2248263B1 (en) * | 2008-01-31 | 2012-12-26 | Agency for Science, Technology And Research | Method and device of bitrate distribution/truncation for scalable audio coding |
| DE102008009719A1 (de) * | 2008-02-19 | 2009-08-20 | Siemens Enterprise Communications Gmbh & Co. Kg | Verfahren und Mittel zur Enkodierung von Hintergrundrauschinformationen |
| JP5108960B2 (ja) * | 2008-03-04 | 2012-12-26 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号処理方法及び装置 |
| US8578247B2 (en) * | 2008-05-08 | 2013-11-05 | Broadcom Corporation | Bit error management methods for wireless audio communication channels |
| CA2871268C (en) * | 2008-07-11 | 2015-11-03 | Nikolaus Rettelbach | Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program |
| CA2836871C (en) * | 2008-07-11 | 2017-07-18 | Stefan Bayer | Time warp activation signal provider, audio signal encoder, method for providing a time warp activation signal, method for encoding an audio signal and computer programs |
| CN102089814B (zh) * | 2008-07-11 | 2012-11-21 | 弗劳恩霍夫应用研究促进协会 | 对编码的音频信号进行解码的设备和方法 |
| ES2592416T3 (es) * | 2008-07-17 | 2016-11-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Esquema de codificación/decodificación de audio que tiene una derivación conmutable |
| JP5326465B2 (ja) | 2008-09-26 | 2013-10-30 | 富士通株式会社 | オーディオ復号方法、装置、及びプログラム |
| MX2011011399A (es) * | 2008-10-17 | 2012-06-27 | Univ Friedrich Alexander Er | Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto. |
| JP5629429B2 (ja) | 2008-11-21 | 2014-11-19 | パナソニック株式会社 | オーディオ再生装置及びオーディオ再生方法 |
| UA99878C2 (ru) * | 2009-01-16 | 2012-10-10 | Долби Интернешнл Аб | Гармоническое преобразование, усовершенствованное перекрестным произведением |
| RU2493618C2 (ru) * | 2009-01-28 | 2013-09-20 | Долби Интернешнл Аб | Усовершенствованное гармоническое преобразование |
| KR101433701B1 (ko) * | 2009-03-17 | 2014-08-28 | 돌비 인터네셔널 에이비 | 적응형으로 선택가능한 좌／우 또는 미드／사이드 스테레오 코딩과 파라메트릭 스테레오 코딩의 조합에 기초한 진보된 스테레오 코딩 |
| ES2400661T3 (es) * | 2009-06-29 | 2013-04-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Codificación y decodificación de extensión de ancho de banda |
| TWI433137B (zh) * | 2009-09-10 | 2014-04-01 | Dolby Int Ab | 藉由使用參數立體聲改良調頻立體聲收音機之聲頻信號之設備與方法 |
| RU2607266C2 (ru) * | 2009-10-16 | 2017-01-10 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Устройство, способ и компьютерная программа для формирования с использованием среднего значения параметров сигнала, подстроенных для обеспечения представления микшированного с повышением сигнала на базе представления микшированного с понижением сигнала и параметрической сторонней информации, связанной с представлением микшированного с понижением сигнала |
| US8484020B2 (en) | 2009-10-23 | 2013-07-09 | Qualcomm Incorporated | Determining an upperband signal from a narrowband signal |
| US9286944B2 (en) * | 2009-11-04 | 2016-03-15 | Koninklijke Philips N.V. | Methods and systems for providing a combination of media data and metadata |
| CN102081927B (zh) * | 2009-11-27 | 2012-07-18 | 中兴通讯股份有限公司 | 一种可分层音频编码、解码方法及系统 |
| US20120331137A1 (en) * | 2010-03-01 | 2012-12-27 | Nokia Corporation | Method and apparatus for estimating user characteristics based on user interaction data |
| EP3779975B1 (en) * | 2010-04-13 | 2023-07-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder and related methods for processing multi-channel audio signals using a variable prediction direction |
| BR112012027438B1 (pt) * | 2010-04-26 | 2022-02-22 | Sun Patent Trust | Método para decodificar, meio legível por computador e aparelho para decodificar |
| US8600737B2 (en) * | 2010-06-01 | 2013-12-03 | Qualcomm Incorporated | Systems, methods, apparatus, and computer program products for wideband speech coding |
| TWI516138B (zh) * | 2010-08-24 | 2016-01-01 | 杜比國際公司 | 從二聲道音頻訊號決定參數式立體聲參數之系統與方法及其電腦程式產品 |
| EP2432161B1 (en) * | 2010-09-16 | 2015-09-16 | Deutsche Telekom AG | Method of and system for measuring quality of audio and video bit stream transmissions over a transmission chain |
| CN101959068B (zh) * | 2010-10-12 | 2012-12-19 | 华中科技大学 | 一种视频流解码计算复杂度估计方法 |
| UA107771C2 (en) * | 2011-09-29 | 2015-02-10 | Dolby Int Ab | Prediction-based fm stereo radio noise reduction |
-
2014
- 2014-01-28 KR KR1020167021785A patent/KR101775084B1/ko active IP Right Grant
- 2014-01-28 AU AU2014211523A patent/AU2014211523B2/en active Active
- 2014-01-28 SG SG10201608613QA patent/SG10201608613QA/en unknown
- 2014-01-28 TR TR2019/06190T patent/TR201906190T4/tr unknown
- 2014-01-28 RU RU2017109527A patent/RU2676242C1/ru active
- 2014-01-28 MY MYPI2015001889A patent/MY172752A/en unknown
- 2014-01-28 CN CN201811139723.4A patent/CN109509483B/zh active Active
- 2014-01-28 RU RU2017109526A patent/RU2676870C1/ru active
- 2014-01-28 WO PCT/EP2014/051591 patent/WO2014118155A1/en active Application Filing
- 2014-01-28 CN CN201480006567.8A patent/CN105103229B/zh active Active
- 2014-01-28 MX MX2015009747A patent/MX345622B/es active IP Right Grant
- 2014-01-28 EP EP14701550.7A patent/EP2951828B1/en active Active
- 2014-01-28 SG SG11201505925SA patent/SG11201505925SA/en unknown
- 2014-01-28 CA CA3013756A patent/CA3013756C/en active Active
- 2014-01-28 CA CA3013766A patent/CA3013766C/en active Active
- 2014-01-28 ES ES17158862T patent/ES2924427T3/es active Active
- 2014-01-28 RU RU2015136789A patent/RU2627102C2/ru active
- 2014-01-28 ES ES17158737T patent/ES2943588T3/es active Active
- 2014-01-28 ES ES14701550T patent/ES2725358T3/es active Active
- 2014-01-28 CA CA3013744A patent/CA3013744C/en active Active
- 2014-01-28 KR KR1020157022901A patent/KR101798126B1/ko active IP Right Grant
- 2014-01-28 CA CA2899134A patent/CA2899134C/en active Active
- 2014-01-28 CN CN201811139722.XA patent/CN109346101B/zh active Active
- 2014-01-28 SG SG10201608643PA patent/SG10201608643PA/en unknown
- 2014-01-28 EP EP17158862.7A patent/EP3196878B1/en active Active
- 2014-01-28 BR BR112015018017-5A patent/BR112015018017B1/pt active IP Right Grant
- 2014-01-28 KR KR1020167021784A patent/KR101775086B1/ko active IP Right Grant
- 2014-01-28 JP JP2015554193A patent/JP6096934B2/ja active Active
- 2014-01-28 EP EP17158737.1A patent/EP3203471B1/en active Active
- 2014-01-29 TW TW104132427A patent/TWI585754B/zh active
- 2014-01-29 TW TW104132428A patent/TWI585755B/zh active
- 2014-01-29 TW TW103103520A patent/TWI524333B/zh active
- 2014-01-29 AR ARP140100289A patent/AR094673A1/es active IP Right Grant
-
2015
- 2015-07-28 US US14/811,722 patent/US10657979B2/en active Active
- 2015-08-28 ZA ZA2015/06313A patent/ZA201506313B/en unknown
-
2016
- 2016-06-06 HK HK16106404.9A patent/HK1218460A1/zh unknown
- 2016-11-21 AU AU2016262638A patent/AU2016262638B2/en active Active
- 2016-11-21 AU AU2016262636A patent/AU2016262636B2/en active Active
- 2016-12-20 JP JP2016246647A patent/JP6513066B2/ja active Active
- 2016-12-20 JP JP2016246648A patent/JP6511428B2/ja active Active
-
2017
- 2017-08-03 US US15/668,375 patent/US10062390B2/en active Active
- 2017-08-03 US US15/668,473 patent/US10186274B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070255572A1 (en) * | 2004-08-27 | 2007-11-01 | Shuji Miyasaka | Audio Decoder, Method and Program |
| US20070094027A1 (en) * | 2005-10-21 | 2007-04-26 | Nokia Corporation | Methods and apparatus for implementing embedded scalable encoding and decoding of companded and vector quantized audio data |
| RU2455710C2 (ru) * | 2008-01-31 | 2012-07-10 | Фраунхофер-Гезелльшафт цур Фердерунг дер ангевандтен | Устройство и способ расширения полосы пропускания аудио сигнала |
| RU2011101616A (ru) * | 2008-07-11 | 2012-07-27 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. (DE) | Синтезатор аудиосигнала и кодирующее устройство аудиосигнала |
| EP2239732A1 (en) * | 2009-04-09 | 2010-10-13 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for generating a synthesis audio signal and for encoding an audio signal |
| WO2011047886A1 (en) * | 2009-10-21 | 2011-04-28 | Dolby International Ab | Apparatus and method for generating a high frequency audio signal using adaptive oversampling |
Non-Patent Citations (1)
| Title |
|---|
| P BAUER et al. "A STATISTICAL FRAMEWORK FOR ARTIFICIAL BANDWIDTH EXTENSION EXPLOITING SPEECH WAVEFORM AND PHONETIC TRANSCRIPTION", 01.04.2010. * |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2676242C1 (ru) | Декодер для формирования аудиосигнала с улучшенной частотной характеристикой, способ декодирования, кодер для формирования кодированного сигнала и способ кодирования с использованием компактной дополнительной информации для выбора |