RU2607262C2 - Устройство и способ для воспроизведения аудиосигнала, устройство и способ для генерирования кодированного аудиосигнала, компьютерная программа и кодированный аудиосигнал - Google Patents
Устройство и способ для воспроизведения аудиосигнала, устройство и способ для генерирования кодированного аудиосигнала, компьютерная программа и кодированный аудиосигнал Download PDFInfo
- Publication number
- RU2607262C2 RU2607262C2 RU2015110702A RU2015110702A RU2607262C2 RU 2607262 C2 RU2607262 C2 RU 2607262C2 RU 2015110702 A RU2015110702 A RU 2015110702A RU 2015110702 A RU2015110702 A RU 2015110702A RU 2607262 C2 RU2607262 C2 RU 2607262C2
- Authority
- RU
- Russia
- Prior art keywords
- audio signal
- signal
- frequency band
- data
- patch
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 266
- 238000000034 method Methods 0.000 title claims description 57
- 238000004590 computer program Methods 0.000 title claims description 18
- 230000003595 spectral effect Effects 0.000 claims description 22
- 230000001052 transient effect Effects 0.000 claims description 15
- 238000001228 spectrum Methods 0.000 claims description 9
- 229910001369 Brass Inorganic materials 0.000 claims description 6
- 239000010951 brass Substances 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 239000000126 substance Substances 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000012805 post-processing Methods 0.000 description 10
- 238000013459 approach Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 230000010076 replication Effects 0.000 description 6
- 230000002596 correlated effect Effects 0.000 description 4
- 238000005311 autocorrelation function Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012966 insertion method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
- G10L19/265—Pre-filtering, e.g. high frequency emphasis prior to encoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
Изобретение относится к средствам для генерирования и воспроизведения аудиосигнала. Технический результат заключается в обеспечении возможности генерирования и воспроизведения аудиосигнала при уменьшении доступной скорости передачи данных. Устройство содержит первое воспроизводящее средство, выполненное с возможностью воспроизведения первой части аудиосигнала на основании первых данных. Средство предоставления выполняется с возможностью предоставления сигнала-заплаты во второй частотной полосе, причем сигнал-заплата является по меньшей мере частично некоррелированным относительно первой части аудиосигнала или является по меньшей мере частично декоррелированной версией первой части аудиосигнала, которая была смещена во вторую частотную полосу. Второе воспроизводящее средство выполняется с возможностью воспроизведения второй части аудиосигнала во второй частотной полосе на основании вторых данных и сигнала-заплаты. Объединяющее средство выполняется с возможностью объединения воспроизводимой первой части аудиосигнала и сигнала-заплаты перед воспроизведением второй части аудиосигнала вторым воспроизводящим средством. 6 н. и 9 з.п. ф-лы, 13 ил.
Description
Настоящее изобретение имеет отношение к устройству, способу и компьютерной программе для воспроизведения аудиосигнала и, в частности, к устройству, способу и компьютерной программе для воспроизведения аудиосигнала в ситуациях, в которых уменьшается доступная скорость передачи данных. Помимо этого, настоящее изобретение имеет отношение к устройству, способу и компьютерной программе для генерирования кодированного аудиосигнала и соответствующему кодированному аудиосигналу.
Перцепционно адаптивное кодирование аудиосигналов, для эффективного хранения и передачи этих сигналов с уменьшенной скоростью передачи данных, получило распространение во многих областях. Известны алгоритмы кодирования, в частности такие, как MPEG-1/2, «MP3» 3-го уровня, Усовершенствованное кодирование аудио (AAC-Advanced Audio Coding) MPEG-2/4 или Комплексное кодирование речи и аудио (USAC-Unified Speech and Audio Coding) MPEG-H. Лежащие в основе методы кодирования, особенно при достижении наименьших скоростей передачи битов, приводят к снижению качества аудио. Часто ухудшение, главным образом, вызвано ограничением полосы пропускания аудиосигнала для передачи на стороне устройства кодирования.
В такой ситуации, как известно для существующего уровня техники, чтобы подвергнуть аудиосигнал ограничению полосы частот на стороне устройства кодирования и закодировать только нижнюю полосу аудиосигнала, используется высококачественное устройство кодирования аудио. Верхняя полоса, однако, только очень грубо характеризуется набором параметров, которые выражают, например, огибающую спектра верхней полосы. Затем на стороне устройства декодирования синтезируется верхняя полоса путем вставки заплаты из декодированного сигнала нижней полосы в свободную в противном случае верхнюю полосу, и выполняя последующие управляемые настройки параметров.
Стандартные способы для расширения полосы пропускания аудиосигналов с ограниченной полосой частот используют функцию копирования низкочастотных частей сигнала (LF-low-frequency) в высокочастотный диапазон (HF-high frequency), чтобы аппроксимировать информацию, отсутствующую из-за ограничения полосы частот. В принципе, такая функция копирования технически эквивалентна спектральному сдвигу, вычисленному во временной области посредством модуляции с одной боковой полосой (SSB-single sideband), но в вычислительном отношении гораздо менее сложна. Такие способы, как, например, Репликация спектральной полосы (SBR-Spectral Band Replication), описываются в документах М. Дитц (M. Dietz), Л. Лильерид (L. Liljeryd), К. Кьерлинг (K. Kjörling) и О. Кунц (O. Kunz), "Репликация спектральной полосы, новый подход в кодировании аудио" ("Spectral Band Replication, a novel approach in audio coding"), 112-й Съезд AES, Мюнхен, май 2002 г.; С. Мелтцер (S. Meltzer), Р. Бем (R. Böhm) и Ф. Хенн (F. Henn), "Аудиокодеки с улучшенной SBR для цифрового вещания, такого, как "Всемирное Цифровое Радиовещание" (DRM)" ("SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)"), 112-й Съезд AES, Мюнхен, май 2002 г.; Т. Циглер (T. Ziegler), А. Эрет (A. Ehret), П. Экстранд (P. Ekstrand) и М. Лутцкий (M. Lutzky), "Улучшенный mp3 с SBR: Особенности и возможности нового алгоритма mp3PRO" ("Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm"), 112-й Съезд AES, Мюнхен, май 2002 г.; Международный стандарт ISO/IEC 14496-3:2001/FPDAM 1, "Расширение полосы пропускания" («Bandwidth Extension»), ISO/IEC, 2002, или "Способ и устройство расширения полосы пропускания речевых сигналов" ("Speech bandwidth extension method and apparatus"), Васу Айенгар (Vasu Iyengar) и др. Патент США Номер 5,455,888.
В этих способах не выполняется гармоническая транспозиция, а последовательные полосовые сигналы нижней полосы вводятся в последовательные каналы банка фильтров верхней полосы. Тем самым достигается грубая аппроксимация верхней полосы аудиосигнала. Затем, на следующем этапе, эта грубая аппроксимация сигнала аппроксимируется к исходному посредством пост-обработки с использованием управляющей информации, полученной из исходного сигнала. При этом, например, коэффициенты масштабирования служат для адаптации огибающей спектра, обратного фильтрования и добавления минимального уровня шума, чтобы адаптировать тональность, и дополнения синусоидальными частями сигнала, что также описано в Стандарте MPEG-4.
Как известно из методов гармонических расширений полосы пропускания, описанных в работе Ф. Нагеля (Nagel, F.); С. Диша (Disch, S.) «Способ гармонического расширения полосы пропускания для аудиокодеков» («A Harmonic Bandwidth Extension Method for Audio Codecs»), Международная конференция по акустике и обработке речи и сигналов (ICASSP - Int. Conf. on Acoustics, Speech and Signal Processing) IEEE, 2009 г.; в работе Ф. Нагеля; С. Диша; Н. Реттельбаха (Rettelbach, N.) «Способ расширения полосы пропускания под управлением фазового вокодера с новой обработкой переходных процессов для аудиокодеков» («A Phase Vocoder Driven Bandwidth Extension Method with Novel Transient Handling for Audio Codecs»), 126-й Съезд AES, 2009 г.; в работе Х. Жонга (Zhong, H.); Л. Виллемоеса (Villemoes, L.); П. Экстранда, и др. «Гармоническая репликация спектральной полосы на базе QMF» («QMF Based Harmonic Spectral Band Replication», 131-й Съезд Общества инженеров-акустиков (AES-Audio Engineering Society), 2011 г.; в работе Л. Виллемоеса; П. Экстранда; П. Хеделина (Hedelin, P.) «Способы для расширенной гармонической транспозиции» («Methods for enhanced harmonic transposition»), Рабочая группа IEEE по применениям обработки сигналов к аудио и акустике, (WASPAA-Workshop on Applications of Signal Processing to Audio and Acoustics), 2011 г., при синтезе верхней полосы в сигнал могут быть внесены нежелательные слышимые нечеткости. Одной причиной (из многих) упомянутых нечеткостей является спектральное отклонение заплаты и/или эффекты диссонанса в переходных зонах между нижней полосой и первой заплатой или между последовательными заплатами. Методы гармонических расширений полосы пропускания предназначены для улучшения этих двух аспектов, пусть и ценой вычислительной сложности.
Вычисления в банке фильтров и вставка заплаты в области банка фильтров, особенно при гармоническом расширении полосы пропускания, действительно могут превратиться в высокие вычислительные затраты. В WO 98/57436 описывается усовершенствованный метод вставки заплаты, который, в некоторых определенных пределах, может избежать эффектов диссонанса, вводя так называемые защитные полосы частот между разными спектральными заплатами и выполняя модифицированную вставку заплаты с повышающим копированием, чтобы уменьшить спектральное отклонение, сохраняя приемлемую вычислительную сложность.
Кроме этого, существуют дополнительные способы, например, так называемое «слепое расширение полосы пропускания», описанное в работе Э. Ларсена (E. Larsen), Р. М. Аартса (R. M. Aarts) и М. Данессиса (M. Danessis), «Эффективное высокочастотное расширение полосы пропускания музыки и речи» («Efficient high-frequency bandwidth extension of music and speech»), на 112-ом Съезде AES, Мюнхен, Германия, май 2002 г., в которых не используется информация об исходном ВЧ диапазоне. Кроме того, существует также способ так называемого «Искусственного расширения полосы пропускания», который описан в работе К. Каюхке (K. Käyhkö), «Устойчивое широкополосное улучшение для узкополосного речевого сигнала» («A Wideband Enhancement for Narrowband Speech Signal»); научно-исследовательский отчет, Хельсинкский технологический университет, Лаборатория акустики и обработки аудиосигналов, 2001 г.
В работе Дж. Макинена (J. Makinen) и др.: AMR-WB+: «Новый стандарт кодирования аудио для транслирования подвижных услуг передачи аудиоинформации 3-го поколения» («A new audio coding standard for 3rd generation mobile audio services Broadcasts»), IEEE, ICASSP ’05, описывается способ для расширения полосы пропускания, в котором операция копирования для расширения полосы пропускания с повышающим копированием последовательных полосовых сигналов в соответствии с технологией SBR заменяется на зеркальное отображение, например, путем повышающей дискретизации.
Дополнительные технологии для расширения полосы пропускания описаны в следующих документах. Р. М. Аартс, Э. Ларсен и О. Аувелтьес (O. Ouweltjes), «Комплексный подход к низко- и высокочастотному расширению полосы пропускания» («A unified approach to low- and high frequency bandwidth extension»), 115-й Съезд AES, Нью-Йорк, США, октябрь 2003 г.; Э. Ларсен и Р. М. Аартс, «Расширение полосы пропускания аудио - применение в психоакустике, обработке сигналов и конструировании громкоговорителей» («Audio Bandwidth Extension - Application to psychoacoustics, Signal Processing and Loudspeaker Design»), John Wiley & Sons, Ltd., 2004 г.; Э. Ларсен, Р. М. Аартс и М. Данессис, «Эффективное высокочастотное расширение полосы пропускания музыки и речи» («Efficient high-frequency bandwidth extension of music and speech»), 112-й Съезд AES, Мюнхен, май 2002 г.; Дж. Макхоул (J. Makhoul), «Спектральный анализ речи с помощью линейного предсказания» («Spectral Analysis by Linear Prediction»), Протоколы IEEE по аудио и электроакустике, AU-21(3), июнь 1973 г.; Заявка на патент США 08/951,029; Патент США Номер 6,895,375.
Известные способы гармонического расширения полосы пропускания демонстрируют высокую сложность. С другой стороны, способы расширения полосы пропускания пониженной сложности демонстрируют потери качества. В частности, при низкой скорости передачи битов, и в сочетании с низкой пропускной способностью в НЧ диапазоне, могут возникать такие артефакты, как нечеткость и тембр, неприятные для восприятия. Причиной этого является прежде всего тот факт, что аппроксимированная ВЧ часть основывается на одной или более операциях прямого копирования или зеркального отображения НЧ части спектра.
Задачей настоящего изобретения является предоставить устройство и способ для воспроизведения аудиосигнала в улучшенной форме. Более того, задачей настоящего изобретения является предоставить устройство и способ для генерирования кодированного аудиосигнала, который может быть воспроизведен в улучшенной форме. Дополнительной задачей настоящего является предоставить соответствующую компьютерную программу и соответствующий кодированный аудиосигнал.
Эта задача успешно выполняется с помощью устройства для воспроизведения аудиосигнала по п. 1 формулы изобретения, способа для воспроизведения аудиосигнала по п. 13 формулы изобретения, устройства для генерирования кодированного аудиосигнала по п. 12 формулы изобретения, способа для генерирования кодированного аудиосигнала по п. 13 формулы изобретения, компьютерной программы по п. 14 формулы изобретения и кодированного аудиосигнала по п. 15 формулы изобретения.
Варианты осуществления настоящего изобретения обеспечивают устройство для воспроизведения аудиосигнала на основании первых данных, представляющих кодированную версию первой части аудиосигнала в первой частотной полосе, и вторых данных, представляющих вспомогательную информацию о второй части аудиосигнала во второй частотной полосе, причем вторая частотная полоса содержит частоты более высокие, чем первая частотная полоса, при этом устройство содержит:
первое воспроизводящее средство, выполненное с возможностью воспроизведения первой части аудиосигнала на основании первых данных;
средство предоставления, выполненное с возможностью предоставления сигнала-заплаты во второй частотной полосе, причем сигнал-заплата является некоррелированным относительно первой части аудиосигнала или является декоррелированной версией первой части аудиосигнала, которая была смещена во вторую частотную полосу;
второе воспроизводящее средство, выполненное с возможностью воспроизведения второй части аудиосигнала во второй частотной полосе на основании вторых данных и сигнала-заплаты; и
объединяющее средство для объединения воспроизводимой первой части аудиосигнала и сигнала-заплаты перед воспроизведением второй части аудиосигнала вторым воспроизводящим средством или для объединения воспроизводимой первой части аудиосигнала и воспроизводимой второй части аудиосигнала.
Варианты осуществления настоящего изобретения обеспечивают способ для воспроизведения аудиосигнала на основании первых данных, представляющих кодированную версию первой части аудиосигнала в первой частотной полосе, и вторых данных, представляющих вспомогательную информацию о второй части аудиосигнала во второй частотной полосе, причем вторая частотная полоса содержит частоты более высокие, чем первая частотная полоса, при этом способ содержит этапы, на которых:
воспроизводят аудиосигнал в первой частотной полосе на основании первых данных;
предоставляют сигнал-заплату во второй частотной полосе, причем сигнал-заплата является некоррелированным относительно первой части аудиосигнала или является декоррелированной версией первой части аудиосигнала, которая была смещена во вторую частотную полосу;
воспроизводят аудиосигнал во второй частотной полосе на основании вторых данных и сигнала-заплаты; и
объединяют воспроизводимую первую часть аудиосигнала и сигнал-заплату перед воспроизведением второй части аудиосигнала или объединяют воспроизводимую первую часть аудиосигнала и воспроизводимую вторую часть аудиосигнала.
Варианты осуществления настоящего изобретения имеют отношение к воспроизведению аудиосигнала, предусматривающему расширение полосы пропускания с использованием декоррелированных аудиосигналов частичной полосы. В отличие от уже существующих способов, большинства искажений сигналов и артефактов, которые в настоящее время типичны для расширений полосы пропускания, можно избежать при помощи декоррелированных аудиосигналов частичной полосы для расширения полосы пропускания, а не коррелированных (копированных с повышением или зеркально отображенных) аудиосигналов частичной полосы. Это достигается путем предоставления аудиосигнала, который формирует основу для воспроизведения высокочастотной части аудиосигнала, некоррелированного или декоррелированного относительно первой части (НЧ части) аудиосигнала. Варианты осуществления настоящего изобретения основаны на утверждении, что корреляция между низкочастотной частью и высокочастотной частью не должна поддерживаться при воспроизведении второй части сигнала из аудиосигнала. Наоборот, авторы изобретения приходят к выводу, что артефактов, таких, как нечеткость и тембр, неприятных для восприятия, можно избежать, используя декоррелированный или полностью некоррелированный сигнал-заплату.
Варианты осуществления настоящего изобретения обеспечивают устройство для генерирования кодированного аудиосигнала, причем кодированный аудиосигнал содержит первые данные, представляющие кодированную версию первой части аудиосигнала в первой частотной полосе, и вторые данные, представляющие вспомогательную информацию о второй части аудиосигнала во второй частотной полосе, причем вторая частотная полоса содержит частоты более высокие, чем первая частотная полоса, при этом устройство содержит:
средство добавления декорреляционной информации, выполненное с возможностью добавления к кодированному аудиосигналу информации о степени декорреляции, которая должна быть использована между первой частью аудиосигнала и сигналом-заплатой, на основании которой воспроизводится вторая часть аудиосигнала при воспроизведении аудиосигнала из кодированного аудиосигнала.
Варианты осуществления настоящего изобретения обеспечивают способ для генерирования кодированного аудиосигнала, причем кодированный аудиосигнал содержит первые данные, представляющие кодированную версию первой части аудиосигнала в первой частотной полосе, и вторые данные, представляющие вспомогательную информацию о второй части аудиосигнала во второй частотной полосе, причем вторая частотная полоса содержит частоты более высокие, чем первая частотная полоса, при этом способ содержит этап, на котором:
добавляют к кодированному аудиосигналу информацию о степени декорреляции, которая должна быть использована между первой частью аудиосигнала и сигналом-заплатой, на основании которой воспроизводится вторая часть аудиосигнала при воспроизведении аудиосигнала из кодированного аудиосигнала.
Варианты осуществления настоящего изобретения обеспечивают кодированный аудиосигнал, который содержит:
первые данные, представляющие кодированную версию первой части аудиосигнала в первой частотной полосе;
вторые данные, представляющие вспомогательную информацию о второй части аудиосигнала во второй частотной полосе, причем вторая частотная полоса содержит частоты более высокие, чем первая частотная полоса; и
информацию о степени декорреляции, которая должна быть использована между первой частью аудиосигнала и сигналом-заплатой, на основании которой воспроизводится вторая часть аудиосигнала при воспроизведении аудиосигнала из кодированного аудиосигнала.
Итак, варианты осуществления настоящего изобретения позволяют генерировать кодированный аудиосигнал таким образом, чтобы позволить декодировать кодированный аудиосигнал надлежащим образом, используя надлежащую степень декорреляции. Надлежащая степень декорреляции может быть определена на стороне устройства кодирования на основании характеристик первой части и/или второй части аудиосигнала.
В дальнейшем варианты осуществления настоящего изобретения разъясняются более подробно со ссылкой на прилагаемые чертежи, на которых:
Фиг. 1a демонстрирует структурную схему варианта осуществления устройства для воспроизведения аудиосигнала;
Фиг. 1b демонстрирует структурную схему другого варианта осуществления устройства для воспроизведения аудиосигнала;
Фиг. 2 демонстрирует структурную схему дополнительного варианта осуществления устройства для воспроизведения аудиосигнала;
Фиг. 3 демонстрирует структурную схему варианта осуществления устройства для генерирования кодированного аудиосигнала;
Фиг. 4a демонстрирует схематичную иллюстрацию стороны устройства кодирования с учетом вариантов осуществления настоящего изобретения;
Фиг. 4b демонстрирует схематичную иллюстрацию стороны устройства декодирования с учетом вариантов осуществления настоящего изобретения;
Фиг. 5a и 5b демонстрируют диаграммы, иллюстрирующие преимущества вариантов осуществления настоящего изобретения;
Фиг. 6 демонстрирует структурную схему устройства для воспроизведения аудиосигнала, от которого отталкивается настоящее изобретение; и
Фиг. 7a-7d демонстрируют диаграммы сигналов, полезные при разъяснении работы устройства, продемонстрированного на Фиг. 6.
Перед подробным разъяснением вариантов осуществления настоящего изобретения, считаем целесообразным коротко обсудить теоретические соображения, лежащие в основе изобретения.
Как указывалось выше, расширения полосы пропускания, основанные на операциях копирования (или операциях зеркального отображения), например, как SBR (SBR = Репликация спектральной полосы (Spectral Band Replication)), копируют большие части НЧ спектра непосредственно в ВЧ диапазон.
Пример устройства с SBR описывается со ссылкой на Фиг. 6 и 7. Огибающая аудиосигнала 2 продемонстрирована на Фиг. 7a. Аудиосигнал 2 содержит низкочастотную часть (или низкочастотную полосу) 4 и высокочастотную часть (или высокочастотную полосу) 6. Как правило, при перцепционном кодировании аудиосигналов, низкочастотная часть 4 кодируется посредством высококачественного устройства кодирования аудио, такого, как устройство кодирования с PCM (PCM = импульсно- кодовая модуляция (pulse code modulation)), тогда как верхняя полоса только очень грубо характеризуется вспомогательной информацией. Данные, представляющие кодированную низкочастотную часть, и данные, представляющие вспомогательную информацию, передаются с использованием соответствующего основного кодека. Фиг. 6 демонстрирует сигнал 8 основной полосы от основного кодека, который представляет низкочастотную часть 4, показанную на Фиг. 7b. Этот сигнал 8 поступает на модуль модуляции с одной боковой полосой/повышающего копирования, где сигнал 8 смещается в частотный диапазон высокочастотной части 6. Этот смещенный сигнал показан как сигнал 10 на Фиг. 7c. Смещенный сигнал 10 и сигнал 8 поступают на модуль 12 вставки заплат, где оба сигнала объединяются (суммируются) для получения спектра, показанного на Фиг. 7c. Часть 8 сигнала может быть смещена в p различных диапазонов верхних частот, где p ≥ 1. Таким образом объединение одного или нескольких (p) смещенных сигналов и сигнала 8 может иметь место в модуле 12 вставки заплат.
Выходной сигнал модуля 12 вставки заплат поступает на модуль 14 пост-обработки, который также принимает вспомогательную информацию 16, представляющую аудиосигнал в высокочастотной части 6. Таким образом, высокочастотная часть 10’ аудиосигнала 6 воспроизводится на основании вспомогательной информации 16 и аудиосигнала низкочастотной части 4. Получающийся аудиосигнал показан на Фиг. 7d. Модуль 14 пост-обработки выводит полнополосный выходной сигнал с охватом частотных диапазонов низкочастотной части 4 и высокочастотной части 6.
Соответственно, расширения полосы пропускания на основании операций копирования (или операций зеркального отображения), такие как, например, SBR, копируют большие части низкочастотного спектра непосредственно в высокочастотный диапазон. Это может быть достигнуто в результате применения модуляции с одной боковой полосой представления во временной области аудиосигнала или прямого процесса копирования (копирования с повышением) в спектральном представлении аудиосигнала. Этот этап обработки обычно называют "вставка заплаты".
Вообще, может быть множество заплат, копируемых в различные высокочастотные полосы. Соответствующие частотные полосы могут перекрываться или нет. Каждая из соответствующих ВЧ заплат, таким образом, полностью коррелирует с низкочастотным диапазоном, из которого она была извлечена. Авторы настоящего изобретения пришли к выводу, что тем самым модуляции временной огибающей могут происходить в результате наложения обоих сигналов с частотой, которая зависит от спектрального расстояния между НЧ полосой и спектральным положением соответственной ВЧ заплаты.
С системно-теоретической точки зрения, это явление следует рассматривать как сопряженное с работой гребенчатого фильтра с конечной импульсной характеристикой (КИХ), содержащего задержку n отсчетов при Fs в качестве частоты дискретизации. Этот фильтр имеет амплитудно-частотную характеристику с шириной гребенки (спектральное расстояние между двумя максимумами амплитудно-частотной характеристики) 1/n*Fs. Таким образом, системно-теоретическая двойственность имеет следующие прямые соответствия:
временная задержка <-> перенос частоты
амплитудно-частотная характеристика <-> временная огибающая.
Авторы настоящего изобретения пришли к выводу, что временные модуляции в результате этого слышимы с помехами и могут проявляться в автокорреляционной функции величины формы волны в виде периодически повторяющихся боковых максимумов. Такие периодически повторяющиеся боковые максимумы в автокорреляционной последовательности огибающей шумового сигнала для SBR с повышающим копированием показаны на Фиг. 5a. Фиг. 5a демонстрирует автокорреляционную функцию амплитудной огибающей белого шума, причем полоса пропускания расширяется тремя заплатами прямого повышающего копирования, которые полностью коррелируют между собой и с НЧ полосой.
Только когда НЧ и ВЧ сигнал демонстрирует одинаковую амплитуду, достигается максимальная глубина модуляции. На практике, следовательно, эффект модуляции часто немного ниже, потому что, как правило, ВЧ диапазон заметно тише (менее громкий), чем НЧ диапазон. Шумоподобные сигналы или квазистационарные сигналы с выраженной структурой обертонов должны считаться особенно важными по отношению к артефактам модуляции.
В случае наличия нескольких заплат (p на Фиг. 6), которые полностью коррелируют между собой, вышеупомянутая двойственность тоже справедлива, конечно. Оказывается, что временная модуляция амплитудной огибающей сопряжена с амплитудно-частотной характеристикой соответствующего КИХ-фильтра.
Итак, в соответствии с вариантами осуществления настоящего изобретения, заплата или заплаты декоррелируются друг от друга и от НЧ полосы. В вариантах осуществления настоящего изобретения используются одно или несколько декорреляционных средств, чтобы декоррелировать сигнал, полученный из низкочастотных составляющих сигнала, соответственно, перед тем, как он будет вставлен в диапазон(ы) верхних частот и, в зависимости от ситуации, подвергнут пост-обработке.
Варианты осуществления настоящего изобретения избегают указанных проблем, которые возникают вследствие операции копирования или операции зеркального отображения, благодаря использованию взаимно декоррелированных заплат. В вариантах осуществления настоящего изобретения, соответственные ВЧ заплаты декоррелируются от НЧ полосы по отдельности с помощью декорреляционных средств, например, посредством фазовых фильтров или другими известными способами декорреляции, или сразу синтезируются заплаты в декоррелированной по своей природе форме.
В вариантах осуществления настоящего изобретения степень декорреляции может жестко определяться или регулироваться на стороне устройства декодирования, или она может передаваться в качестве параметра от устройства кодирования на устройство декодирования. Кроме того, может декоррелироваться вся заплата, или только определенные части заплаты. Части заплаты, подлежащие декорреляции, также могут передаваться в качестве параметра от устройства кодирования на устройство декодирования как часть соответствующей информации, добавляемой к кодированному аудиосигналу.
Подход настоящего изобретения выгоден по сравнению с традиционными подходами для расширения полосы пропускания, поскольку искажения и окрашивания звука в результате создания помех или паразитных модуляций огибающей, как они имеются в современных способах, основанных на модуляции с одной боковой полосой/повышающем копировании НЧ полосы, безусловно предотвращаются при подходе настоящего изобретения. Это достигается при помощи ВЧ заплат, которые являются декоррелированными версиями НЧ части сигнала или которые полностью некоррелированы по отношению к НЧ части сигнала.
Далее описывается сценарий, в котором могут быть реализованы варианты осуществления настоящего изобретения, со ссылкой на Фиг. 4a и 4b.
Сторона устройства кодирования продемонстрирована на Фиг. 4a, а сторона устройства декодирования продемонстрирована на Фиг. 4b. Аудиосигнал подается в комбинированный фильтр нижних/ верхних частот на вход 700. Комбинированный фильтр нижних/верхних частот, с одной стороны, включает в себя фильтр нижних частот (LP-lowpass), для генерирования отфильтрованной по нижним частотам версии аудиосигнала, представленной через 703 на Фиг. 7a. Этот отфильтрованный по нижним частотам аудиосигнал кодируется устройством 704 кодирования аудио. Устройство кодирования аудио представляет собой, например, устройство кодирования MP3 (MPEG-1/2 3-го уровня) или устройство кодирования AAC, описанные в стандарте MPEG-2/4. Альтернативные устройства кодирования аудио, обеспечивающие прозрачное или предпочтительно перцепционно прозрачное представление аудиосигнала 703 с ограниченной полосой частот, могут использоваться в устройстве 704 кодирования, чтобы генерировать полностью закодированный или перцепционно закодированный и перцепционно прозрачно закодированный аудиосигнал 705, соответственно. Верхняя полоса аудиосигнала выводится на выход 706 частью фильтрования верхних частот фильтра 702, обозначенной "HP". Прошедшая через фильтр верхних частот часть аудиосигнала, т.е. верхняя полоса или ВЧ полоса, также обозначаемая как ВЧ часть, поставляется на средство 707 вычисления параметров, которое выполнено с возможностью вычисления различных параметров (представляющих вспомогательную информацию, представляющую высокочастотную часть аудиосигнала). Этими параметрами являются, например, огибающая спектра верхней полосы 706 в относительно низком разрешении, к примеру, за счет представления коэффициента масштабирования для каждой группы частот на перцепционно адаптированной шкале (критические полосы), например, для каждой барк-полосы на шкале барков. Еще одним параметром, который может быть вычислен средством 707 вычисления параметров, является минимальный уровень шума в верхней полосе, чья энергия на полосе может быть связана с энергией огибающей в этой полосе. Дополнительными параметрами, которые могут быть вычислены средством 707 вычисления параметров, включают в себя меру тональности для каждой частичной полосы верхней полосы, которая указывает, как спектральная энергия распределяется в полосе, т.е. распределяется ли спектральная энергия в полосе относительно равномерно, причем в таком случае в этой полосе имеется атональный сигнал, или концентрируется ли энергия в полосе относительно сильно в определенном месте, причем в таком случае скорее тональный сигнал имеется для этой полосы. Дополнительные параметры содержат в себе явную кодировку пиков, относительно сильно выступающих в верхней полосе по высоте и частоте, как модель расширения полосы пропускания, при реконструкции без такой явной кодировки заметных синусоидальных участков в верхней полосе будет лишь восстановление один в один самым элементарным образом, или вообще не будет.
В любом случае, средство 707 вычисления параметров выполняется с возможностью генерирования параметров 708 только для верхней полосы, которая может быть подвергнута аналогичным этапам по снижению энтропии, поскольку они могут также выполняться в устройстве 704 кодирования аудио для квантованных спектральных значений, как, например дифференциальное кодирование, предсказание или кодирование по алгоритму Хаффмана, и т.д. Затем представление 708 параметров и аудиосигнал 705 поставляются на средство 709 форматирования потока данных, которое выполняется с возможностью предоставления на выходной стороне потока 710 данных, который обычно представляет собой битовый поток в определенном формате, как это, например, стандартизировано в Стандарте MPEG4.
Сторона декодера, которая была бы подходящей для настоящего изобретения, продемонстрирована на Фиг. 7b. Поток 710 данных вводится в средство 711 интерпретации потока данных, которое выполнено с возможностью отделения части 708 параметров от части 705 аудиосигнала. Часть 708 параметров декодируется декодером 712 параметров для получения декодированных параметров 713. Параллельно с этим, часть 705 аудиосигнала декодируется декодером 714 аудио для получения аудиосигнала 777, который представлен через 8 на Фиг. 6, например.
В зависимости от реализации, аудиосигнал 777 может быть выведен через первый выход 715. Тогда на выходе 715 может быть получен аудиосигнал с небольшой полосой пропускания и, следовательно, также и с низким качеством. Для повышения качества, однако, может быть выполнено расширение 720 полосы пропускания, используя подход настоящего изобретения, как описано ниже со ссылкой на Фиг. 1a, 1b и 2, чтобы получить аудиосигнал 112 на стороне выхода с расширенной или высокой полосой пропускания, соответственно, и с высоким качеством.
Один вариант осуществления устройства согласно настоящему изобретению для воспроизведения аудиосигнала и, тем самым, расширения его полосы пропускания, продемонстрирован на Фиг. 1a. Устройство содержит первое воспроизводящее средство 100, средство 102 предоставления, объединяющее средство 104 и второе воспроизводящее средство 106. В некоторых случаях может быть предусмотрен обнаружитель 108 перехода. Первое воспроизводящее средство 100 принимает на свой вход первые данные 120, представляющие кодированную версию первой части аудиоданных в первой частотной полосе. Например, первые данные 120 могут соответствовать части 705 аудиосигнала, показанной на Фиг. 4b. Первое воспроизводящее средство 100 воспроизводит аудиосигнал в первой частотной полосе на основании первых данных 120. Например, первое воспроизводящее средство 100 может быть образовано декодером 714 аудио, показанным на Фиг. 4b. Первое воспроизводящее средство 100 выводит аудиосигнал в первой частотной полосе, который может соответствовать аудиосигналу 777, показанному на Фиг. 4b. Аудиосигнал 777 поступает на средство 102 предоставления, которое предоставляет сигнал-заплату 122 во второй частотной полосе. Сигнал-заплата 122 является, по меньшей мере, частично некоррелированным относительно первой части аудиосигнала 777 или является, по меньшей мере, частично декоррелированной версией первой части аудиосигнала, которая была смещена во вторую частотную полосу. Аудиосигнал 777 и сигнал-заплата 122 объединяются, например суммируются, в объединяющем средстве 104. Объединенный сигнал 124 выводится и поступает на второе воспроизводящее средство 106. Второе воспроизводящее средство 106 принимает объединенный сигнал 124 и вторые данные 126, представляющие вспомогательную информацию о второй части аудиосигнала во второй частотной полосе. Например, вторые данные 126 могут соответствовать декодированным параметрам 713, описанным выше со ссылкой на Фиг. 4b. Второе воспроизводящее средство 106 воспроизводит аудиосигнал во второй частотной полосе на основании сигнала-заплатки (в составе объединенного сигнала 124) и на основании вторых данных 126.
В вариантах осуществления настоящего изобретения первая частотная полоса может соответствовать частотному диапазону, соотнесенному с первой частью аудиосигнала, показанного на Фиг. 7a, а вторая частотная полоса может соответствовать частотному диапазону, соотнесенному со второй частью аудиосигнала, показанного на Фиг. 7a.
В соответствии с вариантом осуществления, показанным на Фиг. 1a, второе воспроизводящее средство 106 выводит воспроизводимый аудиосигнал 128 с высокой полосой пропускания.
В альтернативном варианте осуществления, показанном на Фиг. 1b, выход средства 102 предоставления соединяется со вторым воспроизводящим средством 106, а выход второго воспроизводящего средства 106 соединяется с объединяющим средством 104. Таким образом, в соответствии с вариантом осуществления, показанным на Фиг. 1b, аудиосигнал 130 во второй частотной полосе воспроизводится из сигнала-заплаты, предоставленного средством 102 предоставления, до объединения сигнала-заплаты с первой частью 777 аудиосигнала. И вновь, второе воспроизводящее средство воспроизводит аудиосигнал 130 во второй частотной полосе на основании вторых данных 126 и сигнала-заплаты 122. В соответствии с вариантом осуществления, показанным на Фиг. 1b, объединяющее средство 104 выводит воспроизводимый аудиосигнал 128.
В вариантах осуществления настоящего изобретения средство предоставления содержит модуль смещения и декорреляционное средство, которые выполнены с возможностью генерирования сигнала-заплаты в виде декоррелированной версии первой части аудиосигнала, смещенной во вторую частотную полосу. В вариантах осуществления настоящего изобретения средство предоставления выполняется с возможностью предоставления синтезированного сигнала-заплаты, который является некоррелированным относительно первой части аудиосигнала. В вариантах осуществления настоящего изобретения средство предоставления выполнено с возможностью предоставления множества сигналов-заплат для множества верхних частотных полос. В таких вариантах осуществления второе воспроизводящее средство и второе объединяющее средство выполняются с возможностью воспроизведения множества вторых частей сигнала и объединения множества частей сигнала в воспроизводимый аудиосигнал.
Один из вариантов осуществления устройства для воспроизведения аудиосигнала с использованием расширения полосы пропускания, которое использует декоррелированные аудиосигналы частичной полосы, показан на Фиг. 2. Устройство принимает сигнал основной полосы от основного кодека, который может быть сигналом 777, показанным на Фиг. 4b. Сигнал 777 поступает на модуль 200 смещения. Модуль 200 смещения выполняется с возможностью смещения сигнала 777 из низкочастотного диапазона в высокочастотный диапазон, например, из частотного диапазона, соотнесенного с низкочастотной частью 4 на Фиг. 7a, в частотный диапазон, соотнесенный с высокочастотной частью 6 на Фиг. 7a.
Модуль 200 смещения может быть выполнен с возможностью простого повышающего копирования части 777 сигнала в высокочастотный диапазон в частотной области. В качестве альтернативы, модуль 200 смещения может быть реализован в виде модуля модуляции с одной боковой полосой, выполненного с возможностью исполнения модуляции с одной боковой полосой во временной области для того, чтобы сместить первую часть аудиосигнала из первой частотной полосы во вторую частотную полосу.
Смещенная первая часть аудиосигнала поступает на декорреляционный модуль 202a. Смещенная декоррелированная первая часть аудиосигнала выводится декорреляционным модулем 202a в качестве сигнала-заплаты 204. Сигнал-заплата 204 поступает на модуль 206 вставки заплат, в котором сигнал-заплата 204 объединяется с первой частью 777 аудиосигнала. Например, сигнал-заплата и первая часть аудиосигнала связываются или суммируются в модуле 206 вставки заплат. Объединенный сигнал выводится из модуля 206 вставки заплат и поступает в модуль 210 пост-обработки.
Модуль 210 пост-обработки принимает вторые данные 212 и представляет собой второе воспроизводящее средство, выполненное с возможностью воспроизведения второй части аудиосигнала во второй частотной полосе на основании вторых данных 212 и сигнала-заплаты 204 (который включен в объединенный сигнал 208). И вновь, вторые данные 212 представляют вспомогательную информацию и могут соответствовать декодированным параметрам 713, описанным выше со ссылкой на Фиг. 4b. Полнополосный выходной сигнал 214 модуля 210 пост-обработки представляет собой воспроизводимый аудиосигнал.
В варианте осуществления, показанном на Фиг. 2, модуль 200 смещения и декорреляционный модуль 202a представляют собой средство предоставления, выполненное с возможностью предоставления сигнала-заплаты 204.
В вариантах осуществления настоящего изобретения, модуль 200 смещения может выполняться с возможностью смещения первой части 777 аудиосигнала во множество из p различных частотных полос. Декорреляционный модуль 202a-202p может быть предусмотрен для каждой смещенной версии, чтобы предоставить p сигналов-заплат. В случае использования более одной заплат (например, p заплат), эти p заплат должны быть некоррелированными между собой и с НЧ полосой. Затем смещенные версии, соотнесенные с каждой частотной полосой, объединяются в модуле 206 вставки заплат. Вторые данные, представляющие вспомогательную информацию для каждой из верхних частотных полос, могут предоставляться на модуль 210 пост-обработки, чтобы множество частей верхних частот аудиосигнала воспроизводились в модуле 210 пост-обработки.
В вариантах осуществления настоящего изобретения первая и вторая частотные полосы (и, возможно, дополнительные частотные полосы) могут перекрываться или могут не перекрываться по частоте.
Соответственно, в вариантах осуществления настоящего изобретения, средство предоставления содержит смещающий модуль, выполненный с возможностью смещения первой части аудиосигнала в первой частотной полосе во вторую частотную полосу или во множество различных вторых частотных полос, и декорреляционное средство для декорреляции смещенной версии первой части аудиосигнала от первой части аудиосигнала. В вариантах осуществления настоящего изобретения декорреляционное средство может иметь такие же характеристики, как известные, например, из декорреляции при пространственном кодировании аудио. В вариантах осуществления настоящего изобретения декорреляционное средство может обеспечивать достаточную декорреляцию для того, чтобы избежать искажений сигнала и артефактов, которые типичны для традиционных расширений полосы пропускания с использованием репликации спектральной полосы. Декорреляционное средство может обеспечивать сохранение огибающей спектра первой части аудиосигнала и/или может обеспечивать сохранение временной огибающей, т.е. переходных процессов, первой части аудиосигнала. А значит, проектирование подходящего декорреляционного средства может, как правило, подразумевать компромисс между сохранением переходных процессов и декорреляцией.
В вариантах осуществления настоящего изобретения декорреляционное средство может быть реализовано в виде БИХ-фильтра (БИХ = бесконечная импульсная характеристика) во временной области или временной области частичной полосы, например, фазового фильтра, в котором декорреляция достигается посредством изменений групповой задержки. В вариантах осуществления настоящего изобретения декорреляционное средство может быть выполнено с возможностью обеспечения фазовой рандомизации коэффициентов спектрального разложения в комплексном (с избыточной дискретизацией) преобразовании/ представлении банка фильтров (представлении ДПФ, КЗФ) (ДПФ = дискретное преобразование Фурье; КЗФ = квадратурный зеркальный фильтр). В вариантах осуществления настоящего изобретения декорреляционное средство может выполняться с целью обеспечения применения частотно-зависимой временной задержки в представлении банка фильтров.
Варианты осуществления настоящего изобретения могут содержать адаптивное средство декорреляции сигналов, которое изменяет степень декорреляции для того, чтобы сохранить переходные процессы. Высокая декорреляция может быть предусмотрена для квазистационарных сигналов, а низкая декорреляция может быть предусмотрена для переходных сигналов. Соответственно, в вариантах осуществления настоящего изобретения, средство предоставления для предоставления сигнала-заплаты может быть выполнено с возможностью переключения между различными степенями декорреляции.
В вариантах осуществления, средство предоставления для предоставления сигнала-заплаты может быть выполнено с возможностью переключения между различными степенями декорреляции в зависимости от того, содержит ли первая часть сигнала признак сильной корреляции между первой частью аудиосигнала и второй частью аудиосигнала. Вариантами осуществления для такого признака являются переходный процесс в первой части аудиосигнала, вокализованная речь, состоящая из серий импульсов в первой части аудиосигнала, и/или звук медных духовых инструментов в первой части аудиосигнала. В дальнейшем описываются варианты осуществления, в которых признаком является переходный процесс в первой части аудиосигнала.
В вариантах осуществления настоящего изобретения, устройство может содержать обнаружитель, выполненный с возможностью обнаружения, содержит ли первая часть аудиосигнала переходный процесс. Такой обнаружитель 108 схематично показан на Фиг. 1a и 1b. В зависимости от выходного сигнала обнаружителя 108, средство 102 предоставления может быть выполнено с возможностью предоставления сигнала-заплаты с высокой декорреляцией для квазистационарных сигналов, т.е. когда первая часть аудиосигнала не имеет переходного процесса, и с низкой декорреляцией, если первая часть аудиосигнала имеет переходные сигналы.
В альтернативных вариантах осуществления настоящего изобретения устройство может содержать адаптивное средство декорреляции сигналов, которое активируется для квазистационарных сигналов и деактивируется для частей переходных сигналов. Другими словами, средство предоставления может быть выполнено с возможностью вывода смещенной первой части сигнала без ее декорреляции в случае, если первая часть сигнала содержит части переходных сигналов, и вывода декоррелированного сигнала-заплаты только в том случае, если первая часть сигнала не содержит переходных процессов или частей переходных сигналов. В таких вариантах осуществления второе воспроизводящее средство выполнено с возможностью воспроизведения аудиосигнала во второй частотной полосе на основании вторых данных и сигнала-заплаты, если первая часть аудиосигнала не содержит переходного процесса, и выполняется с возможностью воспроизведения аудиосигнала во второй частотной полосе на основании вторых данных и версии первой части аудиосигнала, которая была смещена во вторую частотную полосу и которая не была декоррелирована, если первая часть аудиосигнала содержит переходный процесс.
Переходный процесс или переходные части могут рассматриваться как заключающиеся в том, что аудиосигнал значительно изменяется в целом, т.е. что, например, энергия аудиосигнала изменяется более чем на 50% от одной временной части до следующей временной части, т.е. увеличивается или уменьшается. 50%-ый порог является только примером, однако, и может также принимать меньшие или большие значения. В качестве альтернативы, для обнаружения переходного процесса, также можно рассматривать изменение распределения энергии, например, при переходе от звонкого звука к шипящему.
В вариантах осуществления настоящего изобретения средство предоставления может быть выполнено с возможностью предоставления синтезированного сигнала-заплаты, который является некоррелированным относительно первой части аудиосигнала. Другими словами, вставка заплаты с некоррелированным синтезированным сигналом-заплатой (таким, как синтезированный шум) может быть уже достаточным, если параметрическая пост-обработка хорошо детализирована (сценарий кодека с высокой битовой скоростью) или если ВЧ полоса сигнала является шумоподобной, так или иначе.
В вариантах осуществления настоящего изобретения, корреляция НЧ полосы и ВЧ полосы в рамках расширения полосы пропускания (подобного SBR), тем не менее полезна для улучшения слишком грубой временной сетки параметрической пост-обработки (например, вследствие сценария кодека с низкой битовой скоростью), точного воспроизведения переходных процессов и сохранения тонов, которые обладают богатой структурой обертонов (обычно декорреляция не влияет на тональность и, следовательно, сохранение тональности не представляет собой проблему при разработке декорреляционного средства).
Что касается известных декорреляционных средств, к примеру, имеющих отношение к декорреляции при пространственном кодировании аудио, делается отсылка на WO 2007/118583 A1, например.
В вариантах осуществления настоящего изобретения, средство 102 предоставления может содержать адаптивное декорреляционное средство, которое регулирует декорреляцию ВЧ заплат на основании параметра, передаваемого от устройства кодирования на устройство декодирования. В таких вариантах осуществления устройство выполнено с целью воспроизведения аудиосигнала на основании первых данных, вторых данных и третьих данных, содержащих информацию о степени декорреляции, которая должна быть использована между первой частью аудиосигнала и сигналом-заплатой, на основании которой воспроизводится вторая часть при воспроизведении аудиосигнала из кодированного аудиосигнала. Такие третьи данные могут быть добавлены к кодированным аудиоданным на стороне устройства кодирования, например, при помощи средства 300 добавления декорреляционной информации, показанного на Фиг. 3 в настоящей заявке. Устройство, показанное на Фиг. 3, соответствует устройству, показанному на Фиг. 4a, за исключением средства добавления декорреляционной информации.
Средство 300 добавления декорреляционной информации принимает выход фильтра 702 нижних частот и может выявлять характеристики из выходного сигнала фильтра 702 нижних частот. Например, средство добавления декорреляционной информации может обнаруживать переходные процессы в выходном сигнале фильтра 702 нижних частот. В зависимости от характеристик выхода фильтра 702 нижних частот, средство добавления декорреляционной информации добавляет к кодированному аудиосигналу 710 информацию о степени декорреляции, которая должна быть использована между первой частью аудиосигнала и сигналом-заплатой, на основании которой воспроизводится вторая часть при воспроизведении аудиосигнала из кодированного аудиосигнала. Например, декорреляционная информация может давать указание средству предоставления на стороне устройства декодирования выполнять низкую декорреляцию или вообще не выполнять декорреляцию в случае, если есть переходные части в низкочастотной части аудиосигнала.
В вариантах осуществления настоящего изобретения, средство добавления декорреляционной информации может также принимать высокочастотную часть 706 аудиосигнала и может быть выполнено с возможностью извлечения из нее характеристик. Например, в случае, если средство добавления декорреляционной информации обнаруживает, что ВЧ полоса является шумоподобной, оно может рекомендовать средству предоставления на стороне устройства декодирования предоставить сигнал-заплату на основании синтезированного шумового сигнала.
В таких вариантах осуществления кодированный аудиосигнал 320, представленный потоком 710 данных, содержит первые данные 321, представляющие кодированную версию первой части аудиосигнала, вторые данные 322, представляющие вспомогательную информацию о второй части аудиосигнала во второй частотной полосе, и информацию 323 о степени декорреляции, которая должна быть использована между первой частью аудиосигнала и сигналом-заплатой, на основании которой воспроизводится вторая часть при воспроизведении аудиосигнала из кодированного аудиосигнала.
Соответственно, варианты осуществления настоящего изобретения обеспечивают улучшенный подход к воспроизведению аудиосигнала, т.е. к расширению на стороне устройства декодирования полосы пропускания аудиосигнала. В других вариантах осуществления, настоящее изобретение предоставляет устройство для генерирования кодированного аудиосигнала. Еще в одних вариантах осуществления, настоящее изобретение имеет отношение к таким кодированным аудиосигналам.
Полезный эффект, достигаемый благодаря подходу согласно настоящему изобретению, может проявляться при сравнении автокорреляционной последовательности огибающей шумового сигнала для SBR с повышающим копированием (показано на Фиг. 5a) с автокорреляционной последовательностью огибающей шумового сигнала декоррелированных заплат, как показано на Фиг. 5b в настоящей заявке. На Фиг. 5b представлена автокорреляционная функция амплитудной огибающей белого шума, причем полоса пропускания расширяется тремя заплатами, некоррелированными между собой и относительно НЧ полосы. На Фиг. 5b ясно показано исчезновение нежелательных боковых максимумов, показанных на Фиг. 5a.
Настоящая заявка применима или подходит для всех приложений работы с аудио, в которых недоступна полная полоса пропускания. Подход согласно настоящему изобретению может пригодиться в распространении или широковещании аудио-информационного наполнения, как, например, приложения цифрового радио, потоковой передачи через сеть Интернет и аудиосвязи. Варианты осуществления настоящего изобретения имеют отношение к расширению полосы пропускания с использованием декоррелированных аудиосигналов частичной полосы.
Хотя некоторые аспекты и были описаны применительно к устройству, понятно, что эти аспекты также представляют описание соответствующего способа, в котором блок или устройство соответствуют этапу способа или функциональной характеристике этапа способа. Аналогично, аспекты, описанные применительно к этапу способа, также представляют описание соответствующего блока или элемента или функциональную характеристику соответствующего устройства.
В зависимости от технических условий конкретной реализации варианты осуществления настоящего изобретения могут быть реализованы аппаратно или программно. Реализация может быть выполнена с использованием цифровой среды хранения, например, гибкого диска, DVD, CD, ПЗУ, ППЗУ, СППЗУ, ЭСППЗУ или запоминающего устройства с групповой перезаписью, с сохраненными на ней считываемыми в электронном виде управляющими сигналами, которые взаимодействуют (или способны к взаимодействию) с программируемой компьютерной системой таким образом, чтобы выполнялся соответственный способ.
Некоторые варианты осуществления в соответствии с настоящим изобретением содержат носитель данных со считываемыми в электронном виде управляющими сигналами, которые способны к взаимодействию с программируемой компьютерной системой таким образом, чтобы выполнялся один из способов, описанных в данном документе.
Вообще, варианты осуществления настоящего изобретения могут быть реализованы в форме компьютерного программного продукта с программным кодом, причем программный код производит операции для выполнения одного из способов при выполнении компьютерного программного продукта на компьютере. Программный код может, например, сохраняться на материальном машиночитаемом носителе.
Другие варианты осуществления содержат компьютерную программу для выполнения одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе или энергонезависимой среде хранения.
Другими словами, один из вариантов осуществления способа согласно настоящему изобретению представляет собой, соответственно, компьютерную программу с программным кодом для выполнения одного из способов, описанных в данном документе, при выполнении компьютерной программы на компьютере.
Дополнительный вариант осуществления способов согласно настоящему изобретению представляет собой, соответственно, носитель данных (или цифровой носитель данных или считываемый компьютером носитель), содержащий записанную на него компьютерную программу для выполнения одного из способов, описанных в данном документе.
Дополнительный вариант осуществления способа согласно настоящему изобретению представляет собой, соответственно, поток данных или последовательность сигналов, представляющих компьютерную программу для выполнения одного из способов, описанных в данном документе. Поток данных или последовательность сигналов могут, например, быть реализованы с возможностью передачи через соединение связи для передачи данных, например через сеть Интернет.
Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью или приспособленное для выполнения одного из способов, описанных в данном документе.
Дополнительный вариант осуществления содержит компьютер с установленной на нем компьютерной программой для выполнения одного из способов, описанных в данном документе.
В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для выполнения некоторых или всех функциональных возможностей способов, описанных в данном документе. В некоторых вариантах осуществления программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором с целью выполнения одного из способов, описанных в данном документе. В общем случае предпочтительно, если способы выполняются каким-либо аппаратным устройством.
Описанные выше варианты осуществления всего лишь поясняют принципы настоящего изобретения. Понятно, что модификации и вариации конструкций и элементов, описанных в данном документе, будут очевидны для специалистов в данной области техники. Суть, следовательно, в том, что ограничиваться следует только объемом следующей далее формулы изобретения, а не конкретными элементами, представленными посредством описания и объяснения вариантов осуществления в данном документе.
Claims (28)
1. Устройство для воспроизведения аудиосигнала на основании первых данных (120; 321; 705), представляющих кодированную версию первой части аудиосигнала в первой частотной полосе, и вторых данных (126; 322; 708), представляющих вспомогательную информацию о второй части аудиосигнала во второй частотной полосе, причем вторая частотная полоса содержит частоты более высокие, чем первая частотная полоса, при этом упомянутое устройство содержит:
первое воспроизводящее средство (100), выполненное с возможностью воспроизведения первой части (777) аудиосигнала на основании первых данных (120; 321; 705);
средство (102; 200, 202а) предоставления, выполненное с возможностью предоставления сигнала-заплаты (122; 204) во второй частотной полосе, причем сигнал-заплата (122; 204) является некоррелированным относительно первой части (777) аудиосигнала или по меньшей мере частично декоррелированной версией первой части (777) аудиосигнала, которая была смещена во вторую частотную полосу;
второе воспроизводящее средство (106) (106), представляющее собой пост-процессор и выполненное с возможностью воспроизведения второй части аудиосигнала во второй частотной полосе на основании вторых данных (126; 322; 708) и сигнала-заплаты (122; 204), при этом огибающая спектра второй части аудиосигнала, минимальный уровень шума во второй части аудиосигнала, мера тональности для каждой частичной полосы во второй части аудиосигнала и явное кодирование синусоидальных участков во второй части аудиосигнала представляют собой вспомогательную информацию, представляемую вторыми данными; и
объединяющее средство (104) для объединения воспроизводимой первой части (777) аудиосигнала и сигнала-заплаты (122; 204) перед воспроизведением второй части аудиосигнала вторым воспроизводящим средством или для объединения воспроизводимой первой части (777) аудиосигнала и воспроизводимой второй части аудиосигнала.
2. Устройство по п. 1, в котором второе воспроизводящее средство (106) выполнено с возможностью воспроизведения аудиосигнала во второй частотной полосе на основании вторых данных (126; 322; 708) и сигнала-заплаты (122; 204), если первая часть (777) аудиосигнала не содержит переходного процесса, вокализованной речи, состоящей из серий импульсов, и/или звука медных духовых инструментов, и в котором второе воспроизводящее средство (106) выполнено с возможностью воспроизведения аудиосигнала во второй частотной полосе на основании вторых данных (126; 322; 708) и версии первой части аудиосигнала, которая была смещена во вторую частотную полосу и которая не была декоррелирована, если первая часть (777) аудиосигнала содержит переходный процесс, вокализованную речь, состоящую из серий импульсов, и/или звук медных духовых инструментов.
3. Устройство по п. 1, в котором средство (102) предоставления выполнено с возможностью предоставления синтезированного сигнала-заплаты, который является некоррелированным относительно первой части аудиосигнала.
4. Устройство по п. 3, в котором синтезированный сигнал-заплата является шумовым сигналом.
5. Устройство по п. 1, в котором средство (102) предоставления содержит модуль (200) смещения и декорреляционное средство (202а…202р), которые выполнены с возможностью генерирования сигнала-заплаты (122; 204) в виде декоррелированной версии первой части (777) аудиосигнала, смещенной во вторую частотную полосу.
6. Устройство по п. 5, в котором декорреляционное средство (202а…202р) выполнено с возможностью сохранения по меньшей мере одной из огибающей спектра первой части (777) аудиосигнала и временной огибающей первой части (777) аудиосигнала.
7. Устройство по п. 5, в котором декорреляционное средство (202а…202р) содержит одно из следующего:
фазовый фильтр, выполненный с возможностью вызывать изменения групповой задержки в первой части аудиосигнала;
фазовый рандомизатор, выполненный с возможностью вызывать фазовую рандомизацию коэффициентов спектрального разложения первой части аудиосигнала; и
исполнительное средство, выполненное с возможностью применения частотно-зависимой временной задержки к суб-частям первой части аудиосигнала.
8. Устройство по п. 5, в котором декорреляционное средство (202а…202р) содержит адаптивное средство декорреляции сигналов, выполненное с возможностью изменения степени декорреляции для того, чтобы применять более высокую декорреляцию, если первая часть (777) аудиосигнала не содержит переходного процесса, вокализованной речи, состоящей из серий импульсов, и/или звука медных духовых инструментов, и применять более низкую декорреляцию или не применять декорреляцию, если первая часть (777) аудиосигнала содержит переходный процесс, вокализованную речь, состоящую из серий импульсов, и/или звук медных духовых инструментов.
9. Устройство по п. 2, содержащее обнаружитель (108), выполненный с возможностью обнаружения, содержит ли первая часть (777) сигнала аудиосигнала переходный процесс, вокализованную речь, состоящую из серий импульсов, и/или звук медных духовых инструментов.
10. Устройство по п. 1, в котором средство (200, 202а…202р) предоставления выполнено с возможностью предоставления второго сигнала-заплаты в третьей частотной полосе, причем второй сигнал-заплата является некоррелированным относительно первой части аудиосигнала или является декоррелированной версией первой части аудиосигнала, которая была смещена в третью частотную полосу, причем второй сигнал-заплата является некоррелированным или декоррелированным относительно первого сигнала-заплаты, при этом устройство содержит третье воспроизводящее средство, причем третье воспроизводящее средство выполнено с возможностью воспроизведения третьей части аудиосигнала на основании второго сигнала-заплаты и третьих данных, представляющих вспомогательную информацию о третьей части аудиосигнала в третьей частотной полосе, причем третья частотная полоса содержит частоты более высокие, чем вторая частотная полоса.
11. Способ для воспроизведения аудиосигнала на основании первых данных (120; 321; 705), представляющих кодированную версию первой части аудиосигнала в первой частотной полосе, и вторых данных (126; 322; 708), представляющих вспомогательную информацию о второй части аудиосигнала во второй частотной полосе, причем вторая частотная полоса содержит частоты более высокие, чем первая частотная полоса, при этом упомянутый способ содержит этапы, на которых:
воспроизводят аудиосигнал (777) в первой частотной полосе на основании первых данных (120; 321; 705);
предоставляют сигнал-заплату (122; 204) во второй частотной полосе, причем сигнал-заплата (122; 204) является некоррелированным относительно первой части (777) аудиосигнала или по меньшей мере частично декоррелированной версией первой части (777) аудиосигнала, которая была смещена во вторую частотную полосу;
воспроизводят вторую часть аудиосигнала во второй частотной полосе на основании вторых данных (126; 322; 708) и сигнала-заплаты (122; 204) посредством пост-процессора, при этом огибающая спектра второй части аудиосигнала, минимальный уровень шума во второй части аудиосигнала, мера тональности для каждой частичной полосы во второй части аудиосигнала и явное кодирование синусоидальных участков во второй части аудиосигнала представляют собой вспомогательную информацию, представляемую вторыми данными; и
объединяют воспроизводимую первую часть (777) аудиосигнала и сигнал-заплату (122; 204) перед воспроизведением второй части аудиосигнала или объединяют воспроизводимую первую часть (777) аудиосигнала и воспроизводимую вторую часть аудиосигнала.
12. Устройство для генерирования кодированного аудиосигнала (320), причем кодированный аудиосигнал (320) содержит первые данные (321), представляющие кодированную версию первой части (703) аудиосигнала в первой частотной полосе, и вторые данные (322), представляющие вспомогательную информацию о второй части (706) аудиосигнала во второй частотной полосе, причем вторая частотная полоса содержит частоты более высокие, чем первая частотная полоса, при этом устройство содержит:
средство (300) добавления декорреляционной информации, выполненное с возможностью добавления к кодированному аудиосигналу (320), в дополнение к первым данным (321) и вторым данным (322), информации (323) о степени декорреляции, которая должна быть использована между первой частью аудиосигнала и сигналом-заплатой, на основании которой посредством пост-процессора воспроизводится вторая часть аудиосигнала при воспроизведении аудиосигнала из кодированного аудиосигнала, при этом огибающая спектра второй части аудиосигнала, минимальный уровень шума во второй части аудиосигнала, мера тональности для каждой частичной полосы во второй части аудиосигнала и явное кодирование синусоидальных участков во второй части аудиосигнала представляют собой вспомогательную информацию, представляемую вторыми данными.
13. Способ для генерирования кодированного аудиосигнала (320), причем кодированный аудиосигнал (320) содержит первые данные (321), представляющие кодированную версию первой части (703) аудиосигнала в первой частотной полосе, и вторые данные (322), представляющие вспомогательную информацию о второй части (706) аудиосигнала во второй частотной полосе, причем вторая частотная полоса содержит частоты более высокие, чем первая частотная полоса, при этом способ содержит этапы, на которых:
добавляют к кодированному аудиосигналу (320), в дополнение к первым данным (321) и вторым данным (322), информацию (323) о степени декорреляции, которая должна быть использована между первой частью аудиосигнала и сигналом-заплатой, на основании которой посредством пост-процессора воспроизводится вторая часть аудиосигнала при воспроизведении аудиосигнала из кодированного аудиосигнала (320), при этом огибающая спектра второй части аудиосигнала, минимальный уровень шума во второй части аудиосигнала, мера тональности для каждой частичной полосы во второй части аудиосигнала и явное кодирование синусоидальных участков во второй части аудиосигнала представляют собой вспомогательную информацию, представляемую вторыми данными.
14. Считываемый компьютером носитель, хранящий компьютерную программу, содержащую программный код для выполнения способа по п. 11 при выполнении этой компьютерной программы на компьютере.
15. Считываемый компьютером носитель, хранящий компьютерную программу, содержащую программный код для выполнения способа по п. 13 при выполнении этой компьютерной программы на компьютере.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261693575P | 2012-08-27 | 2012-08-27 | |
| US61/693,575 | 2012-08-27 | ||
| EP12187265.9A EP2704142B1 (en) | 2012-08-27 | 2012-10-04 | Apparatus and method for reproducing an audio signal, apparatus and method for generating a coded audio signal, computer program and coded audio signal |
| EP12187265.9 | 2012-10-04 | ||
| PCT/EP2013/067730 WO2014033131A1 (en) | 2012-08-27 | 2013-08-27 | Apparatus and method for reproducing an audio signal, apparatus and method for generating a coded audio signal, computer program and coded audio signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2015110702A RU2015110702A (ru) | 2016-10-20 |
| RU2607262C2 true RU2607262C2 (ru) | 2017-01-10 |
Family
ID=47010331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2015110702A RU2607262C2 (ru) | 2012-08-27 | 2013-08-27 | Устройство и способ для воспроизведения аудиосигнала, устройство и способ для генерирования кодированного аудиосигнала, компьютерная программа и кодированный аудиосигнал |
Country Status (15)
| Country | Link |
|---|---|
| US (1) | US9305564B2 (ru) |
| EP (2) | EP2704142B1 (ru) |
| JP (1) | JP6229957B2 (ru) |
| KR (1) | KR101711312B1 (ru) |
| CN (1) | CN104603872B (ru) |
| AR (1) | AR092228A1 (ru) |
| BR (1) | BR112015004556B1 (ru) |
| CA (1) | CA2882775C (ru) |
| ES (2) | ES2549953T3 (ru) |
| MX (1) | MX347592B (ru) |
| PL (1) | PL2888737T3 (ru) |
| PT (1) | PT2888737T (ru) |
| RU (1) | RU2607262C2 (ru) |
| TW (1) | TWI523004B (ru) |
| WO (1) | WO2014033131A1 (ru) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI618050B (zh) | 2013-02-14 | 2018-03-11 | 杜比實驗室特許公司 | 用於音訊處理系統中之訊號去相關的方法及設備 |
| TWI618051B (zh) | 2013-02-14 | 2018-03-11 | 杜比實驗室特許公司 | 用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置 |
| WO2014126688A1 (en) * | 2013-02-14 | 2014-08-21 | Dolby Laboratories Licensing Corporation | Methods for audio signal transient detection and decorrelation control |
| JP6242489B2 (ja) * | 2013-07-29 | 2017-12-06 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 脱相関器における過渡信号についての時間的アーチファクトを軽減するシステムおよび方法 |
| US9831843B1 (en) | 2013-09-05 | 2017-11-28 | Cirrus Logic, Inc. | Opportunistic playback state changes for audio devices |
| US9774342B1 (en) | 2014-03-05 | 2017-09-26 | Cirrus Logic, Inc. | Multi-path analog front end and analog-to-digital converter for a signal processing system |
| US10284217B1 (en) | 2014-03-05 | 2019-05-07 | Cirrus Logic, Inc. | Multi-path analog front end and analog-to-digital converter for a signal processing system |
| US10785568B2 (en) | 2014-06-26 | 2020-09-22 | Cirrus Logic, Inc. | Reducing audio artifacts in a system for enhancing dynamic range of audio signal path |
| EP2980792A1 (en) * | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating an enhanced signal using independent noise-filling |
| EP2980789A1 (en) | 2014-07-30 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for enhancing an audio signal, sound enhancing system |
| US9596537B2 (en) | 2014-09-11 | 2017-03-14 | Cirrus Logic, Inc. | Systems and methods for reduction of audio artifacts in an audio system with dynamic range enhancement |
| CN104195726B (zh) * | 2014-09-23 | 2016-04-13 | 宜兴市华恒高性能纤维织造有限公司 | 一种自动化2.5d立体编织装置 |
| US9503027B2 (en) | 2014-10-27 | 2016-11-22 | Cirrus Logic, Inc. | Systems and methods for dynamic range enhancement using an open-loop modulator in parallel with a closed-loop modulator |
| EP3308378B1 (en) * | 2015-06-11 | 2019-09-11 | Interactive Intelligence Group, Inc. | System and method for outlier identification to remove poor alignments in speech synthesis |
| US9959856B2 (en) | 2015-06-15 | 2018-05-01 | Cirrus Logic, Inc. | Systems and methods for reducing artifacts and improving performance of a multi-path analog-to-digital converter |
| US9955254B2 (en) | 2015-11-25 | 2018-04-24 | Cirrus Logic, Inc. | Systems and methods for preventing distortion due to supply-based modulation index changes in an audio playback system |
| US9543975B1 (en) | 2015-12-29 | 2017-01-10 | Cirrus Logic, Inc. | Multi-path analog front end and analog-to-digital converter for a signal processing system with low-pass filter between paths |
| US9880802B2 (en) | 2016-01-21 | 2018-01-30 | Cirrus Logic, Inc. | Systems and methods for reducing audio artifacts from switching between paths of a multi-path signal processing system |
| US9998826B2 (en) | 2016-06-28 | 2018-06-12 | Cirrus Logic, Inc. | Optimization of performance and power in audio system |
| US10545561B2 (en) | 2016-08-10 | 2020-01-28 | Cirrus Logic, Inc. | Multi-path digitation based on input signal fidelity and output requirements |
| US10263630B2 (en) | 2016-08-11 | 2019-04-16 | Cirrus Logic, Inc. | Multi-path analog front end with adaptive path |
| US9813814B1 (en) | 2016-08-23 | 2017-11-07 | Cirrus Logic, Inc. | Enhancing dynamic range based on spectral content of signal |
| US9780800B1 (en) | 2016-09-19 | 2017-10-03 | Cirrus Logic, Inc. | Matching paths in a multiple path analog-to-digital converter |
| US9929703B1 (en) | 2016-09-27 | 2018-03-27 | Cirrus Logic, Inc. | Amplifier with configurable final output stage |
| US9967665B2 (en) * | 2016-10-05 | 2018-05-08 | Cirrus Logic, Inc. | Adaptation of dynamic range enhancement based on noise floor of signal |
| EP3382703A1 (en) | 2017-03-31 | 2018-10-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and methods for processing an audio signal |
| US10321230B2 (en) | 2017-04-07 | 2019-06-11 | Cirrus Logic, Inc. | Switching in an audio system with multiple playback paths |
| US10008992B1 (en) | 2017-04-14 | 2018-06-26 | Cirrus Logic, Inc. | Switching in amplifier with configurable final output stage |
| US9917557B1 (en) | 2017-04-17 | 2018-03-13 | Cirrus Logic, Inc. | Calibration for amplifier with configurable final output stage |
| EP3435376B1 (en) * | 2017-07-28 | 2020-01-22 | Fujitsu Limited | Audio encoding apparatus and audio encoding method |
| US11158297B2 (en) * | 2020-01-13 | 2021-10-26 | International Business Machines Corporation | Timbre creation system |
| GB202203733D0 (en) * | 2022-03-17 | 2022-05-04 | Samsung Electronics Co Ltd | Patched multi-condition training for robust speech recognition |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002013183A1 (fr) * | 2000-08-09 | 2002-02-14 | Sony Corporation | Procede et dispositif de traitement de donnees vocales |
| RU2181481C2 (ru) * | 1995-06-16 | 2002-04-20 | Нокиа Мобил Фоунс Лимитед | Синтезатор и способ для речевого синтеза (варианты) и радиоустройство |
| WO2010003557A1 (en) * | 2008-07-11 | 2010-01-14 | Frauenhofer- Gesellschaft Zur Förderung Der Angewandten Forschung E. V. | Apparatus and method for generating a bandwidth extended signal |
| EP2239732A1 (en) * | 2009-04-09 | 2010-10-13 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for generating a synthesis audio signal and for encoding an audio signal |
| WO2011062535A1 (en) * | 2009-11-19 | 2011-05-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and arrangements for loudness and sharpness compensation in audio codecs |
| WO2011148230A1 (en) * | 2010-05-25 | 2011-12-01 | Nokia Corporation | A bandwidth extender |
| RU2011100135A (ru) * | 2008-07-11 | 2012-07-20 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен (DE) | Эффективное использование поэтапно передаваемой информации в аудиокодировании и декодировании |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5757973A (en) * | 1991-01-11 | 1998-05-26 | Sony Corporation | Compression of image data seperated into frequency component data in a two dimensional spatial frequency domain |
| US5455888A (en) | 1992-12-04 | 1995-10-03 | Northern Telecom Limited | Speech bandwidth extension method and apparatus |
| JPH10124088A (ja) | 1996-10-24 | 1998-05-15 | Sony Corp | 音声帯域幅拡張装置及び方法 |
| SE512719C2 (sv) | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
| US6895375B2 (en) | 2001-10-04 | 2005-05-17 | At&T Corp. | System for bandwidth extension of Narrow-band speech |
| EP1423847B1 (en) * | 2001-11-29 | 2005-02-02 | Coding Technologies AB | Reconstruction of high frequency components |
| JP4227772B2 (ja) * | 2002-07-19 | 2009-02-18 | 日本電気株式会社 | オーディオ復号装置と復号方法およびプログラム |
| US20070038439A1 (en) * | 2003-04-17 | 2007-02-15 | Koninklijke Philips Electronics N.V. Groenewoudseweg 1 | Audio signal generation |
| RU2005135650A (ru) * | 2003-04-17 | 2006-03-20 | Конинклейке Филипс Электроникс Н.В. (Nl) | Синтез аудиосигнала |
| SE0402652D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Methods for improved performance of prediction based multi- channel reconstruction |
| JP4821131B2 (ja) * | 2005-02-22 | 2011-11-24 | 沖電気工業株式会社 | 音声帯域拡張装置 |
| US7953605B2 (en) * | 2005-10-07 | 2011-05-31 | Deepen Sinha | Method and apparatus for audio encoding and decoding using wideband psychoacoustic modeling and bandwidth extension |
| WO2007118583A1 (en) | 2006-04-13 | 2007-10-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio signal decorrelator |
| US8015368B2 (en) * | 2007-04-20 | 2011-09-06 | Siport, Inc. | Processor extensions for accelerating spectral band replication |
| EP2301028B1 (en) * | 2008-07-11 | 2012-12-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | An apparatus and a method for calculating a number of spectral envelopes |
| MY154452A (en) * | 2008-07-11 | 2015-06-15 | Fraunhofer Ges Forschung | An apparatus and a method for decoding an encoded audio signal |
| ES2796552T3 (es) * | 2008-07-11 | 2020-11-27 | Fraunhofer Ges Forschung | Sintetizador de señales de audio y codificador de señales de audio |
| JP5010743B2 (ja) * | 2008-07-11 | 2012-08-29 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | スペクトル傾斜で制御されたフレーミングを使用して帯域拡張データを計算するための装置及び方法 |
| JP4932917B2 (ja) * | 2009-04-03 | 2012-05-16 | 株式会社エヌ・ティ・ティ・ドコモ | 音声復号装置、音声復号方法、及び音声復号プログラム |
| JP5651980B2 (ja) * | 2010-03-31 | 2015-01-14 | ソニー株式会社 | 復号装置、復号方法、およびプログラム |
| KR101697550B1 (ko) * | 2010-09-16 | 2017-02-02 | 삼성전자주식회사 | 멀티채널 오디오 대역폭 확장 장치 및 방법 |
| US9117440B2 (en) * | 2011-05-19 | 2015-08-25 | Dolby International Ab | Method, apparatus, and medium for detecting frequency extension coding in the coding history of an audio signal |
-
2012
- 2012-10-04 ES ES12187265.9T patent/ES2549953T3/es active Active
- 2012-10-04 EP EP12187265.9A patent/EP2704142B1/en active Active
-
2013
- 2013-08-26 TW TW102130443A patent/TWI523004B/zh active
- 2013-08-26 AR ARP130103011A patent/AR092228A1/es active IP Right Grant
- 2013-08-27 ES ES13756417.5T patent/ES2593072T3/es active Active
- 2013-08-27 CN CN201380045118.XA patent/CN104603872B/zh active Active
- 2013-08-27 RU RU2015110702A patent/RU2607262C2/ru active
- 2013-08-27 EP EP13756417.5A patent/EP2888737B1/en active Active
- 2013-08-27 WO PCT/EP2013/067730 patent/WO2014033131A1/en active Application Filing
- 2013-08-27 PL PL13756417.5T patent/PL2888737T3/pl unknown
- 2013-08-27 KR KR1020157007971A patent/KR101711312B1/ko active IP Right Grant
- 2013-08-27 MX MX2015002509A patent/MX347592B/es active IP Right Grant
- 2013-08-27 CA CA2882775A patent/CA2882775C/en active Active
- 2013-08-27 PT PT137564175T patent/PT2888737T/pt unknown
- 2013-08-27 BR BR112015004556-1A patent/BR112015004556B1/pt active IP Right Grant
- 2013-08-27 JP JP2015528988A patent/JP6229957B2/ja active Active
-
2015
- 2015-02-27 US US14/634,118 patent/US9305564B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2181481C2 (ru) * | 1995-06-16 | 2002-04-20 | Нокиа Мобил Фоунс Лимитед | Синтезатор и способ для речевого синтеза (варианты) и радиоустройство |
| WO2002013183A1 (fr) * | 2000-08-09 | 2002-02-14 | Sony Corporation | Procede et dispositif de traitement de donnees vocales |
| WO2010003557A1 (en) * | 2008-07-11 | 2010-01-14 | Frauenhofer- Gesellschaft Zur Förderung Der Angewandten Forschung E. V. | Apparatus and method for generating a bandwidth extended signal |
| RU2011100135A (ru) * | 2008-07-11 | 2012-07-20 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен (DE) | Эффективное использование поэтапно передаваемой информации в аудиокодировании и декодировании |
| EP2239732A1 (en) * | 2009-04-09 | 2010-10-13 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for generating a synthesis audio signal and for encoding an audio signal |
| WO2011062535A1 (en) * | 2009-11-19 | 2011-05-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and arrangements for loudness and sharpness compensation in audio codecs |
| WO2011148230A1 (en) * | 2010-05-25 | 2011-12-01 | Nokia Corporation | A bandwidth extender |
Also Published As
| Publication number | Publication date |
|---|---|
| MX2015002509A (es) | 2015-06-10 |
| JP6229957B2 (ja) | 2017-11-15 |
| EP2704142B1 (en) | 2015-09-02 |
| CA2882775A1 (en) | 2014-03-06 |
| EP2704142A1 (en) | 2014-03-05 |
| BR112015004556A2 (pt) | 2017-07-04 |
| EP2888737A1 (en) | 2015-07-01 |
| TW201419269A (zh) | 2014-05-16 |
| WO2014033131A1 (en) | 2014-03-06 |
| RU2015110702A (ru) | 2016-10-20 |
| JP2015526769A (ja) | 2015-09-10 |
| PL2888737T3 (pl) | 2016-12-30 |
| ES2549953T3 (es) | 2015-11-03 |
| CA2882775C (en) | 2017-08-29 |
| TWI523004B (zh) | 2016-02-21 |
| KR20150047607A (ko) | 2015-05-04 |
| EP2888737B1 (en) | 2016-06-22 |
| CN104603872B (zh) | 2017-08-11 |
| ES2593072T3 (es) | 2016-12-05 |
| BR112015004556B1 (pt) | 2021-10-13 |
| MX347592B (es) | 2017-05-03 |
| CN104603872A (zh) | 2015-05-06 |
| KR101711312B1 (ko) | 2017-02-28 |
| US9305564B2 (en) | 2016-04-05 |
| PT2888737T (pt) | 2016-10-04 |
| AR092228A1 (es) | 2015-04-08 |
| US20150170663A1 (en) | 2015-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2607262C2 (ru) | Устройство и способ для воспроизведения аудиосигнала, устройство и способ для генерирования кодированного аудиосигнала, компьютерная программа и кодированный аудиосигнал | |
| RU2758466C2 (ru) | Система и способ для генерирования ряда сигналов высокочастотных поддиапазонов | |
| Nagel et al. | A harmonic bandwidth extension method for audio codecs | |
| AU2009226654B2 (en) | Apparatus and method for converting an audio signal into a parameterized representation, apparatus and method for modifying a parameterized representation, apparatus and method for synthensizing a parameterized representation of an audio signal | |
| RU2455710C2 (ru) | Устройство и способ расширения полосы пропускания аудио сигнала | |
| AU2010268160B2 (en) | Bandwidth extension encoder, bandwidth extension decoder and phase vocoder | |
| RU2671997C2 (ru) | Кодер и декодер аудиосигнала, использующие процессор частотной области с заполнением промежутка в полной полосе и процессор временной области | |
| RU2638748C2 (ru) | Гармоническое преобразование, усовершенствованное перекрестным произведением | |
| RU2666468C2 (ru) | Расширение полосы пропускания аудио посредством вставки шума с предварительно приданной формой по времени в частотной области | |
| EP2950308A1 (en) | Bandwidth expansion parameter-generator, encoder, decoder, bandwidth expansion parameter-generating method, encoding method, and decoding method | |
| RU2452044C1 (ru) | Устройство, способ и носитель с программным кодом для генерирования представления сигнала с расширенным диапазоном частот на основе представления входного сигнала с использованием сочетания гармонического расширения диапазона частот и негармонического расширения диапазона частот | |
| JP2004053940A (ja) | オーディオ復号化装置およびオーディオ復号化方法 | |
| RU2822579C1 (ru) | Система и способ для генерирования ряда сигналов высокочастотных поддиапазонов | |
| RU2805938C1 (ru) | Система и способ для генерирования ряда сигналов высокочастотных поддиапазонов | |
| RU2814460C1 (ru) | Система и способ для генерирования ряда сигналов высокочастотных поддиапазонов | |
| AU2015203736B2 (en) | Audio encoder and bandwidth extension decoder | |
| RU2799033C1 (ru) | Система и способ для генерирования ряда сигналов высокочастотных поддиапазонов | |
| RU2782168C1 (ru) | Система и способ для генерирования ряда сигналов высокочастотных поддиапазонов | |
| RU2826489C1 (ru) | Система и способ для генерирования ряда сигналов высокочастотных поддиапазонов | |
| RU2826366C1 (ru) | Система и способ для генерирования ряда сигналов высокочастотных поддиапазонов | |
| AU2014201331A1 (en) | Bandwidth extension encoder, bandwidth extension decoder and phase vocoder |