RU2455710C2 - Устройство и способ расширения полосы пропускания аудио сигнала - Google Patents
Устройство и способ расширения полосы пропускания аудио сигнала Download PDFInfo
- Publication number
- RU2455710C2 RU2455710C2 RU2010131420/08A RU2010131420A RU2455710C2 RU 2455710 C2 RU2455710 C2 RU 2455710C2 RU 2010131420/08 A RU2010131420/08 A RU 2010131420/08A RU 2010131420 A RU2010131420 A RU 2010131420A RU 2455710 C2 RU2455710 C2 RU 2455710C2
- Authority
- RU
- Russia
- Prior art keywords
- signal
- audio signal
- expansion
- frequency
- time
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 title claims description 34
- 238000001228 spectrum Methods 0.000 claims description 31
- 238000001914 filtration Methods 0.000 claims description 16
- 230000003595 spectral effect Effects 0.000 claims description 15
- 230000007704 transition Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 19
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 230000003247 decreasing effect Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 230000008859 change Effects 0.000 description 8
- 230000017105 transposition Effects 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004026 adhesive bonding Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000016507 interphase Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
Abstract
Изобретение относится к обработке аудиосигнала, в частности к обработке аудиосигнала в случаях, когда доступная скорость данных довольно мала. Техническим результатом является повышение качества расширенной полосы частот при снижении вычислительной сложности обработки сигнала. Указанный результат достигается тем, что устройство для расширения полосы частот аудиосигнала включает блок расширения сигнала (102) для создания версии аудиосигнала в виде временного сигнала, расширенного по времени с коэффициентом расширения, большим 1; дециматор (105) для децимации, расширенной по времени версии (103) аудиосигнала с коэффициентом децимации, соответствующим коэффициенту расширения; фильтр (107, 109) для извлечения искаженного сигнала из децимированного аудиосигнала (106), содержащего диапазон частот, не содержащийся в аудиосигнале (100), или для извлечения сигнала из аудиосигнала до его расширения блоком расширения сигнала (102), при этом сигнал содержит частотный диапазон, не содержащийся в аудиосигнале (106) после расширения и децимации, а искаженный сигнал (108) искажается таким образом, что искаженный сигнал (108), децимированный аудиосигнал или комбинированный сигнал имеют заданную огибающую; и блок объединения (111) для объединения искаженного или неискаженного сигнала с аудиосигналом (100) для получения аудиосигнала (112), расширенного по полосе частот. 3 н. и 13 з.п. ф-лы, 12 ил.
Description
Настоящее изобретение относится к обработке аудиосигнала и, в частности, к обработке аудиосигнала в случаях, когда доступная скорость данных довольно мала.
Адаптивное к слуховому восприятию кодирование аудиосигналов для уменьшения избыточности данных для эффективного хранения и передача этих сигналов получили распространение во многих областях. В частности, такие алгоритмы кодирования известны как «МР3» или «МР4». Используемое для этого кодирование, в особенности при достижении очень низких скоростей передачи битов, приводит к снижению качества аудио, которое, главным образом, вызывается ограничением со стороны кодера в отношении передаваемой полосы частот аудиосигнала.
В этом случае, как известно из документа WO 9857436, способ ограничения полосы частот аудиосигнала применяют на стороне кодера и кодируют только нижнюю полосу частот аудиосигнала посредством аудиокодера с высоким качеством. При этом верхняя полоса частот описывается довольно грубо - в виде ряда параметров, воспроизводящих спектральную огибающую верхней полосы частот. В этом случае верхняя полоса частот синтезируется на стороне декодера. С этой целью предлагается осуществлять транспозицию гармоник, при которой нижняя полоса частот декодированного аудиосигнала подается в банк фильтров. Каналы банка фильтров нижней полосы частот соединяются с каналами банка фильтров верхней полосы частот, иначе говоря "вклеиваются", и каждый склеенный полосовой сигнал подвергается коррекции огибающей. В этом случае синтезирующий банк фильтров, относящийся банку фильтров для специального анализа, получает полосовые сигналы аудиосигнала в нижней полосе частот и полосовые сигналы со скорректированной огибающей нижней полосы частот, которые были гармонически вклеены в верхнюю полосу частот. Выходной сигнал синтезирующего банка фильтров является аудиосигналом с расширенной полосой частот, который передается от кодера к декодеру с довольно низкой скоростью передачи данных. Однако вычисления банка фильтров и вклеивание в области банка фильтров могут потребовать больших вычислительных затрат.
Более простые способы расширения полосы частот аудиосигналов с ограниченной полосой используют вместо этого операцию копирования частей низкочастотного (HF) сигнала в высокочастотный (HF) диапазон для сравнения потерь информации, вызванных ограничением полосы. Такие методы описаны в М.Dietz, L.Liljeryd, К.Kjörling и O.Kunz, "Spectral Band Replication, a novel approach in audio coding," Munich, May 2002; S.Meltzer, R.Böhm and F.Henn, "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)," 112th AES Convention, Munich, May 2002; Т.Ziegler, A.Ehret, P.Ekstrand and M.Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm," in 112th AES Convention, Munich, May 2002; International Standard ISO/IEC 14496-3:2001/FPDAM 1, "Bandwidth Extension," ISO/IEC, 2002, or "Speech bandwidth extension method and apparatus", Vasu lyengar et al. US Patent №5455888.
В этих методах транспозиции гармоник не производятся, а последовательные полосовые сигналы нижней полосы частот подаются в последовательные каналы банка фильтров верхней полосы частот. Благодаря этому достигается грубая аппроксимация верхней полосы частот аудиосигнала. Эта грубая аппроксимация сигнала на следующем этапе приближается к оригиналу посредством последующей обработки с использованием управляющей информации, синтезированной из первоначального сигнала. В этом случае, например, используются масштабирующие множители для коррекции огибающей спектра, обратное фильтрование и добавление шумовой области для адаптации тональности, а также дополнение синусоидальными участками сигнала, что также описано в стандарте MPEG-4.
Помимо этого существуют дополнительные способы, такие как так называемое "слепое расширение полосы частот", описанные в Е.Larsen, R.M.Aarts, and M.Danessis, "Efficient high-frequency bandwidth extension of music and speech". In AES 112th Convention, Munich, Germany, May 2002, в которых не используется информация о первоначальном HF диапазоне. Кроме того, существует также способ так называемого «Искусственного расширения полосы частот», который описан в K.Käyhkö, A Robust Wideband Enhancement for Narrowband Speech Signal; Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio signal Processing, 2001.
В документе J.Makinen et at.: AMR-WB+: a new audio coding standard for 3rd generation mobile audio services Broadcasts, IEEE, ICASSP'05 описан способ расширения полосы частот, в котором операция копирования для расширения полосы частот с повышающим копированием последовательных полосовых сигналов в соответствии с SBR технологией (технологией повторения полосы частот) заменена па зеркальное отображение, например увеличение количества сэмплов.
Другие технологии для расширения полосы частот описаны в следующих документах: R.M.Aarls, Е.Larsen, and О.Ouweltjes. "A unified approach to low- and high frequency bandwidth extension", AES 115th Convention. New York, USA, October 2003; Е. Larsen and R.M.Aarts, "Audio Bandwidth Extension - Application to psychoacoustics, Signal Processing and Loudspeaker Design", John Wiley & Sons, Ltd., 2004; E.Larsen, R.M.Aarts. and M.Danessis, "Efficient high-frequency bandwidth extension of music and speech", AES 112th Convention, Munich, May 2002; J. Makhoul, "Spectral Analysis of Speech by Linear Prediction", IEEE Transactions on Audio and Electroacoustics, AU-21(3), June 1973; United States Patent Application 08/951029; United States Patent No. 6895375.
Известные способы гармонического расширения полосы частот демонстрируют высокую сложность. С другой стороны, более простые способы расширения полосы частот приводят к потери качества. В частности, при низкой скорости передачи битов и в сочетании с низкополосным LF диапазоном могут возникнуть такие искажения, как грубость и тембр, неприятные для восприятия. Причиной этого является тот факт, что аппроксимированная HF часть основывается на операции копирования, которая оставляет без внимания гармонические отношения между тональными частями сигнала. Это относится как к гармоническому отношению между LF и HF, так и к гармоническому отношению непосредственно между частями HF. При использовании SBR, например, на границе между LF диапазоном и созданным HF диапазоном иногда возникают ощущения грубости звуков, учитывая что тональные части, копированные из LF диапазона в HF диапазон, как, например, изображено на фиг.4а, могут теперь в суммарном сигнале пересекаться с тональными частями из LF диапазона, поскольку они близко расположены спектрально. Таким образом, на фиг.4а показан первоначальный сигнал с максимумами в точках 401, 402, 403 и 404, в то время как тестовый сигнал показан с пиками в точках 405, 406, 407 и 408. При копировании тональных частей из LF диапазона в HF диапазон в области, где на фиг.4а граница была на частоте 4250 Гц, расстояние двух левых пиков тестового сигнала будет меньше, чем основная частота, лежащая в основе гармонического растра, что приведет к ощущению грубости.
Поскольку ширина тонально-компенсированных частотных групп увеличивается с ростом центральной частоты, как описано в Zwicker, E. and H. Fasti (1999), Psychoacoustics: Facts and models. Berlin - Springerverlag, синусоидальные части, которые в LF диапазоне лежат в различных частотных группах, после их копирования в HF диапазон могут оказаться в одной и той же частотной группе, что также приводит к слуховому ощущению грубости, как видно из фиг.4b. На данной фигуре, в частности, показано, что копирование LF диапазона в HF диапазон приводит к более плотной тональной структуре в тестовом сигнале по сравнению с первоначальным. Первоначальный сигнал в более высоком диапазоне частот распределен относительно равномерно по спектру, как, в частности, показано на позиции 410. Тестовый же сигнал 411 напротив, особенно в этом более высоком диапазоне, распределен по спектру довольно неоднородно и очевидно, вследствие этого, является более тональным, чем первоначальный сигнал 410.
Задачей настоящего изобретения является повышение качества расширения полосы частот при одновременном снижении вычислительной сложности обработки сигнала, которая, в свою очередь, может быть осуществлена с малой задержкой и без особых усилий с использованием процессоров, имеющих низкие технические требования по отношению к их скорости и требуемой памяти.
Указанная задача достигается посредством устройства для расширения полосы частот по п.1 формулы, способа расширения полосы частот по п.13 формулы или компьютерной программы по п.14 формулы изобретения.
Идея изобретения расширения полосы частот основана на временном расширении сигнала для создания версии аудиосигнала в виде временного сигнала, расширенного с коэффициентом расширения, большим 1, и последующей децимацией временного сигнала для получения транспонированного сигнала, который затем может, например, быть подвергнут фильтрованию обычным полосовым фильтром для извлечения высокочастотной части сигнала, которая, в свою очередь, также может искажаться или изменяться в отношении своей амплитуды, для получения хорошего приближения первоначальной высокочастотной части. Кроме того, для исключения попосно-пропускающего фильтрования после расширения оно может быть выполнено перед расширением сигнала таким образом, чтобы после осуществления расширения в расширенном сигнале присутствовал только желательный частотный диапазон.
С одной стороны, при гармоническом расширении полосы частот проблемы, возникающие при операциях копирования или отображения, или при обеих операциях, можно предотвратить путем гармонического продолжения и расширения спектра посредством использования блока расширения сигнала для расширения временного сигнала. С другой стороны, временное расширение и последующую децимацию гораздо проще выполнить с помощью обычных процессоров, чем посредством полного анализно/синтезного банка фильтров, как это, например, используется при транспозиции гармоник, когда дополнительно необходимо принять решения о том, каким именно образом должно осуществляться вклеивание в области банка фильтров.
Для расширения сигнала предпочтительно использовать такие фазовые вокодеры, которые при работе затрачивают минимальные усилия. Кроме того, чтобы получить полосы частот, расширенные с коэффициентами, большими 2, несколько вокодеров фазы могут работать параллельно, что является выгодным, особенно в отношении задержки расширения полосы частот, которая должна быть низкой при работе в реальном масштабе времени. Помимо этого, существуют другие способы расширения сигнала, такие как, например, метод PSOLA (метод синхронного накладывающегося окна).
В предпочтительном варианте настоящего изобретения, вначале при помощи фазового вокодера низкочастотный аудиосигнал расширяют по времени с максимальной частотой LFmax в целое число раз, кратное обычной продолжительности сигнала. После этого в последующем дециматоре проводят децимацию сигнала с коэффициентом временного расширения, что в целом приводит к расширению спектра. Эта операция аналогична внутренней транспозиции аудиосигнала. Наконец, результирующий сигнал подвергается полосно-пропускающему фильтрованию в диапазоне от значения «(коэффициент расширения - 1)·LFmax» до значения «коэффициент расширения·LFmax». Кроме того, отдельные высокочастотные сигналы, возникающие при расширении и децимации, могут быть подвергнуты полосно-пропускающему фильтрованию, после которого они дополнительно будут перекрываться по всему высокочастотному диапазону (т.е. от LFmax до k*LFmax). Это ощутимо для случая, когда по-прежнему желательна более высокая спектральная плотность гармоник.
Метод гармонического расширения полосы частот осуществляется в предпочтительном варианте настоящего изобретения параллельно для нескольких различных коэффициентов расширения. Как альтернатива параллельной обработке, может также быть использован отдельный фазовый вокодер, работающий последовательно, при этом промежуточные результаты будут буферизоваться. Таким образом, при расширении полосы частот могут быть получены любые частоты среза. Кроме того, расширение сигнала может быть реализовано непосредственно в направлении частоты, в частности, посредством двойной операции, соответствующей функциональному принципу работы фазового вокодера.
Предпочтительно, чтобы в вариантах изобретения не требовался анализ сигнала в отношении гармоничности или основной частоты.
Далее предпочтительные варианты настоящего изобретения будут раскрыты более подробно со ссылками на прилагаемые чертежи, на которых:
фиг.1 иллюстрирует блок-схему идеи изобретения расширения полосы частот аудиосигнала;
фиг.2a иллюстрирует блок-схему устройства для расширения полосы частот аудиосигнала согласно варианту осуществления настоящего изобретения;
фиг.2b иллюстрирует усовершенствование устройства на фиг.2а с переходными детекторами;
фиг.3 демонстрирует схематичную иллюстрацию обработки сигнала с использованием спектров в определенные моменты времени для заявленного расширения полосы частот;
фиг.4a иллюстрирует сопоставление между первоначальным сигналом и тестовым сигналом, который при восприятии дает грубое звуковое ощущение;
фиг.4b иллюстрирует сопоставление первоначального сигнала с тестовым сигналом, также приводящим к грубому слуховому восприятию;
фиг.5a демонстрирует схематичную иллюстрацию выполнения банка фильтров фазового вокодера;
фиг.5b демонстрирует детальную иллюстрацию фильтра, изображенного на фиг.5a;
фиг.5c демонстрирует схематичную иллюстрацию управления амплитудным сигналом и частотным сигналом в канале фильтра, изображенного на фиг.5a;
фиг.6 демонстрирует схематичную иллюстрацию выполнения преобразования в фазовом вокодере;
фиг.7a демонстрирует схематичную иллюстрацию кодера в контексте расширения полосы частот; и
фиг.7b демонстрирует схематичную иллюстрацию декодера в контексте расширения полосы частот аудиосигнала.
На фиг.1 изображена схематичная иллюстрация устройства или способа расширения полосы частот аудиосигнала. Только в качестве примера фиг.1 иллюстрирует устройство, хотя фиг.1 может в то же время быть расценена как блок-схема способа расширения полосы частот. На данной фигуре аудиосигнал, поступающий в устройство, изображен в виде входа 100. Аудиосигнал поступает в блок расширения сигнала 102, применяемый для создания версии аудиосигнала в виде временного сигнала, расширенного по времени с коэффициентом расширения, большим 1. Коэффициент расширения в варианте изобретения, изображенном на фиг.1, задается через коэффициент расширения входа 104. Расширенный временной аудиосигнал, полученный на выходе 103 блока расширения сигнала 102, поступает в дециматор 105, осуществляющий децимирование расширенного по времени временного аудиосигнала 103 с коэффициентом децимации, соответствующим коэффициенту расширения 104. Эта операция схематично показана на фиг.1 в виде коэффициента расширения входа 104, изображенного пунктирными линиями и соединенного с дециматором 105. В одном из вариантов изобретения коэффициент расширения в блоке расширения сигнала равен обратному коэффициенту децимации. Если, например, в блоке расширения сигнала 102 применяется коэффициент расширения 2.0, то децимация выполняется с коэффициентом децимации 0.5. Если ли же, с другой стороны, децимация выполняется с коэффициентом 2, т.е. каждое второе значение семпла удаляется, то в этом случае коэффициент децимации идентичен коэффициенту расширения. Дополнительные соотношения между коэффициентом расширения и коэффициентом децимации, например целочисленные или рациональные соотношения, могут также быть использованы в зависимости от варианта применения. Однако максимальное гармоническое расширение полосы частот достигается в том случае, когда коэффициент расширения равен либо коэффициенту децимации, либо обратному коэффициенту децимации.
В предпочтительном варианте настоящего изобретения дециматор 105 используется, например, для удаления каждого второго семпла (с коэффициентом расширения, равным 2), так что децимированный аудиосигнал в итоге будет иметь такую же продолжительность по времени, что и первоначальный аудиосигнал 100, Другие алгоритмы децимации, например формирование средневзвешенных величин или исследование тенденций в прошедшем или будущем, также могут быть использованы, хотя, тем не менее, обычную децимацию можно довольно легко выполнить путем удаления семплов. Децимированный временной сигнал 106, сформированный дециматором 105, подается в фильтр 107, после чего фильтр 107 извлекает полосовой сигнал из децимированного аудиосигнала 106, содержащего частотные диапазоны, которые не содержались в аудиосигнале 100 на входе устройства. В вариантах изобретения фильтр 107 может быть выполнен в виде как цифрового полосового фильтра, например, как FIR - (КИХ) или IIR - (БИХ) фильтра, а так же, как аналоговый полосовой фильтр, хотя более предпочтительно цифровое выполнение. Далее фильтр 107 извлекает верхний спектральный диапазон, созданный операциями 102 и 105, при этом нижний спектральный диапазон, который так или иначе содержится в аудиосигнале 100. подавляется наиболее сильно. В других вариантах выполнения фильтр 107 может применяться также для извлечения участков сигнала с частотами как у полосового сигнала, содержащегося в первоначальном сигнале 100, при этом извлеченный полосовой сигнал будет содержать, по крайней мере, одну частотную полосу, которая не содержалась в первоначальном аудиосигнале 100.
Полосовой сигнал 108, полученный на выходе фильтра 107, поступает в блок искажений 109, искажающий полосовые сигналы таким образом, чтобы полосовой сигнал имел заданную огибающую. Такая информация огибающей, которую можно использовать для искажения, может поступать из внешних источников и даже исходить от кодера, или может также быть синтезирована, например, слепой экстраполяцией из аудиосигнала 100, или основываться на таблицах, сохраненных на стороне декодера со ссылкой на огибающую аудиосигнала 100. Искаженный полосовой сигнал 110, выходящий из блока искажений 109, затем подается в блок объединения 111. объединяющий искаженный полосовой сигнал 110 с первоначальным аудиосигналом 100, который также мог быть искажен в зависимости от варианта изобретения (этап задержки не показан на фиг.1), для создания аудиосигнала с расширенной полосой частот на выходе 112.
В другом варианте изобретения последовательность расположения блока искажений 109 и блока объединения 111 обратна последовательности их расположения, изображенной на фиг.1. В этом случае сигнал с выхода фильтра, т.е. полосовой сигнал 108, непосредственно объединяется с аудиосигналом 100, а искажение верхней полосы комбинированного сигнала, получаемого на выходе блока объединения 111, выполняется блоком искажений 109 только после объединения. В этом варианте блок искажений искажает комбинированный сигнал таким образом, чтобы тот имел заданную огибающую. Таким образом, в этом варианте выполнения блок объединения применяется для объединения полосового сигнала 108 с аудиосигналом 100 для получения аудиосигнала, расширенного по отношению к своей полосе частот. В варианте, когда искажение производится только после объединения, предпочтительно применять блок искажений 109, который не оказывает влияния ни на аудиосигнал 100, ни на полосу частот комбинированного сигнала, обусловленную аудиосигналом 100, в то время как низкополосная часть аудиосигнала кодируется посредством высококачественного кодера и при синтезе верхней полосы на стороне декодера является, так сказать, мерой всего, и расширение полосы частот не должно оказывать на нее влияние.
Перед иллюстрацией детальных вариантов настоящего изобретения будет раскрыт сценарий расширения полосы частот со ссылкой на фиг.7a и 7b, в котором применение настоящего изобретения может быть весьма полезно. Аудиосигнал вводится и комбинацию низкочастотного/высокочастотного фильтров на входе 700. Комбинация низкочастотного/высокочастотного фильтров, с одной стороны, включает низкочастотную часть (LP) для получения версии аудиосигнала 700, пропущенного через фильтр нижних частот, который обозначен позицией 703 на фиг.7a. Этот пропущенный через фильтр нижних частот аудиосигнал кодируется посредством аудиокодера 704. Аудиокодер может быть реализован в виде, например, МР3 кодера (MPEG1 Layer 3) или ААС кодера, так же известного как МР4 кодер и описанного в стандарте MPEG4. Другие аудиокодеры, обеспечивающие прозрачное или предпочтительно психоакустически прозрачное представление ограниченного по полосе аудиосигнала 703, могут использоваться в кодере 704 для получения полностью кодированного, психоакустически кодированного или, предпочтительно, психоакустически прозрачно кодированного аудиосигнала 705. С выхода 706 высокополосной части фильтра 702, обозначаемой «HP», поступает верхняя полоса аудиосигнала. Часть аудиосигнала, пропущенная через фильтр верхних частот, т.е. верхняя полоса или HF полоса, также обозначаемая как HF часть, поступает в блок вычисления параметров 707, применяемый для расчета различных параметров. Такими параметрами являются, например, спектральная огибающая верхней полосы 706 в относительно низком разрешении, например, посредством представления масштабного коэффициента для каждой психоакустической частотной группы или для каждой полосы Барка на шкале Барка. Еще одним параметром, который может быть вычислен блоком вычисления параметров 707, является область шумов в верхней полосе, энергия которой, приходящаяся на полосу частот, предпочтительно может быть связана с энергией огибающей этой полосы. Другие параметры, которые могут быть вычислены блоком вычисления параметров 707, включают меру тональности для каждой отдельной полосы верхней полосы частот, которая показывает, как спектральная энергия распределена по полосе, а именно распределена ли спектральная энергия по полосе относительно однородно, и при этом в этой полосе присутствует атональный сигнал, или энергия в этой полосе довольно сильно сконцентрирована в определенной позиции на полосе, и при этом в этой полосе скорее всего присутствует тональный сигнал. Еще одними параметрами являются полностью кодированные пики, довольно сильно выделяющиеся в верхней полосе по своей высоте и частоте, учитывая, что концепция расширения полосы частот при восстановлении без такого полного кодирования выделяющихся синусоидальных частей верхней полосы частот, либо восстановит их довольно неточно, или не восстановит вовсе.
При любых обстоятельствах блок вычисления параметров 707 применяется только для расчета параметров 708 верхней полосы частот, в отношении которых могут быть приняты аналогичные меры сокращения энтропии, поскольку они также могут быть кодированы в аудиокодере 704 для квантованных спектральных величин, посредством, например, дифференциального кодирования, предсказания, кодирования Хаффмана и т.п. Представление параметра 708 и аудиосигнал 705 затем поступают в блок форматирования потока данных 709, применяемый для формирования выходного потока данных 710, который, как правило, представляет собой поток битов с определенным форматом, например, описанным в Стандарте MPEG4.
Далее со ссылкой на фиг.7b, будет проиллюстрирован вариант декодирующей стороны, наиболее применимый для настоящего изобретения. Поток данных 710 входит в преобразователь потока данных 711, применяемый для выделения параметрической части 708 от аудиосигнальной части 705. Параметрическая часть 708 декодируется параметрическим декодером 712 для получения декодированных параметров 713. Параллельно этому, аудиосигнальная часть 705 декодируется аудиодекодером 714 для получения аудиосигнала, изображенного позицией 100 на фиг.1.
В зависимости от варианта выполнения, аудиосигнал 100 может быть выведен через первый выход 715. В этом случае на выходе 715 может быть получен аудиосигнал с узкой полосой частот и также, следовательно, низким качеством. При этом для повышения качества осуществляют заявленное расширение полосы частот 720, которое, как например изображено на фиг.1, используется для получения на выходе аудиосигнала с расширенной полосой частот или широкополосного аудиосигнала 112, соответственно с высоким качеством.
Далее со ссылкой на фиг.2a, показан предпочтительный вариант применения расширения полосы частот по фиг.1, который предпочтительно может быть использован в блоке 712, изображенном на фиг.7b. На фиг.2a, во-первых, присутствует блок, названный «аудиосигнал и параметр», который может соответствовать блокам 711, 712; и 714 на фиг.7b и обозначенный позицией 200. Блок 200 формирует выходной сигнал 100, а также декодированные параметры 713 на выходе, которые могут быть использованы для различных искажений, например для коррекции тональности 109a и огибающей 109b. Сигнал, сформированный или откорректированный посредством коррекции тональности 109a и огибающей 109b, подается в блок объединения 111 для получения на выходе аудиосигнала с расширенной полосой частот 112.
Предпочтительно, чтобы блок расширения сигнала 102 на фиг.1 представлял собой фазовый вокодер 202а. Дециматор 105 на фиг.1 предпочтительно реализуется в виде обычного преобразователя частоты дискретизации 205а. Фильтр 107 для выделения полосового сигнала предпочтительно является стандартным полосовым фильтром 107a. В частном случае, фазовый вокодер 202a и дискретный дециматор 205a работают с коэффициентом расширения, равным 2.
Предпочтительно, дополнительная «цепь элементов», состоящая из фазового вокодера 202b, дециматора 205b и полосового фильтра 207b, используется для извлечения дополнительного полосового сигнала на выходе фильтра 207b, содержащего диапазон частот между верхней частотой среза полосового фильтра 207a и частотой, в три раза большей максимальной частоты аудиосигнала 100.
В дополнение к этому, k-фазовый вокодер 202c обеспечивает получение расширения аудиосигнала с коэффициентом k, причем k - предпочтительно целое число, большее 1. Поток данных с выхода фазового вокодера 202с поступает в дециматор 205, осуществляющий децимацию с коэффициентом k. Наконец, децимированный сигнал поступает в полосовой фильтр 207c, который имеет нижнюю частоту среза, равную верхней частоте среза смежной полосы, и имеет верхнюю частоту среза, соответствующую частоте, k-кратной максимальной частоте аудиосигнала 100. Все полосовые сигналы объединяются блоком объединения 209, при этом блок объединения 209 может, например, представлять собой сумматор. Кроме того, блок объединения 209 может также быть выполнен в виде взвешенного сумматора, который, в зависимости от варианта выполнения, ослабляет более высокие полосы частот сильнее, чем более низкие полосы частот, вне зависимости от последующего искажения элементами 109a, 109b. В дополнение к этому, система, показанная на фиг.2а. включает этап задержки 211, который гарантирует, что в блоке объединения 111, выполненном в виде, например, сумматора семплов, будет объединяться синхронизированная комбинация.
На фиг.3 изображена схематичная иллюстрация различных спектров, которые могут наблюдаться при выполнении обработки, показанной на фиг.1 или фиг.2а. Фиг.1 на фиг.3 показывает ограниченный по полосе аудиосигнал, который обозначается, например, позицией 100 на фиг.1 или позицией 703 на фиг.7а. Предпочтительно, чтобы этот сигнал был расширен блоком расширения сигнала 102 до целого значения, кратного первоначальной продолжительности сигнала, и затем подвергнут децимации с целочисленным коэффициентом децимации, что приведет к расширению спектра в целом, как показано на фиг.2 и фиг.3. На фиг.3 показана HF часть, которая извлечена полосовым фильтром, имеющим полосу пропускания 300. Фиг.3 демонстрирует варианты, при которых полосовой сигнал перед искажением уже объединен с первоначальным аудиосигналом 100. Таким образом, образуется спектр комбинации с неискаженным полосовым сигналом, и затем для получения аудиосигнала 112 с расширенной полосой частот, как показано па фиг.(4), производится искажение верхней полосы, но, по-возможности, не производится модификация нижней полосы частот.
LF сигнал на фиг.1 обладает максимальной частотой LFmax. В фазовом вокодере 202a транспозиция аудиосигнала выполняется таким образом, что максимальная частота транспонированного аудиосигнала равна 2LFmax. Затем полученный сигнал, показанный на фиг.(2), подвергают полосно-пропускающему фильтрованию в диапазоне от LFmax до 2LFmax. Как правило, когда коэффициент расширения определяется числом k (k>1), полосовой фильтр имеет полосу пропускания в диапазоне от (k-1)·LFmax до k·LFmax. Обработка, показанная на фиг.3, повторяется для различных коэффициентов расширения до тех пор, пока не будет достигнута искомая наивысшая частота k-LFmax, где k равно максимальному коэффициенту расширения kmax.
Далее со ссылкой на фиг.5 и 6, будет раскрыт предпочтительный вариант выполнения фазового вокодера 202a, 202b, 202c в соответствии с настоящим изобретением. На фиг.5a показан вариант выполнения фазового вокодера в виде банка фильтров, при котором аудиосигнал подается на вход 500 и выводится с выхода 510. В частности, каждый канал банка фильтров, схематично изображенного на фиг.5а, включает полосовой фильтр 501 и последующий генератор 502. Выходные сигналы со всех генераторов от каждого канала для получения выходного сигнала объединяются блоком объединения, представляющего собой, например, сумматор и обозначенного позицией 503. Каждый фильтр 501 выполнен таким образом, что производит как амплитудный сигнал, так и частотный сигнал. Амплитудный и частотный сигналы являются временными сигналами, иллюстрирующими изменение во времени амплитуды в фильтре 501, в то время как частотный сигнал описывает изменение частоты сигнала, пропущенного через фильтр 501.
На фиг.5b показана схематичная структура фильтра 501. Каждый фильтр 501 на фиг.5a может быть устроен как фильтр, изображенный на фиг.5b, в котором, тем не менее, в зависимости от канала будут меняться только частоты fi, поступающие на два входных микшера 551 и сумматор 552. Оба выходных сигнала микшеров пропускаются через фильтры нижних частот 553, при этом низкополосные сигналы несколько различаются, поскольку они были созданы на локальных частотах генератора (LO частотах), отличающихся по фазе на 90°. Верхний фильтр нижних частот 553 создает квадратурный сигнал (Q) 554, в то время как нижний фильтр 553 создает синфазный сигнал (I) 555. Эти два сигнала, I и Q, поступают в координатный преобразователь 556, который создает отображение зависимости величины фазы в прямоугольных координатах. С выхода 557 выводится зависимость величины сигнала или амплитуды сигнала от времени, показанная на фиг.5a. Фазовый сигнал подается в блок развертки фазы 558. На выходе блока 558 наблюдаются значения фазы, которые уже более не находятся постоянно между 0 и 360°, а линейно увеличиваются. Эта «развертка» значения фазы поступает в фазочастотный преобразователь 559, который может, например, быть выполнен в виде обычного формирователя разности фаз, который для получения значения частоты в текущий момент времени вычитает фазу, наблюдаемую в предыдущий момент времени, из фазы, наблюдаемой текущий момент времени. Полученное значение частоты добавляется к постоянному значению частоты fi канала фильтра i для получения изменяющегося во времени значения частоты на выходе 560. Значение частоты на выходе 560 имеет постоянную составляющую, равную fi, и переменную составляющую, равную отклонению частоты, на которое текущая частота сигнала в канале фильтра отклоняется от средней частоты fi.
Таким образом, как показано на фиг.5a и 5b, в фазовом вокодере достигается разделение спектральной и временной информаций. Спектральная информация содержится в специальном канале или в частоте fi, дающей постоянную составляющую частоты для каждого канала, в то время как временная информация содержится в отклонении частоты или изменении ее величины во времени.
Фиг.5c демонстрирует операции для расширения полосы частот в соответствии с настоящим изобретением, осуществляемые, в частности, в фазовом вокодере 202a, а именно в той области схемы, которая изображена пунктиром на фиг.5a.
Для того чтобы осуществить масштабирование по времени, могут, например, быть децимированы или интерполированы соответственно сигнал амплитуды A(t) в каждом канале или сигнал частоты f(t) в каждом сигнале. Для осуществления транспозиции, эффективно применяемой в настоящем изобретении, выполняется интерполяция, т.е. временное расширение или растягивание сигналов A(t) и f(t), для получения расширенных сигналов A′(t) и f′(t), при этом интерполяция контролируется коэффициентом расширения 104, как показано на фиг.1. Благодаря интерполяции изменения фазы, а именно ее значения перед добавлением постоянной частоты сумматором 552, частота каждого отдельного генератора 502 на фиг.5a не меняется. Вместе с тем, скорость изменения по времени всего аудиосигнала замедляется с коэффициентом 2. В результате получается расширенный по времени звуковой сигнал, имеющий первоначальный основной тон, т.е. первоначальную основную волну с ее гармониками.
Посредством выполнения обработки сигнала, показанной на фиг.5c, причем такая обработка выполняется в каждом канале полосового фильтра на фиг.5, и посредством последующей децимации итогового временного сигнала в дециматоре 105 на фиг.1 или в дециматоре 205a на фиг.5a, продолжительность аудиосигнала возвращается к своему первоначальному значению, в то время как все частоты одновременно удваиваются. Это приводит к транспозиции основного тона с коэффициентом 2, при этом, однако, получается аудиосигнал, который имеет такую же длину, что и первоначальный аудиосигнал, т.е. такое же количество семплов.
Как альтернатива варианту с применением полосового фильтра, изображенного на фиг.5a, может использоваться также вариант с применением преобразований в фазовом вокодере. В этом случае аудиосигнал 100 поступает в процессор БПФ (FFT), или, более обобщенно, в процессор краткосрочного преобразования Фурье 600, в виде последовательности временных семплов. Процессор БПФ 600, схематично изображенный на фиг.6, применяется для выполнения обработки аудиосигнала методом временного окна для того, чтобы посредством БПФ вычислить как спектр амплитуд, так и спектр фаз, при этом такое вычисление выполняется для последовательных спектров блоков аудиосигнала, которые в значительной степени перекрываются.
В предельном случае, для каждого нового семпла аудиосигнала может быть вычислен новый спектр, но в то же время новый спектр может быть вычислен также. например, только для каждого двадцатого нового семпла. Это расстояние а в семплах между двумя спектрами предпочтительно определяется контроллером 602. Контроллер 602 затем передает данные в процессор ОБПФ (IFFT) 604, осуществляющий операцию перекрытия. В частности, процессор ОБПФ 604 применяется для осуществления обратного кратковременного преобразования Фурье, выполняя ОБПФ для каждого спектра, основанного на спектре амплитуд и спектре фаз для того, чтобы затем выполнить операцию накладывающегося окна, в результате которой определяется период. Операция накладывающегося окна устраняет влияние окна анализа.
Расширение временного сигнала достигается за счет того, что после обработки процессором ОБПФ 604 двух спектров расстояние b между ними, больше, чем расстояние а между спектрами в поколении FFT спектров. Основной идеей является расширение аудиосигнала посредством обратных БПФ, которые просто разнесены дальше друг от друга, чем исследуемые FFT. В результате, спектральные изменения в синтезированном аудиосигнале происходят более медленно, чем в первоначальном аудиосигнале.
Отсутствие изменения масштаба фазы в блоке 606, однако, привело бы к частотным помехам. Например, если взять один отдельный элемент разрешения по частоте и применить к нему последовательные значения фазы, отличающиеся на 45°, это привело бы к тому, что сигнал в пределах этой полосы частот фильтра возрастал по фазе со скоростью 1/8 за период, т.е. на 45° за временной интервал, причем в этом случае временной интервал - это временной интервал между последовательными БПФ. То, что обратные БПФ разнесены дальше друг от друга, означает, что увеличение фазы на 45° происходит на более длительном временном интервале. Это значит, что частота этой части сигнала ненамеренно была уменьшена. Для устранения такого нежелательного снижения частоты осуществляется изменение масштаба фазы с точно таким же коэффициентом, с каким аудиосигнал был расширен по времени. В результате фаза каждого спектрального значения БПФ возрастает с коэффициентом b/a и такое ненамеренное снижение частоты устраняется.
В то время как в варианте выполнения, изображенном на фиг.5c, расширение посредством интерполяции амплитудочастотных управляющих сигналов было получено при использовании одного генератора сигнала в варианте с полосовым фильтром на фиг.5a, расширение на фиг.6 достигается за счет того, что расстояние между двумя спектрами ОБПФ больше, чем расстояние между двумя спектрами БПФ, т.е. b больше a, при этом для предотвращения помех перемасштабирование фазы выполняется в соответствии с величиной b/a.
Детальное описание фазовых вокодеров содержится в следующих ссылочных документах:
"The phase Vocoder: A tutorial", Mark Dolson, Computer Music Journal, vol.10, no.4. pp.14-27, 1986, либо в "New phase Vocoder techniques for pitch-shifting, harmonizing and other exotic effects", L.Laroche und M.Dolson, Proceedings 1999 IEEE Workshop on applications of signal processing to audio and acoustics, New Paltz, New York, October 17-20. 1999, pages 91 to 94; "New approached to transient processing interphase vocoder", A. Röbel, Proceeding of the 6lh international conference on digital audio effects (DAFx-03), London, UK September 8-11, 2003, pages DAFx-1 to DAFx-6; "Phase-locked Vocoder". Meller Puckette. Proceedings 1995, IEEE ASSP, Conference on applications of signal processing to audio and acoustics, либо в US Patent Application Number 6549884.
На фиг.2b показан вариант системы, изображенной на фиг.2a, в котором используется переходный детектор 250, применяемый для определения того, содержит ли текущая временная операция аудиосигнала переходную часть. Переходная часть заключается в том, что аудиосигнал сильно изменяется в целом, например, таким образом, что от одной временной части до следующей временной части энергия аудиосигнала изменяется, а именно увеличивается или уменьшается более чем на 50%. Порог в 50% приведен только в качестве примера, и он может также принимать меньшие или большие значения. Кроме того, для детектирования перехода можно также рассматривать изменение распределения энергии, например, в переходе от гласного к шипящему звуку.
Если определена переходная часть аудиосигнала, то транспозиция гармоник не выполняется, и для переходного временного диапазона осуществляется негармоническая операция копирования, негармоническое зеркальное отображение или какой-либо другой алгоритм расширения полосы частот, что изображено на позиции 260. Если затем будет обнаружено, что аудиосигнал уже не переходной, то опять будет выполняться транспозиция гармоник, что показано элементами 102, 105 на фиг.1. Транспозиция гармоник обозначена позицией 270 на фиг.2b.
Выходные сигналы блоков 270 и 260, выводимые со сдвигом во времени вследствие того, что временная часть аудиосигнала может быть как переходной, так и не переходной, поступают в блок объединения 280, осуществляющий создание полосового сигнала во времени, который может применяться, например, для коррекции тональности в блоке 109a на фиг.2a. Кроме того, объединение блоком 280 может также быть выполнено, например, после сумматора 111. Однако это бы означало, что весь блок преобразования аудиосигнала предполагался бы обладающим переходной характеристикой, или, если бы вариант применения банка фильтров также работал на основе блоков, то для всего такого блока принималось бы решение о том, является ли он переходным или непереходным блоком.
Так как фазовый вокодер 202a, 202b, 202c, показанный на фиг.2a и раскрытый более подробно на фиг.5 и 6, создает больше помех при обработке переходных частей сигнала, чем при обработке непереходных частей сигнала, осуществляется переключение на операцию негармонического копирования или зеркального отображения, что показано на фиг.2b позицией 260. Кроме того, может также быть выполнен сброс фазы до уровня переходного процесса, что раскрыто, например, в вышеупомянутой экспертной публикации Laroche или в патенте US №6549884.
Как было показано ранее, после создания HF части спектра в блоках 109a, 109b выполняется формирование спектра и приближение к первоначальному уровню шума. Формирование спектра может быть выполнено при помощи, например, масштабных коэффициентов, взвешенных масштабных коэффициентов dB(A) или линейного предсказания, при этом линейное предсказание обладает тем преимуществом, что оно не требует ни временно-частотного преобразования, ни последующего частотно-временного преобразования.
Преимущество настоящего изобретения заключается в том, что в фазовом вокодере спектр с увеличивающейся частотой расширяется дальше и всегда корректно гармонически продолжается посредством целочисленного расширения. Таким образом, на частоте среза LF диапазона исключается возможность появления ощущения грубости и предотвращается интерференция слишком плотно расположенных HF частей спектра. Кроме того, могут быть использованы варианты применения эффективного фазового вокодера, который может исключить операции вклейки, производимые банком фильтров.
Помимо этого существуют и другие способы расширения сигнала, такие, например, как метод PSOLA (метод синхронного накладывающегося окна). Метод синхронного накладывающегося окна, для краткости PSOLA, является методом синтеза, при котором записи речевых сигналов находятся в базе данных. Поскольку эти сигналы периодические, то же самое осуществляется с информацией, касающейся фундаментальной частоты (основного тона), и начало каждого периода маркируется. При синтезе эти периоды вырезаются с определенным окружением посредством оконной функции и добавляются к сигналу для синтеза в соответствующем месте: в зависимости от того, выше или ниже желательная фундаментальная частота, чем входная частота базы данных, они объединяются соответственно с большей или меньшей плотностью, чем в оригинале. Для управления продолжительностью аудио добавление периода может быть пропущено или удвоено. Такой способ называется методом TD-PSOLA (метод синхронного накладывающегося окна с равномерным шагом), где TD означает временную область и подчеркивает, что данный метод работает во временной области. Дальнейшее развитие - метод мультиполосного ресинтезного накладывающегося окна, в сокращенном виде MBROLA. В этом случае сегменты в базе данных приводятся к единой фундаментальной частоте посредством предварительной обработки, а фазовое положение гармоники нормализуется. Благодаря этому во время синтеза при переходе от сегмента к сегменту возникает меньше воспринимаемых наложений и достигается более высокое качество речи.
В дополнительном варианте перед расширением аудиосигнала уже осуществлено его полосно-пропускающее фильтрование, так что сигнал после расширения и децимации уже содержит желаемые области, и последующее полосно-пропускающее фильтрование может быть исключено. В этом случае полосовой фильтр выполнен таким образом, что часть аудиосигнала, которая после расширения полосы частот была бы подавлена фильтром, по-прежнему содержится в выходном сигнале полосового фильтра. Таким образом, полосовой фильтр содержит частотный диапазон, который не содержится в аудиосигнале 106 после его расширения и децимации. Сигнал с этим частотным диапазоном является искомым сигналом, формирующим синтезируемый высокочастотный сигнал. В этом варианте выполнения блок искажений 109 будет искажать не полосовой сигнал, а расширенный и децимированный сигнал, полученный из аудиосигнала, подвергнутого полосно-пропускающему фильтрованию.
Кроме того, следует отметить, что расширенный сигнал может также быть полезным в частотном диапазоне первоначального сигнала вследствие того, например, что при смешивании первоначального сигнала и расширенного сигнала не потребуется "жесткой" полосы пропускания. В этом случае расширенный сигнал может быть легко смешан с первоначальным сигналом в полосе частот, в которой он перекрывается с первоначальным сигналом по частоте, для модифицирования характеристики первоначального сигнала в перекрывающемся диапазоне.
Также следует отметить, что функциональные возможности искажения 109 и фильтрования 107 могут быть осуществлены в одном отдельном блоке фильтра или в двух каскадных отдельных фильтрах. Поскольку искажение осуществляется в зависимости от сигнала, амплитудная характеристика этого блока фильтра будет переменной. Однако его частотная характеристика не зависит от сигнала.
В зависимости от варианта выполнения, как показано на фиг.1, вначале совокупный аудиосигнал может быть расширен, децимирован, и затем подвергнут фильтрованию, при этом фильтрование соответствует работе элементов 107, 109. Искажение, таким образом, выполняется после или одновременно с фильтрованием, причем для этой цели подходит комбинированный блок фильтрования/искажения, выполненный в виде цифрового фильтра. Альтернативно, искажение в этом случае может производиться перед (полосно-пропускающим) фильтрованием (107) во время использования двух других элементов фильтра.
Альтернативно, полосно-пропускающее фильтрование может выполняться перед расширением таким образом, чтобы после децимации осуществлялось только искажение (109). В этом случае для указанных операций предпочтительно использовать два различных элемента.
Альтернативно, для всех вышеприведенных вариантов выполнения искажение может осуществляться после объединения синтезированного сигнала с первоначальным аудиосигналом, посредством, например, фильтра, который либо не оказывает совсем, либо оказывает только очень небольшой эффект на сигнал, фильтруемый в частотном диапазоне первоначального фильтра, который, тем не менее, создает заданную огибающую в расширенном частотном диапазоне. В этом случае для извлечения и искажения также предпочтительно использовать два различных элемента.
Идея изобретения подходит для всех аудиоустройств, в которых недоступна вся полоса частот. Идея изобретения может быть использована при передаче аудиоданных посредством, например, цифрового радио, потоковой передачи через Интернет и в применениях аудиосвязи.
В зависимости от обстоятельств, способ согласно настоящему изобретению может быть осуществлен для анализа информационного сигнала с помощью аппаратных средств или программного обеспечения. Варианты выполнения могут быть реализованы на цифровом носителе данных, в частности на гибком диске или CD, имеющем сохраненные на нем машиночитаемые управляющие сигналы, которые могут взаимодействовать с программируемой компьютерной системой таким образом, чтобы выполнялся заявленный способ. В целом, изобретение, таким образом заключается в компьютерном программном продукте с программным кодом, сохраненном па машиночитаемом носителе, для выполнения способа при запуске компьютерного программного продукта на компьютере. Другими словами, изобретение может, таким образом, быть понято как компьютерная программа, имеющая программный код для выполнения способа, когда компьютерная программа выполняется на компьютере.
Claims (16)
1. Устройство для расширения полосы частот аудио сигнала, включающее:
блок расширения сигнала (102) для создания версии аудио сигнала в виде временного сигнала, расширенного по времени с коэффициентом расширения большим 1;
дециматор (105) для децимации расширенной по времени версии (103) аудио сигнала с коэффициентом децимации, соответствующим коэффициенту расширения;
фильтр (107, 109) для извлечения искаженного сигнала из децимированного аудио сигнала (106), содержащего диапазон частот, не содержащийся в аудио сигнале (100), или для извлечения сигнала из аудио сигнала до его расширения блоком расширения сигнала (102), при этом сигнал содержит частотный диапазон, не содержащийся в аудио сигнале (106) после расширения и децимации, а искаженный сигнал (108) искажается таким образом, что искаженный сигнал (108), децимированный аудио сигнал или комбинированный сигнал имеют заданную огибающую; и
блок объединения (111) для объединения искаженного или неискаженного сигнала с аудио сигналом (100) для получения аудио сигнала (112), расширенного по полосе частот.
блок расширения сигнала (102) для создания версии аудио сигнала в виде временного сигнала, расширенного по времени с коэффициентом расширения большим 1;
дециматор (105) для децимации расширенной по времени версии (103) аудио сигнала с коэффициентом децимации, соответствующим коэффициенту расширения;
фильтр (107, 109) для извлечения искаженного сигнала из децимированного аудио сигнала (106), содержащего диапазон частот, не содержащийся в аудио сигнале (100), или для извлечения сигнала из аудио сигнала до его расширения блоком расширения сигнала (102), при этом сигнал содержит частотный диапазон, не содержащийся в аудио сигнале (106) после расширения и децимации, а искаженный сигнал (108) искажается таким образом, что искаженный сигнал (108), децимированный аудио сигнал или комбинированный сигнал имеют заданную огибающую; и
блок объединения (111) для объединения искаженного или неискаженного сигнала с аудио сигналом (100) для получения аудио сигнала (112), расширенного по полосе частот.
2. Устройство по п.1, в котором
блок расширения сигнала выполнен с возможностью применения целочисленного коэффициента расширения, значение которого больше 1,
дециматор (105) выполнен с возможностью применения коэффициента децимации, равного или обратного коэффициенту расширения; и
фильтр (107) выполнен с возможностью извлечения сигнала с ограниченной полосой частот таким образом, чтобы сигнал с ограниченной полосой частот включал в себя диапазон частот, восстановленный посредством расширения и децимации в блоке расширения сигнала и дециматоре.
блок расширения сигнала выполнен с возможностью применения целочисленного коэффициента расширения, значение которого больше 1,
дециматор (105) выполнен с возможностью применения коэффициента децимации, равного или обратного коэффициенту расширения; и
фильтр (107) выполнен с возможностью извлечения сигнала с ограниченной полосой частот таким образом, чтобы сигнал с ограниченной полосой частот включал в себя диапазон частот, восстановленный посредством расширения и децимации в блоке расширения сигнала и дециматоре.
3. Устройство по п.1, в котором блок расширения сигнала (102) выполнен с возможностью расширения аудио сигнала (100) таким образом, чтобы основной тон аудио сигнала оставался неизменным.
4. Устройство по п.1, в котором блок расширения сигнала (102) выполнен с возможностью расширения аудио сигнала таким образом, чтобы временная продолжительность аудио сигнала увеличилась, а полоса частот расширенного аудио сигнала была равна полосе частот аудио сигнала.
5. Устройство по п.1, в котором блок расширения сигнала (102) содержит фазовый вокодер (202а, 202b, 202с).
6. Устройство по п.5, в котором фазовый вокодер представляет собой банк фильтров или применение Фурье-преобразования.
7. Устройство по п.1, в котором
блок расширения сигнала (102) выполнен с возможностью расширения сигнала с коэффициентом 2 для получения первого расширенного сигнала,
при этом содержится дополнительный блок расширения сигнала (202 В), применяемый для расширения сигнала с коэффициентом 3 для получения второго расширенного сигнала,
дециматор (105) выполнен с возможностью децимации первого расширенного сигнала с коэффициентом 2,
при этом содержится дополнительный дециматор (205b), применяемый для децимации второго расширенного сигнала с коэффициентом 3,
фильтр (107) выполнен с возможностью фильтрации полосы, вновь созданной в сигнале на выходе первого дециматора, или выполнения фильтрации перед расширением,
при этом содержится второй полосовой фильтр (207b) для извлечения из второго децимированного сигнала полосы, новой по отношению к первому децимированному сигналу, или для выполнения фильтрации перед расширением, и
дополнительно содержится блок объединения (209) для суммирования извлеченных сигналов или суммирования искаженных извлеченных сигналов.
блок расширения сигнала (102) выполнен с возможностью расширения сигнала с коэффициентом 2 для получения первого расширенного сигнала,
при этом содержится дополнительный блок расширения сигнала (202 В), применяемый для расширения сигнала с коэффициентом 3 для получения второго расширенного сигнала,
дециматор (105) выполнен с возможностью децимации первого расширенного сигнала с коэффициентом 2,
при этом содержится дополнительный дециматор (205b), применяемый для децимации второго расширенного сигнала с коэффициентом 3,
фильтр (107) выполнен с возможностью фильтрации полосы, вновь созданной в сигнале на выходе первого дециматора, или выполнения фильтрации перед расширением,
при этом содержится второй полосовой фильтр (207b) для извлечения из второго децимированного сигнала полосы, новой по отношению к первому децимированному сигналу, или для выполнения фильтрации перед расширением, и
дополнительно содержится блок объединения (209) для суммирования извлеченных сигналов или суммирования искаженных извлеченных сигналов.
8. Устройство по п.7, в котором содержится дополнительная группа из дополнительного фазового вокодера (202с), последующего дециматора (205с) и последующего полосового фильтра (207с), обладающих коэффициентом расширения (k), для создания дополнительного полосового сигнала, который может быть передан в сумматор (209).
9. Устройство по п.1, в котором
блок расширения сигнала (102) выполнен с возможностью вывода временных сигналов в виде последовательности сэмплов, имеющих полную полосу частот аудио сигнала (100), и
дециматор (105) выполнен с возможностью получения в качестве входного сигнала последовательности сэмплов и ее децимации.
блок расширения сигнала (102) выполнен с возможностью вывода временных сигналов в виде последовательности сэмплов, имеющих полную полосу частот аудио сигнала (100), и
дециматор (105) выполнен с возможностью получения в качестве входного сигнала последовательности сэмплов и ее децимации.
10. Устройство по п.1, в котором блок искажений (109) выполнен с возможностью внесения искажений на основе переданных параметров (713).
11. Устройство по п.1, дополнительно содержащее:
переходной детектор (250), выполненный с возможностью управления блоком расширения сигнала (102) или дециматором (105) при обнаружении переходной части в аудио сигнале для выполнения (260) альтернативного способа генерации высших спектральных частей.
переходной детектор (250), выполненный с возможностью управления блоком расширения сигнала (102) или дециматором (105) при обнаружении переходной части в аудио сигнале для выполнения (260) альтернативного способа генерации высших спектральных частей.
12. Устройство по п.1, дополнительно содержащее:
модуль коррекции тональность/шум (109А), выполненный с возможностью управления тональностью или шумом полосового сигнала или искаженного полосового сигнала.
модуль коррекции тональность/шум (109А), выполненный с возможностью управления тональностью или шумом полосового сигнала или искаженного полосового сигнала.
13. Устройство по п.1, в котором
блок расширения сигнала (102) содержит множество канальных фильтров, при этом каждый канальный фильтр содержит фильтр для создания сигнала с изменяющейся во времени амплитудой (557) и сигнала с изменяющейся во времени частотой (560), а также генератор (502), управляемый изменяющимися во времени сигналами, в котором каждый канальный фильтр содержит блок интерполяции для интерполяции сигнала с изменяющейся во времени амплитудой (A(t)) для получения интерполированного сигнала с изменяющейся во времени амплитудой (A′(t)), или блок интерполяции для интерполяции частотного сигнала с коэффициентом расширения (104) для получения интерполированного частотного сигнала, и
при этом генератор (502) каждого канального фильтра выполнен управляемым посредством интерполированного амплитудного сигнала или интерполированного частотного сигнала.
блок расширения сигнала (102) содержит множество канальных фильтров, при этом каждый канальный фильтр содержит фильтр для создания сигнала с изменяющейся во времени амплитудой (557) и сигнала с изменяющейся во времени частотой (560), а также генератор (502), управляемый изменяющимися во времени сигналами, в котором каждый канальный фильтр содержит блок интерполяции для интерполяции сигнала с изменяющейся во времени амплитудой (A(t)) для получения интерполированного сигнала с изменяющейся во времени амплитудой (A′(t)), или блок интерполяции для интерполяции частотного сигнала с коэффициентом расширения (104) для получения интерполированного частотного сигнала, и
при этом генератор (502) каждого канального фильтра выполнен управляемым посредством интерполированного амплитудного сигнала или интерполированного частотного сигнала.
14. Устройство по п.1, в котором блок расширения сигнала (102) содержит:
БПФ процессор (600) для генерации последовательных спектров для перекрывающихся блоков временных сэмплов аудио сигнала, при этом перекрывающиеся блоки разнесены друг от друга на первое расстояние по времени (а);
ОБПФ процессор для преобразования последовательных спектров из частотной области во временную область для создания перекрывающихся блоков временных сэмплов, разнесенных друг от друга на второе расстояние по времени (b), которое больше, чем первое расстояние (а), и
блок изменения масштаба фазы (606) для изменения масштаба фаз спектральных значений последовательностей генерируемых БПФ спектров в соответствии с соотношением первого расстояния по времени (а) и второго расстояния по времени (b).
БПФ процессор (600) для генерации последовательных спектров для перекрывающихся блоков временных сэмплов аудио сигнала, при этом перекрывающиеся блоки разнесены друг от друга на первое расстояние по времени (а);
ОБПФ процессор для преобразования последовательных спектров из частотной области во временную область для создания перекрывающихся блоков временных сэмплов, разнесенных друг от друга на второе расстояние по времени (b), которое больше, чем первое расстояние (а), и
блок изменения масштаба фазы (606) для изменения масштаба фаз спектральных значений последовательностей генерируемых БПФ спектров в соответствии с соотношением первого расстояния по времени (а) и второго расстояния по времени (b).
15. Способ расширения полосы частот аудио сигнала, включающий:
создание (102) версии аудио сигнала в виде временного сигнала, расширенного по времени с коэффициентом расширения большим 1;
децимацию (105) расширенной по времени версии (103) аудио сигнала с коэффициентом децимации, соответствующим коэффициенту расширения;
извлечение (107, 109) искаженного сигнала из децимированного аудио сигнала (106), содержащего диапазон частот, не содержащийся в аудио сигнале (100), или извлечение сигнала из аудио сигнала до его расширения блоком расширения сигнала (102), при этом сигнал содержит частотный диапазон, не содержащийся в аудио сигнале (106) после расширения и децимации, а искаженный сигнал (108) искажается таким образом, что искаженный сигнал (108), децимированный аудио сигнал или комбинированный сигнал содержат заданную огибающую; и
объединение искаженного или неискаженного сигнала с аудио сигналом (100) для получения аудио сигнала (112), расширенного по полосе частот.
создание (102) версии аудио сигнала в виде временного сигнала, расширенного по времени с коэффициентом расширения большим 1;
децимацию (105) расширенной по времени версии (103) аудио сигнала с коэффициентом децимации, соответствующим коэффициенту расширения;
извлечение (107, 109) искаженного сигнала из децимированного аудио сигнала (106), содержащего диапазон частот, не содержащийся в аудио сигнале (100), или извлечение сигнала из аудио сигнала до его расширения блоком расширения сигнала (102), при этом сигнал содержит частотный диапазон, не содержащийся в аудио сигнале (106) после расширения и децимации, а искаженный сигнал (108) искажается таким образом, что искаженный сигнал (108), децимированный аудио сигнал или комбинированный сигнал содержат заданную огибающую; и
объединение искаженного или неискаженного сигнала с аудио сигналом (100) для получения аудио сигнала (112), расширенного по полосе частот.
16. Машиночитаемый носитель данных, имеющий программный код для выполнения способа по п.15, когда компьютерная программа выполняется на компьютере.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US2512908P | 2008-01-31 | 2008-01-31 | |
US61/025,129 | 2008-01-31 | ||
DE102008015702A DE102008015702B4 (de) | 2008-01-31 | 2008-03-26 | Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals |
DE102008015702.3 | 2008-03-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2010131420A RU2010131420A (ru) | 2012-02-10 |
RU2455710C2 true RU2455710C2 (ru) | 2012-07-10 |
Family
ID=40822253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2010131420/08A RU2455710C2 (ru) | 2008-01-31 | 2009-01-20 | Устройство и способ расширения полосы пропускания аудио сигнала |
Country Status (18)
Country | Link |
---|---|
US (1) | US8996362B2 (ru) |
EP (4) | EP4102503B1 (ru) |
JP (1) | JP5192053B2 (ru) |
KR (1) | KR101164351B1 (ru) |
CN (1) | CN101933087B (ru) |
AU (1) | AU2009210303B2 (ru) |
BR (1) | BRPI0905795B1 (ru) |
CA (1) | CA2713744C (ru) |
DE (1) | DE102008015702B4 (ru) |
DK (1) | DK3264414T3 (ru) |
ES (2) | ES2925696T3 (ru) |
HK (1) | HK1248912A1 (ru) |
MX (1) | MX2010008378A (ru) |
PL (1) | PL3264414T3 (ru) |
PT (1) | PT3264414T (ru) |
RU (1) | RU2455710C2 (ru) |
TW (1) | TWI515721B (ru) |
WO (1) | WO2009095169A1 (ru) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2611974C2 (ru) * | 2012-09-17 | 2017-03-01 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство и способ для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания |
US9640189B2 (en) | 2013-01-29 | 2017-05-02 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a frequency enhanced signal using shaping of the enhancement signal |
RU2627102C2 (ru) * | 2013-01-29 | 2017-08-03 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Декодер для формирования аудиосигнала с улучшенной частотной характеристикой, способ декодирования, кодер для формирования кодированного сигнала и способ кодирования с использованием компактной дополнительной информации для выбора |
RU2641224C2 (ru) * | 2013-09-10 | 2018-01-16 | Хуавэй Текнолоджиз Ко., Лтд. | Адаптивное расширение полосы пропускания и устройство для этого |
US10847170B2 (en) | 2015-06-18 | 2020-11-24 | Qualcomm Incorporated | Device and method for generating a high-band signal from non-linearly processed sub-ranges |
RU2745298C1 (ru) * | 2017-10-27 | 2021-03-23 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство, способ или компьютерная программа для генерации аудиосигнала с расширенной полосой с использованием процессора нейронной сети |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USRE47180E1 (en) * | 2008-07-11 | 2018-12-25 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a bandwidth extended signal |
US8880410B2 (en) * | 2008-07-11 | 2014-11-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a bandwidth extended signal |
PL4231290T3 (pl) | 2008-12-15 | 2024-04-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Dekoder powiększania szerokości pasma audio, powiązany sposób oraz program komputerowy |
BRPI1007528B1 (pt) | 2009-01-28 | 2020-10-13 | Dolby International Ab | Sistema para gerar um sinal de áudio de saída a partir de um sinal de áudio de entrada usando um fator de transposição t, método para transpor um sinal de áudio de entrada por um fator de transposição t e meio de armazenamento |
RU2493618C2 (ru) | 2009-01-28 | 2013-09-20 | Долби Интернешнл Аб | Усовершенствованное гармоническое преобразование |
US8515768B2 (en) * | 2009-08-31 | 2013-08-20 | Apple Inc. | Enhanced audio decoder |
JP5433022B2 (ja) * | 2009-09-18 | 2014-03-05 | ドルビー インターナショナル アーベー | 高調波転換 |
AU2010310041B2 (en) * | 2009-10-21 | 2013-08-15 | Dolby International Ab | Apparatus and method for generating a high frequency audio signal using adaptive oversampling |
KR102020334B1 (ko) | 2010-01-19 | 2019-09-10 | 돌비 인터네셔널 에이비 | 고조파 전위에 기초하여 개선된 서브밴드 블록 |
ES2522171T3 (es) | 2010-03-09 | 2014-11-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato y método para procesar una señal de audio usando alineación de borde de patching |
PL2545551T3 (pl) | 2010-03-09 | 2018-03-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Poprawiona charakterystyka amplitudowa i zrównanie czasowe w powiększaniu szerokości pasma na bazie wokodera fazowego dla sygnałów audio |
KR101412117B1 (ko) | 2010-03-09 | 2014-06-26 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 재생 속도 또는 피치를 변경할 때 오디오 신호에서 과도 사운드 이벤트를 처리하기 위한 장치 및 방법 |
EP2388780A1 (en) | 2010-05-19 | 2011-11-23 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for extending or compressing time sections of an audio signal |
MX2012001696A (es) | 2010-06-09 | 2012-02-22 | Panasonic Corp | Metodo de extension de ancho de banda, aparato de extension de ancho de banda, programa, circuito integrado, y aparato de descodificacion de audio. |
CN102610231B (zh) * | 2011-01-24 | 2013-10-09 | 华为技术有限公司 | 一种带宽扩展方法及装置 |
ES2639646T3 (es) | 2011-02-14 | 2017-10-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Codificación y decodificación de posiciones de impulso de pistas de una señal de audio |
CN103477387B (zh) | 2011-02-14 | 2015-11-25 | 弗兰霍菲尔运输应用研究公司 | 使用频谱域噪声整形的基于线性预测的编码方案 |
MY166394A (en) | 2011-02-14 | 2018-06-25 | Fraunhofer Ges Forschung | Information signal representation using lapped transform |
KR101551046B1 (ko) | 2011-02-14 | 2015-09-07 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 저-지연 통합 스피치 및 오디오 코딩에서 에러 은닉을 위한 장치 및 방법 |
KR101525185B1 (ko) | 2011-02-14 | 2015-06-02 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 트랜지언트 검출 및 품질 결과를 사용하여 일부분의 오디오 신호를 코딩하기 위한 장치 및 방법 |
BR112013020482B1 (pt) | 2011-02-14 | 2021-02-23 | Fraunhofer Ges Forschung | aparelho e método para processar um sinal de áudio decodificado em um domínio espectral |
WO2012131438A1 (en) * | 2011-03-31 | 2012-10-04 | Nokia Corporation | A low band bandwidth extender |
JP2013007944A (ja) * | 2011-06-27 | 2013-01-10 | Sony Corp | 信号処理装置、信号処理方法、及び、プログラム |
US20130006644A1 (en) * | 2011-06-30 | 2013-01-03 | Zte Corporation | Method and device for spectral band replication, and method and system for audio decoding |
BR112013026452B1 (pt) * | 2012-01-20 | 2021-02-17 | Fraunhofer-Gellschaft Zur Förderung Der Angewandten Forschung E.V. | aparelho e método para codificação e decodificação de áudio empregando substituição sinusoidal |
HUE028238T2 (en) * | 2012-03-29 | 2016-12-28 | ERICSSON TELEFON AB L M (publ) | Extend the bandwidth of a harmonic audio signal |
US9258428B2 (en) | 2012-12-18 | 2016-02-09 | Cisco Technology, Inc. | Audio bandwidth extension for conferencing |
CN103971693B (zh) * | 2013-01-29 | 2017-02-22 | 华为技术有限公司 | 高频带信号的预测方法、编/解码设备 |
KR101463022B1 (ko) * | 2013-01-31 | 2014-11-18 | (주)루먼텍 | 광대역 가변 대역폭 채널 필터 및 그 필터링 방법 |
BR112016015695B1 (pt) * | 2014-01-07 | 2022-11-16 | Harman International Industries, Incorporated | Sistema, mídia e método para tratamento de sinais de áudio comprimidos |
FR3017484A1 (fr) * | 2014-02-07 | 2015-08-14 | Orange | Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences |
PL3128513T3 (pl) * | 2014-03-31 | 2019-11-29 | Fraunhofer Ges Forschung | Koder, dekoder, sposób kodowania, sposób dekodowania i program |
EP3182411A1 (en) | 2015-12-14 | 2017-06-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for processing an encoded audio signal |
US10074373B2 (en) * | 2015-12-21 | 2018-09-11 | Qualcomm Incorporated | Channel adjustment for inter-frame temporal shift variations |
US10008218B2 (en) | 2016-08-03 | 2018-06-26 | Dolby Laboratories Licensing Corporation | Blind bandwidth extension using K-means and a support vector machine |
EP3382703A1 (en) | 2017-03-31 | 2018-10-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and methods for processing an audio signal |
EP3435376B1 (en) * | 2017-07-28 | 2020-01-22 | Fujitsu Limited | Audio encoding apparatus and audio encoding method |
US10872611B2 (en) * | 2017-09-12 | 2020-12-22 | Qualcomm Incorporated | Selecting channel adjustment method for inter-frame temporal shift variations |
IL313348A (en) | 2018-04-25 | 2024-08-01 | Dolby Int Ab | Combining high-frequency restoration techniques with reduced post-processing delay |
IL278223B2 (en) | 2018-04-25 | 2023-12-01 | Dolby Int Ab | Combining high-frequency audio reconstruction techniques |
CN110660400B (zh) | 2018-06-29 | 2022-07-12 | 华为技术有限公司 | 立体声信号的编码、解码方法、编码装置和解码装置 |
US11100941B2 (en) * | 2018-08-21 | 2021-08-24 | Krisp Technologies, Inc. | Speech enhancement and noise suppression systems and methods |
EP3671741A1 (en) * | 2018-12-21 | 2020-06-24 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Audio processor and method for generating a frequency-enhanced audio signal using pulse processing |
CN111786674B (zh) * | 2020-07-09 | 2022-08-16 | 北京大学 | 一种模数转换系统模拟带宽扩展的方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1431962A2 (en) * | 2000-05-22 | 2004-06-23 | Texas Instruments Incorporated | Wideband speech coding system and method |
RU2251795C2 (ru) * | 2000-05-23 | 2005-05-10 | Коудинг Текнолоджиз Аб | Усовершенствованное преобразование спектра/свертка в области поддиапазонов |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5455888A (en) | 1992-12-04 | 1995-10-03 | Northern Telecom Limited | Speech bandwidth extension method and apparatus |
JPH10124088A (ja) | 1996-10-24 | 1998-05-15 | Sony Corp | 音声帯域幅拡張装置及び方法 |
JP3946812B2 (ja) * | 1997-05-12 | 2007-07-18 | ソニー株式会社 | オーディオ信号変換装置及びオーディオ信号変換方法 |
SE512719C2 (sv) * | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
JPH11215006A (ja) | 1998-01-29 | 1999-08-06 | Olympus Optical Co Ltd | ディジタル音声信号の送信装置及び受信装置 |
US20030156624A1 (en) * | 2002-02-08 | 2003-08-21 | Koslar | Signal transmission method with frequency and time spreading |
US6549884B1 (en) | 1999-09-21 | 2003-04-15 | Creative Technology Ltd. | Phase-vocoder pitch-shifting |
AU2001220988B2 (en) * | 2000-03-23 | 2004-04-29 | Interdigital Technology Corporation | Efficient spreader for spread spectrum communication systems |
EP1351401B1 (en) * | 2001-07-13 | 2009-01-14 | Panasonic Corporation | Audio signal decoding device and audio signal encoding device |
US6895375B2 (en) | 2001-10-04 | 2005-05-17 | At&T Corp. | System for bandwidth extension of Narrow-band speech |
JP4567412B2 (ja) * | 2004-10-25 | 2010-10-20 | アルパイン株式会社 | 音声再生機および音声再生方法 |
JP2006243043A (ja) | 2005-02-28 | 2006-09-14 | Sanyo Electric Co Ltd | 高域補間装置及び再生装置 |
JP2006243041A (ja) * | 2005-02-28 | 2006-09-14 | Yutaka Yamamoto | 高域補間装置及び再生装置 |
JP5129117B2 (ja) | 2005-04-01 | 2013-01-23 | クゥアルコム・インコーポレイテッド | 音声信号の高帯域部分を符号化及び復号する方法及び装置 |
JP4701392B2 (ja) | 2005-07-20 | 2011-06-15 | 国立大学法人九州工業大学 | 高域信号補間方法及び高域信号補間装置 |
AU2012220369C1 (en) | 2011-02-25 | 2017-12-14 | Mobile Pipe Solutions Limited | Mobile plastics extrusion plant |
-
2008
- 2008-03-26 DE DE102008015702A patent/DE102008015702B4/de active Active
-
2009
- 2009-01-20 CN CN200980103756.6A patent/CN101933087B/zh active Active
- 2009-01-20 MX MX2010008378A patent/MX2010008378A/es active IP Right Grant
- 2009-01-20 PL PL17186509.0T patent/PL3264414T3/pl unknown
- 2009-01-20 RU RU2010131420/08A patent/RU2455710C2/ru active
- 2009-01-20 DK DK17186509.0T patent/DK3264414T3/da active
- 2009-01-20 US US12/865,096 patent/US8996362B2/en active Active
- 2009-01-20 CA CA2713744A patent/CA2713744C/en active Active
- 2009-01-20 KR KR1020107017069A patent/KR101164351B1/ko active IP Right Grant
- 2009-01-20 EP EP22183878.2A patent/EP4102503B1/en active Active
- 2009-01-20 EP EP09705824.2A patent/EP2238591B1/en active Active
- 2009-01-20 JP JP2010544618A patent/JP5192053B2/ja active Active
- 2009-01-20 EP EP17186509.0A patent/EP3264414B1/en active Active
- 2009-01-20 WO PCT/EP2009/000329 patent/WO2009095169A1/en active Application Filing
- 2009-01-20 AU AU2009210303A patent/AU2009210303B2/en active Active
- 2009-01-20 PT PT171865090T patent/PT3264414T/pt unknown
- 2009-01-20 BR BRPI0905795A patent/BRPI0905795B1/pt active IP Right Grant
- 2009-01-20 ES ES17186509T patent/ES2925696T3/es active Active
- 2009-01-20 ES ES09705824.2T patent/ES2649012T3/es active Active
- 2009-01-20 EP EP24189266.0A patent/EP4425492A3/en active Pending
- 2009-01-23 TW TW098102983A patent/TWI515721B/zh active
-
2018
- 2018-06-27 HK HK18108266.0A patent/HK1248912A1/zh unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1431962A2 (en) * | 2000-05-22 | 2004-06-23 | Texas Instruments Incorporated | Wideband speech coding system and method |
RU2251795C2 (ru) * | 2000-05-23 | 2005-05-10 | Коудинг Текнолоджиз Аб | Усовершенствованное преобразование спектра/свертка в области поддиапазонов |
Non-Patent Citations (1)
Title |
---|
LARSEN ERIK и др. Audio bandwidth extension, John Wiley & Sons, Ltd, 06.12.2005, разд. 6.3.4, фиг.6.11. * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10580415B2 (en) | 2012-09-17 | 2020-03-03 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal |
US9997162B2 (en) | 2012-09-17 | 2018-06-12 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal |
RU2611974C2 (ru) * | 2012-09-17 | 2017-03-01 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство и способ для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания |
RU2627102C2 (ru) * | 2013-01-29 | 2017-08-03 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Декодер для формирования аудиосигнала с улучшенной частотной характеристикой, способ декодирования, кодер для формирования кодированного сигнала и способ кодирования с использованием компактной дополнительной информации для выбора |
US9741353B2 (en) | 2013-01-29 | 2017-08-22 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a frequency enhanced signal using temporal smoothing of subbands |
RU2625945C2 (ru) * | 2013-01-29 | 2017-07-19 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство и способ для генерирования сигнала с улучшенным спектром, используя операцию ограничения энергии |
US9640189B2 (en) | 2013-01-29 | 2017-05-02 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a frequency enhanced signal using shaping of the enhancement signal |
US10062390B2 (en) | 2013-01-29 | 2018-08-28 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Decoder for generating a frequency enhanced audio signal, method of decoding, encoder for generating an encoded signal and method of encoding using compact selection side information |
RU2676242C1 (ru) * | 2013-01-29 | 2018-12-26 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Декодер для формирования аудиосигнала с улучшенной частотной характеристикой, способ декодирования, кодер для формирования кодированного сигнала и способ кодирования с использованием компактной дополнительной информации для выбора |
RU2676870C1 (ru) * | 2013-01-29 | 2019-01-11 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Декодер для формирования аудиосигнала с улучшенной частотной характеристикой, способ декодирования, кодер для формирования кодированного сигнала и способ кодирования с использованием компактной дополнительной информации для выбора |
US10186274B2 (en) | 2013-01-29 | 2019-01-22 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Decoder for generating a frequency enhanced audio signal, method of decoding, encoder for generating an encoded signal and method of encoding using compact selection side information |
US10657979B2 (en) | 2013-01-29 | 2020-05-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Decoder for generating a frequency enhanced audio signal, method of decoding, encoder for generating an encoded signal and method of encoding using compact selection side information |
US10354665B2 (en) | 2013-01-29 | 2019-07-16 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a frequency enhanced signal using temporal smoothing of subbands |
RU2641224C2 (ru) * | 2013-09-10 | 2018-01-16 | Хуавэй Текнолоджиз Ко., Лтд. | Адаптивное расширение полосы пропускания и устройство для этого |
US10249313B2 (en) | 2013-09-10 | 2019-04-02 | Huawei Technologies Co., Ltd. | Adaptive bandwidth extension and apparatus for the same |
US10847170B2 (en) | 2015-06-18 | 2020-11-24 | Qualcomm Incorporated | Device and method for generating a high-band signal from non-linearly processed sub-ranges |
RU2742296C2 (ru) * | 2015-06-18 | 2021-02-04 | Квэлкомм Инкорпорейтед | Генерация сигнала верхней полосы |
US11437049B2 (en) | 2015-06-18 | 2022-09-06 | Qualcomm Incorporated | High-band signal generation |
US12009003B2 (en) | 2015-06-18 | 2024-06-11 | Qualcomm Incorporated | Device and method for generating a high-band signal from non-linearly processed sub-ranges |
RU2745298C1 (ru) * | 2017-10-27 | 2021-03-23 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство, способ или компьютерная программа для генерации аудиосигнала с расширенной полосой с использованием процессора нейронной сети |
US11562764B2 (en) | 2017-10-27 | 2023-01-24 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method or computer program for generating a bandwidth-enhanced audio signal using a neural network processor |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2455710C2 (ru) | Устройство и способ расширения полосы пропускания аудио сигнала | |
US20230074883A1 (en) | Apparatus and method for processing an input audio signal using cascaded filterbanks | |
RU2452044C1 (ru) | Устройство, способ и носитель с программным кодом для генерирования представления сигнала с расширенным диапазоном частот на основе представления входного сигнала с использованием сочетания гармонического расширения диапазона частот и негармонического расширения диапазона частот |