RU2683489C1 - Устройство и способ обработки аудиосигнала для модификации стереоскопического изображения стереосигнала - Google Patents
Устройство и способ обработки аудиосигнала для модификации стереоскопического изображения стереосигнала Download PDFInfo
- Publication number
- RU2683489C1 RU2683489C1 RU2017140783A RU2017140783A RU2683489C1 RU 2683489 C1 RU2683489 C1 RU 2683489C1 RU 2017140783 A RU2017140783 A RU 2017140783A RU 2017140783 A RU2017140783 A RU 2017140783A RU 2683489 C1 RU2683489 C1 RU 2683489C1
- Authority
- RU
- Russia
- Prior art keywords
- pan
- time
- panning
- frequency
- signal
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 91
- 238000012545 processing Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims description 22
- 230000004048 modification Effects 0.000 title description 17
- 238000012986 modification Methods 0.000 title description 17
- 238000004091 panning Methods 0.000 claims abstract description 63
- 239000003607 modifier Substances 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 7
- KJNFMGMNZKFGIE-UHFFFAOYSA-N n-(4-hydroxyphenyl)acetamide;5-(2-methylpropyl)-5-prop-2-enyl-1,3-diazinane-2,4,6-trione;1,3,7-trimethylpurine-2,6-dione Chemical compound CC(=O)NC1=CC=C(O)C=C1.CN1C(=O)N(C)C(=O)C2=C1N=CN2C.CC(C)CC1(CC=C)C(=O)NC(=O)NC1=O KJNFMGMNZKFGIE-UHFFFAOYSA-N 0.000 claims 1
- 229940116190 repan Drugs 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 238000013507 mapping Methods 0.000 abstract description 7
- 239000000126 substance Substances 0.000 abstract 1
- 230000006870 function Effects 0.000 description 63
- 238000010586 diagram Methods 0.000 description 10
- 230000003595 spectral effect Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 150000001875 compounds Chemical class 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010186 staining Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000005291 magnetic effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Abstract
Изобретение относится к средствам обработки стереофонического аудиосигнала. Технический результат заключается в повышении качества обработки стереофонического аудиосигнала. Получают индексы панорамирования и коэффициенты усиления за счет панорамирования. Полученные индексы панорамирования характеризуют положения панорамирования для временно-частотных сегментов стереосигнала и полученные коэффициенты усиления за счет панорамирования характеризуют положения панорамирования для временно-частотных сегментов сигнала первого и второго аудиосигналов. Применяют отображающую функцию ко всем полученным индексам панорамирования временно-частотных сегментов стереосигнала, которые находятся в полосе частот, таким образом обеспечивая модифицированные индексы панорамирования. Определяют модифицированные коэффициенты усиления за счет панорамирования для временно-частотных сегментов сигнала первого и второго аудиосигналов на основании модифицированных индексов панорамирования. Репанорамируют стереосигнал согласно отношениям между модифицированными коэффициентами усиления за счет панорамирования и полученными коэффициентами усиления за счет панорамирования. 3 н. и 13 з.п. ф-лы, 10 ил.
Description
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Изобретение относится к области обработки аудиосигнала, в частности, модификации стереоскопического изображения стереосигнала, в том числе, ширины упомянутого стереоскопического изображения.
УРОВЕНЬ ТЕХНИКИ
Известно несколько различных решений, которые позволяют модифицировать (в частности, увеличивать) воспринимаемую пространственную ширину / стереоскопическое изображение стереосигнала.
Одно семейство подходов к стерео-расширению, опирается на простую линейную обработку, которую можно осуществлять во временной области. В частности, пара стереосигналов может преобразовываться в средний (сумму обоих каналов) и боковой (разностный) сигнал. Затем отношение бокового к среднему увеличивается, и преобразование обращается для получения стереопары. Это приводит к увеличению стерео-ширины. Эти способы, в основном, можно классифицировать как ʺвнутреннийʺ подход модификации стерео, хотя теоретически стерео-ширина также может выходить за пределы охвата громкоговорителей. Вычислительная сложность очень низка, но такие способы имеют ряд недостатков. Источники не только перераспределяются по стерео-сцене, но и по-разному спектрально взвешиваются. Таким образом, спектральный состав стереосигнала модифицируется в процессе расширения. Это может снижать качество аудиосигнала. Например, может увеличиваться уровень реверберации (которая включена в боковой сигнал), или может снижаться уровень центрально панорамированных источников (например, голосов). Примеры таких подходов можно найти в EP 06 772 35 B1 и US 6 507 657 B1.
Другой подход к стерео-расширению предусматривает подавление перекрестных помех (CTC), которое можно классифицировать как ʺвнешнююʺ модификацию стерео. Целью CTC является увеличение стерео-ширины за пределы охвата угла громкоговорителя или, другими словами, виртуальное увеличение угла охвата громкоговорителя. Для этого, такие способы предусматривают фильтрацию стереосигналов в попытке подавления пути от левого громкоговорителя к правому уху, и наоборот. Однако такой подход не может преодолеть ограничения в сигналах, например, когда сигнал не полностью использует стерео-сцену. Кроме того, CTC вносит артефакты окрашивания (т.е. спектральное искажение), которые ухудшают восприятие прослушивания. Кроме того, CTC работает только в сравнительно небольшой зоне наилучшего восприятия, в том смысле, что желаемый эффект может восприниматься только в малой зоне прослушивания. Один пример CTC приведен в US6928168B2.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Задачей изобретения является модификация стереоскопического изображения стереосигнала, который включает в себя первый и второй аудиосигнал.
Эта задача решается посредством признаков независимых пунктов формулы изобретения. Дополнительные формы реализации явствуют из зависимых пунктов формулы изобретения, описания и чертежей.
Согласно первому аспекту, изобретение относится к устройству обработки аудиосигнала, модифицирующему стереоскопическое изображение стереосигнала, который включает в себя первый и второй аудиосигнал. Устройство обработки аудиосигнала включает в себя модификатор индекса панорамирования, выполненный с возможностью применения отображающей функции к, по меньшей мере, всем индексам панорамирования временно-частотных сегментов стереосигнала, которые находятся в полосе частот, и, таким образом, обеспечения модифицированных индексов панорамирования. По меньшей мере, все индексы панорамирования характеризуют положения панорамирования для временно-частотных сегментов стереосигнала.
Устройство дополнительно включает в себя первый определитель коэффициента усиления за счет панорамирования, выполненный с возможностью определения модифицированных коэффициентов усиления за счет панорамирования для временно-частотных сегментов сигнала первого и второго аудиосигнала на основании модифицированных индексов панорамирования, и репанорамировщик, выполненный с возможностью репанорамирования стереосигнала согласно отношениям между модифицированными коэффициентами усиления за счет панорамирования и коэффициентами усиления за счет панорамирования первого и второго аудиосигнала, которые соответствуют модифицированным коэффициентам усиления за счет панорамирования по времени и частоте, и, таким образом, обеспечения репанорамированного стереосигнала. Используемые здесь коэффициенты усиления за счет панорамирования соответствуют друг другу, когда, например, оба они включают в себя значения для одного и того же временно-частотного бина или сегмента.
Таким образом, стереоскопическое изображение стереосигнала модифицируется путем перераспределения спектральной энергии стереосигнала. Согласно этому методу, репанорамированный стереосигнал, который может иметь расширенное или суженное стереоскопическое изображение в отличие от от немодифицированного стереосигнала, не включает в себя нежелательных артефактов или спектрального искажения.
В первой форме реализации устройства обработки аудиосигнала согласно первому аспекту, модификатор индекса панорамирования выполнен с возможностью применения нелинейной отображающей функции к, по меньшей мере, всем индексам панорамирования.
Во второй форме реализации устройства обработки аудиосигнала согласно первому аспекту, отображающая функция базируется на сигмоидальной функции.
Нелинейные отображающие функции (включая сигмоидальные отображающие функции) могут включать в себя перцепционно мотивированные кривые, например, уменьшение разрешения определения местоположения человека для источников, которые панорамированы больше к сторонам, чем к центру стереоскопического изображения. Упомянутые функции также могут избегать кластеризации источников в стереоскопическом изображении.
В третьей форме реализации устройства обработки аудиосигнала согласно первому аспекту или любой предыдущей форме реализации первого аспекта, отображающая функция выражается как или базируется на:
где Ψ(m,k) обозначает индекс панорамирования, Ψ'(m,k) обозначает модифицированный индекс панорамирования, и a определяет кривизну отображающей функции.
В четвертой форме реализации устройства обработки аудиосигнала согласно первому аспекту или любой предыдущей форме реализации первого аспекта, модификатор индекса панорамирования выполнен с возможностью применения полиномиальной отображающей функции к, по меньшей мере, всем индексам панорамирования. Полиномиальные отображающие функции могут снижать сложность по сравнению со сложными аналитическими функциями (например, заменяя операции деления и экспоненциальные функции операциями сложения и умножения).
В пятой форме реализации устройства обработки аудиосигнала согласно первому аспекту или любой предыдущей форме реализации первого аспекта, репанорамировщик выполнен с возможностью репанорамирования стереосигнала согласно нижеследующим уравнениям:
где:
X 1 (m,k) обозначает временно-частотный сегмент сигнала первого аудиосигнала,
X 2 (m,k) обозначает временно-частотный сегмент сигнала второго аудиосигнала,
X 1 '(m,k) обозначает временно-частотный сегмент сигнала репанорамированного первого аудиосигнала репанорамированного стереосигнала,
X 2 '(m,k) обозначает временно-частотный сегмент сигнала репанорамированного второго аудиосигнала репанорамированного стереосигнала,
g L (m,k) обозначает коэффициент усиления за счет панорамирования временно-частотного сегмента сигнала для первого аудиосигнала,
g R (m,k) обозначает коэффициент усиления за счет панорамирования временно-частотного сегмента сигнала для второго аудиосигнала,
g' L (m,k) обозначает модифицированный коэффициент усиления за счет панорамирования временно-частотного сегмента сигнала для первого аудиосигнала, и
g' R (m,k) обозначает модифицированный коэффициент усиления за счет панорамирования временно-частотного сегмента сигнала для второго аудиосигнала.
В шестой форме реализации устройства обработки аудиосигнала согласно первому аспекту или любой предыдущей форме реализации первого аспекта, первый определитель коэффициента усиления за счет панорамирования выполнен с возможностью определения модифицированных коэффициентов усиления за счет панорамирования на основании нижеследующих уравнений:
В седьмой форме реализации устройства обработки аудиосигнала согласно первому аспекту или любой предыдущей форме реализации первого аспекта, модификатор индекса панорамирования выполнен с возможностью применения отображающей функции ко всем индексам панорамирования временно-частотных сегментов стереосигнала, имеющим значения для аудиосигналов, которые приблизительно равны, по меньшей мере, 1500 Гц. Это снижает вычислительную сложность путем ограничения обрабатываемого частотного диапазона за счет перцепционной мотивации. Таким образом, частоты, которые ниже этого порога, могут оставаться неизменными без большой потери воспринимаемого эффекта расширения или сужения в стереоскопическом изображении.
В восьмой форме реализации устройства обработки аудиосигнала согласно первому аспекту или любой из формам реализации с первой по шестую первого аспекта, модификатор индекса панорамирования выполнен с возможностью применения отображающей функции ко всем индексам панорамирования временно-частотных сегментов стереосигнала.
В девятой форме реализации устройства обработки аудиосигнала согласно первому аспекту или любой предыдущей форме реализации первого аспекта, модификатор индекса дополнительно выполнен с возможностью приема параметра для выбора кривой отображающей функции. Это позволяет пользователю выбирать, по меньшей мере, один из типа модификации стереоскопического изображения (например, линейных или нелинейных отображающих функций) и степени применения модификации стереоскопического изображения (например, кривизны кривой отображающей функции).
В десятой форме реализации устройства обработки аудиосигнала согласно первому аспекту или любой предыдущей форме реализации первого аспекта, устройство обработки аудиосигнала дополнительно включает в себя, по меньшей мере, один из определителя индекса панорамирования, выполненного с возможностью определения, по меньшей мере, всех индексов панорамирования на основании сравнения значений временно-частотных сегментов сигнала первого и второго аудиосигналов, которые соответствуют по времени и частоте, и второго определителя коэффициента усиления за счет панорамирования, выполненного с возможностью определения коэффициентов усиления за счет панорамирования для временно-частотных сегментов сигнала первого и второго аудиосигнала на основании, по меньшей мере, всех индексов панорамирования.
В одиннадцатой форме реализации устройства обработки аудиосигнала согласно предыдущей форме реализации, по меньшей мере, один из первого и второго определителей коэффициента усиления за счет панорамирования использует полиномиальную функцию. Это приводит к снижению вычислительной сложности благодаря замене функции синуса и косинуса аппроксимирующей полиномиальной функцией.
В двенадцатой форме реализации устройства обработки аудиосигнала согласно первому аспекту или любой предыдущей форме реализации первого аспекта, устройство дополнительно включает в себя, по меньшей мере, один из одного или более блоков временно-частотного преобразования, выполненных с возможностью преобразования стереосигнала из временной области в частотную область, и одного или более блоков частотно-временного преобразования, выполненных с возможностью преобразования репанорамированного стереосигнала из частотной области во временную область.
В тринадцатой форме реализации устройства обработки аудиосигнала согласно первому аспекту или любой предыдущей форме реализации первого аспекта, устройство дополнительно включает в себя подавитель перекрестных помех, выполненный с возможностью подавления перекрестных помех между первым и вторым аудиосигналами репанорамированного стереосигнала. Репанорамированный стереосигнал занимает больше возможного максимального стереоскопического изображения, которое может воспроизводиться в стереосистеме, и, таким образом, способствует расширению более эффективного стереосигнала для подавления перекрестных помех при создании воспринимаемого стереоскопического изображения за пределы громкоговорителей стереосистемы.
Согласно второму аспекту, изобретение относится к способу обработки аудиосигнала для модификации стереоскопического изображения стереосигнала, который включает в себя первый и второй аудиосигнал, причем способ включает в себя получение индексов панорамирования и коэффициентов усиления за счет панорамирования, причем полученные индексы панорамирования характеризуют положения панорамирования для временно-частотных сегментов стереосигнала, и полученные коэффициенты усиления за счет панорамирования характеризуют положения панорамирования для временно-частотных сегментов сигнала первого и второго аудиосигналов, применение отображающей функции к, по меньшей мере, всем полученным индексам панорамирования временно-частотных сегментов стереосигнала, которые находятся в полосе частот, и, таким образом, обеспечение модифицированных индексов панорамирования, определение модифицированных коэффициентов усиления за счет панорамирования для временно-частотных сегментов сигнала первого и второго аудиосигнала на основании модифицированных индексов панорамирования, и репанорамирование стереосигнала согласно отношениям между модифицированными коэффициентами усиления за счет панорамирования и полученными коэффициентами усиления за счет панорамирования, которые соответствуют модифицированным коэффициентам усиления за счет панорамирования по времени и частоте.
Способ обработки аудиосигнала может осуществляться устройством обработки аудиосигнала. Дополнительные признаки способа обработки аудиосигнала могут осуществлять любую из функциональных возможностей формы реализации устройства обработки аудиосигнала.
Согласно третьему аспекту, изобретение относится к компьютерной программе, содержащей программный код для осуществления способа при выполнении на компьютере.
Устройство обработки аудиосигнала может программироваться для осуществления компьютерной программы.
Изобретение может быть реализовано аппаратными средствами и/или программными средствами.
КРАТКОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
Варианты осуществления изобретения будут описаны со ссылкой на следующие чертежи, в которых:
фиг. 1A - 1C - диаграммы стереоскопического изображения различной ширины;
фиг. 2 - схема устройства обработки аудиосигнала для модификации индекса панорамирования временно-частотного сегмента сигнала стереосигнала согласно варианту осуществления;
фиг. 3-5 - графики, демонстрирующие возможные формы реализации отображающей кривой для расширения стереоскопического изображения;
фиг. 6 - схема устройства обработки аудиосигнала для модификации стереоскопического изображения стереосигнала согласно варианту осуществления;
фиг. 7 - схема устройства обработки аудиосигнала для модификации стереоскопического изображения стереосигнала согласно варианту осуществления; и
фиг. 8 - схема способа обработки аудиосигнала для модификации стереоскопического изображения стереосигнала согласно варианту осуществления.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
На фиг. 1A - 1C показаны диаграммы стереоскопического изображения различной ширины. В частности, на фиг. 1A показан пример ширины стереоскопического изображения, полученной с помощью необработанного стереосигнала, которое уже, чем широчайшее возможное стереоскопическое изображение. На фиг. 1B и 1C, соответственно, показано внутреннее и внешнее расширение стереоскопического изображения.
Стереозаписи информационных материалов (например, музыки или фильмов) содержат различные аудиоисточники, которые распределены в виртуальной сцене стереозвука или стереоскопическом изображении. Источники звука могут располагаться в пределах ширины стереоскопического изображения, которая определяется и ограничивается расстоянием между громкоговорителями стереопары. Например, амплитудное панорамирование можно использовать для размещения источников звука в любом пространстве в стереоскопическом изображении. Иногда в стереозаписях широчайшее возможное стереоскопическое изображение не используется. В подобных случаях, желательно модифицировать пространственное распределение источников, чтобы воспользоваться преимуществом широчайшего возможного стереоскопического изображения, которое может создавать стереосистема. Это улучшает воспринимаемый стерео эффект и приводит к более иммерсивному восприятию прослушивания.
Могут существовать другие сценарии применения, где желательно сужать стереоскопическое изображение, например, когда громкоговорители стереопары располагаются далеко друг от друга.
Внутреннее расширение стереоскопического изображения показано на фиг. 1B в отличие от стереоскопического изображения на фиг. 1A. Внешнее расширение, которое может использовать подавление перекрестных помех (CTC), показано на фиг. 1C. Внешнее расширение пытается расширить воспринимаемое стереоскопическое изображение за пределы охвата громкоговорителей. Варианты осуществления могут включать в себя устройство и способы для внутренней и внешней модификации стерео, которые дополняют друг друга, что позволяет комбинировать их для достижения лучшего результата и дополнительного улучшения восприятия прослушивания.
Варианты осуществления могут дополнительно включать в себя устройства и способы внутренней модификации стереоскопического изображения (например, сужения и расширения). Из стереосигнала можно извлекать меру, независимую от времени и частоты (например, индекс панорамирования), которая характеризует положение аудиоисточников в стереоскопическом изображении.
Специалисту в данной области техники известны индексы панорамирования и как вычислять упомянутые индексы. Настоящее изобретение отличается от традиционных методов, помимо прочего, применением отображающей функции к, по меньшей мере, всем индексам панорамирования (например, отображающей упомянутые индексы) временно-частотных сегментов стереосигнала в полосе частот. Таким образом, временно-частотные сегменты, которые включают в себя спектральный состав в полосе частот (например, от 1,5 до 22 кГц), можно модифицировать для внутренней модификации стереосигнала. Полоса частот может быть больше, равна или меньше полосы стереосигнала.
Например, отображающая функция может применяться к индексам панорамирования всех временно-частотных бинов для расширения стереоскопического изображения для охвата полного расстояния между громкоговорителями. Различные отображающие функции более подробно описаны со ссылкой на фиг. 3-5.
Одно преимущество настоящего изобретения состоит в том, что модификация индекса панорамирования может не зависеть от времени и частоты, и, таким образом, не зависеть от содержимого стереосигнала. Полное спектральное распределение стереосигнала неизменно, поскольку части сигнала перераспределяются только в модифицированном стереоскопическом изображении. В результате, не вносятся никакие артефакты окрашивания (спектральные искажения). Модификация индекса панорамирования приводит, в случае расширения стереоскопического изображения, к более широкому стереоскопическому изображению, где источники звука перемещаются больше к сторонам/границам громкоговорителя и от центра стереоскопического изображения.
Дополнительно, варианты осуществления может снижать вычислительную сложность модификации стереоскопического изображения по сравнению с традиционными методами, не оказывая перцепционного влияния (например, не добавляя искажение) на модифицированный стереосигнал. Для этого, отображающую функцию, которая модифицирует индексы панорамирования, можно аппроксимировать полиномиальной функцией. Тогда, вместо оценивания аналитического выражения отображающей кривой, оценивается полиномиальная функция. Поскольку вычислительная сложность оценивания полиномиальной функции меньше для аналитического выражения отображающей кривой, это приводит к снижению полной сложности системы.
Аналогично, отображающая кривая может быть реализована в виде поисковой таблицы (LUT), которая отображает индексы панорамирования согласно в аналитическое выражение или полиномиальную функцию.
Варианты осуществления включают в себя извлечение индексов панорамирования из стереосигнала. Подход к извлечению индекса панорамирования описан в патенте США № 7,257,231B1. После временно-частотного преобразования, например, быстрого преобразования Фурье (FFT), индекс панорамирования можно вычислять для каждого временно-частотного сегмента стереосигнала. Временно-частотный сегмент сигнала соответствует представлению сигнала в данном временном и частотном интервале. Например, временно-частотный сегмент сигнала может соответствовать (комплексной) частотной выборке, сгенерированной для данного временного сегмента. Таким образом, каждый временно-частотный сегмент сигнала может быть значением бина FFT, сгенерированным путем применения FFT к соответствующему сегменту.
Индекс панорамирования выводится из соотношения между левым и правым каналами (или первым и вторым каналами) стереосигнала. Хотя слуховой механизм человека использует различия во времени и уровне между сигналами на двух ушах для определения местоположения источника, индекс панорамирования может базироваться только на различия в уровне. Для каждого временно-частотного сегмента сигнала, индекс панорамирования характеризует соответствующий угол на стерео-сцене (т.е. где в стереоскопическом изображении ʺвозникаетʺ временно-частотный сегмент сигнала).
На фиг. 2 показана схема устройства 200 обработки аудиосигнала для модификации стереоскопического изображения стереосигнала согласно варианту осуществления. Устройство 200 включает в себя модификатор 202 индекса панорамирования. Модификатор 202 индекса панорамирования выполнен с возможностью применения отображающей функции к, по меньшей мере, всем индексам Ψ(m,k) панорамирования временно-частотных сегментов стереосигнала в полосе частот, и, таким образом, обеспечения модифицированных индексов панорамирования.
Например, входной индекс Ψ(m,k) панорамирования можно модифицировать независимо от времени и частоты, получая, таким образом, модифицированный индекс Ψ'(m,k) панорамирования.
Модификации включают в себя сужение и расширение стереоскопического изображения. Например, часть ʺиспользуемогоʺ стереоскопического изображения (например, величина воспринимаемой ширины, которую можно обеспечить в стереосистеме по сравнению с панорамированием - спектральным распределением аудиосигнала) может расширяться, поскольку само стереоскопическое изображение ограничено охватом громкоговорителей. В результате, различные стереосистемы могут использовать различные кривые модификации в силу, например, расстояния между стереофоническими громкоговорителями.
Таким образом, одно преимущество модификации индексов панорамирования состоит в перемещении по-разному панорамированных аудиоисточников больше в сторону и, таким образом, ʺрастяженииʺ распределения в стереоскопическом изображении.
Расширение или оптимизация используемой ширины звукового изображения полезно для нескольких применений. Некоторые сигналы могут не использовать целиком доступное стереоскопическое изображение, и расширение распределения может приводить к более иммерсивному восприятию прослушивания без введения нежелательных артефактов в расширенный стереосигнал.
Другое применение состоит в дополнительной обработке расширенного сигнала с подавлением перекрестных помех (CTC) или аналогичным методом, обычно на основе психоакустических моделей, для расширения воспринимаемого стереоскопического изображения за пределы расстояния между громкоговорителями. Однако эта цель полностью не достигается. В этом случае, внутреннее расширение входного сигнала может преодолевать практические ограничения CTC и способствовать более широкому стереоскопическому изображению, где точно поддерживается пространственное распределение источников.
Кроме того, некоторые настройки прослушивания могут требовать модификации стереоскопического изображения. Например, в традиционной настройке стереофонического воспроизведения охват громкоговорителей может быть слишком широким (по сравнению с оптимальными условиями стереофонического прослушивания) и может быть полезно сужать используемую стерео-сцену в сигнале для компенсации не вполне оптимальной настройки громкоговорителей.
Таким образом, варианты осуществления могут включать в себя получение информации расстояния между громкоговорителями и между зоной прослушивания и каждым из двух громкоговорителей.
Для расширения стереоскопического изображения, модификатору 202 индекса панорамирования необходимо увеличить абсолютное значение индекса панорамирования (независимо от времени и частоты), для перемещения источников больше в стороны стереоскопического изображения. В идеале, в звуковом изображении не должно создаваться никаких воспринимаемых ʺдырʺ (например, где нет ни одного источника). Кроме того, в стереоскопическом изображении не должно создаваться зон, где несколько источников объединено друг с другом.
Выражаясь математическим языком, этим двум требованиям удовлетворяет, например, биективная отображающая функция. Другой критерий может состоять необходимости иметь стабильную, монотонно возрастающую функцию. Еще одно требование к отображающей кривой/функции может состоять в том, что все источники, панорамированные к центру, должны оставаться в центре.
Кроме того, отображающая кривая может строиться на основании психоакустических выводов о слуховых возможностях человека. Например, угловое разрешение для дифференциации в определении местоположения человека выше в центре (около 1 градуса) стереоскопического изображения, чем по сторонам (около 15 градусов).
В этом случае может потребоваться отображающая кривая или отображающая функция, которая модифицирует индекс панорамирования независимо от времени и частоты и, в идеале, удовлетворяет некоторым или всем из вышеописанных свойств.
На фиг. 3-5 показаны графики, демонстрирующие возможные формы реализации отображающей кривой для расширения стереоскопического изображения. Поскольку индекс панорамирования симметричен, можно описать только диапазон от 0 до 1, но диапазон от -1 до 0 можно обрабатывать соответственно согласно симметричной кривой или функции. Конечно, индексы панорамирования могут принимать значения, выходящие за пределы диапазона от -1 до 1.
Одна возможная форма реализации для стерео-расширения состоит в умножении индекса панорамирования на постоянный коэффициент и его ограничении максимальным значением 1:
где p - коэффициент, определяющий наклон увеличения ширины. На фиг. 3 проиллюстрировано несколько кривых, полученных с различными коэффициентами p репанорамирования. Модификатор 202 индекса панорамирования может модифицировать входные индексы панорамирования согласно или на основании (например, выведенных или аппроксимированных) одной или более кривых, показанных на фиг. 3.
Преимущество этой формы реализации состоит в простоте кривой(ых) репанорамирование. Однако кривые, показанные на фиг. 3, не представляют биективную функцию. Всем источникам, индекс панорамирования которых больше излома кривой, сопоставляется максимальный индекс панорамирования 1.
Одна возможная форма реализации отображающей кривой для расширения стереоскопического изображения графически показана на фиг. 4. Модификатор 202 индекса панорамирования может модифицировать входные индексы панорамирования согласно или на основании (например, выведенных или аппроксимированных) одной или более кривых, показанных на фиг. 4.
Кривые, показанные на фиг. 4, являются кусочно-линейными и определяются нижней точкой b L излома и верхней точкой b H излома, которые равны 0,1 и 0,8 на фиг. 4, соответственно, и также градиентом p. Индексы панорамирования, меньшие b L , не модифицируются. Градиент p применяется к индексам панорамирования, превышающим b L , вплоть до выходного индекса панорамирования b H , выше которого градиент определяется таким образом, чтобы функция достигала точки (1,1). Такое семейство кривых удовлетворяет требованию, согласно которому источники, панорамированные к центру (или вблизи центра), не должны модифицироваться, и кривая должна быть биективной. Однако, поскольку кривая является кусочно-линейной, и, таким образом, имеет изломы, это может приводить к образованию неестественных кластеров в распределении модифицированных индексов панорамирования.
Еще одна форма реализации может преодолевать вышеупомянутые ограничения, которая базируется на (например, выводится или аппроксимируется) или выражается как сигмоидальная функция. Кривые, изображенные на фиг. 5, стабильны и не имеют изломов, и представляют биективные функции. Модификатор 202 индекса панорамирования может модифицировать входные индексы панорамирования согласно или на основании одной или более кривых, показанных на фиг. 5.
Аналитическое выражение кривой можно вывести следующим образом. Кривые базируются на сигмоидальной функции
которая представляет предварительную формулу кривой. Параметр a=2 p -1 регулирует кривую, и увеличение p увеличивает расширяющее действие кривой. Для подгонки кривой к точкам (0,0) и (1,1) применяется аффинное преобразование, приводящее к окончательному варианту кривой,
которая по-прежнему регулируется параметром a, который выводится из p. Теперь это выражение кривой удовлетворяет вышеописанным требованиям. Например, это выражение кривой позволяет использовать угловое разрешение определения местоположения наблюдаемое людьми (например, едва заметные угловые различия): меньшие индексы панорамирования (соответствующие центрально панорамированным источникам) на шкале от 0 до 1 увеличиваются минимально, тогда как для больших индексов панорамирования требуется большее увеличение, чтобы обеспечивать воспринимаемое различие.
Как упомянуто, все кривые модификации индекса панорамирования заданы здесь только для диапазона индекса панорамирования от 0 до 1. Применение для диапазона от -1 до 0 осуществляется прямым отражением функции (в частности, отражением относительно оси абсцисс и оси ординат системы координат). Для охвата диапазона индекса панорамирования от -1 до 0 в аналитическом выражении, уравнение (3) можно преобразовать к виду
Кроме того, все кривые также можно применять для стерео-сужения вместо стерео-расширения, путем отражения от диагональной оси y=x. Их можно получить с помощью функции, обратной используемой в уравнении (3), которая выражается как
для диапазона Ψ(m,k) ∈ [0,1].
Модификатор 202 индекса панорамирования может модифицировать входные индексы панорамирования согласно или на основании (например, выведенных или аппроксимированных) одной или более кривых, показанных на фиг. 3-5. Например, модификатор 202 индекса панорамирования может быть выполнен с возможностью использования одной-единственной кривой. Модификатор 202 индекса панорамирования может быть выполнен с возможностью использования одной-единственной отображающей функции. Модификатор 202 индекса панорамирования может быть выполнен с возможностью приема пользовательского ввода, причем кривизна отображающей функции регулируется (например, путем приема параметра, связанного с p) и/или производится выбор отображающей функции (например, одной из отображающих функций, связанных с фиг. 3-5).
Модификатор 202 индекса панорамирования может реализовать отображающая функция по-разному. Например, одна форма реализации непосредственно использует уравнения (3) или (4) для отображения индексов панорамирования.
Еще одна форма реализации снижает вычислительную сложность за счет полиномиальной аппроксимации комплексной аналитической функции в уравнениях (3) или (4) (т.е. полиномиальной отображающей функции). Например, подгонка полиномиальной функции методом наименьших квадратов к желаемой(ым) отображающей(им) кривой(ым) дает более эффективную реализацию. Порядок полинома можно регулировать. Коэффициенты полинома можно вычислять один раз и сохранять. В течение рабочего цикла, вместо аналитического выражения кривой оценивается полином. Операции деления и экспоненциальные функции в аналитическом выражении уравнения (3), реализованные на микросхеме, могут быть очень дорогостоящими, и замена их несколькими операциями сложения и умножения позволяет снизить вычислительную сложность.
Еще одна форма реализации снижает вычислительную сложность путем ограничения обрабатываемого частотного диапазона. Хотя модификация индекса панорамирования может осуществляться независимо от частоты, некоторые возможности слуховой системы человека можно использовать для снижения вычислительной сложности. Варианты осуществления используют амплитудное панорамирование и, таким образом, опираются на межушные различия в уровне, которые, в основном, используются для определения местоположения аудиоисточников с частотами примерно 1500 Гц и выше. Таким образом, частоты, которые ниже этого порога, могут оставаться неизменными без большой потери эффекта стерео-расширения.
Еще одна форма реализации реализует отображающую функцию посредством поисковой таблицы. В этом случае функция дискретизируется.
На фиг. 6 показана схема устройства обработки аудиосигнала 600 для модификации стереоскопического изображения стереосигнала согласно варианту осуществления. Определитель 602 коэффициента усиления за счет панорамирования принимает модифицированный индекс Ψ'(m,k) панорамирования, который может модифицироваться модификатором 202 индекса панорамирования как объяснено выше. Определитель 604 коэффициента усиления за счет панорамирования принимает немодифицированный индекс Ψ(m,k) панорамирования, извлеченный, например, из стереосигнала.
Определители 602 и 604 коэффициента усиления за счет панорамирования создают коэффициенты усиления за счет панорамирования на основании принятого индекса панорамирования. Как объяснено выше, каждый индекс панорамирования характеризует некоторое положение в стереоскопическом изображении. Для данного индекса (Ψ(m,k) или Ψ'(m,k)) панорамирования, коэффициенты усиления стереоканалов могут определяться в одной форме реализации определителями 602 и 604 коэффициента усиления за счет панорамирования с использованием закона энергосберегающего панорамирования:
где g L (m,k) и g R (m,k) обозначают коэффициент усиления для левого (например, первого входного сигнала) и правого (например, второго входного сигнала) канала, соответственно, для временно-частотного бина, определяемого m и k входного стереосигнала. Определитель 602 коэффициента усиления за счет панорамирования может использовать закон энергосберегающего панорамирования для вычисления модифицированных коэффициентов g L '(m,k) и g R '(m,k) усиления за счет панорамирования.
В одной форме реализации определителей 602 и 604 коэффициента усиления за счет панорамирования, полиномиальную аппроксимацию можно использовать для вычисления коэффициента усиления за счет панорамирования согласно уравнению (6), например, путем замены функция синуса и косинуса аппроксимирующей полиномиальной функцией.
В этот момент, сигнал, содержащийся в некотором временно-частотном бине (т.е. временно-частотных сегментах стереосигнала), может перемещаться для создания модифицированного стереоскопического изображения с помощью репанорамировщика 606. Репанорамировщик 606 может принимать коэффициенты усиления за счет панорамирования, модифицированные коэффициенты усиления за счет панорамирования и входной стереосигнал, на которых базируются коэффициенты усиления за счет панорамирования. В одной форме реализации репанорамировщика 606, репанорамировщик 606 генерирует стереосигнал с модифицированным стереоскопическим изображением согласно выражению:
где X 1 (m,k), X 2 (m,k) - входной стереосигнал, и X 1 '(m,k) и X 2 '(m,k) - выходной стереосигнал с модифицированным стереоскопическим изображением.
Устройство 600 может дополнительно включать в себя подавитель 608 перекрестных помех, выполненный с возможностью подавления перекрестных помех между первым и вторым аудиосигналами репанорамированного стереосигнала (X 1 '(m,k) и X 2 '(m,k)) и вывода стереосигнала (X CTC 1 (m,k) и X CTC 2 (m,k)), причем воспринимаемое стереоскопическое изображение выходит за пределы расстояния между громкоговорителями.
На фиг. 7 показана схема устройства 700 обработки аудиосигнала для модификации стереоскопического изображения стереосигнала согласно варианту осуществления. Входной стереосигнал (x 1 (t), x 2 (t)) преобразуется в сигнал (X 1 (m,k), X 2 (m,k)) частотной области посредством блоков 702 временно-частотного преобразования.
После временно-частотного преобразования, индекс панорамирования извлекается из стереопары X 1 (m,k), X 2 (m,k), с использованием, например, способа, описанного в патенте США № 7,257,231 B1, посредством определителя 704 индекса панорамирования.
Этот способ извлечения индекса панорамирования базируется на подобии по амплитуде между сигналами X 1 (m,k) и X 2 (m,k). Например, при более низком подобии в некотором временно-частотном бине, аудиоисточник, соответствующий этому временно-частотному бину, панорамируется больше в одну сторону, т.е. в направлении одного из двух входных сигналов. В одной форме реализации определителя 704 индекса панорамирования, индекс ψ(m,k) подобия вычисляется как
где члены в знаменателе представляют собой энергию сигнала в первом (левом) и втором (правом) сигналах входного стереосигнала, соответственно. Этот индекс подобия симметричен относительно X 1 (m,k) и X 2 (m,k). Поэтому этот индекс подобия обуславливает неопределенность и, сам по себе, не может указывать направление (например, влево или вправо) панорамирования сигнала. Для решения неопределенности можно использовать разность энергий
Из разности энергий выводится указатель
совместно с индексом ψ(m,k) подобия, для получения индекса панорамирования
В этой форме реализации, определитель 704 индекса панорамирования обеспечивает индекс панорамирования, который имеет возможный диапазон от -1 до 1, где -1 указывает сигнал, полностью панорамированный к первому входному сигналу (влево), 0 соответствует центрально панорамированному сигналу, и 1 указывает сигнал, полностью панорамированный ко второму входному сигналу (вправо). Воспринимаемый угол в стереоскопическом изображении характеризуется индексом панорамирования.
Модификатор 202 индекса панорамирования может модифицировать принятый индекс панорамирования, как описано выше. Одна форма реализации включает в себя интерфейс 705 пользовательского ввода, который может обеспечивать параметр для регулировки степени модификации стереоскопического изображения (например, кривизны отображающей функции) и/или выбора типа модификации панорамирования (например, выбора одного из методов модификации панорамирования, соответствующих семейству кривых, показанных на фиг. 3-5).
Определители 602 и 604 коэффициента усиления за счет панорамирования могут генерировать коэффициенты усиления за счет панорамирования, как описано выше, которые могут затем поступать на репанорамировщик 606, который генерирует выходной стереосигнал с модифицированным стереоскопическим изображением (т.е. репанорамированный стереосигнал), как описано выше. Выходной стереосигнал преобразуется во временную область блоками 706 частотно-временного преобразования, в результате чего, выводится выходной стереосигнал x' 1(t) и x' 2(t) временной области.
В одной форме реализации устройства 700, сигналы временной области могут преобразовываться в частотную область посредством блоков 702 с использованием быстрого преобразования Фурье с размером блока 512 или 1024, с частотой дискретизации 48 кГц. Авторы изобретения нашли хороший компромисс по точности и снижению сложности, когда полиномиальная аппроксимация устанавливается на полином третьей степени для отображающей функции индекса панорамирования, используемой модификатором 202 индекса панорамирования и на полином второй степени для вычисления коэффициента усиления за счет панорамирования, используемого определителями 602 и 604 коэффициента усиления за счет панорамирования. Для параметра репанорамирования p=4 и полинома третьей степени, коэффициенты полинома могут быть [a 3 a 2 a 1 a 0 ]=[4,5214 -8,4350 4,8328 0,1724]. Тогда полиномиальная функция может использоваться модификатором индекса панорамирования в виде Ψ'=a 3 ·Ψ 3 +a 2 ·Ψ 2 +a 1 ·Ψ+a 0 .
Варианты осуществления могут включать в себя все признаки, показанные на фиг. 7, но также могут включать в себя только репанорамировщик 606. Например, битовый поток может включать в себя коэффициенты усиления за счет панорамирования, модифицированные коэффициенты усиления за счет панорамирования, и входной стереосигнал частотной области, которые все могут поступать на репанорамировщик 606. В другом варианте, индексы панорамирования могут быть включены в битовый поток, что избавляет от необходимости в определителе 704 индекса панорамирования.
На фиг. 8 показана схема способа обработки аудиосигнала для модификации стереоскопического изображения стереосигнала согласно варианту осуществления.
Этап 800 включает в себя получение индексов панорамирования и коэффициентов усиления за счет панорамирования, причем полученные индексы панорамирования характеризуют положения панорамирования для временно-частотных сегментов стереосигнала входного стереосигнала, и полученные коэффициенты усиления за счет панорамирования характеризуют положения панорамирования для временно-частотных сегментов сигнала первого и второго аудиосигналов входного стереосигнала. Упомянутые индексы и коэффициенты усиления можно получать непосредственно из битового потока или вычислять на основании входного стереосигнала, как описано выше, или можно комбинированный подход.
Этап 802 включает в себя применение отображающей функции к, по меньшей мере, всем полученным индексам панорамирования временно-частотных сегментов стереосигнала в полосе частот. Этап 804 включает в себя определение модифицированных коэффициентов усиления за счет панорамирования для временно-частотных сегментов сигнала первого и второго аудиосигнала на основании модифицированных индексов панорамирования.
Этап 806 включает в себя репанорамирование входного стереосигнала согласно отношениям между модифицированными коэффициентами усиления за счет панорамирования и полученными коэффициентами усиления за счет панорамирования, которые соответствуют модифицированным коэффициентам усиления за счет панорамирования по времени и частоте. Таким образом, коэффициенты усиления за счет панорамирования соответствуют друг другу, когда, например, оба они включают в себя значения для одного и того же временно-частотного бина или сегмента.
Варианты осуществления изобретения можно реализовать в компьютерной программе для выполнения на компьютерной системе, по меньшей мере, включающей в себя участки кода для осуществления этапов способа согласно изобретению при выполнении на программируемом устройстве, например, компьютерной системе, или позволяющей программируемому устройству для осуществления функций устройства или системы согласно изобретению.
Компьютерная программа представляет собой список инструкций, например, конкретную прикладную программу и/или операционную систему. Компьютерная программа может, например, включать в себя один или более из: подпрограммы, функции, процедуры, объектного метода, объектной реализации, исполнимого приложения, апплета, сервлета, исходного кода, объектного кода, совместно используемой библиотеки/динамически загружаемой библиотеки и/или другой последовательности инструкций, предназначенных для исполнения на компьютерной системе.
Компьютерная программа может храниться внутренне на компьютерно-считываемом носителе данных или передаваться на компьютерную систему через компьютерно-считываемую среду передачи. Все или некоторые компьютерные программы могут обеспечиваться на временных или невременных компьютерно-считываемых средах, постоянно, с возможностью удаления или дистанционно, подключенных к системе обработки информации. Компьютерно-считываемые среды могут включать в себя, например и без ограничения, любые из следующих: магнитных носителей данных, включающих в себя дисковые и ленточные носители данных; оптических носителей данных, например, носителей типа компакт-диск (например, CD-ROM, CD-R и т.д.) и носителей данных типа цифрового видеодиска; носителей данных типа энергонезависимой памяти, включающих в себя полупроводниковые блоки памяти, например, флэш-память, EEPROM, EPROM, ROM; ферромагнитных цифровых блоков памяти; MRAM; энергозависимых носителей данных, включающих в себя регистры, буферы или устройства кэш-памяти, основную память, RAM и т.д.; и сред передачи данных, включающих в себя, помимо прочего, компьютерные сети, оборудование двухточечной связи и среды передачи несущей волны.
Компьютерный процесс обычно включает в себя исполнение или выполнение программы или участок программы, текущие значения программы и информацию состояния, и ресурсы, используемые операционной системой для управления исполнением процесса. Операционная система (OS) представляет собой программное обеспечение, которое управляет совместным использованием ресурсов компьютера и снабжает программистов интерфейсом, используемым для осуществления доступа к этим ресурсам. Операционная система обрабатывает системные данные и пользовательский ввод, и в ответ выделяет и администрирует задания и внутренние системные ресурсы в качестве службы пользователям и программам системы.
Компьютерная система может, например, включать в себя, по меньшей мере, один блок обработки, связанную с ним память и несколько устройств ввода/вывода (I/O). При выполнении компьютерной программы, компьютерная система обрабатывает информацию согласно компьютерной программе и выдает результирующую выходную информацию через устройства I/O.
Рассмотренные здесь соединения могут быть любым типом соединения, пригодным для переноса сигналов от и на соответствующие узлы, блоки или устройства, например, через промежуточные устройства. Соответственно, если не предусмотрено или указано обратное, соединения могут быть, например, прямыми соединениями или непрямыми соединениями. Соединения могут быть проиллюстрированы или описаны как одиночное соединение, множество соединений, односторонние соединения или двусторонние соединения. Однако, различные варианты осуществления могут изменять реализацию соединений. Например, отдельные односторонние соединения можно использовать вместо двусторонних соединений и наоборот. Кроме того, множество соединений можно заменить одиночным соединением, которое переносит множественные сигналы последовательно или в режиме мультиплексирования по времени. Аналогично, одиночные соединения, несущие множественные сигналы, могут делиться на различные соединения, несущие поднаборы этих сигналов. Поэтому, существует много вариантов для переноса сигналов.
Специалистам в данной области техники очевидно, что границы между логическими блоками являются лишь иллюстративными, и что альтернативные варианты осуществления могут объединять логические блоки или схемные элементы или налагать альтернативное разложение функциональных возможностей на различные логические блоки или схемные элементы. Таким образом, следует понимать, что изображенные здесь архитектуры являются лишь иллюстративными, и что могут быть реализованы фактически многие другие архитектуры, которые достигают тех же функциональных возможностей.
Таким образом, любая компоновка компонентов для достижения тех же функциональных возможностей является, по существу, "связанной", благодаря чему, достигаются желаемые функциональные возможности. Поэтому любые два объединенных здесь компонентов для достижения конкретных функциональных возможностей можно рассматривать как "связанные" друг с другом, благодаря чему, достигаются желаемые функциональные возможности, независимо от архитектур или межсредовых компонентов. Аналогично, любые два компонента, связанные таким образцом, также можно рассматривать "соединенные в ходе работы" или "связанные в ходе работы" друг с другом для достижения желаемых функциональных возможностей.
Кроме того, специалистам в данной области техники очевидно, что границы между вышеописанными операциями являются лишь иллюстративными. Множественные операции могут объединяться в одиночную операцию, одиночная операция может распределяться в дополнительных операциях, и операции могут выполняться, по меньшей мере, частично перекрываясь по времени. Кроме того, альтернативные варианты осуществления могут включать в себя множественные экземпляры конкретной операции, и порядок операций может изменяться в различных других вариантах осуществления.
Также например, примеры, или их части, можно реализовать в виде программных или кодовых представлений физической схемы или логических представлений, которые можно преобразовывать в физическую схему, например, на языке описания оборудования любого подходящего типа.
Кроме того, изобретение не ограничивается физическими устройствами или блоками, реализованными в непрограммируемом оборудовании, но его также можно применять в программируемых устройствах или блоках, способных осуществлять желаемые функции устройства, действуя в соответствии с пригодным программным кодом, например, универсальных компьютеров, миникомпьютеров, серверов, рабочих станций, персональных компьютеров, планшетов, персональных цифровых помощников, электронных игр, автомобильных и других встроенных систем, сотовых телефонов и различных других беспроводных устройств, совместно именуемых в этой заявке компьютерными системами.
Однако возможны и другие модификации, вариации и альтернативы. Описание изобретения и чертежи, соответственно, следует рассматривать в иллюстративном, а не ограничительном смысле.
Claims (40)
1. Устройство обработки аудиосигнала для модификации стереоскопического изображения стереосигнала, который включает в себя первый и второй аудиосигналы, причем устройство обработки аудиосигнала содержит:
модификатор индекса панорамирования, выполненный с возможностью применения отображающей функции к, по меньшей мере, всем индексам панорамирования временно-частотных сегментов стереосигнала, которые находятся в полосе частот, и, таким образом, обеспечения модифицированных индексов панорамирования, причем, по меньшей мере, все индексы панорамирования характеризуют положения панорамирования для временно-частотных сегментов стереосигнала;
первый определитель коэффициента усиления за счет панорамирования, выполненный с возможностью определения модифицированных коэффициентов усиления за счет панорамирования для временно-частотных сегментов сигнала первого и второго аудиосигналов на основании модифицированных индексов панорамирования; и
репанорамировщик, выполненный с возможностью репанорамирования стереосигнала согласно отношениям между модифицированными коэффициентами усиления за счет панорамирования и коэффициентами усиления за счет панорамирования первого и второго аудиосигналов, которые соответствуют модифицированным коэффициентам усиления за счет панорамирования по времени и частоте, таким образом обеспечивая репанорамированный стереосигнал.
2. Устройство обработки аудиосигнала по п. 1, в котором модификатор индекса панорамирования выполнен с возможностью применения нелинейной отображающей функции к, по меньшей мере, всем индексам панорамирования.
3. Устройство обработки аудиосигнала по п. 1, в котором отображающая функция основывается на сигмоидальной функции.
4. Устройство обработки аудиосигнала по п. 3, в котором отображающая функция выражается как или основывается на:
где Ψ(m,k) обозначает индекс панорамирования, Ψ'(m,k) обозначает модифицированный индекс панорамирования, и a определяет кривизну отображающей функции.
5. Устройство обработки аудиосигнала по п. 1, в котором модификатор индекса панорамирования выполнен с возможностью применения полиномиальной отображающей функции к, по меньшей мере, всем индексам панорамирования.
6. Устройство обработки аудиосигнала по п. 1, в котором репанорамировщик выполнен с возможностью репанорамирования стереосигнала согласно нижеследующим уравнениям:
где:
X 1 (m,k) обозначает временно-частотный сегмент сигнала первого аудиосигнала,
X 2 (m,k) обозначает временно-частотный сегмент сигнала второго аудиосигнала,
X 1 '(m,k) обозначает временно-частотный сегмент сигнала репанорамированного первого аудиосигнала репанорамированного стереосигнала,
X 2 '(m,k) обозначает временно-частотный сегмент сигнала репанорамированного второго аудиосигнала репанорамированного стереосигнала,
g L (m,k) обозначает коэффициент усиления за счет панорамирования временно-частотного сегмента сигнала для первого аудиосигнала,
g R (m,k) обозначает коэффициент усиления за счет панорамирования временно-частотного сегмента сигнала для второго аудиосигнала,
g' L (m,k) обозначает модифицированный коэффициент усиления за счет панорамирования временно-частотного сегмента сигнала для первого аудиосигнала, и
g' R (m,k) обозначает модифицированный коэффициент усиления за счет панорамирования временно-частотного сегмента сигнала для второго аудиосигнала.
7. Устройство обработки аудиосигнала по п. 1, в котором первый определитель коэффициента усиления за счет панорамирования выполнен с возможностью определения модифицированных коэффициентов усиления за счет панорамирования на основании нижеследующих уравнений:
8. Устройство обработки аудиосигнала по п. 1, в котором модификатор индекса панорамирования выполнен с возможностью применения отображающей функции ко всем индексам панорамирования временно-частотных сегментов стереосигнала, имеющим значения для аудиосигналов, которые равны по меньшей мере 1500 Гц.
9. Устройство обработки аудиосигнала по п. 1, в котором модификатор индекса панорамирования выполнен с возможностью применения отображающей функции ко всем индексам панорамирования временно-частотных сегментов стереосигнала.
10. Устройство обработки аудиосигнала по п. 1, в котором модификатор индекса дополнительно выполнен с возможностью приема параметра для выбора кривой отображающей функции.
11. Устройство обработки аудиосигнала по п. 1, дополнительно содержащее по меньшей мере один из:
определителя индекса панорамирования, выполненного с возможностью определения, по меньшей мере, всех индексов панорамирования на основании сравнения значений временно-частотных сегментов сигнала первого и второго аудиосигналов, которые соответствуют по времени и частоте; и
второго определителя коэффициента усиления за счет панорамирования, выполненного с возможностью определения коэффициентов усиления за счет панорамирования для временно-частотных сегментов сигнала первого и второго аудиосигналов на основании, по меньшей мере, всех индексов панорамирования.
12. Устройство обработки аудиосигнала по п. 11, в котором по меньшей мере один из первого и второго определителей коэффициента усиления за счет панорамирования использует полиномиальную функцию.
13. Устройство обработки аудиосигнала по п. 1, дополнительно содержащее по меньшей мере один из:
одного или более блоков временно-частотного преобразования, выполненных с возможностью преобразования стереосигнала из временной области в частотную область; и
одного или более блоков частотно-временного преобразования, выполненных с возможностью преобразования репанорамированного стереосигнала из частотной области во временную область.
14. Устройство обработки аудиосигнала по п. 1, дополнительно содержащее подавитель перекрестных помех, выполненный с возможностью подавления перекрестных помех между первым и вторым аудиосигналами репанорамированного стереосигнала.
15. Способ обработки аудиосигнала для модификации стереоскопического изображения стереосигнала, который включает в себя первый и второй аудиосигналы, причем способ обработки аудиосигнала содержит этапы, на которых:
получают индексы панорамирования и коэффициенты усиления за счет панорамирования, причем полученные индексы панорамирования характеризуют положения панорамирования для временно-частотных сегментов стереосигнала, и полученные коэффициенты усиления за счет панорамирования характеризуют положения панорамирования для временно-частотных сегментов сигнала первого и второго аудиосигналов;
применяют отображающую функцию к, по меньшей мере, всем полученным индексам панорамирования временно-частотных сегментов стереосигнала, которые находятся в полосе частот, таким образом обеспечивая модифицированные индексы панорамирования;
определяют модифицированные коэффициенты усиления за счет панорамирования для временно-частотных сегментов сигнала первого и второго аудиосигналов на основании модифицированных индексов панорамирования; и
репанорамируют стереосигнал согласно отношениям между модифицированными коэффициентами усиления за счет панорамирования и полученными коэффициентами усиления за счет панорамирования, которые соответствуют модифицированным коэффициентам усиления за счет панорамирования по времени и частоте.
16. Компьютерно-считываемый носитель данных, содержащий компьютерную программу, содержащую программный код для осуществления способа по п. 15 при выполнении на компьютере.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/EP2015/058879 WO2016169608A1 (en) | 2015-04-24 | 2015-04-24 | An audio signal processing apparatus and method for modifying a stereo image of a stereo signal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2683489C1 true RU2683489C1 (ru) | 2019-03-28 |
Family
ID=52998155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017140783A RU2683489C1 (ru) | 2015-04-24 | 2015-04-24 | Устройство и способ обработки аудиосигнала для модификации стереоскопического изображения стереосигнала |
Country Status (13)
| Country | Link |
|---|---|
| US (1) | US10057702B2 (ru) |
| EP (1) | EP3216234B1 (ru) |
| JP (1) | JP6562572B2 (ru) |
| KR (1) | KR101944758B1 (ru) |
| CN (1) | CN107534823B (ru) |
| AU (1) | AU2015392163B2 (ru) |
| BR (1) | BR112017022925B1 (ru) |
| CA (1) | CA2983471C (ru) |
| MX (1) | MX2017013642A (ru) |
| MY (1) | MY196134A (ru) |
| RU (1) | RU2683489C1 (ru) |
| WO (1) | WO2016169608A1 (ru) |
| ZA (1) | ZA201707181B (ru) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3373604B1 (en) * | 2017-03-08 | 2021-09-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for providing a measure of spatiality associated with an audio stream |
| KR102418168B1 (ko) * | 2017-11-29 | 2022-07-07 | 삼성전자 주식회사 | 오디오 신호 출력 장치 및 방법, 이를 이용한 디스플레이 장치 |
| US10565973B2 (en) * | 2018-06-06 | 2020-02-18 | Home Box Office, Inc. | Audio waveform display using mapping function |
| US20240163626A1 (en) * | 2022-11-11 | 2024-05-16 | Bang & Olufsen, A/S | Adaptive sound image width enhancement |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070041592A1 (en) * | 2002-06-04 | 2007-02-22 | Creative Labs, Inc. | Stream segregation for stereo signals |
| KR20070074645A (ko) * | 2004-11-29 | 2007-07-12 | 노키아 코포레이션 | 2개의 라우드스피커를 위한 스테레오 확장 네트워크 |
| WO2008148591A1 (en) * | 2007-06-06 | 2008-12-11 | Skype Limited | Method of transmitting data in a communication system |
| US20110132175A1 (en) * | 2009-12-04 | 2011-06-09 | Roland Corporation | User interface apparatus |
| JP5298649B2 (ja) * | 2008-01-07 | 2013-09-25 | 株式会社コルグ | 音楽装置 |
| EP1814360B1 (en) * | 2006-01-26 | 2013-12-18 | Sony Corporation | Audio signal processing apparatus, audio signal processing method, and audio signal processing program |
| RU2551792C2 (ru) * | 2010-06-02 | 2015-05-27 | Конинклейке Филипс Электроникс Н.В. | Система и способ для обработки звука |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU3427393A (en) | 1992-12-31 | 1994-08-15 | Desper Products, Inc. | Stereophonic manipulation apparatus and method for sound image enhancement |
| US5661808A (en) * | 1995-04-27 | 1997-08-26 | Srs Labs, Inc. | Stereo enhancement system |
| JP3740670B2 (ja) | 1997-05-20 | 2006-02-01 | 株式会社河合楽器製作所 | ステレオ音像拡大装置 |
| US7231060B2 (en) | 1997-08-26 | 2007-06-12 | Color Kinetics Incorporated | Systems and methods of generating control signals |
| US6928168B2 (en) | 2001-01-19 | 2005-08-09 | Nokia Corporation | Transparent stereo widening algorithm for loudspeakers |
| US7970144B1 (en) * | 2003-12-17 | 2011-06-28 | Creative Technology Ltd | Extracting and modifying a panned source for enhancement and upmix of audio signals |
| KR101871234B1 (ko) | 2012-01-02 | 2018-08-02 | 삼성전자주식회사 | 사운드 파노라마 생성 장치 및 방법 |
-
2015
- 2015-04-24 BR BR112017022925-0A patent/BR112017022925B1/pt active IP Right Grant
- 2015-04-24 CA CA2983471A patent/CA2983471C/en active Active
- 2015-04-24 EP EP15718225.4A patent/EP3216234B1/en active Active
- 2015-04-24 MX MX2017013642A patent/MX2017013642A/es unknown
- 2015-04-24 KR KR1020177018652A patent/KR101944758B1/ko active IP Right Grant
- 2015-04-24 AU AU2015392163A patent/AU2015392163B2/en active Active
- 2015-04-24 JP JP2017530733A patent/JP6562572B2/ja active Active
- 2015-04-24 RU RU2017140783A patent/RU2683489C1/ru active
- 2015-04-24 MY MYPI2017703987A patent/MY196134A/en unknown
- 2015-04-24 CN CN201580079157.0A patent/CN107534823B/zh active Active
- 2015-04-24 WO PCT/EP2015/058879 patent/WO2016169608A1/en active Application Filing
-
2017
- 2017-06-07 US US15/616,654 patent/US10057702B2/en active Active
- 2017-10-23 ZA ZA2017/07181A patent/ZA201707181B/en unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070041592A1 (en) * | 2002-06-04 | 2007-02-22 | Creative Labs, Inc. | Stream segregation for stereo signals |
| KR20070074645A (ko) * | 2004-11-29 | 2007-07-12 | 노키아 코포레이션 | 2개의 라우드스피커를 위한 스테레오 확장 네트워크 |
| EP1814360B1 (en) * | 2006-01-26 | 2013-12-18 | Sony Corporation | Audio signal processing apparatus, audio signal processing method, and audio signal processing program |
| WO2008148591A1 (en) * | 2007-06-06 | 2008-12-11 | Skype Limited | Method of transmitting data in a communication system |
| JP5298649B2 (ja) * | 2008-01-07 | 2013-09-25 | 株式会社コルグ | 音楽装置 |
| US20110132175A1 (en) * | 2009-12-04 | 2011-06-09 | Roland Corporation | User interface apparatus |
| RU2551792C2 (ru) * | 2010-06-02 | 2015-05-27 | Конинклейке Филипс Электроникс Н.В. | Система и способ для обработки звука |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016169608A1 (en) | 2016-10-27 |
| JP6562572B2 (ja) | 2019-08-21 |
| KR20170092669A (ko) | 2017-08-11 |
| US10057702B2 (en) | 2018-08-21 |
| ZA201707181B (en) | 2018-11-28 |
| JP2018505583A (ja) | 2018-02-22 |
| US20170272881A1 (en) | 2017-09-21 |
| MX2017013642A (es) | 2018-07-06 |
| BR112017022925A2 (pt) | 2018-07-24 |
| EP3216234B1 (en) | 2019-09-25 |
| KR101944758B1 (ko) | 2019-02-01 |
| AU2015392163A1 (en) | 2017-11-23 |
| CN107534823A (zh) | 2018-01-02 |
| AU2015392163B2 (en) | 2018-12-20 |
| CA2983471C (en) | 2019-11-26 |
| CA2983471A1 (en) | 2016-10-27 |
| CN107534823B (zh) | 2020-04-28 |
| BR112017022925B1 (pt) | 2022-09-13 |
| EP3216234A1 (en) | 2017-09-13 |
| MY196134A (en) | 2023-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6982604B2 (ja) | 符号化されたオーディオメタデータに基づくラウドネス等化及びｄｒｃ中の動的等化 | |
| JP6251809B2 (ja) | サウンドステージ拡張用の装置及び方法 | |
| CA2903900C (en) | Apparatus and method for multichannel direct-ambient decomposition for audio signal processing | |
| US10109288B2 (en) | Dynamic range and peak control in audio using nonlinear filters | |
| RU2683489C1 (ru) | Устройство и способ обработки аудиосигнала для модификации стереоскопического изображения стереосигнала | |
| US9264838B2 (en) | System and method for variable decorrelation of audio signals | |
| JP2020502562A (ja) | 相関分離フィルタの適応制御のための方法および装置 | |
| US20220060824A1 (en) | An Audio Capturing Arrangement | |
| CN112019993A (zh) | 音频处理 | |
| CN113273225B (zh) | 音频处理 | |
| US10771896B2 (en) | Crosstalk cancellation for speaker-based spatial rendering | |
| EP3896998A1 (en) | Systems and methods for providing content-specific, personalized audio replay on customer devices | |
| US11962992B2 (en) | Spatial audio processing | |
| KR102628755B1 (ko) | 다운믹스된 신호 계산 방법 및 장치 | |
| US11343635B2 (en) | Stereo audio | |
| JP2024500916A (ja) | バイノーラルオーディオ録音のための知覚強化 | |
| CN116636233A (zh) | 用于双耳音频录制的感知增强 |