RU2643630C1 - Способ и устройство для рендеринга акустического сигнала и машиночитаемый носитель записи - Google Patents

Abstract

Изобретение относится к обработке аудиосигнала. Технический результат - уменьшение искажения звукового сигнала. Данный способ рендеринга аудиосигнала для уменьшения искажения звукового сигнала, даже когда конфигурация скомпонованных динамиков отличается от стандартной конфигурации, включает в себя: прием многоканального сигнала, включающего в себя множество входных каналов, которые должны быть преобразованы во множество выходных каналов; получение информации отклонения об одном выходном канале, исходя из положения динамика и стандартного положения, соответствующего каждому из множества выходных каналов; и изменение усиления панорамирования из канала высоты, включенного во множество входных каналов, в выходной канал, имеющий информацию отклонения, на основании полученной информации отклонения. 3 н. и 16 з.п. ф-лы, 19 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Изобретательский замысел относится к способу и устройству для рендеринга аудиосигнала, и более конкретно к устройству и способу рендеринга для более точного воспроизведения положения звукового образа и тембра посредством изменения усиления панорамирования или коэффициента фильтра, когда между стандартной конфигурацией и конфигурацией выходных каналов в данной компоновке есть несовпадение.

УРОВЕНЬ ТЕХНИКИ

[0002] Стереофонический звук означает звук, к которому добавлена пространственная информация, способная воспроизводить направление или удаленность звука, а также высоту и тембр звука, обеспечивая слушателю возможность ощущения эффекта присутствия и позволяя слушателю, который не присутствует в пространстве, где находится источник звука, испытывать впечатление направления, расстояния и пространства.

[0003] При осуществлении рендеринга канального сигнала, такого как 22.2-канальный сигнал, в виде 5.1-канального, трехмерный (3D) стереофонический звук может быть воспроизведен с использованием двухмерного (2D) выходного канала, но подверженные рендерингу аудиосигналы настолько чувствительны к конфигурации динамиков, что может произойти искажение звукового образа, если конфигурация динамиков в данной компоновке отличается от стандартной конфигурации.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ПРОБЛЕМА

[0004] Как описано выше, когда рендеринг канального сигнала, такого как 22.2-канальный сигнал, осуществляется в виде 5.1-канального, трехмерный (3D) стереофонический звук может быть воспроизведен с использованием двухмерного (2D) выходного канала, но подверженные рендерингу аудиосигналы настолько чувствительны к конфигурации динамиков, что может произойти искажение звукового образа, если конфигурация динамиков в данной компоновке отличается от стандартной конфигурации.

[0005] Для решения проблем уровня техники изобретательский замысел предусматривает уменьшение искажения звукового образа, даже когда конфигурация установленных динамиков отличается от стандартной конфигурации.

ТЕХНИЧЕСКОЕ РЕШЕНИЕ

[0006] Для того, чтобы достигнуть цели, настоящее изобретение включает в себя варианты осуществления ниже.

[0007] Способ рендеринга аудиосигнала включает в себя: прием многоканального сигнала, содержащего множество входных каналов которые должны быть преобразованы во множество выходных каналов; получение информации отклонения по меньшей мере об одном выходном канале, исходя из положения динамика, соответствующего каждому из множества выходных каналов, и стандартного положения; и изменение усиления панорамирования из канала высоты, включенного во множество входных каналов, в выходной канал, имеющий информацию отклонения, на основании полученной информации отклонения.

ПОЛЕЗНЫЕ ЭФФЕКТЫ

[0008] Согласно изобретательскому замыслу, можно осуществить рендеринг аудиосигнала, так чтобы уменьшить искажение звукового образа, даже если конфигурация установленных динамиков отличается от стандартной конфигурации, или изменилось положение звукового образа.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0009] Фиг. 1 является блок-схемой, иллюстрирующей внутреннюю структуру устройства воспроизведения стереофонического звука, согласно варианту осуществления;

[0010] Фиг. 2 является блок-схемой блока рендеринга в устройстве воспроизведения стереофонического звука согласно варианту осуществления;

[0011] Фиг. 3 является схемой конфигурации каналов в случае, когда осуществляется понижающее микширование множества входных каналов во множество выходных каналов, согласно варианту осуществления;

[0012] Фиг. 4 является схемой блока панорамирования в случае, когда между стандартной конфигурацией и конфигурацией выходных каналов в данной компоновке возникает позиционное отклонение, согласно варианту осуществления;

[0013] Фиг. 5 является схемой, иллюстрирующей конфигурацию блока панорамирования в случае, когда есть отклонение возвышения между стандартной конфигурацией и конфигурацией выходных каналов в данной компоновке, согласно варианту осуществления;

[0014] Фиг. 6 является схемами, показывающими положения звукового образа согласно конфигурации выходных каналов в данной компоновке, когда рендеринг сигнала центрального канала осуществляется из сигнала левого канала и сигнала правого канала;

[0015] Фиг. 7 является схемами, показывающими локализацию положения звукового образа посредством корректирования эффекта возвышения согласно варианту осуществления, если в выходных каналах есть отклонение возвышения;

[0016] Фиг. 8 является блок-схемой, иллюстрирующей способ рендеринга стереофонического аудиосигнала, согласно варианту осуществления;

[0017] Фиг. 9 является схемой, показывающей отклонение возвышения относительно усиления панорамирования по отношению к каждому каналу, когда рендеринг сигнала центрального канала осуществляется из сигнала левого канала и сигнала правого канала, согласно варианту осуществления;

[0018] Фиг. 10 является схемой, показывающей спектры тонов в положениях, согласно позиционному отклонению между динамиками;

[0019] Фиг. 11 является блок-схемой, иллюстрирующей способ рендеринга стереофонического аудиосигнала согласно варианту осуществления;

[0020] Фиг. 12 является схемами для иллюстрирования способов проектирования фильтров коррекции качества звука, согласно варианту осуществления;

[0021] Фиг. 13 является схемами, показывающими примеры, в которых отклонение возвышения существует между выходными каналами для виртуального 3D рендеринга и виртуальным источником звука;

[0022] Фиг. 14 является схемой для иллюстрации способа виртуального рендеринга канала TFC посредством использования каналов L/R/LS/RS согласно варианту осуществления; и

[0023] Фиг. 15 является блок-схемой блока рендеринга для обработки отклонения при виртуальном рендеринге посредством использования выходных каналов 5.1, согласно варианту осуществления.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0024] Для того, чтобы достигнуть цели, настоящее изобретение включает в себя варианты осуществления ниже.

[0025] Согласно варианту осуществления, предусматривается способ рендеринга аудиосигнала, включающий в себя: прием многоканального сигнала, содержащего множество входных каналов которые должны быть преобразованы во множество выходных каналов; получение информации отклонения по меньшей мере об одном выходном канале, исходя из положения динамика, соответствующего каждому из множества выходных каналов, и стандартного положения; и изменение усиления панорамирования из канала высоты, включенного во множество входных каналов, в выходной канал, имеющий информацию отклонения, на основании полученной информации отклонения.

[0026] Множеством выходных каналов могут быть горизонтальные каналы.

[0027] Выходной канал, имеющий информацию отклонения, может включать в себя по меньшей мере один из левого горизонтального канала и правого горизонтального канала.

[0028] Информация отклонения может включать в себя по меньшей мере одно из азимутального отклонения и отклонения возвышения.

[0029] Изменение усиления панорамирования может изменять эффект, вызванный отклонением возвышения, когда полученная информация отклонения включает в себя отклонение возвышения.

[0030] Изменение усиления панорамирования может корректировать усиление панорамирования посредством способа двухмерного (2D) панорамирования, когда полученная информация отклонения не включает в себя отклонение возвышения.

[0031] Корректирование эффекта, вызванного отклонением возвышения, может включать в себя корректирование интерауральной разности уровней (ILD), возникающей из-за отклонения возвышения.

[0032] Корректирование эффекта, вызванного отклонением возвышения, может включать в себя изменение усиления панорамирования выходного канала, соответствующего полученному отклонению возвышения, пропорционально полученному отклонению возвышения.

[0033] Сумма значений квадратов усилений панорамирования в отношении левого горизонтального канала и правого горизонтального канала может быть 1.

[0034] Согласно варианту осуществления, предусматривается устройство для рендеринга аудиосигнала, причем устройство, включающее в себя: приемник, выполненный с возможностью приема многоканального сигнала, включающего в себя множество входных каналов, которые должны быть преобразованы во множество выходных каналов; блок получения, выполненный с возможностью получения информации отклонения по меньшей мере об одном выходном канале, исходя из положения динамика, соответствующего каждому из множества выходных каналов, и стандартного положения; и блок изменения усиления панорамирования, выполненный с возможностью изменения усиления панорамирования из канала высоты, содержащегося во множестве входных каналов, в выходной канал, имеющий информацию отклонения, на основании полученной информации отклонения.

[0035] Множеством выходных каналов могут быть горизонтальные каналы.

[0036] Выходной канал, имеющий информацию отклонения, может включать в себя по меньшей мере один из левого горизонтального канала и правого горизонтального канала.

[0037] Информация отклонения может включать в себя по меньшей мере одно из азимутального отклонения и отклонения возвышения.

[0038] Блок изменения усиления панорамирования может скорректировать эффект, вызванный отклонением возвышения, когда полученная информация отклонения включает в себя отклонение возвышения.

[0039] Блок изменения усиления панорамирования может изменять усиление панорамирования посредством способа двухмерного (2D) панорамирования, когда полученная информация отклонения не включает в себя отклонение возвышения.

[0040] Блок изменения усиления панорамирования может скорректировать интерауральную разность уровней, вызванную отклонением возвышения, чтобы скорректировать эффект, вызванный отклонением возвышения.

[0041] Блок изменения усиления панорамирования может изменять усиление панорамирования выходного канала, соответствующего отклонению возвышения, пропорционально полученному отклонению возвышения, так чтобы скорректировать эффект, вызванный полученным отклонением возвышения.

[0042] Сумма значений квадратов усилений панорамирования в отношении левого горизонтального канала и правого горизонтального канала может быть 1.

[0043] Согласно варианту осуществления, предусмотрен машиночитаемый носитель записи, на котором записана компьютерная программа для выполнения вышеуказанного способа.

[0044] Кроме того, предусмотрен другой способ, другая система и машиночитаемый носитель записи, на котором записана компьютерная программа для выполнения способа.

РЕЖИМ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТАТЕЛЬСКОГО ЗАМЫСЛА

[0045] Обратимся к подробному описанию изобретения, в котором приложенные чертежи иллюстрируют конкретные варианты осуществления данного изобретения. Эти варианты осуществления приведены для того, чтобы раскрытие было полным и законченным, и полностью передавало замысел данного изобретения специалисту в данной области техники. Будет понятно, что различные варианты осуществления данного изобретения отличаются друг от друга и не являются исключающими по отношению друг к другу.

[0046] Например, конкретная форма, конкретная структура и конкретный признак, описанные в данном описании, могут изменяться от одного варианта осуществления к другому варианту осуществления без отступления от сущности и объема данного изобретения. Также, будет понятно, что расположение или конфигурация каждого элемента в каждом варианте осуществления может быть изменена без отступления от сущности и объема данного изобретения. Вследствие этого, подробные описания должны рассматриваться в только в описательном смысле и не в целях ограничения, и объем данного изобретения задается не подробным описанием данного изобретения, а прилагающейся формулой изобретения, и все различия в рамках данного объема будут толковаться как включенные в настоящее изобретение.

[0047] Одинаковые ссылочные позиции на чертежах обозначают одинаковые или аналогичные элементы во всем описании. В нижеследующем описании и приложенных чертежах хорошо известные функции или конструкции не описаны подробно, поскольку они затруднят понимание настоящего изобретения ненужными сведениями. Также одинаковые ссылочные позиции на чертежах обозначают одинаковые или аналогичные элементы во всем описании.

[0048] Далее настоящее изобретение будет описано подробно посредством разъяснения примерных вариантов осуществления данного изобретения со ссылкой на прикрепленные чертежи. Данное изобретение может, однако, быть осуществлено во многих разных формах и не должно толковаться как ограниченное вариантами осуществления, изложенными в настоящем документе; наоборот, эти варианты осуществления приведены для полноты и завершенности настоящего описания, и будут полностью передавать замысел данного изобретения специалистам в данной области техники.

[0049] Во всем описании, когда элемент называется «соединенным с» или «связанным с» другим элементом, он может быть «непосредственно соединен или связан с» другим элементом, или он может быть «электрически соединен или связан с» другим элементом при нахождении между ними промежуточного элемента. Также, когда часть «включает в себя» или «содержит» элемент, если только нет конкретного описания, противоположного этому, данная часть может дополнительно включать в себя другие элементы, не исключая другие элементы.

[0050] Далее изобретательский замысел будет описан более подробно ниже со ссылкой на приложенные чертежи.

[0051] Фиг. 1 является блок-схемой, иллюстрирующей внутреннюю структуру устройства воспроизведения стереофонического звука, согласно варианту осуществления.

[0052] Устройство 100 воспроизведения стереофонического звука согласно варианту осуществления может вывести многоканальный аудиосигнал, в котором множество входных каналов смикшированы во множество выходных каналов для воспроизведения. Здесь, когда число выходных каналов меньше, чем число входных каналов, осуществляется понижающее микширование входных каналов согласно числу выходных каналов.

[0053] Стереофонический звук обозначает звук, к которому добавляется пространственная информация, обеспечивающий слушателю возможность ощущения эффекта присутствия посредством воспроизведения направления или ощущения дистанции звука, также как возвышение и тембр звука, так что даже слушатель, который не существует в пространстве, где находится источник звука, может испытывать направленное, дистанционное и пространственное восприятия.

[0054] В описаниях ниже, выходной канал аудиосигнала может обозначать число динамиков, которые выводят звук. Чем больше выходных каналов, тем больше число динамиков, из которых выводится звук. Устройство 100 воспроизведения стереофонического звука согласно варианту осуществления может осуществлять рендеринг и микширование многоканального входного аудиосигнала в выходные каналы, которые воспроизводят звук, так что многоканальный аудиосигнал из большого числа входных каналов может быть выведен и воспроизведен в окружении, где предусмотрено меньшее число выходных каналов. Здесь, многоканальный аудиосигнал может включать в себя канал, способный выводить звук с возвышением.

[0055] Канал, способный выводить звук с возвышением, может обозначать канал, способный выводить аудиосигнал через динамик, расположенный над головой слушателя, так что слушатель может испытывать впечатление возвышения. Горизонтальный канал может обозначать канал, способный выводить аудиосигнал через динамик, расположенный в горизонтальной плоскости по отношению к слушателю.

[0056] Вышеописанное окружения, в котором предусмотрено меньшее число выходных каналов, может обозначать окружение, в котором звук может быть выведен через динамик, предусмотренный на горизонтальной плоскости, без использования выходного канала, способного выводить звук с возвышением.

[0057] В дополнение, в описаниях ниже, горизонтальный канал может обозначать канал, включающий в себя аудиосигнал, который может быть выведен через динамик, предусмотренный на горизонтальной плоскости. Верхний канал может обозначать канал, включающий в себя аудиосигнал, который может быть выведен через динамик, который предусмотрен в расположении с возвышением, не на горизонтальной плоскости, для того, чтобы выводить звук с возвышением.

[0058] Обращаясь к Фиг. 1, устройство 100 воспроизведения стереофонического звука может включать в себя аудиоядро 110, блок 120 рендеринга, микшер 130 и постпроцессор 140.

[0059] Устройство 100 воспроизведения стереофонического звука согласно варианту осуществления может осуществлять рендеринг, микширование и вывод многоканального входного аудиосигнала в выходной канал для воспроизведения. Например, многоканальным входным аудиосигналом может быть 22.2-канальный сигнал, и выходным каналом для воспроизведения могут быть каналы 5.1 или 7.1. Устройство 100 воспроизведения стереофонического звука выполняет рендеринг посредством обозначения выходных каналов, которым будут соответствовать каналы многоканального входного аудиосигнала, и выполняет микширование подверженных рендерингу аудиосигналов посредством микширования каналов, соответственно соответствующих каналам, для воспроизведения, и выводит итоговый сигнал.

[0060] Кодированный аудиосигнал вводится в аудиоядро 110 в формате битового потока, и аудиоядро 110 декодирует входной аудиосигнал после осуществления выбора инструмента декодера, подходящего для кодированного формата аудиосигнала.

[0061] Блок 120 рендеринга может осуществить рендеринг многоканального входного аудиосигнала в многоканальные выходные каналы согласно каналам и частотам. Блок 120 рендеринга может выполнить трехмерный (3D) рендеринг и двухмерный (2D) рендеринг в отношении многоканального аудиосигнала согласно верхним каналам и горизонтальным каналам. Конфигурация блока рендеринга и подробный способ рендеринга будут подробно описаны позднее со ссылкой на Фиг. 2.

[0062] Микшер 130 может смешивать сигналы каналов, соответствующих горизонтальным каналам, посредством блока 120 рендеринга и выводить итоговый сигнал. Микшер 130 может смешивать сигналы соответствующих каналов согласно каждой из предварительно определенных секций. Например, микшер 130 может смешивать сигналы соответствующих каналов посредством одного блока кадров.

[0063] Микшер 130 согласно варианту осуществления может выполнить микширование на основании значений мощности сигналов, рендеринг которых осуществлен в соответствующие каналы для воспроизведения. То есть микшер 130 может определить амплитуду итогового сигнала или усиление, которое должно быть применено к итоговому сигналу, на основании значений мощности сигналов, рендеринг которых осуществлен в соответствующие каналы для воспроизведения.

[0064] Постпроцессор 140 выполняет управление динамическим диапазоном по отношению к многополосному сигналу и бинаурализацию в отношении выходного сигнала микшера 130, чтобы подходить для соответствующего устройства воспроизведения (динамика, наушников и т.д.). Выходной аудиосигнал, выводимый из постпроцессора 140, выводится через устройство, такое как динамик, и выходной аудиосигнал может быть воспроизведен 2D или 3D образом согласно процессу, выполняемому каждым элементом.

[0065] Устройство 100 воспроизведения стереофонического звука, проиллюстрированное со ссылкой на Фиг. 1 согласно варианту осуществления, показано на основе конфигурации аудиодекодера, и другие дополнительные конфигурации не приведены.

[0066] Фиг. 2 является блок-схемой, иллюстрирующей конфигурацию блока рендеринга из числа конфигураций устройства воспроизведения стереофонического звука согласно варианту осуществления.

[0067] Блок 120 рендеринга включает в себя блок 121 фильтрации и блок 123 панорамирования.

[0068] Блок 121 фильтрации компенсирует тон или тому подобное для декодированного аудиосигнала согласно положению, и может выполнить фильтрацию входного аудиосигнала посредством использования фильтра передаточной функции головы (HRTF).

[0069] Блок 121 фильтрации может осуществить рендеринг верхнего канала, который прошел через HRTF-фильтр другим образом согласно его частоте, для того, чтобы выполнить 3D рендеринг в отношении верхнего канала.

[0070] HRTF-фильтр может обеспечить возможность распознавания стереофонического звука согласно явлению, в котором характеристика сложного пути, такая как дифракция на поверхности головы, отражение ушными раковинами и т.д., изменяется в зависимости от направления переноса звука, также как и простой разности между путями, такой как интерауральная разность уровней (ILD) и интерауральная временная разность (ITD), которая возникает, когда звук достигает двух ушей, и т.д. HRTF-фильтр может обработать аудиосигналы, включенные в верхний канал, то есть посредством изменения качества звука аудиосигнала, так чтобы стереофонический звук мог быть распознан.

[0071] Блок 123 панорамирования вычисляет и применяет коэффициент панорамирования, который должен быть применен к каждому частотному диапазону и каждому каналу, для того, чтобы осуществить панорамирование входного аудиосигнала по отношению к каждому выходному каналу. Панорамирование аудиосигнала обозначает управление величиной сигнала, применяемое к каждому выходному каналу, для того, чтобы осуществлять рендеринг источника звука в некотором положении между двумя выходными каналами.

[0072] Блок 123 панорамирования может осуществить рендеринг низкочастотного сигнала из числа сигналов верхнего канала согласно способу с добавлением к ближайшему каналу, и может осуществить рендеринг высокочастотного сигнала согласно способу многоканального панорамирования. Согласно способу многоканального панорамирования, значение усиления, которое задано таким образом, чтобы различаться по каналам, которые должны быть подвержены рендерингу, для каждого из сигналов канала, применяется к сигналам каждого из каналов многоканального аудиосигнала, так что рендеринг каждого из сигналов может быть осуществлен по меньшей мере в один горизонтальный канал. Сигналы каждого канала, к которым применяется значение усиления, могут быть синтезированы посредством микширования и могут быть выведены в качестве итогового сигнала.

[0073] Так как низкочастотный сигнал имеет сильно выраженное дифракционное свойство, даже если рендеринг каждого канала в многоканальном аудиосигнале осуществляется только в один канал без осуществления рендеринга в различные каналы согласно способу многоканального панорамирования, слушатель может ощутить аналогичное качество звука. Вследствие этого, устройство 100 воспроизведения стереофонического звука согласно варианту осуществления может осуществить рендеринг низкочастотного сигнала согласно способу с добавлением к ближайшему каналу, и таким образом, может быть предотвращено ухудшение качества звука, которое может произойти, когда различные каналы микшируются в один выходной канал. То есть если различные каналы микшируются в один выходной канал, качество звука может быть повышено или понижено из-за помех между сигналами каналов и таким образом может ухудшиться, и таким образом, ухудшение качества звука может быть предотвращено посредством микширования одного канала в один выходной канал.

[0074] Согласно способу с добавлением к ближайшему каналу, рендеринг каждого канала многоканального аудиосигнала может быть осуществлен в ближайший канал из числа каналов для воспроизведения, вместо осуществления рендеринга в различные каналы.

[0075] Также устройство 100 воспроизведения стереофонического звука выполняет операцию рендеринга по-разному в зависимости от частоты, тем самым увеличивая зону наилучшего восприятия без ухудшения качества звука. То есть рендеринг низкочастотного сигнала, имеющего сильно выраженное дифракционное свойство, осуществляется согласно способу с добавлением к ближайшему каналу, для того, чтобы предотвратить ухудшение качества звука, которое может произойти, когда различные каналы микшируются в один выходной канал. Зона наилучшего восприятия обозначает предварительно определенный диапазон, в котором слушатель может оптимально слушать стереофонический звук, который не был искажен.

[0076] По мере увеличения зоны наилучшего восприятия, слушатель может оптимально слушать стереофонический звук, который не был искажен в пределах большого диапазона. В дополнение, если слушатель не существует в пределах зоны наилучшего восприятия, слушатель может слушать звук, качество звука или звуковой образ которого были искажены.

[0077] Фиг. 3 является схемой конфигурации каналов в случае, когда осуществляется понижающее микширование множества входных каналов микшируются во множество выходных каналов, согласно варианту осуществления.

[0078] Технология обеспечения стереофонического звука со стереоскопическим образом была разработана для того, чтобы обеспечить пользователю реализм и ощущение эффекта присутствия, которые равны или преувеличены больше, чем реальность. Стереофонический звук обозначает, что сам аудиосигнал имеет возвышение звука и пространственность, и для того, чтобы воспроизвести стереофонический звук необходимы по меньшей мере два или более громкоговорителей, то есть выходных каналов. Также, большое число выходных каналов необходимо для того, чтобы точно воспроизвести ощущения возвышения, дистанции и пространственности звука, кроме бинаурального стереофонического звука с использованием HRTF.

[0079] Вследствие этого, были предложены и разработаны различные многоканальные системы, такие как 5.1-канальная система, система Auro 3D, 10.2-канальная система Holman, 10.2-канальная система ETRI/Samsung, 22.2-канальная система NHK и т.д., в дополнение к стерео системе, имеющей два выходных канала.

[0080] Фиг. 3 является схемой, иллюстрирующей пример, в котором стереофонический аудиосигнал каналов 22.2 воспроизводится 5.1-канальной системой вывода.

[0081] 5.1-канальная система является обобщенным названием 5-канальной системой многоканального объемного звука, и широко распространена и используется как домашний кинотеатр дома и звуковая система для кинотеатров. Все виды каналов 5.1 включают в себя передний левый (FL) канал, центральный (C) канал, передний правый (FR) канал, окружающий левый (SL) канал, и окружающий правый (SR) канал. Как обозначено на Фиг. 3, так как выходные каналы 5.1-канальной системы помещены на одной горизонтальной плоскости, 5.1-канальная система физически соответствует 2D системе. Для того, чтобы 5.1-канальная система воспроизводила стереофонические аудиосигналы, должен быть выполнен процесс рендеринга для обеспечения 3D эффекта для сигнала, который должен быть воспроизведен.

[0082] 5.1-канальная система широко используется в различных областях, таких как видео на универсальном цифровом диске (DVD), DVD-звук, улучшенный аудиокомпакт-диск (SACD), или цифровое вещание, также как и в кинофильмах. Однако, хотя 5.1-канальная система предусматривает улучшенную пространственность по сравнению со стереосистемой, есть много ограничений при формировании более широкого пространства прослушивания. В частности, 5.1-канальная система формирует узкую зону наилучшего восприятия и может предусматривать вертикальный звуковой образ, имеющий угол возвышения, и таким образом, 5.1-канальная система может быть не пригодна для широкого пространства прослушивания, например, кинотеатра.

[0083] A 22.2-канальная система, предложенная NHK, включает в себя три уровня выходных каналов. Верхний уровень включает в себя каналы Voice of God (VOG), T0, T180, TL45, TL90, TL135, TR45, TR90 и TR45. Здесь, в названии каждого канала, индекс T обозначает верхний уровень, индексы L и R соответственно обозначают левый и правый, и число в конце обозначает азимутальный угол от центрального канала.

[0084] Средний уровень находится на той же плоскости, как и каналы 5.1, и включает в себя каналы ML60, ML90, ML135, MR60, MR90 и MR135 в дополнение к выходным каналам из каналов 5.1. Здесь, в названии каждого канала, индекс M спереди обозначает средний уровень, и число в конце обозначает азимутальный угол от центрального канала.

[0085] Нижний слой включает в себя каналы L0, LL45 и LR45. Здесь, индекс L спереди названия каждого канала обозначает нижний уровень, и число в конце обозначает азимутальный угол от центрального канала.

[0086] В каналах 22.2, средний уровень называется горизонтальным каналом, и каналы VOG, T0, T180, T180, M180, L и C, имеющие азимутальный угол 0° или 180°, называются вертикальными каналами.

[0087] Когда 22.2-канальный входной сигнал воспроизводится посредством 5.1-канальной системы, наиболее общей схемой является распределение сигналов по каналам посредством использования формулы понижающего микширования. В противном случае, аудиосигнал, имеющий возвышение, может быть воспроизведен посредством 5.1-канальной системы посредством выполнения рендеринга для обеспечения виртуального возвышения.

[0088] Фиг. 4 иллюстрирует блок панорамирования согласно варианту осуществления в случае, когда между стандартной конфигурацией и конфигурацией выходных каналов в данной компоновке возникает позиционное отклонение.

[0089] Когда многоканальный входной аудиосигнал воспроизводится посредством использования меньшего числа выходных каналов, чем число каналов входного сигнала, первоначальное звуковое поле может быть искажено, и для того, чтобы компенсировать искажение, исследуются различные способы.

[0090] Основные способы рендеринга предполагают выполнение рендеринга на основании случая, когда динамики, то есть выходные каналы, скомпонованы согласно стандартной конфигурации. Однако, когда выходные каналы не скомпонованы, чтобы точно совпадать со стандартной конфигурацией, происходит искажение положения звукового образа и искажение тона.

[0091] Искажение звукового образа в широком смысле включает в себя искажение возвышения и искажение фазового угла, которые не ощущаются чувствительно на относительно низком уровне. Однако из-за физической характеристики человеческого тела, в котором уши расположены на левой и правой сторонах, если звуковые образы для левой, центральной, правой сторон изменены, искажение звукового образа может восприниматься чувствительно. В частности, звуковой образ передней стороны может также восприниматься чувствительно.

[0092] Вследствие этого, как показано на Фиг. 3, когда каналы 22.2 реализованы посредством использования каналов 5.1, особенно требуется не изменять звуковые образы каналов VOG, T0, T180, T180, M180, L и C, расположенных под 0° или 180°, а не левого и правого каналов.

[0093] Когда осуществлено панорамирование входного аудиосигнала, в основном выполняются два процесса. Первый процесс соответствует процессу инициализации, в котором усиление панорамирования по отношению к входному многоканальному сигналу вычисляется согласно стандартной конфигурации выходных каналов. Во втором процессе вычисленное усиление панорамирования изменяется на основании конфигурации, с помощью которой выходные каналы скомпонованы фактически. После выполнения процесса изменения усиления панорамирования, звуковой образ выходного сигнала может присутствовать в более точном положении.

[0094] Вследствие этого, для того, чтобы блок 123 панорамирования выполнил обработку, требуется информация о стандартной конфигурации выходных каналов и информация о конфигурации выходных каналов в данной компоновке, в дополнение к входному аудиосигналу. В случае, когда рендеринг канала C осуществляется из канала L и канала R, входной аудиосигнал указывает входной сигнал, который должен быть воспроизведен через канал C, и выходной аудиосигнал указывает измененные сигналы панорамирования, выведенные из канала L и канала R согласно конфигурации в данной компоновке.

[0095] Фиг. 5 является схемой конфигурации блока панорамирования согласно варианту осуществления в случае, когда есть отклонение возвышения между стандартной конфигурацией и конфигурацией выходных каналов в данной компоновке.

[0096] Способ 2D панорамирования, который учитывает только азимутальное отклонение, которое показано на Фиг. 4, может не корректировать эффект, вызванный отклонением возвышения, если есть отклонение возвышения между стандартной конфигурацией и конфигурацией выходных каналов в данной компоновке. Вследствие этого, если есть отклонение возвышения между стандартной конфигурацией и конфигурацией выходных каналов в данной компоновке, эффект повышения возвышения из-за отклонения возвышения должен быть компенсирован компенсатором 124 эффекта возвышения, который показан на Фиг. 5.

[0097] На Фиг. 5, компенсатор 124 эффекта возвышения и блок 123 панорамирования показаны как отдельные элементы, но компенсатор 124 эффекта возвышения может быть реализован как элемент, включенный в блок 123 панорамирования.

[0098] В дальнейшем, Фиг. 6-9 подробно иллюстрируют способ определения коэффициента панорамирования согласно конфигурации динамиков.

[0099] Фиг. 6 являются схемами, показывающими положение звукового образа согласно конфигурации выходных каналов в данной компоновке в случае, когда рендеринг сигнала центрального канала осуществляется из сигнала левого канала и сигнала правого канала.

[00100] На Фиг. 6, предполагается, что рендеринг канала C осуществляется из канала L и канала R.

[00101] На Фиг. 6A канал L и канал R расположены в одной плоскости, при этом имея азимутальные углы 30° с левой и правой стороны от канала C согласно стандартной конфигурации. В этом случае сигнал канала C подвергается рендерингу только посредством усиления, полученного посредством инициализации блока 123 панорамирования, и расположен в обычном положении, и таким образом нет необходимости дополнительно изменять усиление панорамирования.

[00102] На Фиг. 6B, канал L и канал R расположены в одной плоскости, как на Фиг. 6A, и положение канала R совпадает со стандартной конфигурацией, тогда как канал L имеет азимутальный угол в 45°, что больше 30°. То есть канал L имеет азимутальное отклонение в 15° относительно стандартной конфигурацией.

[00103] В вышеуказанном случае, усиление панорамирования, вычисленное посредством процесса инициализации, является одинаковым по отношению к каналу L и каналу R, и когда применяется усиление панорамирования, положение звукового образа определяется как C', который смещен к каналу R. Вышеуказанное явление происходит из-за того, что ILD варьируется в зависимости от изменения азимутального угла. Когда азимутальный угол задан как 0° на основании положения канала C, разность уровней ILD аудиосигналов, достигающих двух ушей слушателя, увеличивается по мере увеличения азимутального угла.

[00104] Вследствие этого, азимутальное отклонение должно быть компенсировано для изменения усиления панорамирования согласно способу 2D панорамирования. В случае, показанном на Фиг. 5B, сигнал канала R увеличивается, или сигнал канала L уменьшается, так чтобы звуковой образ мог быть сформирован в положении канала C.

[00105] Фиг. 7 являются схемами, показывающими локализацию звукового образа посредством компенсации эффекта возвышения согласно варианту осуществления, когда есть отклонение возвышения между выходными каналами.

[00106] Фиг. 7A показывает случай, в котором канал R размещен в положении R', имеющем угол возвышения, чтобы иметь азимутальный угол в 30°, который удовлетворяет стандартной конфигурации, тогда как канал R не расположен в той же плоскости, как канал L, и имеет угол возвышения в 30° от горизонтального канала. В вышеуказанном случае, если к каналу R и каналу L применяется одинаковое усиление панорамирования, положение звукового образа C', которое было изменено из-за изменения ILD согласно увеличению возвышения канала R, не находится в центре между каналом L и каналом R, но смещается к каналу L.

[00107] Это потому, что ILD изменяется из-за повышения возвышения, как в случае, когда существует азимутальное отклонение. Если угол возвышения задан как 0° на основании горизонтального канала, разность уровней ILD аудиосигналов, достигающих двух ушей слушателя, уменьшается по мере увеличения угла возвышения. Вследствие этого, C' смещается к каналу L, который является горизонтальным каналом (не имеющим угла возвышения).

[00108] Вследствие этого, компенсатор 124 эффекта возвышения компенсирует ILD для звука, имеющего угол возвышения, для того, чтобы предотвратить смещение звукового образа. Более подробно, компенсатор эффекта возвышения изменяет усиление панорамирования канала, имеющего угол возвышения, который должен быть увеличен, для того, чтобы предотвратить смещение звукового образа и сформировать звуковой образ при азимутальном угле 0°.

[00109] Фиг. 7B показывает положение звукового образа, которое локализовано посредством компенсации эффекта возвышения. Звуковой образ до компенсации эффекта возвышения находится в C', то есть смещенном положении к каналу, не имеющему угла возвышения, как показано на Фиг. 7A. Однако, когда эффект возвышения скомпенсирован, звуковой образ может быть локализован так, чтобы располагаться в центре между каналом L и каналом R'.

[00110] Фиг. 8 является блок-схемой, иллюстрирующей способ рендеринга стереофонического аудиосигнала согласно варианту осуществления.

[00111] Способ рендеринга стереофонического аудиосигнала, проиллюстрированного со ссылкой на Фиг. 6 и 7, выполняется в нижеследующем порядке.

[00112] Блок 120 рендеринга, в частности, блок 123 панорамирования, принимает многоканальный входной сигнал, имеющий множество каналов (810). Для панорамирования принятого многоканального входного сигнала посредством многоканального вывода, блок 123 панорамирования получает информацию отклонения о каждом из выходных каналов посредством сравнения положений, где динамики, соответствующие выходным каналам, размещены со стандартными положениями вывода (820).

[00113] Здесь, если выходной канал включает в себя каналы 5.1, выходные каналы являются горизонтальными каналами, расположенными на одной плоскости.

[00114] Информация отклонения может включать в себя по меньшей мере одно из информации об азимутальном отклонении и информации об отклонении возвышения. Информация об азимутальном отклонении может включать в себя азимутальный угол, образованный центральным каналом и выходными каналами на горизонтальной плоскости, где существуют горизонтальные каналы, и информация об отклонении возвышения может включать в себя угол возвышения, образованный горизонтальной плоскостью, на которой существуют горизонтальные каналы, и выходным каналом.

[00115] Блок 123 панорамирования получает усиление панорамирования, которое должно быть применено к входному многоканальному сигналу, на основании стандартного положения вывода (830). Здесь порядок получения информации отклонения (820) и получения усиления панорамирования (830) может изменяться.

[00116] На этапе 820, в результате получения информации отклонения о каждом выходном канале, если информация отклонения существует в выходном канале, усиление панорамирования, полученное на этапе 830, должно быть изменено. На этапе 840, определяется, есть ли отклонение возвышения, на основании информации отклонения, полученной на этапе 820.

[00117] Если отклонение возвышения не существует, усиление панорамирования изменяется только с учетом азимутального отклонения (850).

[00118] Могут существовать различные способы вычисления и изменения усиления панорамирования. В качестве примера, может быть использован способ векторного амплитудного панорамирования (VBAP) на основании амплитудного панорамирования или теореме тангенсов. В противном случае, чтобы решить проблему того, что зона наилучшего восприятия имеет узкий диапазон, может быть использован способ на основе синтеза волнового поля (WFS), который может обеспечить относительно широкую зону наилучшего восприятия посредством сопоставления временных задержек множества динамиков, используемых в окружении воспроизведения, для того формирования формы волны, аналогичной плоской волне на горизонтальной плоскости.

[00119] В противном случае, когда изменяющийся сигнал, такой как звук дождя, звук хлопков или подобный, и сигналы из различных каналов подвергаются понижающему микшированию до одного канала, число изменяющихся сигналов увеличивается в одном канале, и может произойти искажение тона, такое как появление белого шума. Чтобы решить вышеуказанную проблему, может быть применен гибридный способ виртуального рендеринга, который выполняет процесс рендеринга после осуществления выбора режимов 2D (тембрального)/3D (пространственного) рендеринга согласно важности пространственного восприятия и качеству звука в каждой сцене.

[00120] В противном случае, может быть использован способ рендеринга, который объединяет виртуальный рендеринг для обеспечения пространственного восприятия и способ, использующий активное понижающее микширование, которое улучшает качество звука посредством гребенчатой фильтрации во время процесса понижающего микширования.

[00121] Если есть вариация возвышения, усиление панорамирования изменяется с учетом отклонения возвышения (860).

[00122] Здесь изменение усиления панорамирования с учетом отклонения возвышения включает в себя процесс компенсации эффекта повышения согласно увеличению угла возвышения, то есть модифицирует усиление панорамирования таким образом, чтобы компенсировать ILD, которая уменьшается согласно увеличению возвышения.

[00123] После изменения усиления панорамирования на основании информации отклонения о выходном канале, процесс панорамирования соответствующего канала завершается. В дополнение, процессы с этапа 820, то есть получение информации отклонения о каждом выходном канале, по этап 850 или 860, то есть изменение усиления панорамирования, которое должно быть применено к соответствующему каналу, могут повторно выполняться столько раз, сколько имеется выходных каналов.

[00124] Фиг. 9 является схемой, показывающей отклонение возвышения относительно усиления панорамирования по отношению к каждому каналу, когда рендеринг сигнала центрального канала осуществляется из сигнала левого канала и сигнала правого канала, согласно варианту осуществления.

[00125] Фиг. 9 показывает взаимосвязь между усилениями панорамирования, которые должны быть применены к каналу, имеющему угол возвышения (с возвышением), и каналу на горизонтальной плоскости (фиксированному), и углом возвышения, в качестве варианта осуществления компенсатора 124 эффекта возвышения.

[00126] Когда рендеринг канала C осуществляется из канала L и канала R на горизонтальной плоскости, усиления панорамирования

и

, которые будут применены к каналам L и R, равны друг другу, так как канал L и канал R, скомпонованные на горизонтальной плоскости, симметричны друг другу, и каждое имеет значение 0,707, то есть

. Однако, если один из каналов имеет угол возвышения, как показано в примере по Фиг. 7, усиление панорамирования должно быть изменено согласно углу возвышения, чтобы компенсировать эффект, вызванный увеличением возвышения.

[00127] На Фиг. 9 усиление панорамирования изменяется для увеличения на соотношение 8дБ/90° согласно изменению угла возвышения. В отношении примеров, показанных на Фиг. 7, усиление канала с возвышением, соответствующего углу возвышения 30°, применяется к каналу R, и затем,

изменяется до 0,81, то есть увеличивается с 0,707, и усиление фиксированного канала применяется к каналу L, и затем

изменяется до 0,58, уменьшается с 0,707.

[00128] Здесь усиления панорамирования

и

должны удовлетворять уравнению 2 ниже для нормализации энергии.

(2)

[00129] Согласно варианту осуществления, проиллюстрированному со ссылкой на Фиг. 9, усиление панорамирования изменяется для линейного увеличения на соотношение 8дБ/90° согласно изменению угла возвышения. Однако, соотношение увеличения может варьироваться в зависимости от примера компенсатора эффекта возвышения, или усиление панорамирования может увеличиваться нелинейно.

[00130] Фиг. 10 является схемой, показывающей спектры тембров в разных положениях, согласно отклонению положений между динамиками.

[00131] Блок 123 панорамирования и компенсатор 124 эффекта возвышения обрабатывают аудиосигналы так, чтобы звуковой образ не мог смещаться согласно положениям динамиков, соответствующим выходным каналам, но находился в первоначальном положении. Однако если положения динамиков, соответствующие выходным каналам, фактически изменяются, изменяется не только звуковой образ, но также изменяется тембр.

[00132] Здесь, спектр тембра, который воспринимает человек, согласно положению звукового образа может быть получен на основании HRTF, которая является функцией для передачи звукового образа в некотором пространственном положении в уши человека. HRTF может быть получена посредством выполнения преобразования Фурье в отношении импульсной характеристики головы (HRIR), полученной из временной области.

[00133] Так как аудиосигнал из пространственного аудиоисточника распространяется по воздуху и проходит через ушную раковину, внешний слуховой канал и барабанную перепонку, величина или фаза аудиосигнала изменяется. Кроме того, так как слушатель также расположен в звуковом поле, передаваемый аудиосигнал, также изменяется из-за головы, туловища слушателя, или тому подобного. Вследствие этого, слушатель в итоге слышит искаженный аудиосигнал. Здесь передаточная функция аудиосигнала, который слышит слушатель, в частности, между акустическим давлением и аудиосигналом, называется HRTF.

[00134] Так как каждый человек имеет уникальные размер и форму головы, ушной раковины и туловище, HRTF является уникальной для каждого человека. Однако, поскольку невозможно измерить HRTF для каждого человека, HRTF может быть смоделирована посредством использования общей HRTF, настроенной HRTF и т.д.

[00135] Эффект дифракции головы проявляется примерно от 600 Гц и редко проявляется после 4 кГц, а эффект туловища, который можно наблюдать с 1 кГц до 2 кГц, увеличивается, когда аудиоисточник расположен ипсилатерально по азимуту, а угол возвышения аудиоисточника является низким, и наблюдается до 13 кГц, когда на звуковой образ аудиосигнала в основном воздействует ушная раковина. Рядом с частотой в 5 кГц наблюдается пик в результате резонанса ушной раковины. В дополнение, первый провал из-за ушной раковины наблюдается в пределах диапазона 6 кГц - 10 кГц, второй провал из-за ушной раковины наблюдается в пределах диапазона 10 кГц - 15 кГц, и третий провал из-за ушной раковины наблюдается в диапазоне 15 кГц или более.

[00136] Для восприятия азимутального угла и угла возвышения используются ITD и ILD аудиоисточника и пики и провалы, показанные в моноауральных спектральных характеристиках сигнала. Пики и провалы порождены дифракцией и дисперсией туловища, головы и ушной раковины и могут быть идентифицированы в HRTF.

[00137] Как описано выше, HRTF варьируется в зависимости от азимутального угла и угла возвышения аудиоисточника Фиг. 10 показывает график спектра тембра, который воспринимает человеческое существо, согласно частоте аудиоисточника, в случае, когда азимутальный угол динамика составляет 30°, 60°, и 110°.

[00138] При сравнении тембров аудиосигналов согласно азимутальным углам, тембр азимутального угла в 30° имеет более интенсивную составляющую при 400 Гц или менее на от почти 3 дБ до почти 5 дБ, чем составляющая тембра азимутального угла в 60°. В дополнение, тембр азимутального угла в 110° имеет менее интенсивную составляющую в пределах диапазона 2 кГц - 5 кГц на почти 3 дБ, чем составляющая тембра азимутального угла в 60°.

[00139] Вследствие этого, когда фильтрация с преобразованием тембра выполняется посредством использования характеристики тембра согласно азимутальному углу, тембры широкополосного сигнала, обеспечиваемого слушателю, могут быть аналогичны друг другу, и таким образом, рендеринг может быть выполнен более эффективно.

[00140] Фиг. 11 является блок-схемой, иллюстрирующей способ рендеринга стереофонического аудиосигнала согласно варианту осуществления.

[00141] Фиг. 11 является блок-схемой, иллюстрирующей вариант осуществления способа рендеринга стереофонического аудиосигнала, то есть способа выполнения фильтрации с преобразованием тембра в отношении входного канала, когда панорамирование входного канала осуществляется по меньшей мере в два выходных канала.

[00142] Многоканальный аудиосигнал, который должен быть преобразован во множество выходных каналов, вводится в блок 121 фильтрации (1110). Когда панорамирование предварительно определенного входного канала из входного многоканального аудиосигнала осуществляется по меньшей мере в два выходных канала, блок 121 фильтрации получения устанавливающей соответствие взаимосвязи между предварительно определенным входным каналом и выходными каналами, в которые должно быть осуществлено панорамирование входного канала (1130).

[00143] Блок 121 фильтрации получения коэффициента фильтра тембра на основании HRTF вблизи положения входного канала и положения выходных каналов для панорамирования на основании устанавливающей соответствие взаимосвязи, и выполняет фильтрацию с коррекцией тембра посредством использования коэффициента фильтра тембра (1150).

[00144] Здесь, фильтр с коррекцией тембра может быть спроектирован посредством нижеследующих процессов.

[00145] Фиг. 12 является схемами, иллюстрирующими способ проектирования фильтра с коррекцией тембра, согласно варианту осуществления.

[00146] Предполагается, что HRTF, перенесенная слушателю, когда азимутальный угол аудиоисточника составляет

(градусов), задана как

, и панорамирование (локализация) аудиоисточника, имеющего азимутальный угол

, осуществляется в динамики, расположенные под азимутальными углами в

и

. В этом случае, HRTF по отношению к азимутальным углам являются соответственно

,

, и

.

[00147] Цель коррекции тембра состоит в корректировании звука, воспроизводимого из динамиков, расположенных под азимутальными углами в

и

, чтобы иметь тембр, аналогичный тембру звука под азимутальным углом

, и таким образом, выходной сигнал с азимутального угла

проходит через фильтр, имеющий передаточную функцию, такую как

, и выходной сигнал с азимутального угла

проходит через фильтр, имеющий передаточную функцию, такую как

.

[00148] В результате вышеуказанной фильтрации, звук, воспроизводимый из динамиков, расположенных под азимутальными углами

и

, может быть скорректирован, чтобы иметь тембры, аналогичные тембрам звука с азимутального угла в

.

[00149] В примере по Фиг. 10, когда тембры аудиосигналов из азимутальных углов сравниваются друг с другом, тембр под азимутальным углом в 30° имеет более интенсивную составляющую при 400 Гц или менее на от почти 3 дБ до почти 5 дБ, чем составляющая под азимутальным углом в 60°, и тембр под азимутальным углом в 110° имеет меньшую составляющую в пределах диапазона 2 кГц - 5 кГц на почти 4 дБ, чем составляющая под азимутальным углом в 60°.

[00150] Так как целью коррекции тембра является коррекция звука, воспроизводимого из динамиков, расположенных под углами в 30° и 110°, чтобы иметь тембр, аналогичный тембру звука, воспроизводимого под углом в 60°, составляющая при 400 Гц или менее в звуке, воспроизводимом из динамика под углом в 30°, уменьшается на 4 дБ, для того, чтобы сделать тембр аналогичным тембру звука под углом в 60°, и составляющая в пределах диапазона 2 кГц - 5 кГц в звуке, воспроизводимом из динамика, расположенном под углом в 110°, увеличивается на 4 дБ, для того, чтобы сделать тембр аналогичным тембру звука под углом в 60°.

[00151] Фиг. 12A показывает фильтр с коррекцией тембра, который должен быть применен к аудиосигналу с азимутального угла в 60°, который должен быть воспроизведен через динамик под азимутальным углом в 30°, при этом фильтр коррекции качества звука применяется ко всему частотному тракту, то есть соотношение

между спектром (HRTF) тембра, когда азимутальный угол составляет 60°, и спектром (HRTF) тембра, когда азимутальный угол составляет 30°, показано на Фиг. 10.

[00152] На Фиг. 12A,

становится фильтром, который уменьшает величину сигнала на 4 дБ при частоте в 500 Гц или менее, увеличивает величину сигнала на 5 дБ при частоте между 500 Гц - 1,5 кГц, и обходит сигнал другой частотной области, аналогично вышеуказанному описанию.

[00153] Фиг. 12B показывает фильтр коррекции качества звука, который должен быть применен к аудиосигналу с азимутального угла 60°, который должен быть воспроизведен через динамик под азимутальным углом в 110°, при этом фильтр коррекции качества звука применяется ко всему частотному тракту, то есть соотношение

между спектром (HRTF) тембра, когда азимутальный угол составляет 60°, и спектром (HRTF) тембра, когда азимутальный угол составляет 110°, показано на Фиг. 10.

[00154] На Фиг. 12B,

становится фильтром, который увеличивает величину сигнала при частоте 2 кГц - 7 кГц на 4 дБ и обходит сигнал другой частотной области, аналогично вышеуказанному описанию.

[00155] Фиг. 13 является схемами, показывающими случаи, когда есть отклонение возвышения между выходным каналом и виртуальным аудиоисточником при виртуальном 3D рендеринге.

[00156] Виртуальный рендеринг является способом воспроизведения 3D звука из 2D системы вывода, такой как 5.1-канальная система, то есть способ рендеринга для формирования звукового образа в виртуальном положении, где нет динамика, в частности, в положении, имеющем угол возвышения.

[00157] Способы виртуального рендеринга, которые обеспечивают восприятие возвышения посредством использования 2D выходных каналов, обычно включают в себя два этапа, то есть фильтрацию с коррекцией HRTF и распределение коэффициентов многоканального панорамирования. Фильтрация с коррекцией HRTF обозначает операцию коррекции тембра для обеспечения пользователю восприятия возвышения, то есть выполняет аналогичные функции, как функции фильтрации с коррекцией тембра, описанные выше со ссылкой на Фиг. 10-12.

[00158] Здесь, как показано на Фиг. 13A, предполагается, что выходные каналы скомпонованы на горизонтальной плоскости, и угол возвышения ϕ виртуального аудиоисточника составляет 35°. В этом случае, разность возвышения между каналом L, то есть воспроизводящим выходным каналом, и виртуальным аудиоисточником составляет 35, и HRTF по отношению к виртуальному аудиоисточнику может быть задана как

.

[00159] И наоборот, как показано на Фиг. 13B, предполагается, что выходной канал имеет больший угол возвышения. В этом случае, хотя разность возвышения между каналом L, то есть воспроизводящим выходным каналом, и виртуальным аудиоисточником составляет 35, выходной канал имеет больший угол возвышения, HRTF по отношению к виртуальному аудиоисточнику может быть задана как

.

[00160] Здесь, может быть получена взаимосвязь, выраженная уравнением

. В дополнение, если нет разности возвышения между виртуальным аудиоисточником и выходным каналом, коррекция тембра посредством использования фильтра с коррекцией возвышения

не выполняется.

[00161] Вышеуказанная операция рендеринга может быть обобщена как показано в таблице 1 ниже.

[Таблица 1]

Угол возвышения виртуального аудиоисточника	Угол возвышения динамика воспроизведения (выходного канала)	Использовать ли фильтр с преобразованием тембра	Тип фильтра (коэффициент фильтра)
0°	0°	Не используется
0°	°	Используется
°	0°	Используется
°	°	Не используется

[00162] Здесь случай, когда фильтр с преобразованием тембра не используется, является таким же как случай, когда выполняется фильтрация с обходом. Таблица 1 выше может быть применена к случаю, когда разность возвышения находится в пределах предварительно определенного диапазона из ϕ, также как и к случаю, когда разность возвышения составляет точно ϕ или -ϕ.

[00163] Фиг. 14 является схемой, иллюстрирующей виртуальный рендеринг канала TFC посредством использования каналов L/R/LS/RS, согласно варианту осуществления.

[00164] Канал TFC расположен под азимутальным углом в 0° и углом возвышения в 35°, и положения горизонтальных каналов L, R, LS, и RS для виртуального рендеринга канала TFC являются такими, как показано на Фиг. 14 и таблице 2 ниже.

[Таблица 2]

Динамик (выходной канал)	Азимутальный угол (азимут)	Угол возвышения (возвышение)
L	-45°	35°
R	30°	0°
LS	-110°	0°
RS	135°	0°

[00165] Как показано на Фиг. 14 и таблице 2 ниже, канал R и канал LS скомпонованы согласно стандартной конфигурации, канал RS имеет азимутальное отклонение в 25°, и канал L имеет отклонение возвышения в 35° и азимутальное отклонение в 15°.

[00166] Способ применения виртуального рендеринга к каналу TFC посредством использования каналов L/R/LS/RS согласно варианту осуществления выполняется в нижеследующем порядке.

[00167] Во-первых, вычисляется коэффициент панорамирования. Усиление панорамирования может быть вычислено посредством загрузки начальных значений для виртуального рендеринга канала TFC, при этом начальные значения хранятся в хранилище, или посредством использования 2D рендеринга, VBAP и т.д.

[00168] Во-вторых, коэффициент панорамирования изменяется (корректируется) согласно конфигурации каналов. Когда конфигурация выходных каналов является такой, как показана на Фиг. 14, канал L имеет отклонение возвышения, усиление панорамирования, которое изменяется компенсатором 124 эффекта возвышения, применяется к каналу L и каналу R для выполнения попарного панорамирования с использованием каналов L-R. С другой стороны, так как канал RS имеет азимутальное отклонение, коэффициент панорамирования, который изменен основным способом, применяется к каналу LS и каналу RS для выполнения попарного панорамирования с использованием каналов LS-RS.

[00169] В-третьих, тембр корректируется фильтром с преобразованием тембра. Так как канал R и канал LS скомпонованы согласно стандартной конфигурации, к ним применяется фильтр

, который является таким же, как фильтр первоначального виртуального рендеринга.

[00170] Так как канал RS имеет только азимутальное отклонение и не имеет отклонения возвышения, используется фильтр

, который является таким же как фильтр операции первоначального виртуального рендеринга, но фильтр

для коррекции составляющей, сдвинутой из 110°, что является азимутальным углом канала RS согласно стандартной конфигурации, к азимутальному углу 135°. Здесь

является HRTF по отношению к аудиоисточнику под углом в 110°, и

является HRTF по отношению к аудиоисточнику под углом в 135°. Однако, в этом случае, так как азимутальные углы 110° и 135° находятся относительно близко друг к другу, можно обойти сигнал канала TFC, подверженный рендерингу в выходной канал RS.

[00171] Канал L имеет и азимутальное отклонение, и отклонение возвышения из стандартной конфигурации, и таким образом, применяется фильтр

, который должен быть применен первоначально для выполнения виртуального рендеринга, фильтр

для компенсации тембра канала TFC и тембра в положении канала L. Здесь

является HRTF по отношению к стандартной конфигурации канала TFC, и

является HRTF по отношению к положению, в котором размещен канал L. В противном случае, в вышеуказанном случае, так как положение канала TFC и положение канала L находятся относительно близко друг к другу, может быть решено обойти сигнал канала TFC, подверженный рендерингу в выходной канал L.

[00172] Блок рендеринга формирует выходной сигнал посредством фильтрации входного сигнала и умножения входного сигнала на усиление панорамирования, и блок панорамирования и блок фильтрации функционируют независимо друг от друга. Это будет понятно со ссылкой на блок-схему по Фиг. 15.

[00173] Фиг. 15 является блок-схемой блока рендеринга, который обрабатывает отклонение при виртуальном рендеринге посредством использования выходных каналов 5.1, согласно варианту осуществления.

[00174] Блок-схема блока рендеринга, показанная на Фиг. 15, иллюстрирует вывод и процесс каждого блока, когда выходные каналы L/R/LS/RS, которые скомпонованы согласно конфигурации по Фиг. 14, используются для выполнения виртуального рендеринга канала TFC посредством использования каналов L/S/LS/RS как в варианте осуществления, проиллюстрированном со ссылкой на Фиг. 14.

[00175] Блок панорамирования сначала вычисляет усиление панорамирования виртуального рендеринга в каналах 5.1. В варианте осуществления, показанном на Фиг. 14, усиление панорамирования может быть определено посредством загрузки начальных значений, которые заданы для выполнения виртуального рендеринга канала TFC посредством использования каналов L/R/LS/RS. Здесь, усилениями панорамирования, определенными для применения к каналам L/R/LS/RS, являются

,

,

, и

.

[00176] В следующем блоке, усиления панорамирования между каналами L-R и каналами LS-RS изменяется на основании отклонения между стандартной конфигурацией выходных каналов и конфигурацией выходных каналов в данной компоновке.

[00177] В случае каналов LS-RS, так как канал LS имеет только азимутальное отклонение, усиления панорамирования могут быть изменены основным способом. Измененными усилениями панорамирования являются

и

. В случае каналов L-R, так как канал R имеет отклонение возвышения, усиления панорамирования изменяются компенсатором 124 эффекта возвышения для коррекции эффекта возвышения. Измененными усилениями панорамирования являются

и

.

[00178] Блок 121 фильтрации принимает входной сигнал

, и выполняет операцию фильтрации в отношении каждого канала. Так как канал R и канал LS скомпонованы согласно стандартной конфигурации, к ним применяется фильтр

, который является таким же как фильтр операции первоначального виртуального рендеринга. Здесь, выводами из фильтра являются

и

.

[00179] Так как канал RS не имеет отклонения возвышения и имеет только азимутальное отклонение, используется фильтр

, который является таким же, как фильтр первоначального виртуального рендеринга, и фильтр с коррекцией

применяется к составляющей, которая сдвинута от азимутального угла 110° канала LS согласно стандартной конфигурации к углу 135°. Здесь, выходным сигналом из фильтра является

.

[00180] Канал L имеет и азимутальное отклонение, и отклонение возвышения по отношению к стандартной конфигурации, и таким образом фильтр

, который первоначально применяется для выполнения виртуального рендеринга не применяется, но фильтр

применяется для коррекции тембра канала TFC и тембра в положении канала L. Здесь, выходным сигналом из фильтра является

.

[00181] Выходные сигналы из фильтров, примененных соответственно к каналам, то есть

,

,

, и

, умножаются на усиления панорамирования

,

,

, и

, которые изменены блоком панорамирования, для вывода сигналов

,

,

, и

из блока рендеринга по отношению к сигналам каналов.

[00182] Варианты осуществления согласно настоящему изобретению могут также быть осуществлены как запрограммированные команды, которые должны быть исполнены в различных элементах конфигурации компьютера, и затем могут быть записаны на машиночитаемый носитель записи. Машиночитаемый носитель записи может включать в себя одно или более из запрограммированных команд, файлов данных, структур данных или подобное. Запрограммированные команды, записанные на машиночитаемый носитель записи, могут быть конкретно спроектированы или сконфигурированы для данного изобретения или могут быть хорошо известны специалисту в области компьютерного программного обеспечения. Примеры машиночитаемого носителя записи включают в себя магнитные носители, включающие в себя жесткие диски, магнитные пленки и гибкие магнитные диски, оптические носители, включающие в себя CD-ROM и DVD, магнитооптические носители, включающие в себя гибкие оптические диски, и аппаратное устройство, спроектированное для хранения и исполнения запрограммированных команд в постоянной памяти (ROM), оперативной памяти (RAM), флэш-памяти и тому подобном. Примеры запрограммированных команд включают в себя не только машинные коды, сформированные компилятором, но также включают в себя большие массивы кода, который должен быть выполнен на компьютере посредством использования интерпретатора. Аппаратное устройство может быть выполнено с возможностью функционирования как один или более программных модулей, так чтобы выполнять операции для данного изобретения, или наоборот.

[0001] Хотя подробное описание было специально описано со ссылкой на неявные признаки настоящего изобретения, специалисту в данной области техники будет понятно, что различные удаления, замены и изменения в форме и деталях вышеупомянутого устройства и способа могут быть сделаны без отступления от сущности и объема нижеследующей формулы изобретения.

[0002] Вследствие этого, объем настоящего изобретения задается не посредством подробного описания данного изобретения, а прилагаемой формулой изобретения и все отличия в рамках объема будут толковаться как включенные в настоящее изобретение.

Claims (28)

1. Способ рендеринга аудиосигнала, причем способ содержит этапы, на которых:

принимают многоканальные сигналы, включающие в себя один или более входных каналов высоты, которые должны быть преобразованы из конфигураций входных каналов в конфигурации выходных каналов;

получают усиление панорамирования для входного канала высоты, который должен быть преобразован в выходной канал на основании стандартного расположения громкоговорителя;

получают информацию отклонения о выходном канале, из положения громкоговорителя для вывода и стандартного положения громкоговорителя; и

изменяют полученное усиление панорамирования на основании полученной информации отклонения и стандартного расположения громкоговорителя.

2. Способ по п. 1, в котором информация отклонения включает в себя по меньшей мере одно из отклонения возвышения и азимутального отклонения, и

при этом усиление панорамирования изменяется, чтобы сохранить центральный образ, соответствующий азимуту входного канала высоты.

3. Способ по п. 1, в котором множество выходных каналов, включенных в конфигурации выходных каналов, являются горизонтальными каналами.

4. Способ по п. 1, в котором выходной канал содержит по меньшей мере одно из левого горизонтального канала и правого горизонтального канала.

5. Способ по п. 2, в котором этап, на котором изменяют усиление панорамирования, компенсирует эффект, вызванный отклонением возвышения, когда полученная информация отклонения содержит отклонение возвышения.

6. Способ по п. 2, в котором этап, на котором изменяют усиление панорамирования, компенсирует усиление панорамирования посредством способа двухмерного (2D) панорамирования, когда полученная информация отклонения не содержит отклонение возвышения.

7. Способ по п. 5, в котором этап, на котором компенсируют эффект, вызванный отклонением возвышения, содержит этап, на котором компенсируют интерауральную разность уровней (ILD), вызванную отклонением возвышения.

8. Способ по п. 4, в котором измененное усиление панорамирования пропорционально полученному отклонению возвышения.

9. Способ по п. 1, в котором сумма значений квадратов измененных усилений панорамирования по отношению к множеству выходных каналов, включенных в конфигурации выходных каналов для каждого из множества входных каналов, включенных в конфигурации входных каналов, составляет 1.

10. Устройство для рендеринга аудиосигнала, причем устройство содержит:

приемник, выполненный с возможностью приема многоканальных сигналов, включающих в себя один или более входных каналов высоты, которые должны быть преобразованы из конфигураций входных каналов в конфигурации выходных каналов;

блок получения отклонения, выполненный с возможностью получения информации отклонения о выходном канале, из положения громкоговорителя для вывода и стандартного положения громкоговорителя; и

блок получения усиления панорамирования, выполненный с возможностью получения усиления панорамирования для входного канала высоты, который должен быть преобразован в выходной канал, на основании стандартного расположения громкоговорителя, и изменения полученного усиления панорамирования на основании информации отклонения и стандартного расположения громкоговорителя.

11. Устройство по п. 10, в котором информация отклонения включает в себя по меньшей мере одно из отклонения возвышения и азимутального отклонения, и

при этом усиление панорамирования изменяется для сохранения центрального образа, соответствующего азимуту входного канала высоты.

12. Устройство по п. 10, в котором множество выходных каналов являются горизонтальными каналами.

13. Устройство по п. 10, в котором выходной канал содержит по меньшей мере одно из левого горизонтального канала и правого горизонтального канала.

14. Устройство по п. 11, в котором блок получения усиления панорамирования компенсирует эффект, вызванный отклонением возвышения, когда полученная информация отклонения содержит отклонение возвышения.

15. Устройство по п. 11, в котором блок получения усиления панорамирования компенсирует усиление панорамирования посредством способа двухмерного (2D) панорамирования, когда полученная информация отклонения не содержит отклонение возвышения.

16. Устройство по п. 14, в котором блок получения усиления панорамирования компенсирует интерауральную разность уровней, вызванную отклонением возвышения, для компенсации эффекта, вызванного отклонением возвышения.

17. Устройство по п. 11, в котором измененное усиление панорамирования пропорционально полученному отклонению возвышения.

18. Устройство по п. 10, в котором сумма значений квадратов измененных усилений панорамирования по отношению к множеству выходных каналов, включенных в конфигурации выходных каналов для каждого из множества входных каналов, включенных в конфигурации входных каналов, составляет 1.

19. Машиночитаемый носитель записи, на котором записана компьютерная программа для выполнения способа по п. 1.

Images