RU2812145C2 - Способы, устройство и системы для представления, кодирования и декодирования дискретных данных направленности - Google Patents

Abstract

Настоящее техническое решение относится к области вычислительной техники для обработки аудиоданных. Технический результат заключается в возможности реализации схем кодирования дискретных данных направленности направленных источников звука. Технический результат достигается за счёт обработки аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука, причем информация о направленности содержит первое множество первых единичных векторов направленности, представляющих направления направленности, и связанные первые коэффициенты усиления направленности. 8 н. и 13 з.п. ф-лы, 13 ил., 6 табл.

Description

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

Данная заявка претендует на приоритет следующих приоритетных заявок: предварительной заявки США 62/869622 (ссылка: D19038USP1), поданной 2 июля 2019 г., и европейской заявки 19183862.2 (ссылка: D19038EP), поданной 2 июля 2019 г., которые включены в данную заявку посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к предоставлению способов и устройства для обработки и кодирования аудиосодержимого, содержащего дискретную информацию о направленности (данные направленности) для по меньшей мере одного источника звука. В частности настоящее изобретение относится к представлению, кодированию и декодированию дискретной информации о направленности.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

Источники звука в реальном мире, как естественные, так и созданные человеком (например, громкоговорители, музыкальные инструменты, голос, механические устройства), излучают звук неизотропно. Описание сложных диаграмм направленности излучения (или «направленности») источника звука может являться критически важным для правильного рендеринга, в частности в контексте интерактивных сред, таких как видеоигры, и приложений виртуальной/дополненной реальности. В этих средах пользователи обычно могут взаимодействовать с направленными аудиообъектами путем хождения вблизи них и, таким образом, изменения их акустической перспективы в отношении генерируемого звука. Они также могут иметь возможность захватывать и динамически вращать виртуальные объекты, что также требует рендеринга разных направлений в диаграмме направленности излучения соответствующего (соответствующих) источника (источников) звука. В дополнение к более реалистичному рендерингу эффектов прямого распространения от источника к слушателю, характеристики излучения также будут играть основную роль в акустической связи более высокого порядка между источником и его средой (например, виртуальной средой в видеоигре), тем самым воздействуя на отраженный звук. Как следствие, это будет влиять на другие пространственные метки, такие как воспринимаемое расстояние.

Диаграмму направленности излучения источника звука или ее параметрическое представление необходимо передать в виде метаданных в устройство рендеринга аудиоданных с шестью степенями свободы (6DoF). Диаграммы направленности излучения можно представить с помощью, например, разложения на сферические гармоники или дискретных векторных данных.

Однако, как было обнаружено, прямое применение традиционных дискретных представлений направленности является неоптимальным для рендеринга 6DoF.

Поэтому существует потребность в способах и устройстве для усовершенствованного представления и/или усовершенствованных схем кодирования дискретных данных направленности (информации о направленности) направленных источников звука.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Один аспект настоящего изобретения относится к способу обработки аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука. В контексте кодирования способ может выполняться в кодере. Альтернативно способ может выполняться в декодере перед рендерингом. Например, источник звука может представлять собой направленный источник звука и/или может относиться к аудиообъекту. Информация о направленности может представлять собой дискретную информацию о направленности. Дополнительно информация о направленности может являться частью метаданных для аудиообъекта. Информация о направленности может содержать первое множество первых единичных векторов направленности, представляющих направления направленности, и связанные первые коэффициенты усиления направленности. Первые единичные векторы направленности могут являться неравномерно распределенными на поверхности трехмерной сферы. Термин «единичный вектор» означает вектор единичной длины. Способ может включать определение, в качестве количества отсчетов, количества единичных векторов для расположения на поверхности трехмерной сферы на основе требуемой точности представления (точности представления ориентации). Также можно утверждать, что этап определения относится к определению, на основе требуемой точности представления, количества единичных векторов, подлежащих генерированию, для расположения на поверхности трехмерной сферы. Определенное количество единичных векторов можно задать как мощность множества, состоящего из единичных векторов. Требуемая точность представления может представлять собой, например, требуемую угловую точность или требуемую точность направления. Дополнительно требуемая точность представления может соответствовать требуемой угловой разрешающей способности (например, выраженной в градусах). Способ может дополнительно включать генерирование второго множества вторых единичных векторов направленности путем использования предварительно определенного алгоритма расположения для распределения определенного количества единичных векторов на поверхности трехмерной сферы. Предварительно определенный алгоритм расположения может представлять собой алгоритм для аппроксимативно равномерного сферического распределения единичных векторов на поверхности трехмерной сферы. Предварительно определенный алгоритм расположения может масштабироваться по количеству единичных векторов, подлежащих расположению/генерированию (т.е. количество может являться параметром управления предварительно определенного алгоритма расположения). Способ может дополнительно включать определение, для вторых единичных векторов направленности, связанных вторых коэффициентов усиления направленности на основе первых коэффициентов усиления направленности одного или более из группы первых единичных векторов направленности, которые являются ближайшими к соответствующему второму единичному вектору направленности. Группа первых единичных векторов направленности может представлять собой собственную подгруппу или собственное подмножество в первом множестве первых единичных векторов направленности.

В вышеописанной конфигурации предложенный способ предусматривает представление (т.е. определенное количество и вторые коэффициенты усиления направленности) дискретной информации о направленности, что обеспечивает возможность рендеринга в декодере без необходимости в интерполяции для обеспечения «равномерной чувствительности» при изменении ориентации объекта относительно слушателя. Кроме того, представление дискретной информации о направленности можно кодировать с низкой битовой скоростью передачи данных, так как значимые для восприятия единичные векторы направленности не хранятся в представлении, но могут быть вычислены в декодере. Наконец, предложенный способ может снижать вычислительную сложность во время рендеринга.

В некоторых вариантах осуществления количество единичных векторов можно определить так, чтобы единичные векторы при распределении на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения аппроксимировали направления, указанные первым множеством первых единичных векторов направленности, с требуемой точностью представления.

В некоторых вариантах осуществления количество единичных векторов можно определить так, чтобы после распределения единичных векторов на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения для каждого из первых единичных векторов направленности в первом множестве существовал по меньшей мере один из единичных векторов, разность направлений которого относительно соответствующего первого единичного вектора направленности меньше требуемой точности представления. Разность направлений может представлять собой, например, угловую разность. Разность направлений может быть задана в выражении подходящей нормы разности направлений.

В некоторых вариантах осуществления определение количества единичных векторов может включать использование предварительно установленной функциональной зависимости между точностями представления и соответствующими количествами единичных векторов, распределенных на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения и аппроксимирующих направления, указанные первым множеством первых единичных векторов направленности, с соответствующей точностью представления.

В некоторых вариантах осуществления определение связанного второго коэффициента усиления направленности для данного второго единичного вектора направленности может включать приравнивание второго коэффициента усиления направленности к первому коэффициенту усиления направленности, связанному с тем первым единичным вектором направленности, который является ближайшим («близость» в контексте настоящего изобретения задана как надлежащая норма расстояния) к данному второму единичному вектору направленности. Альтернативно это определение может включать, например, стереографическую проекцию или триангуляцию.

В некоторых вариантах осуществления предварительно определенный алгоритм расположения может включать наложение на поверхность трехмерной сферы спиральной траектории, проходящей от первой точки на сфере до второй точки на сфере, противоположной первой точке, и последовательное расположение единичных векторов вдоль спиральной траектории. Здесь пространственное расположение спиральной траектории и/или смещения между соответствующими двумя смежными единичными векторами вдоль спиральной траектории можно определить на основе количества единичных векторов.

В некоторых вариантах осуществления определение количества единичных векторов может дополнительно включать отображение (например, округление) количества единичных векторов в одно из предварительно определенных количеств. Предварительно определенные количества можно передать с помощью параметра битового потока. Например, параметр битового потока может представлять собой двухбитовый параметр, такой как параметр directivity_precision. Для кодирования способ может затем включать кодирование определенного количества в значение параметра битового потока.

В некоторых вариантах осуществления требуемую точность отображения можно определить на основе модели порогов чувствительности направленности восприятия слушателя (например, контрольного слушателя).

В некоторых вариантах осуществления мощность второго множества вторых единичных векторов направленности может быть меньше мощности первого множества первых единичных векторов направленности. Это может подразумевать, что требуемая точность представления является меньшей, чем точность представления, обеспечиваемая первым множеством первых единичных векторов направленности.

В некоторых вариантах осуществления первые и вторые единичные векторы направленности могут быть выражены в сферической или декартовой системе координат. Например, первые единичные векторы направленности могут быть равномерно распределены в плоскости азимута и угла возвышения, что подразумевает неравномерное (сферическое) распределение на поверхности трехмерной сферы. Вторые единичные векторы направленности могут быть неравномерно распределены в плоскости азимута и угла возвышения таким образом, что они являются (полу)равномерно распределенными на поверхности трехмерной сферы.

В некоторых вариантах осуществления информация о направленности, представленная первым множеством первых единичных векторов направленности и связанными первыми коэффициентами усиления направленности, может быть сохранена в пространственно ориентированном формате для акустики (формате SOFA), содержащем форматы, стандартизованные обществом инженеров по звуковой технике (см., например, AES69-2015). Дополнительно или альтернативно информация о направленности, представленная вторым множеством первых единичных векторов направленности и связанными вторыми коэффициентами усиления направленности, может быть сохранена в формате SOFA.

В некоторых вариантах осуществления способ может представлять собой способ кодирования аудиосодержимого и может дополнительно включать кодирование в битовый поток определенного количества единичных векторов вместе со вторыми коэффициентами усиления направленности. Способ может также дополнительно включать вывод битового потока. Это предполагает выполнение по меньшей мере части предложенного способа на стороне кодера.

Другой аспект настоящего изобретения относится к способу декодирования аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука. Информация о направленности может содержать количество (например, количество отсчетов), которое указывает количество аппроксимативно равномерно распределенных единичных векторов на поверхности трехмерной сферы и для каждого такого единичного вектора связанный коэффициент усиления направленности. Можно предположить, что единичные векторы распределены на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения. Здесь предварительно определенный алгоритм расположения может представлять собой алгоритм для аппроксимативно равномерного сферического распределения единичных векторов на поверхности трехмерной сферы. Способ может включать прием битового потока, содержащего аудиосодержимое. Способ может дополнительно включать извлечение количества и коэффициентов усиления направленности из битового потока. Способ может также дополнительно включать определение (например, генерирование) множества единичных векторов направленности путем использования предварительно определенного алгоритма расположения для распределения количества единичных векторов на поверхности трехмерной сферы. В этом смысле количество единичных векторов может играть роль параметра управления предварительно определенного алгоритма расположения. Способ может дополнительно включать этап привязки каждого единичного вектора направленности к его коэффициенту усиления направленности. В данном аспекте предполагается, что предложенный способ распределен между стороной кодера и стороной декодера.

В некоторых вариантах осуществления способ может дополнительно включать, для данного целевого единичного вектора направленности, ориентированного от источника звука к положению слушателя, определение целевого коэффициента усиления направленности для целевого единичного вектора направленности на основе связанных коэффициентов усиления направленности одного или более из группы единичных векторов направленности, которые являются ближайшими к целевому единичному вектору направленности. Группа единичных векторов направленности может представлять собой собственную подгруппу или собственное подмножество во множестве единичных векторов направленности.

В некоторых вариантах осуществления определение целевого коэффициента усиления направленности для целевого единичного вектора направленности может включать приравнивание целевого коэффициента усиления направленности к коэффициенту усиления направленности, связанному с тем единичным вектором направленности, который является ближайшим к целевому единичному вектору направленности.

Другой аспект настоящего изобретения относится к способу декодирования аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука. Информация о направленности может содержать первое множество первых единичных векторов направленности, представляющих направления направленности, и связанные первые коэффициенты усиления направленности. Способ может включать прием битового потока, содержащего аудиосодержимое. Способ может дополнительно включать извлечение первого множества единичных векторов направленности и связанных первых коэффициентов усиления направленности из битового потока. Способ может дополнительно включать определение, в качестве количества отсчетов, количества векторов для расположения на поверхности трехмерной сферы на основе требуемой точности представления. Способ может дополнительно включать генерирование второго множества вторых единичных векторов направленности путем использования предварительно определенного алгоритма расположения для распределения определенного количества единичных векторов на поверхности трехмерной сферы. Здесь предварительно определенный алгоритм расположения может представлять собой алгоритм для аппроксимативно равномерного сферического распределения единичных векторов на поверхности трехмерной сферы. Способ может дополнительно включать определение, для вторых единичных векторов направленности, связанных вторых коэффициентов усиления направленности на основе первых коэффициентов усиления направленности одного или более из группы первых единичных векторов направленности, которые являются ближайшими к соответствующему второму единичному вектору направленности. Способ может также дополнительно включать, для данного целевого единичного вектора направленности, ориентированного от источника звука к положению слушателя, определение целевого коэффициента усиления направленности для целевого единичного вектора направленности на основе связанных вторых коэффициентов усиления направленности одного или более из группы вторых единичных векторов направленности, которые являются ближайшими к целевому единичному вектору направленности. Группа вторых единичных векторов направленности может представлять собой собственную подгруппу или собственное подмножество во втором множестве вторых единичных векторов направленности. В этом аспекте предполагается, что весь предложенный способ выполняют на стороне декодера.

В некоторых вариантах осуществления определение целевого коэффициента усиления направленности для целевого единичного вектора направленности может включать приравнивание целевого коэффициента усиления направленности ко второму коэффициенту усиления направленности, связанному с тем вторым единичным вектором направленности, который является ближайшим к целевому единичному вектору направленности.

В некоторых вариантах осуществления способ может дополнительно включать извлечение из битового потока указателя необходимости генерирования второго множества единичных векторов направленности. Этот указатель может представлять собой 1-битовый флаг, например, параметр directivity_type. Способ может дополнительно включать определение количества единичных векторов и генерирование второго множества вторых единичных векторов направленности, если указатель указывает, что необходимо сгенерировать второе множество единичных векторов направленности. В противном случае количество единичных векторов и (вторых) коэффициентов усиления направленности может быть извлечено из битового потока.

Другой аспект настоящего изобретения относится к устройству для обработки аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука. Информация о направленности может содержать первое множество первых единичных векторов направленности, представляющих направления направленности, и связанные первые коэффициенты усиления направленности. Устройство может содержать процессор, приспособленный для выполнения этапов способа согласно вышеописанному первому аспекту и любому из его вариантов осуществления.

Другой аспект настоящего изобретения относится к устройству для декодирования аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука. Информация о направленности может содержать количество, которое указывает количество (например, количество отсчетов) аппроксимативно равномерно распределенных единичных векторов на поверхности трехмерной сферы и для каждого такого единичного вектора связанный коэффициент усиления направленности. Можно предположить, что единичные векторы распределены на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения. Здесь предварительно определенный алгоритм расположения может представлять собой алгоритм для аппроксимативно равномерного сферического распределения единичных векторов на поверхности трехмерной сферы. Устройство может содержать процессор, приспособленный для выполнения этапов способа согласно вышеописанному второму аспекту и любому из его вариантов осуществления.

Другой аспект настоящего изобретения относится к устройству для декодирования аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука. Информация о направленности может содержать первое множество первых единичных векторов направленности, представляющих направления направленности, и связанные первые коэффициенты усиления направленности. Устройство может содержать процессор, приспособленный для выполнения этапов способа согласно вышеописанному третьему аспекту и любому из его вариантов осуществления.

Другой аспект настоящего изобретения относится к компьютерной программе, содержащей команды, которые при исполнении процессором предписывают процессору выполнить способ согласно любому из вышеописанных аспектов с первого по третий и любому из их вариантов осуществления.

Другой аспект настоящего изобретения относится к машиночитаемому носителю данных, на котором хранится компьютерная программа согласно предыдущему аспекту.

Другой аспект настоящего изобретения относится к аудиодекодеру, содержащему процессор, подключенный к запоминающему устройству, в котором хранятся команды для процессора. Процессор может быть приспособлен для выполнения способа согласно соответствующим из представленных выше аспектов или вариантов осуществления.

Другой аспект настоящего изобретения относится к аудиокодеру, содержащему процессор, подключенный к запоминающему устройству, в котором хранятся команды для процессора. Процессор может быть приспособлен для выполнения способа согласно соответствующим из представленных выше аспектов или вариантов осуществления.

Дополнительные аспекты настоящего изобретения относятся к соответствующим компьютерным программам и машиночитаемым носителям данных.

Будет понятно, что этапы способа и признаки устройства можно взаимно заменять различными способами. В частности, детали раскрытого способа могут быть реализованы в виде устройства, приспособленного для выполнения некоторых или всех этапов способа, и наоборот, как будет понятно специалисту. В частности, понятно, что соответствующие утверждения, сделанные в отношении способов, аналогично применимы и к соответствующим устройствам, и наоборот.

Краткое описание графических материалов

Примерные варианты осуществления настоящего изобретения описаны ниже со ссылкой на сопроводительные графические материалы, на которых одинаковые ссылочные номера обозначают одинаковые или подобные элементы и на которых:

на фиг. 1A, фиг. 1B и фиг. 1C схематически изображены примеры представления информации о направленности, содержащей дискретные единичные векторы направленности и связанные коэффициенты усиления направленности,

на фиг. 2 схематически изображен пример единичного вектора направленности и связанного коэффициента усиления направленности,

на фиг. 3 схематически изображен пример расположения единичных векторов направленности на поверхности трехмерной сферы в соответствии с требуемой точностью представления,

на фиг. 4 схематически изображен другой пример расположения единичного вектора направленности на поверхности трехмерной сферы в соответствии с требуемой точностью представления,

на фиг. 5 представлен график, на котором схематически изображена зависимость между количеством единичных векторов и результирующей точностью представления при рассмотрении данного алгоритма расположения для расположения единичных векторов на поверхности трехмерной сферы,

на фиг. 6 представлен график, на котором схематически изображена смоделированная зависимость между количеством единичных векторов и результирующей точностью представления при рассмотрении данного алгоритма расположения для расположения единичных векторов на поверхности трехмерной сферы,

на фиг. 7A, фиг. 7B и фиг. 7C схематически изображены примеры представления информации о направленности, содержащей дискретные единичные векторы направленности и связанные коэффициенты усиления направленности согласно вариантам осуществления настоящего изобретения,

на фиг. 8A схематически изображены традиционные представления дискретной информации о направленности для разных точностей представления,

на фиг. 8B схематически изображены представления дискретной информации о направленности для разных точностей представления согласно вариантам осуществления настоящего изобретения,

на фиг. 9 схематически изображен в виде блок-схемы способ обработки или кодирования аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука, согласно вариантам осуществления настоящего изобретения,

на фиг. 10 схематически изображен в виде блок-схемы пример способа декодирования аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука, согласно вариантам осуществления настоящего изобретения,

на фиг. 11 схематически изображен в виде блок-схемы другой пример способа декодирования аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука, согласно вариантам осуществления настоящего изобретения,

на фиг. 12 схематически изображено устройство для обработки или кодирования аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука, согласно вариантам осуществления настоящего изобретения, и

на фиг. 13 схематически изображено устройство для декодирования аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука, согласно вариантам осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ

Как указано выше, одинаковые или подобные ссылочные номера в описании обозначают одинаковые или подобные элементы, а повторное их описание может быть пропущено для краткости.

Форматы аудиоданных, содержащие данные направленности (информацию о направленности) для источников звука, могут быть использованы для рендеринга 6DoF аудиосодержимого. В некоторых из этих форматов аудиоданных данные направленности представляют собой дискретные данные направленности, которые сохраняются (например, в формате SOFA) в виде множества дискретных векторов, состоящих из направления (например, азимута, угла возвышения) и амплитуды (например, коэффициента усиления). Однако, как было отмечено выше, прямое применение таких традиционных дискретных представлений направленности для рендеринга 6DoF, как оказалось, является неоптимальным. В частности, для традиционных дискретных представлений направленности векторные направления обычно расположены в трехмерном пространстве в значительной мере неэквидистантно, что делает необходимой интерполяцию между направлениями векторов во время рендеринга (например, рендеринга 6DoF). Кроме того, данные направленности содержат избыточность и несоответствие, что приводит к большому размеру битового потока для кодирования представления.

Один пример традиционного представления дискретной информации о направленности источника звука схематически изображен на фиг. 1A, фиг. 1B и фиг. 1C. Традиционное представление содержит множество дискретных единичных векторов 10 направленности и связанные коэффициенты 15 усиления направленности. На фиг. 1A представлен трехмерный вид единичных векторов 10 направленности, расположенных на поверхности трехмерной сферы. В настоящем примере эти единичные векторы 10 направленности равномерно (т.е. эквидистантно) расположены в плоскости азимута и угла возвышения, что приводит к неравномерному сферическому расположению на поверхности трехмерной сферы. Это может быть видно на фиг. 1B, где представлен вид сверху трехмерной сферы, на которой расположены единичные векторы 10 направленности. Наконец, на фиг. 1C представлены коэффициенты 15 усиления направленности для единичных векторов 10 направленности, с помощью которых дается указание диаграммы направленности излучения (или «направленности») источника звука.

Усовершенствований представления дискретной информации о направленности можно добиться, поскольку направления можно вычислить на стороне декодера (например, с помощью уравнений, таблиц или другой предварительно вычисленной справочной информации), а традиционные представления могут включать излишне мелкозернистую выборку направлений с точки зрения психоакустики.

В настоящем изобретении предполагается, что исходное (например, традиционное) представление дискретной информации о направленности для источника звука (акустического источника) содержит множества из дискретных коэффициентов усиления направленности акустического источника. Данные заданы в отношении неравномерно распределенных единичных векторов направленности, при этом каждый единичный вектор направленности содержит связанный с ним коэффициент усиления направленности. Единичные векторы направленности представляют собой векторы направленности единичной длины. Единичный вектор 210 направленности и связанный с ним коэффициент усиления направленности схематически изображены на фиг. 2. Здесь единичный вектор направленности расположен на поверхности 230 трехмерной сферы, которая представляет собой единичную сферу. В контексте настоящего изобретения множество единичных векторов направленности можно назвать первым множеством первых единичных векторов направленности. Коэффициенты усиления направленности можно назвать первыми коэффициентами усиления направленности, которые связаны с соответствующими первыми векторами направленности.

Как отмечено выше, для достижения «равномерной чувствительности» при изменении ориентации объекта относительно слушателя неравномерное распределение единичных векторов направленности требует интерполяции коэффициентов усиления направленности на стороне декодера.

С целью устранения этой проблемы настоящее изобретение ориентировано на предоставление оптимизированного представления направленности, аппроксимирующего исходные данные способом, в котором получается эквивалент (например, субъективно неотличимый) выходных данных рендеринга 6DoF аудиоданных. Здесь единичные векторы направленности и/или единичные векторы направленности могут быть выражены, например, в сферической или декартовой системе координат.

Оптимизированное представление должно быть задано в отношении полуравномерного распределения векторов направленности, приводить к меньшему размеру битового потока, т.е. , и/или обеспечивать возможность эффективной в вычислительном отношении обработки декодирования. В контексте настоящего изобретения термин «полуравномерный» означает «равномерный с данной (например, требуемой) точностью представления».

Для того чтобы это осуществить, в настоящем изобретении предполагается, что ориентация объекта относительно слушателя является произвольной с равномерным распределением вероятностей, и что точность представления ориентации объекта относительно слушателя (т.е. требуемая точность представления) является известной и, например, заданной на основе субъективных порогов чувствительности направленности слушателя (например, контрольного слушателя).

Настоящее изобретение обеспечивает по меньшей мере следующие технические преимущества. Первое техническое преимущество относится к преимуществам параметризации информации о направленности путем использования равномерного представления направленности в трехмерном пространстве (не в плоскости азимута и угла возвышения). Второе техническое преимущество получается вследствие отбраковки той содержащейся в исходных данных информации о направленности, которая не вносит вклад в восприятие направленности (т.е. которая ниже точности представления ориентации).

Равномерное представление направленности не является тривиальным, так как задачу равномерного распределения направлений в трехмерном пространстве (например, равномерное пространственное расположение точек на поверхности трехмерной единичной сферы) обычно невозможно точно решить для произвольных количеств , а численные способы аппроксимации, генерирующие (полу)эквидистантно распределенные точки на трехмерной единичной сфере, часто являются очень сложными (например, итеративными, стохастическими и требующими интенсивных вычислений).

Уменьшение несоответствия и избыточности в исходных данных также является нетривиальным, так как оно в высокой степени связано с заданием точности представления ориентации на основе психоакустических соображений.

На основе по меньшей мере этих технических преимуществ в настоящем изобретении предложен эффективный способ аппроксимации равномерного представления направленности, которая позволяет избежать интерполяции коэффициентов усиления направленности на стороне декодера и добиться значительного уменьшения битовой скорости передачи данных без ухудшения в результирующем психоакустическом восприятии направленности выходных данных рендеринга 6DoF.

Один пример способа 900 обработки (или кодирования) аудиосодержимого, содержащего (дискретную) информацию о направленности для по меньшей мере одного источника звука (например, аудиообъекта), согласно вариантам осуществления настоящего изобретения изображен в виде блок-схемы на фиг. 9. Информация о направленности предположительно связана с заданной выше информацией о направленности, т.е. содержит первое множество первых единичных векторов направленности, представляющих направления направленности, и связанные первые коэффициенты усиления направленности. Информация о направленности может быть включена в аудиосодержимое в виде части метаданных для источника звука (например, аудиообъекта).

В качестве начального этапа (не представлен на блок-схеме) в способе 900 можно получить аудиосодержимое. Информация о направленности, представленная первым множеством первых единичных векторов направленности и связанными первыми коэффициентами усиления направленности, может быть сохранена в формате SOFA.

На этапе S910 количество единичных векторов для расположения на поверхности трехмерной сферы определяют (например, вычисляют) в качестве количества отсчетов на основе требуемой точности представления. Он может быть связан с определением (например, на основе вычисления) количества (полу)эквидистантно распределенных направлений или единичных векторов (направленности) (например, на основе заданной точности представления ориентации). Здесь термин «полуэквидистантно распределенный» следует понимать как означающий «распределенный эквидистантно с точностью представления». Точность представления может соответствовать, например, угловой точности или точности направления. В этом смысле точность представления может соответствовать угловой разрешающей способности. В некоторых реализациях требуемая точность представления может определяться на основе модели порогов направленности восприятия слушателя (например, контрольного слушателя).

То есть выходные данные этого этапа представляют собой одно целое число, т.е. количество единичных векторов направленности. Генерирование фактических единичных векторов направленности выполняют на описанном ниже этапе S920. Иначе говоря, на этапе S910 определяют мощность множества подлежащих генерированию единичных векторов направленности. Количество единичных векторов можно определить так, чтобы после (полу)эквидистантного распределения единичных векторов на поверхности трехмерной (единичной) сферы, например, с помощью предварительно определенного алгоритма расположения, они аппроксимировали направления, указанные первым множеством первых векторов направленности, с требуемой точностью представления. Соответственно, предварительно определенный алгоритм расположения может представлять собой алгоритм для аппроксимативно равномерного сферического распределения (например, с точностью представления) единичных векторов на поверхности трехмерной сферы. Ниже будет описан пример такого алгоритма расположения. Иначе говоря, количество единичных векторов можно определить так, чтобы после распределения единичных векторов на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения для каждого из первых единичных векторов направленности в первом множестве существовал по меньшей мере один из единичных векторов, разность направлений которого относительно соответствующего первого единичного вектора направленности была меньше требуемой точности представления. Количество может служить в качестве преобразователя масштаба (т.е. параметра управления) для предварительно определенного алгоритма расположения, т.е. предварительно определенный алгоритм расположения может подходить для расположения любого количества единичных векторов на поверхности трехмерной сферы.

В приведенном выше описании разность направлений может представлять собой, например, угловое расстояние (например, угол). Разность направлений можно задать в выражении подходящей нормы разности направлений (например, нормы разности направлений, зависящей от скалярного произведения связанных единичных векторов направленности).

На этапе S920 второе множество вторых единичных векторов направленности генерируют путем использования предварительно определенного алгоритма расположения для распределения определенного количества единичных векторов на поверхности трехмерной сферы. Как отмечено выше, предварительно определенный алгоритм расположения представляет собой алгоритм для аппроксимативно равномерного сферического распределения единичных векторов на поверхности трехмерной сферы. Вторые единичные векторы направленности могут соответствовать заданным выше единичным векторам направленности. Соответственно, этот этап может относиться к определению (например, на основе вычисления) векторов направленности с использованием предварительно определенного алгоритма расположения под управлением преобразователя масштаба. Предпочтительно мощность второго множества вторых единичных векторов направленности меньше мощности первого множества первых единичных векторов направленности. Это предполагает, что требуемая точность представления меньше точности представления, обеспечиваемой первым множеством первых единичных векторов направленности.

На этапе S930 связанные вторые коэффициенты усиления направленности определяют (например, вычисляют) для вторых единичных векторов направленности на основе первых коэффициентов усиления направленности. Например, определение для второго единичного вектора направленности может быть основано на первых коэффициентах усиления направленности одного или более из группы первых единичных векторов направленности, которые являются ближайшими ко второму единичному вектору направленности. Например, это определение может включать стереографическую проекцию или триангуляцию. В одной частной простой реализации второй коэффициент усиления направленности для данного второго единичного вектора направленности приравнивают к первому коэффициенту усиления направленности, связанному с тем первым единичным вектором направленности, который является ближайшим к данному второму вектору направленности (т.е. тем, который характеризуется наименьшим направленным расстоянием до данного второго вектора направленности). В целом этот этап может относиться к нахождению аппроксимации направленности, заданной в отношении исходных данных , заданных в отношении . Информация о направленности, представленная вторым множеством вторых векторов направленности и связанными вторыми коэффициентами усиления направленности, может быть представлена (например, сохранена) в формате SOFA.

Если способ 900 представляет собой способ кодирования, то он дополнительно включает описанные ниже этапы S940 и S950. В этом случае способ 900 можно выполнить в кодере.

На этапе S940 определенное количество единичных векторов кодируют вместе со вторыми коэффициентами усиления направленности в битовый поток. Это может относиться к кодированию битового потока, содержащего данные и количество . Информация о направленности, представленная вторым множеством вторых векторов направленности и связанными вторыми коэффициентами усиления направленности, может быть представлена (например, сохранена) в формате SOFA.

На этапе S950 битовый поток выводят. Например, битовый поток можно выводить для передачи в декодер или для сохранения на подходящем носителе данных.

Один пример способа 1000 декодирования аудиосодержимого, содержащего (дискретную) информацию о направленности для по меньшей мере одного источника звука (например, аудиообъекта), согласно вариантам осуществления настоящего изобретения изображен в виде блок-схемы на фиг. 10. Способ 1000 можно выполнить в декодере. Аудиосодержимое можно кодировать в битовом потоке, например, с помощью этапов S910-S950 вышеописанного способа 900. Как таковая, информация о направленности может содержать количество (его представление), которое указывает количество аппроксимативно равномерно распределенных единичных векторов на поверхности трехмерной сферы и для каждого такого единичного вектора связанный коэффициент усиления направленности. Связанные коэффициенты усиления направленности могут представлять собой заданные выше вторые коэффициенты усиления направленности (данные ). Можно предположить, что единичные векторы распределены на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения (например, такого же предварительно определенного алгоритма расположения, как используемый для обработки/кодирования аудиосодержимого), при этом предварительно определенный алгоритм расположения представляет собой алгоритм для аппроксимативно равномерного сферического распределения единичных векторов на поверхности трехмерной сферы.

На этапе S1010 принимают битовый поток, содержащий аудиосодержимое.

На этапе S1020 количество и коэффициенты усиления направленности извлекают из битового потока (например, с помощью демультиплексора). Этот этап может относиться к декодированию битового потока, содержащего данные и количество , для получения данных и количества .

На этапе S1030 множество единичных векторов направленности определяют (например, генерируют) путем использования предварительно определенного алгоритма расположения для распределения количества единичных векторов на поверхности трехмерной сферы. Этот этап может быть выполнен таким же образом, как вышеописанный этап S920. Каждый единичный вектор направленности, определенный на этом этапе, содержит связанный с ним коэффициент усиления направленности из коэффициентов усиления направленности, извлеченных из битового потока на этапе S1020. Если предположить, что при обработке/кодировании аудиосодержимого и при декодировании аудиосодержимого используют один и тот же предварительно определенный алгоритм расположения, единичные векторы направленности, сгенерированные на этапе S1030, определяют в таком же порядке, как вторые единичные векторы направленности, сгенерированные на этапе S920. Тогда кодирование вторых коэффициентов усиления направленности в битовый поток в виде упорядоченного множества на этапе S940 обеспечивает на этапе S1030 возможность однозначного присваивания коэффициентов усиления направленности соответствующим из сгенерированных единичных векторов направленности.

На этапе S1040 для данного целевого единичного вектора направленности, ориентированного от источника звука к положению слушателя, целевой коэффициент усиления направленности определяют (например, вычисляют) для целевого единичного вектора направленности на основе связанных коэффициентов усиления направленности единичных векторов направленности. Например, целевой коэффициент усиления направленности можно определить (например, вычислить) на основе связанных коэффициентов усиления направленности одного или более из группы единичных векторов направленности, которые являются ближайшими к целевому единичному вектору направленности.

Например, это определение может включать стереографическую проекцию или триангуляцию. В особенно простой реализации целевой коэффициент усиления направленности для целевого единичного вектора направленности приравнивают к коэффициенту усиления направленности, связанному с тем единичным вектором направленности, который является ближайшим к целевому вектору направленности (т.е. тому, который характеризуется наименьшим направленным расстоянием до целевого вектора направленности). В целом этот этап может относиться к использованию , заданного в отношении , для моделирования направленности аудиоданных.

Альтернативно вышеописанные этапы могут быть по-разному распределены между стороной кодера и стороной декодера. Например, если имеют место обстоятельства, в которых кодер не может выполнить вышеперечисленные операции способа 900 (например, если точность (точность представления) предложенной аппроксимации может быть задана только на стороне декодера), необходимые этапы можно выполнить только на стороне декодера, что, в свою очередь, не будет приводить к уменьшению размера битового потока, но все еще будет обеспечивать преимущество снижения вычислительной сложности на стороне декодера для рендеринга.

Соответствующий пример способа 1100 декодирования аудиосодержимого, содержащего (дискретную) информацию о направленности для по меньшей мере одного источника звука (например, аудиообъекта), согласно вариантам осуществления настоящего изобретения изображен в виде блок-схемы на фиг. 11. Информация о направленности предположительно связана с заданной выше информацией о направленности, т.е. содержит первое множество первых единичных векторов направленности, представляющих направления направленности, и связанные первые коэффициенты усиления направленности. В этом смысле способ 1100, в отличие от способа 1000, принимает аудиосодержимое в качестве входных данных, для которых информация о направленности еще не была оптимизирована с помощью способов согласно настоящему изобретению. Информация о направленности может быть включена в аудиосодержимое в виде части метаданных для источника звука (например, аудиообъекта).

На этапе S1110 принимают битовый поток, содержащий аудиосодержимое. Альтернативно аудиосодержимое может быть получено любыми другими целесообразными средствами, зависящими от случая использования.

На этапе S1120 первое множество единичных векторов направленности и связанные первые коэффициенты усиления направленности извлекают из битового потока (или получают любыми другими целесообразными средствами, зависящими от случая использования). В одном примере векторы направленности и связанные первые коэффициенты усиления направленности могут быть демультиплексированы из битового потока.

На этапе S1130 количество векторов для расположения на поверхности трехмерной сферы определяют в качестве количества отсчетов на основе требуемой точности представления. Этот этап может быть выполнен таким же образом, как вышеописанный этап S910.

На этапе S1140 второе множество вторых единичных векторов направленности генерируют путем использования предварительно определенного алгоритма расположения для распределения определенного количества единичных векторов на поверхности трехмерной сферы. Предварительно определенный алгоритм расположения представляет собой алгоритм для аппроксимативно равномерного сферического распределения единичных векторов на поверхности трехмерной сферы. Этот этап может быть выполнен таким же образом, как вышеописанный этап S920.

На этапе S1150 связанные вторые коэффициенты усиления направленности определяют для вторых единичных векторов направленности на основе первых коэффициентов усиления направленности. Например, связанные вторые коэффициенты усиления направленности можно определить для вторых единичных векторов направленности на основе первых коэффициентах усиления направленности одного или более из группы первых единичных векторов направленности, которые являются ближайшими к соответствующему второму единичному вектору направленности. Таким образом, этап может быть выполнен таким же образом, как вышеописанный этап S930.

На этапе S1160 для данного целевого единичного вектора направленности, ориентированного от источника звука к положению слушателя, целевой коэффициент усиления направленности определяют для целевого единичного вектора направленности на основе вторых коэффициентов усиления направленности. Например, целевой коэффициент усиления направленности можно определить для целевого единичного вектора направленности на основе связанных вторых коэффициентов усиления направленности одного или более из группы вторых единичных векторов направленности, которые являются ближайшими к целевому единичному вектору направленности. Этот этап может быть выполнен таким же образом, как вышеописанный этап S1040.

В особенно простой реализации целевой коэффициент усиления направленности для целевого единичного вектора направленности приравнивают ко второму коэффициенту усиления направленности, связанному с тем вторым единичным вектором направленности, который является ближайшим к целевому вектору направленности (т.е. тому, который характеризуется наименьшим направленным расстоянием до целевого вектора направленности).

Так как может иметь место гибкость, при которой этапы выполняют на стороне кодера и стороне декодера, дополнительно предлагается передавать в декодер то, какие этапы он должен выполнить (или, иначе говоря, какой формат имеют данные направленности). Это может быть просто осуществлено с помощью однобитовой информации, например, с использованием синтаксиса битового потока для передачи представления направленности, который представлен в таблице 1 ниже. Примеры возможной семантики переменных битового потока для передачи представления направленности представлены в таблице 2 ниже.

Таблица 1

Таблица 2

В соответствии с вышесказанным способ декодирования аудиосодержимого согласно вариантам осуществления настоящего изобретения может включать извлечение из битового потока указателя необходимости генерирования второго множества единичных векторов направленности. Дополнительно способ может включать определение количества единичных векторов и генерирование второго множества вторых единичных векторов направленности, (только) если указатель указывает, что необходимо сгенерировать второе множество единичных векторов направленности. Этот указатель может представлять собой 1-битовый флаг, например, заданный выше параметр directivity_type.

С использованием способов согласно настоящему изобретению можно сгенерировать представление дискретных данных направленности, что не требует интерполяции во время рендеринга 6DoF для обеспечения «равномерной чувствительности» при изменении ориентации объекта относительно слушателя. Кроме того, можно добиться низкой битовой скорости передачи данных для передачи представления, так как значимые для восприятия единичные векторы направленности не сохраняют, а вычисляют.

Пример представления дискретных данных направленности источника звука, выполнение которого возможно посредством способов согласно настоящему изобретению, схематически изображен на фиг. 7A, фиг. 7B и фиг. 7C. Это представление следует сравнить с представлением, схематически изображенным на фиг. 1A, фиг. 1B и фиг. 1C. На фиг. 7A представлен трехмерный вид (вторых) единичных векторов 20 направленности, расположенных на поверхности трехмерной сферы. Эти единичные векторы 20 направленности равномерно распределены в пространстве на поверхности трехмерной сферы, что предполагает неравномерное распределение в плоскости азимута и угла возвышения. Это может быть видно на фиг. 7B, где представлен вид сверху трехмерной сферы, на которой расположены единичные векторы 20 направленности. Наконец, на фиг. 7C представлены (вторые) коэффициенты 25 усиления направленности для (вторых) единичных векторов 20 направленности, с помощью которых дается указание диаграммы направленности излучения (или «направленности») источника звука. Огибающая этой диаграммы направленности по существу идентична огибающей диаграммы направленности, представленной на фиг. 1C, и содержит такое же количество значимой психоакустической информации.

На фиг. 8A и фиг. 8B представлены дополнительные примеры сравнения традиционных представлений дискретных данных направленности источника звука с представлениями согласно вариантам осуществления настоящего изобретения для разных количеств единичных векторов направленности (и соответствующих точностей представления ориентации). На фиг. 8A (верхний ряд) изображены традиционные представления , и на фиг. 8B (нижний ряд) изображены представления согласно вариантам осуществления настоящего изобретения. Крайние левые панели относятся к случаю и . Вторые панели слева относятся к случаю и . Третьи панели слева относятся к случаю и . Крайние правые панели относятся к случаю и .

Далее будут описаны конкретные примеры реализации вышеупомянутых этапов способов, представляющих собой способы согласно вариантам осуществления настоящего изобретения.

Для этих конкретных примеров реализации предполагается, что исходное множество дискретных результатов измерения (оценок) направленности акустического источника имеет вид следующего формата диаграммы направленности излучения:

[Уравнение (1)]

где - дискретный угол возвышения и азимутальный угол относительно акустического источника, - общее количество пар углов , . Как отмечено выше, исходное множество дискретных результатов измерения направленности акустического источника может соответствовать первому множеству первых единичных векторов направленности и связанным первым коэффициентам усиления направленности.

С учетом приведенных выше предположений, этап S920 способа 900 (или этап S1140 способа 1100) может быть выполнен следующим образом.

Для вычисления (т.е. генерирования) векторов направленности, аппроксимирующих равномерное распределение направленности в трехмерном пространстве (т.е. положений на трехмерной единичной сфере), можно использовать любой надлежащий способ численной аппроксимации (алгоритм расположения) (см., например, D. P. Hardina, T. Michaelsab, E.B. Saff «A Comparison of Popular Point Configurations on S²» (2016) Dolomites Research Notes on Approximation: Volume 9, Pages 16-49). Тем не менее, в настоящем изобретении предложено без преднамеренного ограничения рассмотрение одного конкретного способа аппроксимации (алгоритма расположения) на основе следующего: Kogan, Jonathan «A New Computationally Efficient Method for Spacing n Points on a Sphere» (2017) Rose-Hulman Undergraduate Mathematics Journal: Volume 18, Issue 2, Article 5. Причины такого выбора включают низкую вычислительную сложность способа и его зависимость от единственного параметра управления, а также отсутствие ограничений в его отношении (для .

Следующее уравнение (например, решаемое в кодере и декодере) задает и позволяет избежать хранения в его явном виде в битовом потоке:

,

[Уравнение (2)]

где координаты вычисляют для каждого параметра , заданного как:

,

[Уравнение (3)]

и где параметры (старт) и (шаг) получают как:

,

[Уравнение (4)]

В более общем выражении предварительно определенный алгоритм расположения может включать наложение спиральной траектории на поверхность трехмерной сферы. Эта спиральная траектория проходит от первой точки на сфере (например, одного из полюсов) до второй точки на сфере (например, другого из полюсов), противоположной первой точке. Тогда предварительно определенный алгоритм расположения может последовательно располагать единичные векторы вдоль спиральной траектории. Пространственное расположение спиральной траектории и смещения (например, ) между соответствующими двумя смежными единичными векторами вдоль спиральной траектории можно определить на основе количества единичных векторов.

Для генерирования векторов направленности можно использовать следующий пример функции MatLab.

function [a, b] = get_P_hat(N)

R = 1/(N-1);

start = R-1;

step = -2*R*start;

for j = 1:N

s = start+(j-1)*step;

a(j) = s*(0,1+1,2*N);

b(j) = pi*0,5*sign(s)*(1-sqrt(1-abs(s)));

end

Для представления векторов в декартовой системе координат можно использовать следующий пример сценария MatLab.

function [x, y, z] = get_P_hat_in_Cartesian_coordinate_system(N)

[a, b] = get_P_hat(N);

X = cos(a).*cos(b);

y = sin(a).*cos(b);

z = sin(b);

С учетом приведенных выше предположений, этап S910 способа 900 (или этап S1130 способа 1100) может быть выполнен следующим образом.

Для вычисления векторов направленности параметр управления необходимо задать на основе значения точности представления ориентации, заданного как:

[Уравнение (5)]

Говоря простым языком, для любого () направления существует по меньшей мере один () индекс , так что соответствующее направление (заданное с помощью способа, например, на этапе S920) отличается от на значение, меньшее или равное точности представления ориентации.

Это схематически изображено на фиг. 3, где максимальное расстояние 310 от ближайшего из единичных векторов 20 направленности, меньше требуемой точности представления. Это можно реализовать путем обеспечения того, что, если предположить, что поверхность трехмерной сферы подразделена на множество ячеек в окрестности соответствующих единичных векторов направленности, причем каждая ячейка включает все те направления, которые находятся ближе к единичному вектору направленности той ячейки, чем к любому другому единичному вектору направленности, разность направлений любого направления на границе ячейки к ближайшему единичному вектору направленности не превышает требуемую точность представления.

Соответственно, значение точности представления (точности представления ориентации) представляет наихудший вариант, схематически изображенный на фиг. 4: диаграмма направленности излучения звука задана как имеющая ненулевое значение для одного единственного направления , а для всех остальных направлений она равна нулю: . В этом случае диаграмма направленности излучения, характеризующаяся точностью представления ориентации (например, выраженной в градусах), представляет собой конус 420 с радиусом 410.

В некоторых реализациях определение количества единичных векторов может включать использование предварительно установленной функциональной зависимости между точностями представления и соответствующими количествами единичных векторов, распределенных на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения и аппроксимирующих направления, указанные первым множеством первых единичных векторов (например, ) направленности, с соответствующей точностью представления.

Такую функциональную зависимость можно получить, например, с помощью метода решения «в лоб» путем многократного распределения разных количеств единичных векторов направленности на поверхности и определения результирующей точности представления, например, способом, изображенным со ссылкой на фиг. 3. Для алгоритма расположения, описанного выше со ссылкой на уравнения (2)-(4), получают зависимость между и , изображенную на графике на фиг. 5 (круглые символы 510). Эту зависимость можно аппроксимировать (непрерывная линия 520 на фиг. 5) с использованием линейной функции:

[Уравнение (6)]

Поэтому в настоящем примере минимальное требуемое количество полуэквидистантно распределенных точек на единичной сфере для достижения требуемой точности представления направленности можно вычислить с помощью функциональной зависимости как:

[Уравнение (7)]

где указывает надлежащую процедуру отображения в ближайшее целое число. Данный способ характеризуется диапазоном эффективности для , и результирующая точность представления ориентации соответствует субъективному порогу чувствительности направленности . На фиг. 6 эта зависимость 610 изображена в двойной логарифмической шкале. Штриховой прямоугольник на этом графике изображает диапазон эффективности для . Смоделированная зависимость между количеством единичных векторов и точностью представления также изображена для выборочных значений в таблице 3 ниже.

Таблица 3

Этап S930 способа 900 (или этап S1150 способа 1100) может быть выполнен следующим образом.

Для получения аппроксимации данных направленности, заданной в отношении (например, связанных вторых коэффициентов усиления направленности) исходных данных , заданных в отношении (например, первого множества первых единичных векторов направленности и связанных первых коэффициентов усиления направленности), можно использовать любой способ аппроксимации (например, стереографическую проекцию). Если эту операцию выполняют на стороне кодера (например, на этапе S930 способа 900) вычислительная сложность не играет основной роли.

С другой стороны, частной простой процедурой для определения аппроксимации данных направленности (например, вторых коэффициентов усиления направленности) является подбор для каждого из единичных векторов направленности (например, вторых единичных векторов направленности) коэффициента усиления направленности (например, первого коэффициента усиления направленности) единичного вектора направленности (например, первого единичного вектора направленности), который характеризуется наименьшей разностью направлений относительно соответствующих единичных векторов направленности. Подбор «ближайшего соседа» единичного вектора направленности может быть выполнен в соответствии с:

,

[Уравнение (8)]

Кодирование битового потока (например, на этапе S940 способа 900) и декодирование битового потока (например, на этапе S1020 способа 1000) могут происходить в соответствии со следующими соображениями.

Генерируемый битовый поток должен содержать кодированное скалярное значение для управления процессом генерирования вектора направленности (например, на этапе S1030 способа 1000) и соответствующее множество коэффициентов усиления направленности.

Имеется два возможных режима передачи данных направленности.

Одним возможным режимом (первым режимом) является кодирование полного множества коэффициентов усиления направленности. В этом случае битовый поток будет содержать полный массив из значений коэффициентов усиления, присвоенных соответствующим направлениям , например, по их порядку в битовом потоке.

Другим возможным режимом (вторым режимом) является кодирование частичного подмножества (subset) в битовый поток, , , . В этом случае битовый поток будет содержать только массив из значений коэффициентов усиления, присвоенных соответствующим направлениям , которые указаны, например, явным индексом , передаваемым в битовом потоке (т.е. путем передачи индексов в подмножестве).

Размеры битовых потоков для обоих возможных режимов можно оценить следующим образом. Для первого режима размер Bs битового потока можно оценить как:

[Уравнение (9)]

Для второго режима размер битового потока можно оценить как:

[Уравнение (10)]

где оператор обозначает объем памяти, необходимой для кодирования значения .

Для достижения лучшей эффективности кодирования битового потока для в некоторых реализациях можно применить способы численной аппроксимации (например, подбора кривой). Одним частным преимуществом настоящего изобретения является возможность применения способов одномерной аппроксимации (так как данные заданы и равномерно распределены на одномерной спиральной траектории . Традиционные представления дискретной информации о направленности с использованием единичных векторов направленности, равномерно распределенных в плоскости азимута и угла возвышения, в этом случае потребовали бы применения способов двумерной аппроксимации и учета граничных условий.

С целью достижения лучшей эффективности кодирования битового потока для в некоторых реализациях определение количества единичных векторов может включать отображение количества единичных векторов в одно из множества предварительно определенных количеств, например, путем округления до ближайшего из множества предварительно определенных количеств. Предварительно определенные количества можно передать в декодер с помощью параметра битового потока (например, параметра битового потока directivity_precision). В этом случае может иметь место соглашение между стороной кодера и стороной декодера в отношении зависимости между значениями параметра битового потока и соответствующими из предварительно определенных количеств. Это соглашение можно установить, например, путем хранения одинаковых справочных таблиц на стороне кодера и стороне декодера.

Иначе говоря, с целью достижения лучшей эффективности кодирования битового потока может рекомендоваться использование предварительно выбранных установок для , что приводит к оптимальным двоичному представлению (например, = 2 битов) и точности .

Таблица 4

Пример синтаксиса битового потока для передачи размера направленности представлен в таблице 5 ниже.

Таблица 5

Пример возможной семантики переменных битового потока для передачи размера направленности представлен в таблице 6 ниже.

Таблица 6

Моделирование направленности аудиоданных (например, на этапе S1040 способа 1000 или этапе S1160 способа 1100) при рендеринге 6DoF может быть выполнено следующим образом.

Для каждого данного относительного направления от объекта к слушателю (целевого вектора направленности) индекс , соответствующий ближайшему вектору направленности, определяют как:

[Уравнение (11)]

Затем соответствующий коэффициент усиления направленности применяют для этого сигнала объекта для рендеринга источника звука в положение слушателя.

Следует отметить, что диаграмма направленности излучения источника звука предположительно для удобства обозначений и представлений является широкополосной, постоянной и охватывающей все пространство . Однако настоящее изобретение аналогично применимо к диаграммам направленности излучения, зависящим от спектральной частоты (например, путем выполнения предложенных способов по полосам). Кроме того, настоящее изобретение аналогично применимо к диаграммам направленности излучения, зависящим от времени, и к диаграммам направленности излучения, содержащим произвольные подмножества направлений.

Следует дополнительно отметить, что концепции и схемы, описанные в настоящем описании, могут быть заданы переменным по частоте или во времени образом, могут применяться непосредственно в спектральной или временной области, могут быть заданы или глобально, или зависящим от объекта образом, могут являться жестко закодированными в устройстве рендеринга аудиоданных или могут быть заданы посредством соответствующего входного интерфейса.

Способы и системы, описанные в настоящем документе, могут быть реализованы как программное обеспечение, аппаратно-программное обеспечение и/или аппаратное обеспечение. Некоторые компоненты могут быть реализованы в виде программного обеспечения, выполняемого процессором цифровой обработки сигналов или микропроцессором. Другие компоненты могут быть реализованы в виде аппаратного обеспечения или в виде специализированных интегральных микросхем. Сигналы, которые встречаются в описанных способах и системах, могут храниться на носителях, таких как оперативное запоминающее устройство или оптические носители информации. Они могут передаваться по сетям, таким как радиосети, спутниковые сети, беспроводные сети или проводные сети, например, Интернет. Типичными устройствами, использующими способы и системы, описанные в настоящем документе, являются переносные электронные устройства или другая бытовая аппаратура, которая используется для хранения и/или рендеринга аудиосигналов.

На фиг. 12 схематически изображен пример устройства 1200 (например, кодера) для кодирования аудиосодержимого согласно вариантам осуществления настоящего изобретения. Устройство 1200 может содержать систему 1210 интерфейсов и систему 1220 управления. Система 1210 интерфейсов может содержать один или более сетевых интерфейсов, один или более интерфейсов между системой управления и системой запоминающих устройств, один или более интерфейсов между системой управления и другим устройством и/или один или более интерфейсов для внешних устройств. Система 1220 управления может содержать по меньшей мере одно из одно- или многокристального процессора общего назначения, процессора цифровой обработки сигналов (DSP), интегральной схемы специального назначения (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства, схемы на дискретных компонентах, или транзисторной логической схемы, или компонентов дискретного аппаратного обеспечения. Соответственно, в некоторых реализациях система 1220 управления может содержать один или более процессоров и один или более постоянных носителей данных, функционально соединенных с одним или более процессорами.

Согласно некоторым таким примерам система 1220 управления может быть выполнена с возможностью приема посредством системы 120 интерфейсов аудиосодержимого, подлежащего обработке/кодированию. Система 1220 управления может быть дополнительно выполнена с возможностью определения, в качестве количества отсчетов, количества единичных векторов для расположения на поверхности трехмерной сферы на основе требуемой точности представления (например, как на вышеописанном этапе S910), с возможностью генерирования второго множества вторых единичных векторов направленности путем использования предварительно определенного алгоритма расположения для распределения определенного количества единичных векторов на поверхности трехмерной сферы, при этом предварительно определенный алгоритм расположения представляет собой алгоритм для аппроксимативно равномерного сферического распределения единичных векторов на поверхности трехмерной сферы (например, как на вышеописанном этапе S920), с возможностью определения, для вторых единичных векторов направленности, связанных вторых коэффициентов усиления направленности на основе первых коэффициентов усиления направленности одного или более из группы первых единичных векторов направленности, которые являются ближайшими к соответствующему второму единичному вектору направленности (например, как на вышеописанном этапе S930), и с возможностью кодирования определенного количества вместе со вторыми коэффициентами усиления направленности в битовый поток (например, как на вышеописанном этапе S940). Система 1220 управления может быть дополнительно выполнена с возможностью вывода с помощью системы интерфейсов битового потока (например, как на вышеописанном этапе S950).

На фиг. 13 схематически изображен пример устройства 1300 (например, декодера) для декодирования аудиосодержимого согласно вариантам осуществления настоящего изобретения. Устройство 1300 может содержать систему 1310 интерфейсов и систему 1320 управления. Система 1310 интерфейсов может содержать один или более сетевых интерфейсов, один или более интерфейсов между системой управления и системой запоминающих устройств, один или более интерфейсов между системой управления и другим устройством и/или один или более интерфейсов для внешних устройств. Система 1320 управления может содержать по меньшей мере одно из одно- или многокристального процессора общего назначения, процессора цифровой обработки сигналов (DSP), интегральной схемы специального назначения (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства, схемы на дискретных компонентах, или транзисторной логической схемы, или компонентов дискретного аппаратного обеспечения. Соответственно, в некоторых реализациях система 1320 управления может содержать один или более процессоров и один или более постоянных носителей данных, функционально соединенных с одним или более процессорами.

Согласно некоторым таким примерам система 1320 управления может быть выполнена с возможностью приема посредством системы 1310 интерфейсов битового потока, содержащего аудиосодержимое. Система 1320 управления может быть дополнительно выполнена с возможностью извлечения количества и коэффициентов усиления направленности из битового потока (например, как на вышеописанном этапе S1010), с возможностью генерирования множества единичных векторов направленности путем использования предварительно определенного алгоритма расположения для распределения количества единичных векторов на поверхности трехмерной сферы (например, как на вышеописанном этапе S1020) и с возможностью определения для данного целевого единичного вектора направленности, ориентированного от источника звука к положению слушателя, целевого коэффициента усиления направленности для целевого единичного вектора направленности на основе связанных коэффициентов усиления направленности одного или более из группы единичных векторов направленности, которые являются ближайшими к целевому единичному вектору направленности (например, как на вышеописанном этапе S1030).

Согласно некоторым таким примерам система 1320 управления также может быть выполнена с возможностью приема посредством системы 1310 интерфейсов битового потока, содержащего аудиосодержимое (например, как на вышеописанном этапе S1110). Система 1320 управления может быть дополнительно выполнена с возможностью извлечения первого множества векторов направленности и связанных первых коэффициентов усиления направленности из битового потока (например, как на вышеописанном этапе S1120), с возможностью определения, в качестве количества отсчетов, количества векторов для расположения на поверхности трехмерной сферы на основе требуемой точности представления (например, как на вышеописанном этапе S1130), с возможностью генерирования второго множества вторых единичных векторов направленности путем использования предварительно определенного алгоритма расположения для распределения определенного количества единичных векторов на поверхности трехмерной сферы, при этом предварительно определенный алгоритм расположения представляет собой алгоритм для аппроксимативно равномерного сферического распределения единичных векторов на поверхности трехмерной сферы (например, как на вышеописанном этапе S1140), с возможностью определения, для вторых единичных векторов направленности, связанных вторых коэффициентов усиления направленности на основе первых коэффициентов усиления направленности одного или более из группы первых единичных векторов направленности, которые являются ближайшими к соответствующему второму единичному вектору направленности (например, как на вышеописанном этапе S1150), и с возможностью определения для данного целевого единичного вектора направленности, ориентированного от источника звука к положению слушателя, целевого коэффициента усиления направленности для целевого единичного вектора направленности на основе связанных вторых коэффициентов усиления направленности одного или более из группы вторых единичных векторов направленности, которые являются ближайшими к целевому единичному вектору направленности (например, как на вышеописанном этапе S1160).

В некоторых примерах каждое или оба из вышеописанных устройств 1200 и 1300 могут быть реализованы в одном устройстве. Однако в некоторых реализациях устройство может быть реализовано в более чем одном устройстве. В некоторых таких реализациях функциональные возможности системы управления могут быть заключены в более чем одном устройстве. В некоторых примерах устройство может представлять собой компонент другого устройства.

Если прямо не обусловлено обратное, как очевидно из следующих обсуждений, следует понимать, что во всем настоящем описании обсуждения, в которых используются такие термины, как «обработка», «вычисление», «расчет», «определение», «анализ» или т.п., относятся к действию и/или процессам компьютера, или вычислительной системы, или аналогичных электронных вычислительных устройств, которые совершают манипуляции и/или преобразование данных, представленных в виде физических, например, электронных, величин, в другие данные, аналогично представленные в виде физических величин.

Сходным образом, термин «процессор» может относиться к любому устройству или части устройства, которая обрабатывает электронные данные, например, из регистров и/или запоминающего устройства, с целью преобразования этих электронных данных в другие электронные данные, которые, например, могут храниться в регистрах и/или в запоминающем устройстве. «Компьютер», или «вычислительная машина», или «вычислительная платформа» может содержать один или более процессоров.

Методологии, описанные в настоящем документе, в одном примерном варианте осуществления приспособлены для выполнения одним или более процессорами, принимающими читаемый компьютером (также называемый машиночитаемым) код, содержащий набор команд, которые при исполнении одним или более процессорами осуществляют по меньшей мере один из способов, описанных в настоящем документе. Включен любой процессор, приспособленный для (последовательного или иного) исполнения набора команд, которые определяют предпринимаемые действия. Так, одним из примеров является типичная система обработки, которая содержит один или более процессоров. Каждый процессор может содержать одно или более из CPU (центрального процессора), графического процессора и программируемого блока DSP. Система обработки может дополнительно содержать подсистему запоминающих устройств, содержащую основное RAM (оперативное запоминающее устройство), и/или статическое RAM, и/или ROM (постоянное запоминающее устройство). Для обеспечения связи между компонентами может быть включена подсистема шин. Система обработки дополнительно может представлять собой распределенную систему обработки с процессорами, связанными посредством сети. Если для системы обработки требуется дисплей, такой дисплей может включать, например, жидкокристаллический дисплей (LCD) или дисплей с катодно-лучевой трубкой (CRT). Если требуется ввод данных вручную, система обработки также содержит устройство ввода, такое как одно или более из буквенно-цифрового блока ввода, такого как клавиатура, координатно-указательного устройства, такого как мышь, и т.д. Термин «система обработки» может также охватывать систему хранения данных, такую как блок дисковода. Система обработки в некоторых конфигурациях может содержать устройство вывода звука и устройство сетевого интерфейса. Таким образом, подсистема запоминающих устройств содержит машиночитаемый носитель данных, несущий машиночитаемый код (например, программное обеспечение), который содержит набор команд для предписания выполнить при исполнении одним или более процессорами один или более способов, описанных в настоящем документе. Следует отметить, что если способ включает несколько элементов, например, несколько этапов, то, если это не обусловлено в явном виде, какое-либо упорядочение этих элементов не подразумевается. Программное обеспечение в ходе его исполнения компьютерной системой может постоянно храниться на жестком диске, а также может постоянно храниться, полностью или по меньшей мере частично, в RAM и/или процессоре. Таким образом, запоминающее устройство и процессор также составляют машиночитаемый носитель данных, несущий машиночитаемый код. Кроме того, машиночитаемый носитель данных может образовывать компьютерный программный продукт или может содержаться в нем.

В альтернативных примерных вариантах осуществления один или более процессоров действуют как автономное устройство или могут соединяться, например, посредством сети, с другим процессором (процессорами) в объединенную в сеть развернутую систему, причем один или более процессоров могут функционировать в качестве машины-сервера или машины-клиента в сетевой среде типа клиент-сервер или в качестве машины-пира - в пиринговой или распределенной сетевой среде. Один или более процессоров могут образовывать персональный компьютер (РС), планшетный РС, персональный цифровой помощник (PDA), сотовый телефон, устройство Web-интерфейса, сетевой маршрутизатор, коммутатор, или мост, или любую машину, способную исполнять набор команд (последовательный или другой), которые задают действия, которые должны предприниматься этой машиной.

Следует отметить, что термин «машина» следует воспринимать как включающий любой набор машин, которые вместе или по отдельности исполняют набор (или несколько наборов) команд с целью выполнения любой одной или более методологий, описанных в настоящем документе.

Таким образом, один примерный вариант осуществления каждого из способов, описанных в настоящем документе, имеет форму машиночитаемого носителя данных, несущего набор команд, например, компьютерную программу, которая предназначена для исполнения на одном или более процессорах, например, на одном или более процессорах, которые составляют часть компоновки Web-сервера. Поэтому, как должны понимать специалисты в данной области, примерные варианты осуществления настоящего изобретения могут осуществляться в виде способа, устройства, такого как устройство специального назначения, устройства, такого как система обработки данных, или машиночитаемого носителя данных, например, компьютерного программного продукта. Машиночитаемый носитель данных несет машиночитаемый код, содержащий набор команд, которые при исполнении на одном или более процессорах предписывают процессору или процессорам реализовать способ. Соответственно, аспекты настоящего изобретения могут принимать форму способа, полностью аппаратного примерного варианта осуществления, полностью программного примерного варианта осуществления или примерного варианта осуществления, сочетающего аспекты программного и аппаратного обеспечения. Кроме того, настоящее изобретение может принимать форму носителя данных (например, компьютерного программного продукта на машиночитаемом носителе данных), несущего машиночитаемый программный код, реализованный на носителе.

Программное обеспечение может дополнительно передаваться или приниматься по сети с помощью устройства сетевого интерфейса. Несмотря на то что носитель данных в примерном варианте осуществления представляет собой единственный носитель данных, термин «носитель данных» следует воспринимать как включающий единственный носитель данных или множество носителей данных (например, централизованную или распределенную базу данных и/или связанные устройства кэш-памяти и сервера), которые хранят один или более наборов команд. Термин «носитель данных» также следует воспринимать как включающий любой носитель данных, приспособленный для хранения, кодирования или переноса набора команд, предназначенных для исполнения одним или более процессорами и предписывающих одному или более процессорам выполнить одну или более методологий настоящего изобретения. Носитель данных может принимать множество форм, включая в качестве неограничивающих примеров энергонезависимые носители данных, энергозависимые носители данных и среды передачи данных. Энергонезависимые носители данных включают, например, оптические, магнитные диски и магнитооптические диски. Энергозависимые носители данных включают динамическое запоминающее устройство, такое как основное запоминающее устройство. Среды передачи данных включают коаксиальные кабели, медный провод и оптоволоконные кабели, включая провода, которые содержат подсистему шин. Среды передачи данных могут также принимать форму акустических или световых волн, таких как волны, которые генерируются во время радиоволновой и инфракрасной передач данных. Например, термин «носитель данных» следует, соответственно, воспринимать как включающий, но без ограничения, твердотельные запоминающие устройства, компьютерный продукт, реализованный на оптическом и магнитном носителях; среду, переносящую распространяющийся сигнал, обнаруживаемый по меньшей мере одним процессором или одним или более процессорами и представляющий собой набор команд, которые при исполнении реализуют способ; и среду передачи данных в сети, переносящую распространяющийся сигнал, обнаруживаемый по меньшей мере одним процессором из одного или более процессоров и представляющий собой набор команд.

Следует понимать, что обсужденные этапы способов выполняются в одном примерном варианте осуществления надлежащим процессором (или процессорами) системы обработки (например, компьютерной системы), исполняющей команды (машиночитаемый код), хранящиеся в хранилище данных. Также следует понимать, что настоящее изобретение не ограничивается какой-либо конкретной реализацией или программным техническим решением, и что настоящее изобретение можно реализовать с использованием любых надлежащих технических решений для реализации функциональных возможностей, описанных в настоящем документе. Настоящее изобретение не ограничивается каким-либо конкретным языком программирования или операционной системой.

Отсылка в данном описании к «одному примерному варианту осуществления», «некоторым примерным вариантам осуществления» или «примерному варианту осуществления» означает, что конкретные признак, конструкция или характеристика, описанные в связи с примерным вариантом осуществления, включены в по меньшей мере один примерный вариант осуществления настоящего изобретения. Поэтому появления фраз «в одном примерном варианте осуществления», «в некоторых примерных вариантах осуществления» или «в примерном варианте осуществления» в различных местах данного описания не обязательно относятся к одному и тому же примерному варианту осуществления. Кроме того, конкретные признаки, конструкции или характеристики могут комбинироваться в одном или более примерных вариантах осуществления любым подходящим образом, что должно быть очевидно из данного описания для специалиста в данной области техники.

В контексте настоящего документа использование порядковых числительных «первый», «второй», «третий» и т.д. для описания обычного объекта указывает единственно на то, что производится отсылка к различным примерам сходных объектов, и они не предназначены для обозначения того, что объекты, описанные таким образом, должны находиться в данной последовательности во времени, в пространстве, по рангу или любым иным образом.

В приведенной ниже формуле изобретения и в настоящем описании любой из терминов «содержащий», «состоящий из» или «который содержит» является неограничивающим термином, что означает включение по меньшей мере следующих за ним элементов/признаков, но не исключение остальных. Поэтому термин «содержащий» при его использовании в формуле изобретения не следует интерпретировать как ограничивающий в отношении средств, или элементов, или этапов, перечисляемых после него. Например, объем выражения «устройство, содержащее А и В» не следует ограничивать устройствами, содержащими только элементы А и В. Любой из используемых в настоящем документе терминов «включающий» или «который включает» также представляет собой неограничивающий термин, который также означает включение по меньшей мере элементов/признаков, следующих за этим термином, но не исключение остальных. Таким образом, «включающий» является синонимом и означает «содержащий».

Следует понимать, что в приведенном выше описании примерных вариантов осуществления настоящего изобретения различные признаки настоящего изобретения иногда группируются вместе в один примерный вариант осуществления, фигуру или их описание с целью выбора оптимального пути описания и для обеспечения понимания одного или более различных аспектов изобретения. Такой способ раскрытия, однако, не следует интерпретировать как отражающий намерение того, что формула изобретения требует большего количества признаков, чем те, которые в прямой форме перечислены в каждом пункте формулы изобретения. Вместо этого, как отражает нижеследующая формула изобретения, аспекты изобретения заключаются менее чем во всех признаках одного вышеописанного примерного варианта осуществления. Поэтому формула изобретения, следующая за разделом «Описание», таким образом безоговорочно включена в этот раздел «Описание», причем каждый пункт формулы изобретения самостоятельно представляет собой отдельный примерный вариант осуществления настоящего изобретения.

Кроме того, несмотря на то, что некоторые примерные варианты осуществления, описанные в настоящем документе, включают одни, а не другие признаки, включенные в другие примерные варианты осуществления, комбинации признаков из различных примерных вариантов осуществления подразумеваются как находящиеся в пределах объема настоящего изобретения и образующие другие примерные варианты осуществления, как должно быть понятно специалистам в данной области техники. Например, в нижеследующей формуле изобретения любые заявленные примерные варианты осуществления могут применяться в любой комбинации.

В приведенном в настоящем документе описании изложено множество конкретных деталей. Однако следует понимать, что примерные варианты осуществления настоящего изобретения могут применяться на практике без этих конкретных деталей. В других случаях хорошо известные способы, конструкции и технологии подробно не показаны для того, чтобы не затруднять понимание данного описания.

Таким образом, в то время как здесь описано то, что рассматривается как лучшие варианты осуществления настоящего изобретения, специалистам в данной области будет понятно, что в них могут вноситься другие и дополнительные модификации без отступления от идеи настоящего изобретения, и подразумевается, что все указанные изменения и модификации заявляются как находящиеся в пределах объема настоящего изобретения. Например, любые приведенные выше формулы являются только примерами процедур, которые могут использоваться. Функциональные возможности могут добавляться к структурным схемам или исключаться из них, а операции могут быть подвержены взаимному обмену между функциональными блоками. Этапы могут добавляться к способам или исключаться из способов, описанных в пределах объема настоящего изобретения.

Различные аспекты настоящего изобретения можно понять из следующих пронумерованных примерных вариантов осуществления (EEE).

1. Способ обработки аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука, причем информация о направленности содержит первое множество первых единичных векторов направленности, представляющих направления направленности, и связанные первые коэффициенты усиления направленности, причем способ включает:

определение, в качестве количества отсчетов, количества единичных векторов для расположения на поверхности трехмерной сферы, при этом количество единичных векторов относится к требуемой точности представления;

генерирование второго множества вторых единичных векторов направленности путем использования предварительно определенного алгоритма расположения для распределения определенного количества единичных векторов на поверхности трехмерной сферы, при этом предварительно определенный алгоритм расположения представляет собой алгоритм для аппроксимативно равномерного сферического распределения единичных векторов на поверхности трехмерной сферы; и

определение, для вторых единичных векторов направленности, связанных вторых коэффициентов усиления направленности на основе первых коэффициентов усиления направленности одного или более из группы первых единичных векторов направленности, которые являются ближайшими к соответствующему второму единичному вектору направленности.

2. Способ согласно EEE 1, в котором количество единичных векторов определяют так, чтобы единичные векторы при распределении на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения аппроксимировали направления, указанные первым множеством первых единичных векторов направленности, с требуемой точностью представления.

3. Способ согласно EEE 1 или 2, в котором количество единичных векторов определяют так, чтобы после распределения единичных векторов на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения для каждого из первых единичных векторов направленности в первом множестве существовал по меньшей мере один из единичных векторов, разность направлений которого относительно соответствующего первого единичного вектора направленности меньше требуемой точности представления.

4. Способ согласно любому из предыдущих EEE, в котором определение количества единичных векторов включает использование предварительно установленной функциональной зависимости между точностями представления и соответствующими количествами единичных векторов, распределенных на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения и аппроксимирующих направления, указанные первым множеством первых единичных векторов направленности, с соответствующей точностью представления.

5. Способ согласно любому из предыдущих EEE, в котором определение связанного второго коэффициента усиления направленности для данного второго единичного вектора направленности включает:

приравнивание второго коэффициента усиления направленности к первому коэффициенту усиления направленности, связанному с тем первым единичным вектором направленности, который является ближайшим к данному второму единичному вектору направленности.

6. Способ согласно любому из предыдущих EEE, в котором предварительно определенный алгоритм расположения включает наложение на поверхность трехмерной сферы спиральной траектории, проходящей от первой точки на сфере до второй точки на сфере, противоположной первой точке, и последовательное расположение единичных векторов вдоль спиральной траектории,

при этом пространственное расположение спиральной траектории и смещения между соответствующими двумя смежными единичными векторами вдоль спиральной траектории определяют на основе количества единичных векторов.

7. Способ согласно любому из предыдущих EEE, в котором определение количества единичных векторов дополнительно включает отображение количества единичных векторов в одно из предварительно определенных количеств, при этом предварительно определенные количества могут быть переданы с помощью параметра битового потока.

8. Способ согласно любому из предыдущих EEE, в котором требуемую точность представления определяют на основе модели порогов чувствительности направленности восприятия слушателя.

9. Способ согласно любому из предыдущих EEE, в котором мощность второго множества вторых единичных векторов направленности меньше мощности первого множества первых единичных векторов направленности.

10. Способ согласно любому из предыдущих EEE, в котором первый и второй единичные векторы направленности выражают в сферической или декартовой системе координат.

11. Способ согласно любому из предыдущих EEE, в котором информацию о направленности, представленную первым множеством первых единичных векторов направленности и связанными первыми коэффициентами усиления направленности, сохраняют в формате SOFA; и/или

при этом информацию о направленности, представленную вторым множеством первых единичных векторов направленности и связанными вторыми коэффициентами усиления направленности, сохраняют в формате SOFA.

12. Способ согласно любому из предыдущих EEE, в котором способ представляет собой способ кодирования аудиосодержимого и дополнительно включает:

кодирование определенного количества единичных векторов вместе со вторыми коэффициентами усиления направленности в битовый поток; и

вывод битового потока.

13. Способ декодирования аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука, причем информация о направленности содержит количество, которое указывает количество аппроксимативно равномерно распределенных единичных векторов на поверхности трехмерной сферы и для каждого такого единичного вектора связанный коэффициент усиления направленности, при этом единичные векторы предположительно распределяют на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения, при этом предварительно определенный алгоритм расположения представляет собой алгоритм для аппроксимативно равномерного сферического распределения единичных векторов на поверхности трехмерной сферы, причем способ включает:

прием битового потока, содержащего аудиосодержимое;

извлечение количества и коэффициентов усиления направленности из битового потока; и

генерирование множества единичных векторов направленности путем использования предварительно определенного алгоритма расположения для распределения количества единичных векторов на поверхности трехмерной сферы.

14. Способ согласно предыдущему EEE, дополнительно включающий следующее:

для данного целевого единичного вектора направленности, ориентированного от источника звука к положению слушателя, определение целевого коэффициента усиления направленности для целевого единичного вектора направленности на основе связанных коэффициентов усиления направленности одного или более из группы единичных векторов направленности, которые являются ближайшими к целевому единичному вектору направленности.

15. Способ согласно предыдущему EEE, в котором определение целевого коэффициента усиления направленности для целевого единичного вектора направленности включает:

приравнивание целевого коэффициента усиления направленности к коэффициенту усиления направленности, связанному с тем единичным вектором направленности, который является ближайшим к целевому единичному вектору направленности.

16. Способ декодирования аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука, причем информация о направленности содержит первое множество первых единичных векторов направленности, представляющих направления направленности, и связанные первые коэффициенты усиления направленности, причем способ включает:

прием битового потока, содержащего аудиосодержимое;

извлечение первого множества единичных векторов направленности и связанных первых коэффициентов усиления направленности из битового потока;

определение, в качестве количества отсчетов, количества векторов для расположения на поверхности трехмерной сферы, при этом количество единичных векторов относится к требуемой точности представления;

генерирование второго множества вторых единичных векторов направленности путем использования предварительно определенного алгоритма расположения для распределения определенного количества единичных векторов на поверхности трехмерной сферы, при этом предварительно определенный алгоритм расположения представляет собой алгоритм для аппроксимативно равномерного сферического распределения единичных векторов на поверхности трехмерной сферы;

определение, для вторых единичных векторов направленности, связанных вторых коэффициентов усиления направленности на основе первых коэффициентов усиления направленности одного или более из группы первых единичных векторов направленности, которые являются ближайшими к соответствующему второму единичному вектору направленности; и

для данного целевого единичного вектора направленности, ориентированного от источника звука к положению слушателя, определение целевого коэффициента усиления направленности для целевого единичного вектора направленности на основе связанных вторых коэффициентов усиления направленности одного или более из группы вторых единичных векторов направленности, которые являются ближайшими к целевому единичному вектору направленности.

17. Способ согласно EEE 16, в котором определение целевого коэффициента усиления направленности для целевого единичного вектора направленности включает:

приравнивание целевого коэффициента усиления направленности ко второму коэффициенту усиления направленности, связанному с тем вторым единичным вектором направленности, который является ближайшим к целевому единичному вектору направленности.

18. Способ согласно EEE 16, дополнительно включающий:

извлечение из битового потока указателя необходимости генерирования второго множества единичных векторов направленности; и

определение количества единичных векторов и генерирование второго множества вторых единичных векторов направленности, если указатель указывает, что необходимо сгенерировать второе множество единичных векторов направленности.

19. Устройство для обработки аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука, причем информация о направленности содержит первое множество первых единичных векторов направленности, представляющих направления направленности, и связанные первые коэффициенты усиления направленности, причем устройство содержит процессор, приспособленный для выполнения этапов способа согласно любому из EEE 1-12.

20. Устройство для декодирования аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука, причем информация о направленности содержит количество, которое указывает количество аппроксимативно равномерно распределенных единичных векторов на поверхности трехмерной сферы и для каждого такого единичного вектора связанный коэффициент усиления направленности, при этом единичные векторы предположительно распределены на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения, при этом предварительно определенный алгоритм расположения представляет собой алгоритм для аппроксимативно равномерного сферического распределения единичных векторов на поверхности трехмерной сферы, причем устройство содержит процессор, приспособленный для выполнения этапов способа согласно любому из EEE 13-15.

21. Устройство для декодирования аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука, причем информация о направленности содержит первое множество первых единичных векторов направленности, представляющих направления направленности, и связанные первые коэффициенты усиления направленности, причем устройство содержит процессор, приспособленный для выполнения этапов способа согласно любому из EEE 16-18.

22. Компьютерная программа, содержащая команды, которые при исполнении процессором предписывают процессору выполнить способ согласно любому из EEE 1-18.

23. Машиночитаемый носитель данных, на котором хранится компьютерная программа согласно EEE 22.

Claims (44)

1. Способ обработки аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука, причем информация о направленности содержит первое множество первых единичных векторов направленности, представляющих направления направленности, и связанные первые коэффициенты усиления направленности, причем способ включает:

определение, в качестве количества отсчетов, количества единичных векторов для расположения на поверхности трехмерной сферы, при этом количество единичных векторов относится к требуемой точности представления;

генерирование второго множества вторых единичных векторов направленности путем использования предварительно определенного алгоритма расположения для распределения определенного количества единичных векторов на поверхности трехмерной сферы, при этом предварительно определенный алгоритм расположения представляет собой алгоритм для аппроксимативно равномерного сферического распределения единичных векторов на поверхности трехмерной сферы; и

определение, для вторых единичных векторов направленности, связанных вторых коэффициентов усиления направленности на основе первых коэффициентов усиления направленности одного или более из группы первых единичных векторов направленности, которые являются ближайшими к соответствующему второму единичному вектору направленности.

2. Способ по п. 1,

отличающийся тем, что количество единичных векторов определяют так, чтобы единичные векторы при распределении на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения аппроксимировали направления, указанные первым множеством первых единичных векторов направленности, с требуемой точностью представления; и/или

при этом количество единичных векторов определяют так, чтобы после распределения единичных векторов на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения для каждого из первых единичных векторов направленности в первом множестве существовал по меньшей мере один из единичных векторов, разность направлений которого относительно соответствующего первого единичного вектора направленности меньше требуемой точности представления.

3. Способ по любому из предыдущих пунктов, отличающийся тем, что определение количества единичных векторов включает использование предварительно установленной функциональной зависимости между точностями представления и соответствующими количествами единичных векторов, распределенных на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения и аппроксимирующих направления, указанные первым множеством первых единичных векторов направленности, с соответствующей точностью представления.

4. Способ по любому из предыдущих пунктов, отличающийся тем, что определение связанного второго коэффициента усиления направленности для данного второго единичного вектора направленности включает:

приравнивание второго коэффициента усиления направленности к первому коэффициенту усиления направленности, связанному с тем первым единичным вектором направленности, который является ближайшим к данному второму единичному вектору направленности.

5. Способ по любому из предыдущих пунктов, отличающийся тем, что предварительно определенный алгоритм расположения включает наложение на поверхность трехмерной сферы спиральной траектории, проходящей от первой точки на сфере до второй точки на сфере, противоположной первой точке, и последовательное расположение единичных векторов вдоль спиральной траектории,

при этом пространственное расположение спиральной траектории и смещения между соответствующими двумя смежными единичными векторами вдоль спиральной траектории определяют на основе количества единичных векторов.

6. Способ по любому из предыдущих пунктов, отличающийся тем, что определение количества единичных векторов дополнительно включает отображение количества единичных векторов в одно из предварительно определенных количеств, при этом предварительно определенные количества могут быть переданы с помощью параметра битового потока.

7. Способ по любому из предыдущих пунктов, отличающийся тем, что требуемую точность представления определяют на основе модели порогов чувствительности направленности восприятия слушателя.

8. Способ по любому из предыдущих пунктов, отличающийся тем, что мощность второго множества вторых единичных векторов направленности меньше мощности первого множества первых единичных векторов направленности.

9. Способ по любому из предыдущих пунктов, отличающийся тем, что первый и второй единичные векторы направленности выражают в сферической или декартовой системе координат.

10. Способ по любому из предыдущих пунктов, отличающийся тем, что информацию о направленности, представленную первым множеством первых единичных векторов направленности и связанными первыми коэффициентами усиления направленности, сохраняют в формате SOFA; и/или

при этом информацию о направленности, представленную вторым множеством первых единичных векторов направленности и связанными вторыми коэффициентами усиления направленности, сохраняют в формате SOFA.

11. Способ по любому из предыдущих пунктов, отличающийся тем, что способ представляет собой способ кодирования аудиосодержимого и дополнительно включает:

кодирование определенного количества единичных векторов вместе со вторыми коэффициентами усиления направленности в битовый поток; и

вывод битового потока.

12. Способ декодирования аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука, причем информация о направленности содержит количество, которое указывает количество аппроксимативно равномерно распределенных единичных векторов на поверхности трехмерной сферы и для каждого такого единичного вектора связанный коэффициент усиления направленности, при этом единичные векторы предположительно распределяют на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения, при этом предварительно определенный алгоритм расположения представляет собой алгоритм для аппроксимативно равномерного сферического распределения единичных векторов на поверхности трехмерной сферы, причем способ включает:

прием битового потока, содержащего аудиосодержимое;

извлечение количества и коэффициентов усиления направленности из битового потока; и

генерирование множества единичных векторов направленности путем использования предварительно определенного алгоритма расположения для распределения количества единичных векторов на поверхности трехмерной сферы.

13. Способ по предыдущему пункту, отличающийся тем, что дополнительно включает:

для данного целевого единичного вектора направленности, ориентированного от источника звука к положению слушателя, определение целевого коэффициента усиления направленности для целевого единичного вектора направленности на основе связанных коэффициентов усиления направленности одного или более из группы единичных векторов направленности, которые являются ближайшими к целевому единичному вектору направленности.

14. Способ декодирования аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука, причем информация о направленности содержит первое множество первых единичных векторов направленности, представляющих направления направленности, и связанные первые коэффициенты усиления направленности, причем способ включает:

прием битового потока, содержащего аудиосодержимое;

извлечение первого множества единичных векторов направленности и связанных первых коэффициентов усиления направленности из битового потока;

определение, в качестве количества отсчетов, количества векторов для расположения на поверхности трехмерной сферы, при этом количество единичных векторов относится к требуемой точности представления;

генерирование второго множества вторых единичных векторов направленности путем использования предварительно определенного алгоритма расположения для распределения определенного количества единичных векторов на поверхности трехмерной сферы, при этом предварительно определенный алгоритм расположения представляет собой алгоритм для аппроксимативно равномерного сферического распределения единичных векторов на поверхности трехмерной сферы;

определение, для вторых единичных векторов направленности, связанных вторых коэффициентов усиления направленности на основе первых коэффициентов усиления направленности одного или более из группы первых единичных векторов направленности, которые являются ближайшими к соответствующему второму единичному вектору направленности; и

для данного целевого единичного вектора направленности, ориентированного от источника звука к положению слушателя, определение целевого коэффициента усиления направленности для целевого единичного вектора направленности на основе связанных вторых коэффициентов усиления направленности одного или более из группы вторых единичных векторов направленности, которые являются ближайшими к целевому единичному вектору направленности.

15. Способ по п. 13 или 14, отличающийся тем, что определение целевого коэффициента усиления направленности для целевого единичного вектора направленности включает:

приравнивание целевого коэффициента усиления направленности ко второму коэффициенту усиления направленности, связанному с тем вторым единичным вектором направленности, который является ближайшим к целевому единичному вектору направленности.

16. Способ по п. 14 или 15, отличающийся тем, что дополнительно включает:

извлечение из битового потока указателя необходимости генерирования второго множества единичных векторов направленности; и

определение количества единичных векторов и генерирование второго множества вторых единичных векторов направленности, если указатель указывает, что необходимо сгенерировать второе множество единичных векторов направленности.

17. Устройство для обработки аудиосодержимого, содержащее процессор, приспособленный для выполнения способа по любому из пп. 1-11.

18. Устройство для декодирования аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука, причем информация о направленности содержит количество, которое указывает количество аппроксимативно равномерно распределенных единичных векторов на поверхности трехмерной сферы и для каждого такого единичного вектора связанный коэффициент усиления направленности, при этом единичные векторы предположительно распределены на поверхности трехмерной сферы с помощью предварительно определенного алгоритма расположения, при этом предварительно определенный алгоритм расположения представляет собой алгоритм для аппроксимативно равномерного сферического распределения единичных векторов на поверхности трехмерной сферы, причем устройство содержит процессор, приспособленный для выполнения этапов способа по любому из пп. 12, 13 или 15.

19. Устройство для декодирования аудиосодержимого, содержащего информацию о направленности для по меньшей мере одного источника звука, причем информация о направленности содержит первое множество первых единичных векторов направленности, представляющих направления направленности, и связанные первые коэффициенты усиления направленности, причем устройство содержит процессор, приспособленный для выполнения этапов способа по любому из пп. 14-16.

20. Машиночитаемый носитель данных, содержащий команды, которые при исполнении процессором предписывают процессору выполнить способ по любому из пп. 1-11.

21. Машиночитаемый носитель данных, содержащий команды, которые при исполнении процессором предписывают процессору выполнить способ по любому из пп. 12-16.