RU2751129C1 - Оборудование для преобразования позиции объекта для аудиообъекта, поставщик аудиопотоков, система формирования аудиоконтента, оборудование воспроизведения аудио, способы и машиночитаемый носитель данных - Google Patents
Оборудование для преобразования позиции объекта для аудиообъекта, поставщик аудиопотоков, система формирования аудиоконтента, оборудование воспроизведения аудио, способы и машиночитаемый носитель данных Download PDFInfo
- Publication number
- RU2751129C1 RU2751129C1 RU2020128321A RU2020128321A RU2751129C1 RU 2751129 C1 RU2751129 C1 RU 2751129C1 RU 2020128321 A RU2020128321 A RU 2020128321A RU 2020128321 A RU2020128321 A RU 2020128321A RU 2751129 C1 RU2751129 C1 RU 2751129C1
- Authority
- RU
- Russia
- Prior art keywords
- spherical
- representation
- radius
- triangle
- region
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Изобретение относится к области электротехники, а именно к электронному вычислительному устройству (100) для преобразования позиции объекта для аудиообъекта из декартова представления (110) в сферическое представление (112). Повышение эффективности преобразования является техническим результатом изобретения. Указанный технический результат обеспечивается посредством того, что базовая зона декартова представления подразделяется на множество треугольников (630, 532, 634, 636) в базовой зоне, и при этом множество треугольников (660, 662, 664, 666) в сферической области вписываются в окружность сферического представления. Электронное вычислительное устройство выполнено с возможностью определять, в каком из треугольников в базовой зоне размещается проекция (P) позиции объекта для аудиообъекта на базовую зону, а также с возможностью определять преобразованную позицию проекции (P) позиции объекта с использованием линейного преобразования, которое преобразует треугольник в базовой зоне в его ассоциированный треугольник в сферической области. Устройство выполнено с возможностью извлекать угол (ϕ) азимута и значение промежуточного радиуса из преобразованной позиции, а также с возможностью получать значение радиуса сферической области и угол подъема в зависимости от значения промежуточного радиуса и в зависимости от расстояния (z) позиции объекта относительно базовой зоны. Также предложены электронные вычислительные устройства для преобразования позиции объекта для аудиообъекта из сферического представления в декартово представление, способы предоставления аудиопотока, формирования аудиоконтента, воспроизведения аудио, а также машиночитаемый носитель с компьютерной программой для осуществления указанных способов. 25 н. и 48 з.п. ф-лы, 24 ил.
Description
Область техники, к которой относится изобретение
Варианты осуществления согласно изобретению относятся к оборудованию для преобразования позиции объекта для аудиообъекта из декартова представления в сферическое представление и наоборот.
Варианты осуществления согласно изобретению относятся к поставщику аудиопотоков.
Дополнительные варианты осуществления согласно изобретению относятся к системе формирования аудиоконтента.
Дополнительные варианты осуществления согласно изобретению относятся к оборудованию воспроизведения аудио.
Дополнительные варианты осуществления согласно изобретению относятся к соответствующим способам.
Дополнительные варианты осуществления согласно изобретению относятся к компьютерным программам.
Варианты осуществления согласно изобретению относятся к правилу преобразования для метаданных позиций динамических объектов.
Уровень техники
Позиции аудиообъектов или громкоговорителей иногда описываются в декартовых координатах (помещение-центрическое описание) и иногда описываются в сферических координатах (эгоцентрическое описание).
Тем не менее, обнаружено, что часто желательно преобразовывать позицию объекта или позицию громкоговорителя из одного представления в другое при поддержании хорошего впечатления от прослушивания. Также желательно поддерживать общую топологию описанной компоновки громкоговорителей и поддерживать корректные позиции объектов, воспроизводимые из обозначенных позиций громкоговорителей.
С учетом этой ситуации, имеется потребность в концепции, которая предоставляет возможность преобразования между декартовым представлением метаданных объектов (например, данных позиций объектов) и сферическим представлением, которое предоставляет хороший компромисс между достижимым впечатлением от прослушивания и вычислительной сложностью.
Сущность изобретения
Вариант осуществления согласно изобретению создает оборудование для преобразования позиции объекта для аудиообъекта (например, "данных позиций объектов") из декартова представления (или из представления в декартовой системе координат) (например, содержащего координаты X, Y и Z) в сферическое представление (или представление в сферической системе координат) (например, содержащее угол азимута, значение радиуса сферической области и угол подъема).
Базовая зона декартова представления (например, квадратическая зона в плоскости X-Y, например, имеющая угловые точки (-1;-1;0), (1;-1;0), (1;1;0) и (-1;1;0)) подразделяется на множество треугольников в базовой зоне (например, на зеленый треугольник или треугольник, имеющий первую штриховку, фиолетовый треугольник или треугольник, имеющий вторую штриховку, красный треугольник или треугольник, имеющий третью штриховку, и белый треугольник или треугольник, имеющий четвертую штриховку). Например, треугольники в базовой зоне могут иметь угол в центральной позиции базовой зоны. Кроме того, множество (например, соответствующих или ассоциированных) треугольников в сферической области могут вписываться в окружность сферического представления (при этом, например, каждый из треугольников в сферической области ассоциирован с треугольником в базовой зоне, и при этом треугольники в сферической области типично деформируются по сравнению с треугольниками в базовой зоне, при этом предусмотрено преобразование (предпочтительно линейное преобразование) для преобразования данного треугольника в базовой зоне в его ассоциированный треугольник в сферической области). Например, треугольники в сферической области могут содержать угол в центре окружности.
Оборудование выполнено с возможностью определять то, в каком из треугольников в базовой зоне размещается проекция позиции объекта для аудиообъекта на базовую зону. Кроме того, оборудование выполнено с возможностью определять преобразованную позицию проекции позиции объекта с использованием преобразования (предпочтительно линейного преобразования), которое преобразует треугольник в базовой зоне (в котором размещается проекция позиции объекта для аудиообъекта на базовую зону) в его ассоциированный треугольник в сферической области. Оборудование дополнительно выполнено с возможностью извлекать угол азимута и значение промежуточного радиуса (например, значение двумерного радиуса, например, в базовой плоскости сферической системы координат, например, при подъеме в нуль) из преобразованной позиции.
Например, может использоваться регулирование радиуса, которое преобразует треугольник в сферической области, вписываемый в окружность, в сегмент окружности. Например, может использоваться регулирование радиуса с получением отрегулированного промежуточного радиуса rxy. Регулирование радиуса, например, может масштабировать значение радиуса, полученное ранее, в зависимости от угла φ азимута.
Оборудование выполнено с возможностью получать значение радиуса сферической области и угол подъема в зависимости от значения промежуточного радиуса (которое может быть отрегулированным или неотрегулированным) и в зависимости от расстояния позиции объекта относительно базовой зоны. Угол подъема может определяться в качестве угла прямоугольного треугольника, имеющего катеты в форме значения промежуточного радиуса и расстояния позиции объекта относительно базовой зоны. Кроме того, радиус сферической области может представлять собой длину гипотенузы прямоугольного треугольника или ее отрегулированную версию.
Кроме того, оборудование в необязательном порядке может быть выполнено с возможностью получать отрегулированный угол подъема, например, с использованием нелинейного преобразования, которое линейно преобразует углы в первой области углов в первую область преобразованных углов, и которое линейно преобразует углы во второй области углов во вторую область преобразованных углов, при этом первая область углов имеет отличающуюся ширину или протяженность по сравнению с первой областью преобразованных углов, и при этом, например, диапазон углов, покрываемый вместе первой областью углов и второй областью углов, является идентичным диапазону углов, покрываемому вместе первой областью преобразованных углов и второй областью преобразованных углов.
Это оборудование основано на таких выявленных сведениях, что комбинация вышеуказанных этапов обработки предоставляет преобразование позиции объекта для аудиообъекта из декартова представления в сферическое представление со сравнительно небольшими вычислительными усилиями при одновременном обеспечении возможности получать достаточно высокое качество звука. Кроме того, обнаружено, что упомянутые этапы типично являются обратимыми с небольшими усилиями, так что можно возвращаться из сферического представления в декартово представление, например, на стороне аудиодекодера, с небольшими усилиями.
Например, посредством подразделения базовой зоны (также обозначенной в качестве базовой зоны) декартова представления на треугольники в базовой зоне (также обозначенные в качестве треугольников в базовой зоне) и посредством преобразования позиций в треугольниках в базовых углах в позиции в треугольниках в сферической области, простой переход может осуществляться из декартова представления в сферическое представление, что требует незначительных вычислительных усилий и что является легко обратимым. Кроме того, посредством соответствующего выбора треугольников, с незначительными вычислительными усилиями может обеспечиваться то, что подвергаемое аудиту ухудшение впечатления от прослушивания может исключаться или, по меньшей мере, минимизироваться. Это обусловлено тем фактом, что треугольники могут задаваться таким способом, что аудиоисточники в данном одном из треугольников вызывают аналогичное впечатление от прослушивания.
Например, компоновки громкоговорителей, описанные в помещение-центрических параметрах и преобразуемые с помощью предложенного преобразования в эгоцентрическое описание, сохраняют свою топологию. Кроме того, требуется то, что также позиции объектов, попадающие в точную позицию громкоговорителя, по-прежнему расположены в идентичном громкоговорителе после преобразования. Варианты осуществления согласно изобретению могут удовлетворять этим требованиям.
Кроме того, обнаружено, что с использованием многоэтапной процедуры, в которой извлекаются угол азимута и значение промежуточного радиуса (которое может быть значением двумерного радиуса), и в которой значение радиуса сферической области и угол подъема извлекаются из значения промежуточного радиуса и в зависимости от расстояния позиции объекта относительно базовой зоны, преобразование может подразделяться на "небольшие" этапы, которые могут выполняться с использованием относительно небольших вычислительных усилий и которые могут проектироваться легко обратимым способом.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью определять преобразованную позицию проекции позиции объекта с использованием линейного преобразования, описанного посредством матрицы преобразования. Оборудование выполнено с возможностью получать матрицу преобразования в зависимости от определенного треугольника в базовой зоне. Другими словами, на основе определения того, в каком треугольнике в базовой зоне размещается проекция позиции объекта для аудиообъекта на базовую зону, может выбираться матрица преобразования (например, на основе множества предварительно вычисленных матриц преобразования). Альтернативно, матрица преобразования также может вычисляться посредством оборудования, например, в зависимости от позиций углов определенного треугольника в базовой зоне и определенного (ассоциированного) треугольника в сферической области. Таким образом, очень легко выбирать правильную матрицу преобразования, и преобразование может выполняться с использованием вычислительно простых линейных операций.
В предпочтительном варианте осуществления, матрица преобразования задается согласно уравнению, как показано в формуле изобретения. В этом случае, матрица преобразования определяется посредством координат X и Y (например, двух) углов определенного треугольника в базовой зоне и посредством координат X и Y (например, двух) углов ассоциированного треугольника в сферической области. Например, можно предполагать, что третий угол определенного треугольника в базовой зоне и/или третий угол ассоциированного треугольника в сферической области могут находиться в начале системы координат, что упрощает вычисление преобразования.
В предпочтительном варианте осуществления, треугольники в базовой зоне содержат первый треугольник базовых углов, который покрывает зону "впереди" относительно начала координат декартова представления. Второй треугольник в базовой зоне покрывает зону слева относительно начала координат декартова представления. Третий треугольник в базовой зоне покрывает зону справа относительно начала координат декартова представления. Четвертый треугольник в базовой зоне покрывает зону позади относительно начала координат декартова представления. Посредством использования таких треугольников в базовой зоне, различные треугольники в базовой зоне задают области, которые приводят к различному впечатлению от прослушивания (если объект размещается в такой области). Тем не менее, в необязательном порядке должно быть возможным различать еще большее число различных треугольников, с тем чтобы получать более точное пространственное разрешение (и/или уменьшать артефакты, получающиеся в результате преобразования из декартова представления в сферическое представление).
Согласно аспекту, определение треугольников в базовой зоне согласно сегментации на основе позиций громкоговорителей в горизонтальной плоскости/слое представляет собой важный признак, см. фиг. 18-24 и формулы на основе 5.1-компоновки громкоговорителей в горизонтальной плоскости. Для получения дополнительной информации, также следует обратиться к разделу 10.
Согласно варианту осуществления, треугольники в сферической области могут содержать первый треугольник в сферической области, который покрывает зону впереди относительно начала координат сферического представления, второй треугольник в сферической области, который покрывает зону слева относительно начала координат сферического представления, третий треугольник в сферической области, который покрывает зону справа относительно начала координат сферического представления, и четвертый треугольник в сферической области, который покрывает зону позади относительно начала координат сферического представления. Эти четыре треугольника в сферической области оптимально соответствуют четырем треугольникам в базовой зоне, упомянутым выше. Тем не менее, следует отметить, что треугольники в сферической области могут существенно отличаться от ассоциированных треугольников в базовой зоне, например, в том, что они содержат различные углы. Треугольники в базовой зоне предпочтительно вписываются в квадратическую зону в плоскости X-Y декартова представления. Напротив, треугольники в сферической области, например, вписываются в окружность в плоскости нулевого подъема сферического представления. Возможно, компоновка треугольников также может содержать симметрию относительно оси симметрии, при этом ось симметрии, например, может протягиваться в направлении, которое ассоциировано с видом спереди слушателя или окружения прослушивания.
В предпочтительном варианте осуществления, координаты углов треугольников в базовой зоне и координаты углов ассоциированных треугольников в сферической области могут задаваться так, как показано в формуле изобретения. Обнаружено, что такой выбор треугольников способствует очень хорошим результатам.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью извлекать угол азимута из преобразованных координат преобразованной позиции согласно правилу преобразования, как показано в формуле изобретения. Например, правило преобразования может использовать функцию арктангенса (arctan) для того, чтобы преобразовывать координаты преобразованной позиции в угол азимута, при этом может реализовываться обработка для "частных случаев" (в частности, для случая, когда одна из координат равна нулю).
Такое извлечение углов азимута также является вычислительно эффективным. Описанное вычислительное правило является вычислительно очень эффективным, а также численно стабильным, при этом ненадежные результаты аннулируются.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью извлекать значение промежуточного радиуса из преобразованных координат преобразованных позиций согласно уравнению, как показано в формуле изобретения. Такое вычисление радиуса является очень простым в реализации и предоставляет хорошие результаты.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью получать значение радиуса сферической области в зависимости от значения промежуточного радиуса с использованием регулирования радиуса, которое преобразует треугольник в сферической области, вписываемый в окружность, в сегмент окружности. Обнаружено, что такое преобразование может выполняться посредством оценки одной тригонометрической функции и в силу этого является вычислительно очень эффективным, а также легко обратимым. Кроме того, обнаружено, что полный диапазон значений радиуса, доступных в сферической области, может использоваться посредством использования такого подхода.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью получать значение радиуса сферической области в зависимости от значения промежуточного радиуса с использованием регулирования радиуса, при этом регулирование радиуса выполнено с возможностью масштабировать значения промежуточного радиуса, полученные ранее, в зависимости от угла азимута. Соответственно, например, можно повышающе масштабировать значение промежуточного радиуса в зависимости от соотношения между радиусом окружности, в которую вписывается соответствующий треугольник в сферической области, и расстоянием гипотенузы равностороннего прямоугольного треугольника от угла, противоположного гипотенузе в направлении, определенном посредством угла азимута.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью получать значение радиуса сферической области в зависимости от значения промежуточного радиуса с использованием уравнений для преобразования, заданных в формуле изобретения. Обнаружено, что этот подход оптимально подходит для 5.1+4H-компоновки громкоговорителей.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью получать угол подъема в качестве угла прямоугольного треугольника, имеющего катеты в форме значения промежуточного радиуса и расстояния позиции объекта относительно базовой зоны. Обнаружено, что такое вычисление угла подъема предоставляет очень хороший результат, а также предоставляет возможность инверсии преобразования координат с небольшими усилиями.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью получать радиус сферической области в качестве длины гипотенузы прямоугольного треугольника, имеющего катеты в форме значения промежуточного радиуса и расстояния позиции объекта относительно базовой зоны, или в качестве ее отрегулированной версии. Обнаружено, что такое вычисление имеет низкую сложность и является обратимым. Тем не менее, в некоторых случаях, например, если значение радиуса сферической области получается просто в качестве длины гипотенузы прямоугольного треугольника, значение радиуса может превышать радиус окружности, в которую вписываются треугольники в сферической области, так что преимущественно осуществлять другое регулирование, чтобы за счет этого приводить значение отрегулированного радиуса сферической области в диапазон значений, который меньше или равен радиусу окружности, в которую вписываются треугольники в сферической области.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью получать угол подъема, как описано в формуле изобретения, и/или получать радиус сферической области, как описано в формуле изобретения. Обнаружено, что эти правила вычисления способствуют сравнительно небольшим вычислительным усилиям, а также типично предоставляют возможность инверсии координированного преобразования с небольшими усилиями.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью получать отрегулированный угол подъема (например, с использованием нелинейного преобразования, которое линейно преобразует углы в первой области углов в первую область преобразованных углов, и которое линейно преобразует углы во второй области углов во вторую область преобразованных углов, при этом первая область углов имеет отличающуюся ширину по сравнению с первой областью преобразованных углов, и при этом, например, диапазон углов, покрываемый вместе первой областью углов и второй областью углов, равен диапазону углов, покрываемому вместе первой областью преобразованных углов и второй областью преобразованных углов). Соответственно, можно адаптировать преобразование координат, например, к позициям громкоговорителей. Кроме того, посредством использования такого преобразования, можно считать, что с точки зрения впечатления от прослушивания, отсутствует соответствие "один-к-одному" между углами подъема в декартовом представлении и углами подъема в сферическом представлении. Таким образом, посредством выполнения такого нелинейного преобразования, которое может представлять собой кусочно-линейное преобразование, может выполняться соответствующее регулирование угла подъема, которое также является обратимым, с небольшими усилиями.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью получать отрегулированный угол подъема с использованием нелинейного преобразования, которое линейно преобразует углы в первой области углов в первую область преобразованных углов, и которое линейно преобразует углы во второй области углов во вторую область преобразованных углов, при этом первая область углов имеет отличающуюся ширину по сравнению с первой областью преобразованных углов. Соответственно, в некоторых областях углы подъема "сжимаются", а в других областях углы подъема "растягиваются" при выполнении преобразования. Это помогает получать хорошее впечатление от прослушивания.
В предпочтительном варианте осуществления, диапазон углов, покрываемый первой областью углов и второй областью углов (вместе), является идентичным диапазону углов, покрываемому вместе первой областью преобразованных углов и второй областью преобразованных углов. Таким образом, данная область углов подъема (например, от 0° до 90°) может преобразовываться в область углов идентичного размера (например, от 0° до 90°), при этом некоторые области углов растягиваются, и при этом некоторые области углов сжимаются посредством нелинейного преобразования.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью преобразовывать угол подъема в отрегулированный угол подъема согласно правилу, предоставленному в формуле изобретения. Обнаружено, что такое правило предоставляет очень хорошее впечатление от прослушивания.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью получать отрегулированный радиус сферической области на основе радиуса сферической области. Обнаружено, что регулирование радиуса сферической области может быть полезным для того, чтобы исключать то, что радиус сферической области превышает радиус окружности, в которую вписываются треугольники в сферической области.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью выполнять преобразование, которое преобразует границы квадрата в декартовой системе в окружность в сферической системе координат, чтобы получать отрегулированный радиус сферической области. Обнаружено, что такое преобразование является надлежащим для того, чтобы приводить радиус сферической области в требуемый диапазон значений.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью преобразовывать радиус сферической области в отрегулированный радиус сферической области согласно правилу, предоставленному в формуле изобретения. Обнаружено, что это правило оптимально подходит для того, чтобы приводить отрегулированный радиус сферической области в требуемый диапазон значения, и что описанное правило также является легко обратимым.
Другой вариант осуществления создает оборудование для преобразования позиции объекта для аудиообъекта (например, "данных позиций объектов") из сферического представления (или из представления в сферической системе координат) (например, содержащего угол азимута, значение радиуса сферической области и угол подъема) в декартово представление (или представление в декартовой системе координат) (например, содержащее координаты X, Y и Z).
Базовая зона декартова представления (например, квадратическая зона в плоскости X-Y, например, имеющая угловые точки (-1;-1;0), (1;-1;0), (1;1;0) и (-1;1;0)) подразделяется на множество треугольников в базовой зоне (например, на зеленый треугольник или треугольник, показанный с использованием первой штриховки, фиолетовый треугольник или треугольник, показанный с использованием второй штриховки, красный треугольник или треугольник, показанный с использованием третьей штриховки, и белый треугольник или треугольник, показанный с использованием четвертой штриховки) (при этом, например, треугольники в базовой зоне могут иметь угол в центральной позиции базовой зоны), и при этом множество (соответствующих или ассоциированных) треугольников в сферической области вписываются в окружность сферического представления (при этом, например, каждый из треугольников в сферической области ассоциирован с треугольником в базовой зоне, и при этом треугольники в сферической области типично деформируются по сравнению с основой, треугольники, и при этом предусмотрено предпочтительно линейное преобразование для преобразования данного треугольника в базовой зоне в его ассоциированный треугольник в сферической области). Например, треугольники в сферической области могут содержать угол в центре окружности.
Оборудование в необязательном порядке может быть выполнено с возможностью получать преобразованный угол подъема на основе угла подъема (например, с использованием нелинейного преобразования, которое линейно преобразует углы в первой области углов в первую область преобразованных углов, и которое линейно преобразует углы во второй области углов во вторую область преобразованных углов, при этом первая область углов имеет отличающуюся ширину по сравнению с первой областью преобразованных углов, и при этом, например, диапазон углов, покрываемый вместе первой областью углов и второй областью углов, является идентичным диапазону углов, покрываемому вместе первой областью преобразованных углов и второй областью преобразованных углов).
Оборудование в необязательном порядке может также быть выполнено с возможностью получать преобразованный радиус сферической области на основе радиуса сферической области.
Оборудование дополнительно выполнено с возможностью получать значение, описывающее расстояние позиции объекта относительно базовой зоны и промежуточный радиус (который, например, может представлять собой двумерный радиус), на основе угла подъема или преобразованного угла подъема и на основе радиуса сферической области или преобразованного радиуса сферической области. Оборудование в необязательном порядке может быть выполнено с возможностью выполнять коррекцию радиуса на основе промежуточного радиуса.
Оборудование также выполнено с возможностью определять позицию в одном из треугольников, вписываемых в окружность, на основе промежуточного радиуса или на основе его скорректированной версии и на основе угла азимута. Кроме того, оборудование выполнено с возможностью определять преобразованную позицию проекции позиции объекта на базовую плоскость на основе определенной позиции в одном из треугольников, вписываемых в окружность (например, с использованием линейного преобразования, преобразующего треугольник, в котором находится определенная позиция, в ассоциированный треугольник в базовой плоскости). Например, преобразованная позиция и расстояние позиции объекта относительно базовой зоны могут, вместе, определять позицию аудиообъекта в декартовой системе координат.
Следует отметить, что это оборудование основано на соображениях, аналогичных соображениям для вышеуказанного оборудования для преобразования позиции объекта для аудиообъекта из декартова представления в сферическое представление. Преобразование, выполняемое посредством оборудования для преобразования позиции объекта из сферического представления в декартово представление, например, может выполнять в обратном порядке операцию оборудования, упомянутого выше. Кроме того, обнаружено, что операции, выполняемые посредством оборудования для преобразования позиции объекта для аудиообъекта из сферического представления в декартово представление, типично являются вычислительно простыми, частично поскольку они разбиваются на отдельные независимые (или последующие) этапы обработки низкой сложности.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью получать преобразованный угол подъема на основе угла подъема. Это помогает проходить от угла подъема, который оптимально подходит для рендеринга в сферической области, к углу подъема, который является хорошо адаптированным к рендерингу в декартовой области.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью получать преобразованный угол подъема с использованием нелинейного преобразования, которое линейно преобразует углы в первой области углов в первую область преобразованных углов, и которое линейно преобразует углы во второй области углов во вторую область преобразованных углов, при этом первая область углов имеет отличающуюся ширину по сравнению с первой областью преобразованных углов. Обнаружено, что такое кусочно-линейное преобразование (которое, в целом, представляет собой нелинейное преобразование) может выполняться вычислительно очень эффективным способом и типично способствует улучшенному впечатлению от прослушивания.
В предпочтительном варианте осуществления, диапазон углов, покрываемый вместе областью первого диапазона углов и областью второго диапазона углов, является идентичным диапазону углов, покрываемому вместе областью первого диапазона преобразованных углов и областью второй диапазона преобразованных углов. Таким образом, данный диапазон углов (например, между 0° и 90°) может преобразовываться в соответствующий диапазон углов (например, также от 0° до 90°), при этом некоторые области углов сжимаются, и при этом некоторые области углов растягиваются посредством нелинейного (но кусочно-линейного) преобразования. Обнаружено, что такое преобразование является полезным для того, чтобы получать хорошее впечатление от прослушивания, и является вычислительно эффективным.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью преобразовывать угол подъема в преобразованный угол подъема согласно правилу, предоставленному в формуле изобретения. Обнаружено, что это правило представляет собой сверхпреимущественную реализацию.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью получать преобразованный радиус сферической области на основе радиуса сферической области. Следует отметить, что радиус сферической области (который, например, может находиться в диапазоне значений, определенных посредством радиуса окружности, в которую вписываются треугольники в сферической области) является субоптимальным. По этой причине, преимущественно применять преобразование для того, извлекать преобразованный радиус сферической области. Например, радиус сферической области может преобразовываться таким образом, что значения преобразованного радиуса сферической области превышают радиус окружности. Например, это может достигаться для радиуса сферической области, который находится близко к радиусу окружности, например, с использованием следующей взаимосвязи:
Другими словами, преобразованный радиус сферической области, например, может определяться таким образом, что значение двумерного радиуса, извлекаемое из значения преобразованного радиуса сферической области, меньше или равно радиусу упомянутой окружности.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью масштабировать радиус сферической области в зависимости от угла подъема или в зависимости от преобразованного угла подъема. Например, оборудование может быть выполнено с возможностью выполнять преобразование, которое преобразует окружность в сферической системе координат в границы квадрата в декартовой системе (например, чтобы извлекать преобразованный угол подъема). Посредством использования такого преобразования, может достигаться то, что преобразованный радиус сферической области оптимально подходит для извлечения значения двумерного радиуса, а также для получения значения координаты Z.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью получать преобразованный радиус сферической области на основе радиуса сферической области согласно правилу, как описано в формуле изобретения. Обнаружено, что такое правило является очень эффективным и приводит к хорошему впечатлению от прослушивания.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью получать значение z, описывающее расстояние позиции объекта относительно базовой зоны согласно правилу, заданному в формуле изобретения. Кроме того, или помимо этого, оборудование может быть выполнено с возможностью получать промежуточный радиус согласно правилу, заданному в формуле изобретения. Обнаружено, что эти правила являются очень эффективными и простыми в реализации.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью выполнять коррекцию радиуса с использованием преобразования, которое преобразует сегменты окружности в треугольники, вписываемые в окружность. Например, промежуточный радиус, который может принимать значения между нулем и радиусом окружности, в которую вписываются треугольники в сферической области, независимо от угла азимута, может преобразовываться таким образом, что максимальное получаемое значение преобразованного радиуса сферической области ограничено расстоянием стороны треугольника, вписываемого в окружность, от центра окружности (например, в направлении, описанном посредством угла азимута). Например, промежуточный радиус масштабируется с использованием зависимого от угла азимута соотношения между расстоянием стороны соответствующего треугольника в сферической области (например, в направлении, описанном посредством угла азимута) и радиусом окружности, в которую вписывается треугольник в сферической области.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью масштабировать промежуточный радиус в зависимости от угла азимута, с тем чтобы получать скорректированный радиус. Такое масштабирование типично является вычислительно простым и при этом подходящим для того, чтобы преобразовывать сектор окружности в треугольник без вызывания чрезмерного искажения.
Другой предпочтительный вариант осуществления основан на сегментации, заданной посредством компоновки громкоговорителей в горизонтальной плоскости, такой как, например, 5.1.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью получать скорректированный радиус на основе промежуточного радиуса согласно правилу, заданному в формуле изобретения. Обнаружено, что это правило является особенно преимущественным и приводит к очень хорошему впечатлению от прослушивания.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью определять позицию в одном из треугольников, вписываемых в окружность, согласно правилу, заданному в формуле изобретения. Это правило использует только простые тригонометрические функции и оптимально подходит для того, чтобы четко задавать координату X и координату Y.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью определять преобразованную позицию проекции позиции объекта на базовую плоскость (например, координаты X и координаты Y) на основе определенной позиции в одном из треугольников, вписываемых в окружность, с использованием линейного преобразования, которое преобразует треугольник, в котором находится определенная позиция, в ассоциированный треугольник на базовой плоскости. Обнаружено, что такое линейное преобразование представляет собой очень эффективный (и обратимый) способ для того, чтобы преобразовывать между сферической областью и декартовой областью.
В предпочтительном варианте осуществления, оборудование выполнено с возможностью определять преобразованную позицию проекции позиции объекта на базовую плоскость согласно правилу преобразования, заданному в формуле изобретения. Обнаружено, что это правило преобразования является эффективным и обратимым.
В предпочтительном варианте осуществления, матрица преобразования задается так, как описано в формуле изобретения.
В предпочтительном варианте осуществления, треугольники в базовой зоне содержат первый треугольник в базовой зоне, второй треугольник в базовой зоне, третий треугольник в базовой зоне и четвертый треугольник в базовой зоне, как уже упомянуто выше.
Аналогично, в предпочтительном варианте осуществления, треугольники в сферической области содержат первый треугольник в сферической области, второй треугольник в сферической области, третий треугольник в сферической области и четвертый треугольник в сферической области, как уже упомянуто выше.
В других предпочтительных вариантах осуществления, координаты углов треугольников базовых углов задаются так, как упомянуто в формуле изобретения. Конкретный выбор треугольников в базовой зоне, треугольников в сферической области и углов упомянутых треугольников основан на соображениях, идентичных соображениям, упомянутым выше относительно оборудования для преобразования позиции объекта из декартова представления в сферическое представление.
Другой вариант осуществления согласно изобретению создает поставщика аудиопотоков для предоставления аудиопотока. Поставщик аудиопотоков выполнен с возможностью принимать входную информацию позиций объектов, описывающую позицию аудиообъекта в декартовом представлении. Поставщик аудиопотоков дополнительно выполнен с возможностью предоставлять аудиопоток, содержащий выходную информацию позиций объектов, описывающую позицию объекта в сферическом представлении. Поставщик аудиопотоков содержит оборудование, как описано выше, для того, чтобы преобразовывать декартово представление в сферическое представление.
Согласно другому варианту осуществления, также можно иметь поставщика аудиопотоков с преобразованием из сферического в декартово представление.
Такой поставщик аудиопотоков может решать проблемы, связанные с входной информацией позиций объектов с использованием декартова представления, и при этом может предоставлять аудиопоток, содержащий сферическое представление позиции. Таким образом, аудиопоток является применимым посредством аудиодекодеров, которые требуют сферического представления позиции объекта для того, чтобы работать эффективно.
Другой вариант осуществления согласно изобретению создает систему формирования аудиоконтента. Система формирования аудиоконтента выполнена с возможностью определять информацию позиций объектов, описывающую позицию аудиообъекта в декартовом представлении. Система формирования аудиоконтента содержит оборудование, как описано выше, для того, чтобы преобразовывать декартово представление в сферическое представление. Кроме того, система формирования аудиоконтента выполнена с возможностью включать сферическое представление в аудиопоток.
Тем не менее, альтернативно, также является возможным преобразование из сферического в декартово представление.
Такая система формирования аудиоконтента имеет такое преимущество, что позиция объекта может первоначально определяться в декартовом представлении, которое является удобным и более интуитивным для многих пользователей. Тем не менее, система формирования аудиоконтента все равно может предоставлять аудиопоток таким образом, что аудиопоток содержит сферическое представление позиции объекта, которая первоначально определяется в декартовом представлении. Таким образом, аудиопоток является применимым посредством аудиодекодеров, которые требуют сферического представления позиции объекта для того, чтобы работать эффективно.
Другой вариант осуществления согласно изобретению создает оборудование воспроизведения аудио. Оборудование воспроизведения аудио выполнено с возможностью принимать аудиопоток, содержащий сферическое представление информации позиций объектов. Оборудование воспроизведения аудио также содержит оборудование, как описано выше, которое выполнено с возможностью преобразовывать сферическое представление в декартово представление информации позиций объектов (или, альтернативно, наоборот). Оборудование воспроизведения аудио дополнительно содержит модуль рендеринга, выполненный с возможностью подготавливать посредством рендеринга аудиообъект во множество канальных сигналов, ассоциированных со звуковыми электроакустическими преобразователями (например, динамиками), в зависимости от декартова представления информации позиций объектов.
Соответственно, оборудование воспроизведения аудио может решать проблемы, связанные с аудиопотоками, содержащими сферическое представление информации позиций объектов, даже если модуль рендеринга требует информации позиций объектов в декартовом представлении. Другими словами, очевидно, что оборудование для преобразования позиции объекта из сферического представления в декартово представление может преимущественно использоваться в оборудовании воспроизведения аудио.
Следует отметить, что все приложения (например, инструментальное средство формирования или декодер) могут реализовываться обратным (зеркально отраженным) способом, при котором преобразование из сферических координат в декартовы координаты может заменяться посредством преобразования из декартовых координат в сферические координаты, и наоборот (например, Sph->Cart и Cart->Sph).
Дополнительные варианты осуществления согласно изобретению создают соответствующие способы.
Тем не менее, следует отметить, что способы основаны на соображениях, идентичных соображениям для соответствующего оборудования. Кроме того, способы могут дополняться посредством любых из признаков, функциональностей и подробностей, которые описываются в данном документе относительно оборудования, как отдельно, так и в комбинации.
Кроме того, варианты осуществления согласно изобретению создают компьютерные программы для осуществления упомянутых способов.
Краткое описание чертежей
Далее описываются варианты осуществления согласно настоящей заявке со ссылкой на прилагаемые чертежи, на которых:
Фиг. 1 показывает принципиальную блок-схему оборудования для преобразования позиции объекта для аудиообъекта из декартова представления в сферическое представление, согласно варианту осуществления настоящего изобретения;
Фиг. 2 показывает принципиальную блок-схему оборудования для преобразования позиции объекта для объекта из сферического представления в декартово представление, согласно варианту осуществления настоящего изобретения;
Фиг. 3 показывает схематичное представление примера помещения на основе декартовых параметров с соответствующими позициями громкоговорителей для 5.1+4H-компоновки;
Фиг. 4 показывает схематичное представление сферической системы координат согласно MPEG-H-стандарту трехмерного аудио ISO/IEC 23008-3:2015;
Фиг. 5 показывает схематичное представление позиций динамиков в декартовой системе координат и в сферической системе координат;
Фиг. 6 показывает графическое представление преобразования треугольников в декартовой системе координат в соответствующие треугольники в сферической системе координат;
Фиг. 7 показывает схематичное представление преобразования точки в треугольнике в декартовой системе координат в точку в соответствующем треугольнике в сферической системе координат;
Таблица 1 показывает координаты углов треугольников в декартовой системе координат и углов или соответствующих треугольников в сферической системе координат;
Фиг. 8 показывает схематичное представление регулирования радиуса, которое используется в вариантах осуществления согласно настоящему изобретению;
Фиг. 9 показывает схематичное представление извлечения угла подъема и радиуса сферической области, которое используется в вариантах осуществления согласно настоящему изобретению;
Фиг. 10 показывает схематичное представление коррекции радиуса, которое используется в вариантах осуществления согласно настоящему изобретению:
Фиг. 11 показывает принципиальную блок-схему поставщика аудиопотоков, согласно варианту осуществления настоящего изобретения;
Фиг. 12 показывает принципиальную блок-схему системы формирования аудиоконтента, согласно варианту осуществления настоящего изобретения;
Фиг. 13 показывает принципиальную блок-схему оборудования воспроизведения аудио, согласно варианту осуществления настоящего изобретения;
Фиг. 14 показывает блок-схему последовательности операций способа, согласно варианту осуществления настоящего изобретения;
Фиг. 15 показывает блок-схему последовательности операций способа, согласно варианту осуществления настоящего изобретения; и
Фиг. 16 показывает блок-схему последовательности операций способа, согласно варианту осуществления настоящего изобретения;
Фиг. 17 показывает схематичное представление примера помещения на основе декартовых параметров с соответствующими позициями громкоговорителей для 5.1+4H-компоновки;
Фиг. 18 показывает схематичное представление сферической системы координат согласно MPEG-H-стандарту трехмерного аудио ISO/IEC 23008-3:2015;
Фиг. 19 показывает схематичное представление позиций динамиков в декартовой системе координат и в сферической системе координат;
Фиг. 20 показывает графическое представление преобразования треугольников в декартовой системе координат в соответствующие треугольники в сферической системе координат;
Фиг. 21 показывает схематичное представление преобразования точки в треугольнике в декартовой системе координат в точку в соответствующем треугольнике в сферической системе координат;
Таблица 2 показывает координаты углов треугольников в декартовой системе координат и углов или соответствующих треугольников в сферической системе координат;
Фиг. 22 показывает схематичное представление регулирования радиуса, которое используется в вариантах осуществления согласно настоящему изобретению;
Фиг. 23 показывает схематичное представление извлечения угла подъема и радиуса сферической области, которое используется в вариантах осуществления согласно настоящему изобретению;
Фиг. 24 показывает схематичное представление коррекции радиуса, которое используется в вариантах осуществления согласно настоящему изобретению.
Подробное описание вариантов осуществления
Далее описываются различные изобретаемые варианты осуществления и аспекты. Кроме того, дополнительные варианты осуществления задаются посредством прилагаемой формулы изобретения.
Следует отметить, что любые варианты осуществления, заданные посредством формулы изобретения, могут дополняться посредством любых из подробностей (признаков и функциональностей), описанных в данном документе. Кроме того, варианты осуществления, описанные в данном документе, могут использоваться отдельно и также в необязательном порядке могут дополняться посредством любых из подробностей (признаков и функциональностей), включенных в формулу изобретения.
Кроме того, следует отметить, что отдельные аспекты, описанные в данном документе, могут использоваться отдельно или в комбинации. Таким образом, подробности могут добавляться в каждый из упомянутых отдельных аспектов без добавления подробностей в другой из упомянутых аспектов.
Также следует отметить, что настоящее раскрытие сущности описывает, явно или неявно, признаки, применимые в аудиокодере (в оборудовании для предоставления кодированного представления входного аудиосигнала) и в аудиодекодере (в оборудовании для предоставления декодированного представления аудиосигнала на основе кодированного представления). Таким образом, любой из признаков, описанных в данном документе, может использоваться в контексте аудиокодера и в контексте аудиодекодера.
Кроме того, признаки и функциональности, раскрытые в данном документе отношение к способу, также могут использоваться в оборудовании (выполненном с возможностью выполнять такую функциональность). Кроме того, любые признаки и функциональности, раскрытые в данном документе относительно оборудования, также могут использоваться в соответствующем способе. Другими словами, способы, раскрытые в данном документе, могут дополняться посредством любых из признаков и функциональностей, описанных относительно оборудования.
Кроме того, любые из признаков и функциональностей, описанных в данном документе, могут реализовываться в аппаратных средствах или в программном обеспечении либо с использованием комбинации аппаратных средств и программного обеспечения, как описано в разделе "Альтернативы реализации".
1. Вариант осуществления согласно фиг. 1
Фиг. 1 показывает принципиальную блок-схему оборудования для преобразования позиции объекта для аудиообъекта из декартова представления в сферическое представление.
Оборудование 100 выполнено с возможностью принимать декартово представление 110, которое, например, может содержать декартовы координаты x, y, z. Кроме того, оборудование 100 выполнено с возможностью предоставлять сферическое представление 112, которое, например, может содержать координаты r, φ и θ.
Оборудование может быть основано на таком допущении, что базовая зона декартова представления подразделяется на множество треугольников в базовой зоне (например, как показано на фиг. 6), и что множество треугольников в сферической области вписываются в окружность сферического представления (например, как также показано на фиг. 6).
Оборудование 100 содержит модуль 120 определения (или определение) треугольников, который выполнен с возможностью определять то, в каком из треугольников в базовой зоне размещается проекция позиции объекта для аудиообъекта на базовую зону. Например, модуль 120 определения треугольников может предоставлять идентификацию 122 треугольников на основе координаты X и координаты Y информации позиций объектов.
Кроме того, оборудование может содержать модуль определения преобразованных позиций, который выполнен с возможностью определять преобразованную позицию проекции позиции объекта с использованием линейного преобразования, которое преобразует треугольник в базовой зоне (в котором размещается проекция позиции объекта для аудиообъекта на базовую зону) в его ассоциированный треугольник в сферической области. Другими словами, модуль определения преобразованных позиций может преобразовывать позиции в первом треугольнике в базовой зоне в позиции в первом треугольнике в сферической области и может преобразовывать позиции во втором треугольнике в базовой зоне в позиции во втором треугольнике в сферической области. Вообще говоря, позиции в i-м треугольнике в базовой зоне могут преобразовываться в позиции в i-м треугольнике в сферической области (при этом граница i-го треугольника в базовой зоне может преобразовываться в границу i-го треугольника в сферической области). Соответственно, модуль 130 определения преобразованных позиций может предоставлять преобразованную позицию 132 на основе координаты X и координаты Y, а также на основе идентификации 122 треугольников, предоставленной посредством модуля 120 определения треугольников.
Кроме того, оборудование 100 содержит модуль 140 извлечения углов азимута/значений промежуточного радиуса, который выполнен с возможностью извлекать угол азимута (например, угол φ) и значение промежуточного радиуса (например, значение промежуточного радиуса) из преобразованной позиции 132 (которая может описываться посредством двух координат). Информация углов азимута обозначается с помощью 142, и значение промежуточного радиуса обозначается с помощью 144.
В необязательном порядке, оборудование 100 содержит модуль 146 регулирования радиуса, который принимает значение 144 промежуточного радиуса и предоставляет, на его основе, значение 148 отрегулированного промежуточного радиуса. Далее описывается последующая обработка со ссылкой на значение отрегулированного промежуточного радиуса. Тем не менее, в отсутствие необязательного модуля 146 регулирования радиуса, значение 144 промежуточного радиуса может занимать место значения 148 отрегулированного промежуточного радиуса.
Оборудование 100 также содержит модуль 150 вычисления углов подъема, который выполнен с возможностью получать угол 152 подъема (например, обозначенный с помощью ) в зависимости от значения 144 промежуточного радиуса или в зависимости от значения 148 отрегулированного промежуточного радиуса, а также в зависимости от координаты Z, которая описывает расстояние позиции объекта относительно базовой зоны.
Кроме того, оборудование 100 содержит модуль вычисления значений радиуса сферической области, который выполнен с возможностью получать значение радиуса сферической области в зависимости от значения 144 промежуточного радиуса или значения 148 отрегулированного промежуточного радиуса, а также в зависимости от координаты Z, которая описывает расстояние позиции объекта относительно базовой зоны. Соответственно, модуль 160 вычисления значений радиуса сферической области предоставляет значение 162 радиуса сферической области, которое также обозначается с помощью .
В необязательном порядке, оборудование 100 также содержит модуль 170 коррекции (или модуль регулирования) углов подъема, который выполнен с возможностью получать скорректированный или отрегулированный угол 172 подъема (например, обозначенный с помощью θ) на основе угла 152 подъема.
Кроме того, оборудование 100 также содержит модуль 180 коррекции значений радиуса сферической области (или модуль регулирования значений радиуса сферической области), который выполнен с возможностью предоставлять скорректированное или отрегулированное значение 182 радиуса сферической области на основе значения 162 радиуса сферической области. Скорректированное или отрегулированное значение 182 радиуса сферической области обозначается, например, с помощью r.
Следует отметить, что оборудование 100 может дополняться посредством любых из признаков и функциональностей, описанных в данном документе. Кроме того, следует отметить, что каждый из отдельных блоков, например, может реализовываться с использованием подробностей, описанных ниже, без требования того, что другие блоки реализуются с использованием конкретных подробностей.
Относительно функциональности оборудования 100, следует отметить, что оборудование выполнено с возможностью выполнять несколько небольших этапов, каждый из которых является обратимым на стороне оборудования, преобразующего сферическое представление обратно в декартово представление.
Полная функциональность оборудования основана на такой идее, что позиция объекта, которая задается в декартовом представлении (при этом, например, позиции доступного объекта могут находиться в кубе, центрированном в начале декартовой системы координат и совмещенном с осями декартовой системы координат), может преобразовываться в сферическое представление (при этом, например, позиции доступного объекта могут находиться в сфере, центрированной в начале сферической системы координат) без значительного ухудшения впечатления от прослушивания. Например, прямое преобразование громкоговорителей обеспечивается, если позиции громкоговорителей задают треугольники/сегментацию. Проекция позиции объекта на базовую зону (например, на плоскость X-Y) может преобразовываться в позицию в треугольнике в сферической области, который ассоциирован с треугольником, в котором размещается проекция позиции объекта в базовую зону. Соответственно, получается преобразованная позиция 132, которая представляет собой двумерную позицию в зоне, в которой размещаются треугольники в сферической области.
Угол азимута непосредственно извлекается из этой преобразованной позиции 132 с использованием модуля извлечения углов азимута или извлечения углов азимута. Тем не менее, обнаружено, что угол 152 подъема и значение 162 радиуса сферической области также могут получаться на основе значения 144 промежуточного радиуса (или на основе значения 148 отрегулированного промежуточного радиуса), которое может извлекаться из преобразованной позиции 132. В простом варианте, значение 144 промежуточного радиуса, которое может извлекаться легко из преобразованной позиции 132, может использоваться для того, чтобы извлекать значение 162 радиуса сферической области, в котором рассматривается координата Z (модуль 160 вычисления значений радиуса сферической области). Кроме того, угол 152 подъема может легко извлекаться из значения 144 промежуточного радиуса или из значения 148 отрегулированного промежуточного радиуса, в котором также рассматривается координата Z. В частности, преобразование, которое выполняется посредством модуля 130 определения преобразованных позиций, значительно улучшает результаты по сравнению с подходом, который не должен выполнять такое преобразование.
Кроме того, обнаружено, что качество преобразования может дополнительно повышаться, если значение промежуточного радиуса регулируется посредством модуля 146 регулирования радиуса, и если угол 152 подъема регулируется посредством необязательного модуля 170 коррекции углов подъема или модуля регулирования углов подъема, и если значение 162 радиуса сферической области корректируется или регулируется посредством модуля 180 коррекции значений радиуса сферической области или модуля регулирования значений радиуса сферической области. Модуль 146 регулирования радиуса и модуль 180 коррекции значений радиуса сферической области, например, могут использоваться для того, чтобы регулировать диапазон значений радиуса таким образом, что результирующее значение 182 радиуса содержит диапазон значений, хорошо адаптированных к декартову представлению. Аналогично, модуль 170 коррекции углов подъема может предоставлять скорректированный угол 172 подъема, который способствует очень хорошему впечатлению от прослушивания, поскольку достигается то, что угол подъема лучше регулируется в сферическое представление, которое типично используется в области техники аудиообработки.
Кроме того, следует отметить, что оборудование 100 в необязательном порядке может дополняться посредством любых из признаков и функциональностей, описанных в данном документе, как отдельно, так и в комбинации.
В частности, оборудование 100 в необязательном порядке может дополняться посредством любых из признаков и функциональностей, описанных относительно "преобразования на стороне формирования".
Признаки, функциональности и подробности, описанные в данном документе, в необязательном порядке могут вводиться отдельно или в комбинации в оборудование 100.
2. Вариант осуществления согласно фиг. 2
Фиг. 2 показывает принципиальную блок-схему оборудования для преобразования позиции объекта для аудиообъекта из сферического представления в декартово представление.
Оборудование для преобразования позиции объекта из сферического представления в декартово представление обозначается полностью с помощью 200.
Оборудование 200 принимает информацию позиций объектов, которая является сферическим представлением. Сферическое представление, например, может содержать значение r радиуса сферической области, значение угла азимута (например, φ) и значение подъема (например, θ).
Аналогично оборудованию 100, оборудование 200 также основано на таком допущении, что базовая зона декартова представления (например, квадратическая зона в плоскости X-Y, например, имеющая угловые точки (-1;-1;0), (1;-1;0), (1;1;0) и (-1;1;0)) подразделяется на множество треугольников в базовой зоне (например, на первый треугольник в базовой зоне, второй треугольник в базовой зоне, третий треугольник в базовой зоне и четвертый треугольник в базовой зоне). Например, треугольники в базовой зоне могут иметь угол в центральной позиции базовой зоны. Кроме того, предполагается, что имеется множество (соответствующих или ассоциированных) треугольников в сферической области, которые вписываются в окружность сферического представления (при этом, например, каждый из треугольников в сферической области ассоциирован с треугольником в базовой зоне, при этом треугольники в сферической области типично деформируются по сравнению с ассоциированными треугольниками в базовой зоне, и при этом предусмотрено линейное преобразование для преобразования данного треугольника в базовой зоне в его ассоциированный треугольник в сферической зоне). Кроме того, треугольники в сферической области, например, могут содержать угол в центре окружности.
Оборудование 200 в необязательном порядке содержит модуль 220 преобразования углов подъема, который принимает значение угла подъема сферического представления 210. Модуль 220 преобразования углов подъема выполнен с возможностью получать преобразованный угол 222 подъема (например, обозначенный с помощью ) на основе угла подъема (например, обозначенного с помощью θ). Например, модуль 220 преобразования углов подъема может быть выполнен с возможностью получать преобразованный угол 222 подъема с использованием нелинейного преобразования, которое линейно преобразует углы в первой области углов в первую область преобразованных углов, и которое линейно преобразует углы во второй области углов во вторую область преобразованных углов, при этом первая область углов имеет отличающуюся ширину по сравнению с первой областью преобразованных углов, и при этом, например, диапазон углов, покрываемый вместе первой областью углов и второй областью углов, является идентичным диапазону углов, покрываемому вместе первой областью преобразованных углов и второй областью преобразованных углов.
Кроме того, оборудование 200 в необязательном порядке содержит модуль 230 преобразования значений радиуса сферической области, который принимает радиус сферической области (например, r). Модуль 230 преобразования значений радиуса сферической области, который является необязательным, может быть выполнен с возможностью получать преобразованный радиус 232 сферической области на основе радиуса сферической области (например, r).
Кроме того, оборудование 200 содержит модуль 240 вычисления координат Z, который выполнен с возможностью получать значение (например, z), описывающее расстояние позиции объекта относительно базовой зоны, на основе угла 218 подъема или на основе преобразованного угла 222 подъема и на основе радиуса 228 сферической области или на основе преобразованного радиуса 232 сферической области. Значение, описывающее расстояние позиции объекта относительно базовой зоны, обозначается с помощью 242 и также может обозначаться с помощью "z".
Кроме того, оборудование 200 содержит модуль 250 вычисления промежуточного радиуса, который выполнен с возможностью получать промежуточный радиус 252 (например, обозначенный с помощью rxy) на основе угла 218 подъема или на основе преобразованного угла 222 подъема, а также на основе радиуса 228 сферической области или на основе преобразованного радиуса 232 сферической области.
Оборудование 200 в необязательном порядке содержит модуль 260 коррекции радиуса, который может быть выполнен с возможностью принимать промежуточный радиус 252 и угол 258 азимута и предоставлять скорректированное (или отрегулированное) значение 262 радиуса.
Оборудование 200 также содержит модуль 270 определения позиций, который выполнен с возможностью определять позицию в одном из треугольников, вписываемых в окружность (в треугольнике в сферической области), на основе промежуточного радиуса 252 или на основе скорректированной версии 262 промежуточного радиуса и на основе значения азимута 258 (например, φ). Позиция в одном из треугольников может обозначаться с помощью 272 и, например, может описываться посредством двух координат и (которые представляют собой декартовы координаты в плоскости, в которой находятся треугольники в сферической области).
Оборудование 200 в необязательном порядке может содержать идентификацию 280 треугольников, которая определяет то, в каком из треугольников в сферической области находится позиция 272. Эта идентификация, которая выполняется посредством идентификации 280 треугольников, например, может использоваться для того, чтобы выбирать правило преобразования, которое должно использоваться посредством модуля 290 преобразования.
Модуль 290 преобразования выполнен с возможностью определять преобразованную позицию 292 проекции позиции объекта на базовую плоскость на основе определенной позиции 272 в одном из треугольников, вписываемых в окружность (например, с использованием преобразования или линейного преобразования, преобразующего треугольник, в котором находится определенная позиция, в ассоциированный треугольник в базовой плоскости). Соответственно, преобразованная позиция 292 (которая может представлять собой двумерную позицию в базовой плоскости) и расстояние позиции объекта относительно базовой зоны (например, значение 242 z) могут, вместе, определять позицию аудиообъекта в декартовой системе координат.
Следует отметить, что функциональность оборудования 200, например, может быть обратной относительно функциональности оборудования 100, так что можно преобразовывать сферическое представление 112, предоставленное посредством оборудования 100, обратно в декартово представление позиции объекта с использованием оборудования 200 (при этом информация 210 позиций объектов в сферическом представлении (которая может содержать угол 218 подъема, радиус 228 сферической области и угол 258 азимута) может быть равна сферическому представлению 112, предоставленному посредством оборудования 100, или может извлекаться из сферического представления 112 (например, может представлять собой кодированную с потерями или квантованную версию сферического представления 112). Например, посредством соответствующего выбора обработки, может достигаться то, что преобразование, выполняемое посредством оборудования 100, является обратимым с небольшими усилиями посредством оборудования 200.
Кроме того, следует отметить, что то, что предусмотрено преобразование позиции в одном из треугольников в сферической области в позицию в базовой плоскости декартова представления, представляет собой важный признак оборудования 200, поскольку эта функциональность предоставляет возможность преобразования, которое предоставляет хорошее впечатление от прослушивания со средней сложностью.
Кроме того, следует отметить, что оборудование 200 может дополняться посредством любых из признаков, функциональностей и подробностей, которые описываются в данном документе, как отдельно, так и в комбинации.
3. Дополнительные варианты осуществления и соображения
Далее описываются некоторые подробности относительно правила преобразования для метаданных позиций объектов или для метаданных позиций динамических объектов. Следует отметить, что позиция не должна обязательно быть динамической. Также могут преобразовываться позиции статических объектов.
Варианты осуществления согласно изобретению относятся к преобразованию из метаданных объектов на стороне формирования, в частности, данных позиций объектов, в случае если на стороне формирования используется декартова система координат, но в транспортном формате метаданные позиций объектов описываются в сферических координатах.
Следует признать то, что возникает такая проблема, что, в декартовых координатах, громкоговорители не всегда находятся в математически "корректных" позициях по сравнению со сферической системой координат. Следовательно, требуется преобразование, которое обеспечивает то, что кубоидная зона из декартова пространства проецируется корректно на сферу или полусферу.
Например, позиции громкоговорителей одинаково подготавливаются посредством рендеринга с использованием модуля рендеринга аудиообъектов на основе сферической системы координат (например, модуля рендеринга, описанного в MPEG-H-стандарте трехмерного аудио) либо с использованием декартова модуля рендеринга с помощью соответствующего алгоритма преобразования.
Обнаружено, что кубоидные поверхности обязательно должны преобразовываться или проецироваться (либо иногда должны преобразовываться или проецироваться) на поверхность сферы, на которой расположены громкоговорители. Кроме того, желательно (или иногда требуется) то, что алгоритм преобразования имеет небольшую вычислительную сложность. Это является полностью истинным для этапа преобразования из сферических в декартовы координаты.
Примерный вариант применения для изобретения заключается в следующем: использовать инструментальные средства для авторской разработки аудиообъектов предшествующего уровня техники, которые зачастую используют пространство (x, y, z) декартовых параметров для координат аудиообъектов, но используют транспортный формат, который описывает позиции аудиообъектов в сферических координатах (азимут, подъем, радиус), такой как, например, MPEG-H-стандарт трехмерного аудио. Тем не менее, транспортный формат может быть агностическим относительно модуля рендеринга (сферического или декартова), который применяется впоследствии.
Следует отметить, что далее изобретение описывается, в качестве примера, для 5.1+4H-компоновки громкоговорителей, но может легко распространяться на все виды компоновок громкоговорителей (например, 7.1+4, 22.2 и т.д.) или варьирующиеся пространства декартовых параметров (другую ориентацию осей или другое масштабирование осей,...,).
Общее сравнение систем координат
В дальнейшем предоставляется общее сравнение систем координат.
С этой целью, фиг. 3 показывает схематичное представление примера помещения на основе декартовых параметров с соответствующими позициями громкоговорителей для 5.1+4H-компоновки. Как можно видеть, нормализованная позиция объекта, например, может находиться в кубоидах, имеющих углы в координатах (-1;-1;0), (1;-1;0), (1;1;0), (-1;1;0), (-1;-1;1), (1;-1;1), (1;1;1) и (-1;1;1).
Для сравнения, фиг. 4 показывает схематичное представление сферической системы координат согласно MPEG-H-стандарту трехмерного аудио ISO/IEC 23008-3:2015. Как можно видеть, позиция объекта описывается посредством угла азимута, посредством угла подъема и посредством радиуса (сферической области).
Тем не менее, следует отметить, что координаты X и Y в ISO-системе координат задаются по-иному по сравнению с декартовой системой координат, описанной выше.
Тем не менее, следует отметить, что системы координат, показанные здесь, должны рассматриваться только в качестве примеров.
3.1. Преобразование на стороне формирования (преобразование из декартова в сферическое представление или преобразование из декартова в сферическое представление)
Далее описывается преобразование из декартова представления (например, позиции объекта) в сферическое представление (например, позиции объекта), которое предпочтительно может выполняться посредством оборудования 100.
Следует отметить, что признаки, функциональности и подробности, описанные здесь, в необязательном порядке могут перениматься в оборудовании 100, как отдельно, так и в комбинации.
Тем не менее, "преобразование на стороне проекции" (которое представляет собой преобразование из декартова представления в сферическое представление), описанное здесь, может рассматриваться в качестве варианта осуществления согласно изобретению, который может использоваться как есть (либо в комбинации с одним или более признаков и функциональностей оборудования 100, либо в комбинации с одним или более признаков и функциональностей, заданных посредством формулы изобретения).
Здесь предполагается, например, что позиции громкоговорителей задаются в сферических координатах, как описано, например, посредством ITU-рекомендации ITU-R BS.2159-7 и описано в MPEG-H-спецификации.
Преобразование применяется в раздельном подходе. Сначала координаты X и Y преобразуются в угол φ азимута и радиус rxy в азимутальной плоскости/плоскости XY (например, в базовой плоскости). Это, например, может выполняться посредством блоков 120, 130, 140 оборудования 100. Впоследствии, угол подъема и радиус в трехмерном пространстве (зачастую обозначаемый в качестве значения радиуса сферической области) вычисляются с использованием координаты Z. Это может выполняться, например, посредством блоков 146 (необязательный), 150, 160, 170 (необязательные) и 180 (необязательный). Преобразование описывается, в качестве примера (или примерно), для 5.1+4H-компоновки громкоговорителей.
Частный случай x=y=0;
Следует отметить, что, необязательно, следующее предположение может задаваться для частного случая x=y=0.
для z>0:
φ=неопределенный (=0°), θ=90° и r=z.
для z=0:
φ=неопределенный (=0°), θ=0° и r=0.
1) Преобразование в плоскости XY
Преобразование, которое осуществляется в плоскости XY, например, может содержать три этапа, которые описываются ниже.
Этап 1: (необязательный; может представлять собой подготовительный этап)
На первом этапе, треугольники в декартовой системе координат преобразуются в соответствующие треугольники в сферической системе координат.
Например, фиг. 6 показывает графическое представление треугольников в базовой зоне и ассоциированных треугольников в сферической области. Например, графическое представление 610 показывает четыре треугольника. Например, предусмотрено направление 620 по координатам X и направление 622 по координатам Y. Начало координат, например, находится в позиции 624. Например, четыре треугольника вписываются в квадрат, который, например, может содержать нормализованные координаты (-1;-1), (1;-1), (1;1) и (-1;1). Первый треугольник (показан зеленым цветом или с использованием первой штриховки) обозначается с помощью 630 и содержит углы в (1;1), (-1;1) и (0;0). Второй треугольник, показанный фиолетовым цветом или с использованием второй штриховки, обозначается с помощью 632 и имеет углы в координатах (-1;1), (-1;-1) и (0;0). Третий треугольник 634 показывается красным цветом или с использованием третьей штриховки и имеет углы в координатах (-1;-1), (1;-1) и (0;0). Четвертый треугольник 636 показывается белым цветом или с использованием четвертой штриховки и имеет углы в координатах (1;-1), (1;1) и (0;0).
Соответственно, полная внутренняя зона (нормализованного) единичного квадрата заполнена посредством четырех треугольников, при этом все четвертые треугольники имеют один из своих углов в начале системы координат. Можно задавать то, что первый треугольник 630 находится "впереди" относительно начала координат (например, впереди слушателя, предположительно находящегося в начале координат), второй треугольник 632 находится слева относительно начала координат, третий треугольник находится "позади" относительно начала координат, и четвертый треугольник 636 находится справа относительно начала координат. Иными словами, первый треугольник 630 покрывает первый диапазон углов при просмотре из начала координат, второй треугольник 632 покрывает второй диапазон углов при просмотре из начала координат, третий треугольник покрывает третий диапазон углов при просмотре из начала координат, и четвертый треугольник покрывает четвертый диапазон углов при просмотре из начала координат. Следует отметить, что позиции четырех возможных динамиков совпадают с углами единичного квадрата, и что позиция пятого динамика (центрального динамика) предположительно может находиться в координате (0;1).
Графическое представление 650 показывает ассоциированные треугольники, которые вписываются в единичную окружность в сферической системе координат.
Как можно видеть в графическом представлении 650, четыре треугольника вписываются в единичную окружность, которая, например, находится в базовой зоне сферической системы координат (например, для угла подъема в нуль). Первый треугольник 660 в сферической области показывается зеленым цветом или в первой штриховке и ассоциирован с первым треугольником 630 в базовой зоне. Второй треугольник 662 в сферической области показывается фиолетовым цветом или во второй штриховке и ассоциирован со вторым треугольником 632 в базовой зоне. Третий треугольник 664 в сферической области показывается красным цветом или в третьей штриховке и ассоциирован с третьим треугольником 634 в базовой зоне. Четвертый треугольник 666 в сферической области показывается белым цветом или в четвертой штриховке и ассоциирован с четвертым треугольником 636 в базовой зоне. Смежные треугольники в сферической области совместно используют общий край треугольников. Кроме того, четыре треугольника в сферической области покрывают полный диапазон в 360° при просмотре из начала координат. Например, первый треугольник 660 в сферической области покрывает первый диапазон углов при просмотре из начала координат, второй треугольник 662 в сферической области покрывает второй диапазон углов при просмотре из начала координат, третий треугольник 664 в сферической области покрывает третий диапазон углов при просмотре из начала координат, и четвертый треугольник 666 в сферической области покрывает четвертый диапазон углов при просмотре из начала координат. Например, первый треугольник 660 в сферической области может покрывать диапазон углов впереди относительно начала координат, второй треугольник 662 в сферической области может покрывать диапазон углов слева относительно начала координат, третий треугольник в сферической области может покрывать диапазон углов позади относительно начала координат, и четвертый треугольник 666 в сферической области может покрывать диапазон углов справа относительно начала координат. Кроме того, позиции четырех динамиков могут размещаться в позициях на окружности, которые представляют собой общие углы смежных треугольников в сферической области. Другая позиция динамика (например, центрального динамика) может размещаться за пределами треугольников в сферической области (например, на окружности "впереди" относительно первого треугольника в сферической области).
Вообще говоря, также следует отметить, что диапазоны углов, покрываемые треугольниками в сферической области, могут отличаться от диапазонов углов, покрываемых ассоциированными треугольниками в базовой зоне. Например, тогда как каждый из треугольников в базовой зоне, например, может покрывать диапазон углов 90° при просмотре из начала декартовой системы координат, первый, второй и четвертый треугольники в сферической области могут покрывать диапазоны углов, которые меньше 90°, и третий треугольник в сферической области может покрывать диапазон углов, который превышает 90° (при просмотре из начала сферической системы координат). Альтернативно, может использоваться большее число треугольников, как показано в нижеприведенном примере с 5 сегментами.
Кроме того, тогда как треугольники 630, 632, 634, 636 в базовой зоне могут быть одинаковыми, треугольники в сферической области могут иметь различные формы, при этом форма второго треугольника 666 в сферической области и форма четвертого треугольника 666 в сферической области могут быть одинаковыми (но зеркально отраженными относительно друг друга).
Кроме того, следует отметить, что более высокое число треугольников может использоваться как в декартовом представлении, так и в сферическом представлении.
Далее показывается преобразование треугольников в декартовой системе координат в соответствующие треугольники в сферической системе координат, в качестве примера, для одного треугольника.
В качестве примера, фиг. 7 показывает графическое представление треугольника в базовой зоне и ассоциированного треугольника в сферической области. Как можно видеть в графическом представлении 710, треугольник в базовой зоне, который может представлять собой "второй треугольник в базовой зоне", содержит углы в координатах P1, P2 и в начале декартовой системы координат. Ассоциированный треугольник в сферической области (например, "второй треугольник в сферической области") может содержать углы в координатах и в начале декартовой системы координат, как можно видеть в графическом представлении 750. Например, точка P в первом треугольнике 632 в базовой зоне преобразуется в соответствующую точку в ассоциированном треугольнике 662 в сферической области.
Треугольники либо позиции в них, такие как, например, точка P, могут проецироваться (или преобразовываться) относительно друг друга с использованием линейного преобразования:
Матрица преобразования может вычисляться (или предварительно вычисляться), например, с использованием известных позиций углов (ассоциированных) треугольников , , и . Эти точки зависят от компоновки громкоговорителей и соответствующих позиций громкоговорителей и треугольника, в котором расположена позиция P.
Тем не менее, следует отметить, что матрица преобразования, например, может предварительно вычисляться.
Например, если концепция реализуется с использованием оборудования 100, модуль 120 определения треугольников может определять то, в каком треугольнике расположена позиция P, которая должна преобразовываться из декартова представления в сферическое представление (или, более точно, может определять то, в каком из треугольников в базовой зоне размещается (двумерная) проекция P (исходной, трехмерной) позиции на базовую плоскость, при этом предполагается, что позиция может представлять собой трехмерную позицию, описанную посредством координаты X, координаты Y и координаты Z). Согласно определению того, в каком из треугольников находится проекция P позиции, соответствующая матрица преобразования может выбираться и может применяться (например, к проекции P) посредством модуля 130 определения преобразованных позиций.
Далее описывается пример относительно треугольников в базовой зоне и треугольников в сферической области.
Например, 5.1+4H-компоновка громкоговорителей содержит в среднем слое стандартную 5.1-компоновку громкоговорителей, которая представляет собой базу для проекции в плоскости XY. В таблице 1, соответствующие точки P1, P2, и задаются для четырех треугольников, которые должны проецироваться. Тем не менее, следует отметить, что точки, как показано в таблице 1, должны рассматриваться только в качестве примера, и что концепция также может применяться в комбинации с другими компоновками громкоговорителей, при этом треугольники естественно могут выбираться другим способом.
Этап 2
На втором этапе, радиус (который также может обозначаться как промежуточный радиус или значение промежуточного радиуса) и угол φ азимута вычисляются на основе преобразованных координат и . Например, это вычисление выполняется посредством модуля отклонения углов азимута и посредством модуля определения значений промежуточного радиуса, который показан как блок 140 в оборудовании 100. Например, может выполняться следующее вычисление или преобразование:
Этап 3 (необязательный)
Радиус (например, значение промежуточного радиуса) может регулироваться, поскольку громкоговорители, например, размещаются на квадрате в декартовой системе координат, в отличие от сферической системы координат. В сферической системе координат, громкоговорители позиционируются, например, на окружности.
Чтобы регулировать радиус, граница декартова квадрата громкоговорителей проецируется на окружность сферической системы координат. Это означает то, что хорда проецируется на соответствующий сегмент окружности.
Следует отметить, что эта функциональность, например, может выполняться посредством модуля 146 регулирования радиуса оборудования 100.
Фиг. 8 иллюстрирует масштабирование с учетом, например, первого треугольника в сферической области. Точка 840 в первом треугольнике 830 в сферической области описывается, например, посредством значения промежуточного радиуса и посредством угла φ азимута. Точки на хорде, например, могут типично содержать значения (промежуточного) радиуса, которые меньше радиуса окружности (при этом радиус окружности может быть равным 1, если предполагается, что радиус нормализуется). Тем не менее, "радиус" (или координата радиуса, или расстояние от начала координат) точек на хорде может зависеть от угла азимута, при этом конечные точки хорды могут иметь значение радиуса, которое является идентичным радиусу окружности. Тем не менее, для точек в первом треугольнике в сферической области, значения радиуса могут масштабироваться посредством соотношения между радиусом окружности (например, 1) и значением радиуса (например, расстоянием от начала координат) соответствующей точки на хорде. Соответственно, значения радиуса точек на хорде могут масштабироваться таким образом, что они становятся равными радиусу окружности. Другие точки (такие как, например, точка 840), которые имеют идентичный угол азимута, масштабируются пропорциональным способом.
В дальнейшем предоставляется пример для такого регулирования радиуса (более точно, значения промежуточного радиуса):
2) Преобразование компонента по оси Z
Например, подъем верхнего слоя предположительно составляет угол подъема в 30° в сферической системе координат.
Иными словами, в качестве примера предполагается то, что приподнятые динамики (которые могут считаться составляющими "верхний слой") размещаются под углом подъема в 30°.
Фиг. 9 показывает, в качестве примера, определение величин в сферической системе координат. Как можно видеть на фиг. 9, определения показаны в виде двумерной проекции. В частности, фиг. 9 показывает (отрегулированное) значение rxy промежуточного радиуса, координату Z декартова представления, значение радиуса сферической области и угол подъема.
Далее описываются различные этапы для того, чтобы определять и либо их скорректированные или отрегулированные версии r, θ.
Этап 1:
В примере, можно вычислять угол подъема на основе радиуса rxy (который может быть значением отрегулированного промежуточного радиуса) и компонента по оси Z (который может быть значением z декартова представления). Это вычисление, например, может выполняться посредством модуля 150 вычисления углов подъема. Кроме того, способ также содержит вычисление трехмерного радиуса (также обозначенного в качестве значения радиуса сферической области) на основе угла (также обозначенного в качестве угла подъема) и rxy. Например, может использоваться вычисление= rxy/cos().
Тем не менее, альтернативно, трехмерный радиус может вычисляться на основе радиуса rxy и компонента по оси Z. Это вычисление, например, может выполняться посредством модуля 160 вычисления значений радиуса сферической области.
Этап 2: (необязательный)
В необязательном порядке, может выполняться коррекция радиуса вследствие проекции прямоугольных границ декартовой системы на единичную окружность сферической координаты.
Фиг. 10 показывает схематичное представление этого преобразования.
Как можно видеть из фиг. 10, значение радиуса сферической области может принимать значения, которые превышают радиус единичной окружности в сферической системе координат. Со ссылкой на вышеприведенное уравнение, упомянутое на предыдущих этапах, может принимать значения вплоть до при таком допущении, что rxy может принимать значения между 0 и 1, и при таком допущении, что z может принимать значения между 0 и 1 или между -1 и 1 (например, для точек в единичном кубе в сферической системе координат).
Соответственно, значение радиуса сферической области корректируется или регулируется, чтобы за счет этого получать скорректированное (или отрегулированное) значение r радиуса сферической области. Например, коррекция или регулирование может выполняться с использованием следующих уравнений или правил преобразования:
Кроме того, следует отметить, что вышеуказанное регулирование или коррекция значения радиуса сферической области может выполняться посредством модуля 180 коррекции значений радиуса сферической области.
Этап 3: (необязательный)
В необязательном порядке, коррекция угла подъема может выполняться вследствие различного размещения громкоговорителей в декартовой ( и сферической (θ=30°) системе координат.
Другими словами, поскольку высотные громкоговорители или приподнятые громкоговорители, например, размещаются с различными подъемами в декартовой системе координат и в сферической системе координат, в необязательном порядке может выполняться преобразование в θ. Такое преобразование может быть полезным для того, чтобы улучшать впечатление от прослушивания, которое может достигаться на стороне аудиодекодера. Например, преобразование в θ должно выполняться согласно следующему уравнению или правилу преобразования:
Тем не менее, могут использоваться более общие формулы, как описано ниже.
В качестве вывода, описаны подробности относительно функциональности, которая может использоваться при преобразовании декартова представления в сферическое представление. Подробности, описанные здесь, в необязательном порядке могут вводиться в оборудование 100, как отдельно, так и в комбинации.
3.2 Преобразование на стороне декодера (преобразование из сферического в декартово представление или "Sph 2 Cart") (вариант осуществления)
На стороне декодера, может выполняться обратное преобразование (которое может быть обратным относительно процедуры, выполняемой на стороне формирования). Это означает то, что этапы преобразования, например, могут выполняться в противоположном порядке.
Далее описываются некоторые подробности.
1) Преобразование подъема и проекция радиуса на плоскость XY (вычисление компонента по оси Z)
Частный случай θ=90°: (необязательный)
В необязательном порядке, специальная обработка может выполняться в случае θ=90°. Например, следующие настройки могут использоваться в этом случае:
x=0, y=0 и z=r
Этап 1: (необязательный)
В необязательном порядке, может выполняться преобразование θ в , которое, например, может выполнять в обратном порядке (необязательное) преобразование в θ, упомянутое выше. Например, преобразование θ в может выполняться с использованием следующего правила преобразования:
Следует отметить, что преобразование θ в , например, может выполняться посредством модуля 220 преобразования углов подъема, который может считаться необязательным.
Этап 2: (необязательный)
В необязательном порядке, может выполняться инверсия коррекции радиуса. Например, вышеуказанная коррекция радиуса вследствие проекции прямоугольных границ декартовой системы на единичную окружность сферической системы координат может выполняться в обратном порядке посредством такой операции.
Например, инверсия коррекции радиуса может выполняться с использованием следующего правила преобразования:
Например, инверсия коррекции радиуса может выполняться посредством модуля 230 преобразования значений радиуса сферической области.
Этап 3:
Кроме того, Z-координата z и значение радиуса или "значение rxy промежуточного радиуса" могут вычисляться на основе значения преобразованного радиуса сферической области и на основе преобразованного угла подъема (или, альтернативно, на основе значения r радиуса сферической области и угла θ подъема, если вышеуказанное необязательное преобразование в θ и вышеуказанная необязательная инверсия коррекции радиуса опускаются).
Например, вычисление z и rxy может выполняться согласно следующим правилам преобразования:
Например, вычисление координаты Z может выполняться посредством модуля 240 вычисления координат Z. Вычисление rxy, например, может выполняться посредством модуля 250 вычисления промежуточного радиуса.
2) Вычисление компонента по оси X и Y
Далее описывается вычисление компонента по оси X и компонента по оси Y. Например, компонент по оси X и компонент по оси Y определяются на основе промежуточного радиуса rxy и на основе угла φ азимута.
Этап 1: (необязательный)
В необязательном порядке, может выполняться инверсия коррекции радиуса. Например, необязательное регулирование радиуса, которое выполняется, поскольку громкоговорители размещаются на квадрате в декартовой системе координат в отличие от сферической системы координат, может выполняться в обратном порядке.
Необязательная инверсия коррекции радиуса, например, может выполняться согласно следующему правилу преобразования:
Например, необязательная инверсия коррекции радиуса может выполняться посредством модуля 260 коррекции радиуса.
Этап 2:
Кроме того, может выполняться вычисление координат и . Например, и могут определяться на основе скорректированного значения радиуса и на основе угла азимута. Например, следующее правило преобразования может использоваться для вычисления и :
Этап 3:
Кроме того, может выполняться вычисление координат x и y, которые представляют собой координаты в декартовом представлении.
В частности, может использоваться линейное преобразование T-1. Матрица T-1 преобразования может представлять собой инверсию матрицы T преобразования, упомянутой выше. Матрица T-1 преобразования, например, может выбираться в зависимости от вопроса касательно того, в каком из треугольников в сферической области размещаются координаты и . С этой целью, в необязательном порядке может выполняться идентификация 280 треугольников. Затем может выбираться соответствующая матрица T-1 преобразования, которая задается так, как упомянуто выше.
Например, вычисление координат x и y может выполняться согласно следующему правилу преобразования:
Например, вычисление x и y должно выполняться посредством модуля 290 преобразования, при этом соответствующая матрица T-1 преобразования выбирается в зависимости от координат и и, в частности, в зависимости от вопроса касательно того, в каком из треугольников в сферической области размещается точка, имеющая координаты и .
В качестве вывода, описано извлечение декартовых координат x, y, z на основе сферических координат r, φ и θ.
Тем не менее, следует отметить, что вышеприведенное вычисление может адаптироваться, например, посредством выбора различных треугольников в базовой зоне, треугольников в сферической области или констант правил преобразования. Кроме того, число треугольников может варьироваться, например, посредством разделения одного из треугольников в базовой зоне на два треугольника в базовой зоне и/или посредством задания большего числа треугольников в сферической области.
Также следует отметить, что любые из подробностей, описанных в данном документе, в необязательном порядке могут вводиться в оборудование 200, как отдельно, так и в комбинации.
3. Поставщик аудиопотоков согласно фиг. 11
Фиг. 11 показывает принципиальную блок-схему поставщика аудиопотоков, согласно варианту осуществления настоящего изобретения.
Поставщик аудиопотоков согласно фиг. 11 обозначается полностью с помощью 1100. Поставщик 1100 аудиопотоков выполнен с возможностью принимать входную информацию позиций объектов, описывающую позицию аудиообъекта в декартовом представлении. Кроме того, поставщик аудиопотоков выполнен с возможностью предоставлять аудиопоток 1112, содержащий выходную информацию позиций объектов, описывающую позицию аудиообъекта в сферическом представлении. Поставщик 1100 аудиопотоков содержит оборудование 1130 для преобразования позиции объекта для аудиообъекта из декартова представления в сферическое представление.
Оборудование 1130 используется для того, чтобы преобразовывать декартово представление, которое включается во входную информацию позиций объектов, в сферическое представление, которое включается в аудиопоток 1112. Соответственно, поставщик 1100 аудиопотоков допускает предоставление аудиопотока, описывающего позицию объекта в сферическом представлении, даже если входная информация позиций объектов описывает только позицию аудиообъекта в декартовом представлении. Таким образом, аудиопоток 1112 является применимым посредством аудиодекодеров, которые требуют сферического представления позиции объекта, чтобы надлежащим образом подготавливать посредством рендеринга аудиоконтент. Таким образом, поставщик 1100 аудиопотоков оптимально подходит для использования в окружении формирования, в котором информация позиций объектов доступна в декартовом представлении. Следует отметить, что множество окружений обработки аудио адаптируются с возможностью легко указывать позицию аудиообъекта в декартовом представлении (например, с использованием координат x, y, z). Таким образом, поставщик 1100 аудиопотоков может принимать информацию позиций объектов из такого оборудования обработки аудио и предоставлять аудиопоток 1112, который является применимым посредством аудиодекодера, на базе сферического представления информации позиций объектов.
Кроме того, следует отметить, что поставщик 1100 аудиопотоков в необязательном порядке может содержать дополнительные функциональности. Например, поставщик 1100 аудиопотоков может содержать аудиокодер, который принимает входную аудиоинформацию и предоставляет, на ее основе, кодированное аудиопредставление. Например, поставщик аудиопотоков может принимать одноканальный входной сигнал или может принимать многоканальный входной сигнал и предоставлять, на его основе, кодированное представление одноканального входного аудиосигнала или многоканального входного аудиосигнала, которое также включается в аудиопоток 1112. Например, один или более входных каналов могут представлять аудиосигнал из "аудиообъекта" (например, из конкретного аудиоисточника, такого как конкретный музыкальный инструмент или конкретный другой источник звука). Этот аудиосигнал может кодироваться посредством аудиокодера, включенного в поставщика аудиопотоков, и кодированное представление может быть включено в аудиопоток. Кодирование, например, может использовать кодер в частотной области (такой как AAC-кодер или его улучшенная версия) или аудиокодер в области линейного прогнозирования (такой как аудиокодер на основе LPC). Тем не менее, позиция аудиообъекта, например, может описываться посредством входной информации 1110 позиций объектов и может преобразовываться в сферическое представление посредством оборудования 1130, при этом сферическое представление входной информации позиций объектов может быть включено в аудиопоток. Соответственно, аудиоконтент аудиообъекта может кодироваться отдельно от информации позиций объектов, что типично значительно повышает эффективность кодирования.
Тем не менее, следует отметить, что поставщик аудиопотоков в необязательном порядке может содержать дополнительные функциональности, такие как функциональность понижающего сведения (например, что понижающе сводить сигналы из множества аудиообъектов в один или два или более сигналов понижающего сведения), и может быть выполнен с возможностью предоставлять кодированное представление одного или двух или более сигналов понижающего сведения в аудиопоток 1112.
Кроме того, поставщик аудиопотоков в необязательном порядке может также содержать функциональность для того, чтобы получать некоторую вспомогательную информацию, которая описывает взаимосвязь между двумя или более объектных сигналов из двух или более аудиообъектов (такую как, например, межобъектная корреляция, межобъектная разность времен, межобъектная разность фаз и/или межобъектная разность уровней). Эта вспомогательная информация может быть включена в аудиопоток 1112 посредством поставщика аудиопотоков, например, в кодированной версии.
Таким образом, информация может быть включена в аудиопоток 1112 посредством поставщика аудиопотоков, например, в кодированной версии.
Таким образом, поставщик 1100 аудиопотоков, например, может быть выполнен с возможностью включать кодированный сигнал понижающего сведения, кодированные метаданные взаимосвязей между объектами (вспомогательную информацию) и кодированную информацию позиций объектов в аудиопоток, при этом кодированная информация позиций объектов может находиться в сферическом представлении.
Тем не менее, поставщик 1100 аудиопотоков в необязательном порядке может дополняться посредством любых из признаков и функциональностей, известных специалистам в данной области техники относительно поставщиков аудиопотоков и аудиокодеров.
Кроме того, следует отметить, что оборудование 1130, например, может соответствовать оборудованию 100, описанному выше, и в необязательном порядке может содержать дополнительные признаки и функциональности, и подробности, как описано в данном документе.
4. Система формирования аудиоконтента согласно фиг. 12
Фиг. 12 показывает принципиальную блок-схему системы 1200 формирования аудиоконтента, согласно варианту осуществления настоящего изобретения.
Система 1200 формирования аудиоконтента может быть выполнена с возможностью определять информацию позиций объектов, описывающую позицию аудиообъекта в декартовом представлении. Например, система формирования аудиоконтента может содержать пользовательский интерфейс, в котором пользователь может вводить информацию позиций объектов в декартовом представлении. Тем не менее, необязательно, система формирования аудиоконтента также может извлекать информацию позиций объектов в декартовом представлении из другой входной информации, например, из измерения позиции объекта или из моделирования перемещения объекта, или из любой другой соответствующей функциональности.
Кроме того, система формирования аудиоконтента содержит оборудование для преобразования позиции объекта для аудиообъекта из декартова представления в сферическое представление, как описано в данном документе. Оборудование для преобразования позиции объекта обозначается с помощью 1230 и может соответствовать оборудованию 100, как описано выше. Кроме того, оборудование 1230 используется для того, чтобы преобразовывать определенное декартово представление в сферическое представление.
Кроме того, система формирования аудиоконтента выполнена с возможностью включать сферическое представление, предоставленное посредством оборудования 1230, в аудиопоток 1212.
Таким образом, система формирования аудиоконтента может предоставлять аудиопоток, содержащий информацию позиций объектов в сферическом представлении, даже если информация позиций объектов может первоначально определяться в декартовом представлении (например, из пользовательского интерфейса либо с использованием любой другой концепции определения позиций объектов).
Естественно, система формирования аудиоконтента также может включать другую информацию аудиоконтента, например, кодированное представление аудиосигнала и возможно дополнительную метаинформацию, в аудиопоток 1212. Например, система формирования аудиоконтента может включать дополнительную информацию, описанную относительно поставщика аудиопотоков 1110, в аудиопоток 1212.
Таким образом, система 1200 формирования аудиоконтента в необязательном порядке может содержать аудиокодер, который предоставляет кодированное представление одного или более аудиосигналов. Система 1200 формирования аудиоконтента также в необязательном порядке может содержать понижающий микшер, который понижающе сводит аудиосигналы из множества аудиообъектов в один или два или более сигналов понижающего сведения. Кроме того, система формирования аудиоконтента в необязательном порядке может быть выполнена с возможностью извлекать информацию взаимосвязей между объектами (такую как, например, информация разности уровней объектов или значения межобъектной корреляции, или значения межобъектной разности времен и т.п.) и может включать ее кодированное представление в аудиопоток 1212.
Если обобщить, система 1200 формирования аудиоконтента может предоставлять аудиопоток 1212, в котором информация позиций объектов включается в сферическое представление, даже если позиция объекта первоначально предоставляется в декартовом представлении.
Естественно, оборудование 1230 для преобразования позиции объекта из декартова представления в сферическое представление может дополняться посредством любых из признаков и функциональностей, и подробностей, описанных в данном документе.
5. Оборудование воспроизведения аудио согласно фиг. 13
Фиг. 13 показывает принципиальную блок-схему оборудования 1300 воспроизведения аудио, согласно варианту осуществления настоящего изобретения.
Оборудование 1300 воспроизведения аудио выполнено с возможностью принимать аудиопоток 1310, содержащий сферическое представление информации позиций объектов. Кроме того, аудиопоток 1310 типично также содержит кодированные аудиоданные.
Оборудование воспроизведения аудио содержит оборудование 1330 для преобразования позиции объекта из сферического представления в декартово представление, как описано в данном документе. Оборудование 1330 для преобразования позиции объекта, например, может соответствовать оборудованию 200, описанному в данном документе. Таким образом, оборудование 1330 для преобразования позиции объекта может принимать информацию позиций объектов в сферическом представлении и предоставлять информацию позиций объектов в декартовом представлении, как показано по ссылке с номером 1332.
Кроме того, оборудование 1300 воспроизведения аудио также содержит модуль 1340 рендеринга, который выполнен с возможностью подготавливать посредством рендеринга аудиообъект во множество канальных сигналов 1350, ассоциированных со звуковыми электроакустическими преобразователями, в зависимости от декартова представления 1332 информации позиций объектов.
В необязательном порядке, оборудование воспроизведения аудио также содержит декодирование 1360 аудио (или аудиодекодер), которое, например, может принимать кодированные аудиоданные, которые включаются в аудиопоток 1310, и предоставлять, на их основе, декодированную аудиоинформацию 1362. Например, декодирование аудио может предоставлять, в качестве декодированной аудиоинформации 1362, один или более канальных сигналов либо один или более объектных сигналов в модуль 1340 рендеринга.
Кроме того, следует отметить, что модуль 1340 рендеринга может подготавливать посредством рендеринга сигнал аудиообъекта в позиции (в окружении прослушивания), определенной посредством декартова представления 1332 позиции объекта. Таким образом, модуль 1340 рендеринга может использовать декартово представление 1332 позиции объекта для того, чтобы определять то, как сигнал, ассоциированный с аудиообъектом, который должен распределяться в канальные сигналы 1350. Другими словами, модуль 1340 рендеринга определяет, на основе декартова представления информации позиций объектов, то, посредством каких звуковых электроакустических преобразователей или динамиков подготавливается посредством рендеринга сигнал из аудиообъекта (и то, с какой интенсивностью сигнал подготавливается посредством рендеринга в различных канальных сигналах).
Это предоставляет эффективную концепцию для воспроизведения аудио. Кроме того, следует отметить, что могут использоваться несколько типов модулей рендеринга, которые принимают информацию позиций объектов в декартовом представлении, поскольку множество модулей рендеринга типично испытывают сложности при обработке представления позиций объектов в сферическом представлении (либо вообще не могут решать проблемы, связанные с информацией позиций объектов в сферическом представлении).
Таким образом, посредством использования оборудования 1330 для преобразования информации позиций объектов в сферическом представлении в декартово представление, оборудование воспроизведения аудио может использовать оборудование рендеринга, которое оптимально подходит для информации позиций объектов, предоставленной в декартовом представлении. Кроме того, следует отметить, что оборудование 1330 может реализовываться со сравнительно небольшими вычислительными усилиями, как пояснено выше.
Кроме того, следует отметить, что оборудование 1330 может дополняться посредством любых из признаков и функциональностей, и подробностей, описанных относительно оборудования 200.
6. Способ согласно фиг. 14
Фиг. 14 показывает блок-схему последовательности операций способа для преобразования позиции объекта для аудиообъекта из декартова представления в сферическое представление.
Способ 1400 по п. 14 содержит определение 1410 того, в каком из числа треугольников в базовой зоне размещается проекция позиции объекта для аудиообъекта на базовую зону. Способ также содержит определение 1420 преобразованной позиции проекции позиции объекта с использованием линейного преобразования, которое преобразует треугольник в базовой зоне в его ассоциированный треугольник в сферической области.
Способ также содержит извлечение 1430 угла азимута и значения промежуточного радиуса из преобразованной позиции. Способ также содержит получение 1440 значения радиуса сферической области и угла подъема в зависимости от значения промежуточного радиуса и в зависимости от расстояния позиции объекта относительно базовой зоны.
Этот способ основан на соображениях, идентичных соображениям для вышеуказанного оборудования для преобразования позиции объекта из декартова представления в сферическое представление. Соответственно, способ 1400 может дополняться посредством любых из признаков, функциональностей и подробностей, описанных в данном документе, например, относительно оборудования 100.
7. Способ согласно фиг. 15
Фиг. 15 показывает блок-схему последовательности операций способа для преобразования позиции объекта для аудиообъекта из сферического представления в декартово представление.
Способ содержит получение 1510 значения, описывающего расстояние позиции объекта относительно базовой зоны и промежуточный радиус, на основе угла подъема или преобразованного угла подъема и на основе радиуса сферической области или преобразованного радиуса сферической области.
Способ также содержит определение 1520 позиции в одном из множества треугольников, вписываемых в окружность, на основе промежуточного радиуса или его скорректированной версии и на основе угла азимута.
Способ также содержит определение 1530 преобразованной позиции проекции позиции объекта на базовую плоскость декартова представления на основе определенной позиции в одном из треугольников, вписываемых в окружность.
Этот способ основан на соображениях, идентичных соображениям для вышеописанного оборудования. Кроме того, способ 1500 может дополняться посредством любых из признаков, функциональностей и подробностей, описанных в данном документе.
В частности, способ 1500 может дополняться посредством любых из признаков, функциональностей и подробностей, описанных относительно оборудования 200.
8. Способ согласно фиг. 16
Фиг. 16 показывает блок-схему последовательности операций способа 1600 для воспроизведения аудио.
Способ содержит прием 1610 потока аудио, содержащего сферическое представление информации позиций объектов.
Способ также содержит преобразование 1620 сферического представления в декартово представление информации позиций объектов.
Способ также содержит рендеринг 1630 аудиообъекта во множество канальных сигналов, ассоциированных со звуковыми электроакустическими преобразователями, в зависимости от декартова представления информации позиций объектов.
В частности, способ 1600 может дополняться посредством любых из признаков, функциональностей и подробностей, описанных в данном документе.
9. Заключения и дополнительные варианты осуществления
Далее описываются дополнительные варианты осуществления, которые могут использоваться отдельно или в комбинации с признаками, функциональностями и подробностями, описанными в данном документе.
Кроме того, признаки и функциональности, и подробности, описанные ниже, в необязательном порядке могут использоваться в комбинации с любыми из других вариантов осуществления, описанных в данном документе.
Первый аспект создает способ для того, чтобы преобразовывать связанные с аудиообъектами метаданные между различными координатными пространствами.
Второй аспект создает способ для того, чтобы преобразовывать связанные с аудиообъектами метаданные из связанных с помещением координат в связанные со слушателем координаты, и наоборот.
Третий аспект создает способ для того, чтобы преобразовывать позиции громкоговорителей между различными координатными пространствами.
Четвертый аспект создает способ для того, чтобы преобразовывать метаданные позиций громкоговорителей из связанных с помещением координат в связанные со слушателем координаты, и наоборот.
Пятый аспект создает способ для того, чтобы преобразовывать метаданные позиций аудиообъектов из пространства декартовых параметров в сферическую систему координат, которая разделяет преобразование из плоскости XY в угол j азимута и преобразование из компонента по оси Z в угол q подъема.
Шестой аспект создает способ согласно пятому аспекту, который корректно преобразует позиции громкоговорителей из декартова пространства в сферическую систему координат.
Седьмой аспект создает способ согласно пятому аспекту, который проецирует поверхности кубоидного пространства в декартовой системе координат, на которых расположены громкоговорители, на поверхность сферы, которая содержит соответствующие громкоговорители в сферической системе координат.
Восьмой аспект создает способ согласно одному из первого-пятого аспектов, который содержит следующие этапы обработки:
- проецирование треугольников, сформированных посредством 2 соседних позиций громкоговорителей в плоскости XY и центре кубоида, на соответствующий треугольник в сферическом пространстве,
- коррекция радиуса, чтобы преобразовывать внешний край прямоугольника из громкоговорителей из плоскости XY на соответствующей окружности, содержащей громкоговорители в горизонтальной плоскости сферической системы координат,
- применение подъема для радиуса на основе компонента по оси Z, чтобы определять сферический (трехмерный) радиус,
- коррекция радиуса на основе угла подъема, чтобы также преобразовывать высотные динамики в сферу,
- коррекция угла подъема, чтобы отражать различные подъемы высотных динамиков в декартовой и сферической системах координат.
Девятый аспект создает способ, который выполняет обратные операции согласно пятому аспекту.
Десятый аспект создает способ, который выполняет обратные операции согласно шестому аспекту.
Одиннадцатый аспект создает способ, который выполняет обратные операции согласно седьмому аспекту.
Двенадцатый аспект создает способ, который выполняет обратные операции согласно восьмому аспекту.
10. Дополнительные варианты осуществления
Далее описываются дополнительные варианты осуществления согласно изобретению, которые могут использоваться отдельно или в комбинации с любыми из признаков, функциональностей и подробностей, описанных в данном документе (а также в формуле изобретения). Дополнительно, любые из других вариантов осуществления, описанных в данном документе (а также в формуле изобретения), в необязательном порядке могут дополняться посредством любых из признаков, функциональностей и подробностей, описанных в этом разделе, как отдельно, так и в комбинации.
Правило преобразования для метаданных позиций динамических объектов:
В этом разделе описывается преобразование из метаданных объектов на стороне формирования, в частности, данных позиций объектов, в случае если на стороне формирования используется декартова система координат, но в транспортном формате метаданные позиций объектов описываются в сферических координатах.
Проблема состоит в том, что в декартовых координатах громкоговорители не всегда находятся в математически корректных позициях по сравнению со сферической системой координат. Следовательно, необходимо преобразование, которое обеспечивает то, что кубоидная зона из декартова пространства проецируется корректно на сферу (или полусферу). Например, позиции громкоговорителей одинаково подготавливаются посредством рендеринга с использованием модуля рендеринга аудиообъектов на основе сферической системы координат (например, модуля рендеринга, описанного в MPEG-H-стандарте трехмерного аудио) либо с использованием декартова модуля рендеринга с помощью соответствующего алгоритма преобразования. Кубоидные поверхности обязательно должны или должны преобразовываться/проецироваться на поверхность сферы, на которой расположены громкоговорители.
Кроме того, желательно или требуется то, что алгоритм преобразования имеет небольшую вычислительную сложность, в частности, этап преобразования из сферических в декартовы координаты.
Примерное применение для вариантов осуществления согласно изобретению заключается в следующем: использовать инструментальные средства для авторской разработки аудиообъекта предшествующего уровня техники, которые зачастую используют пространство (x, y, z) декартовых параметров для координат аудиообъектов, но используют транспортный формат, который описывает позиции аудиообъектов в сферических координатах (азимут, подъем, радиус), такой как, например, MPEG-H-стандарт трехмерного аудио. Тем не менее, транспортный формат может (или должен) быть агностическим относительно модуля рендеринга (сферического или декартова), который применяется впоследствии.
Преобразование примерно описывается для 5.1+4H-компоновки громкоговорителей, но может легко распространяться на все виды компоновок громкоговорителей (например, 7.1+4, 22.2 и т.д.) или варьирующиеся пространства декартовых параметров (другую ориентацию осей или другое масштабирование осей,...,)
Общее сравнение систем координат
Пример помещения на основе декартовых параметров с соответствующими позициями громкоговорителей для 5.1+4H-компоновки показывается на фиг. 17.
Пример сферической системы координат согласно MPEG-H-стандарту трехмерного аудио ISO/IEC 23008-3:2015 показывается на фиг. 18.
Следует отметить, что координаты X и Y в ISO-системе координат задаются по-иному по сравнению с декартовой системой координат, описанной выше.
Преобразование на стороне формирования (преобразование из декартова в сферическое представление)
Позиции громкоговорителей задаются в сферических координатах, например, как описано посредством ITU-R-рекомендации ITU-R BS.2051-1 ("Усовершенствованная звуковая система для производства программ") и описано в MPEG-H-спецификации. Преобразование применяется в раздельном подходе. Сначала координаты X и Y преобразуются в угол φ азимута и радиус rxy в азимутальной плоскости/плоскости XY. Впоследствии угол подъема и радиус в трехмерном пространстве вычисляются с использованием координаты Z. Преобразование примерно описывается для 5.1+4H-компоновки громкоговорителей.
Частный случай x=y=0:
для z>0:
φ= неопределенный (=0°), θ=90° и r=z.
для z=0:
φ=неопределенный (=0°), θ=0° и r=0.
1) Преобразование в плоскости XY
Следует обратиться к фиг. 19, который показывает схематичное представление декартовой системы координат и сферической системы координат и динамиков (заполненные квадраты).
Этап 1:
На первом этапе, треугольники в декартовой системе координат преобразуются в соответствующие треугольники в сферической системе координат.
Следует обратиться к фиг. 20, который показывает графическое представление треугольников, вписываемых в квадрат в декартовой системе координат и в окружность в сферической системе координат.
Далее это примерно показывается для одного треугольника. Также следует обратиться к фиг. 21.
Треугольники могут проецироваться относительно друг друга с использованием линейного преобразования:
Матрица преобразования может вычисляться с использованием известных позиций углов треугольника , , и . Эти точки зависят от компоновки громкоговорителей и соответствующих позиций громкоговорителей и треугольника, в котором расположена позиция P.
5.1+4H-компоновка громкоговорителей содержит в среднем слое стандартную 5.1-компоновку громкоговорителей, которая представляет собой базу для проекции в плоскости XY. В таблице 2, соответствующие точки , , и задаются для 5 треугольников, которые должны проецироваться.
Этап 2:
Этап 3:
Радиус должен регулироваться, поскольку громкоговорители размещаются на квадрате в декартовой системе координат, в отличие от сферической системы координат. В сферической системе координат, громкоговорители позиционируются на окружности.
Чтобы регулировать радиус, граница декартова квадрата громкоговорителей проецируется на окружность сферической системы координат. Это означает то, что хорда проецируется на соответствующий сегмент окружности.
2) Преобразование компонента по оси Z
Подъем верхнего слоя предположительно составляет угол подъема в 30° (или 35°) в сферической системе координат (типичный подъем, рекомендуемый посредством ITU-R BS.2051).
Также следует обратиться к фиг. 23.
Этап 1:
Вычисление угла подъема на основе радиуса rxy и компонента по оси Z. Кроме того, вычисление трехмерного радиуса на основе угла и rxy.
Этап 2:
Коррекция радиуса вследствие проекции прямоугольных границ декартовой системы на единичную окружность сферической системы координат.
Также следует обратиться к фиг. 24.
Этап 3:
Коррекция угла подъема, вследствие различного размещения громкоговорителей в декартовой ( =45°) и сферической ( =30° (или 35°)) системе координат.
Преобразование на стороне декодера (Sph 2 Cart)
На стороне декодера, должно выполняться обратное преобразование относительно стороны формирования. Это означает то, что этапы преобразования выполняются в противоположном порядке.
Преобразование подъема и проекция радиуса на плоскость XY (вычисление компонента по оси Z)
Частный случай θ=90°:
x=0, y=0 и z=r
Этап 1:
Этап 2:
Этап 3:
Вычисление компонента по оси X и Y
Этап 1:
Инверсия коррекции радиуса.
Этап 2:
Этап 3:
Правило преобразования для метаданных разброса:
Кодер (Cart->Sph): (примечание: не следует использовать передачу служебных сигналов по равномерному разбросу)
Декодер (Sph->Cart)
В случае равномерного разброса в потоке битов, преобразование заключается в следующем:
11. Дополнительные комментарии
В качестве общего комментария, следует отметить, что в необязательном порядке использовать точно 4 сегмента или треугольника. Например, сегменты (или треугольники, такие как треугольники в декартовой области и треугольники в сферической области) могут задаваться посредством позиций громкоговорителей горизонтальной плоскости компоновки громкоговорителей. Например, в компоновке с 5.1+4 высотных динамиков (приподнятых динамиков), сегменты или треугольники могут задаваться посредством базовой 5.1-компоновки. Соответственно, 5 сегментов могут задаваться в этом примере (например, см. описание в разделе 10). В компоновке с 7.1+4 высотных динамиков (приподнятых динамиков), могут задаваться 7 сегментов или треугольников. Это, например, может представляться посредством более общих уравнений, показанных в разделе 10 (которые не содержат фиксированные углы). Кроме того, углы высотных динамиков (приподнятых динамиков), например, могут отличаться в зависимости от компоновки (например, 30 градусов или 35 градусов).
Таким образом, число треугольников и диапазонов углов, например, может варьироваться в зависимости от варианта осуществления.
12. Альтернативы реализации
Любые из признаков и функциональностей, описанных в данном документе, могут реализовываться в аппаратных средствах или в программном обеспечении либо с использованием комбинации аппаратных средств и программного обеспечения, как описано в этом разделе.
Хотя некоторые аспекты описаны в контексте оборудования, очевидно, что эти аспекты также представляют описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента, или признака соответствующего оборудования. Некоторые или все этапы способа могут выполняться посредством (или с использованием) аппаратного оборудования, такого как, например, микропроцессор, программируемый компьютер либо электронная схема. В некоторых вариантах осуществления, один или более из самых важных этапов способа могут выполняться посредством этого оборудования.
В зависимости от определенных требований к реализации, варианты осуществления изобретения могут реализовываться в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя хранения данных, например, гибкого диска, DVD, Blu-Ray, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего сохраненные электронносчитываемые управляющие сигналы, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой таким образом, что осуществляется соответствующий способ. Следовательно, цифровой носитель хранения данных может быть машиночитаемым.
Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий электронночитаемые управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.
В общем, варианты осуществления настоящего изобретения могут реализовываться как компьютерный программный продукт с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт работает на компьютере. Программный код, например, может сохраняться на машиночитаемом носителе.
Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе.
Другими словами, вариант осуществления изобретаемого способа в силу этого представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа работает на компьютере.
Следовательно, дополнительный вариант осуществления изобретаемых способов представляет собой носитель хранения данных (цифровой носитель хранения данных или машиночитаемый носитель), содержащий записанную компьютерную программу для осуществления одного из способов, описанных в данном документе. Носитель данных, цифровой носитель хранения данных или носитель с записанными данными типично является материальным и/или энергонезависимым.
Следовательно, дополнительный вариант осуществления изобретаемого способа представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью передачи через соединение для передачи данных, например, через Интернет.
Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществлять один из способов, описанных в данном документе.
Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.
Дополнительный вариант осуществления согласно изобретению содержит оборудование или систему, выполненную с возможностью передавать (например, электронно или оптически) компьютерную программу для осуществления одного из способов, описанных в данном документе, в приемное устройство. Приемное устройство, например, может представлять собой компьютер, мобильное устройство, запоминающее устройство и т.п. Оборудование или система, например, может содержать файловый сервер для передачи компьютерной программы в приемное устройство.
В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для того, чтобы выполнять часть или все из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы осуществлять один из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого аппаратного оборудования.
Оборудование, описанное в данном документе, может реализовываться с использованием аппаратного оборудования либо с использованием компьютера, либо с использованием комбинации аппаратного оборудования и компьютера.
Оборудование, описанное в данном документе, или любые компоненты оборудования, описанного в данном документе, могут реализовываться, по меньшей мере, частично в аппаратных средствах и/или в программном обеспечении.
Способы, описанные в данном документе, могут осуществляться с использованием аппаратного оборудования либо с использованием компьютера, либо с использованием комбинации аппаратного оборудования и компьютера.
Способы, описанные в данном документе, или любые компоненты оборудования, описанного в данном документе, могут выполняться, по меньшей мере, частично посредством аппаратных средств и/или посредством программного обеспечения.
Вышеописанные варианты осуществления являются просто иллюстративными в отношении принципов настоящего изобретения. Следует понимать, что модификации и изменения компоновок и подробностей, описанных в данном документе, должны быть очевидными для специалистов в данной области техники. Следовательно, они подразумеваются как ограниченные только посредством объема нижеприведенной формулы изобретения, а не посредством конкретных подробностей, представленных посредством описания и пояснения вариантов осуществления в данном документе.
Claims (256)
1. Электронное вычислительное устройство (100) для преобразования позиции объекта для аудиообъекта из декартова представления (110) в сферическое представление (112),
при этом базовая зона декартова представления подразделяется на множество треугольников (630, 532, 634, 636) в базовой зоне, и при этом множество треугольников (660, 662, 664, 666) в сферической области вписываются в окружность сферического представления,
при этом устройство выполнено с возможностью определять, в каком из треугольников в базовой зоне размещается проекция (P) позиции объекта для аудиообъекта на базовую зону; и
при этом устройство выполнено с возможностью получать матрицу преобразования в зависимости от упомянутого определенного треугольника в базовой зоне.
3. Устройство по п.2, в котором матрица преобразования задается согласно следующему:
4. Устройство по п.1, при этом треугольники в базовой зоне содержат:
первый треугольник в базовой зоне, который покрывает зону впереди относительно начала координат декартова представления,
второй треугольник в базовой зоне, который покрывает зону слева относительно начала координат декартова представления,
третий треугольник в базовой зоне, который покрывает зону справа относительно начала координат декартова представления, и
четвертый треугольник в базовой зоне, который покрывает зону позади относительно начала координат декартова представления.
5. Устройство по п.1, при этом треугольники в сферической области содержат:
первый треугольник в сферической области, который покрывает зону впереди относительно начала координат сферического представления,
второй треугольник в сферической области, который покрывает зону слева относительно начала координат сферического представления,
третий треугольник в сферической области, который покрывает зону справа относительно начала координат сферического представления, и
четвертый треугольник в сферической области, который покрывает зону позади относительно начала координат сферического представления.
6. Устройство по п.1, при этом треугольники в базовой зоне содержат:
первый треугольник в базовой зоне, который покрывает зону в правой передней области относительно начала координат декартова представления,
второй треугольник в базовой зоне, который покрывает зону в левой передней области относительно начала координат декартова представления,
третий треугольник в базовой зоне, который покрывает зону слева относительно начала координат декартова представления,
четвертый треугольник в базовой зоне, который покрывает зону справа относительно начала координат декартова представления, и
пятый треугольник в базовой зоне, который покрывает зону позади относительно начала координат декартова представления.
7. Устройство по п.1, при этом треугольники в сферической области содержат:
первый треугольник в сферической области, который покрывает зону в правой передней зоне относительно начала координат сферического представления,
второй треугольник в сферической области, который покрывает зону в левой передней зоне относительно начала координат сферического представления,
третий треугольник в сферической области, который покрывает зону слева относительно начала координат сферического представления,
четвертый треугольник в сферической области, который покрывает зону справа относительно начала координат сферического представления, и
пятый треугольник в сферической области, который покрывает зону позади относительно начала координат сферического представления.
причем третий угол соответствующих треугольников находится в начале соответствующей системы координат.
где значение ϕSp угла азимута и значение rSp радиуса соответственно представляют координаты в сферической области,
причем третий угол соответствующих треугольников находится в начале соответствующей системы координат.
12. Устройство по п.1, при этом устройство выполнено с возможностью получать значение () радиуса сферической области в зависимости от значения промежуточного радиуса с использованием регулирования радиуса, которое преобразует треугольник в сферической области, вписываемый в окружность, в сегмент окружности.
13. Устройство по п.1, при этом устройство выполнено с возможностью получать значение () радиуса сферической области в зависимости от значения промежуточного радиуса с использованием регулирования радиуса, причем регулирование радиуса приспособлено масштабировать значение ( промежуточного радиуса, полученное ранее, в зависимости от угла ϕ азимута.
16. Устройство по п.1, при этом устройство выполнено с возможностью получать угол подъема в качестве угла прямоугольного треугольника, имеющего катеты в форме значения промежуточного радиуса, и расстояния позиции объекта относительно базовой зоны.
17. Устройство по п.1, при этом устройство выполнено с возможностью получать радиус сферической области в качестве длины гипотенузы прямоугольного треугольника, имеющего катеты в форме значения промежуточного радиуса, и расстояния позиции объекта относительно базовой зоны либо в качестве его отрегулированной версии.
где z - расстояние позиции объекта от базовой зоны и rxy - значение промежуточного радиуса или отрегулированная его версия.
19. Устройство по п.1, при этом устройство выполнено с возможностью получать отрегулированный угол (θ) подъема.
20. Устройство по п.19, при этом устройство выполнено с возможностью получать отрегулированный угол подъема с использованием нелинейного преобразования, которое линейно преобразует углы в первой области углов в первую область преобразованных углов и которое линейно преобразует углы во второй области углов во вторую область преобразованных углов, при этом первая область углов имеет отличающуюся ширину по сравнению с первой областью преобразованных углов.
21. Устройство по п.20, при этом диапазон углов, покрываемый вместе первой областью углов и второй областью углов, является идентичным диапазону углов, покрываемому вместе первой областью преобразованных углов и второй областью преобразованных углов.
24. Устройство по п.1, при этом устройство выполнено с возможностью получать отрегулированный радиус сферической области на основе радиуса сферической области.
25. Устройство по п.24, при этом устройство выполнено с возможностью выполнять преобразование, которое преобразует границы квадрата в декартовой системе в окружность в сферической системе координат, чтобы получать отрегулированный радиус сферической области.
27. Электронное вычислительное устройство (200) для преобразования позиции объекта для аудиообъекта из сферического представления (218, 228, 258) в декартово представление (242, 292),
при этом базовая зона декартова представления подразделяется на множество треугольников в базовой зоне, и при этом множество треугольников в сферической области вписываются в окружность сферического представления,
при этом устройство выполнено с возможностью получать значение (z) (242), описывающее расстояние позиции объекта относительно базовой зоны и промежуточный радиус (252, rxy), на основе угла (218) подъема или преобразованного угла (222) подъема и на основе радиуса (228) сферической области или преобразованного радиуса (232) сферической области;
29. Устройство по п.28, при этом устройство выполнено с возможностью получать преобразованный угол подъема с использованием нелинейного преобразования, которое линейно преобразует углы в первой области углов в первую область преобразованных углов и которое линейно преобразует углы во второй области углов во вторую область преобразованных углов, при этом первая область углов имеет отличающуюся ширину по сравнению с первой областью преобразованных углов.
30. Устройство по п.29, при этом диапазон углов, покрываемый вместе первой областью углов и второй областью углов, является идентичным диапазону углов, покрываемому вместе первой областью преобразованных углов и второй областью преобразованных углов.
34. Устройство по п.33,
при этом устройство выполнено с возможностью масштабировать радиус сферической области в зависимости от угла подъема или в зависимости от преобразованного угла подъема,
при этом устройство выполнено с возможностью выполнять преобразование, которое преобразует окружность в сферической системе координат в границы квадрата в декартовой системе.
37. Устройство по п.27, при этом
устройство выполнено с возможностью получать значение z, описывающее расстояние позиции объекта относительно базовой зоны, согласно следующему:
и/или устройство выполнено с возможностью получать промежуточный радиус rxy согласно следующему:
38. Устройство по п.27, при этом устройство выполнено с возможностью осуществлять коррекцию радиуса с использованием преобразования, которое преобразует сегменты окружности в треугольники, вписываемые в окружность.
39. Устройство по п.27, при этом устройство выполнено с возможностью масштабировать промежуточный радиус в зависимости от угла азимута, с тем чтобы получать скорректированный радиус.
где ϕ - угол азимута.
43. Устройство по п.27, при этом устройство выполнено с возможностью определять преобразованную позицию проекции (P) позиции объекта на базовую плоскость на основе упомянутой определенной позиции () в одном из треугольников, вписываемых в окружность, с использованием линейного преобразования, преобразующего треугольник, в котором находится определенная позиция, в ассоциированный треугольник в базовой плоскости.
44. Устройство по п.27, при этом устройство выполнено с возможностью определять преобразованную позицию проекции P позиции объекта на базовую плоскость согласно следующему:
45. Устройство по п.44, при этом матрица преобразования задается согласно следующему:
46. Устройство по п.27, при этом треугольники в базовой зоне содержат:
первый треугольник в базовой зоне, который покрывает зону впереди относительно начала координат декартова представления,
второй треугольник в базовой зоне, который покрывает зону слева относительно начала координат декартова представления,
третий треугольник в базовой зоне, который покрывает зону справа относительно начала координат декартова представления, и
четвертый треугольник в базовой зоне, который покрывает зону позади относительно начала координат декартова представления.
47. Устройство по п.27, при этом треугольники в сферической области содержат:
первый треугольник в сферической области, который покрывает зону впереди относительно начала координат сферического представления,
второй треугольник в сферической области, который покрывает зону слева относительно начала координат сферического представления,
третий треугольник в сферической области, который покрывает зону справа относительно начала координат сферического представления, и
четвертый треугольник в сферической области, который покрывает зону позади относительно начала координат сферического представления.
48. Устройство по п.27, при этом треугольники в базовой зоне содержат:
первый треугольник в базовой зоне, который покрывает зону в правой передней области относительно начала координат декартова представления,
второй треугольник в базовой зоне, который покрывает зону в левой передней области относительно начала координат декартова представления,
третий треугольник в базовой зоне, который покрывает зону слева относительно начала координат декартова представления,
четвертый треугольник в базовой зоне, который покрывает зону справа относительно начала координат декартова представления, и
пятый треугольник в базовой зоне, который покрывает зону позади относительно начала координат декартова представления.
49. Устройство по п.27, при этом треугольники в сферической области содержат:
первый треугольник в сферической области, который покрывает зону в правой передней зоне относительно начала координат сферического представления,
второй треугольник в сферической области, который покрывает зону в левой передней зоне относительно начала координат сферического представления,
третий треугольник в сферической области, который покрывает зону слева относительно начала координат сферического представления,
четвертый треугольник в сферической области, который покрывает зону справа относительно начала координат сферического представления, и
пятый треугольник в сферической области, который покрывает зону позади относительно начала координат сферического представления.
при этом третий угол соответствующих треугольников находится в начале соответствующей системы координат.
51. Устройство (1100) для предоставления аудиопотока,
при этом устройство выполнено с возможностью принимать входную информацию (1110) позиций объектов, описывающую позицию аудиообъекта в декартовом представлении, и предоставлять аудиопоток (1112), содержащий выходную информацию позиций объектов, описывающую позицию объекта в сферическом представлении,
при этом устройство содержит электронное вычислительное устройство (100; 1130) по п.1, чтобы преобразовывать декартово представление в сферическое представление.
52. Система (1200) формирования аудиоконтента,
при этом система формирования аудиоконтента выполнена с возможностью определять информацию позиций объектов, описывающую позицию аудиообъекта в декартовом представлении, и
при этом система формирования аудиоконтента содержит электронное вычислительное устройство (100; 1230) по п.1, чтобы преобразовывать декартово представление в сферическое представление, и
при этом система формирования аудиоконтента выполнена с возможностью включать сферическое представление в аудиопоток.
53. Электронное вычислительное устройство (1300) воспроизведения аудио,
при этом устройство воспроизведения аудио выполнено с возможностью принимать аудиопоток (1112; 1212; 1310), содержащий сферическое представление информации позиций объектов, и
при этом устройство воспроизведения аудио содержит электронное вычислительное устройство (200; 1330) по п.27, которое выполнено с возможностью преобразовывать сферическое представление в декартово представление информации позиций объектов, и
при этом устройство воспроизведения аудио содержит модуль (1340) рендеринга, выполненный с возможностью подготавливать посредством рендеринга аудиообъект во множество канальных сигналов (1350), ассоциированных со звуковыми электроакустическими преобразователями, в зависимости от декартова представления информации позиций объектов.
54. Устройство (1100) для предоставления аудиопотока,
при этом устройство выполнено с возможностью принимать входную информацию (1110) позиций объектов, описывающую позицию аудиообъекта в сферическом представлении, и предоставлять аудиопоток (1112), содержащий выходную информацию позиций объектов, описывающую позицию объекта в декартовом представлении,
при этом устройство содержит электронное вычислительное устройство (100; 1130) по п.27, чтобы преобразовывать сферическое представление в декартово представление.
55. Система (1200) формирования аудиоконтента,
при этом система формирования аудиоконтента выполнена с возможностью определять информацию позиций объектов, описывающую позицию аудиообъекта в сферическом представлении, и
при этом система формирования аудиоконтента содержит электронное вычислительное устройство (100; 1230) по п.27, чтобы преобразовывать сферическое представление в декартово представление, и
при этом система формирования аудиоконтента выполнена с возможностью включать декартово представление в аудиопоток.
56. Электронное вычислительное устройство (1300) воспроизведения аудио,
при этом устройство воспроизведения аудио выполнено с возможностью принимать аудиопоток (1112; 1212; 1310), содержащий декартово представление информации позиций объектов, и
при этом устройство воспроизведения аудио содержит электронное вычислительное устройство (200; 1330) по п.1, которое выполнено с возможностью преобразовывать декартово представление в сферическое представление информации позиций объектов, и
при этом устройство воспроизведения аудио содержит модуль (1340) рендеринга, выполненный с возможностью подготавливать посредством рендеринга аудиообъект во множество канальных сигналов (1350), ассоциированных со звуковыми электроакустическими преобразователями, в зависимости от сферического представления информации позиций объектов.
57. Способ (1400) преобразования позиции объекта для аудиообъекта из декартова представления в сферическое представление,
при этом базовая зона декартова представления подразделяется на множество треугольников в базовой зоне, и при этом множество треугольников в сферической области вписываются в окружность сферического представления,
при этом способ содержит этап, на котором определяют (1410), в каком из треугольников в базовой зоне размещается проекция (P) позиции объекта для аудиообъекта на базовую зону; и
58. Способ (1500) преобразования позиции объекта для аудиообъекта из сферического представления в декартово представление,
при этом базовая зона декартова представления подразделяется на множество треугольников в базовой зоне, и при этом множество треугольников в сферической области вписываются в окружность сферического представления,
при этом способ содержит этап, на котором получают (1510) значение (z), описывающее расстояние позиции объекта относительно базовой зоны и промежуточный радиус (rxy) на основе угла подъема или преобразованного угла подъема и на основе радиуса сферической области или преобразованного радиуса сферической области;
59. Способ предоставления аудиопотока,
при этом способ содержит этап, на котором принимают входную информацию позиций объектов, описывающую позицию аудиообъекта в декартовом представлении, и
предоставляют аудиопоток, содержащий выходную информацию позиций объектов, описывающую позицию объекта в сферическом представлении,
при этом способ содержит этап, на котором преобразуют декартово представление в сферическое представление с использованием способа по п.57.
60. Способ формирования аудиоконтента,
при этом способ содержит этап, на котором определяют информацию позиций объектов, описывающую позицию аудиообъекта в декартовом представлении, и
при этом способ содержит этап, на котором преобразуют декартово представление в сферическое представление с использованием способа по п.57, и
при этом способ содержит этап, на котором включают сферическое представление в аудиопоток.
61. Способ (1600) воспроизведения аудио,
при этом способ содержит этап, на котором принимают (1610) поток аудио, содержащий сферическое представление информации позиций объектов, и
при этом способ содержит этап, на котором преобразуют (1620) сферическое представление в декартово представление информации позиций объектов по п.58, и
при этом способ содержит этап, на котором подготавливают посредством рендеринга (1630) аудиообъект во множество канальных сигналов, ассоциированных со звуковыми электроакустическими преобразователями, в зависимости от декартова представления информации позиций объектов.
62. Способ предоставления аудиопотока,
при этом способ содержит этап, на котором принимают входную информацию позиций объектов, описывающую позицию аудиообъекта в сферическом представлении, и
предоставляют аудиопоток, содержащий выходную информацию позиций объектов, описывающую позицию объекта в декартовом представлении,
при этом способ содержит этап, на котором преобразуют сферическое представление в декартово представление с использованием способа по п.58.
63. Способ формирования аудиоконтента,
при этом способ содержит этап, на котором определяют информацию позиций объектов, описывающую позицию аудиообъекта в сферическом представлении, и
при этом способ содержит этап, на котором преобразуют сферическое представление в декартово представление с использованием способа по п.58, и
при этом способ содержит этап, на котором включают декартово представление в аудиопоток.
64. Способ (1600) воспроизведения аудио,
при этом способ содержит этап, на котором принимают поток аудио, содержащий декартово представление информации позиций объектов, и
при этом способ содержит этап, на котором преобразуют декартово представление в сферическое представление информации позиций объектов по п.57, и
при этом способ содержит этап, на котором подготавливают посредством рендеринга аудиообъект во множество канальных сигналов, ассоциированных со звуковыми электроакустическими преобразователями, в зависимости от сферического представления информации позиций объектов.
65. Машиночитаемый носитель данных, на котором сохранена компьютерная программа для осуществления способа по п.57, когда компьютерная программа работает на компьютере.
66. Машиночитаемый носитель данных, на котором сохранена компьютерная программа для осуществления способа по п.58, когда компьютерная программа работает на компьютере.
67. Машиночитаемый носитель данных, на котором сохранена компьютерная программа для осуществления способа по п.59 или 62, когда компьютерная программа работает на компьютере.
68. Машиночитаемый носитель данных, на котором сохранена компьютерная программа для осуществления способа по п.60 или 63, когда компьютерная программа работает на компьютере.
69. Машиночитаемый носитель данных, на котором сохранена компьютерная программа для осуществления способа по п.61 или 64, когда компьютерная программа работает на компьютере.
70. Электронное вычислительное устройство (100) для преобразования позиции объекта для аудиообъекта из декартова представления (110) в сферическое представление (112), в котором позиция объекта описывается с использованием угла азимута, угла подъема и радиуса сферической области,
при этом громкоговорители размещаются на квадрате в декартовой системе координат, ассоциированной с декартовым представлением, и громкоговорители размещаются на окружности в сферической системе координат, ассоциированной со сферическим представлением;
при этом базовая зона декартова представления подразделяется на множество треугольников (630, 532, 634, 636) в базовой зоне, и при этом множество треугольников (660, 662, 664, 666) в сферической области вписываются в окружность сферического представления,
при этом каждый из треугольников в сферической области ассоциирован с треугольником в базовой зоне;
при этом позиции углов, по меньшей мере, некоторых из треугольников в базовой зоне соответствуют позициям громкоговорителей в декартовой системе координат, и
при этом позиции углов, по меньшей мере, некоторых из треугольников в сферической области соответствуют позициям громкоговорителей в сферической системе координат;
при этом устройство выполнено с возможностью определять, в каком из треугольников в базовой зоне размещается проекция (P) позиции объекта для аудиообъекта на базовую зону; и
71. Способ (1400) преобразования позиции объекта для аудиообъекта из декартова представления в сферическое представление, в котором позиция объекта описывается с использованием угла азимута, угла подъема и радиуса сферической области,
при этом громкоговорители размещаются на квадрате в декартовой системе координат, ассоциированной с декартовым представлением, и громкоговорители размещаются на окружности в сферической системе координат, ассоциированной со сферическим представлением;
при этом базовая зона декартова представления подразделяется на множество треугольников в базовой зоне, и при этом множество треугольников в сферической области вписываются в окружность сферического представления,
при этом каждый из треугольников в сферической области ассоциирован с треугольником в базовой зоне;
при этом позиции углов, по меньшей мере, некоторых из треугольников в базовой зоне соответствуют позициям громкоговорителей в декартовой системе координат, и
при этом позиции углов, по меньшей мере, некоторых из треугольников в сферической области соответствуют позициям громкоговорителей в сферической системе координат;
при этом способ содержит этап, на котором определяют (1410), в каком из треугольников в базовой зоне размещается проекция (P) позиции объекта для аудиообъекта на базовую зону; и
72. Электронное вычислительное устройство (200) для преобразования позиции объекта для аудиообъекта из сферического представления (218, 228, 258), в котором позиция объекта описывается с использованием угла азимута, угла подъема и радиуса сферической области, в декартово представление (242, 292),
при этом громкоговорители размещаются на квадрате в декартовой системе координат, ассоциированной с декартовым представлением, и громкоговорители размещаются на окружности в сферической системе координат, ассоциированной со сферическим представлением;
при этом базовая зона декартова представления подразделяется на множество треугольников в базовой зоне, и при этом множество треугольников в сферической области вписываются в окружность сферического представления,
при этом позиции углов, по меньшей мере, некоторых из треугольников в базовой зоне соответствуют позициям громкоговорителей в декартовой системе координат, и
при этом позиции углов, по меньшей мере, некоторых из треугольников в сферической области соответствуют позициям громкоговорителей в сферической системе координат;
при этом устройство выполнено с возможностью получать значение (z) (242), описывающее расстояние позиции объекта относительно базовой зоны и промежуточный радиус (252, rxy), на основе угла (218) подъема или преобразованного угла (222) подъема и на основе радиуса (228) сферической области или преобразованного радиуса (232) сферической области;
при этом устройство выполнено с возможностью определять позицию (272, ) в одном из треугольников, вписываемых в окружность, на основе промежуточного радиуса (252) или его скорректированной версии (262), в котором регулирование радиуса, которое выполняется, поскольку громкоговорители размещаются на квадрате в декартовой системе координат в отличие от сферической системы координат, выполняется в обратном порядке, и на основе угла (ϕ) азимута; и
при этом устройство выполнено с возможностью определять преобразованную позицию (292) проекции (272, P) позиции объекта на базовую плоскость на основе упомянутой определенной позиции (272, ) в одном из треугольников, вписываемых в окружность, с использованием линейного преобразования, преобразующего треугольник, в котором находится эта определенная позиция, в ассоциированный треугольник в базовой плоскости,
при этом значение (z) (242), описывающее расстояние позиции объекта относительно базовой зоны, и преобразованная позиция (292) описывают позицию объекта в декартовом представлении.
73. Способ (1500) преобразования позиции объекта для аудиообъекта из сферического представления, в котором позиция объекта описывается с использованием угла азимута, угла подъема и радиуса сферической области, в декартово представление,
при этом громкоговорители размещаются на квадрате в декартовой системе координат, ассоциированной с декартовым представлением, и громкоговорители размещаются на окружности в сферической системе координат, ассоциированной со сферическим представлением;
при этом базовая зона декартова представления подразделяется на множество треугольников в базовой зоне, и при этом множество треугольников в сферической области вписываются в окружность сферического представления,
при этом позиции углов, по меньшей мере, некоторых из треугольников в базовой зоне соответствуют позициям громкоговорителей в декартовой системе координат, и
при этом позиции углов, по меньшей мере, некоторых из треугольников в сферической области соответствуют позициям громкоговорителей в сферической системе координат;
при этом способ содержит этап, на котором получают (1510) значение (z), описывающее расстояние позиции объекта относительно базовой зоны и промежуточный радиус (rxy), на основе угла подъема или преобразованного угла подъема и на основе радиуса сферической области или преобразованного радиуса сферической области;
при этом способ содержит этап, на котором определяют (1520) позицию () в одном из треугольников, вписываемых в окружность, на основе промежуточного радиуса или его скорректированной версии, в котором регулирование радиуса, которое выполняется, поскольку громкоговорители размещаются на квадрате в декартовой системе координат в отличие от сферической системы координат, выполняется в обратном порядке, и на основе угла (ϕ) азимута; и
при этом способ содержит этап, на котором определяют (1530) преобразованную позицию проекции (P) позиции объекта на базовую плоскость на основе упомянутой определенной позиции () в одном из треугольников, вписываемых в окружность, с использованием линейного преобразования, преобразующего треугольник, в котором находится эта определенная позиция, в ассоциированный треугольник в базовой плоскости;
при этом значение (z) (242), описывающее расстояние позиции объекта относительно базовой зоны, и преобразованная позиция (292) описывают позицию объекта в декартовом представлении.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18154307.5 | 2018-01-30 | ||
EP18154307 | 2018-01-30 | ||
PCT/EP2018/025211 WO2019149337A1 (en) | 2018-01-30 | 2018-08-08 | Apparatuses for converting an object position of an audio object, audio stream provider, audio content production system, audio playback apparatus, methods and computer programs |
EPPCT/EP2018/025211 | 2018-08-08 | ||
PCT/EP2019/052156 WO2019149710A1 (en) | 2018-01-30 | 2019-01-29 | Apparatuses for converting an object position of an audio object, audio stream provider, audio content production system, audio playback apparatus, methods and computer programs |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2751129C1 true RU2751129C1 (ru) | 2021-07-08 |
Family
ID=61188596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2020128321A RU2751129C1 (ru) | 2018-01-30 | 2019-01-29 | Оборудование для преобразования позиции объекта для аудиообъекта, поставщик аудиопотоков, система формирования аудиоконтента, оборудование воспроизведения аудио, способы и машиночитаемый носитель данных |
Country Status (15)
Country | Link |
---|---|
US (1) | US11653162B2 (ru) |
EP (1) | EP3747204B1 (ru) |
JP (1) | JP7034309B2 (ru) |
KR (1) | KR102412012B1 (ru) |
CN (1) | CN112154676B (ru) |
AR (2) | AR114348A1 (ru) |
AU (1) | AU2019214298C1 (ru) |
BR (1) | BR112020015417A2 (ru) |
CA (1) | CA3090026C (ru) |
ES (1) | ES2962111T3 (ru) |
MX (1) | MX2020007998A (ru) |
RU (1) | RU2751129C1 (ru) |
SG (1) | SG11202007293UA (ru) |
TW (1) | TWI716810B (ru) |
WO (2) | WO2019149337A1 (ru) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020008890A1 (ja) * | 2018-07-04 | 2020-01-09 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120051565A1 (en) * | 2009-05-11 | 2012-03-01 | Kazuya Iwata | Audio reproduction apparatus |
WO2015144409A1 (en) * | 2014-03-26 | 2015-10-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for audio rendering employing a geometric distance definition |
WO2016109065A1 (en) * | 2015-01-02 | 2016-07-07 | Qualcomm Incorporated | Method, system and article of manufacture for processing spatial audio |
RU2589469C2 (ru) * | 2011-12-02 | 2016-07-10 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство и способ для позиционирования микрофона, основываясь на пространственной плотности мощности |
WO2016172254A1 (en) * | 2015-04-21 | 2016-10-27 | Dolby Laboratories Licensing Corporation | Spatial audio signal manipulation |
WO2016210174A1 (en) * | 2015-06-25 | 2016-12-29 | Dolby Laboratories Licensing Corporation | Audio panning transformation system and method |
WO2017085562A2 (en) * | 2015-11-20 | 2017-05-26 | Dolby International Ab | Improved rendering of immersive audio content |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6684176B2 (en) * | 2001-09-25 | 2004-01-27 | Symbol Technologies, Inc. | Three dimensional (3-D) object locator system for items or sites using an intuitive sound beacon: system and method of operation |
ZA200503594B (en) * | 2002-12-02 | 2006-08-30 | Thomson Licensing Sa | Method for describing the composition of audio signals |
FR2858403B1 (fr) * | 2003-07-31 | 2005-11-18 | Remy Henri Denis Bruno | Systeme et procede de determination d'une representation d'un champ acoustique |
EP3913931B1 (en) * | 2011-07-01 | 2022-09-21 | Dolby Laboratories Licensing Corp. | Apparatus for rendering audio, method and storage means therefor. |
RU2602346C2 (ru) * | 2012-08-31 | 2016-11-20 | Долби Лэборетериз Лайсенсинг Корпорейшн | Рендеринг отраженного звука для объектно-ориентированной аудиоинформации |
US9913064B2 (en) * | 2013-02-07 | 2018-03-06 | Qualcomm Incorporated | Mapping virtual speakers to physical speakers |
JP6253031B2 (ja) | 2013-02-15 | 2017-12-27 | パナソニックIpマネジメント株式会社 | キャリブレーション方法 |
CN105103569B (zh) * | 2013-03-28 | 2017-05-24 | 杜比实验室特许公司 | 使用被组织为任意n边形的网格的扬声器呈现音频 |
EP2809088B1 (en) * | 2013-05-30 | 2017-12-13 | Barco N.V. | Audio reproduction system and method for reproducing audio data of at least one audio object |
KR102226420B1 (ko) | 2013-10-24 | 2021-03-11 | 삼성전자주식회사 | 다채널 오디오 신호 생성 방법 및 이를 수행하기 위한 장치 |
JP2015179986A (ja) * | 2014-03-19 | 2015-10-08 | ヤマハ株式会社 | オーディオ定位設定装置、方法、及び、プログラム |
EP2928216A1 (en) | 2014-03-26 | 2015-10-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for screen related audio object remapping |
US9723419B2 (en) * | 2014-09-29 | 2017-08-01 | Bose Corporation | Systems and methods for determining metric for sound system evaluation |
EP3332557B1 (en) * | 2015-08-07 | 2019-06-19 | Dolby Laboratories Licensing Corporation | Processing object-based audio signals |
GB2546504B (en) * | 2016-01-19 | 2020-03-25 | Facebook Inc | Audio system and method |
CN105898668A (zh) * | 2016-03-18 | 2016-08-24 | 南京青衿信息科技有限公司 | 一种声场空间的坐标定义方法 |
US9949052B2 (en) * | 2016-03-22 | 2018-04-17 | Dolby Laboratories Licensing Corporation | Adaptive panner of audio objects |
-
2018
- 2018-08-08 WO PCT/EP2018/025211 patent/WO2019149337A1/en active Application Filing
-
2019
- 2019-01-29 ES ES19701383T patent/ES2962111T3/es active Active
- 2019-01-29 BR BR112020015417-2A patent/BR112020015417A2/pt unknown
- 2019-01-29 CA CA3090026A patent/CA3090026C/en active Active
- 2019-01-29 JP JP2020541721A patent/JP7034309B2/ja active Active
- 2019-01-29 RU RU2020128321A patent/RU2751129C1/ru active
- 2019-01-29 TW TW108103342A patent/TWI716810B/zh active
- 2019-01-29 EP EP19701383.2A patent/EP3747204B1/en active Active
- 2019-01-29 SG SG11202007293UA patent/SG11202007293UA/en unknown
- 2019-01-29 CN CN201980024318.4A patent/CN112154676B/zh active Active
- 2019-01-29 MX MX2020007998A patent/MX2020007998A/es unknown
- 2019-01-29 WO PCT/EP2019/052156 patent/WO2019149710A1/en unknown
- 2019-01-29 AU AU2019214298A patent/AU2019214298C1/en active Active
- 2019-01-29 KR KR1020207025026A patent/KR102412012B1/ko active IP Right Grant
- 2019-01-30 AR ARP190100210A patent/AR114348A1/es active IP Right Grant
-
2020
- 2020-07-30 US US16/943,778 patent/US11653162B2/en active Active
-
2022
- 2022-09-29 AR ARP220102631A patent/AR127189A2/es unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120051565A1 (en) * | 2009-05-11 | 2012-03-01 | Kazuya Iwata | Audio reproduction apparatus |
RU2589469C2 (ru) * | 2011-12-02 | 2016-07-10 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство и способ для позиционирования микрофона, основываясь на пространственной плотности мощности |
WO2015144409A1 (en) * | 2014-03-26 | 2015-10-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for audio rendering employing a geometric distance definition |
WO2016109065A1 (en) * | 2015-01-02 | 2016-07-07 | Qualcomm Incorporated | Method, system and article of manufacture for processing spatial audio |
WO2016172254A1 (en) * | 2015-04-21 | 2016-10-27 | Dolby Laboratories Licensing Corporation | Spatial audio signal manipulation |
WO2016210174A1 (en) * | 2015-06-25 | 2016-12-29 | Dolby Laboratories Licensing Corporation | Audio panning transformation system and method |
WO2017085562A2 (en) * | 2015-11-20 | 2017-05-26 | Dolby International Ab | Improved rendering of immersive audio content |
Also Published As
Publication number | Publication date |
---|---|
CN112154676A (zh) | 2020-12-29 |
ES2962111T3 (es) | 2024-03-15 |
JP7034309B2 (ja) | 2022-03-11 |
MX2020007998A (es) | 2020-09-21 |
JP2021513775A (ja) | 2021-05-27 |
TW201937944A (zh) | 2019-09-16 |
CA3090026A1 (en) | 2019-08-08 |
KR20200139670A (ko) | 2020-12-14 |
KR102412012B1 (ko) | 2022-06-22 |
EP3747204C0 (en) | 2023-09-27 |
EP3747204A1 (en) | 2020-12-09 |
WO2019149337A1 (en) | 2019-08-08 |
AU2019214298C1 (en) | 2023-07-20 |
AR127189A2 (es) | 2023-12-27 |
WO2019149710A1 (en) | 2019-08-08 |
TWI716810B (zh) | 2021-01-21 |
AR114348A1 (es) | 2020-08-26 |
CA3090026C (en) | 2023-03-21 |
US11653162B2 (en) | 2023-05-16 |
BR112020015417A2 (pt) | 2020-12-08 |
SG11202007293UA (en) | 2020-08-28 |
CN112154676B (zh) | 2022-05-17 |
AU2019214298B2 (en) | 2022-04-07 |
US20200359149A1 (en) | 2020-11-12 |
EP3747204B1 (en) | 2023-09-27 |
AU2019214298A1 (en) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2683380C2 (ru) | Устройство и способ для повторного отображения относящихся к экрану звуковых объектов | |
Cuevas-Rodríguez et al. | 3D Tune-In Toolkit: An open-source library for real-time binaural spatialisation | |
CN104471640B (zh) | 基于对象的环绕声编码解码器的具有反馈的可缩放降混设计 | |
CN111183479B (zh) | 使用多层描述生成经增强的声场描述的装置及方法 | |
US20220417694A1 (en) | Apparatus and Method for Synthesizing a Spatially Extended Sound Source Using Cue Information Items | |
KR102654354B1 (ko) | 객체-기반 공간 오디오 마스터링 디바이스 및 방법 | |
RU2751129C1 (ru) | Оборудование для преобразования позиции объекта для аудиообъекта, поставщик аудиопотоков, система формирования аудиоконтента, оборудование воспроизведения аудио, способы и машиночитаемый носитель данных | |
CN111869241B (zh) | 用于使用多通道扬声器系统的空间声音再现的装置和方法 | |
RU2808102C1 (ru) | Оборудование и способ для синтезирования пространственно протяженного источника звука с использованием информационных элементов сигнальных меток | |
WO2023074039A1 (ja) | 情報処理装置および方法、並びにプログラム | |
WO2023074009A1 (ja) | 情報処理装置および方法、並びにプログラム |