RU2764227C1 - Способ и устройство для представления входного звука - Google Patents

Abstract

Группа изобретений относится к представлению данных звуковоспроизведения, в частности, для таких воспроизводящих сред, как системы звуковоспроизведения для кинематографии. Техническим результатом является усовершенствование способов и устройств представления данных звуковоспроизведения. В заявленной группе изобретений множество местоположений виртуальных источников определены объемом, в пределах которого перемещаются звуковые объекты. Процесс «настройки» для представления аудиоданных включает прием данных местоположения воспроизводящих громкоговорителей и предварительное вычисление значений коэффициентов усиления для каждого виртуального источника в соответствии с данными местоположения воспроизводящих громкоговорителей и каждым местоположением виртуального источника. Значения коэффициента усиления хранят в памяти и используют в течение «рабочего цикла», во время которого данные звуковоспроизведения представляются для громкоговорителей воспроизводящей среды. Во время рабочего цикла для каждого звукового объекта вычисляют вклады от местоположений виртуального источника в пределах области или объема, определенного данными положения звукового объекта и данными размера звукового объекта. Набор значений коэффициентов усиления для каждого выходного канала воспроизводящей среды вычисляют на основании по меньшей мере частично вычисленных вкладов. Каждый выходной канал может соответствовать по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды. 3 н.п. ф-лы, 22 ил.

Description

ПЕРЕКРЕСТНЫЕ ССЫЛКИ НА РОДСТВЕННЫЕ ЗАЯВКИ

[001] Настоящая заявка испрашивает приоритет согласно заявке на патент Испании № P201330461, поданной 28 марта 2013 года, и предварительной заявке на патент США № 61/833581, поданной 11 июня 2013 года, содержание каждой из которых полностью включено в настоящую заявку посредством ссылки.

ОБЛАСТЬ ТЕХНИЧЕСКОГО ПРИМЕНЕНИЯ

[002] Данное раскрытие относится к авторской разработке и представлению данных звуковоспроизведения. В частности, данное раскрытие относится к авторской разработке и представлению данных звуковоспроизведения для таких воспроизводящих сред, как системы звуковоспроизведения для кинематографии.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

[003] С момента представления в 1927 г. звука на пленке, происходило устойчивое развитие технологии, используемой для захвата авторского замысла звуковой дорожки кинокартины и для ее проигрывания в среде кинематографии. В 1930-х гг. синхронизированный звук на диске уступил место фонограмме переменной ширины на пленке, которая в дальнейшем развивалась в 1940-х гг. вместе с учетом особенностей акустики театров и совершенствованием конструкции громкоговорителей наряду с первым представлением многодорожечной записи и управляемого проигрывания (с использованием управляющих тонов для перемещения звуков). В 1950-х и 1960-х гг. нанесение магнитной дорожки на пленку сделало возможным многоканальное воспроизведение в театре, введение окружающих каналов и до пяти экранных каналов в театрах высокого класса.

[004] В 1970-х гг. Dolby представила шумоподавление как при окончательном монтаже кинопродукции, так и на пленке наряду с экономичными средствами кодирования и распределения микшированных звуковых дорожек с 3 экранными каналами и монофоническим окружающим каналом. Качество кинематографического звука было дополнительно улучшено в 1980-х гг. шумоподавлением Dolby Spectral Recording (SR) и такими программами аттестации, как THX. В ходе 1990-х гг. Dolby привнесла в кинематографию цифровой звук с форматом каналов 5.1, который предусматривает отдельные левый, центральный и правый экранные каналы, левый и правый окружающие массивы и сверхнизкочастотный канал для низкочастотных эффектов. Представленная в 2010 году Dolby Surround 7.1 увеличила количество окружающих каналов путем разделения существующих левого и правого окружающих каналов на четыре "зоны".

[005] По мере увеличения количества каналов и перехода схемы размещения громкоговорителей от плоского двумерного (2D) массива к трехмерному (3D) массиву, включающему высоту расположения, задачи авторской разработки и представления данных для звуков становятся все более сложными. Желательно усовершенствование способов и устройств.

КРАТКОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

[006] Некоторые аспекты предмета изобретения, описанного в данном раскрытии, могут быть реализованы в инструментальных средствах для представления данных звуковоспроизведения, которые включают звуковые объекты, созданные без ссылки на любую конкретную воспроизводящую среду. Как используется в данном документе, термин "звуковой объект" может относиться к потоку звуковых сигналов и связанных метаданных. Метаданные могут указывать по меньшей мере положение и кажущийся размер звукового объекта. Тем не менее, метаданные также могут указывать данные ограничения представления данных, данные типа содержимого (например, диалог, эффекты и т.п.), данные коэффициента усиления, данные траектории и т.д. Некоторые звуковые объекты могут быть статическими, в то время как другие могут иметь изменяющиеся во времени метаданные: такие звуковые объекты могут перемещаться, могут изменять размер и/или могут иметь другие свойства, которые изменяются с течением времени.

[007] Когда звуковые объекты наблюдаются или проигрываются в воспроизводящей среде, данные звуковых объектов могут быть представлены в соответствии по меньшей мере с метаданными положения и размера. Процесс представления данных может включать вычисление набора значений коэффициентов усиления звукового объекта для каждого канала из набора выходных каналов. Каждый выходной канал может соответствовать одному или нескольким воспроизводящим громкоговорителям воспроизводящей среды.

[008] Некоторые реализации, описанные в данном документе, включают процесс "настройки", который может происходить до представления данных любых конкретных звуковых объектов. Процесс настройки, который также может упоминаться в данной документе как первый этап или этап 1, может включать определение местоположений нескольких виртуальных источников в объеме, в пределах которого звуковые объекты могут перемещаться. Как используется в данном документе, термин "местоположение виртуального источника" означает местоположение статического точечного источника. В соответствии с такими реализациями процесс настройки может включать прием данных местоположения воспроизводящих громкоговорителей и предварительное вычисление значений коэффициентов усиления виртуального источника для каждого виртуального источника в соответствии с данными местоположения воспроизводящих громкоговорителей и местоположением виртуального источника. Как используется в данном документе, термин "данные местоположений громкоговорителей" может включать данные местоположения, указывающее положения некоторых или всех громкоговорителей воспроизводящей среды. Данные местоположения могут быть предоставлены в виде таких абсолютных координат местоположений воспроизводящих громкоговорителей, как декартовы координаты, сферические координаты и т.д. Альтернативно или дополнительно, данные местоположения могут быть предоставлены в виде координат (например, декартовых координат или угловых координат) по отношению к местоположению других воспроизводящих сред, таких как акустические "зоны комфортного прослушивания" воспроизводящей среды.

[009] В некоторых реализациях значения коэффициента усиления виртуального источника могут храниться в памяти и использоваться в течение "рабочего цикла", во время которого данные звуковоспроизведения представляются для громкоговорителей воспроизводящей среды. Во время рабочего цикла для каждого звукового объекта могут вычисляться вклады от местоположений виртуального источника в пределах области или объема, определяемого данными положения звукового объекта и данными размера звукового объекта. Процесс вычисления вкладов от местоположений виртуального источника может включать вычисление средневзвешенного значения нескольких предварительно вычисленных значений коэффициентов усиления виртуального источника, определенных в процессе настройки для местоположений виртуального источника, находящихся в пределах области или объема звукового объекта, определенного размером и местоположением звукового объекта. Набор значений коэффициентов усиления звукового объекта для каждого выходного канала воспроизводящей среды может по меньшей мере частично вычисляться на основании вычисленных вкладов виртуального источника. Каждый выходной канал может соответствовать по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды.

[010] Таким образом, некоторые способы, описанные в данном документе, включают прием данных звуковоспроизведения, которые включают один или несколько звуковых объектов. Звуковые объекты могут включать звуковые сигналы и связанные метаданные. Метаданные могут включать по меньшей мере данные положения звукового объекта и данные размера звукового объекта. Эти способы могут включать вычисление вкладов от виртуальных источников в пределах области или объема звукового объекта, определенного данными положения звукового объекта и данными размера звукового объекта. Способы могут включать вычисление набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов на основе по меньшей мере частично вычисленных вкладов. Каждый выходной канал может соответствовать по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды. Например, воспроизводящей средой может являться среда звуковой системы для кинематографии.

[011] Процесс вычисления вкладов от виртуальных источников может включать вычисление средневзвешенного значения коэффициентов усиления виртуального источника из виртуальных источников в пределах области или объема звукового объекта. Весовые коэффициенты для средневзвешенного значения могут зависеть от положения звукового объекта, размера звукового объекта и/или местоположения каждого виртуального источника в пределах области или объема звукового объекта.

[012] Способы могут также включать прием данных воспроизводящей среды, включающих данные местоположения воспроизводящих громкоговорителей. Способы могут также включать определение множества местоположений виртуального источника в зависимости от данных воспроизводящей среды и вычисление для каждого местоположения виртуального источника значения коэффициента усиления виртуального источника для каждого из множества выходных каналов. В некоторых реализациях каждое из местоположений виртуального источника может соответствовать местоположению в пределах воспроизводящей среды. Тем не менее, в некоторых реализациях по меньшей мере некоторые из местоположений виртуального источника могут соответствовать местоположениям за пределами воспроизводящей среды.

[013] В некоторых реализациях местоположения виртуальных источников могут устанавливаться с равными интервалами вдоль осей x, y и z. Однако, в некоторых реализациях интервал может не быть одинаковым во всех направлениях. Например, местоположения виртуального источника могут устанавливаться с первым равным интервалом вдоль осей х и у и вторым равным интервалом вдоль оси z. Процесс вычисления набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов может включать независимые вычисления вкладов от виртуальных источников вдоль осей x, y и z. В альтернативных реализациях местоположения виртуального источника могут устанавливаться с неравными интервалами.

[014] В некоторых реализациях процесс вычисления значения коэффициента усиления звукового объекта для каждого из множества выходных каналов может включать определение значения коэффициента усиления (g_l(x₀,y₀,z₀;s)) для звукового объекта размера (s) для представления данных в местоположении x₀,y₀,z₀. Например, значение коэффициента усиления звукового объекта (g_l(x₀,y₀,z₀;s)) может быть выражено как:

где (x_vs, y_vs, z_vs) представляет собой местоположение виртуального источника, g_l(x_vs, y_vs, z_vs) представляет собой значение коэффициента усиления для канала l для местоположения виртуального источника x_vs, y_vs, z_vs и w(x_vs, y_vs, z_vs; x₀,y₀, z₀;s) представляет собой одну или несколько весовых функций для g_l(x_vs, y_vs, z_vs), определенного по меньшей мере частично на основании местоположения (x₀,y₀,z₀) звукового объекта, размера (s) звукового объекта и местоположения (x_vs, y_vs, z_vs) виртуального источника.

[015] В соответствии с некоторыми такими реализациями g_l(x_vs, y_vs, z_vs) = g_l(x_vs)g_l(y_vs)g_l(z_vs), где g_l(x_vs), g_l(y_vs) и g_l(z_vs) представляют собой независимые функции усиления от х, у и z. В некоторых таких реализациях весовые функции можно разложить на множители:

w(x_vs,y_vs, z_vs; x₀,y₀, z₀; s) = w_x(x_vs; x₀; s)w_y(y_vs; y₀; s)w_z(z_vs; z₀; s),

где w_x(x_vs; x₀; s), w_y(y_vs; y₀; s) и w_z(z_vs,z₀; s) представляют собой независимые весовые функции от x_vs, y_vs и z_vs. В соответствии с такими реализациями p может быть функцией размера (s) звукового объекта.

[016] Некоторые такие способы могут включать хранение вычисленных значений коэффициентов усиления виртуального источника в системе памяти. Процесс вычисления вкладов от виртуальных источников в пределах области или объема звукового объекта может включать получение из системы памяти вычисленных значений коэффициентов усиления виртуального источника, соответствующих положению и размеру звукового объекта, и интерполяцию между вычисленными значениями коэффициентов усиления виртуального источника. Процесс интерполяции между вычисленными значениями коэффициентов усиления виртуального источника может включать: определение множества соседних местоположений виртуального источника в окрестности положения звукового объекта; определение вычисленных значений коэффициентов усиления виртуального источника для каждого из соседних местоположений виртуального источника; определение множества расстояний между положением звукового объекта и каждым из соседних местоположений виртуального источника; и интерполяцию между вычисленными значениями коэффициентов усиления виртуального источника в соответствии со множеством расстояний.

[017] В некоторых реализациях данные воспроизводящей среды могут включать данные границы воспроизводящей среды. Способ может включать определение того, что область или объем звукового объекта включают внешнюю область или объем за пределами границы воспроизводящей среды, и применение коэффициента плавного перехода, по меньшей мере частично обусловленного внешней областью или объемом. Некоторые способы могут включать определение того, что звуковой объект может находиться в пределах порогового расстояния от границы воспроизводящей среды, и отсутствие подачи на воспроизводящие громкоговорители на противоположной границе воспроизводящей среды сигналов, подаваемых на громкоговорители. В некоторых реализациях область или объем звукового объекта может быть прямоугольником, прямоугольной призмой, кругом, сферой, эллипсом и/или эллипсоидом.

[018] Некоторые способы могут включать декорреляцию по меньшей мере некоторых данных звуковоспроизведения. Например, способы могут включать декорреляцию данных звуковоспроизведения для звуковых объектов, имеющих размер звукового объекта, который превышает пороговое значение.

[019] В данном документе описываются и альтернативные способы. Некоторые такие способы включают прием данных воспроизводящей среды, включающих данные местоположения воспроизводящих громкоговорителей и данные границы воспроизводящей среды, и прием данных звуковоспроизведения, включающих один или несколько звуковых объектов и связанных метаданных. Метаданные могут включать данные положения звукового объекта и данные размера звукового объекта. Способы могут включать определение того, что область или объем звукового объекта, определенный данными положения звукового объекта и данными размера звукового объекта, включает внешнюю область или объем за пределами границы воспроизводящей среды, и определение коэффициента плавного перехода, по меньшей мере частично обусловленного внешней областью или объемом. Способы могут включать вычисление набора значений коэффициентов усиления для каждого из множества выходных каналов на основании по меньшей мере частично соответствующих метаданных и коэффициента плавного перехода. Каждый выходной канал может соответствовать по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды. Коэффициент плавного перехода может быть пропорционален внешней области.

[020] Способы могут также включать определение того, что звуковой объект может находиться в пределах порогового расстояния от границы воспроизводящей среды, и отсутствие подачи на воспроизводящие громкоговорители на противоположной границе воспроизводящей среды сигналов, подаваемых на громкоговорители.

[021] Способы могут также включать вычисление вкладов от виртуальных источников в пределах области или объема звукового объекта. Способы могут включать определение множества местоположений виртуального источника в зависимости от данных воспроизводящей среды и вычисление для каждого местоположения виртуального источника значения коэффициента усиления виртуального источника для каждого из множества выходных каналов. Местоположения виртуального источника могут устанавливаться с равными интервалами или устанавливаться с неравными интервалами в зависимости от конкретной реализации.

[022] Некоторые реализации могут воплощаться на одном или нескольких постоянных носителях данных, содержащих хранящееся в их памяти программное обеспечение. Программное обеспечение может включать команды для управления одним или несколькими устройствами для приема данных звуковоспроизведения, включающих один или несколько звуковых объектов. Звуковые объекты могут включать звуковые сигналы и связанные метаданные. Метаданные могут включать по меньшей мере данные положения звукового объекта и данные размера звукового объекта. Программное обеспечение может включать команды для вычисления для звукового объекта из одного или нескольких звуковых объектов вкладов от виртуальных источников в пределах области или объема, определяемого данными положения звукового объекта и данными размера звукового объекта, и вычисления набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов на основании по меньшей мере частично вычисленных вкладов. Каждый выходной канал может соответствовать по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды.

[023] В некоторых реализациях процесс вычисления вкладов от виртуальных источников может включать вычисление средневзвешенного значения коэффициентов усиления виртуального источника из виртуальных источников в пределах области или объема звукового объекта. Весовые коэффициенты для средневзвешенного значения могут зависеть от положения звукового объекта, размера звукового объекта и/или местоположения каждого виртуального источника в пределах области или объема звукового объекта.

[024] Программное обеспечение может включать команды для приема данных воспроизводящей среды, включающих данные местоположения воспроизводящих громкоговорителей. Программное обеспечение может включать команды для определения множества местоположений виртуального источника в соответствии с данными воспроизводящей среды и вычисления для каждого из местоположений виртуального источника значений коэффициентов усиления виртуального источника для каждого из множества выходных каналов. Каждое из местоположений виртуального источника может соответствовать местоположению в пределах воспроизводящей среды. В некоторых реализациях по меньшей мере некоторые из местоположений виртуального источника могут соответствовать местоположениям за пределами воспроизводящей среды.

[025] В соответствии с некоторыми реализациями местоположения виртуального источника могут устанавливаться с равными интервалами. В некоторых реализациях местоположения виртуального источника могут устанавливаться с первым равным интервалом вдоль осей х и у и вторым равным интервалом вдоль оси z. Процесс вычисления набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов может включать независимые вычисления вкладов от виртуальных источников вдоль осей x, y и z.

[026] В данном документе описываются различные приборы и устройства. Некоторые такие устройства могут содержать систему интерфейсов и логическую систему. Система интерфейсов может представлять собой сетевой интерфейс. В некоторых реализациях устройство может представлять собой запоминающее устройство. Система интерфейсов может представлять собой интерфейс между логической системой и запоминающим устройством.

[027] Логическая система может быть приспособлена для приема от системы интерфейсов данных звуковоспроизведения, включающих один или несколько звуковых объектов. Звуковые объекты могут включать звуковые сигналы и связанные метаданные. Метаданные могут включать по меньшей мере данные положения звукового объекта и данные размера звукового объекта. Логическая система может быть приспособлена для вычисления для звукового объекта из одного или нескольких звуковых объектов вкладов от виртуальных источников в пределах области или объема звукового объекта, определенного данными положения звукового объекта и данными размера звукового объекта. Логическая система может быть приспособлена для вычисления набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов на основании по меньшей мере частично вычисленных вкладов. Каждый выходной канал может соответствовать по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды.

[028] Процесс вычисления вкладов от виртуальных источников может включать вычисление средневзвешенного значения коэффициентов усиления виртуального источника из виртуальных источников в пределах области или объема звукового объекта. Весовые коэффициенты для средневзвешенного значения могут зависеть от положения звукового объекта, размера звукового объекта и местоположения каждого виртуального источника в пределах области или объема звукового объекта. Логическая система может быть приспособлена для приема от системы интерфейсов данных воспроизводящей среды, включающих данные местоположения воспроизводящих громкоговорителей.

[029] Логическая система может быть приспособлена для определения множества местоположений виртуального источника в соответствии с данными воспроизводящей среде и вычисления для каждого из местоположений виртуального источника значения коэффициента усиления виртуального источника для каждого из множества выходных каналов. Каждое из местоположений виртуального источника может соответствовать местоположению в пределах воспроизводящей среды. Тем не менее, в некоторых реализациях по меньшей мере некоторые из местоположений виртуального источника могут соответствовать местоположениям за пределами воспроизводящей среды. В зависимости от реализации местоположения виртуального источника могут устанавливаться с равными интервалами или устанавливаться с неравными интервалами. В некоторых реализациях местоположения виртуального источника могут устанавливаться с первым равным интервалом вдоль осей х и у и вторым равным интервалом вдоль оси z. Процесс вычисления набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов может включать независимые вычисления вкладов от виртуальных источников вдоль осей x, y и z.

[030] Устройство может также содержать пользовательский интерфейс. Логическая система может быть приспособлена с помощью пользовательского интерфейса для приема пользовательского ввода данных, таких как данные размера звукового объекта. В некоторых реализациях логическая система может быть приспособлена для масштабирования входных данных размера звукового объекта.

[031] Подробности одной или нескольких реализаций предмета изобретения, описываемые в данном описании, изложены ниже в сопроводительных графических материалах и описании. Другие характерные признаки, аспекты и преимущества будут очевидны из описания, графических материалов и формулы изобретения. Следует отметить, что относительные размеры на нижеследующих фигурах могут не быть вычерченными в масштабе.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[032] На фиг. 1 показан пример воспроизводящей среды, имеющей конфигурацию Dolby Surround 5.1.

[033] На фиг. 2 показан пример воспроизводящей среды, имеющей конфигурацию Dolby Surround 7.1.

[034] На фиг. 3 показан пример воспроизводящей среды, имеющей конфигурацию окружающего звука Hamasaki 22.2.

[035] На фиг. 4А показан пример графического пользовательского интерфейса (GUI), который графически представляет зоны громкоговорителей на различных возвышениях в виртуальной воспроизводящей среде.

[036] На фиг. 4В показан пример другой воспроизводящей среды.

[037] На фиг. 5А приведена блок-схема, которая приводит обзор способов обработки звука.

[038] На фиг. 5В приведена блок-схема, которая представляет пример процесса настройки.

[039] На фиг. 5С приведена блок-схема, которая приводит пример процесса рабочего цикла вычисления значений коэффициентов усиления для принимаемых звуковых объектов в соответствии с предварительно вычисленными значениями коэффициентов усиления для местоположений виртуального источника.

[040] На фиг. 6А показан пример местоположений виртуального источника по отношению к воспроизводящей среде.

[041] На фиг. 6В показан альтернативный пример местоположений виртуального источника по отношению к воспроизводящей среде.

[042] На фиг. 6C-6F показаны примеры применения к звуковым объектам в разных местоположениях методик панорамирования в ближней зоне и дальней зоне.

[043] На фиг. 6G показан пример воспроизводящей среды, содержащей один громкоговоритель в каждом углу квадрата, имеющего длину стороны, равную 1.

[044] На фиг. 7 показан пример вкладов от виртуальных источников в пределах области, определенной данными положения звукового объекта и данными размера звукового объекта.

[045] На фиг. 8A и 8B показан звуковой объект в двух положениях в воспроизводящей среде.

[046] На фиг. 9 показана блок-схема, которая описывает способ определения коэффициента плавного перехода, по меньшей мере частично обусловленного тем, насколько область или объем звукового объекта выходят за пределы границы воспроизводящей среды.

[047] Фиг. 10 представляет собой блок-схему, которая приводит примеры компонентов устройства для авторской разработки и/или представления данных.

[048] Фиг. 11А представляет собой блок-схему, которая представляет некоторые компоненты, которые могут использоваться для создания звукового содержимого.

[049] Фиг. 11В представляет собой блок-схему, которая представляет некоторые компоненты, которые могут использоваться для проигрывания звука в воспроизводящей среде.

[050] Аналогичные ссылочные позиции и обозначения в различных графических материалах указывают аналогичные элементы.

ОПИСАНИЕ ПРИВЕДЕННЫХ В КАЧЕСТВЕ ПРИМЕРА ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[051] Нижеследующее описание направлено на определенные реализации с целью описания некоторых изобретательских особенностей данного раскрытия, а также примеров ситуаций, в которых могут быть реализованы эти изобретательские особенности. Однако, идеи в данном документе могут применяться множеством разных способов. Например, несмотря на то, что различные реализации описаны в отношении конкретных воспроизводящих сред, идеи в данном документе широко применимы к другим известным воспроизводящим средам, а также к воспроизводящим средам, которые могут быть представлены в будущем. Кроме того, описанные реализации могут быть реализованы в различных инструментах авторской разработки и/или представления данных, которые могут быть реализованы в различных аппаратных средствах, программном обеспечении, программно-аппаратном обеспечении и т.д. Соответственно, идеи в данном документе не подразумеваются ограниченными реализациями, показанными на фигурах и/или описанными в данном документе, но вместо этого имеют широкую применимость.

[052] На фиг. 1 показан пример воспроизводящей среды, имеющей конфигурацию Dolby Surround 5.1. Dolby Surround 5.1 разрабатывалась в 1990-х гг., но эта конфигурация по-прежнему широко распространена в средах звуковых систем для кинематографии. Проектор 105 может быть выполнен для проецирования видеоизображений, например, кинокартины, на экран 150. Данные звуковоспроизведения могут быть синхронизированы с видеоизображениями и обработаны устройством 110 для обработки звука. Усилители 115 мощности могут подавать на громкоговорители воспроизводящей среды 100 сигналы, подаваемые на громкоговорители.

[053] Конфигурация Dolby Surround 5.1 включает левый окружающий массив 120 и правый окружающий массив 125, каждый из которых включает группу громкоговорителей с групповым управлением единственным каналом. Конфигурация Dolby Surround 5.1 также содержит отдельные каналы для левого экранного канала 130, центрального экранного канала 135 и правого экранного канала 140. Для низкочастотных эффектов (LFE) предусматривается отдельный канал для сверхнизкочастотного громкоговорителя 145.

[054] В 2010 г. Dolby представила усовершенствования цифрового звука для кинематографии, представив Dolby Surround 7.1. На фиг. 2 показан пример воспроизводящей среды, имеющей конфигурацию Dolby Surround 7.1. Цифровой проектор 205 может быть выполнен с возможностью приема цифровых видеоданных и проецирования видеоизображений на экран 150. Данные звуковоспроизведения могут быть обработаны устройством 210 для обработки звука. Усилители 215 мощности могут подавать на громкоговорители воспроизводящей среды 200 сигналы, подаваемые на громкоговорители.

[055] Конфигурация Dolby Surround 7.1 содержит левый боковой окружающий массив 220 и правый боковой окружающий массив 225, каждый из которых может управляться единственным каналом. Как и Dolby Surround 5.1, конфигурация Dolby Surround 7.1 содержит отдельные каналы для левого экранного канала 230, центрального экранного канала 235, правого экранного канала 240 и сверхнизкочастотного громкоговорителя 245. Однако, Dolby Surround 7.1 увеличивает количество окружающих каналов путем разделения левого и правого окружающих каналов Dolby Surround 5.1 на четыре зоны: в дополнение к левому боковому окружающему массиву 220 и правому боковому окружающему массиву 225 включены отдельные каналы для левых тыловых окружающих громкоговорителей 224 и правых тыловых окружающих громкоговорителей 226. Увеличение количества окружающих зон в пределах воспроизводящей среды 200 может значительно улучшать локализацию звука.

[056] В попытке создать среду, создающую больший эффект присутствия, некоторые воспроизводящие среды могут быть выполнены с повышенными количествами громкоговорителей, управляемых повышенными количествами каналов. Более того, некоторые воспроизводящие среды могут содержать громкоговорители, развернутые на разных возвышениях, некоторые из которых могут находиться над опорной поверхностью воспроизводящей среды.

[057] На фиг. 3 показан пример воспроизводящей среды, имеющей конфигурацию окружающего звука Hamasaki 22.2. Hamasaki 22.2 разрабатывалась в NHK Science & Technology Research Laboratories в Японии как компонент окружающего звука для телевидения сверхвысокой четкости. Hamasaki 22.2 предусматривает 24 канала громкоговорителей, которые могут использоваться для управления громкоговорителями, расположенными в трех слоях. Верхний слой 310 громкоговорителей воспроизводящей среды 300 может управляться 9 каналами. Средний слой 320 громкоговорителей может управляться 10 каналами. Нижний слой 330 громкоговорителей может управляться 5 каналами, два из которых предназначены для сверхнизкочастотных громкоговорителей 345a и 345b.

[058] Соответственно, современным направлением является включение не только большего количества громкоговорителей и большего количества каналов, но также включение громкоговорителей на разных высотах. По мере увеличения количества каналов и перехода схемы размещения громкоговорителей от двумерного массива к трехмерному массиву, задачи определения положения и представления данных для звуков становятся все более и более сложными. Соответственно, настоящее раскрытие предусматривает различные инструментальные средства, а также относящиеся к ним пользовательские интерфейсы, что увеличивает функциональные возможности и/или снижает сложность авторской разработки для акустической системы трехмерного звука. Некоторые из этих инструментальных средств подробно описаны со ссылками на фиг. 5A-19D в предварительной заявке на патент США № 61/636102, поданной 20 апреля 2012 года и озаглавленной "System and Tools for Enhanced 3D Audio Authoring and Rendering” (the “Authoring and Rendering Application”), которая включена в данный документ посредством ссылки.

[059] На фиг. 4А показан пример графического пользовательского интерфейса (GUI), который графически представляет зоны громкоговорителей на различных возвышениях в виртуальной воспроизводящей среде. GUI 400 может, например, отображаться на дисплейном устройстве в соответствии с командами из логической системы, в соответствии с сигналами, полученными от устройств пользовательского ввода данных и т.д. Некоторые из таких устройств описываются ниже со ссылкой на фиг. 10.

[060] Как используется в данном документе, со ссылкой на виртуальные воспроизводящие среды, такие как виртуальная воспроизводящая среда 404, термин "зона громкоговорителей" обычно относится к логической структуре, которая может обладать или может не обладать взаимнооднозначным соответствием с воспроизводящим громкоговорителем фактической воспроизводящей среды. Например, "местоположение зоны громкоговорителей" может соответствовать или не соответствовать местоположению конкретного воспроизводящего громкоговорителя воспроизводящей среды для кинематографии. Вместо этого, термин "местоположение зоны громкоговорителей" обычно может относиться к зоне виртуальной воспроизводящей среды. В некоторых реализациях зона громкоговорителя виртуальной воспроизводящей среды может соответствовать виртуальному громкоговорителю, например, посредством использования такой технологии виртуализации, как Dolby Headphone™, (иногда именуемой Mobile Surround™), которая создает виртуальную среду окружающего звука в режиме реального времени с использованием набора двухканальных стереофонических наушников. В GUI 400 имеется семь зон 402а громкоговорителей на первом возвышении и две зоны 402b громкоговорителей на втором возвышении, что в сумме составляет девять зон громкоговорителей в виртуальной воспроизводящей среде 404. В данном примере, зоны 1-3 громкоговорителей находятся в передней области 405 виртуальной воспроизводящей среды 404. Передняя область 405 может соответствовать, например, области воспроизводящей среды для кинематографии, в которой расположен экран 150, к области дома, в которой расположен телевизионный экран и т.д.

[061] В данном документе зона 4 громкоговорителей обычно соответствует громкоговорителям в левой области 410, а зона 5 громкоговорителей соответствует громкоговорителям в правой области 415 виртуальной воспроизводящей среды 404. Зона 6 громкоговорителей соответствует левой тыловой области 412, а зона 7 громкоговорителей соответствует правой тыловой области 414 виртуальной воспроизводящей среды 404. Зона 8 громкоговорителей соответствует громкоговорителям в верхней области 420а, а зона 9 громкоговорителей соответствует громкоговорителям в верхней области 420b, которая может представлять собой область виртуального потолка. Соответственно, и как более подробно описано в Authoring and Rendering Application, местоположения зон 1-9 громкоговорителей, которые показаны на фиг. 4А, могут соответствовать или не соответствовать местоположениям воспроизводящих громкоговорителей фактической воспроизводящей среды. Кроме того, другие реализации могут содержать больше или меньше зон громкоговорителей и/или возвышений.

[062] В различных реализациях, описанных в Authoring and Rendering Application, пользовательский интерфейс, такой как GUI 400, может использоваться как часть инструментального средства авторской разработки и/или инструментального средства представления данных. В некоторых реализациях инструментальное средство авторской разработки и/или инструментальное средство представления данных может быть реализовано посредством программного обеспечения, хранящегося в памяти одного или нескольких постоянных носителей данных. Инструментальное средство авторской разработки и/или инструментальное средство представления данных могут быть реализованы (по меньшей мере частично) аппаратным обеспечением, программно-аппаратным обеспечением и т.д., такими как логическая система, и другими устройствами, описываемыми ниже со ссылкой на фиг. 10. В некоторых реализациях связанное инструментальное средство авторской разработки может использоваться с целью создания метаданных для связанных аудиоданных. Метаданные могут, например, включать данные, указывающие на положение и/или траекторию звукового объекта в трехмерном пространстве, данные ограничения зон громкоговорителей и т.д. Метаданные могут быть созданы по отношению к зонам 402 громкоговорителей виртуальной воспроизводящей среды 404, а не по отношению к конкретной схеме расположения громкоговорителей фактической воспроизводящей среды. Инструментальное средство представления данных может принимать аудиоданные и связанные метаданные и вычислять коэффициенты усиления звука и сигналы, подаваемые на громкоговорители, для воспроизводящей среды. Такие коэффициенты усиления звука и сигналы, подаваемые на громкоговорители, могут вычисляться согласно процессу амплитудного панорамирования, который может создавать ощущение того, что звук исходит из положения Р в воспроизводящей среде. Например, сигналы, подаваемые на громкоговорители, могут подаваться на воспроизводящие громкоговорители 1-N воспроизводящей среды в соответствии со следующим уравнением:

[063] x_i(t) = g_ix(t), i = 1, …N (Уравнение 1)

[064] В уравнении 1 x_i(t) представляет собой сигнал, подаваемый на громкоговоритель, для применения в громкоговорителе i, g_i представляет собой коэффициент усиления соответствующего канала, x(t) представляет собой звуковой сигнал и t представляет собой время. Коэффициенты усиления могут быть определены, например, в соответствии со способами амплитудного панорамирования, описанными в разделе 2 на страницах 3-4 статьи V. Pulkki, Compensating Displacement of Amplitude-Panned Virtual Sources (Audio Engineering Society (AES) International Conference on Virtual, Synthetic and Entertainment Audio), которая включена в данный документ посредством ссылки. В некоторых реализациях коэффициенты усиления могут быть частотнозависимыми. В некоторых реализациях путем замены x(t) на x(t-Δt) может вводиться временная задержка.

[065] В некоторых реализациях представления данных данные звуковоспроизведения, созданные со ссылкой на зоны 402 громкоговорителей, могут быть назначены местоположениям громкоговорителей для широкого круга воспроизводящих сред, которые могут иметь конфигурацию Dolby Surround 5.1, конфигурацию Dolby Surround 7.1, конфигурацию Hamasaki 22.2 или другую конфигурацию. Например, со ссылкой на фиг. 2, инструментальное средство представления данных может назначать данные звуковоспроизведения для зон 4 и 5 громкоговорителей левому боковому окружающему массиву 220 и правому боковому окружающему массиву 225 воспроизводящей среды, имеющей конфигурацию Dolby Surround 7.1. Данные звуковоспроизведения для зон 1, 2 и 3 громкоговорителей могут, соответственно, быть назначены левому экранному каналу 230, правому экранному каналу 240 и центральному экранному каналу 235. Данные звуковоспроизведения для зон 6 и 7 громкоговорителей могут быть назначены левым тыловым окружающим громкоговорителям 224 и правым тыловым окружающим громкоговорителям 226.

[066] На фиг. 4В показан пример другой воспроизводящей среды. В некоторых реализациях инструментальное средство представления данных может назначать данные звуковоспроизведения для зон 1, 2 и 3 громкоговорителей соответствующим экранным громкоговорителям 455 воспроизводящей среды 450. Инструментальное средство представления данных может назначать данные звуковоспроизведения для зон 4 и 5 громкоговорителей левому боковому окружающему массиву 460 и правому боковому окружающему массиву 465 и может назначать данные звуковоспроизведения для зон 8 и 9 громкоговорителей левым верхним громкоговорителям 470а и правым верхним громкоговорителям 470b. Данные звуковоспроизведения для зон 6 и 7 громкоговорителей могут быть назначены левым тыловым окружающим громкоговорителям 480а и правым тыловым окружающим громкоговорителям 480b.

[067] В некоторых реализациях авторской разработки инструментальное средство авторской разработки может использоваться для создания метаданных для звуковых объектов. Как отмечено выше, термин "звуковой объект" может относиться к потоку сигналов аудиоданных и связанным метаданным. Метаданные могут указывать трехмерное положение звукового объекта, кажущийся размер звукового объекта, ограничения представления данных, а также тип содержимого (например, диалог, эффекты и т.д.). В зависимости от реализации, метаданные могут включать другие типы данных, такие как данные коэффициента усиления, данные траектории и т.д. Некоторые звуковые объекты могут быть неподвижными, в то время как другие объекты могут перемещаться. Детали звукового объекта могут осуществлены посредством авторской разработки или представлены в соответствии со связанными метаданными, которые, среди прочего, могут указывать положение звукового объекта в трехмерном пространстве в заданный момент времени. Когда звуковые объекты наблюдаются или проигрываются в воспроизводящей среде, данные звуковых объектов могут представляться в соответствии с метаданными их положения и размера в соответствии со схемой расположения воспроизводящих громкоговорителей воспроизводящей среды.

[068] На фиг. 5А приведена блок-схема, которая приводит обзор способов обработки звука. Более подробно примеры описаны ниже со ссылкой на фиг. 5В и следующие. Данные способы могут включать больше или меньше блоков, чем показано и описано в данном документе, и не обязательно выполняются в порядке, показанном в данном документе. Данные способы могут по меньшей мере частично быть выполнены с помощью устройств, таких как показанные на фиг. 10-11B и описаны ниже. В некоторых вариантах осуществления данные способы могут быть реализованы по меньшей мере частично посредством программного обеспечения, хранящегося в памяти одного или нескольких постоянных носителей данных. Программное обеспечение может включать команды для управления одним или несколькими устройствами для выполнения описанных в данном документе способов.

[069] В примере, показанном на фиг. 5А, способ 500 начинается с процесса настройки определения значений коэффициентов усиления виртуального источника для местоположений виртуального источника по отношению к конкретной воспроизводящей среде (блок 505). На фиг. 6А показан пример местоположений виртуального источника по отношению к воспроизводящей среде. Например, блок 505 может включать определение значений коэффициентов усиления виртуального источника местоположений 605 виртуального источника по отношению к местоположениям 625 воспроизводящих громкоговорителей воспроизводящей среды 600а. Местоположения 605 виртуального источника и местоположения 625 воспроизводящих громкоговорителей являются просто примерами. В примере, показанном на фиг. 6А, местоположения 605 виртуального источника установлены с равными интервалами вдоль осей x, y и z. Тем не менее, в альтернативных реализациях местоположения 605 виртуального источника могут быть распределены неодинаково. Например, в некоторых реализациях местоположения 605 виртуального источника могут быть установлены с первым равным интервалом вдоль осей х и у и вторым равным интервалом вдоль оси z. В других реализациях местоположения 605 виртуального источника могут быть установлены с неравными интервалами.

[070] В примере, показанном на фиг. 6А, воспроизводящая среда 600а и объем 602а виртуального источника одинаковы по протяженности в пространстве таким образом, что каждое из местоположений 605 виртуального источника соответствует местоположению в пределах воспроизводящей среды 600а. Тем не менее, в альтернативных реализациях воспроизводящая среда 600 и объем 602 виртуального источника могут не быть одинаковыми по протяженности в пространстве. Например, по меньшей мере местоположения 605 виртуального источника могут соответствовать местоположениям за пределами воспроизводящей среды 600.

[071] На фиг. 6В показан альтернативный пример местоположений виртуального источника по отношению к воспроизводящей среде. В этом примере объем 602b виртуального источника выходит за пределы воспроизводящей среды 600b.

[072] Возвращаясь к фиг. 5А, в этом примере процесс настройки блока 505 происходит перед представлением данных конкретных звуковых объектов. В некоторых реализациях коэффициенты усиления виртуального источника, определенные в блоке 505, могут храниться в системе хранения данных. Сохраненные значения коэффициента усиления виртуального источника могут быть использованы в течение "рабочего цикла" процесса вычисления значений коэффициентов усиления звукового объекта для полученных звуковых объектов согласно по меньшей мере некоторым из значений коэффициентов усиления виртуального источника (блок 510). Например, блок 510 может включать вычисление значения коэффициентов усиления звукового объекта, по меньшей мере частично обусловленных значениями коэффициентов усиления виртуального источника, соответствующими местоположениям виртуального источника, которые находятся в пределах области или объема звукового объекта.

[073] В некоторых реализациях способ 500 может включать необязательный блок 515, который включает декорреляцию аудиоданных. Блок 515 может быть частью процесса рабочего цикла. В некоторых таких реализациях блок 515 может включать свертку в частотной области. Например, блок 515 может включать применение фильтра с ограниченной частотной характеристикой ("FIR") для каждого сигнала, подаваемого на громкоговоритель.

[074] В некоторых реализациях процессы блока 515 могут выполняться или могут не выполняться в зависимости от размера звукового объекта и/или авторского художественного замысла. В соответствии с некоторыми такими реализациями инструментальное средство авторской разработки может связывать размер звукового объекта с декорреляцией посредством указания (например, с помощью флага декорреляции, включенного в связанные метаданные) того, что декорреляция должна быть запущена, если размер звукового объекта больше или равен пороговому значению размера, и что декорреляция должна быть остановлена, если размер звукового объекта меньше порогового значения размера. В некоторых реализациях декорреляцией можно управлять (например, увеличивать, уменьшать или отключать) в соответствии с пользовательским вводом данных, относящихся к пороговому значению размера и/или другим входным величинам.

[075] На фиг. 5В приведена блок-схема, которая представляет пример процесса настройки. Соответственно, все блоки, показанные на фиг. 5В, представляют примеры процессов, которые могут быть выполнены в блоке 505 фиг. 5А. Процесс настройки начинается с получения данных воспроизводящей среды (блок 520). Данные воспроизводящей среды могут включать данные местоположения воспроизводящего громкоговорителя. Данные воспроизводящей среды также могут включать данные, представляющие границы воспроизводящей среды, такие как стены, потолок и т.д. Если воспроизводящая среда является кинотеатром, то данные воспроизводящей среды также могут включать указатель местоположения киноэкрана.

[076] Данные воспроизводящей среды также могут включать данные, указывающие на корреляцию выходных каналов с воспроизводящими громкоговорителями воспроизводящей среды. Например, воспроизводящая среда может иметь конфигурацию Dolby Surround 7.1, которая показана на фиг. 2 и описана выше. Соответственно, данные воспроизводящей среды также могут включать данные, указывающие на корреляцию между каналом Lss и левыми боковыми окружающими громкоговорителями 220, между каналом Lrs и левыми тыловыми окружающими громкоговорителями 224 и т.д.

[077] В данном примере блок 525 включает определение местоположений 605 виртуального источника в соответствии с данными воспроизводящей среды. Местоположения 605 виртуального источника могут определяться в пределах объема виртуального источника. В некоторых реализациях объем виртуального источника может соответствовать объему, в пределах которого звуковые объекты могут перемещаться. Как показано на фиг. 6А и 6В, в некоторых реализациях объем 602 виртуального источника может быть одинаковым по протяженности в пространстве с объемом воспроизводящей среды 600, в то время как в других реализациях по меньшей мере некоторые из местоположений 605 виртуального источника могут соответствовать местоположениям за пределами воспроизводящей среды 600.

[078] Кроме того, местоположения 605 виртуального источника могут быть установлены с равными интервалами или установлены с неравными интервалами в пределах объема 602 виртуального источника в зависимости от конкретной реализации. В некоторых реализациях местоположения 605 виртуального источника могут устанавливаться с равными интервалами во всех направлениях. Например, местоположения 605 виртуального источника могут образовывать прямоугольную сетку N_x на N_y на N_z местоположений 605 виртуального источника. В некоторых реализациях значение N может находиться в диапазоне от 5 до 100. Значение N может зависеть по меньшей мере частично от количества воспроизводящих громкоговорителей в воспроизводящей среде: желательно включать два или более местоположений 605 виртуального источника между каждым местоположением воспроизводящего громкоговорителя.

[079] В других реализациях местоположения 605 виртуального источника могут быть установлены с первым равным интервалом вдоль осей х и у и вторым равным интервалом вдоль оси z. Местоположения 605 виртуального источника могут образовывать прямоугольную сетку N_x на N_y на M_z местоположений 605 виртуального источника. Например, в некоторых реализациях может находиться меньше местоположений 605 виртуального источника вдоль оси z, чем вдоль осей х или у. В некоторых таких реализациях значение N может находиться в диапазоне от 10 до 100, в то время как значение М может находиться в диапазоне от 5 до 10.

[080] В данном примере блок 530 включает вычисление значений коэффициентов усиления виртуального источника для каждого из местоположений 605 виртуального источника. В некоторых реализациях блок 530 включает вычисление для каждого из местоположений 605 виртуального источника значений коэффициентов усиления виртуального источника для каждого канала из множества выходных каналов воспроизводящей среды. В некоторых реализациях блок 530 может включать применение алгоритма амплитудного панорамирования на векторной основе (VBAP), алгоритма попарного панорамирования или подобного алгоритма для вычисления значений коэффициентов усиления для точечных источников, расположенных в каждом из местоположений 605 виртуального источника. В других реализациях блок 530 может включать применение сепарабельного алгоритма для вычисления значений коэффициентов усиления для точечных источников, расположенных в каждом из местоположений 605 виртуального источника. Как используется в данном документе, термин "сепарабельный" алгоритм представляет собой алгоритм, для которого коэффициент усиления заданного громкоговорителя может быть выражен как произведение двух или более множителей, которые могут быть вычислены отдельно для каждой из координат местоположения виртуального источника. Примеры включают алгоритмы, реализованные в различных существующих инструментальных средствах панорамирования микшерных пультов, включая программное обеспечение Pro Tools™ и инструментальные средства панорамирования, реализованные в цифровых кинопультах, предусмотренных AMS Neve, но не ограничиваясь ими. Некоторые двумерные примеры приведены ниже.

[081] На фиг. 6C-6F показаны примеры применения к звуковым объектам в разных местоположениях методик панорамирования в ближней зоне и дальней зоне. Сначала обратимся к фиг. 6С, звуковой объект находится по существу за пределами виртуальной воспроизводящей среды 400а. Поэтому в данном случае будет применяться один или несколько способов панорамирования в дальней зоне. В некоторых реализациях способы панорамирования в дальней зоне могут основываться на уравнениях амплитудного панорамирования на векторной основе (VBAP), которые известны средним специалистам в данной области техники. Например, способы панорамирования в дальней зоне могут основываться на уравнениях VBAP, описываемых в разделе 2.3, стр. 4 статьи V. Pulkki, Compensating Displacement of Amplitude-Panned Virtual Sources (AES International Conference on Virtual, Synthetic and Entertainment Audio), которая включается в данный документ посредством ссылки. В альтернативных реализациях для панорамирования звуковых объектов в ближней зоне и дальней зоне могут использоваться другие способы, например, способы, которые включают использование синтеза соответствующих акустических плоскостей или сферической волны. Соответствующие способы описаны в монографии D. de Vries, Wave Field Synthesis (AES Monograph 1999), которая включена в данный документ посредством ссылки.

[082] Со ссылкой теперь к фиг. 6D, звуковой объект 610 находится внутри виртуальной воспроизводящей среды 400а. Поэтому в данном случае будет применяться один или несколько способов панорамирования в ближней зоне. Некоторые такие способы панорамирования в ближней зоне будут использовать несколько зон громкоговорителей, заключающих звуковой объект 610 в виртуальной воспроизводящей среде 400а.

[083] На фиг. 6G показан пример воспроизводящей среды, содержащей один громкоговоритель в каждом углу квадрата, имеющего длину стороны, равную 1. В этом примере начало координат (0,0) осей x-y совпадает с левым (L) экранным громкоговорителем 130. Соответственно, правый (R) экранный громкоговоритель 140 имеет координаты (1,0), левый окружающий (Ls) громкоговоритель 120 имеет координаты (0,1) и правый окружающий (RS) громкоговоритель 125 имеет координаты (1,1). Положение 615 (х,у) звукового объекта находится на х единиц правее громкоговорителя L и у единиц от экрана 150. В данном примере каждый из четырех громкоговорителей получает косинусный/синусный множитель, пропорциональный их расстоянию вдоль оси х и оси у. Согласно некоторых реализациям коэффициенты усиления могут быть вычислены следующим образом:

G_l (x) = cos(pi/2* x), если l=L,Ls G_1 (x) = sin(pi/2* x), если l=R,Rs G_l (y) = cos(pi/2* y), если l=L,R G_l (y) = sin(pi/2* y), если l=Ls,Rs

[084] Общий коэффициент усиления является произведением: G_l(x,y) =G_l(x) G_l(y). В целом данные функции зависят от всех координат всех громкоговорителей. Тем не менее, G_l(x) не зависит от положения источника по оси y, а G_l(y) не зависит от его положения по оси x. Для иллюстрации простого расчета, предполагают, что положение 615 звукового объекта соответствует координатам (0,0), где расположен громкоговоритель L. G_L (x) = cos (0) = 1. G_L (y) = cos (0) = 1. Общий коэффициент усиления является произведением: G_L(x,y) =G_L(x) G_L(y) = 1. Аналогичные вычисления приводят к G_Ls = G_Rs = G_R = 0.

[085] Может потребоваться смешивание различных режимов панорамирования при вхождении или покидании звуковым объектом виртуальной воспроизводящей среды 400a. Например, смесь коэффициентов усиления вычисляется в соответствии со способами панорамирования в ближней зоне, а способы панорамирования в дальней зоне могут быть применены, когда звуковой объект 610 перемещается из местоположения 615 звукового объекта, показанного на фиг. 6С, в местоположение 615 звукового объекта, показанное на фиг. 6D , или наоборот. В некоторых реализациях может использоваться парный закон панорамирования (например, синусный или степенной закон сохранения энергии) для смешивания коэффициентов усиления, вычисленных в соответствии способами панорамирования в ближней зоне и способами панорамирования в дальней зоне. В альтернативных реализациях парный закон панорамирования может быть сохраняющим амплитуду, а не сохраняющим энергию, в результате чего единице равна сумма, а не сумма квадратов. Также можно смешивать результирующие обработанные сигналы, например, для обработки звукового сигнала с независимым использованием обоих способов панорамирования и плавного перехода между двумя результирующими звуковыми сигналами.

[086] Возвращаясь теперь к фиг. 5В, независимо от алгоритма, используемого в блоке 530, результирующие значения коэффициента усиления могут быть сохранены в системе памяти (блок 535) для использования во время операций рабочего цикла.

[087] На фиг. 5С приведена блок-схема, которая приводит пример процесса рабочего цикла вычисления значений коэффициентов усиления для принимаемых звуковых объектов в соответствии с предварительно вычисленными значениями коэффициентов усиления для местоположений виртуального источника. Все блоки, показанные на фиг. 5С, представляют собой примеры процессов, которые могут быть выполнены в блоке 510 фиг. 5А.

[088] В данном примере процесс рабочего цикла начинается с получения данных звуковоспроизведения, которые включают один или несколько звуковых объектов (блок 540). Звуковые объекты включают звуковые сигналы и соответствующие метаданные, включающие в данном примере по меньшей мере данные положения звукового объекта и данные размера звукового объекта. Со ссылкой к фиг. 6А, например, звуковой объект 610 определен по меньшей мере частично с помощью положения 615 звукового объекта 615 и объема 620а звукового объекта. В данном примере полученные данные размера звукового объекта показывают, что объем 620a звукового объекта соответствует прямоугольной призме. В примере, показанном на фиг. 6В, впрочем, полученные данные размера звукового объекта показывают, что объем 620b звукового объекта соответствует сфере. Эти размеры и формы являются лишь примерами; в альтернативных реализациях звуковые объекты могут иметь множество других размеров и/или форм. В некоторых альтернативных примерах областью или объемом звукового объекта может быть прямоугольник, круг, эллипс, эллипсоид или сферический сектор.

[089] В данной реализации блок 545 включает вычисление вкладов от виртуальных источников в пределах области или объема, определенного данными положения звукового объекта и данными размера звукового объекта. В примерах, показанных на фиг. 6А и 6В, блок 545 может включать вычисление вкладов от виртуальных источников в местоположениях 605 виртуального источника, которые находятся в пределах объема 620a звукового объекта или объема 620b звукового объекта. Если метаданные звукового объекта меняются с течением времени, то блок 545 может выполняться также в соответствии с новыми значениями метаданных. Например, если размер звукового объекта и/или положение звукового объекта изменились, то разные местоположения 605 виртуального источника могут находиться в пределах объема 620 звукового объекта и/или местоположения 605 виртуального источника, используемые для предварительного расчета, могут находиться на разном расстоянии от положения 615 звукового объекта. В блоке 545 соответствующие вклады виртуального источника будут вычислены в соответствии с новым размером и/или положением звукового объекта.

[090] В некоторых примерах блок 545 может включать получение от системы памяти вычисленных значений коэффициентов усиления виртуального источника для местоположений виртуального источника, соответствующих положению и размеру звукового объекта, и интерполяцию между вычисленными значениями коэффициентов усиления виртуального источника. Процесс интерполяции между вычисленными значениями коэффициентов усиления виртуального источника может включать определение множества соседних местоположений виртуального источника в окрестности положения звукового объекта; определение вычисленных значений коэффициентов усиления виртуального источника для каждого из соседних местоположений виртуального источника; определение множества расстояний между положением звукового объекта и каждым из соседних местоположений виртуального источника; и интерполяцию между вычисленными значениями коэффициентов усиления виртуального источника в соответствии со множеством расстояний.

[091] Процесс вычисления вкладов от виртуальных источников может включать вычисление средневзвешенного значения вычисленных значений коэффициентов усиления виртуального источника для местоположений виртуального источника в пределах области или объема, определенного размером звукового объекта. Весовые коэффициенты для средневзвешенного значения могут зависеть, например, от положения звукового объекта, размера звукового объекта и каждого местоположения виртуального источника в пределах области или объема.

[092] На фиг. 7 показан пример вкладов от виртуальных источников в пределах области, определенной данными положения звукового объекта и данными размера звукового объекта. На фиг. 7 изображено поперечное сечение звуковой среды 200а, выполненное перпендикулярно оси z. Таким образом, фиг. 7 начерчена с точки зрения зрителя, смотрящего вниз в звуковую среду 200а вдоль оси z. В этом примере звуковая среда 200а является средой звуковой системы для кинематографии, имеющей конфигурацию Dolby Surround 7.1, такую как показана на фиг. 2 и описана выше. Соответственно, воспроизводящая среда 200а включает левые боковые окружающие громкоговорители 220, левые тыловые окружающие громкоговорители 224, правые боковые окружающие громкоговорители 225, правые тыловые окружающие громкоговорители 226, левый экранный канал 230, центральный экранный канал 235, правый экранный канал 240 и сверхнизкочастотный громкоговоритель 245.

[093] Звуковой объект 610 имеет размер, указанный объемом 620b звукового объекта - прямоугольной областью поперечного сечения, показанной на фиг. 7. Заданное положение 615 звукового объекта в определенный момент времени изображено на фиг. 7, 12 местоположений 605 виртуального источника включены в область, охваченную объемом 620b звукового объекта в плоскости х-у. В зависимости от протяженности объема 620b звукового объекта в направлении z и интервала между местоположениями 605 виртуального источника вдоль оси z дополнительные местоположения 605s виртуального источника могут охватываться или не охватываться объемом 620b звукового объекта.

[094] На фиг. 7 указаны вклады от местоположений 605 виртуального источника в пределах области или объема, определенного размером звукового объекта 610. В данном примере диаметр круга используется для описания того, что каждое из местоположений 605 виртуального источника соответствует вкладу от соответствующего местоположения 605 виртуального источника. Местоположения 605a виртуального источника, ближайшие к положению 615 звукового объекта, показаны наибольшим размером, указывающим на наибольший вклад от соответствующих виртуальных источников. Вторыми по величине вкладами являются вклады от виртуальных источников в местоположениях 605b виртуального источника, которые вторые по близости к положению 615 звукового объекта. Меньшие вклады выполняются местоположениями 605c виртуального источника, которые расположены дальше от положения 615 звукового объекта, но все еще в пределах объема 620b звукового объекта. Местоположения 605d виртуального источника, которые находятся за пределами объема 620b звукового объекта, показаны наименьшим размером, который указывает на то, что в данном примере соответствующие виртуальные источники не делают вклада.

[095] Возвращаясь к фиг. 5С, в данном примере блок 550 содержит вычисление набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов на основании по меньшей мере частично вычисленных вкладов. Каждый выходной канал может соответствовать по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды. Блок 550 может включать нормализацию результирующих значений коэффициентов усиления звукового объекта. Для реализации, показанной на фиг. 7, например, каждый выходной канал может соответствовать единственному громкоговорителю или группе громкоговорителей.

[096] Процесс вычисления значения коэффициента усиления звукового объекта для каждого из множества выходных каналов может включать определение значения коэффициента усиления (g_l ^size (х₀, у₀, z_o; s)) для звукового объекта размера (s) для представления данных в местоположении x₀, y₀, z₀. Данное значение коэффициента усиления звукового объекта может иногда упоминаться в данном документе как "вклад размера звукового объекта". В соответствии с некоторыми реализациями значение коэффициента усиления звукового объекта (g_l ^size (х₀, у₀, z_o; s)) может быть выражено как:

[097] В уравнении 2 (x_vs, y_vs, z_vs) представляет собой местоположение виртуального источника, g_l(x_vs, y_vs, z_vs) представляет собой значение коэффициента усиления для канала l для местоположения x_vs, y_vs, z_vs виртуального источника и w(x_vs, y_vs, z_vs; x₀, y₀, z₀; s) представляет собой весовой коэффициент для g_l(x_vs, y_vs, z_vs), определенный на основании по меньшей мере частично местоположения (x₀, y₀, z₀) звукового объекта, размера (s) звукового объекта и местоположения (x_vs, y_vs, z_vs) виртуального источника.

[098] В некоторых примерах показатель р может иметь значение от 1 до 10. В некоторых реализациях р может быть функцией размера s звукового объекта. Например, если s относительно больше, в некоторых реализациях р может быть относительно меньше. Согласно некоторым таким реализациям р может быть определен следующим образом:

p = 6, если s ≤ 0,5

p = 6 + (-4)(s - 0,5) /(s_max - 0,5), если s> 0,5,

где s_max соответствует максимальному значению внутреннего увеличенного размера s_internal (описано ниже), и где размер звукового объекта s = 1 может соответствовать звуковому объекту, имеющему размер (например, диаметр), равный длине одной из границ воспроизводящей среды (например, равный длине одной из стен воспроизводящей среды).

[099] В частичной зависимости от алгоритма(ов), используемого(ых) для вычисления значений коэффициентов усиления виртуального источника можно упростить уравнение 2, если местоположения виртуального источника устанавливаются с равными интервалами вдоль оси, и если весовые функции и функции коэффициента усиления являются сепарабельными, например, как описано выше. Если эти условия выполняются, то g_l(x_vs, y_vs, z_vs) может быть выражено как g_lx(x_vs)g_ly(y_vs)g_lz(z_vs), где g_lx(x_vs), g_ly(y_vs) и g_lz(z_vs) представляют собой независимые функции усиления от координат x, y и z местоположения виртуального источника.

[100] Кроме того, w(x_vs, y_vs, z_vs; x₀, y₀, z₀;s) можно разложить на множители как

w_x(x_vs;x₀;s)w_y(y_vs;y₀;s)w_z(z_vs;z₀;s), где w_x(x_vs; x₀; s), w_y(y_vs; y₀; s) и w_z(z_vs; z₀; s)

представляют собой независимые весовые функции от координат x, y и z местоположения виртуальной источника. Один такой пример показан на фиг. 7. В этом примере весовая функция 710, выраженная как w_x(x_vs; x₀; s), может быть вычислена независимо от весовой функции 720, выраженной как w_y(y_vs; x₀; s). В некоторых реализациях весовые функции 710 и 720 могут быть гауссовыми функциями, в то время как весовая функции w_z(z_vs; z₀; s) может быть произведением косинусной и гауссовой функций.

[101] Если w(x_vs, y_vs, z_vs; x_o, y_o, z_o; s) может быть разложена на множители w_x (x_vs; x_o; s) w_y (y_vs; y_o; s) w_z (z_vs; z_o; s), уравнение 2 упрощается до:

[102] Функции f могут содержать всю необходимую информацию о виртуальных источниках. Если возможные положения объекта дискретизируются вдоль каждой оси, то можно выразить каждую функцию f в виде матрицы. Каждая функция f может быть предварительно вычислена во время процесса настройки в блоке 505 (см. фиг. 5А) и сохранена в системе памяти, например, в виде матрицы или в виде таблицы поиска. Во время рабочего цикла (блок 510) таблицы поиска или матрицы могут быть извлечены из системы памяти. Процесс рабочего цикла может включать интерполяцию, задаваемую положением и размером звукового объекта, между ближайшими соответствующими значениями этих матриц. В некоторых реализациях интерполяция может быть линейной.

[103] В некоторых реализациях вклад размера звукового объекта g_l ^size может быть объединен с результатом "приближенного коэффициента усиления звукового объекта" для положения звукового объекта. Как используется в данном документе, "приближенный коэффициент усиления звукового объекта" является коэффициентом усиления, вычисляемым на основании положения 615 звукового объекта. Вычисление коэффициента усиления может быть сделано с помощью того же алгоритма, который используется для вычисления каждого из значений коэффициентов усиления виртуального источника. Согласно некоторым таким реализациям вычисление плавного перехода может быть выполнено между вкладом размера звукового объекта и результатом приближенного коэффициента усиления звукового объекта, например, в виде функции размера звукового объекта. Такие реализации могут предусматривать плавное панорамирование и плавное увеличение звуковых объектов и могут предусматривать плавный переход между наименьшим и наибольшим размерами звукового объекта. В одной такой реализации,

и где

представляет собой нормализованный вариант ранее вычисленного g_l ^size. В некоторых таких реализациях s_xfade = 0,2. Тем не менее, в альтернативных реализациях s_xfade может иметь другие значения.

[104] В соответствии с некоторыми реализациями значение размера звукового объекта может быть увеличено в большей части своего диапазона возможных значений. В некоторых реализациях авторской разработки, например, пользователь может подвергаться воздействию значений размера звукового объекта s_user ∈ [0,1], которые назначаются действительному размеру, используемому алгоритмом для большего диапазона, например, диапазона [0, s_max] , где s_max> 1. Это назначение может гарантировать то, что коэффициенты усиления становятся действительно независимыми от положения объекта, когда размер устанавливается пользователем на максимум. В соответствии с некоторыми такими реализациями такие назначения могут быть сделаны в соответствии с кусочно-линейной функцией, которая соединяет пары точек (s_user, s_internal), где s_user представляет собой выбранный пользователем размер звукового объекта, и s_internal представляет собой соответствующий размер звукового объекта, который определяется алгоритмом. В соответствии с некоторыми такими реализациями назначение может быть сделано в соответствии с кусочно-линейной функцией, которая соединяет пары точек (0; 0), (0,2; 0,3), (0,5; 0,9), (0,75; 1,5) и (1; s_max). В одной из таких реализации s_max = 2,8.

[105] На фиг. 8A и 8B показан звуковой объект в двух положениях в воспроизводящей среде. В данных примерах объем 620b звукового объект является сферой с радиусом меньше половины длины или ширины воспроизводящей среды 200а. Воспроизводящая среда 200а выполнена в соответствии с конфигурацией Dolby 7.1. В момент времени, изображенный на фиг. 8А, положение 615 звукового объекта относительно ближе к середине воспроизводящей среды 200а. В момент времени, изображенный на фиг. 8B, положение 615 звукового объекта перемещается ближе к границе воспроизводящей среды 200а. В данном примере границей является левая стена кинотеатра, и она совпадает с местоположением левых боковых окружающих громкоговорителей 220.

[106] По эстетическим соображениям желательно изменять вычисления коэффициента усиления звукового объекта для звуковых объектов, которые приближаются к границе воспроизводящей среды. На фиг. 8A и 8B, например, отсутствует подача на громкоговорители на противоположной границе воспроизводящей среды (в данном случае правые боковые окружающие громкоговорители 225) сигналов, подаваемых на громкоговорители, когда положение 615 звукового объекта находится в пределах порогового расстояния от левой границы 805 воспроизводящей среды. В примере, показанном на фиг. 8В, отсутствует подача на громкоговорители, соответствующие левому экранному каналу 230, центральному экранному каналу 235, правому экранному каналу 240 или сверхнизкочастотному громкоговорителю 245, сигналов, подаваемых на громкоговорители, когда положение 615 звукового объекта находится в пределах порогового расстояния (которое может быть другим пороговым расстоянием) от левой границы 805 воспроизводящей среды, если положение 615 звукового объекта также больше, чем пороговое расстоянии от экрана.

[107] В примере, показанном на фиг. 8В, объем 620b звукового объекта включает

область или объем за пределами левой границы 805. Согласно некоторым реализациям коэффициент плавного перехода для расчетов коэффициента усиления может по меньшей мере частично обуславливаться тем, насколько левая граница 805 находится в пределах объема 620b звукового объекта и/или тем, насколько область или объем звукового объекта выходит за пределы такой границы.

[108] На фиг. 9 показана блок-схема, которая описывает способ определения коэффициента плавного перехода, по меньшей мере частично обусловленного тем, насколько область или объем звукового объекта выходят за пределы границы воспроизводящей среды. В блоке 905 принимают данные воспроизводящей среды. В данном примере данные воспроизводящей среды включают данные местоположения воспроизводящих громкоговорителей и данные границы воспроизводящей среды. Блок 910 включает прием данных звуковоспроизведения, включающих один или несколько звуковых объектов и связанных с ними метаданных. В данном примере метаданные включают по меньшей мере данные положения звукового объекта и данные размера звукового объекта.

[109] В данной реализации блок 915 включает определение того, что область или объем звукового объекта, определенный по данным положения звукового объекта и данным размера звукового объекта, включает область или объем за пределами границы воспроизводящей среды. Блок 915 может также включать определение того, какая доля области или объема звукового объекта находится за пределами границы воспроизводящей среды.

[110] В блоке 920 определяется коэффициент плавного перехода. В данном примере коэффициент плавного перехода может по меньшей мере частично обуславливаться внешней областью. Например, коэффициент плавного перехода может быть пропорционален внешней области.

[111] В блоке 925 набор значений коэффициентов усиления звукового объекта может вычисляться для каждого из множества выходных каналов на основании по меньшей мере частично соответствующих метаданных (в данном примере данных положения звукового объекта и данных размера звукового объекта) и коэффициента плавного перехода. Каждый выходной канал может соответствовать по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды.

[112] В некоторых реализациях вычисления коэффициента усиления звукового объекта могут включать вычисление вкладов от виртуальных источников в пределах области или объема звукового объекта. Виртуальные источники могут соответствовать множеству местоположений виртуальных источников, которые могут определяться со ссылкой на данные воспроизводящей среды. Местоположения виртуального источника могут устанавливаться с равными интервалами или устанавливаться с неравными интервалами. Для каждого из местоположений виртуального источника значение коэффициента усиления виртуального источника может быть вычислено для каждого из множества выходных каналов. Как описано выше, в некоторых реализациях эти значения коэффициента усиления виртуального источника могут вычисляться и храниться в памяти во время процесса настройки, а затем извлекаться для использования во время операций рабочего цикла.

[113] В некоторых реализациях коэффициент плавного перехода может применяться ко всем значениям коэффициента усиления виртуального источника, соответствующим местоположениям виртуального источника в пределах воспроизводящей среды. В некоторых реализациях g_l ^size может быть преобразовано следующим образом:

g_l ^size = [g_l ^bound +(fade - out factor)xg_l ^inside]^1/p, где

fade - out factor = 1, если d_bound ≥ s,

fade - out factor = d_bound/s, если d_bound <s,

где d_bound представляет собой минимальное расстояние между местоположением звукового объекта и границей воспроизводящей среды и g_l ^bound представляет собой вклад виртуальных источников вдоль границы. Например, обращаясь к фиг. 8В, g_l ^bound может представлять вклад виртуальных источников в пределах объема 620b звукового объекта и смежных с границей 805. В данном примере, аналогично фиг. 6А, отсутствуют виртуальные источники, расположенные за пределами воспроизводящей среды.

[114] В альтернативных реализациях g_l ^size может быть преобразовано следующим образом:

g_l ^size = [g_l ^outside+(fade - out factor) xg_l ^inside] ^1/p,

где g_l ^outside представляет собой коэффициенты усиления звукового объекта, обусловленные виртуальными источниками, расположенными за пределами воспроизводящей среды, но в пределах области или объема звукового объекта. Например, со ссылкой на фиг. 8В, g_l ^outside может представлять собой вклад виртуальных источников в пределах объема 620b звукового объекта и за пределами границы 805. В данном примере, аналогично фиг. 6В, присутствуют виртуальные источники как в пределах, так и за пределами воспроизводящей среды.

[115] Фиг. 10 представляет собой блок-схему, которая приводит примеры компонентов устройства для авторской разработки и/или представления данных. В данном примере устройство 1000 содержит систему 1005 интерфейсов. Система 1005 интерфейсов может содержать такой сетевой интерфейс, как беспроводной сетевой интерфейс. Альтернативно или дополнительно, система 1005 интерфейсов может содержать интерфейс универсальной последовательной шины (USB) или другой подобный интерфейс.

[116] Устройство 1000 содержит логическую систему 1010. Логическая система 1010 может содержать процессор, такой как одно- или многокристальный процессор общего назначения. Логическая система 1010 может содержать процессор цифровой обработки сигналов (DSP), проблемно-ориентированную интегральную микросхему (ASIC), программируемую вентильную матрицу (FPGA) или другое программируемое логическое устройство, схему на дискретных компонентах или транзисторную логическую схему, или компоненты дискретного аппаратного обеспечения, или их комбинации. Логическая система 1010 может быть выполнена для управления другими компонентами устройства 1000. И хотя на фиг. 10 не показаны интерфейсы между компонентами устройства 1000, логическая система 1010 может быть выполнена с интерфейсами для связи с другими компонентами. При необходимости, другие компоненты могут быть выполнены или могут не быть выполнены для связи друг с другом.

[117] Логическая система 1010 может быть выполнена для осуществления функциональной возможности авторской разработки звука и/или представления данных, включающего в качестве неограничивающих примеров те типы функциональных возможностей авторской разработки звука и/или представления данных, которые описаны в данном документе. В некоторых таких реализациях логическая система 1010 может быть выполнена для работы (по меньшей мере частично) в соответствии с программным обеспечением, хранящимся на одном или нескольких постоянных носителях данных. Эти постоянные носители данных могут включать такую связанную с логической системой 1010 память, как память с произвольным доступом (RAM) и/или постоянное запоминающее устройство (ROM). Постоянные носители данных могут содержать память системы 1015 памяти. Система 1015 памяти может содержать один или несколько постоянных носителей данных подходящих типов, такие как флеш-память, накопитель на жестком магнитном диске и т. д.

[118] Дисплейная система 1030 может содержать дисплей одного или нескольких подходящих типов в зависимости от проявления устройства 1000. Например, дисплейная система 1030 может содержать жидкокристаллический дисплей, плазменный дисплей, бистабильный дисплей и т. д.

[119] Система 1035 пользовательского ввода может включать одно или несколько устройств, выполненных для приема ввода от пользователя. В некоторых реализациях система 1035 пользовательского ввода данных может содержать сенсорный экран, который накладывается на дисплей дисплейной системы 1030. Система 1035 пользовательского ввода данных может содержать мышь, трекбол, систему распознавания жестов, джойстик, один или несколько графических пользовательских интерфейсов (GUI) и/или меню, представленное на дисплейной системе 1030, кнопки, клавиатуру, переключатели и т.д. В некоторых реализациях система 1035 пользовательского ввода данных может содержать микрофон 1025: пользователь может подавать голосовые команды устройству 1000 с помощью микрофона 1025. Логическая система может быть выполнена для распознавания речи и для управления по меньшей мере некоторыми операциями устройства 1000 в соответствии с этими голосовыми командами.

[120] Система 1040 питания может содержать один или несколько подходящих аккумуляторов, таких как никель-кадмиевая батарея или литий-ионная батарея. Система 1040 питания может быть выполнена для получения энергии от электрической розетки.

[121] Фиг. 11А представляет собой блок-схему, которая представляет некоторые компоненты, которые могут использоваться для создания звукового содержимого. Например, система 1100 может использоваться для создания звукового содержимого в микшерных студиях и/или монтажных павильонах. В данном примере система 1100 включает инструментальное средство 1105 авторской разработки звука и метаданных и инструментальное средство 1110 представления данных. В данной реализации инструментальное средство 1105 авторской разработки звука и метаданных и инструментальное средство 1110 представления данных содержат интерфейсы 1107 и 1112 подключения звука, соответственно, которые могут выполняться для связи посредством AES/EBU, MADI, аналоговых интерфейсов и т.д. Инструментальное средство 1105 авторской разработки звука и метаданных и инструментальное средство 1110 представления данных содержат, соответственно, сетевые интерфейсы 1109 и 1117, которые могут выполняться с возможностью отправки и приема метаданных посредством протокола TCP/IP или любого другого подходящего протокола. Интерфейс 1120 выполнен для вывода аудиоданных на громкоговорители.

[122] Система 1100 может, например, содержать уже существующую систему авторской разработки, такую как система Pro Tools™, которая запускает инструментальное средство создания метаданных (т.е. инструментальное средство панорамирования, описываемое в данном документе) в качестве программного расширения. Инструментальное средство панорамирования также может работать в автономной системе (например, ПК или микшерном пульте), подключенной к инструментальному средству 1110 представления данных, или может работать на том же физическом устройстве как инструментальное средство 1110 представления данных. В последнем случае, инструментальные средства панорамирования и представления данных могут использовать локальное соединение, например, через совместно используемую память. Графический пользовательский интерфейс инструментального средства панорамирования также может быть предусмотрен на планшетном устройстве, ноутбуке и т.д. Инструментальное средство 1110 представления данных может содержать систему представления данных, которая содержит устройство обработки звука, выполненное для осуществления таких способов представления данных, которые описаны на фиг. 5А-С и фиг. 9. Система представления данных может включать, например, персональный компьютер, ноутбук и т.д., который содержит интерфейсы для ввода/вывода звука и соответствующую логическую систему.

[123] На фиг. 11B приведена структурная схема, которая представляет некоторые компоненты, которые могут использоваться для проигрывания звука в воспроизводящей среде (например, кинотеатре). В данном примере система 1150 содержит сервер 1155 для кинотеатра и систему 1160 представления данных. Сервер 1155 для кинотеатра и система 1160 представления данных содержат сетевые интерфейсы 1157 и 1162, соответственно, которые могут быть выполнены с возможностью отправки и приема звуковых объектов посредством протокола TCP/IP или любого другого подходящего протокола. Интерфейс 1164 выполнен с возможностью вывода аудиоданных на громкоговорители.

[124] Средним специалистам в данной области техники могут быть легко понятны различные модификации реализаций, описанных в данном документе. Общие принципы, определенные в данном документе, могут применяться к другим реализациям без отступления от сути или объема данного раскрытия. Таким образом, формула изобретения не предназначена ограничиваться реализациями, показанными в данном документе, но согласуется с наиболее широким объемом, соответствующим данному раскрытию, принципам и новым отличительным признакам, раскрытым в данном документе.

Claims (11)

1. Способ представления входного звука, содержащего по меньшей мере один звуковой объект и связанные метаданные, при этом метаданные включают метаданные о размере звукового объекта и метаданные о положении звукового объекта, соответствующие по меньшей мере одному звуковому объекту, при этом способ включает:

определение множества виртуальных звуковых объектов на основе метаданных о размере звукового объекта и метаданных о положении звукового объекта, соответствующих по меньшей мере одному звуковому объекту;

для каждого виртуального звукового объекта из множества виртуальных звуковых объектов определение положения соответствующего виртуального звукового объекта;

для каждого виртуального звукового объекта из множества виртуальных звуковых объектов определение по меньшей мере одного коэффициента усиления соответствующего виртуального звукового объекта;

представление звукового объекта для одного или более устройств подачи громкоговорителя, при этом звуковой объект представляют на основе соответствующих положений и коэффициентов усиления по меньшей мере некоторых из множества виртуальных звуковых объектов.

2. Устройство для представления входного звука, содержащего по меньшей мере один звуковой объект и связанные метаданные, при этом метаданные включают метаданные о размере звукового объекта и метаданные о положении звукового объекта, соответствующие по меньшей мере одному звуковому объекту, при этом устройство содержит:

процессор, выполненный с возможностью определения множества виртуальных звуковых объектов на основе метаданных о размере звукового объекта и метаданных о положении звукового объекта, соответствующих по меньшей мере одному звуковому объекту, при этом процессор дополнительно выполнен с возможностью:

для каждого виртуального звукового объекта из множества виртуальных звуковых объектов определения положения соответствующего виртуального звукового объекта;

для каждого виртуального звукового объекта из множества виртуальных звуковых объектов определения по меньшей мере одного коэффициента усиления соответствующего виртуального звукового объекта; и

представления звукового объекта для одного или более устройств подачи громкоговорителя, при этом процессор выполнен с возможностью представления звукового объекта на основе соответствующих положений и коэффициентов усиления по меньшей мере некоторых из множества виртуальных звуковых объектов.

3. Энергонезависимый носитель, на котором хранится программное обеспечение, при этом программное обеспечение содержит инструкции для выполнения способа по п. 1.

Images