RU2630955C2 - Представление данных звуковых объектов с кажущимся размером в произвольные схемы расположения громкоговорителей - Google Patents
Представление данных звуковых объектов с кажущимся размером в произвольные схемы расположения громкоговорителей Download PDFInfo
- Publication number
- RU2630955C2 RU2630955C2 RU2015133695A RU2015133695A RU2630955C2 RU 2630955 C2 RU2630955 C2 RU 2630955C2 RU 2015133695 A RU2015133695 A RU 2015133695A RU 2015133695 A RU2015133695 A RU 2015133695A RU 2630955 C2 RU2630955 C2 RU 2630955C2
- Authority
- RU
- Russia
- Prior art keywords
- virtual source
- sound object
- data
- sound
- locations
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 112
- 230000008569 process Effects 0.000 claims description 44
- 230000007704 transition Effects 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 6
- 230000004807 localization Effects 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 238000004091 panning Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 6
- 230000003321 amplification Effects 0.000 description 4
- 239000000969 carrier Substances 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
Изобретение относится к средствам для представления данных звуковых объектов. Технический результат заключается в улучшении локализации звуковых объектов. Принимают данные звуковоспроизведения, включающие один или несколько звуковых объектов. Звуковые объекты включают звуковые сигналы и связанные метаданные. Метаданные включают по меньшей мере данные положения звукового объекта и данные размера звукового объекта. Вычисляют для звукового объекта значений коэффициента усиления виртуального источника от виртуальных источников при соответствующих местоположениях виртуального источника в пределах области или объема звукового объекта, определенного данными положения звукового объекта и данными размера звукового объекта. Вычисляют набор значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов на основании по меньшей мере частично вычисленных значений коэффициента усиления виртуального источника. Каждый выходной канал соответствует по меньшей мере одному воспроизводящему громкоговорителю. 3 н. и 43 з.п. ф-лы, 22 ил.
Description
ПЕРЕКРЕСТНЫЕ ССЫЛКИ НА РОДСТВЕННЫЕ ЗАЯВКИ
[001] Настоящая заявка испрашивает приоритет согласно заявке на патент Испании № Р201330461, поданной 28 марта 2013 года, и предварительной заявке на патент США №61/833581, поданной 11 июня 2013 года, содержание каждой из которых полностью включено в настоящую заявку посредством ссылки.
ОБЛАСТЬ ТЕХНИЧЕСКОГО ПРИМЕНЕНИЯ
[002] Данное раскрытие относится к авторской разработке и представлению данных звуковоспроизведения. В частности, данное раскрытие относится к авторской разработке и представлению данных звуковоспроизведения для таких воспроизводящих сред, как системы звуковоспроизведения для кинематографии.
ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
[003] С момента представления в 1927 г. звука на пленке, происходило устойчивое развитие технологии, используемой для захвата авторского замысла звуковой дорожки кинокартины и для ее проигрывания в среде кинематографии. В 1930-х гг. синхронизированный звук на диске уступил место фонограмме переменной ширины на пленке, которая в дальнейшем развивалась в 1940-х гг. вместе с учетом особенностей акустики театров и совершенствованием конструкции громкоговорителей наряду с первым представлением многодорожечной записи и управляемого проигрывания (с использованием управляющих тонов для перемещения звуков). В 1950-х и 1960-х гг. нанесение магнитной дорожки на пленку сделало возможным многоканальное воспроизведение в театре, введение окружающих каналов и до пяти экранных каналов в театрах высокого класса.
[004] В 1970-х гг. Dolby представила шумоподавление как при окончательном монтаже кинопродукции, так и на пленке наряду с экономичными средствами кодирования и распределения микшированных звуковых дорожек с 3 экранными каналами и монофоническим окружающим каналом. Качество кинематографического звука было дополнительно улучшено в 1980-х гг. шумоподавлением Dolby Spectral Recording (SR) и такими программами аттестации, как ТНХ. В ходе 1990-х гг. Dolby привнесла в кинематографию цифровой звук с форматом каналов 5.1, который предусматривает отдельные левый, центральный и правый экранные каналы, левый и правый окружающие массивы и сверхнизкочастотный канал для низкочастотных эффектов. Представленная в 2010 году Dolby Surround 7.1 увеличила количество окружающих каналов путем разделения существующих левого и правого окружающих каналов на четыре "зоны".
[005] По мере увеличения количества каналов и перехода схемы размещения громкоговорителей от плоского двумерного (2D) массива к трехмерному (3D) массиву, включающему высоту расположения, задачи авторской разработки и представления данных для звуков становятся все более сложными. Желательно усовершенствование способов и устройств.
КРАТКОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
[006] Некоторые аспекты предмета изобретения, описанного в данном раскрытии, могут быть реализованы в инструментальных средствах для представления данных звуковоспроизведения, которые включают звуковые объекты, созданные без ссылки на любую конкретную воспроизводящую среду. Как используется в данном документе, термин "звуковой объект" может относиться к потоку звуковых сигналов и связанных метаданных. Метаданные могут указывать по меньшей мере положение и кажущийся размер звукового объекта. Тем не менее, метаданные также могут указывать данные ограничения представления данных, данные типа содержимого (например, диалог, эффекты и т.п.), данные коэффициента усиления, данные траектории и т.д. Некоторые звуковые объекты могут быть статическими, в то время как другие могут иметь изменяющиеся во времени метаданные: такие звуковые объекты могут перемещаться, могут изменять размер и/или могут иметь другие свойства, которые изменяются с течением времени.
[007] Когда звуковые объекты наблюдаются или проигрываются в воспроизводящей среде, данные звуковых объектов могут быть представлены в соответствии по меньшей мере с метаданными положения и размера. Процесс представления данных может включать вычисление набора значений коэффициентов усиления звукового объекта для каждого канала из набора выходных каналов. Каждый выходной канал может соответствовать одному или нескольким воспроизводящим громкоговорителям воспроизводящей среды.
[008] Некоторые реализации, описанные в данном документе, включают процесс "настройки", который может происходить до представления данных любых конкретных звуковых объектов. Процесс настройки, который также может упоминаться в данной документе как первый этап или этап 1, может включать определение местоположений нескольких виртуальных источников в объеме, в пределах которого звуковые объекты могут перемещаться. Как используется в данном документе, термин "местоположение виртуального источника" означает местоположение статического точечного источника. В соответствии с такими реализациями процесс настройки может включать прием данных местоположения воспроизводящих громкоговорителей и предварительное вычисление значений коэффициентов усиления виртуального источника для каждого виртуального источника в соответствии с данными местоположения воспроизводящих громкоговорителей и местоположением виртуального источника. Как используется в данном документе, термин "данные местоположений громкоговорителей" может включать данные местоположения, указывающее положения некоторых или всех громкоговорителей воспроизводящей среды. Данные местоположения могут быть предоставлены в виде таких абсолютных координат местоположений воспроизводящих громкоговорителей, как декартовы координаты, сферические координаты и т.д. Альтернативно или дополнительно, данные местоположения могут быть предоставлены в виде координат (например, декартовых координат или угловых координат) по отношению к местоположению других воспроизводящих сред, таких как акустические "зоны комфортного прослушивания" воспроизводящей среды.
[009] В некоторых реализациях значения коэффициента усиления виртуального источника могут храниться в памяти и использоваться в течение "рабочего цикла", во время которого данные звуковоспроизведения представляются для громкоговорителей воспроизводящей среды. Во время рабочего цикла для каждого звукового объекта могут вычисляться вклады от местоположений виртуального источника в пределах области или объема, определяемого данными положения звукового объекта и данными размера звукового объекта. Процесс вычисления вкладов от местоположений виртуального источника может включать вычисление средневзвешенного значения нескольких предварительно вычисленных значений коэффициентов усиления виртуального источника, определенных в процессе настройки для местоположений виртуального источника, находящихся в пределах области или объема звукового объекта, определенного размером и местоположением звукового объекта. Набор значений коэффициентов усиления звукового объекта для каждого выходного канала воспроизводящей среды может по меньшей мере частично вычисляться на основании вычисленных вкладов виртуального источника. Каждый выходной канал может соответствовать по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды.
[010] Таким образом, некоторые способы, описанные в данном документе, включают прием данных звуковоспроизведения, которые включают один или несколько звуковых объектов. Звуковые объекты могут включать звуковые сигналы и связанные метаданные. Метаданные могут включать по меньшей мере данные положения звукового объекта и данные размера звукового объекта. Эти способы могут включать вычисление вкладов от виртуальных источников в пределах области или объема звукового объекта, определенного данными положения звукового объекта и данными размера звукового объекта. Способы могут включать вычисление набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов на основе по меньшей мере частично вычисленных вкладов. Каждый выходной канал может соответствовать по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды. Например, воспроизводящей средой может являться среда звуковой системы для кинематографии.
[011] Процесс вычисления вкладов от виртуальных источников может включать вычисление средневзвешенного значения коэффициентов усиления виртуального источника из виртуальных источников в пределах области или объема звукового объекта. Весовые коэффициенты для средневзвешенного значения могут зависеть от положения звукового объекта, размера звукового объекта и/или местоположения каждого виртуального источника в пределах области или объема звукового объекта.
[012] Способы могут также включать прием данных воспроизводящей среды, включающих данные местоположения воспроизводящих громкоговорителей. Способы могут также включать определение множества местоположений виртуального источника в зависимости от данных воспроизводящей среды и вычисление для каждого местоположения виртуального источника значения коэффициента усиления виртуального источника для каждого из множества выходных каналов. В некоторых реализациях каждое из местоположений виртуального источника может соответствовать местоположению в пределах воспроизводящей среды. Тем не менее, в некоторых реализациях по меньшей мере некоторые из местоположений виртуального источника могут соответствовать местоположениям за пределами воспроизводящей среды.
[013] В некоторых реализациях местоположения виртуальных источников могут распределяться равномерно вдоль осей x, y и z. Однако, в некоторых реализациях распределение может не быть одинаковым во всех направлениях. Например, местоположения виртуального источника могут иметь первый равномерный интервал вдоль осей x и y и второй равномерный интервал вдоль оси z. Процесс вычисления набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов может включать независимые вычисления вкладов от виртуальных источников вдоль осей x, y и z. В альтернативных реализациях местоположения виртуального источника могут быть расположены неравномерно.
[014] В некоторых реализациях процесс вычисления значения коэффициента усиления звукового объекта для каждого из множества выходных каналов может включать определение значения коэффициента усиления (gl(x0,y0,z0; s)) для звукового объекта размера (s) для представления данных в местоположении x0,y0,z0. Например, значение коэффициента усиления звукового объекта (gl(x0,y0,z0; s)) может быть выражено как:
где (xvs, yvs, zvs) представляет собой местоположение виртуального источника, gl(xvs, yvs, zvs) представляет собой значение коэффициента усиления для канала l для местоположения виртуального источника xvs, yvs, zvs и w(xvs, yvs, zvs; х0,у0, z0; s) представляет собой одну или несколько весовых функций для gl(xvs, yvs, zvs), определенного по меньшей мере частично на основании местоположения (x0,y0,z0) звукового объекта, размера (s) звукового объекта и местоположения (xvs, yvs, zvs) виртуального источника.
[015] В соответствии с некоторыми такими реализациями gl(xvs, yvs, zvs)=gl(xvs)gl(yvs)gl(zvs), где gl(xvs), gl(yvs) и gl(zvs) представляют собой независимые функции усиления от x, y и z. В некоторых таких реализациях весовые функции можно разложить на множители:
w(xvs, yvs, zvs; x0,y0, z0; s)=wx(xvs; x0; s)wy(yvs; y0; s)wz(zvs; z0; s),
где wx(xvs; x0; s), wy(yvs; y0; s) и wz(zvs,z0; s) представляют собой независимые весовые функции от xvs, yvs и zvs. В соответствии с такими реализациями p может быть функцией размера (s) звукового объекта.
[016] Некоторые такие способы могут включать хранение вычисленных значений коэффициентов усиления виртуального источника в системе памяти. Процесс вычисления вкладов от виртуальных источников в пределах области или объема звукового объекта может включать получение из системы памяти вычисленных значений коэффициентов усиления виртуального источника, соответствующих положению и размеру звукового объекта, и интерполяцию между вычисленными значениями коэффициентов усиления виртуального источника. Процесс интерполяции между вычисленными значениями коэффициентов усиления виртуального источника может включать: определение множества соседних местоположений виртуального источника в окрестности положения звукового объекта; определение вычисленных значений коэффициентов усиления виртуального источника для каждого из соседних местоположений виртуального источника; определение множества расстояний между положением звукового объекта и каждым из соседних местоположений виртуального источника; и интерполяцию между вычисленными значениями коэффициентов усиления виртуального источника в соответствии со множеством расстояний.
[017] В некоторых реализациях данные воспроизводящей среды могут включать данные границы воспроизводящей среды. Способ может включать определение того, что область или объем звукового объекта включают внешнюю область или объем за пределами границы воспроизводящей среды, и применение коэффициента плавного перехода, по меньшей мере частично обусловленного внешней областью или объемом. Некоторые способы могут включать определение того, что звуковой объект может находиться в пределах порогового расстояния от границы воспроизводящей среды, и отсутствие подачи на воспроизводящие громкоговорители на противоположной границе воспроизводящей среды сигналов, подаваемых на громкоговорители. В некоторых реализациях область или объем звукового объекта может быть прямоугольником, прямоугольной призмой, кругом, сферой, эллипсом и/или эллипсоидом.
[018] Некоторые способы могут включать декорреляцию по меньшей мере некоторых данных звуковоспроизведения. Например, способы могут включать декорреляцию данных звуковоспроизведения для звуковых объектов, имеющих размер звукового объекта, который превышает пороговое значение.
[019] В данном документе описываются и альтернативные способы. Некоторые такие способы включают прием данных воспроизводящей среды, включающих данные местоположения воспроизводящих громкоговорителей и данные границы воспроизводящей среды, и прием данных звуковоспроизведения, включающих один или несколько звуковых объектов и связанных метаданных. Метаданные могут включать данные положения звукового объекта и данные размера звукового объекта. Способы могут включать определение того, что область или объем звукового объекта, определенный данными положения звукового объекта и данными размера звукового объекта, включает внешнюю область или объем за пределами границы воспроизводящей среды, и определение коэффициента плавного перехода, по меньшей мере частично обусловленного внешней областью или объемом. Способы могут включать вычисление набора значений коэффициентов усиления для каждого из множества выходных каналов на основании по меньшей мере частично соответствующих метаданных и коэффициента плавного перехода. Каждый выходной канал может соответствовать по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды. Коэффициент плавного перехода может быть пропорционален внешней области.
[020] Способы могут также включать определение того, что звуковой объект может находиться в пределах порогового расстояния от границы воспроизводящей среды, и отсутствие подачи на воспроизводящие громкоговорители на противоположной границе воспроизводящей среды сигналов, подаваемых на громкоговорители.
[021] Способы могут также включать вычисление вкладов от виртуальных источников в пределах области или объема звукового объекта. Способы могут включать определение множества местоположений виртуального источника в зависимости от данных воспроизводящей среды и вычисление для каждого местоположения виртуального источника значения коэффициента усиления виртуального источника для каждого из множества выходных каналов. Местоположения виртуального источника могут равномерно или неравномерно распределяться в зависимости от конкретной реализации.
[022] Некоторые реализации могут воплощаться на одном или нескольких постоянных носителях данных, содержащих хранящееся в их памяти программное обеспечение. Программное обеспечение может включать команды для управления одним или несколькими устройствами для приема данных звуковоспроизведения, включающих один или несколько звуковых объектов. Звуковые объекты могут включать звуковые сигналы и связанные метаданные. Метаданные могут включать по меньшей мере данные положения звукового объекта и данные размера звукового объекта. Программное обеспечение может включать команды для вычисления для звукового объекта из одного или нескольких звуковых объектов вкладов от виртуальных источников в пределах области или объема, определяемого данными положения звукового объекта и данными размера звукового объекта, и вычисления набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов на основании по меньшей мере частично вычисленных вкладов. Каждый выходной канал может соответствовать по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды.
[023] В некоторых реализациях процесс вычисления вкладов от виртуальных источников может включать вычисление средневзвешенного значения коэффициентов усиления виртуального источника из виртуальных источников в пределах области или объема звукового объекта. Весовые коэффициенты для средневзвешенного значения могут зависеть от положения звукового объекта, размера звукового объекта и/или местоположения каждого виртуального источника в пределах области или объема звукового объекта.
[024] Программное обеспечение может включать команды для приема данных воспроизводящей среды, включающих данные местоположения воспроизводящих громкоговорителей. Программное обеспечение может включать команды для определения множества местоположений виртуального источника в соответствии с данными воспроизводящей среды и вычисления для каждого из местоположений виртуального источника значений коэффициентов усиления виртуального источника для каждого из множества выходных каналов. Каждое из местоположений виртуального источника может соответствовать местоположению в пределах воспроизводящей среды. В некоторых реализациях по меньшей мере некоторые из местоположений виртуального источника могут соответствовать местоположениям за пределами воспроизводящей среды.
[025] В соответствии с некоторыми реализациями местоположения виртуального источника могут распределяться равномерно. В некоторых реализациях местоположения виртуального источника могут иметь первый равномерный интервал вдоль осей x и y и второй равномерный интервал вдоль оси z. Процесс вычисления набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов может включать независимые вычисления вкладов от виртуальных источников вдоль осей x, y и z.
[026] В данном документе описываются различные приборы и устройства. Некоторые такие устройства могут содержать систему интерфейсов и логическую систему. Система интерфейсов может представлять собой сетевой интерфейс. В некоторых реализациях устройство может представлять собой запоминающее устройство. Система интерфейсов может представлять собой интерфейс между логической системой и запоминающим устройством.
[027] Логическая система может быть приспособлена для приема от системы интерфейсов данных звуковоспроизведения, включающих один или несколько звуковых объектов. Звуковые объекты могут включать звуковые сигналы и связанные метаданные. Метаданные могут включать по меньшей мере данные положения звукового объекта и данные размера звукового объекта. Логическая система может быть приспособлена для вычисления для звукового объекта из одного или нескольких звуковых объектов вкладов от виртуальных источников в пределах области или объема звукового объекта, определенного данными положения звукового объекта и данными размера звукового объекта. Логическая система может быть приспособлена для вычисления набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов на основании по меньшей мере частично вычисленных вкладов. Каждый выходной канал может соответствовать по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды.
[028] Процесс вычисления вкладов от виртуальных источников может включать вычисление средневзвешенного значения коэффициентов усиления виртуального источника из виртуальных источников в пределах области или объема звукового объекта. Весовые коэффициенты для средневзвешенного значения могут зависеть от положения звукового объекта, размера звукового объекта и местоположения каждого виртуального источника в пределах области или объема звукового объекта. Логическая система может быть приспособлена для приема от системы интерфейсов данных воспроизводящей среды, включающих данные местоположения воспроизводящих громкоговорителей.
[029] Логическая система может быть приспособлена для определения множества местоположений виртуального источника в соответствии с данными воспроизводящей среде и вычисления для каждого из местоположений виртуального источника значения коэффициента усиления виртуального источника для каждого из множества выходных каналов. Каждое из местоположений виртуального источника может соответствовать местоположению в пределах воспроизводящей среды. Тем не менее, в некоторых реализациях по меньшей мере некоторые из местоположений виртуального источника могут соответствовать местоположениям за пределами воспроизводящей среды. В зависимости от реализации местоположения виртуального источника могут равномерно или неравномерно распределяться. В некоторых реализациях местоположения виртуального источника могут иметь первый равномерный интервал вдоль осей x и y и второй равномерный интервал вдоль оси z. Процесс вычисления набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов может включать независимые вычисления вкладов от виртуальных источников вдоль осей x, y и z.
[030] Устройство может также содержать пользовательский интерфейс. Логическая система может быть приспособлена с помощью пользовательского интерфейса для приема пользовательского ввода данных, таких как данные размера звукового объекта. В некоторых реализациях логическая система может быть приспособлена для масштабирования входных данных размера звукового объекта.
[031] Подробности одной или нескольких реализаций предмета изобретения, описываемые в данном описании, изложены ниже в сопроводительных графических материалах и описании. Другие характерные признаки, аспекты и преимущества будут очевидны из описания, графических материалов и формулы изобретения. Следует отметить, что относительные размеры на нижеследующих фигурах могут не быть вычерченными в масштабе.
КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ
[032] На фиг. 1 показан пример воспроизводящей среды, имеющей конфигурацию Dolby Surround 5.1.
[033] На фиг. 2 показан пример воспроизводящей среды, имеющей конфигурацию Dolby Surround 7.1.
[034] На фиг. 3 показан пример воспроизводящей среды, имеющей конфигурацию окружающего звука Hamasaki 22.2.
[035] На фиг. 4А показан пример графического пользовательского интерфейса (GUI), который графически представляет зоны громкоговорителей на различных возвышениях в виртуальной воспроизводящей среде.
[036] На фиг. 4В показан пример другой воспроизводящей среды.
[037] На фиг. 5А приведена блок-схема, которая приводит обзор способов обработки звука.
[038] На фиг. 5В приведена блок-схема, которая представляет пример процесса настройки.
[039] На фиг. 5С приведена блок-схема, которая приводит пример процесса рабочего цикла вычисления значений коэффициентов усиления для принимаемых звуковых объектов в соответствии с предварительно вычисленными значениями коэффициентов усиления для местоположений виртуального источника.
[040] На фиг. 6А показан пример местоположений виртуального источника по отношению к воспроизводящей среде.
[041] На фиг. 6В показан альтернативный пример местоположений виртуального источника по отношению к воспроизводящей среде.
[042] На фиг. 6C-6F показаны примеры применения к звуковым объектам в разных местоположениях методик панорамирования в ближней зоне и дальней зоне.
[043] На фиг. 6G показан пример воспроизводящей среды, содержащей один громкоговоритель в каждом углу квадрата, имеющего длину стороны, равную 1.
[044] На фиг. 7 показан пример вкладов от виртуальных источников в пределах области, определенной данными положения звукового объекта и данными размера звукового объекта.
[045] На фиг. 8А и 8В показан звуковой объект в двух положениях в воспроизводящей среде.
[046] На фиг. 9 показана блок-схема, которая описывает способ определения коэффициента плавного перехода, по меньшей мере частично обусловленного тем, насколько область или объем звукового объекта выходят за пределы границы воспроизводящей среды.
[047] Фиг. 10 представляет собой блок-схему, которая приводит примеры компонентов устройства для авторской разработки и/или представления данных.
[048] Фиг. 11А представляет собой блок-схему, которая представляет некоторые компоненты, которые могут использоваться для создания звукового содержимого.
[049] Фиг. 11В представляет собой блок-схему, которая представляет некоторые компоненты, которые могут использоваться для проигрывания звука в воспроизводящей среде.
[050] Аналогичные ссылочные позиции и обозначения в различных графических материалах указывают аналогичные элементы.
ОПИСАНИЕ ПРИВЕДЕННЫХ В КАЧЕСТВЕ ПРИМЕРА ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
[051] Нижеследующее описание направлено на определенные реализации с целью описания некоторых изобретательских особенностей данного раскрытия, а также примеров ситуаций, в которых могут быть реализованы эти изобретательские особенности. Однако, идеи в данном документе могут применяться множеством разных способов. Например, несмотря на то, что различные реализации описаны в отношении конкретных воспроизводящих сред, идеи в данном документе широко применимы к другим известным воспроизводящим средам, а также к воспроизводящим средам, которые могут быть представлены в будущем. Кроме того, описанные реализации могут быть реализованы в различных инструментах авторской разработки и/или представления данных, которые могут быть реализованы в различных аппаратных средствах, программном обеспечении, программно-аппаратном обеспечении и т.д. Соответственно, идеи в данном документе не подразумеваются ограниченными реализациями, показанными на фигурах и/или описанными в данном документе, но вместо этого имеют широкую применимость.
[052] На фиг. 1 показан пример воспроизводящей среды, имеющей конфигурацию Dolby Surround 5.1. Dolby Surround 5.1 разрабатывалась в 1990-х гг., но эта конфигурация по-прежнему широко распространена в средах звуковых систем для кинематографии. Проектор 105 может быть выполнен для проецирования видеоизображений, например, кинокартины, на экран 150. Данные звуковоспроизведения могут быть синхронизированы с видеоизображениями и обработаны устройством 110 для обработки звука. Усилители 115 мощности могут подавать на громкоговорители воспроизводящей среды 100 сигналы, подаваемые на громкоговорители.
[053] Конфигурация Dolby Surround 5.1 включает левый окружающий массив 120 и правый окружающий массив 125, каждый из которых включает группу громкоговорителей с групповым управлением единственным каналом. Конфигурация Dolby Surround 5.1 также содержит отдельные каналы для левого экранного канала 130, центрального экранного канала 135 и правого экранного канала 140. Для низкочастотных эффектов (LFE) предусматривается отдельный канал для сверхнизкочастотного громкоговорителя 145.
[054] В 2010 г. Dolby представила усовершенствования цифрового звука для кинематографии, представив Dolby Surround 7.1. На фиг. 2 показан пример воспроизводящей среды, имеющей конфигурацию Dolby Surround 7.1. Цифровой проектор 205 может быть выполнен с возможностью приема цифровых видеоданных и проецирования видеоизображений на экран 150. Данные звуковоспроизведения могут быть обработаны устройством 210 для обработки звука. Усилители 215 мощности могут подавать на громкоговорители воспроизводящей среды 200 сигналы, подаваемые на громкоговорители.
[055] Конфигурация Dolby Surround 7.1 содержит левый боковой окружающий массив 220 и правый боковой окружающий массив 225, каждый из которых может управляться единственным каналом. Как и Dolby Surround 5.1, конфигурация Dolby Surround 7.1 содержит отдельные каналы для левого экранного канала 230, центрального экранного канала 235, правого экранного канала 240 и сверхнизкочастотного громкоговорителя 245. Однако, Dolby Surround 7.1 увеличивает количество окружающих каналов путем разделения левого и правого окружающих каналов Dolby Surround 5.1 на четыре зоны: в дополнение к левому боковому окружающему массиву 220 и правому боковому окружающему массиву 225 включены отдельные каналы для левых тыловых окружающих громкоговорителей 224 и правых тыловых окружающих громкоговорителей 226. Увеличение количества окружающих зон в пределах воспроизводящей среды 200 может значительно улучшать локализацию звука.
[056] В попытке создать среду, создающую больший эффект присутствия, некоторые воспроизводящие среды могут быть выполнены с повышенными количествами громкоговорителей, управляемых повышенными количествами каналов. Более того, некоторые воспроизводящие среды могут содержать громкоговорители, развернутые на разных возвышениях, некоторые из которых могут находиться над опорной поверхностью воспроизводящей среды.
[057] На фиг. 3 показан пример воспроизводящей среды, имеющей конфигурацию окружающего звука Hamasaki 22.2. Hamasaki 22.2 разрабатывалась в NHK Science & Technology Research Laboratories в Японии как компонент окружающего звука для телевидения сверхвысокой четкости. Hamasaki 22.2 предусматривает 24 канала громкоговорителей, которые могут использоваться для управления громкоговорителями, расположенными в трех слоях. Верхний слой 310 громкоговорителей воспроизводящей среды 300 может управляться 9 каналами. Средний слой 320 громкоговорителей может управляться 10 каналами. Нижний слой 330 громкоговорителей может управляться 5 каналами, два из которых предназначены для сверхнизкочастотных громкоговорителей 345а и 345b.
[058] Соответственно, современным направлением является включение не только большего количества громкоговорителей и большего количества каналов, но также включение громкоговорителей на разных высотах. По мере увеличения количества каналов и перехода схемы размещения громкоговорителей от двумерного массива к трехмерному массиву, задачи определения положения и представления данных для звуков становятся все более и более сложными. Соответственно, настоящее раскрытие предусматривает различные инструментальные средства, а также относящиеся к ним пользовательские интерфейсы, что увеличивает функциональные возможности и/или снижает сложность авторской разработки для акустической системы трехмерного звука. Некоторые из этих инструментальных средств подробно описаны со ссылками на фиг. 5A-19D в предварительной заявке на патент США №61/636102, поданной 20 апреля 2012 года и озаглавленной "System and Tools for Enhanced 3D Audio Authoring and Rendering" (the "Authoring and Rendering Application"), которая включена в данный документ посредством ссылки.
[059] На фиг. 4А показан пример графического пользовательского интерфейса (GUI), который графически представляет зоны громкоговорителей на различных возвышениях в виртуальной воспроизводящей среде. GUI 400 может, например, отображаться на дисплейном устройстве в соответствии с командами из логической системы, в соответствии с сигналами, полученными от устройств пользовательского ввода данных и т.д. Некоторые из таких устройств описываются ниже со ссылкой на фиг. 10.
[060] Как используется в данном документе, со ссылкой на виртуальные воспроизводящие среды, такие как виртуальная воспроизводящая среда 404, термин "зона громкоговорителей" обычно относится к логической структуре, которая может обладать или может не обладать взаимнооднозначным соответствием с воспроизводящим громкоговорителем фактической воспроизводящей среды. Например, "местоположение зоны громкоговорителей" может соответствовать или не соответствовать местоположению конкретного воспроизводящего громкоговорителя воспроизводящей среды для кинематографии. Вместо этого, термин "местоположение зоны громкоговорителей" обычно может относиться к зоне виртуальной воспроизводящей среды. В некоторых реализациях зона громкоговорителя виртуальной воспроизводящей среды может соответствовать виртуальному громкоговорителю, например, посредством использования такой технологии виртуализации, как Dolby Headphone™, (иногда именуемой Mobile Surround™), которая создает виртуальную среду окружающего звука в режиме реального времени с использованием набора двухканальных стереофонических наушников. В GUI 400 имеется семь зон 402а громкоговорителей на первом возвышении и две зоны 402b громкоговорителей на втором возвышении, что в сумме составляет девять зон громкоговорителей в виртуальной воспроизводящей среде 404. В данном примере, зоны 1-3 громкоговорителей находятся в передней области 405 виртуальной воспроизводящей среды 404. Передняя область 405 может соответствовать, например, области воспроизводящей среды для кинематографии, в которой расположен экран 150, к области дома, в которой расположен телевизионный экран и т.д.
[061] В данном документе зона 4 громкоговорителей обычно соответствует громкоговорителям в левой области 410, а зона 5 громкоговорителей соответствует громкоговорителям в правой области 415 виртуальной воспроизводящей среды 404. Зона 6 громкоговорителей соответствует левой тыловой области 412, а зона 7 громкоговорителей соответствует правой тыловой области 414 виртуальной воспроизводящей среды 404. Зона 8 громкоговорителей соответствует громкоговорителям в верхней области 420а, а зона 9 громкоговорителей соответствует громкоговорителям в верхней области 420b, которая может представлять собой область виртуального потолка. Соответственно, и как более подробно описано в Authoring and Rendering Application, местоположения зон 1-9 громкоговорителей, которые показаны на фиг. 4А, могут соответствовать или не соответствовать местоположениям воспроизводящих громкоговорителей фактической воспроизводящей среды. Кроме того, другие реализации могут содержать больше или меньше зон громкоговорителей и/или возвышений.
[062] В различных реализациях, описанных в Authoring and Rendering Application, пользовательский интерфейс, такой как GUI 400, может использоваться как часть инструментального средства авторской разработки и/или инструментального средства представления данных. В некоторых реализациях инструментальное средство авторской разработки и/или инструментальное средство представления данных может быть реализовано посредством программного обеспечения, хранящегося в памяти одного или нескольких постоянных носителей данных. Инструментальное средство авторской разработки и/или инструментальное средство представления данных могут быть реализованы (по меньшей мере частично) аппаратным обеспечением, программно-аппаратным обеспечением и т.д., такими как логическая система, и другими устройствами, описываемыми ниже со ссылкой на фиг. 10. В некоторых реализациях связанное инструментальное средство авторской разработки может использоваться с целью создания метаданных для связанных аудиоданных. Метаданные могут, например, включать данные, указывающие на положение и/или траекторию звукового объекта в трехмерном пространстве, данные ограничения зон громкоговорителей и т.д. Метаданные могут быть созданы по отношению к зонам 402 громкоговорителей виртуальной воспроизводящей среды 404, а не по отношению к конкретной схеме расположения громкоговорителей фактической воспроизводящей среды. Инструментальное средство представления данных может принимать аудиоданные и связанные метаданные и вычислять коэффициенты усиления звука и сигналы, подаваемые на громкоговорители, для воспроизводящей среды. Такие коэффициенты усиления звука и сигналы, подаваемые на громкоговорители, могут вычисляться согласно процессу амплитудного панорамирования, который может создавать ощущение того, что звук исходит из положения Р в воспроизводящей среде. Например, сигналы, подаваемые на громкоговорители, могут подаваться на воспроизводящие громкоговорители 1-N воспроизводящей среды в соответствии со следующим уравнением:
[063] 
[064] В уравнении 1 xi(t) представляет собой сигнал, подаваемый на громкоговоритель, для применения в громкоговорителе i, gi представляет собой коэффициент усиления соответствующего канала, x(t) представляет собой звуковой сигнал и t представляет собой время. Коэффициенты усиления могут быть определены, например, в соответствии со способами амплитудного панорамирования, описанными в разделе 2 на страницах 3-4 статьи V. Pulkki, Compensating Displacement of Amplitude-Panned Virtual Sources (Audio Engineering Society (AES) International Conference on Virtual, Synthetic and Entertainment Audio), которая включена в данный документ посредством ссылки. В некоторых реализациях коэффициенты усиления могут быть частотнозависимыми. В некоторых реализациях путем замены x(t) на x(t-Δt) может вводиться временная задержка.
[065] В некоторых реализациях представления данных данные звуковоспроизведения, созданные со ссылкой на зоны 402 громкоговорителей, могут быть назначены местоположениям громкоговорителей для широкого круга воспроизводящих сред, которые могут иметь конфигурацию Dolby Surround 5.1, конфигурацию Dolby Surround 7.1, конфигурацию Hamasaki 22.2 или другую конфигурацию. Например, со ссылкой на фиг. 2, инструментальное средство представления данных может назначать данные звуковоспроизведения для зон 4 и 5 громкоговорителей левому боковому окружающему массиву 220 и правому боковому окружающему массиву 225 воспроизводящей среды, имеющей конфигурацию Dolby Surround 7.1. Данные звуковоспроизведения для зон 1, 2 и 3 громкоговорителей могут, соответственно, быть назначены левому экранному каналу 230, правому экранному каналу 240 и центральному экранному каналу 235. Данные звуковоспроизведения для зон 6 и 7 громкоговорителей могут быть назначены левым тыловым окружающим громкоговорителям 224 и правым тыловым окружающим громкоговорителям 226.
[066] На фиг. 4В показан пример другой воспроизводящей среды. В некоторых реализациях инструментальное средство представления данных может назначать данные звуковоспроизведения для зон 1, 2 и 3 громкоговорителей соответствующим экранным громкоговорителям 455 воспроизводящей среды 450. Инструментальное средство представления данных может назначать данные звуковоспроизведения для зон 4 и 5 громкоговорителей левому боковому окружающему массиву 460 и правому боковому окружающему массиву 465 и может назначать данные звуковоспроизведения для зон 8 и 9 громкоговорителей левым верхним громкоговорителям 470а и правым верхним громкоговорителям 470b. Данные звуковоспроизведения для зон 6 и 7 громкоговорителей могут быть назначены левым тыловым окружающим громкоговорителям 480а и правым тыловым окружающим громкоговорителям 480b.
[067] В некоторых реализациях авторской разработки инструментальное средство авторской разработки может использоваться для создания метаданных для звуковых объектов. Как отмечено выше, термин "звуковой объект" может относиться к потоку сигналов аудиоданных и связанным метаданным. Метаданные могут указывать трехмерное положение звукового объекта, кажущийся размер звукового объекта, ограничения представления данных, а также тип содержимого (например, диалог, эффекты и т.д.). В зависимости от реализации, метаданные могут включать другие типы данных, такие как данные коэффициента усиления, данные траектории и т.д. Некоторые звуковые объекты могут быть неподвижными, в то время как другие объекты могут перемещаться. Детали звукового объекта могут быть осуществлены посредством авторской разработки или представлены в соответствии со связанными метаданными, которые, среди прочего, могут указывать положение звукового объекта в трехмерном пространстве в заданный момент времени. Когда звуковые объекты наблюдаются или проигрываются в воспроизводящей среде, данные звуковых объектов могут представляться в соответствии с метаданными их положения и размера в соответствии со схемой расположения воспроизводящих громкоговорителей воспроизводящей среды.
[068] На фиг. 5А приведена блок-схема, которая приводит обзор способов обработки звука. Более подробно примеры описаны ниже со ссылкой на фиг. 5В и следующие. Данные способы могут включать больше или меньше блоков, чем показано и описано в данном документе, и не обязательно выполняются в порядке, показанном в данном документе. Данные способы могут по меньшей мере частично быть выполнены с помощью устройств, таких как показанные на фиг. 10-11В и описаны ниже. В некоторых вариантах осуществления данные способы могут быть реализованы по меньшей мере частично посредством программного обеспечения, хранящегося в памяти одного или нескольких постоянных носителей данных. Программное обеспечение может включать команды для управления одним или несколькими устройствами для выполнения описанных в данном документе способов.
[069] В примере, показанном на фиг. 5А, способ 500 начинается с процесса настройки определения значений коэффициентов усиления виртуального источника для местоположений виртуального источника по отношению к конкретной воспроизводящей среде (блок 505). На фиг. 6А показан пример местоположений виртуального источника по отношению к воспроизводящей среде. Например, блок 505 может включать определение значений коэффициентов усиления виртуального источника местоположений 605 виртуального источника по отношению к местоположениям 625 воспроизводящих громкоговорителей воспроизводящей среды 600а. Местоположения 605 виртуального источника и местоположения 625 воспроизводящих громкоговорителей являются просто примерами. В примере, показанном на фиг. 6А, местоположения 605 виртуального источника распределены равномерно вдоль осей x, y и z. Тем не менее, в альтернативных реализациях местоположения 605 виртуального источника могут быть распределены неодинаково. Например, в некоторых реализациях местоположения 605 виртуального источника могут иметь первый равномерный интервал вдоль осей x и y и второй равномерный интервал вдоль оси z. В других реализациях местоположения 605 виртуального источника могут быть распределены неравномерно.
[070] В примере, показанном на фиг. 6А, воспроизводящая среда 600а и объем 602а виртуального источника одинаковы по протяженности в пространстве таким образом, что каждое из местоположений 605 виртуального источника соответствует местоположению в пределах воспроизводящей среды 600а. Тем не менее, в альтернативных реализациях воспроизводящая среда 600 и объем 602 виртуального источника могут не быть одинаковыми по протяженности в пространстве. Например, по меньшей мере местоположения 605 виртуального источника могут соответствовать местоположениям за пределами воспроизводящей среды 600.
[071] На фиг. 6В показан альтернативный пример местоположений виртуального источника по отношению к воспроизводящей среде. В этом примере объем 602b виртуального источника выходит за пределы воспроизводящей среды 600b.
[072] Возвращаясь к фиг. 5А, в этом примере процесс настройки блока 505 происходит перед представлением данных конкретных звуковых объектов. В некоторых реализациях коэффициенты усиления виртуального источника, определенные в блоке 505, могут храниться в системе хранения данных. Сохраненные значения коэффициента усиления виртуального источника могут быть использованы в течение "рабочего цикла" процесса вычисления значений коэффициентов усиления звукового объекта для полученных звуковых объектов согласно по меньшей мере некоторым из значений коэффициентов усиления виртуального источника (блок 510). Например, блок 510 может включать вычисление значения коэффициентов усиления звукового объекта, по меньшей мере частично обусловленных значениями коэффициентов усиления виртуального источника, соответствующими местоположениям виртуального источника, которые находятся в пределах области или объема звукового объекта.
[073] В некоторых реализациях способ 500 может включать необязательный блок 515, который включает декорреляцию аудиоданных. Блок 515 может быть частью процесса рабочего цикла. В некоторых таких реализациях блок 515 может включать свертку в частотной области. Например, блок 515 может включать применение фильтра с ограниченной частотной характеристикой ("FIR") для каждого сигнала, подаваемого на громкоговоритель.
[074] В некоторых реализациях процессы блока 515 могут выполняться или могут не выполняться в зависимости от размера звукового объекта и/или авторского художественного замысла. В соответствии с некоторыми такими реализациями инструментальное средство авторской разработки может связывать размер звукового объекта с декорреляцией посредством указания (например, с помощью флага декорреляции, включенного в связанные метаданные) того, что декорреляция должна быть запущена, если размер звукового объекта больше или равен пороговому значению размера, и что декорреляция должна быть остановлена, если размер звукового объекта меньше порогового значения размера. В некоторых реализациях декорреляцией можно управлять (например, увеличивать, уменьшать или отключать) в соответствии с пользовательским вводом данных, относящихся к пороговому значению размера и/или другим входным величинам.
[075] На фиг. 5В приведена блок-схема, которая представляет пример процесса настройки. Соответственно, все блоки, показанные на фиг. 5В, представляют примеры процессов, которые могут быть выполнены в блоке 505 фиг. 5А. Процесс настройки начинается с получения данных воспроизводящей среды (блок 520). Данные воспроизводящей среды могут включать данные местоположения воспроизводящего громкоговорителя. Данные воспроизводящей среды также могут включать данные, представляющие границы воспроизводящей среды, такие как стены, потолок и т.д. Если воспроизводящая среда является кинотеатром, то данные воспроизводящей среды также могут включать указатель местоположения киноэкрана.
[076] Данные воспроизводящей среды также могут включать данные, указывающие на корреляцию выходных каналов с воспроизводящими громкоговорителями воспроизводящей среды. Например, воспроизводящая среда может иметь конфигурацию Dolby Surround 7.1, которая показана на фиг. 2 и описана выше. Соответственно, данные воспроизводящей среды также могут включать данные, указывающие на корреляцию между каналом Lss и левыми боковыми окружающими громкоговорителями 220, между каналом Lrs и левыми тыловыми окружающими громкоговорителями 224 и т.д.
[077] В данном примере блок 525 включает определение местоположений 605 виртуального источника в соответствии с данными воспроизводящей среды. Местоположения 605 виртуального источника могут определяться в пределах объема виртуального источника. В некоторых реализациях объем виртуального источника может соответствовать объему, в пределах которого звуковые объекты могут перемещаться. Как показано на фиг. 6А и 6В, в некоторых реализациях объем 602 виртуального источника может быть одинаковым по протяженности в пространстве с объемом воспроизводящей среды 600, в то время как в других реализациях по меньшей мере некоторые из местоположений 605 виртуального источника могут соответствовать местоположениям за пределами воспроизводящей среды 600.
[078] Кроме того, местоположения 605 виртуального источника могут равномерно или неравномерно распределяться в пределах объема 602 виртуального источника в зависимости от конкретной реализации. В некоторых реализациях местоположения 605 виртуального источника могут равномерно распределяться во всех направлениях. Например, местоположения 605 виртуального источника могут образовывать прямоугольную сетку Nx на Ny на Nz местоположений 605 виртуального источника. В некоторых реализациях значение N может находиться в диапазоне от 5 до 100. Значение N может зависеть по меньшей мере частично от количества воспроизводящих громкоговорителей в воспроизводящей среде: желательно включать два или более местоположений 605 виртуального источника между каждым местоположением воспроизводящего громкоговорителя.
[079] В других реализациях местоположения 605 виртуального источника могут иметь первый равномерный интервал вдоль осей x и y и второй равномерный интервал вдоль оси z. Местоположения 605 виртуального источника могут образовывать прямоугольную сетку Nx на Ny на Mz местоположений 605 виртуального источника. Например, в некоторых реализациях может находиться меньше местоположений 605 виртуального источника вдоль оси z, чем вдоль осей x или y. В некоторых таких реализациях значение N может находиться в диапазоне от 10 до 100, в то время как значение М может находиться в диапазоне от 5 до 10.
[080] В данном примере блок 530 включает вычисление значений коэффициентов усиления виртуального источника для каждого из местоположений 605 виртуального источника. В некоторых реализациях блок 530 включает вычисление для каждого из местоположений 605 виртуального источника значений коэффициентов усиления виртуального источника для каждого канала из множества выходных каналов воспроизводящей среды. В некоторых реализациях блок 530 может включать применение алгоритма амплитудного панорамирования на векторной основе (VBAP), алгоритма попарного панорамирования или подобного алгоритма для вычисления значений коэффициентов усиления для точечных источников, расположенных в каждом из местоположений 605 виртуального источника. В других реализациях блок 530 может включать применение сепарабельного алгоритма для вычисления значений коэффициентов усиления для точечных источников, расположенных в каждом из местоположений 605 виртуального источника. Как используется в данном документе, термин "сепарабельный" алгоритм представляет собой алгоритм, для которого коэффициент усиления заданного громкоговорителя может быть выражен как произведение двух или более множителей, которые могут быть вычислены отдельно для каждой из координат местоположения виртуального источника. Примеры включают алгоритмы, реализованные в различных существующих инструментальных средствах панорамирования микшерных пультов, включая программное обеспечение Pro Tools™ и инструментальные средства панорамирования, реализованные в цифровых кинопультах, предусмотренных AMS Neve, но не ограничиваясь ими. Некоторые двумерные примеры приведены ниже.
[081] На фиг. 6C-6F показаны примеры применения к звуковым объектам в разных местоположениях методик панорамирования в ближней зоне и дальней зоне. Сначала обратимся к фиг. 6С, звуковой объект находится по существу за пределами виртуальной воспроизводящей среды 400а. Поэтому в данном случае будет применяться один или несколько способов панорамирования в дальней зоне. В некоторых реализациях способы панорамирования в дальней зоне могут основываться на уравнениях амплитудного панорамирования на векторной основе (VBAP), которые известны средним специалистам в данной области техники. Например, способы панорамирования в дальней зоне могут основываться на уравнениях VBAP, описываемых в разделе 2.3, стр. 4 статьи V. Pulkki, Compensating Displacement of Amplitude-Panned Virtual Sources (AES International Conference on Virtual, Synthetic and Entertainment Audio), которая включается в данный документ посредством ссылки. В альтернативных реализациях для панорамирования звуковых объектов в ближней зоне и дальней зоне могут использоваться другие способы, например, способы, которые включают использование синтеза соответствующих акустических плоскостей или сферической волны. Соответствующие способы описаны в монографии D. de Vries, Wave Field Synthesis (AES Monograph 1999), которая включена в данный документ посредством ссылки.
[082] Со ссылкой теперь к фиг. 6D, звуковой объект 610 находится внутри виртуальной воспроизводящей среды 400а. Поэтому в данном случае будет применяться один или несколько способов панорамирования в ближней зоне. Некоторые такие способы панорамирования в ближней зоне будут использовать несколько зон громкоговорителей, заключающих звуковой объект 610 в виртуальной воспроизводящей среде 400а.
[083] На фиг. 6G показан пример воспроизводящей среды, содержащей один громкоговоритель в каждом углу квадрата, имеющего длину стороны, равную 1. В этом примере начало координат (0,0) осей x-y совпадает с левым (L) экранным громкоговорителем 130. Соответственно, правый (R) экранный громкоговоритель 140 имеет координаты (1,0), левый окружающий (Ls) громкоговоритель 120 имеет координаты (0,1) и правый окружающий (RS) громкоговоритель 125 имеет координаты (1,1). Положение 615 (x,y) звукового объекта находится на x единиц правее громкоговорителя L и у единиц от экрана 150. В данном примере каждый из четырех громкоговорителей получает косинусный/синусный множитель, пропорциональный их расстоянию вдоль оси x и оси y. Согласно некоторых реализациям коэффициенты усиления могут быть вычислены следующим образом:
G_l(х)=cos(pi/2*x), если l=L,Ls G_l(х)=sin(pi/2*х), если l=R,Rs G_l(у)=cos(pi/2*у), если 1=L,R G_l (у)=sin(pi/2*у), если l=Ls,Rs
[084] Общий коэффициент усиления является произведением: G_l(x,y)=G_l(x) G_l(y). В целом данные функции зависят от всех координат всех громкоговорителей. Тем не менее, G_l(x) не зависит от положения источника по оси у, a G_l(y) не зависит от его положения по оси х. Для иллюстрации простого расчета, предполагают, что положение 615 звукового объекта соответствует координатам (0,0), где расположен громкоговоритель L. G_L(х)=cos(0)=1. G_L(у)=cos(0)=1. Общий коэффициент усиления является произведением: G_L(x,y)=G_L(x)G_L(y)=1. Аналогичные вычисления приводят к G_Ls=G_Rs=G_R=0.
[085] Может потребоваться смешивание различных режимов панорамирования при вхождении или покидании звуковым объектом виртуальной воспроизводящей среды 400а. Например, смесь коэффициентов усиления вычисляется в соответствии со способами панорамирования в ближней зоне, а способы панорамирования в дальней зоне могут быть применены, когда звуковой объект 610 перемещается из местоположения 615 звукового объекта, показанного на фиг. 6С, в местоположение 615 звукового объекта, показанное на фиг. 6D, или наоборот. В некоторых реализациях может использоваться парный закон панорамирования (например, синусный или степенной закон сохранения энергии) для смешивания коэффициентов усиления, вычисленных в соответствии способами панорамирования в ближней зоне и способами панорамирования в дальней зоне. В альтернативных реализациях парный закон панорамирования может быть сохраняющим амплитуду, а не сохраняющим энергию, в результате чего единице равна сумма, а не сумма квадратов. Также можно смешивать результирующие обработанные сигналы, например, для обработки звукового сигнала с независимым использованием обоих способов панорамирования и плавного перехода между двумя результирующими звуковыми сигналами.
[086] Возвращаясь теперь к фиг. 5В, независимо от алгоритма, используемого в блоке 530, результирующие значения коэффициента усиления могут быть сохранены в системе памяти (блок 535) для использования во время операций рабочего цикла.
[087] На фиг. 5С приведена блок-схема, которая приводит пример процесса рабочего цикла вычисления значений коэффициентов усиления для принимаемых звуковых объектов в соответствии с предварительно вычисленными значениями коэффициентов усиления для местоположений виртуального источника. Все блоки, показанные на фиг. 5С, представляют собой примеры процессов, которые могут быть выполнены в блоке 510 фиг. 5А.
[088] В данном примере процесс рабочего цикла начинается с получения данных звуковоспроизведения, которые включают один или несколько звуковых объектов (блок 540). Звуковые объекты включают звуковые сигналы и соответствующие метаданные, включающие в данном примере по меньшей мере данные положения звукового объекта и данные размера звукового объекта. Со ссылкой к фиг. 6А, например, звуковой объект 610 определен по меньшей мере частично с помощью положения 615 звукового объекта 615 и объема 620а звукового объекта. В данном примере полученные данные размера звукового объекта показывают, что объем 620а звукового объекта соответствует прямоугольной призме. В примере, показанном на фиг. 6В, впрочем, полученные данные размера звукового объекта показывают, что объем 620b звукового объекта соответствует сфере. Эти размеры и формы являются лишь примерами; в альтернативных реализациях звуковые объекты могут иметь множество других размеров и/или форм. В некоторых альтернативных примерах областью или объемом звукового объекта может быть прямоугольник, круг, эллипс, эллипсоид или сферический сектор.
[089] В данной реализации блок 545 включает вычисление вкладов от виртуальных источников в пределах области или объема, определенного данными положения звукового объекта и данными размера звукового объекта. В примерах, показанных на фиг. 6А и 6В, блок 545 может включать вычисление вкладов от виртуальных источников в местоположениях 605 виртуального источника, которые находятся в пределах объема 620а звукового объекта или объема 620b звукового объекта. Если метаданные звукового объекта меняются с течением времени, то блок 545 может выполняться также в соответствии с новыми значениями метаданных. Например, если размер звукового объекта и/или положение звукового объекта изменились, то разные местоположения 605 виртуального источника могут находиться в пределах объема 620 звукового объекта и/или местоположения 605 виртуального источника, используемые для предварительного расчета, могут находиться на разном расстоянии от положения 615 звукового объекта. В блоке 545 соответствующие вклады виртуального источника будут вычислены в соответствии с новым размером и/или положением звукового объекта.
[090] В некоторых примерах блок 545 может включать получение от системы памяти вычисленных значений коэффициентов усиления виртуального источника для местоположений виртуального источника, соответствующих положению и размеру звукового объекта, и интерполяцию между вычисленными значениями коэффициентов усиления виртуального источника. Процесс интерполяции между вычисленными значениями коэффициентов усиления виртуального источника может включать определение множества соседних местоположений виртуального источника в окрестности положения звукового объекта; определение вычисленных значений коэффициентов усиления виртуального источника для каждого из соседних местоположений виртуального источника; определение множества расстояний между положением звукового объекта и каждым из соседних местоположений виртуального источника; и интерполяцию между вычисленными значениями коэффициентов усиления виртуального источника в соответствии со множеством расстояний.
[091] Процесс вычисления вкладов от виртуальных источников может включать вычисление средневзвешенного значения вычисленных значений коэффициентов усиления виртуального источника для местоположений виртуального источника в пределах области или объема, определенного размером звукового объекта. Весовые коэффициенты для средневзвешенного значения могут зависеть, например, от положения звукового объекта, размера звукового объекта и каждого местоположения виртуального источника в пределах области или объема.
[092] На фиг. 7 показан пример вкладов от виртуальных источников в пределах области, определенной данными положения звукового объекта и данными размера звукового объекта. На фиг. 7 изображено поперечное сечение звуковой среды 200а, выполненное перпендикулярно оси z. Таким образом, фиг. 7 начерчена с точки зрения зрителя, смотрящего вниз в звуковую среду 200а вдоль оси z. В этом примере звуковая среда 200а является средой звуковой системы для кинематографии, имеющей конфигурацию Dolby Surround 7.1, такую как показана на фиг. 2 и описана выше. Соответственно, воспроизводящая среда 200а включает левые боковые окружающие громкоговорители 220, левые тыловые окружающие громкоговорители 224, правые боковые окружающие громкоговорители 225, правые тыловые окружающие громкоговорители 226, левый экранный канал 230, центральный экранный канал 235, правый экранный канал 240 и сверхнизкочастотный громкоговоритель 245.
[093] Звуковой объект 610 имеет размер, указанный объемом 620b звукового объекта - прямоугольной областью поперечного сечения, показанной на фиг. 7. Заданное положение 615 звукового объекта в определенный момент времени изображено на фиг. 7, 12 местоположений 605 виртуального источника включены в область, охваченную объемом 620b звукового объекта в плоскости x-y. В зависимости от протяженности объема 620b звукового объекта в направлении z и интервала между местоположениями 605 виртуального источника вдоль оси z дополнительные местоположения 605s виртуального источника могут охватываться или не охватываться объемом 620b звукового объекта.
[094] На фиг. 7 указаны вклады от местоположений 605 виртуального источника в пределах области или объема, определенного размером звукового объекта 610. В данном примере диаметр круга используется для описания того, что каждое из местоположений 605 виртуального источника соответствует вкладу от соответствующего местоположения 605 виртуального источника. Местоположения 605а виртуального источника, ближайшие к положению 615 звукового объекта, показаны наибольшим размером, указывающим на наибольший вклад от соответствующих виртуальных источников. Вторыми по величине вкладами являются вклады от виртуальных источников в местоположениях 605b виртуального источника, которые вторые по близости к положению 615 звукового объекта. Меньшие вклады выполняются местоположениями 605 с виртуального источника, которые расположены дальше от положения 615 звукового объекта, но все еще в пределах объема 620b звукового объекта. Местоположения 605d виртуального источника, которые находятся за пределами объема 620b звукового объекта, показаны наименьшим размером, который указывает на то, что в данном примере соответствующие виртуальные источники не делают вклада.
[095] Возвращаясь к фиг. 5С, в данном примере блок 550 содержит вычисление набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов на основании по меньшей мере частично вычисленных вкладов. Каждый выходной канал может соответствовать по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды. Блок 550 может включать нормализацию результирующих значений коэффициентов усиления звукового объекта. Для реализации, показанной на фиг. 7, например, каждый выходной канал может соответствовать единственному громкоговорителю или группе громкоговорителей.
[096] Процесс вычисления значения коэффициента усиления звукового объекта для каждого из множества выходных каналов может включать определение значения коэффициента усиления 
для звукового объекта размера (s) для представления данных в местоположении х0, у0, z0. Данное значение коэффициента усиления звукового объекта может иногда упоминаться в данном документе как "вклад размера звукового объекта". В соответствии с некоторыми реализациями значение коэффициента усиления звукового объекта 
может быть выражено как:
[097] В уравнении 2 (xvs, yvs, zvs) представляет собой местоположение виртуального источника, gl(xvs, yvs, zvs) представляет собой значение коэффициента усиления для канала l для местоположения xvs, yvs, zvs виртуального источника и w(xvs, yvs, zvs; х0, у0, z0; s) представляет собой весовой коэффициент для gl(xvs, yvs, zvs), определенный на основании по меньшей мере частично местоположения (х0, y0, z0) звукового объекта, размера (s) звукового объекта и местоположения (xvs, yvs, zvs) виртуального источника.
[098] В некоторых примерах показатель p может иметь значение от 1 до 10. В некоторых реализациях p может быть функцией размера s звукового объекта. Например, если s относительно больше, в некоторых реализациях p может быть относительно меньше. Согласно некоторым таким реализациям p может быть определен следующим образом:
p=6, если s≤0,5
р=6+(-4)(s-0,5)/(smax-0,5), если s>0,5,
где smax соответствует максимальному значению внутреннего увеличенного размера sinternal (описано ниже), и где размер звукового объекта s=1 может соответствовать звуковому объекту, имеющему размер (например, диаметр), равный длине одной из границ воспроизводящей среды (например, равный длине одной из стен воспроизводящей среды).
[099] В частичной зависимости от алгоритма(ов), используемого(ых) для вычисления значений коэффициентов усиления виртуального источника можно упростить уравнение 2, если местоположения виртуального источника равномерно распределяются вдоль оси, и если весовые функции и функции коэффициента усиления являются сепарабельными, например, как описано выше. Если эти условия выполняются, то gl(xvs, yvs, zvs) может быть выражено как glx(xvs)gly(yvs)glz(zvs), где glx(xvs), gly(yvs) и glz(zvs) представляют собой независимые функции усиления от координат x, у и z местоположения виртуального источника.
[100] Кроме того, w(xvs, yvs, zvs; х0, у0, z0; s) можно разложить на множители как wx(xvs;x0;s)wy(yvs;y0;s)wz(zvs;z0;s), где wx(xvs; х0; s), wy(yvs; у0; s) и wz(zvs; z0; s)
представляют собой независимые весовые функции от координат x, y и z местоположения виртуальной источника. Один такой пример показан на фиг. 7. В этом примере весовая функция 710, выраженная как wx(xvs; х0; s), может быть вычислена независимо от весовой функции 720, выраженной как wy(yvs; х0; s). В некоторых реализациях весовые функции 710 и 720 могут быть гауссовыми функциями, в то время как весовая функции wz(zvs; z0; s) может быть произведением косинусной и гауссовой функций.
[101] Если w(xvs, yvs, zvs; xo, yo, zo; s) может быть разложена на множители wx (xvs; xo; s) wy (yvs; yo; s) wz (zvs; zo; s), уравнение 2 упрощается до:
[102] Функции 
могут содержать всю необходимую информацию о виртуальных источниках. Если возможные положения объекта дискретизируются вдоль каждой оси, то можно выразить каждую функцию в виде матрицы. Каждая функция может быть предварительно вычислена во время процесса настройки в блоке 505 (см. фиг. 5А) и сохранена в системе памяти, например, в виде матрицы или в виде таблицы поиска. Во время рабочего цикла (блок 510) таблицы поиска или матрицы могут быть извлечены из системы памяти. Процесс рабочего цикла может включать интерполяцию, задаваемую положением и размером звукового объекта, между ближайшими соответствующими значениями этих матриц. В некоторых реализациях интерполяция может быть линейной.
[103] В некоторых реализациях вклад размера звукового объекта 
может быть объединен с результатом "приближенного коэффициента усиления звукового объекта" для положения звукового объекта. Как используется в данном документе, "приближенный коэффициент усиления звукового объекта" является коэффициентом усиления, вычисляемым на основании положения 615 звукового объекта. Вычисление коэффициента усиления может быть сделано с помощью того же алгоритма, который используется для вычисления каждого из значений коэффициентов усиления виртуального источника. Согласно некоторым таким реализациям вычисление плавного перехода может быть выполнено между вкладом размера звукового объекта и результатом приближенного коэффициента усиления звукового объекта, например, в виде функции размера звукового объекта. Такие реализации могут предусматривать плавное панорамирование и плавное увеличение звуковых объектов и могут предусматривать плавный переход между наименьшим и наибольшим размерами звукового объекта. В одной такой реализации,
и где 
представляет собой нормализованный вариант ранее вычисленного 
. В некоторых таких реализациях 
. Тем не менее, в альтернативных реализациях sxfade может иметь другие значения.
[104] В соответствии с некоторыми реализациями значение размера звукового объекта может быть увеличено в большей части своего диапазона возможных значений. В некоторых реализациях авторской разработки, например, пользователь может подвергаться воздействию значений размера звукового объекта suser ∈ [0,1], которые назначаются действительному размеру, используемому алгоритмом для большего диапазона, например, диапазона [0, smax], где smax>1. Это назначение может гарантировать то, что коэффициенты усиления становятся действительно независимыми от положения объекта, когда размер устанавливается пользователем на максимум. В соответствии с некоторыми такими реализациями такие назначения могут быть сделаны в соответствии с кусочно-линейной функцией, которая соединяет пары точек (suser, sinternal), где suser представляет собой выбранный пользователем размер звукового объекта, и sjnternal представляет собой соответствующий размер звукового объекта, который определяется алгоритмом. В соответствии с некоторыми такими реализациями назначение может быть сделано в соответствии с кусочно-линейной функцией, которая соединяет пары точек (0; 0), (0,2; 0,3), (0,5; 0,9), (0,75; 1,5) и (1; smax). В одной из таких реализации smax=2,8.
[105] На фиг. 8А и 8В показан звуковой объект в двух положениях в воспроизводящей среде. В данных примерах объем 620b звукового объект является сферой с радиусом меньше половины длины или ширины воспроизводящей среды 200а. Воспроизводящая среда 200а выполнена в соответствии с конфигурацией Dolby 7.1. В момент времени, изображенный на фиг. 8А, положение 615 звукового объекта относительно ближе к середине воспроизводящей среды 200а. В момент времени, изображенный на фиг. 8В, положение 615 звукового объекта перемещается ближе к границе воспроизводящей среды 200а. В данном примере границей является левая стена кинотеатра, и она совпадает с местоположением левых боковых окружающих громкоговорителей 220.
[106] По эстетическим соображениям желательно изменять вычисления коэффициента усиления звукового объекта для звуковых объектов, которые приближаются к границе воспроизводящей среды. На фиг. 8А и 8В, например, отсутствует подача на громкоговорители на противоположной границе воспроизводящей среды (в данном случае правые боковые окружающие громкоговорители 225) сигналов, подаваемых на громкоговорители, когда положение 615 звукового объекта находится в пределах порогового расстояния от левой границы 805 воспроизводящей среды. В примере, показанном на фиг. 8В, отсутствует подача на громкоговорители, соответствующие левому экранному каналу 230, центральному экранному каналу 235, правому экранному каналу 240 или сверхнизкочастотному громкоговорителю 245, сигналов, подаваемых на громкоговорители, когда положение 615 звукового объекта находится в пределах порогового расстояния (которое может быть другим пороговым расстоянием) от левой границы 805 воспроизводящей среды, если положение 615 звукового объекта также больше, чем пороговое расстоянии от экрана.
[107] В примере, показанном на фиг. 8В, объем 620b звукового объекта включает область или объем за пределами левой границы 805. Согласно некоторым реализациям коэффициент плавного перехода для расчетов коэффициента усиления может по меньшей мере частично обуславливаться тем, насколько левая граница 805 находится в пределах объема 620b звукового объекта и/или тем, насколько область или объем звукового объекта выходит за пределы такой границы.
[108] На фиг. 9 показана блок-схема, которая описывает способ определения коэффициента плавного перехода, по меньшей мере частично обусловленного тем, насколько область или объем звукового объекта выходят за пределы границы воспроизводящей среды. В блоке 905 принимают данные воспроизводящей среды. В данном примере данные воспроизводящей среды включают данные местоположения воспроизводящих громкоговорителей и данные границы воспроизводящей среды. Блок 910 включает прием данных звуковоспроизведения, включающих один или несколько звуковых объектов и связанных с ними метаданных. В данном примере метаданные включают по меньшей мере данные положения звукового объекта и данные размера звукового объекта.
[109] В данной реализации блок 915 включает определение того, что область или объем звукового объекта, определенный по данным положения звукового объекта и данным размера звукового объекта, включает область или объем за пределами границы воспроизводящей среды. Блок 915 может также включать определение того, какая доля области или объема звукового объекта находится за пределами границы воспроизводящей среды.
[110] В блоке 920 определяется коэффициент плавного перехода. В данном примере коэффициент плавного перехода может по меньшей мере частично обуславливаться внешней областью. Например, коэффициент плавного перехода может быть пропорционален внешней области.
[111] В блоке 925 набор значений коэффициентов усиления звукового объекта может вычисляться для каждого из множества выходных каналов на основании по меньшей мере частично соответствующих метаданных (в данном примере данных положения звукового объекта и данных размера звукового объекта) и коэффициента плавного перехода. Каждый выходной канал может соответствовать по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды.
[112] В некоторых реализациях вычисления коэффициента усиления звукового объекта могут включать вычисление вкладов от виртуальных источников в пределах области или объема звукового объекта. Виртуальные источники могут соответствовать множеству местоположений виртуальных источников, которые могут определяться со ссылкой на данные воспроизводящей среды. Местоположения виртуального источника могут распределяться равномерно или неравномерно. Для каждого из местоположений виртуального источника значение коэффициента усиления виртуального источника может быть вычислено для каждого из множества выходных каналов. Как описано выше, в некоторых реализациях эти значения коэффициента усиления виртуального источника могут вычисляться и храниться в памяти во время процесса настройки, а затем извлекаться для использования во время операций рабочего цикла.
[113] В некоторых реализациях коэффициент плавного перехода может применяться ко всем значениям коэффициента усиления виртуального источника, соответствующим местоположениям виртуального источника в пределах воспроизводящей среды. В некоторых реализациях 
может быть преобразовано следующим образом:
fade - out factor = 1, если dbound ≥ s,
fade - out factor = db0und/s, если dbound<s,
где dbound представляет собой минимальное расстояние между местоположением звукового объекта и границей воспроизводящей среды и 
представляет собой вклад виртуальных источников вдоль границы. Например, обращаясь к фиг. 8В, 
может представлять вклад виртуальных источников в пределах объема 620b звукового объекта и смежных с границей 805. В данном примере, аналогично фиг. 6А, отсутствуют виртуальные источники, расположенные за пределами воспроизводящей среды.
[114] В альтернативных реализациях 
может быть преобразовано следующим образом:
где 
представляет собой коэффициенты усиления звукового объекта, обусловленные виртуальными источниками, расположенными за пределами воспроизводящей среды, но в пределах области или объема звукового объекта. Например, со ссылкой на фиг. 8В, 
может представлять собой вклад виртуальных источников в пределах объема 620b звукового объекта и за пределами границы 805. В данном примере, аналогично фиг. 6В, присутствуют виртуальные источники как в пределах, так и за пределами воспроизводящей среды.
[115] Фиг. 10 представляет собой блок-схему, которая приводит примеры компонентов устройства для авторской разработки и/или представления данных. В данном примере устройство 1000 содержит систему 1005 интерфейсов. Система 1005 интерфейсов может содержать такой сетевой интерфейс, как беспроводной сетевой интерфейс. Альтернативно или дополнительно, система 1005 интерфейсов может содержать интерфейс универсальной последовательной шины (USB) или другой подобный интерфейс.
[116] Устройство 1000 содержит логическую систему 1010. Логическая система 1010 может содержать процессор, такой как одно- или многокристальный процессор общего назначения. Логическая система 1010 может содержать процессор цифровой обработки сигналов (DSP), проблемно-ориентированную интегральную микросхему (ASIC), программируемую вентильную матрицу (FPGA) или другое программируемое логическое устройство, схему на дискретных компонентах или транзисторную логическую схему, или компоненты дискретного аппаратного обеспечения, или их комбинации. Логическая система 1010 может быть выполнена для управления другими компонентами устройства 1000. И хотя на фиг. 10 не показаны интерфейсы между компонентами устройства 1000, логическая система 1010 может быть выполнена с интерфейсами для связи с другими компонентами. При необходимости, другие компоненты могут быть выполнены или могут не быть выполнены для связи друг с другом.
[117] Логическая система 1010 может быть выполнена для осуществления функциональной возможности авторской разработки звука и/или представления данных, включающего в качестве неограничивающих примеров те типы функциональных возможностей авторской разработки звука и/или представления данных, которые описаны в данном документе. В некоторых таких реализациях логическая система 1010 может быть выполнена для работы (по меньшей мере частично) в соответствии с программным обеспечением, хранящимся на одном или нескольких постоянных носителях данных. Эти постоянные носители данных могут включать такую связанную с логической системой 1010 память, как память с произвольным доступом (RAM) и/или постоянное запоминающее устройство (ROM). Постоянные носители данных могут содержать память системы 1015 памяти. Система 1015 памяти может содержать один или несколько постоянных носителей данных подходящих типов, такие как флеш-память, накопитель на жестком магнитном диске и т.д.
[118] Дисплейная система 1030 может содержать дисплей одного или нескольких подходящих типов в зависимости от проявления устройства 1000. Например, дисплейная система 1030 может содержать жидкокристаллический дисплей, плазменный дисплей, бистабильный дисплей и т.д.
[119] Система 1035 пользовательского ввода может включать одно или несколько устройств, выполненных для приема ввода от пользователя. В некоторых реализациях система 1035 пользовательского ввода данных может содержать сенсорный экран, который накладывается на дисплей дисплейной системы 1030. Система 1035 пользовательского ввода данных может содержать мышь, трекбол, систему распознавания жестов, джойстик, один или несколько графических пользовательских интерфейсов (GUI) и/или меню, представленное на дисплейной системе 1030, кнопки, клавиатуру, переключатели и т.д. В некоторых реализациях система 1035 пользовательского ввода данных может содержать микрофон 1025: пользователь может подавать голосовые команды устройству 1000 с помощью микрофона 1025. Логическая система может быть выполнена для распознавания речи и для управления по меньшей мере некоторыми операциями устройства 1000 в соответствии с этими голосовыми командами.
[120] Система 1040 питания может содержать один или несколько подходящих аккумуляторов, таких как никель-кадмиевая батарея или литий-ионная батарея. Система 1040 питания может быть выполнена для получения энергии от электрической розетки.
[121] Фиг. 11А представляет собой блок-схему, которая представляет некоторые компоненты, которые могут использоваться для создания звукового содержимого. Например, система 1100 может использоваться для создания звукового содержимого в микшерных студиях и/или монтажных павильонах. В данном примере система 1100 включает инструментальное средство 1105 авторской разработки звука и метаданных и инструментальное средство 1110 представления данных. В данной реализации инструментальное средство 1105 авторской разработки звука и метаданных и инструментальное средство 1110 представления данных содержат интерфейсы 1107 и 1112 подключения звука, соответственно, которые могут выполняться для связи посредством AES/EBU, MADI, аналоговых интерфейсов и т.д. Инструментальное средство 1105 авторской разработки звука и метаданных и инструментальное средство 1110 представления данных содержат, соответственно, сетевые интерфейсы 1109 и 1117, которые могут выполняться с возможностью отправки и приема метаданных посредством протокола TCP/IP или любого другого подходящего протокола. Интерфейс 1120 выполнен для вывода аудиоданных на громкоговорители.
[122] Система 1100 может, например, содержать уже существующую систему авторской разработки, такую как система Pro Tools™, которая запускает инструментальное средство создания метаданных (т.е. инструментальное средство панорамирования, описываемое в данном документе) в качестве программного расширения. Инструментальное средство панорамирования также может работать в автономной системе (например, ПК или микшерном пульте), подключенной к инструментальному средству 1110 представления данных, или может работать на том же физическом устройстве как инструментальное средство 1110 представления данных. В последнем случае, инструментальные средства панорамирования и представления данных могут использовать локальное соединение, например, через совместно используемую память. Графический пользовательский интерфейс инструментального средства панорамирования также может быть предусмотрен на планшетном устройстве, ноутбуке и т.д. Инструментальное средство 1110 представления данных может содержать систему представления данных, которая содержит устройство обработки звука, выполненное для осуществления таких способов представления данных, которые описаны на фиг. 5А-С и фиг. 9. Система представления данных может включать, например, персональный компьютер, ноутбук и т.д., который содержит интерфейсы для ввода/вывода звука и соответствующую логическую систему.
[123] На фиг. 11В приведена структурная схема, которая представляет некоторые компоненты, которые могут использоваться для проигрывания звука в воспроизводящей среде (например, кинотеатре). В данном примере система 1150 содержит сервер 1155 для кинотеатра и систему 1160 представления данных. Сервер 1155 для кинотеатра и система 1160 представления данных содержат сетевые интерфейсы 1157 и 1162, соответственно, которые могут быть выполнены с возможностью отправки и приема звуковых объектов посредством протокола TCP/IP или любого другого подходящего протокола. Интерфейс 1164 выполнен с возможностью вывода аудиоданных на громкоговорители.
[124] Средним специалистам в данной области техники могут быть легко понятны различные модификации реализаций, описанных в данном документе. Общие принципы, определенные в данном документе, могут применяться к другим реализациям без отступления от сути или объема данного раскрытия. Таким образом, формула изобретения не предназначена ограничиваться реализациями, показанными в данном документе, но согласуется с наиболее широким объемом, соответствующим данному раскрытию, принципам и новым отличительным признакам, раскрытым в данном документе.
Claims (81)
1. Способ представления звуковых объектов, включающий:
прием данных звуковоспроизведения, включающих один или несколько звуковых объектов, при этом звуковые объекты включают звуковые сигналы и связанные метаданные, при этом метаданные включают, по меньшей мере, данные положения звукового объекта и данные размера звукового объекта;
вычисление для звукового объекта из одного или нескольких звуковых объектов значений коэффициента усиления виртуального источника от виртуальных источников при соответствующих местоположениях виртуального источника в пределах области или объема звукового объекта, определенного данными положения звукового объекта и данными размера звукового объекта, и
вычисление набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов на основании по меньшей мере частично вычисленных значений коэффициента усиления виртуального источника, отличающийся тем, что каждый выходной канал соответствует по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды и каждое из указанных местоположений виртуального источника соответствует соответствующему статическому местоположению в пределах воспроизводящей среды.
2. Способ по п. 1, отличающийся тем, что процесс вычисления набора значений коэффициента усиления звукового объекта включает вычисление средневзвешенного значения коэффициентов усиления виртуального источника из виртуальных источников в пределах области или объема звукового объекта.
3. Способ по п. 2, отличающийся тем, что весовые коэффициенты для средневзвешенного значения зависят от положения звукового объекта, размера звукового объекта и каждого местоположения виртуального источника в пределах области или объема звукового объекта.
4. Способ по п. 1, отличающийся тем, что дополнительно включает
прием данных воспроизводящей среды, включающих данные местоположения воспроизводящих громкоговорителей.
5. Способ по п. 4, отличающийся тем, что дополнительно включает
определение множества местоположений виртуального источника в соответствии с данными воспроизводящей среды и
вычисление для каждого из местоположений виртуального источника значения коэффициента усиления виртуального источника для каждого из множества выходных каналов.
6. Способ по п. 5, отличающийся тем, что, по меньшей мере, некоторые из местоположений виртуального источника соответствуют местоположениям за пределами воспроизводящей среды.
7. Способ по п. 5, отличающийся тем, что местоположения виртуального источника устанавливаются с равными интервалами вдоль осей х, у и z.
8. Способ по п. 5, отличающийся тем, что местоположения виртуального источника устанавливаются с первым равным интервалом вдоль осей х и у и вторым равным интервалом вдоль оси z.
9. Способ по п. 7 или п. 8, отличающийся тем, что процесс вычисления набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов включает независимые вычисления значений коэффициента усиления виртуального источника от виртуальных источников вдоль осей х, у и z.
10. Способ по п. 5, отличающийся тем, что местоположения виртуального источника устанавливаются с неравными интервалами.
11. Способ по п. 4, отличающийся тем, что дополнительно включает хранение вычисленных значений коэффициентов усиления виртуального источника в системе памяти.
12. Способ по п. 11, отличающийся тем, что процесс вычисления набора значений коэффициента усиления звукового объекта включает
получение из системы памяти вычисленных значений коэффициентов усиления виртуального источника, соответствующих положению и размеру звукового объекта, и
интерполяцию между вычисленными значениями коэффициентов усиления виртуального источника.
13. Способ по п. 12, отличающийся тем, что процесс интерполяции между вычисленными значениями коэффициентов усиления виртуального источника включает:
определение множества соседних местоположений виртуального источника в окрестности положения звукового объекта;
определение вычисленных значений коэффициентов усиления виртуального источника для каждого из соседних местоположений виртуального источника;
определение множества расстояний между положением звукового объекта и каждым из соседних местоположений виртуального источника и
интерполяцию между вычисленными значениями коэффициентов усиления виртуального источника в соответствии с множеством расстояний.
14. Способ по п. 1, отличающийся тем, что область или объем звукового объекта представляет собой по меньшей мере одно из следующего: прямоугольник, прямоугольную призму, круг, сферу, эллипс или эллипсоид.
15. Способ по п. 1, отличающийся тем, что воспроизводящая среда включает среду звуковой системы для кинематографии.
16. Способ по п. 1, отличающийся тем, что дополнительно включает декорреляцию, по меньшей мере, некоторых из данных звуковоспроизведения.
17. Способ по п. 1, отличающийся тем, что дополнительно включает декорреляцию данных звуковоспроизведения для звуковых объектов, имеющих размер звукового объекта, который превышает пороговое значение.
18. Способ по п. 1, отличающийся тем, что данные воспроизводящей среды включают данные границы воспроизводящей среды, причем способ дополнительно включает:
определение того, что область или объем звукового объекта включает внешнюю область или объем за пределами границы воспроизводящей среды; и
применение коэффициента плавного перехода, по меньшей мере частично обусловленного внешней областью или объемом.
19. Способ по п. 18, отличающийся тем, что дополнительно включает:
определение того, что звуковой объект находится в пределах порогового расстояния от границы воспроизводящей среды; и
отсутствие подачи на воспроизводящие громкоговорители на противоположной границе воспроизводящей среды сигналов, подаваемых на громкоговорители.
20. Способ по п. 1, отличающийся тем, что дополнительно включает:
прием данных воспроизводящей среды, включающих данные местоположения воспроизводящих громкоговорителей и данные границы воспроизводящей среды;
определение того, что область или объем звукового объекта включает внешнюю область или объем за пределами границы воспроизводящей среды; и
определение коэффициента плавного перехода, по меньшей мере частично обусловленного внешней областью или объемом, причем вычисление набора значений коэффициентов усиления для каждого из множества выходных каналов также обусловлено связанными метаданными и коэффициентом плавного перехода.
21. Способ по п. 20, отличающийся тем, что коэффициент плавного перехода пропорционален внешней области.
22. Способ по п. 20, отличающийся тем, что дополнительно включает:
определение того, что звуковой объект находится в пределах порогового расстояния от границы воспроизводящей среды; и
отсутствие подачи на воспроизводящие громкоговорители на противоположной границе воспроизводящей среды сигналов, подаваемых на громкоговорители.
23. Способ по п. 20, отличающийся тем, что дополнительно включает
определение множества местоположений виртуального источника в соответствии с данными воспроизводящей среды и
вычисление для каждого из местоположений виртуального источника коэффициента усиления виртуального источника для каждого из множества выходных каналов.
24. Способ по п. 23, отличающийся тем, что местоположения виртуального источника устанавливаются с равными интервалами.
25. Постоянный носитель данных для представления звуковых объектов, содержащий хранящееся на нем программное обеспечение, причем программное обеспечение включает команды для управления по меньшей мере одним устройством с целью выполнения следующих операций:
прием данных звуковоспроизведения, включающих один или несколько звуковых объектов, при этом звуковые объекты включают звуковые сигналы и связанные метаданные, при этом метаданные включают, по меньшей мере, данные положения звукового объекта и данные размера звукового объекта;
вычисление для звукового объекта из одного или нескольких звуковых объектов значений коэффициента усиления виртуального источника от виртуальных источников при соответствующих местоположениях виртуального источника в пределах области или объема звукового объекта, определенного данными положения звукового объекта и данными размера звукового объекта; и
вычисление набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов на основании по меньшей мере частично вычисленных значений коэффициента усиления виртуального источника, отличающийся тем, что каждый выходной канал соответствует по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды и каждое из указанных местоположений виртуального источника соответствует соответствующему статическому местоположению в пределах воспроизводящей среды.
26. Постоянный носитель данных по п. 25, отличающийся тем, что процесс вычисления набора значений коэффициента усиления звукового объекта включает вычисление средневзвешенного значения коэффициентов усиления виртуального источника из виртуальных источников в пределах области или объема звукового объекта.
27. Постоянный носитель данных по п. 26, отличающийся тем, что весовые коэффициенты для средневзвешенного значения зависят от положения звукового объекта, размера звукового объекта и каждого местоположения виртуального источника в пределах области или объема звукового объекта.
28. Постоянный носитель данных по п. 25, отличающийся тем, что программное обеспечение включает команды для приема данных воспроизводящей среды, включающих данные местоположения воспроизводящих громкоговорителей.
29. Постоянный носитель данных по п. 28, отличающийся тем, что программное обеспечение включает команды
для определения множества местоположений виртуального источника в соответствии с данными воспроизводящей среды и
для вычисления для каждого из местоположений виртуального источника значения коэффициента усиления виртуального источника для каждого из множества выходных каналов.
30. Постоянный носитель данных по п. 28, отличающийся тем, что, по меньшей мере некоторые из местоположений виртуального источника соответствуют местоположениям за пределами воспроизводящей среды.
31. Постоянный носитель данных по п. 28, отличающийся тем, что местоположения виртуального источника устанавливаются с равными интервалами вдоль осей х, у и z.
32. Постоянный носитель данных по п. 28, отличающийся тем, что местоположения виртуального источника устанавливаются с первым равным интервалом вдоль осей х и у и вторым равным интервалом вдоль оси z.
33. Постоянный носитель данных по п. 31 или п. 32, отличающийся тем, что процесс вычисления набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов включает независимые вычисления значений коэффициента усиления виртуального источника от виртуальных источников вдоль осей х, у и z.
34. Устройство для представления звуковых объектов, содержащее:
систему интерфейсов и
логическую систему, приспособленную для:
приема от системы интерфейсов данных звуковоспроизведения, включающих один или несколько звуковых объектов, при этом звуковые объекты включают звуковые сигналы и связанные метаданные, причем метаданные включают, по меньшей мере, данные положения звукового объекта и данные размера звукового объекта;
вычисления для звукового объекта из одного или нескольких звуковых объектов значений коэффициента усиления виртуального источника от виртуальных источников при соответствующих местоположениях виртуального источника в пределах области или объема звукового объекта, определенного данными положения звукового объекта и данными размера звукового объекта; и
вычисления набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов на основании по меньшей мере частично вычисленных значений коэффициента усиления виртуального источника, отличающееся тем, что каждый выходной канал соответствует по меньшей мере одному воспроизводящему громкоговорителю воспроизводящей среды и каждое из указанных местоположений виртуального источника соответствует соответствующему статическому местоположению в пределах воспроизводящей среды.
35. Устройство по п. 34, отличающееся тем, что процесс вычисления набора значений коэффициента усиления звукового объекта включает вычисление средневзвешенного значения коэффициентов усиления виртуального источника из виртуальных источников в пределах области или объема звукового объекта.
36. Устройство по п. 35, отличающееся тем, что весовые коэффициенты для средневзвешенного значения зависят от положения звукового объекта, размера звукового объекта и каждого местоположения виртуального источника в пределах области или объема звукового объекта.
37. Устройство по п. 34, отличающееся тем, что логическая система приспособлена для приема из системы интерфейсов данных воспроизводящей среды, включающих данные местоположения воспроизводящих громкоговорителей.
38. Устройство по п. 37, отличающееся тем, что логическая система приспособлена для
определения множества местоположений виртуального источника в соответствии с данными воспроизводящей среды и
вычисления для каждого из местоположений виртуального источника значения коэффициента усиления виртуального источника для каждого из множества выходных каналов.
39. Устройство по п. 38, отличающееся тем, что, по меньшей мере, некоторые из местоположений виртуального источника соответствуют местоположениям за пределами воспроизводящей среды.
40. Устройство по п. 38, отличающееся тем, что местоположения виртуального источника установлены с равными интервалами вдоль осей х, у и z.
41. Устройство по п. 38, отличающееся тем, что местоположения виртуального источника установлены с первым равным интервалом вдоль осей х и у и вторым равным интервалом вдоль оси z.
42. Устройство по п. 40 или п. 41, отличающееся тем, что процесс вычисления набора значений коэффициентов усиления звукового объекта для каждого из множества выходных каналов включает независимые вычисления значений коэффициента усиления виртуального источника от виртуальных источников вдоль осей х, у и z.
43. Устройство по п. 34, отличающееся тем, что дополнительно содержит запоминающее устройство, причем система интерфейсов содержит интерфейс между логической системой и запоминающим устройством.
44. Устройство по п. 43, отличающееся тем, что система интерфейсов содержит сетевой интерфейс.
45. Устройство по п. 43, отличающееся тем, что дополнительно содержит пользовательский интерфейс, причем логическая система приспособлена для приема пользовательского ввода данных посредством пользовательского интерфейса, включая входные данные размера звукового объекта, но не ограничиваясь ими.
46. Устройство по п. 45, отличающееся тем, что логическая система приспособлена для масштабирования входных данных размера звукового объекта.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201330461 | 2013-03-28 | ||
| ESP201330461 | 2013-03-28 | ||
| US201361833581P | 2013-06-11 | 2013-06-11 | |
| US61/833,581 | 2013-06-11 | ||
| PCT/US2014/022793 WO2014159272A1 (en) | 2013-03-28 | 2014-03-10 | Rendering of audio objects with apparent size to arbitrary loudspeaker layouts |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017130902A Division RU2742195C2 (ru) | 2013-03-28 | 2017-09-01 | Представление данных звуковых объектов с кажущимся размером в произвольные схемы расположения громкоговорителей |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2015133695A RU2015133695A (ru) | 2017-02-20 |
| RU2630955C2 true RU2630955C2 (ru) | 2017-09-14 |
| RU2630955C9 RU2630955C9 (ru) | 2017-09-29 |
Family
ID=51625134
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2015133695A RU2630955C9 (ru) | 2013-03-28 | 2014-03-10 | Представление данных звуковых объектов с кажущимся размером в произвольные схемы расположения громкоговорителей |
| RU2017130902A RU2742195C2 (ru) | 2013-03-28 | 2017-09-01 | Представление данных звуковых объектов с кажущимся размером в произвольные схемы расположения громкоговорителей |
| RU2021100772A RU2764227C1 (ru) | 2013-03-28 | 2021-01-15 | Способ и устройство для представления входного звука |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017130902A RU2742195C2 (ru) | 2013-03-28 | 2017-09-01 | Представление данных звуковых объектов с кажущимся размером в произвольные схемы расположения громкоговорителей |
| RU2021100772A RU2764227C1 (ru) | 2013-03-28 | 2021-01-15 | Способ и устройство для представления входного звука |
Country Status (18)
| Country | Link |
|---|---|
| US (7) | US9674630B2 (ru) |
| EP (3) | EP3282716B1 (ru) |
| JP (5) | JP5897778B1 (ru) |
| KR (4) | KR102332632B1 (ru) |
| CN (4) | CN105075292B (ru) |
| AU (6) | AU2014241011B2 (ru) |
| BR (4) | BR122022005121B1 (ru) |
| CA (1) | CA2898885C (ru) |
| ES (1) | ES2650541T3 (ru) |
| HK (5) | HK1215339A1 (ru) |
| IL (6) | IL290671B2 (ru) |
| IN (1) | IN2015MN01790A (ru) |
| MX (1) | MX342792B (ru) |
| MY (1) | MY172606A (ru) |
| RU (3) | RU2630955C9 (ru) |
| SG (1) | SG11201505429RA (ru) |
| UA (1) | UA113344C2 (ru) |
| WO (1) | WO2014159272A1 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11838742B2 (en) | 2017-12-12 | 2023-12-05 | Sony Group Corporation | Signal processing device and method, and program |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2893729C (en) | 2012-12-04 | 2019-03-12 | Samsung Electronics Co., Ltd. | Audio providing apparatus and audio providing method |
| US20170086005A1 (en) * | 2014-03-25 | 2017-03-23 | Intellectual Discovery Co., Ltd. | System and method for processing audio signal |
| US10349197B2 (en) * | 2014-08-13 | 2019-07-09 | Samsung Electronics Co., Ltd. | Method and device for generating and playing back audio signal |
| ES2686275T3 (es) * | 2015-04-28 | 2018-10-17 | L-Acoustics Uk Limited | Un aparato para reproducir una señal de audio multicanal y un método para producir una señal de audio multicanal |
| WO2016210174A1 (en) * | 2015-06-25 | 2016-12-29 | Dolby Laboratories Licensing Corporation | Audio panning transformation system and method |
| US9847081B2 (en) | 2015-08-18 | 2017-12-19 | Bose Corporation | Audio systems for providing isolated listening zones |
| US9854376B2 (en) * | 2015-07-06 | 2017-12-26 | Bose Corporation | Simulating acoustic output at a location corresponding to source position data |
| US9913065B2 (en) * | 2015-07-06 | 2018-03-06 | Bose Corporation | Simulating acoustic output at a location corresponding to source position data |
| EP3706444B1 (en) * | 2015-11-20 | 2023-12-27 | Dolby Laboratories Licensing Corporation | Improved rendering of immersive audio content |
| EP3174316B1 (en) * | 2015-11-27 | 2020-02-26 | Nokia Technologies Oy | Intelligent audio rendering |
| WO2017098772A1 (ja) * | 2015-12-11 | 2017-06-15 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US10531216B2 (en) | 2016-01-19 | 2020-01-07 | Sphereo Sound Ltd. | Synthesis of signals for immersive audio playback |
| US9949052B2 (en) | 2016-03-22 | 2018-04-17 | Dolby Laboratories Licensing Corporation | Adaptive panner of audio objects |
| WO2017208820A1 (ja) | 2016-05-30 | 2017-12-07 | ソニー株式会社 | 映像音響処理装置および方法、並びにプログラム |
| CN109479178B (zh) | 2016-07-20 | 2021-02-26 | 杜比实验室特许公司 | 基于呈现器意识感知差异的音频对象聚集 |
| EP3293987B1 (en) * | 2016-09-13 | 2020-10-21 | Nokia Technologies Oy | Audio processing |
| US10356545B2 (en) * | 2016-09-23 | 2019-07-16 | Gaudio Lab, Inc. | Method and device for processing audio signal by using metadata |
| US10297162B2 (en) * | 2016-12-28 | 2019-05-21 | Honeywell International Inc. | System and method to activate avionics functions remotely |
| CN113923583A (zh) | 2017-01-27 | 2022-01-11 | 奥罗技术公司 | 用于平移音频对象的处理方法和系统 |
| WO2018202642A1 (en) | 2017-05-04 | 2018-11-08 | Dolby International Ab | Rendering audio objects having apparent size |
| CN110603821A (zh) | 2017-05-04 | 2019-12-20 | 杜比国际公司 | 渲染具有表观大小的音频对象 |
| US9820073B1 (en) | 2017-05-10 | 2017-11-14 | Tls Corp. | Extracting a common signal from multiple audio signals |
| CN111316671B (zh) * | 2017-11-14 | 2021-10-22 | 索尼公司 | 信号处理设备和方法以及程序 |
| JP7146404B2 (ja) * | 2018-01-31 | 2022-10-04 | キヤノン株式会社 | 信号処理装置、信号処理方法、及びプログラム |
| WO2019189399A1 (ja) | 2018-03-30 | 2019-10-03 | 住友建機株式会社 | ショベル |
| US11617050B2 (en) | 2018-04-04 | 2023-03-28 | Bose Corporation | Systems and methods for sound source virtualization |
| WO2020016685A1 (en) | 2018-07-18 | 2020-01-23 | Sphereo Sound Ltd. | Detection of audio panning and synthesis of 3d audio from limited-channel surround sound |
| EP3846501A4 (en) * | 2018-08-30 | 2021-10-06 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
| US11503422B2 (en) * | 2019-01-22 | 2022-11-15 | Harman International Industries, Incorporated | Mapping virtual sound sources to physical speakers in extended reality applications |
| US11545166B2 (en) * | 2019-07-02 | 2023-01-03 | Dolby International Ab | Using metadata to aggregate signal processing operations |
| WO2021021750A1 (en) | 2019-07-30 | 2021-02-04 | Dolby Laboratories Licensing Corporation | Dynamics processing across devices with differing playback capabilities |
| GB2587371A (en) | 2019-09-25 | 2021-03-31 | Nokia Technologies Oy | Presentation of premixed content in 6 degree of freedom scenes |
| US11483670B2 (en) * | 2019-10-30 | 2022-10-25 | Sonos, Inc. | Systems and methods of providing spatial audio associated with a simulated environment |
| WO2021098957A1 (en) * | 2019-11-20 | 2021-05-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio object renderer, methods for determining loudspeaker gains and computer program using panned object loudspeaker gains and spread object loudspeaker gains |
| US12094476B2 (en) | 2019-12-02 | 2024-09-17 | Dolby Laboratories Licensing Corporation | Systems, methods and apparatus for conversion from channel-based audio to object-based audio |
| JP2023506240A (ja) * | 2019-12-12 | 2023-02-15 | リキッド・オキシゲン・（エルオーイクス）・ベー・フェー | 仮想音源と関連付けられた音声信号を発生させること |
| EP4078999A1 (en) | 2019-12-19 | 2022-10-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Audio rendering of audio sources |
| KR20210142382A (ko) * | 2020-05-18 | 2021-11-25 | 에스케이하이닉스 주식회사 | 그리드 게인 계산 회로, 이미지 센싱 장치 및 그 동작방법 |
| CN112135226B (zh) * | 2020-08-11 | 2022-06-10 | 广东声音科技有限公司 | Y轴音频再生方法以及y轴音频再生系统 |
| US11982738B2 (en) | 2020-09-16 | 2024-05-14 | Bose Corporation | Methods and systems for determining position and orientation of a device using acoustic beacons |
| US11700497B2 (en) | 2020-10-30 | 2023-07-11 | Bose Corporation | Systems and methods for providing augmented audio |
| US11696084B2 (en) | 2020-10-30 | 2023-07-04 | Bose Corporation | Systems and methods for providing augmented audio |
| US11750745B2 (en) | 2020-11-18 | 2023-09-05 | Kelly Properties, Llc | Processing and distribution of audio signals in a multi-party conferencing environment |
| GB2607885B (en) * | 2021-06-11 | 2023-12-06 | Sky Cp Ltd | Audio configuration |
| CN113596673B (zh) * | 2021-07-14 | 2024-07-30 | 杭州泽沃电子科技有限公司 | Ar眼镜扬声器的定向发声方法、装置和发声设备 |
| GB2613558A (en) * | 2021-12-03 | 2023-06-14 | Nokia Technologies Oy | Adjustment of reverberator based on source directivity |
| CN114173256B (zh) * | 2021-12-10 | 2024-04-19 | 中国电影科学技术研究所 | 一种还原声场空间及姿态追踪的方法、装置和设备 |
| CN115103293B (zh) * | 2022-06-16 | 2023-03-21 | 华南理工大学 | 一种面向目标的声重放方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060206221A1 (en) * | 2005-02-22 | 2006-09-14 | Metcalf Randall B | System and method for formatting multimode sound content and metadata |
| EP2056627A1 (en) * | 2007-10-30 | 2009-05-06 | SonicEmotion AG | Method and device for improved sound field rendering accuracy within a preferred listening area |
| RU2376654C2 (ru) * | 2005-02-14 | 2009-12-20 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Параметрическое совместное кодирование аудиоисточников |
| US20100092014A1 (en) * | 2006-10-11 | 2010-04-15 | Fraunhofer-Geselischhaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a number of loudspeaker signals for a loudspeaker array which defines a reproduction space |
| RU2010150046A (ru) * | 2008-07-17 | 2012-06-20 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен (DE) | Устройство и способ генерирования выходных звуковых сигналов посредством использования объектно-ориентированных метаданных |
| WO2013006330A2 (en) * | 2011-07-01 | 2013-01-10 | Dolby Laboratories Licensing Corporation | System and tools for enhanced 3d audio authoring and rendering |
| WO2013006338A2 (en) * | 2011-07-01 | 2013-01-10 | Dolby Laboratories Licensing Corporation | System and method for adaptive audio signal generation, coding and rendering |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2343347B (en) * | 1998-06-20 | 2002-12-31 | Central Research Lab Ltd | A method of synthesising an audio signal |
| CA2311817A1 (en) * | 1998-09-24 | 2000-03-30 | Fourie, Inc. | Apparatus and method for presenting sound and image |
| US8363865B1 (en) | 2004-05-24 | 2013-01-29 | Heather Bottum | Multiple channel sound system using multi-speaker arrays |
| DE102005008366A1 (de) * | 2005-02-23 | 2006-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Ansteuern einer Wellenfeldsynthese-Renderer-Einrichtung mit Audioobjekten |
| JP4973919B2 (ja) * | 2006-10-23 | 2012-07-11 | ソニー株式会社 | 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム |
| RU2443075C2 (ru) * | 2007-10-09 | 2012-02-20 | Конинклейке Филипс Электроникс Н.В. | Способ и устройство для генерации бинаурального аудиосигнала |
| RU2439717C1 (ru) * | 2008-01-01 | 2012-01-10 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Способ и устройство для обработки звукового сигнала |
| JP5326910B2 (ja) * | 2009-01-20 | 2013-10-30 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| EP2486567A1 (en) * | 2009-10-09 | 2012-08-15 | Dolby Laboratories Licensing Corporation | Automatic generation of metadata for audio dominance effects |
| TWI443646B (zh) * | 2010-02-18 | 2014-07-01 | Dolby Lab Licensing Corp | 音訊解碼器及使用有效降混之解碼方法 |
| CN108989721B (zh) * | 2010-03-23 | 2021-04-16 | 杜比实验室特许公司 | 用于局域化感知音频的技术 |
| JP5655378B2 (ja) * | 2010-06-01 | 2015-01-21 | ヤマハ株式会社 | 音像制御装置、およびプログラム |
| US20110317841A1 (en) * | 2010-06-25 | 2011-12-29 | Lloyd Trammell | Method and device for optimizing audio quality |
| KR101747299B1 (ko) * | 2010-09-10 | 2017-06-15 | 삼성전자주식회사 | 데이터 객체 디스플레이 방법 및 장치와 컴퓨터로 읽을 수 있는 저장 매체 |
| US20140214431A1 (en) * | 2011-07-01 | 2014-07-31 | Dolby Laboratories Licensing Corporation | Sample rate scalable lossless audio coding |
| UA107304C2 (uk) * | 2011-07-01 | 2014-12-10 | Система та інструментальні засоби для удосконаленої авторської розробки та представлення тривимірних аудіоданих | |
| CA2893729C (en) * | 2012-12-04 | 2019-03-12 | Samsung Electronics Co., Ltd. | Audio providing apparatus and audio providing method |
| US9338420B2 (en) * | 2013-02-15 | 2016-05-10 | Qualcomm Incorporated | Video analysis assisted generation of multi-channel audio data |
| RS1332U (en) | 2013-04-24 | 2013-08-30 | Tomislav Stanojević | FULL SOUND ENVIRONMENT SYSTEM WITH FLOOR SPEAKERS |
-
2014
- 2014-03-10 KR KR1020207027124A patent/KR102332632B1/ko active IP Right Grant
- 2014-03-10 AU AU2014241011A patent/AU2014241011B2/en active Active
- 2014-03-10 IN IN1790MUN2015 patent/IN2015MN01790A/en unknown
- 2014-03-10 IL IL290671A patent/IL290671B2/en unknown
- 2014-03-10 MX MX2015010786A patent/MX342792B/es active IP Right Grant
- 2014-03-10 BR BR122022005121-9A patent/BR122022005121B1/pt active IP Right Grant
- 2014-03-10 KR KR1020167009972A patent/KR102160406B1/ko active IP Right Grant
- 2014-03-10 CA CA2898885A patent/CA2898885C/en active Active
- 2014-03-10 EP EP17189305.0A patent/EP3282716B1/en active Active
- 2014-03-10 EP EP19209073.6A patent/EP3668121A1/en active Pending
- 2014-03-10 ES ES14714882.9T patent/ES2650541T3/es active Active
- 2014-03-10 US US14/770,709 patent/US9674630B2/en active Active
- 2014-03-10 IL IL309028A patent/IL309028A/en unknown
- 2014-03-10 SG SG11201505429RA patent/SG11201505429RA/en unknown
- 2014-03-10 BR BR112015018993-8A patent/BR112015018993B1/pt active IP Right Grant
- 2014-03-10 KR KR1020217038313A patent/KR102586356B1/ko active IP Right Grant
- 2014-03-10 BR BR122017004541-5A patent/BR122017004541B1/pt active IP Right Grant
- 2014-03-10 MY MYPI2015702477A patent/MY172606A/en unknown
- 2014-03-10 KR KR1020157022091A patent/KR101619760B1/ko active IP Right Grant
- 2014-03-10 CN CN201480009029.4A patent/CN105075292B/zh active Active
- 2014-03-10 BR BR122022005104-9A patent/BR122022005104B1/pt active IP Right Grant
- 2014-03-10 EP EP14714882.9A patent/EP2926571B1/en active Active
- 2014-03-10 CN CN201710507397.7A patent/CN107465990B/zh active Active
- 2014-03-10 CN CN201710508250.XA patent/CN107426666B/zh active Active
- 2014-03-10 JP JP2015557240A patent/JP5897778B1/ja active Active
- 2014-03-10 CN CN201710507398.1A patent/CN107396278B/zh active Active
- 2014-03-10 RU RU2015133695A patent/RU2630955C9/ru active
- 2014-03-10 WO PCT/US2014/022793 patent/WO2014159272A1/en active Application Filing
- 2014-10-03 UA UAA201508054A patent/UA113344C2/uk unknown
-
2015
- 2015-07-05 IL IL239782A patent/IL239782A/en active IP Right Grant
-
2016
- 2016-01-05 AU AU2016200037A patent/AU2016200037B2/en active Active
- 2016-03-02 JP JP2016040424A patent/JP6250084B2/ja active Active
- 2016-03-09 HK HK16102688.5A patent/HK1215339A1/zh unknown
- 2016-03-09 HK HK18108969.0A patent/HK1249688A1/zh unknown
- 2016-05-29 IL IL245897A patent/IL245897B/en active IP Right Grant
-
2017
- 2017-05-03 US US15/585,935 patent/US9992600B2/en active Active
- 2017-09-01 RU RU2017130902A patent/RU2742195C2/ru active
- 2017-11-21 JP JP2017223243A patent/JP6607904B2/ja active Active
-
2018
- 2018-02-12 US US15/894,626 patent/US10652684B2/en active Active
- 2018-04-12 HK HK18104778.0A patent/HK1245557B/zh unknown
- 2018-04-26 AU AU2018202867A patent/AU2018202867B2/en active Active
- 2018-05-04 HK HK18105763.4A patent/HK1246552B/zh unknown
- 2018-05-07 HK HK18105823.2A patent/HK1246553A1/zh unknown
-
2019
- 2019-04-17 IL IL266096A patent/IL266096B/en unknown
- 2019-10-21 JP JP2019191956A patent/JP6877510B2/ja active Active
-
2020
- 2020-01-20 AU AU2020200378A patent/AU2020200378B2/en active Active
- 2020-05-07 US US16/868,861 patent/US11019447B2/en active Active
-
2021
- 2021-01-15 RU RU2021100772A patent/RU2764227C1/ru active
- 2021-04-27 JP JP2021074974A patent/JP7280916B2/ja active Active
- 2021-05-24 US US17/329,094 patent/US11564051B2/en active Active
- 2021-10-07 IL IL287080A patent/IL287080B/en unknown
- 2021-11-02 AU AU2021261862A patent/AU2021261862B2/en active Active
-
2023
- 2023-01-20 US US18/099,658 patent/US11979733B2/en active Active
-
2024
- 2024-02-01 AU AU2024200627A patent/AU2024200627A1/en active Pending
- 2024-04-01 US US18/623,762 patent/US20240334145A1/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2376654C2 (ru) * | 2005-02-14 | 2009-12-20 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Параметрическое совместное кодирование аудиоисточников |
| US20060206221A1 (en) * | 2005-02-22 | 2006-09-14 | Metcalf Randall B | System and method for formatting multimode sound content and metadata |
| US20100092014A1 (en) * | 2006-10-11 | 2010-04-15 | Fraunhofer-Geselischhaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a number of loudspeaker signals for a loudspeaker array which defines a reproduction space |
| EP2056627A1 (en) * | 2007-10-30 | 2009-05-06 | SonicEmotion AG | Method and device for improved sound field rendering accuracy within a preferred listening area |
| RU2010150046A (ru) * | 2008-07-17 | 2012-06-20 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен (DE) | Устройство и способ генерирования выходных звуковых сигналов посредством использования объектно-ориентированных метаданных |
| WO2013006330A2 (en) * | 2011-07-01 | 2013-01-10 | Dolby Laboratories Licensing Corporation | System and tools for enhanced 3d audio authoring and rendering |
| WO2013006338A2 (en) * | 2011-07-01 | 2013-01-10 | Dolby Laboratories Licensing Corporation | System and method for adaptive audio signal generation, coding and rendering |
Non-Patent Citations (1)
| Title |
|---|
| V. PULKKI, "Uniform spreading of amplitude panned virtual sources", Proceedings of the 1999 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, New Yofk, октябрь 1999. * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11838742B2 (en) | 2017-12-12 | 2023-12-05 | Sony Group Corporation | Signal processing device and method, and program |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2764227C1 (ru) | Способ и устройство для представления входного звука | |
| JP7571192B2 (ja) | 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング | |
| KR102712214B1 (ko) | 임의적 라우드스피커 배치들로의 겉보기 크기를 갖는 오디오 오브젝트들의 렌더링 | |
| KR20240146098A (ko) | 임의적 라우드스피커 배치들로의 겉보기 크기를 갖는 오디오 오브젝트들의 렌더링 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TH4A | Reissue of patent specification |