RU2667630C2 - Устройство аудиообработки и способ для этого - Google Patents

Устройство аудиообработки и способ для этого Download PDF

Info

Publication number
RU2667630C2
RU2667630C2 RU2015153540A RU2015153540A RU2667630C2 RU 2667630 C2 RU2667630 C2 RU 2667630C2 RU 2015153540 A RU2015153540 A RU 2015153540A RU 2015153540 A RU2015153540 A RU 2015153540A RU 2667630 C2 RU2667630 C2 RU 2667630C2
Authority
RU
Russia
Prior art keywords
audio
playback
modes
reproduction
data
Prior art date
Application number
RU2015153540A
Other languages
English (en)
Other versions
RU2015153540A (ru
Inventor
БРЮЭЙН Вернер Паулус Йосефус ДЕ
Аки Сакари ХЯРМЯ
Арнольдус Вернер Йоханнес ОМЕН
Original Assignee
Конинклейке Филипс Н.В.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Конинклейке Филипс Н.В. filed Critical Конинклейке Филипс Н.В.
Publication of RU2015153540A publication Critical patent/RU2015153540A/ru
Application granted granted Critical
Publication of RU2667630C2 publication Critical patent/RU2667630C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/03—Connection circuits to selectively connect loudspeakers or headphones to amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

Изобретение относится к средствам для аудиообработки. Технический результат заключается в улучшенной адаптации к различным конфигурациям громкоговорителей. Принимают аудиоданные и конфигурационные данные воспроизведения. Аудиоданные содержат аудиоданные для множества аудиокомпонентов, а конфигурационные данные воспроизведения содержат позиционные данные аудиопреобразователей для набора аудиопреобразователей. Формируют сигналы аудиопреобразователей для набора аудиопреобразователей из аудиоданных, причем этап формирования содержит этап, на котором воспроизводят аудиокомпоненты в соответствии с режимами воспроизведения. Выбирают режимы воспроизведения для модуля воспроизведения в ответ на позиционные данные аудиопреобразователей. Используют различные режимы воспроизведения для различных поднаборов набора аудиопреобразователей и независимо выбирают режимы воспроизведения для каждого из различных поднаборов набора аудиопреобразователей. Выбирают режим воспроизведения для первого аудиопреобразователя из набора преобразователей в ответ на позицию первого аудиопреобразователя относительно предварительно определенной позиции для аудиопреобразователя. 2 н. и 12 з.п. ф-лы, 8 ил.

Description

Область техники, к которой относится изобретение
Изобретение относится к устройству аудиообработки и к способу для этого, и, в частности, но не только, к воспроизведению пространственного аудио, содержащего различные типы аудиокомпонентов.
Уровень техники
В последние десятилетия, разнообразие и гибкость аудиоприложений очень интенсивно растет, например, с существенным варьированием приложений для воспроизведения аудио. Вдобавок ко всему, компоновки для воспроизведения аудио используются в разнообразных акустических окружениях и для множества различных вариантов применения.
Традиционно, системы пространственного воспроизведения звука всегда разрабатываются для одной или более указанных конфигураций громкоговорителей. Как результат, пространственное восприятие зависит от того, насколько близко используемая фактическая конфигурация громкоговорителей совпадает с заданной номинальной конфигурацией, и высококачественное пространственное восприятие типично достигается только для системы, которая фактически скомпонована корректно, т.е. согласно указанной конфигурации громкоговорителей.
Тем не менее, требование использовать конкретные конфигурации громкоговорителей типично с относительно высоким числом громкоговорителей является проблематичным и невыгодным. Фактически, значительное неудобство, воспринимаемое потребителями при развертывании, например, систем объемного звучания домашнего кинотеатра, заключается в потребности в позиционировании относительно большого числа громкоговорителей в конкретных местоположениях. Типично, практические компоновки громкоговорителей с объемным звуком отклоняются от идеальной компоновки вследствие признания пользователями непрактичным позиционировать громкоговорители в оптимальных местоположениях. Соответственно, восприятие и, в частности, пространственное восприятие, которое предоставляется посредством таких компоновок, является субоптимальным.
Следовательно, в последние годы появляется ярко выраженная тенденция к предъявлению потребителями менее строгих требований к местоположениям своих громкоговорителей. Тем более, их главное требование заключается в том, что компоновка громкоговорителей должна соответствовать их домашнему окружению, при этом одновременно они, конечно, ожидают то, что система по-прежнему должна предоставлять высококачественное звуковое восприятие. Эти конфликтные требования становятся более заметными по мере того, как возрастает число громкоговорителей. Кроме того, проблемы становятся более релевантными вследствие современной тенденции к предоставлению воспроизведения полного трехмерного звука, при котором звук поступает к слушателю из нескольких направлений.
Разрабатываются форматы кодирования аудио для того, чтобы предоставлять все более мощные, вариативные и гибкие услуги передачи аудио, и, в частности, разрабатываются форматы кодирования аудио, поддерживающие услуги передачи пространственного аудио.
Известные технологии кодирования аудио, такие как DTS и Dolby Digital, формируют кодированный многоканальный аудиосигнал, который представляет пространственное изображение в качестве числа каналов, размещенных вокруг слушателя в фиксированных позициях. Для компоновки громкоговорителей, которая отличается от компоновки, которая соответствует многоканальному сигналу, пространственное изображение является субоптимальным. Кроме того, системы канального кодирования аудио типично неспособны справляться с другим числом громкоговорителей.
(ISO/IEC) MPEG-2 предоставляет инструментальное средство многоканального кодирования аудио, в котором формат потока битов содержит многоканальное (2-канальное и 5-канальное) сведение аудиосигнала. При декодировании потока битов с помощью (ISO/IEC) MPEG-1-декодера, воспроизводится 2-канальное обратно совместимое сведение. При декодировании потока битов с помощью MPEG-2-декодера, декодируются три вспомогательных канала передачи данных, которые при комбинировании (дематрицировании) со стереоканалами приводят к 5-канальному сведению аудиосигнала.
Стандарт объемного звучания MPEG (ISO/IEC-MPEG-D) предоставляет инструментальное средство многоканального кодирования аудио, которое обеспечивает возможность расширения существующих моно- или стереокодеров на многоканальные аудиоприложения. Фиг. 1 иллюстрирует пример элементов системы по стандарту объемного звучания MPEG. С использованием пространственных параметров, полученных посредством анализа исходного многоканального ввода, декодер по стандарту объемного звучания MPEG может воссоздавать пространственное изображение посредством управляемого повышающего сведения моно- или стереосигнала, чтобы получать многоканальный выходной сигнал.
Поскольку пространственное изображение многоканального входного сигнала параметризовано, стандарт объемного звучания MPEG предоставляет возможность декодирования идентичного многоканального потока битов посредством устройств воспроизведения, которые не используют многоканальную компоновку громкоговорителей. Пример представляет собой воспроизведение с виртуальным объемным звучанием в головных наушниках, которое упоминается в качестве процесса бинаурального декодирования по стандарту объемного звучания MPEG. В этом режиме, реалистичное ощущение объемного звучания может предоставляться с использованием обычных головных наушников. Другой пример представляет собой отсечение многоканальных выводов высшего порядка, например, 7.1 каналов, до компоновок низшего порядка, например, до 5.1каналов.
Как упомянуто, вариативность и гибкость в конфигурациях воспроизведения, используемых для воспроизведения пространственного звука, в последние годы значительно возросла, при этом все большее число форматов воспроизведения становятся доступными типичному потребителю. Это требует гибкого представления аудио. Важные шаги предприняты с введением кодека по стандарту объемного звучания MPEG. Тем не менее, аудио по-прежнему формируется и передается для конкретной компоновки громкоговорителей, например, для компоновки громкоговорителей по стандарту ITU 5.1. Воспроизведение в различных компоновках и в нестандартных (т.е. гибких или определяемых пользователем) компоновках громкоговорителей не указывается. Фактически, желательно делать кодирование и представление аудио более независимым от конкретных предварительно определенных и номинальных компоновок громкоговорителей. Более предпочтительно, если гибкая адаптация к широкому спектру различных компоновок громкоговорителей может выполняться на стороне декодера/ модуля воспроизведения.
Чтобы обеспечивать более гибкое представление аудио, MPEG стандартизирует формат, известный как "пространственное кодирование аудиообъектов" (ISO/IEC MPEG-D SAOC). В отличие от систем кодирования многоканального аудио, таких как DTS, Dolby Digital и стандарт объемного звучания MPEG, SAOC предоставляет эффективное кодирование отдельных аудиообъектов, а не аудиоканалов. С учетом того, что в стандарте объемного звучания MPEG, каждый канал громкоговорителя может считаться исходящим из различного сведения звуковых объектов, SAOC предоставляет возможность интерактивной обработки местоположения отдельных звуковых объектов в многоканальном сведении, как проиллюстрировано на фиг. 2.
Аналогично стандарту объемного звучания MPEG, SAOC также создает моно- или понижающее стереомикширование. Помимо этого, параметры объекта вычисляются и включаются. На стороне декодера, пользователь может обрабатывать эти параметры, чтобы управлять различными признаками отдельных объектов, такими как позиция, уровень, частотная коррекция, либо даже применять такие эффекты, как реверберация. Фиг. 3 иллюстрирует интерактивный интерфейс, который позволяет пользователю управлять отдельными объектами, содержащимися в SAOC-потоке битов. Посредством матрицы воспроизведения отдельные звуковые объекты преобразуются в каналы громкоговорителя.
SAOC обеспечивает более гибкий подход и, в частности, обеспечивает большую адаптируемость на основе воспроизведения посредством передачи аудиообъектов, а не только каналов воспроизведения. Это позволяет стороне декодера размещать аудиообъекты в произвольных позициях в пространстве при условии, что пространство надлежащим образом охватывается громкоговорителями. Таким образом, отсутствует взаимосвязь между передаваемым аудио и компоновкой для воспроизведения или рендеринга, и как следствие, могут использоваться произвольные компоновки громкоговорителей. Это является преимущественным, например, для компоновок с системой домашнего кинотеатра в типичной гостиной, в которых громкоговорители фактически никогда не располагаются в намеченных позициях. В SAOC, то, где объекты размещены в звуковой сцене, определяется на стороне декодера (например, посредством интерфейса, как проиллюстрировано на фиг. 3), что зачастую является нежелательным с художественной точки зрения. SAOC-стандарт предоставляет способы передавать матрицу воспроизведения по умолчанию в потоке битов, исключая ответственность декодера. Тем не менее, предоставленные способы основываются либо на фиксированных компоновках для воспроизведения, либо на неуказанном синтаксисе. Таким образом, SAOC не предоставляет нормативное средство для того, чтобы полностью передавать аудиосцену независимо от компоновки громкоговорителей. Кроме того, SAOC не приспособлено оптимально к достоверному воспроизведению компонентов рассеянного сигнала. Хотя есть возможность включать так называемый многоканальный фоновый объект (MBO) для того, чтобы захватывать рассеянный звук, этот объект привязан к одной конкретной конфигурации громкоговорителей.
Другие технические требования для аудиоформата для трехмерного аудио разработаны компанией DTS Inc. (Digital Theater Systems). DTS, Inc. разработала многомерное аудио (MDA™) - открытую объектно-ориентированную платформу создания и авторской разработки аудио, чтобы ускорять создание контента следующего поколения. MDA-платформа поддерживает как канальные, так и аудиообъекты и адаптируется к любому количеству и конфигурации динамиков. MDA-формат дает возможность передачи унаследованного многоканального понижающего микширования наряду с отдельными звуковыми объектами. Помимо этого, данные позиционирования объектов включены. Принцип формирования MDA-аудиопотока проиллюстрирован на фиг. 4.
В MDA-подходе, звуковые объекты принимаются отдельно в расширенном потоке, и они могут извлекаться из многоканального понижающего микширования. Результирующее многоканальное понижающее микширование подготовлено посредством воспроизведения вместе с доступными по отдельности объектами.
Объекты могут состоять из так называемых стемов. Эти стемы по существу представляют собой сгруппированные (микшированные с понижением) дорожки или объекты. Следовательно, объект может состоять из нескольких подобъектов, пакетированных в стем. В MDA, многоканальное опорное сведение может передаваться с выбором аудиообъектов. MDA передает трехмерные позиционные данные для каждого объекта. Объекты затем могут извлекаться с использованием трехмерных позиционных данных. Альтернативно, может передаваться обратная матрица сведения, описывающая взаимосвязь между объектами и опорным сведением.
Из MDA-описания, информация звуковых сцен, вероятно, передается посредством назначения угла и расстояния для каждого объекта, которые указывают то, где должен быть размещен объект относительно, например, прямого направления по умолчанию. Таким образом, позиционная информация передается для каждого объекта. Это является полезным для точечных источников, но не может описывать широкие источники (такие как, например, хор или аплодисменты) или рассеянные звуковые поля (к примеру, окружение). Когда все точечные источники извлекаются из опорного сведения, окружающее многоканальное сведение остается. Аналогично SAOC, остаток в MAA является фиксированным для конкретной компоновки динамиков.
Таким образом, SAOC- и MDA-подходы включают передачу отдельных аудиообъектов, которые могут по отдельности обрабатываться на стороне декодера. Различие между двумя подходами заключается в том, что SAOC предоставляет информацию относительно аудиообъектов посредством предоставления параметров, характеризующих объекты относительно понижающего микширования (т.е. таким образом, что аудиообъекты формируются из понижающего микширования на стороне декодера), тогда как MDA предоставляет аудиообъекты в качестве полных и отдельных аудиообъектов (т.е. которые могут формироваться независимо от понижающего микширования на стороне декодера). Для обоих подходов позиционные данные могут передаваться для аудиообъектов.
В настоящее время, в ISO/IEC MPEG подготавливается стандарт трехмерного MPEG-аудио для того, чтобы упрощать транспортировку и воспроизведение трехмерного аудио. Трехмерное MPEG-аудио имеет намерение становиться частью набора стандартов MPEG-H наряду с уровнем систем HEVC-кодирования видео и MMT (транспортировки MPEG-мультимедиа). Фиг. 5 иллюстрирует текущую блок-схему высокого уровня намеченной системы по стандарту трехмерного MPEG-аудио.
В дополнение к традиционному канальному формату, подход имеет намерение также поддерживать объектно-ориентированные и сцено-ориентированные форматы. Важный аспект системы состоит в том, что ее качество должно масштабироваться согласно прозрачности для увеличения скорости передачи битов, т.е. в том, что по мере того, как возрастает скорость передачи данных, ухудшение, вызываемое посредством кодирования и декодирования, должно продолжать уменьшаться до тех пор, пока оно не станет незначительным. Тем не менее, такое требование зачастую является проблематичным для технологий параметрического кодирования, которые использованы достаточно интенсивно в прошлом (т. е., HE-AAC v2, стандарт объемного звучания MPEG, SAOC, USAC). В частности, компенсация потерь информации для отдельных сигналов имеет тенденцию не быть полностью компенсированной посредством параметрических данных даже при очень высоких скоростях передачи битов. Фактически, качество ограничено посредством внутреннего качества параметрической модели.
Кроме того, трехмерное MPEG-аудио нацелено на предоставление результирующего потока битов, который является независимым от компоновки для воспроизведения. Предполагаемые возможности воспроизведения включают в себя гибкие компоновки громкоговорителей до 22.2 каналов, а также виртуальное объемное звучание по наушникам и близкорасположенным громкоговорителям.
US2013/101122 A1 раскрывает устройство формирования/воспроизведения объектно-ориентированного аудиоконтента, предоставляющее возможность воспроизведения объектно-ориентированного аудиоконтента с использованием, по меньшей мере, одной из WFS-схемы и схемы многоканального объемного звучания независимо от окружения воспроизведения аудитории.
WO2013/006338 A2 раскрывает систему, которая включает в себя новую схему размещения динамиков (конфигурацию каналов) и ассоциированный формат пространственного описания. WO2013/006338 A2 нацелено на предоставление адаптивной аудиосистемы и формата, который поддерживает несколько технологии воспроизведения. Аудиопотоки передаются наряду с метаданными, которые описывают намерение "микшера", включающее в себя требуемую позицию аудиообъекта(ов).
US2010/223552 A1 раскрывает систему, выполненную с возможностью захватывать и/или формировать звуковое событие, сформированное посредством множества источников звука. В частности, система может иметь такую конфигурацию, в которой захват, обработка и/или вывод для формирования звука звуковых объектов, ассоциированных с отдельными из источников звука, может управляться на отдельных основаниях.
В общих словах, большинство существующих систем воспроизведения звука обеспечивают только достаточно небольшой объем гибкости с точки зрения компоновки громкоговорителей. Поскольку почти каждая существующая система разработана исходя из определенных базовых допущений либо относительно общей конфигурации громкоговорителей (например, громкоговорителей, позиционированных более или менее равноотстояще вокруг слушателя, или громкоговорителей, размещаемых на линии перед слушателем или наушниками), либо относительно природы контента (например, состоящего из небольшого числа отдельных локализуемых источников или состоящего из сильнорассеянной звуковой сцены), каждая система позволяет доставлять оптимальное восприятие только для ограниченного диапазона конфигураций громкоговорителей, которые могут возникать в окружении воспроизведения (к примеру, у пользователя дома). Следовательно, требуется новый класс систем звукового воспроизведения, которые обеспечивают гибкую компоновку громкоговорителей. Эта гибкость может содержать различные элементы, включающие в себя не только позиции громкоговорителей, но также и число громкоговорителей и их отдельные характеристики (например, полосу пропускания, максимальную выходную мощность, направленность и т.д.).
Следовательно, должен быть преимущественным улучшенный подход к воспроизведению аудио, и, в частности, должен быть преимущественным подход, обеспечивающий повышенную гибкость, упрощенную реализацию и/или работу, дающий возможность более гибкого позиционирования громкоговорителей, улучшенной адаптации к различным конфигурациям громкоговорителей и/или повышенной производительности.
Раскрытие изобретения
Следовательно, изобретение предпочтительно нацелено на уменьшение, облегчение или устранение одного или более вышеуказанных недостатков по отдельности или в любой комбинации.
Согласно аспекту изобретения, предусмотрено устройство аудиообработки, содержащее: приемное устройство для приема аудиоданных и конфигурационных данных воспроизведения, причем аудиоданные содержат аудиоданные для множества аудиокомпонентов, а конфигурационные данные воспроизведения содержат позиционные данные аудиопреобразователей для набора аудиопреобразователей; модуль воспроизведения для формирования сигналов аудиопреобразователей для набора аудиопреобразователей из аудиоданных, причем модуль воспроизведения допускает воспроизведение аудиокомпонентов в соответствии с множеством режимов воспроизведения; контроллер воспроизведения, выполненный с возможностью выбирать режимы воспроизведения для модуля воспроизведения из множества режимов воспроизведения в ответ позиционные данные аудиопреобразователей; и при этом модуль воспроизведения выполнен с возможностью использовать различные режимы воспроизведения для различных поднаборов набора аудиопреобразователей и независимо выбирать режимы воспроизведения для каждого из различных поднаборов набора аудиопреобразователей.
Изобретение может предоставлять улучшенное воспроизведение во многих сценариях. Во многих практических вариантах применения, может достигаться существенно улучшенное пользовательское восприятие. Подход обеспечивает повышенную гибкость и свободу в позиционировании аудиопреобразователей (в частности, громкоговорителей), используемых для воспроизведения аудио. Например, подход позволяет обеспечивать улучшенную адаптацию и оптимизацию для аудиопреобразователей, не позиционированных оптимально (например, в соответствии с предварительно определенной конфигурационной компоновкой или конфигурационной компоновкой по умолчанию), при одновременном обеспечении возможности полного использования аудиопреобразователей, позиционированных практически оптимально.
Различные аудиокомпоненты, в частности, могут быть частью идентичной звуковой сцены или аудиосцены. Аудиокомпоненты могут представлять собой пространственные аудиокомпоненты, например, посредством наличия ассоциированной неявной информации позиции или явной информации позиции, например, предоставленной посредством ассоциированных метаданных. Режимы воспроизведения могут представлять собой режимы пространственного воспроизведения.
Сигналы аудиопреобразователей могут представлять собой сигналы возбуждения для аудиопреобразователей. Сигналы аудиопреобразователей дополнительно могут обрабатываться перед подачей в аудиопреобразователи, например, посредством фильтрации или усиления. Эквивалентно, аудиопреобразователи могут представлять собой активные электроакустические преобразователи, включающие в себя функциональность для усиления и/или фильтрации предоставленного сигнала возбуждения. Сигнал аудиопреобразователя может формироваться для каждого аудиопреобразователя из множества аудиопреобразователей.
Контроллер воспроизведения может быть выполнен с возможностью независимо выбирать режим воспроизведения для различных поднаборов в том смысле, что различные режимы воспроизведения могут выбираться для поднаборов. Выбор режима воспроизведения для одного поднабора может рассматривать характеристики, ассоциированные с аудиопреобразователями, принадлежащими другому поднабору.
Позиционные данные аудиопреобразователей могут предоставлять индикатор позиции для каждого аудиопреобразователя из набора аудиопреобразователей или могут предоставлять индикаторы позиции только для его поднабора.
Модуль воспроизведения может быть выполнен с возможностью формировать, для каждого аудиокомпонента, компоненты сигналов аудиопреобразователя для аудиопреобразователей и формировать сигнал аудиопреобразователя для каждого аудиопреобразователя посредством комбинирования компонентов сигналов аудиопреобразователя для множества аудиокомпонентов.
В соответствии с необязательным признаком изобретения, модуль воспроизведения выполнен с возможностью использовать различные режимы воспроизведения для аудиообъектов для первого аудиопреобразователя из набора электроакустических преобразователей, и контроллер воспроизведения выполнен с возможностью независимо выбирать режимы воспроизведения для каждого из аудиообъектов для первого аудиопреобразователя.
Это позволяет предоставлять повышенную производительность во многих вариантах осуществления и/или позволяет обеспечивать улучшенное пользовательское восприятие и/или повышенную свободу и гибкость. В частности, подход позволяет обеспечивать улучшенную адаптацию к конкретному сценарию воспроизведения, в котором рассматривается оптимизация как к конкретной конфигурации воспроизведения, так и к подготавливаемому посредством воспроизведения аудио. В частности, поднаборы аудиопреобразователей, для которых используется конкретный алгоритм воспроизведения, могут отличаться для различных аудиокомпонентов, так что они отражают различные характеристики аудиокомпонентов.
В некоторых вариантах осуществления, контроллер воспроизведения может быть выполнен с возможностью выбирать, для первого аудиокомпонента, выбранный режим воспроизведения из множества режимов воспроизведения в ответ на конфигурационные данные воспроизведения; и определять набор параметров воспроизведения для выбранного режима воспроизведения в ответ на данные аудиоописания.
В соответствии с необязательным признаком изобретения, по меньшей мере, два из множества аудиокомпонентов являются различными аудиотипами.
Это позволяет предоставлять повышенную производительность во многих вариантах осуществления и/или позволяет обеспечивать улучшенное пользовательское восприятие и/или повышенную свободу и гибкость. В частности, подход позволяет обеспечивать улучшенную адаптацию к конкретному сценарию воспроизведения, в котором выполняется оптимизация как к конкретной конфигурации воспроизведения, так и к подготавливаемому посредством воспроизведения аудио.
Режим воспроизведения, используемый для данного аудиопреобразователя, может отличаться для различных аудиокомпонентов. Различные режимы воспроизведения могут выбираться в зависимости от аудиотипа аудиокомпонентов. Данные аудиоописания могут указывать аудиотип одного или более из множества аудиокомпонентов.
В соответствии с необязательным признаком изобретения, множество аудиокомпонентов содержит, по меньшей мере, два аудиокомпонента различных аудиотипов из группы, состоящей из следующего: компоненты аудиоканалов, компоненты аудиообъектов и компоненты аудиосцен; и модуль воспроизведения выполнен с возможностью использовать различные режимы воспроизведения, по меньшей мере, для двух аудиокомпонентов.
Это позволяет предоставлять сверхпреимущественную производительность и, в частности, позволяет обеспечивать повышенную производительность для таких систем, как трехмерное MPEG-аудио. Контроллер воспроизведения может выбирать режим воспроизведения для данного поднабора аудиопреобразователей и первого аудиокомпонента в зависимости от того, представляет аудиокомпонент собой аудиоканал, аудиообъект или объект аудиосцены.
Аудиокомпоненты, в частности, могут представлять собой компоненты аудиоканалов, компоненты аудиообъектов и/или компоненты аудиосцен в соответствии с MPEG-стандартом ISO/IEC 23008-3 трехмерного MPEG-аудио.
В соответствии с необязательным признаком изобретения, приемное устройство выполнено с возможностью принимать данные индикаторов аудиотипов, указывающие аудиотип, по меньшей мере, первого аудиокомпонента, и контроллер воспроизведения выполнен с возможностью выбирать режим воспроизведения для первого аудиокомпонента в ответ на данные индикаторов аудиотипов.
Это позволяет предоставлять повышенную производительность и позволяет обеспечивать улучшенное пользовательское восприятие, улучшенную адаптацию и/или повышенную гибкость и свободу в позиционировании аудиопреобразователей.
В соответствии с необязательным признаком изобретения, контроллер воспроизведения выполнен с возможностью выбирать режим воспроизведения для первого аудиопреобразователя в ответ на позицию первого аудиопреобразователя относительно предварительно определенной позиции для аудиопреобразователя.
Это позволяет предоставлять повышенную производительность и позволяет обеспечивать улучшенное пользовательское восприятие, улучшенную адаптацию и/или повышенную гибкость и свободу в позиционировании аудиопреобразователей.
Позиция первого аудиопреобразователя и/или предварительно определенная позиция могут предоставляться в качестве абсолютной позиции или в качестве относительной позиции, например, относительно позиции прослушивания.
Предварительно определенная позиция может представлять собой номинальную позицию или позицию по умолчанию для аудиопреобразователя в конфигурации воспроизведения. Конфигурация воспроизведения может представлять собой конфигурацию воспроизведения, ассоциированную со стандартной компоновкой, такую как, например, номинальная 5.1-компоновка громкоговорителей с объемным звуком. Конфигурация воспроизведения в некоторых случаях может соответствовать конфигурации воспроизведения по умолчанию, ассоциированной с одним или более аудиокомпонентов, такой как, например, конфигурация воспроизведения, ассоциированная с аудиоканалами. В частности, предварительно определенная позиция может представлять собой позицию аудиопреобразователя по умолчанию, предполагаемую или заданную для аудиоканала.
В соответствии с необязательным признаком изобретения, контроллер воспроизведения выполнен с возможностью выбирать режим воспроизведения по умолчанию для первого аудиопреобразователя, если разность между позицией первого аудиопреобразователя и предварительно определенной позицией не превышает пороговое значение.
Это позволяет упрощать работу и во многих вариантах осуществления и сценариях позволяет обеспечивать повышенную надежность и/или устойчивость. Режим воспроизведения по умолчанию, например, может быть ассоциирован с конфигурацией воспроизведения по умолчанию (к примеру, алгоритм воспроизведения с объемным звуком, ассоциированный со стандартной конфигурацией аудиопреобразователей с объемным звуком). Режим воспроизведения по умолчанию (например, режим воспроизведения с объемным звуком) может использоваться для аудиопреобразователей, которые позиционируются близко к позициям по умолчанию стандартной конфигурации аудиопреобразователей с объемным звуком, тогда как альтернативный режим/алгоритм воспроизведения может выбираться, когда позиция аудиопреобразователя отклоняется достаточно от позиции по умолчанию.
В соответствии с необязательным признаком изобретения, контроллер воспроизведения выполнен с возможностью разделять набор аудиопреобразователей на первый поднабор аудиопреобразователей, содержащих аудиопреобразователи, для которых разность между позицией аудиопреобразователя и предварительно определенной позицией превышает пороговое значение, и второй поднабор аудиопреобразователей, содержащих, по меньшей мере, один аудиопреобразователь, для которого разность между позицией аудиопреобразователя и предварительно определенной позицией не превышает пороговое значение; и выбирать режим воспроизведения для каждого аудиопреобразователя первого поднабора из первого поднабора режимов воспроизведения и выбирать режим воспроизведения для каждого аудиопреобразователя второго поднабора из второго поднабора режимов воспроизведения.
Подход позволяет предоставлять упрощенную работу и/или повышенную производительность и/или повышенную гибкость.
Первый поднабор может включать в себя аудиопреобразователи, которые позиционируются на большом расстоянии от позиции по умолчанию данной номинальной конфигурации воспроизведения/аудиопреобразователей. Второй поднабор может включать в себя один или более аудиопреобразователей, которые позиционируются близко к позиции по умолчанию данной номинальной конфигурации воспроизведения/аудиопреобразователей. Сигнал(ы) возбуждения для второго поднабора могут использовать номинальный режим воспроизведения, ассоциированный с данной номинальной конфигурацией воспроизведения/аудиопреобразователей, тогда как сигналы возбуждения для первого поднабора могут использовать другой режим воспроизведения, компенсирующий аудиопреобразователи, не находящиеся в позициях по умолчанию. Первый поднабор может, возможно, включать в себя один или более аудиопреобразователей, для которых разность между позицией аудиопреобразователя и предварительно определенной позицией не превышает пороговое значение; например, если такой аудиопреобразователь(и) используется для того, чтобы поддерживать воспроизведение из аудиопреобразователей, для которых разность превышает пороговое значение.
В соответствии с необязательным признаком изобретения, множество режимов воспроизведения включает в себя, по меньшей мере, один режим воспроизведения, выбранный из группы, состоящей из следующего: стереофоническое воспроизведение; воспроизведение с векторным амплитудным панорамированием; воспроизведение с формированием диаграммы направленности; воспроизведение с подавлением перекрестных помех; амбиофоническое воспроизведение; воспроизведение на основе синтеза волнового поля; и оптимизированное воспроизведение по методу наименьших квадратов.
Отдельный выбор для поднаборов аудиопреобразователей между этими режимами воспроизведения предоставляет сверхпреимущественную производительность. Фактически, режимы воспроизведения группы имеют характеристики, которые конкретно подходят для различных конфигураций воспроизведения/аудиопреобразователей с различными характеристиками.
В соответствии с необязательным признаком изобретения, приемное устройство дополнительно выполнено с возможностью принимать позиционные данные для воспроизведения для аудиокомпонентов, и контроллер воспроизведения выполнен с возможностью выбирать режимы воспроизведения в ответ на позиционные данные для воспроизведения.
Это позволяет предоставлять повышенную производительность и адаптацию и во многих вариантах осуществления и сценариях должно обеспечивать улучшенное пользовательское восприятие.
В соответствии с необязательным признаком изобретения, модуль воспроизведения выполнен с возможностью использовать различные режимы воспроизведения для различных полос частот аудиокомпонента аудиокомпонентов; и контроллер воспроизведения выполнен с возможностью независимо выбирать режимы воспроизведения для различных полос частот аудиокомпонента.
Это позволяет предоставлять повышенную производительность и адаптацию и во многих вариантах осуществления и сценариях должно обеспечивать улучшенное пользовательское восприятие.
В соответствии с необязательным признаком изобретения, контроллер воспроизведения выполнен с возможностью синхронизировать изменение воспроизведения, по меньшей мере, для одного аудиокомпонента с изменением аудиоконтента, по меньшей мере, одного аудиокомпонента.
Это позволяет предоставлять повышенную производительность и адаптацию и во многих вариантах осуществления и сценариях должно обеспечивать улучшенное пользовательское восприятие. Это, в частности, позволяет уменьшать заметность изменений воспроизведения для пользователя.
В соответствии с необязательным признаком изобретения, контроллер воспроизведения дополнительно выполнен с возможностью выбирать режимы воспроизведения в ответ на конфигурационные данные воспроизведения из группы, состоящей из следующего: позиционные данные аудиопреобразователей для аудиопреобразователей не в наборе аудиопреобразователей, позиционные данные для прослушивания; данные характеристик воспроизведения аудио с помощью аудиопреобразователей для аудиопреобразователей из набора аудиопреобразователей; и пользовательские настройки воспроизведения.
Это позволяет предоставлять повышенную производительность и адаптацию и во многих вариантах осуществления и сценариях должно обеспечивать улучшенное пользовательское восприятие.
В соответствии с необязательным признаком изобретения, контроллер воспроизведения выполнен с возможностью выбирать режим воспроизведения в ответ на показатель качества, сформированный посредством перцепционной модели.
Это позволяет предоставлять сверхпреимущественную работу и позволяет предоставлять повышенную производительность и/или адаптацию. В частности, это позволяет обеспечивать эффективную и оптимизированную адаптацию во многих вариантах осуществления.
Согласно аспекту изобретения, предусмотрен способ аудиообработки, причем способ содержит: прием аудиоданных и конфигурационных данных воспроизведения, причем аудиоданные содержат аудиоданные для множества аудиокомпонентов, а конфигурационные данные воспроизведения содержат позиционные данные аудиопреобразователей для набора аудиопреобразователей; формирование сигналов аудиопреобразователей для набора аудиопреобразователей из аудиоданных, причем формирование содержит воспроизведение аудиокомпонентов в соответствии с режимами воспроизведения множества возможных режимов воспроизведения; выбор режимов воспроизведения для модуля воспроизведения из множества возможных режимов воспроизведения в ответ позиционные данные аудиопреобразователей; при этом формирование сигналов аудиопреобразователей содержит использование различных режимов воспроизведения для различных поднаборов набора аудиопреобразователей и независимый выбор режимов воспроизведения для каждого из различных поднаборов набора аудиопреобразователей.
Эти и другие аспекты, признаки и преимущества изобретения должны становиться очевидными и должны истолковываться со ссылкой на описанные далее варианты осуществления.
Краткое описание чертежей
Далее описываются варианты осуществления изобретения только в качестве примера со ссылкой на чертежи, из которых:
Фиг. 1 иллюстрирует пример принципа системы по стандарту объемного звучания MPEG в соответствии с предшествующим уровнем техники;
Фиг. 2 иллюстрирует пример элементов SAOC-системы в соответствии с предшествующим уровнем техники;
Фиг. 3 иллюстрирует интерактивный интерфейс, который позволяет пользователю управлять отдельными объектами, содержащимися в SAOC-потоке битов;
Фиг. 4 иллюстрирует пример принципа кодирования аудио DTS MDA™ в соответствии с предшествующим уровнем техники;
Фиг. 5 иллюстрирует пример элементов системы по стандарту трехмерного MPEG-аудио в соответствии с предшествующим уровнем техники;
Фиг. 6 иллюстрирует пример принципа подхода к воспроизведению в соответствии с некоторыми вариантами осуществления изобретения;
Фиг. 7 иллюстрирует пример устройства аудиообработки в соответствии с некоторыми вариантами осуществления изобретения; и
Фиг. 8 является примером элементов модуля воспроизведения для устройства аудиообработки по фиг. 7.
Осуществление изобретения
Нижеприведенное описание акцентирует внимание на вариантах осуществления изобретения, применимых к системе воспроизведения, выполненной с возможностью подготавливать посредством воспроизведения множество аудиокомпонентов для воспроизведения различных типов и, в частности, подготавливать посредством воспроизведения аудиоканалы, аудиообъекты и объекты аудиосцены MPEG-аудиопотока. Тем не менее, следует принимать во внимание, что изобретение не ограничено этим вариантом применения и может применяться ко многим другим системам воспроизведения аудио, а также к другим аудиопотокам.
Описанная система воспроизведения представляет собой адаптивную систему воспроизведения, допускающую адаптацию своей работы к используемой конкретной конфигурации воспроизведения с помощью аудиопреобразователей и, в частности, к конкретным позициям аудиопреобразователей, используемых при воспроизведении.
Большинство существующих систем воспроизведения звука обеспечивают только достаточно небольшой объем гибкости в компоновке громкоговорителей. Вследствие разработки традиционных систем, в общем, с базовыми допущениями относительно либо общей конфигурации громкоговорителей (например, что громкоговорители позиционируются более или менее равноотстояще вокруг слушателя или размещаются на линии перед слушателем и т.д.) и/или относительно природы аудиоконтента (например, что он состоит из небольшого числа отдельных локализуемых источников, или что он состоит из сильнорассеянной звуковой сцены и т.д.), существующие системы типично позволяют доставлять оптимальное восприятие только для ограниченного диапазона конфигураций громкоговорителей. Это приводит к значительному сокращению пользовательского восприятия и, в частности, пространственного восприятия во многих реальных примерах использования и/или сильно уменьшает свободу и гибкость для позиционирования громкоговорителей пользователем.
Система воспроизведения, описанная ниже, предоставляет адаптивную систему воспроизведения, которая допускает доставку высококачественного и типично оптимизированного пространственного восприятия для большого спектра разнообразных компоновок громкоговорителей. Таким образом, она обеспечивает свободу и гибкость, искомую во многих вариантах применения, таких как бытовые приложения для воспроизведения.
Система воспроизведения основана на использовании алгоритма выбора решения, который выбирает один или более способов (пространственного) воспроизведения из набора различных режимов способов (пространственного) звукового воспроизведения таким образом, что достигается улучшенное и зачастую оптимальное восприятие для пользователя(ей). Решение по выбору основано на фактической конфигурации громкоговорителей, используемой для воспроизведения. Конфигурационные данные, используемые для того, чтобы выбирать режим воспроизведения, включают в себя, по меньшей мере, (возможно трехмерные) позиции громкоговорителей и в некоторых вариантах осуществления также могут рассматривать другие характеристики громкоговорителей (такие как размер, частотные характеристики и диаграмма направленности). Во многих вариантах осуществления, решение по выбору дополнительно может быть основано на характеристиках аудиоконтента, например, как указано в метаданных, которые сопровождают фактические аудиоданные.
В некоторых вариантах осуществления, алгоритм выбора дополнительно может использовать другую доступную информацию, чтобы регулировать или определять настройки выбранного способа(ов) воспроизведения.
Фиг. 6 иллюстрирует пример принципа подхода к воспроизведению в соответствии с некоторыми вариантами осуществления изобретения. В примере, множество данных рассматривается при выборе подходящего режима воспроизведения для аудиокомпонентов входного аудиопотока.
Фиг. 7 иллюстрирует пример устройства 701 аудиообработки в соответствии с некоторыми вариантами осуществления изобретения. Устройство 701 аудиообработки, в частности, представляет собой модуль воспроизведения аудио, который формирует сигналы для набора аудиопреобразователей, которые в конкретном примере представляют собой громкоговорители 703. Таким образом, устройство 701 аудиообработки формирует сигналы аудиопреобразователей, которые в конкретном примере представляют собой сигналы возбуждения для набора громкоговорителей 703. Фиг. 7 конкретно иллюстрирует пример шести громкоговорителей (к примеру, для 5.1-компоновки громкоговорителей), но следует принимать во внимание, что он просто иллюстрирует конкретный пример, и что может использоваться любое число громкоговорителей.
Устройство 701 аудиообработки содержит приемное устройство 705, которое принимает аудиоданные, содержащие множество аудиокомпонентов, которые должны быть подготовлены посредством воспроизведения, из громкоговорителей 703. Аудиокомпоненты типично подготавливаются посредством воспроизведения для того, чтобы предоставлять пространственное восприятие пользователю, и, например, могут включать в себя аудиоканалы, аудиообъекты и/или объекты аудиосцены.
Устройство 701 аудиообработки дополнительно содержит модуль 707 воспроизведения, который выполнен с возможностью формировать сигналы аудиопреобразователей, т.е. сигналы возбуждения для громкоговорителей 703, из аудиоданных. В частности, модуль воспроизведения может формировать компоненты сигналов возбуждения для громкоговорителей 703 из каждого из аудиокомпонентов и затем комбинировать компоненты сигналов возбуждения для различных аудиокомпонентов в одиночные сигналы аудиопреобразователей, т.е. в конечные сигналы возбуждения, которые подаются в громкоговорители 703. Для краткости и ясности, фиг. 7 и нижеприведенное описание не поясняют стандартные операции обработки сигналов, которые могут применяться к сигналам возбуждения либо при формировании сигналов возбуждения. Тем не менее, следует принимать во внимание, что система может включать в себя, например, функции фильтрации и усиления.
Приемное устройство 705 в некоторых вариантах осуществления может принимать кодированные аудиоданные, которые содержат кодированные аудиоданные для множества аудиокомпонентов, и может быть выполнено с возможностью декодировать аудиоданные и предоставлять декодированные аудиопотоки в модуль 707 воспроизведения. В частности, один аудиопоток может предоставляться для каждого аудиокомпонента. Альтернативно один аудиопоток может представлять собой понижающее микширование нескольких звуковых объектов (как, например, для SAOC-потока битов). В некоторых вариантах осуществления, приемное устройство 705 дополнительно может быть выполнено с возможностью предоставлять позиционные данные в модуль 707 воспроизведения для аудиокомпонентов, и модуль 707 воспроизведения может позиционировать аудиокомпоненты соответствующим образом. В некоторых вариантах осуществления, позиция всех или некоторых аудиокомпонентов альтернативно или дополнительно может предполагаться или предварительно определяться, к примеру, как позиция аудиоисточника по умолчанию для аудиоканала, например, номинальной компоновки с объемным звуком. В некоторых вариантах осуществления, позиционные данные альтернативно или дополнительно могут предоставляться, например, из пользовательского ввода посредством отдельного алгоритма или формироваться посредством самого модуля воспроизведения.
В отличие от традиционных систем, устройство 701 аудиообработки по фиг. 7 не просто формирует сигналы возбуждения на основе предварительно определенной или предполагаемой позиции громкоговорителей 703. Наоборот, система адаптирует воспроизведение к конкретной конфигурации громкоговорителей. В частности, система выполнена с возможностью выбирать между определенным числом различных алгоритмов в зависимости от позиций громкоговорителей и, кроме того, допускает выбор различных алгоритмов воспроизведения для различных громкоговорителей.
Следует принимать во внимание, что различные алгоритмы воспроизведения включают в себя множество алгоритмов улучшения воспроизведения аудио, которые могут быть доступными во многих аудиоустройствах. Зачастую такие алгоритмы разработаны с возможностью предоставлять, например, лучшее пространственное огибание, повышенную четкость голоса или более широкую область прослушивания для слушателя. Такие признаки улучшения могут считаться алгоритмами воспроизведения и/или могут считаться компонентами конкретных алгоритмов воспроизведения.
В частности, модуль 707 воспроизведения выполнен с возможностью подготавливать посредством воспроизведения аудиокомпоненты в соответствии с множеством режимов воспроизведения, которые имеют различные характеристики. Например, некоторые режимы воспроизведения должны использовать алгоритмы, которые предоставляют воспроизведение, которое обеспечивает очень конкретное и сильнолокализованное аудиовосприятие, тогда как другие режимы воспроизведения используют алгоритмы воспроизведения, которые предоставляют рассеянное и распределенное восприятие позиции. Таким образом, воспроизведение и воспринимаемое пространственное ощущение могут очень существенно отличаться в зависимости от того, какой алгоритм воспроизведения используется.
Модуль 707 воспроизведения управляется посредством контроллера 709 воспроизведения, который соединяется с приемным устройством 705 и с модулем 707 воспроизведения. Приемное устройство 705 принимает конфигурационные данные воспроизведения, которые содержат данные, указывающие компоновку для воспроизведения и, в частности, компоновку/конфигурацию аудиопреобразователей/громкоговорителей. Конфигурационные данные воспроизведения, в частности, содержат позиционные данные аудиопреобразователей, которые служат признаком позиций, по меньшей мере, некоторых громкоговорителей 703.
Следует принимать во внимание, что позиционные данные аудиопреобразователей могут представлять собой любые данные, предоставляющие индикатор позиции одного или более громкоговорителей 703, включающие в себя абсолютные или относительные позиции (включающие в себя, например, позиции относительно других позиций громкоговорителей 703, относительно номинальной (например, предварительно определенной) позиции для громкоговорителей 703, относительно позиции прослушивания или позиции отдельного устройства локализации либо другого устройства в окружении). Также следует принимать во внимание, что позиционные данные аудиопреобразователей могут предоставляться или формироваться любым подходящим способом. Например, в некоторых вариантах осуществления позиционные данные аудиопреобразователей могут вводиться вручную пользователем, например, в качестве фактических позиций относительно опорной позиции (к примеру, позиции прослушивания) или в качестве расстояний и углов между громкоговорителями. В других примерах, устройство 701 аудиообработки может непосредственно содержать функциональность для оценки позиций громкоговорителей 703 на основе измерений. Например, громкоговорители 703 могут содержать микрофоны, и они могут использоваться для того, чтобы оценивать позиции. Например, каждый громкоговоритель 703 может поочередно подготавливать посредством воспроизведения тестовый сигнал, и разности времен между компонентами тестового сигнала в сигналах микрофонов могут определяться и использоваться для того, чтобы оценивать расстояния до громкоговорителя 703, подготавливающего посредством воспроизведения тестовый сигнал. Полный набор расстояний, полученных из тестов для множества (и типично всех) громкоговорителей 703, затем может использоваться для того, чтобы оценивать относительные позиции для громкоговорителей 703.
Контроллер 709 воспроизведения выполнен с возможностью управлять режимом воспроизведения, используемым посредством модуля 707 воспроизведения. Таким образом, контроллер 709 воспроизведения управляет тем, какие конкретные алгоритмы воспроизведения используются посредством модуля 707 воспроизведения. Контроллер 709 воспроизведения выбирает режимы воспроизведения на основе позиционных данных аудиопреобразователей, и в силу этого алгоритмы воспроизведения, используемые посредством устройства 701 аудиообработки, должны зависеть от позиций громкоговорителей 703.
Тем не менее, вместо простого регулирования характеристик воспроизведения или переключения между режимами воспроизведения для системы в целом, устройство 701 аудиообработки по фиг. 7 выполнено с возможностью выбирать режимы и алгоритмы воспроизведения для отдельных поднаборов динамиков в зависимости от позиций отдельных громкоговорителей 703. Таким образом, один режим воспроизведения может использоваться для некоторых громкоговорителей 703, тогда как другой режим воспроизведения может одновременно использоваться для других громкоговорителей 703. Аудио, подготовленное посредством воспроизведения посредством системы по фиг. 7, в силу этого представляет собой комбинацию применения различных режимов пространственного воспроизведения для различных поднаборов громкоговорителей 703, при этом режимы пространственного воспроизведения выбираются в зависимости от местоположений громкоговорителей 703.
Контроллер 709 воспроизведения, в частности, может разделять громкоговорители 703 на определенное число поднаборов и независимо выбирать режим воспроизведения для каждого из этих поднаборов в зависимости от позиции громкоговорителей 703 в поднаборе.
Использование различных алгоритмов воспроизведения для различных громкоговорителей 703 позволяет предоставлять повышенную производительность во многих сценариях и позволяет обеспечивать улучшенную адаптацию к конкретной компоновке для воспроизведения, при одновременном обеспечении во многих сценариях улучшенного пространственного восприятия.
В частности, авторы изобретения выяснили, что во многих случаях потребитель стремиться размещать громкоговорители максимально возможно оптимально, но что типично это является возможным или удобным только для некоторых громкоговорителей. Таким образом, во многих практических сценариях позиционирование громкоговорителей нарушается для поднабора громкоговорителей. Например, при задании компоновки системы объемного звучания, пользователи стремятся позиционировать громкоговорители в надлежащих (например, равноотстоящих) позициях вокруг основных областей прослушивания. Тем не менее, очень часто это может быть возможным для некоторых громкоговорителей, но невозможно для всех громкоговорителей. Например, для многих бытовых систем домашнего кинотеатра, передние громкоговорители могут позиционироваться в очень подходящих позициях вокруг дисплея и типично надлежащим образом близко к номинальной позиции для этих громкоговорителей. Тем не менее, во многих случаях, невозможно или неудобно позиционировать громкоговорители объемного звучания или задние громкоговорители надлежащим образом, и их позиции могут быть сильно нарушенными. Например, задние громкоговорители могут позиционироваться асимметрично, и, например, оба левых и правых задних громкоговорителя могут позиционироваться на одной стороне позиции прослушивания. В большинстве традиционных систем, результирующее ухудшенное пространственное восприятие просто признается, и фактически, для задних громкоговорителей объемного звучания оно зачастую может считаться приемлемым вследствие меньшей значимости задних источников звука.
Тем не менее, в системе по фиг. 7, отклонение от оптимальной конфигурации воспроизведения может обнаруживаться, и контроллер 709 воспроизведения может переключать режим воспроизведения для задних громкоговорителей. В частности, воспроизведение аудио из передних громкоговорителей может быть неизменным и соответствовать стандартному алгоритму воспроизведения с объемным звуком. Тем не менее, когда контроллер 709 воспроизведения обнаруживает то, что один или более задних громкоговорителей позиционируются на большом расстоянии от позиции по умолчанию или оптимальной позиции, он может переключаться на использование другого алгоритма воспроизведения, который имеет другие характеристики. В частности, контроллер 709 воспроизведения может управлять модулем 707 воспроизведения таким образом, что он для задних громкоговорителей переключается с выполнения воспроизведения с объемным звуком по умолчанию на выполнение другого алгоритма воспроизведения, который предоставляет более подходящий перцепционный ввод для пользователя.
Например, контроллер 709 воспроизведения может переключать модуль 707 воспроизведения таким образом, чтобы применять воспроизведение, которое вводит размытость и удаляет пространственную определенность источников звука. Алгоритм воспроизведения, например, может добавлять декорреляцию в аудиокомпоненты задних каналов, так что локализованные источники звука более не являются четко определенными и сильнолокализованными, а вместо этого кажутся рассеянными или распределенными. Таким образом, если контроллер 709 воспроизведения обнаруживает то, что все громкоговорители 703 находятся в подходящих позициях по умолчанию, он применяет стандартный алгоритм воспроизведения с объемным звуком, чтобы формировать сигналы возбуждения. Тем не менее, если он обнаруживает то, что один или более задних громкоговорителей позиционируются на большом расстоянии от позиции по умолчанию, он переключает алгоритм воспроизведения, используемый для того, чтобы формировать сигналы возбуждения для этих громкоговорителей, на алгоритм воспроизведения, который вводит размытость. Таким образом, вместо того, чтобы воспринимать четко определенные и локализованные источники звука в неправильных позициях, слушатель, наоборот, воспринимает то, что источники звука не являются локализованными, а, например, поступают рассеянно сзади. Это во многих случаях обеспечивает более предпочтительное пользовательское восприятие. Кроме того, система допускает автоматическую адаптацию, чтобы предоставлять такое улучшенное восприятие без снижения производительности для сценариев, в которых задние громкоговорители фактически позиционированы в требуемых позициях. Кроме того, поскольку адаптация ограничена поднабором громкоговорителей, на которые оказывает непосредственное влияние субоптимальная позиция, улучшение достигается без снижения производительности других громкоговорителей. В частности, на переднюю аудиосцену фактически не оказывается влияние, и, в частности, сильнолокализованные передние аудиоисточники остаются сильнолокализованными передними аудиоисточниками в идентичных позициях.
Тем не менее, в качестве альтернативного варианта осуществления можно рассматривать случай, в котором пользователь предпочитает четко локализуемый звук, а не рассеянное воспроизведение, даже если местоположения не являются абсолютно корректными. В этом случае, способ воспроизведения со способом менее рассеянного воспроизведения может выбираться на основе пользовательской настройки.
В качестве другого примера, модуль 707 воспроизведения может управляться с возможностью использовать режимы воспроизведения, которые отражают то, насколько разделимым является восприятие громкоговорителей 703. Например, если обнаруживается, что некоторые громкоговорители позиционируются настолько близко друг к другу, что они по существу воспринимаются в качестве одного источника звука (или, по меньшей мере, в качестве двух коррелированных источников звука), контроллер 709 воспроизведения может выбирать другой алгоритм воспроизведения для этих громкоговорителей 703 относительно громкоговорителей, которые расположены на достаточно большом расстоянии друг от друга, чтобы выступать в качестве отдельных источников звука. Например, режим воспроизведения, который использует элемент формирования диаграммы направленности, может использоваться для громкоговорителей, которые находятся достаточно близко, тогда как формирование диаграммы направленности не используется для громкоговорителей, которые находятся на большом расстоянии друг от друга.
Следует принимать во внимание, что множество различных режимов и алгоритмов воспроизведения могут использоваться в различных вариантах осуществления. Далее описывается пример алгоритмов воспроизведения, которые могут содержаться в наборе режимов воспроизведения, которые могут выбираться посредством контроллера 709 воспроизведения. Тем не менее, следует принимать во внимание, что они являются просто примерными, и что принцип не ограничен этими алгоритмами.
Стандартизированное стереофоническое воспроизведение
Это означает классическое воспроизведение на основе амплитудного панорамирования в стандартизированных компоновках громкоговорителей, в которых предполагается, что каждый аудиоканал непосредственно соответствует одному из громкоговорителей. Он может означать двухканальную стереофонию (с двумя громкоговорителями с симметричными азимутами относительно позиции прослушивания), а также многоканальные расширения идентичного принципа, такие как 5.1-канальный и 7-канальный объемный звук по стандарту ITU, а также трехмерные расширения, такие как 22.2.
Этот способ хорошо работает в случаях, в которых громкоговорители позиционируются согласно предполагаемой стандартизированной конфигурации, а слушатель позиционируется в центре (в "зоне наилучшего восприятия"). Если эти условия не удовлетворяются, известно, что стереофоническое воспроизведение работает субоптимально.
Воспроизведение с векторным амплитудным панорамированием
Он представляет собой способ, который по существу является обобщением способа стереофонического воспроизведения, который поддерживает нестандартизированные конфигурации громкоговорителей посредством адаптации закона амплитудного панорамирования между парами громкоговорителей более чем к двум громкоговорителям, размещенным в известных дву- или трехмерных позициях в пространстве. Подробное описание этого способа приведено, например, в работе "Virtual Sound Source Positioning Using Vector base amplitude panning", J.AudioEng.Soc., том 45, номер 6, 1997 год.
Подход является, в частности, подходящим в примерах использования, в которых громкоговорители распределены более или менее случайно вокруг слушателя без чрезвычайно больших или чрезвычайно небольших промежуточных "зазоров". Типичный пример представляет собой случай, в котором громкоговорители системы объемного звучания размещены "более или менее" согласно техническим требованиям, но с некоторыми отклонениями для отдельных громкоговорителей.
Ограничение способа состоит в том, что производительность локализации ухудшается в случаях, в которых существуют большие "зазоры" между парами громкоговорителя, в частности, по бокам, и в том, что источники не могут позиционироваться за пределами областей, "охватываемых" парами громкоговорителя.
Воспроизведение с формированием диаграммы направленности
Формирование диаграммы направленности представляет собой способ воспроизведения, который ассоциирован с массивами громкоговорителей, т.е. с кластерами из нескольких громкоговорителей, которые размещены близко друг от друга (например, с промежутком менее чем в несколько дециметров). Управление соотношением амплитуд и фаз между отдельными громкоговорителями обеспечивает "направленное излучение" звука в указанных направлениях и/или "ориентирование" источников в конкретных позициях впереди или позади массива громкоговорителей. Подробное описание этого способа приведено, например, в работе Van Veen, B.D. "Beamforming: the versatile approach to spatial filtering, ASSP Magazine, IEEE (том: 5, выпуск: 2), дата публикации: апрель 1988 года.
Типичный вариант использования, в котором этот тип воспроизведения является полезным, - это когда небольшой массив громкоговорителей позиционируется перед слушателем, в то время как громкоговорители не присутствуют сзади или даже слева и справа спереди. В таких случаях, можно создавать полное ощущение объемного звучания для пользователя посредством "излучения" некоторых аудиоканалов или объектов в боковые стены помещения для прослушивания. Отражения звука от стен достигают слушателя с боков и/или сзади, за счет этого создавая ощущение "виртуального объемного звучания" с полным погружением. Он представляет собой способ воспроизведения, который используется в различных потребительских продуктах типа "звуковой панели".
Другой пример, в котором может преимущественно использоваться воспроизведение с формированием диаграммы направленности, - это когда звуковой канал или объект, который должен быть подготовлен посредством воспроизведения, содержит речь. Воспроизведение этих речевых аудиокомпонентов в качестве луча, нацеленного к пользователю, с использованием формирования диаграммы направленности может приводить к лучшей понятности речи для пользователя, поскольку меньшая реверберация формируется в помещении.
Формирование диаграммы направленности типично не должно использоваться для (подчастей) конфигурации громкоговорителей, в которых разнесение между громкоговорителями превышает несколько дециметров.
Воспроизведение с подавлением перекрестных помех
Он представляет собой способ воспроизведения, который позволяет создавать ощущение трехмерного объемного звучания с полным погружением из двух громкоговорителей. Он тесно связан с бинауральным воспроизведением по наушникам с использованием передаточных функций восприятия звука человеком (или HRTF). Поскольку громкоговорители используются вместо наушников, контуры обратной связи должны использоваться для того, чтобы исключать перекрестные помехи из левого громкоговорителя в правое ухо и наоборот. Подробное описание этого способа приведено, например, в работе Kirkeby, Ole; Rubak, Per; Nelson, Philip A.; Farina, Angelo "Design of Cross-Talk Cancellation Networks by Using Fast Deconvolution", AES Convention: 106 (май 1999 года), номер статьи: 4916.
Он является, в частности, полезным в ситуациях, в которых предусмотрено два громкоговорителя, размещенных с симметричными азимутами относительно слушателя. В частности, этот способ воспроизведения может использоваться для того, чтобы подготавливать посредством воспроизведения полное ощущение объемного звучания для стандартной стереофонической компоновки с двумя громкоговорителями.
Этот способ является менее подходящим, если имеется несколько слушателей или позиций прослушивания, поскольку способ является очень чувствительным к позиции слушателя.
Стереодипольное воспроизведение
Этот способ воспроизведения использует два или более близкорасположенных громкоговорителя для того, чтобы подготавливать посредством воспроизведения широкое звуковое изображение для пользователя посредством обработки пространственного аудиосигнала таким образом, что общий (суммирующий) сигнал воспроизводится монофонически, в то время как разностный сигнал воспроизводится с диаграммой дипольного излучения. Подробное описание этого способа приведено, например, в работе Kirkeby, Ole; Nelson, Philip A.; Hamada, Hareo "The 'Stereo Dipole': A Virtual Source Imaging System Using Two Closely Spaced Loudspeakers", JAES, том 46, выпуск 5, стр. 387-395; май 1998 года.
Он является полезным в ситуациях, в которых компоновка передних громкоговорителей состоит из двух близкорасположенных громкоговорителей, к примеру, когда планшетный компьютер используется для того, чтобы смотреть кино.
Воспроизведение на основе амбиофонии
Амбиофония представляет собой способ пространственного кодирования и воспроизведения аудио, который основан на разложении (на стороне записи) и восстановлении (на стороне воспроизведения) пространственного звукового поля в одной позиции. При записи, специальная конфигурация микрофонов зачастую используется для того, чтобы захватывать отдельные "сферические гармонические компоненты" звукового поля. При воспроизведении, исходное звуковое поле восстановлено посредством воспроизведения записанных компонентов из специальной компоновки громкоговорителей. Подробное описание этого способа приведено, например, в работе Jérôme Daniel, Rozenn Nicol и Sébastien Moreau "Further Investigations of High Order Ambisonics and Wavefield Synthesis for Holophonic Sound Imaging", представленной на 114th Convention, 2003 год, 22-25 марта.
Этот способ воспроизведения является, в частности, полезным в случаях, в которых конфигурация громкоговорителей по существу равноотстояще распределена вокруг слушателя. В таких случаях, воспроизведение на основе амбиофонии может предоставлять ощущение большего погружения, чем любой из способов, описанных выше, и область прослушивания, в которой получается хорошее восприятие, может быть большой.
В частности, может быть полезным подготавливать посредством воспроизведения рассеянные аудиокомпоненты (объемного окружения).
Способ является менее подходящим для конфигураций нерегулярно размещенных громкоговорителей.
Воспроизведение на основе синтеза волнового поля
Он представляет собой способ воспроизведения, который использует массивы громкоговорителей, чтобы точно воссоздавать исходное звуковое поле в большом пространстве прослушивания. Подробное описание этого способа приведено, например, в работе Boone, Marinus M.; Verheijen, Edwin N. G. "Sound Reproduction Applications with Wave-Field Synthesis", AES Convention:104 (май 1998 года), статья номер: 4689.
Он является, в частности, подходящим для объектно-ориентированных звуковых сцен, но также является совместимым с другими аудиотипами (например, канальными или сцено-ориентированными). Ограничение состоит в том, что он является подходящим только для конфигураций громкоговорителей с большим числом громкоговорителей, расположенных с интервалами не более чем на расстоянии приблизительно в 25 см. В типичном случае, он основан на массивах громкоговорителей или устройств, в которых несколько отдельных формирователей сигналов управления включаются в идентичный корпус.
Оптимизированное воспроизведение по методу наименьших квадратов
Он представляет собой общий способ воспроизведения, который пытается достигать указанного целевого звукового поля посредством процедуры числовой оптимизации, в которой позиции громкоговорителей указываются в качестве параметров, и сигналы громкоговорителей оптимизированы, к примеру, чтобы минимизировать разность между целевыми и воспроизведенными звуковыми полями в некоторой области прослушивания. Подробное описание этого способа приведено, например, в работе Shin, Mincheol; Fazi, Filippo M.; Seo, Jeongil; Nelson, Philip A. "Efficient 3-D Sound Field Reproduction", AES Convention: 130 (май 2011 года), номер статьи: 8404.
В некоторых случаях, эти способы требуют размещения микрофона в требуемой позиции прослушивания, чтобы захватывать воспроизведенное звуковое поле.
Следует принимать во внимание, что в некоторых вариантах осуществления, полностью отдельный механизм воспроизведения может реализовываться для каждого режима воспроизведения. В других вариантах осуществления, некоторые алгоритмы/режимы воспроизведения могут совместно использовать, по меньшей мере, некоторую функциональность. Во многих вариантах осуществления, каждый режим воспроизведения может быть реализован как микропрограммный алгоритм воспроизведения, при этом все алгоритмы выполняются на идентичной платформе обработки сигналов. Например, контроллер 709 воспроизведения может управлять тем, какие вложенные процедуры воспроизведения вызываются посредством модуля 707 воспроизведения для каждого сигнала аудиопреобразователя и аудиокомпонента.
Пример того, как модуль 707 воспроизведения может реализовываться для одного аудиокомпонента и одного сигнала аудиопреобразователя, проиллюстрирован на фиг. 8.
В примере, аудиокомпонент подается во множество механизмов 801 воспроизведения (в конкретном примере, показаны четыре механизма воспроизведения, но следует принимать во внимание, что большее или меньшее число может использоваться в других вариантах осуществления). Каждый из механизмов 801 воспроизведения соединяется с переключателем, который управляется посредством контроллера 709 воспроизведения. В примере, каждый из механизмов 801 воспроизведения может выполнять алгоритм воспроизведения для того, чтобы формировать соответствующий сигнал возбуждения для громкоговорителя 703. Таким образом, переключатель 803 принимает сигналы возбуждения, сформированные в соответствии со всеми возможными режимами воспроизведения. Он затем выбирает сигнал возбуждения, который соответствует режиму воспроизведения, который выбран посредством контроллера 709 воспроизведения, и выводит его. Вывод переключателя 803 соединяется с модулем 805 комбинирования, который в конкретном примере представляет собой модуль суммирования. Модуль 805 комбинирования может принимать соответствующие компоненты сигналов возбуждения, сформированные для других аудиокомпонентов, и затем может комбинировать компоненты сигналов возбуждения, чтобы формировать сигнал возбуждения, подаваемый в громкоговоритель 703.
Следует принимать во внимание, что в других примерах, переключение может выполняться до воспроизведения, т.е. переключатель может находиться на входе в механизмы 801 воспроизведения. Таким образом, только механизм воспроизведения, соответствующий режиму воспроизведения, выбранному посредством контроллера 709 воспроизведения, активируется для того, чтобы формировать сигнал возбуждения для аудиокомпонента, и результирующий вывод этого механизма воспроизведения соединяется с модулем 805 комбинирования.
Также следует принимать во внимание, что фиг. 8 для ясности и краткости показывает механизмы 801 воспроизведения, работающие независимо для каждого аудиокомпонента. Тем не менее, в большинстве типичных вариантов применения, алгоритм воспроизведения может представлять собой более сложный алгоритм, который одновременно учитывает несколько аудиокомпонентов при формировании аудиосигналов.
Аналогично, следует принимать во внимание, что множество алгоритмов воспроизведения формируют выводы для множества громкоговорителей 703. Например, амплитудное панорамирование может формировать, по меньшей мере, два компонента сигналов возбуждения для каждого аудиокомпонента. Эти различные сигналы возбуждения, например, могут быть поданы в различные выходные переключатели или модули комбинирования, соответствующие различным аудиопреобразователям.
Во многих вариантах осуществления, различные режимы и алгоритмы воспроизведения могут быть предварительно определены и реализованы в качестве части устройства 701 аудиообработки. Тем не менее, в некоторых вариантах осуществления, алгоритм воспроизведения может предоставляться в качестве части входного потока, т.е. вместе с аудиоданными.
Во многих вариантах осуществления, алгоритмы воспроизведения могут быть реализованы как матричные операции, применяемые к частотно-временным мозаичным фрагментам аудиоданных, как должно быть известно специалистам в данной области техники.
В некоторых вариантах осуществления, идентичные режимы воспроизведения могут выбираться для всех аудиокомпонентов, т.е. для данного громкоговорителя 703 может выбираться один режим воспроизведения, и он может применяться ко всем аудиокомпонентам, которые предоставляют долю в звуке, подготовленном посредством воспроизведения из этого громкоговорителя 703. Тем не менее, в других вариантах осуществления, режим воспроизведения для данного громкоговорителя 703 может отличаться для различных аудиокомпонентов.
Это, например, может иметь место в ситуации, в которой аудиокомпоненты соответствуют пяти пространственным каналам системы объемного звучания. В возможном сценарии, позиционные данные аудиопреобразователей могут указывать то, что, например, правый задний громкоговоритель позиционируется на гораздо большем расстоянии впереди, чем номинальная позиция, и фактически позиционируется спереди и сбоку от слушателя. Одновременно, правый передний громкоговоритель может позиционироваться более по центру, чем левый передний громкоговоритель. В таком примере, может быть преимущественным подготавливать посредством воспроизведения правый передний канал с использованием алгоритма амплитудного панорамирования между правым передним громкоговорителем и правым задним громкоговорителем. Это может приводить к воспринимаемой позиции для правого переднего канала дальше вправо от правого переднего громкоговорителя и, в частности, может приводить к симметрично воспринимаемым позициям для правого переднего и левого переднего каналов. Одновременно, правый задний канал может быть подготовлен посредством воспроизведения из правого заднего канала, но с использованием алгоритма воспроизведения, который вводит высокую степень размытости, чтобы скрывать тот факт, что правый задний громкоговоритель позиционируется слишком на большом расстоянии впереди. Таким образом, режимы воспроизведения, выбранные для правого заднего громкоговорителя, должны отличаться для аудиокомпонента правого переднего канала и аудиокомпонента правого заднего канала.
В некоторых вариантах осуществления, все аудиокомпоненты могут быть идентичным аудиотипом. Тем не менее, устройство 701 аудиообработки может предоставлять сверхпреимущественную производительность в вариантах осуществления, в которых аудиокомпоненты могут иметь различные типы.
В частности, аудиоданные могут предоставлять определенное число аудиокомпонентов, которые могут включать в себя множество аудиотипов из следующей группы: компоненты аудиоканалов, компоненты аудиообъектов и компоненты аудиосцен.
Во многих вариантах осуществления, аудиоданные могут включать в себя определенное число компонентов, которые могут быть кодированы как отдельные аудиообъекты, такие как, например, конкретные синтетически сформированные аудиообъекты или микрофоны, выполненные с возможностью захватывать конкретный аудиоисточник, такой как, например, один инструмент.
Каждый аудиообъект типично соответствует одному источнику звука. Таким образом, в отличие от аудиоканалов и, в частности, аудиоканалов традиционного пространственного многоканального сигнала, аудиообъекты типично не содержат компоненты из множества источников звука, которые могут иметь существенно отличающиеся позиции. Аналогично, каждый аудиообъект типично предоставляет полное представление источника звука. Таким образом, каждый аудиообъект типично ассоциирован с пространственными позиционными данными только для одного источника звука. В частности, каждый аудиообъект типично может считаться одним и полным представлением источника звука и может быть ассоциирован с одной пространственной позицией.
Аудиообъекты не ассоциированы ни с одной конкретной конфигурацией воспроизведения и, в частности, не ассоциированы ни с одной конкретной пространственной конфигурацией звуковых электроакустических преобразователей/громкоговорителей. Таким образом, в отличие от аудиоканалов, которые ассоциированы с такой конфигурацией воспроизведения, как конкретная пространственная компоновка громкоговорителей (например, компоновка с объемным звуком), аудиообъекты не заданы относительно конкретных пространственных конфигураций воспроизведения.
Таким образом, аудиообъект типично представляет собой один или комбинированный источник звука, трактуемый в качестве отдельного экземпляра, например, певца, инструмента или хора. Типично, аудиообъект имеет ассоциированную информацию пространственной позиции, которая задает конкретную позицию для аудиообъекта и, в частности, позицию точечного источника для аудиообъекта. Тем не менее, эта позиция является независимой от конкретной компоновки для воспроизведения. Объектный (аудио-) сигнал представляет собой сигнал, представляющий аудиообъект. Объектный сигнал может содержать несколько объектов, например, не параллельных во времени.
Один аудиообъект также может содержать несколько отдельных аудиосигналов, например, одновременных записей идентичного музыкального инструмента из различных направлений.
Напротив, аудиоканал ассоциирован с номинальной позицией аудиоисточника. Таким образом, аудиоканал типично не имеет ассоциированных позиционных данных, но ассоциирован с номинальной позицией громкоговорителя в номинальной ассоциированной конфигурации громкоговорителей. Таким образом, тогда как аудиоканал типично ассоциирован с позицией громкоговорителя в ассоциированной конфигурации, аудиообъект не ассоциирован ни с одной конфигурацией громкоговорителей. Таким образом, аудиоканал представляет комбинированное аудио, которое должно быть подготовлено посредством воспроизведения из данной номинальной позиции, когда воспроизведение выполняется с использованием номинальной конфигурации громкоговорителей. Таким образом, аудиоканал представляет все аудиоисточники аудиосцены, которые требуют воспроизведения звукового компонента из номинальной позиции, ассоциированной с каналом, с тем чтобы номинальная конфигурация громкоговорителей пространственно подготавливала посредством воспроизведения аудиоисточник. В отличие от этого, аудиообъект типично не ассоциируется ни с одной конкретной конфигурацией воспроизведения, а вместо этого предоставляет аудио, которое должно быть подготовлено посредством воспроизведения из одной позиции источника звука для ассоциированного звукового компонента, который должен восприниматься как исходящий из этой позиции.
Компонент аудиосцены характеризуется как один из набора ортогональных пространственных компонентов, в которых может математически анализироваться исходное звуковое аудиополе.
В частности, он может представлять собой один из набора ортогональных сферических гармонических компонентов исходного звукового поля, которые совместно полностью описывают исходное звуковое поле в заданной позиции в исходном звуковом поле. Еще более конкретно, он может представлять собой один компонент из набора компонентов амбиофонии высшего порядка (HOA).
Компонент аудиосцены отличается от канала аудиокомпонента тем фактом, что он непосредственно не представляет сигнал громкоговорителя. Наоборот, каждый отдельный компонент аудиосцены способствует каждому сигналу громкоговорителя согласно указанной матрице панорамирования. Кроме того, аудиокомпонент отличается от аудиообъекта тем фактом, что он не содержит информацию относительно одного отдельного источника звука, а вместо этого содержит информацию относительно всех источников звука, которые присутствуют в исходном звуковом поле (как "физических" источников, так и "объемных окружающих" источников, таких как реверберация).
В практическом примере, один компонент аудиосцены может содержать сигнал всенаправленного микрофона в позиции записи, в то время как три других компонентов аудиосцен содержат сигналы трех скоростных (двунаправленных) микрофонов, позиционированных ортогонально в позиции, идентичной позиции всенаправленного микрофона. Дополнительные компоненты аудиосцен могут содержать сигналы микрофонов высшего порядка (физические или синтезированные из сигналов сферического массива микрофонов). Альтернативно, компоненты аудиосцен могут формироваться синтетически из синтетического описания звукового поля.
В некоторых вариантах осуществления, аудиоданные могут содержать аудиокомпоненты, которые могут представлять собой аудиоканалы, аудиообъекты и аудиосцены в соответствии с MPEG-стандартом ISO/IEC 23008-3 трехмерного MPEG-аудио.
В некоторых вариантах осуществления, выбор режимов воспроизведения дополнительно зависит от аудиотипа аудиокомпонента. В частности, когда входные аудиоданные содержат аудиокомпоненты различных типов, контроллер 709 воспроизведения может учитывать это и может выбирать различные режимы воспроизведения для различных аудиотипов для данного громкоговорителя 703.
В качестве простого примера, контроллер 709 воспроизведения может выбирать использование режима воспроизведения с амплитудным панорамированием, чтобы компенсировать ошибки позиций громкоговорителей для аудиообъекта, который имеет намерение соответствовать сильнолокализованному источнику, и может использовать декоррелированный режим воспроизведения для объекта аудиосцены, который не имеет намерение предоставлять сильнолокализованный источник.
Во многих вариантах осуществления, аудиотип должен указываться посредством метаданных, принимаемых вместе с аудиообъектом. В некоторых вариантах осуществления, метаданные могут непосредственно указывать аудиотип, тогда как в других вариантах осуществления они могут представлять собой косвенный индикатор, например, посредством включения позиционных данных, которые являются применимыми только к одному аудиотипу.
Приемное устройство 705 в силу этого может принимать такие данные индикаторов аудиотипов и подавать их в контроллер 709 воспроизведения, который использует их при выборе надлежащих режимов воспроизведения. Соответственно, контроллер 709 воспроизведения может выбирать различные режимы воспроизведения для одного громкоговорителя 703, по меньшей мере, для двух аудиокомпонентов, которые имеют различные типы.
В некоторых вариантах осуществления, контроллер 709 воспроизведения может содержать различный набор режимов воспроизведения для выбора для различных аудиотипов. Например, для аудиоканала первый набор режимов воспроизведения может быть доступным для выбора посредством контроллера 709 воспроизведения, для аудиообъекта может быть доступным другой набор режимов воспроизведения, а для объекта аудиосцены может быть доступным еще один другой набор режимов воспроизведения.
В качестве другого примера, контроллер 709 воспроизведения может сначала формировать поднабор, содержащий доступные способы воспроизведения, которые являются, в общем, подходящими для фактической компоновки громкоговорителей. Таким образом, конфигурационные данные воспроизведения могут использоваться для того, чтобы определять поднабор доступных режимов воспроизведения. Поднабор в силу этого должен зависеть от пространственного распределения громкоговорителей. В качестве примера, если компоновка громкоговорителей состоит из определенного числа громкоговорителей, которые распределены более или менее равноотстояще вокруг слушателя, модуль может прийти к заключению, что режимы воспроизведения с векторным амплитудным панорамированием и амбиофонического воспроизведения представляют собой возможные подходящие способы, в то время как формирование диаграммы направленности не представляет.
В качестве следующего этапа, другая доступная информация используется посредством системы, чтобы выбирать между режимами воспроизведения сформированного поднабора. В частности, может рассматриваться аудиотип аудиообъектов. Например, для аудиоканалов, векторное амплитудное панорамирование может выбираться предпочтительно относительно амбиофонического воспроизведения, в то время как для аудиообъектов, которые (например, как указано посредством метаданных) должны быть подготовлены посредством воспроизведения как сильнорассеянные, может выбираться амбиофоническое воспроизведение.
Далее приводятся некоторые возможные примеры:
- стандартное стереофоническое воспроизведение может выбираться, если конфигурация громкоговорителей по существу соответствует стандартной стереофонической (многоканальной) конфигурации громкоговорителей, и аудиотип является "канальным" или "объектно-ориентированным".
- векторное амплитудное панорамирование может выбираться, когда громкоговорители распределены более или менее случайно вокруг слушателя без чрезвычайно больших или чрезвычайно небольших промежуточных "зазоров", и аудиотип является "канальным" или "объектно-ориентированным".
- воспроизведение с формированием диаграммы направленности может выбираться, если громкоговорители кластеризованы в близкорасположенный массив (например, с промежутком менее чем в несколько дециметров).
- воспроизведение с подавлением перекрестных помех может выбираться, когда предусмотрено два громкоговорителя, размещенных с симметричными азимутами относительно слушателя, и имеется только один пользователь.
- стереодипольное воспроизведение может выбираться в ситуациях, в которых компоновка передних громкоговорителей состоит из двух близкорасположенных громкоговорителей, к примеру, когда планшетный компьютер используется для того, чтобы смотреть кино.
- воспроизведение на основе амбиофонии может выбираться, когда конфигурация громкоговорителей по существу равноотстояще распределена вокруг слушателя, и аудиотип представляет собой "компонент аудиосцены" или "рассеянный" (объемный окружающий) тип "аудиообъекта".
- воспроизведение на основе синтеза волнового поля может выбираться для любого аудиотипа для конфигураций громкоговорителей с большим числом громкоговорителей, расположенных с интервалами не более чем на расстоянии приблизительно в 25 см, и когда требуется большая область прослушивания.
- оптимизированное воспроизведение по методу наименьших квадратов может выбираться для любого аудиотипа в ситуациях, в которых другие доступные способы воспроизведения не работают удовлетворительно.
Комбинация отдельного и независимого выбора подходящего режима воспроизведения для отдельных аудиотипов и отдельных поднаборов громкоговорителей в зависимости от позиций этих громкоговорителей обеспечивает достаточно преимущественную работу и высококачественное пространственное восприятие.
Тем не менее, следует принимать во внимание, что выбор алгоритмов воспроизведения на основе аудиотипа в принципе не ограничен сценариями, в котором различные алгоритмы воспроизведения выбираются для различных поднаборов громкоговорителей.
Например, устройство аудиообработки может содержать приемное устройство для приема аудиоданных, данных аудиоописания и конфигурационных данных воспроизведения, причем аудиоданные содержат аудиоданные для множества аудиокомпонентов различных аудиотипов, данные аудиоописания служат признаком, по меньшей мере, аудиотипа, по меньшей мере, некоторых аудиокомпонентов, а конфигурационные данные воспроизведения содержат позиционные данные аудиопреобразователей для набора аудиопреобразователей; модуль воспроизведения для формирования сигналов аудиопреобразователей для набора аудиопреобразователей, причем модуль воспроизведения допускает воспроизведение аудиокомпонентов в соответствии с множеством режимов воспроизведения; контроллер воспроизведения, выполненный с возможностью выбирать режим воспроизведения для модуля воспроизведения из множества режимов воспроизведения для каждого аудиокомпонента из множества аудиокомпонентов в ответ на данные аудиоописания и конфигурационные данные воспроизведения/позиционные данные аудиопреобразователей.
Таким образом, в такой системе, режимы воспроизведения не могут по отдельности выбираться для различных поднаборов аудиопреобразователей, а могут выбираться для всех аудиопреобразователей. В такой системе, описанная работа должна соответствовать принципам, описанным для устройства 701 аудиообработки по фиг. 7, но при этом должна просто рассматривать аудиопреобразователь, заданный в целом, и потенциально выбирать идентичный алгоритм воспроизведения для всех громкоговорителей 703. Таким образом, описание с необходимыми изменениями также является применимым к такой системе.
Тем не менее, в системе по фиг. 7, выбор режимов воспроизведения на основе данных аудиоописания и, в частности, на основе данных аудиотипа выполняется независимо для различных поднаборов громкоговорителей 703 таким образом, что режимы воспроизведения для различных поднаборов могут отличаться. Соответственно, достигается улучшенная адаптация к конкретной конфигурации воспроизведения и компоновке громкоговорителей, а также к подготовленному посредством воспроизведения аудио.
Следует принимать во внимание, что различные алгоритмы и критерии выбора для выбора режима воспроизведения для отдельных громкоговорителей могут использоваться в различных вариантах осуществления.
Во многих вариантах осуществления, контроллер 709 воспроизведения выполнен с возможностью выбирать режим воспроизведения для данного громкоговорителя на основе позиции этого громкоговорителя относительно предварительно определенной позиции. В частности, режим воспроизведения во многих вариантах осуществления может выбираться в зависимости от того, насколько фактическая позиция фактически отклоняется от номинальной позиции или позиции по умолчанию.
Например, для воспроизведения большинства аудиоканалов, предполагается компоновка громкоговорителей по умолчанию. Например, во многих системах предполагается набор фактически равноотстоящих громкоговорителей, окружающих позицию прослушивания на равном расстоянии. Для такого аудиообъекта контроллер 709 воспроизведения может быть выполнен с возможностью выбирать режим воспроизведения для громкоговорителей в зависимости от того, как близко они находятся к позиции по умолчанию.
Во многих вариантах осуществления, режим воспроизведения по умолчанию может быть обозначен для каждого аудиотипа. Режим воспроизведения по умолчанию может предоставлять преимущественное пространственное восприятие для пользователей для ситуаций, когда громкоговорители позиционируются в своих корректных позициях по умолчанию, или когда они отклоняются только на небольшую величину от них. Тем не менее, если один или более громкоговорителей позиционируются на большом расстоянии от надлежащей позиции, подготовленный посредством воспроизведения звук не может предоставлять требуемое пространственное аудиовосприятие. Например, если правый задний громкоговоритель позиционируется слева от пользователя, то задняя звуковая сцена искажается. Этот конкретный сценарий предоставляет пример того, как возможный подход к выбору режима воспроизведения может улучшать воспринимаемое ощущение. Например, если задние громкоговорители по существу располагаются под корректными углами, но левые и правые каналы объемного звучания переставляются, зачастую лучше выбирать способ воспроизведения, который просто переставляет два канала обратно на корректные места, вместо использования, например, способа на основе амплитудного панорамирования, которое дополнительно может приводить к утечке звука между каналами.
Таким образом, в некоторых вариантах осуществления, контроллер 709 воспроизведения может определять позицию каждого громкоговорителя относительно позиции по умолчанию. Если разность ниже данного порогового значения (которое может быть предварительно определено или может быть адаптировано динамически), выбирается режим воспроизведения по умолчанию. Например, для компонента аудиоканала, режим воспроизведения может представлять собой просто режим воспроизведения, который подает аудиоканал в надлежащий громкоговоритель, позиционированный в предполагаемой позиции по умолчанию. Тем не менее, если позиция громкоговорителя отклоняется более чем на пороговое значение, выбирается другой режим воспроизведения. Например, в этом случае, режим воспроизведения с амплитудным панорамированием выбирается на основе громкоговорителя и второго громкоговорителя на другой стороне позиции по умолчанию. В этом случае, воспроизведение с амплитудным панорамированием может использоваться для того, чтобы подготавливать посредством воспроизведения звук, соответствующий позиции по умолчанию, даже если громкоговоритель не позиционируется в этой позиции.
В качестве конкретного примера, если правый задний громкоговоритель позиционируется слева от слушателя, правый задний канал объемного звучания может быть подготовлен посредством воспроизведения с использованием амплитудного панорамирования между правым задним громкоговорителем и правым передним громкоговорителем. Таким образом, режим воспроизведения может изменяться как для громкоговорителя, который не находится в корректной позиции (правого заднего громкоговорителя), так и для другого громкоговорителя, который может находиться в позиции по умолчанию (правого переднего громкоговорителя). Тем не менее, режим воспроизведения для других громкоговорителей по-прежнему может использовать подход к воспроизведению по умолчанию (центральный, левый передний и левый задний громкоговорители). Кроме того, тогда как режим воспроизведения для громкоговорителя в позиции по умолчанию может изменяться вследствие позиции другого громкоговорителя на большом расстоянии от его позиции по умолчанию, это модифицированное воспроизведение может применяться только к некоторым аудиокомпонентам. Например, воспроизведение переднего аудиообъекта может использовать воспроизведение по умолчанию для правого переднего громкоговорителя.
В некоторых вариантах осуществления, контроллер 709 воспроизведения для данного аудиообъекта может разделять громкоговорители 703, по меньшей мере, на два поднабора. Первый поднабор может включать в себя, по меньшей мере, один громкоговоритель 703, для которого разность между позицией аудиопреобразователя и предварительно определенной позицией превышает данное пороговое значение. Второй поднабор может включать в себя, по меньшей мере, один громкоговоритель 703, для которого разность между позицией аудиопреобразователя и предварительно определенной позицией не превышает пороговое значение. Набор режимов воспроизведения, которые могут выбираться посредством контроллера 709 воспроизведения, в этом варианте осуществления может отличаться. В частности, для второго поднабора, режим воспроизведения может выбираться из набора режимов воспроизведения по умолчанию. Фактически, в некоторых сценариях, набор режимов воспроизведения по умолчанию может содержать только один режим воспроизведения по умолчанию. Тем не менее, для первого поднабора режим воспроизведения может выбираться из другого набора режимов воспроизведения, которые, в частности, могут содержать только режимы воспроизведения не по умолчанию. Следует принимать во внимание, что первый поднабор громкоговорителей может потенциально также включать в себя один или более громкоговорителей, которые находятся в позиции по умолчанию. Например, для правого заднего громкоговорителя, позиционированного слева от пользователя, первый поднабор может включать в себя не только правый задний громкоговоритель, но также и правый передний громкоговоритель.
В качестве другого примера, система может состоять из небольшого числа близкорасположенных громкоговорителей перед слушателем и двух задних громкоговорителей в "стандартных" левой и правой позициях объемного звучания. В этом случае, второй поднабор может состоять из двух задних и одного центрального из близкорасположенных передних громкоговорителей, как левый и правый каналы объемного звучания, так и центральные каналы канального сигнала могут отправляться непосредственно в соответствующие динамики. Близкорасположенные передние громкоговорители, включающие в себя "центральный" громкоговоритель из второго поднабора, формируют первый поднабор в этом случае, и воспроизведение с формированием диаграммы направленности может применяться к ним для воспроизведения левого и правого переднего канала канального сигнала.
В некоторых вариантах осуществления, контроллер 709 воспроизведения может рассматривать другие конфигурационные данные воспроизведения при выборе надлежащих режимов воспроизведения.
Например, контроллер 709 воспроизведения может содержать информацию относительно позиции прослушивания и может использовать ее для того, чтобы выбирать подходящий алгоритм. Например, если позиция прослушивания изменяется таким образом, что она является асимметричной относительно компоновки громкоговорителей, контроллер 709 воспроизведения может склонять выбор к использованию векторного амплитудного панорамирования, чтобы компенсировать такую асимметрию.
В качестве другого примера, в случаях, в которых позиция прослушивания является динамической, и конфигурация громкоговорителей состоит из массивов громкоговорителей, окружающих слушателя, воспроизведение на основе синтеза волнового поля может использоваться для того, чтобы предоставлять оптимальное восприятие при прослушивании во всех позициях в большой области прослушивания.
В качестве еще одного другого примера, если позиция пользователя может отслеживаться, и только несколько громкоговорителей перед слушателем доступны, воспроизведение с подавлением перекрестных помех может использоваться и может управляться адаптивно согласно позиционным данным слушателей,
Следует принимать во внимание, что разные подходы для выбора и оценки различных режимов воспроизведения или комбинаций режимов воспроизведения могут использоваться в различных вариантах осуществления.
Например, во многих вариантах осуществления, контроллер 709 воспроизведения может быть выполнен с возможностью выбирать режим воспроизведения в ответ на показатель качества, сформированный посредством перцепционной модели. В частности, контроллер 709 воспроизведения может быть выполнен с возможностью выбирать режим воспроизведения на основе показателя качества, получающегося в результате вычислительной перцепционной модели. Например, контроллер 709 воспроизведения может быть выполнен с возможностью использовать вычислительное моделирование ожидаемого восприятия при прослушивании для пользователя, чтобы оценивать, какой способ воспроизведения предоставляет звуковое изображение, которое является ближайшим к идеальному воспроизведению аудиоданных. Подход, например, может быть основан на таких способах, как способы, описанные в работе M. Park, P. A. Nelson и K. Kang "A Model of Sound Localisation Applied to the Evaluation of Systems for Stereophony", Acta Acustica united with Acustica, 94(6), 825-839 (2008 год).
Такие перцепционные модели, в частности, могут допускать вычисление показателя качества или показателя на основе вводов в уши слушателя. Таким образом, модель для данного ввода для каждого уха слушателя может оценивать качество воспринимаемого пространственного ощущения.
В качестве примера, контроллер 709 воспроизведения, соответственно, может оценивать различные комбинации режимов воспроизведения, при этом каждая комбинация соответствует выбору режимов воспроизведения для различных поднаборов динамиков. Для каждой из этих комбинаций могут вычисляться результирующие сигналы в ушах слушателя в позиции прослушивания по умолчанию. Это вычисление учитывает позиции громкоговорителей 703, включающие в себя потенциально характеристики помещения и т.д.
Например, может сначала вычисляться аудио, которое подготовлено посредством воспроизведения из каждого динамика (пи условии конкретных режимов воспроизведения оцениваемой комбинации). Передаточная функция может оцениваться из каждого динамика в каждое ухо слушателя на основе конкретных позиций динамика, и результирующие аудиосигналы в ушах пользователя, соответственно, могут оцениваться посредством комбинирования долей из каждого динамика и с учетом оцененных передаточных функций. Результирующий бинауральный сигнал затем вводится в вычислительную перцепционную модель (к примеру, модель, предложенную в вышеуказанной статье), и вычисляется результирующий показатель качества. Подход повторяется для всех комбинаций, приводящих к набору показателей качества. Контроллер 709 воспроизведения затем может выбирать комбинацию режимов воспроизведения, которая предоставляет наилучший показатель качества.
Каждая комбинация режимов воспроизведения может соответствовать возможному выбору режимов воспроизведения для множества поднаборов громкоговорителей 703, при этом режим воспроизведения для каждого поднабора может выбираться по отдельности. Кроме того, различные комбинации могут соответствовать разделениям на различные поднаборы. Например, одна комбинация может рассматривать стереофоническое воспроизведение для передних динамиков и воспроизведение по методу наименьших квадратов для задних динамиков; другая может рассматривать воспроизведение с формированием диаграммы направленности для передних динамиков и воспроизведение по методу наименьших квадратов для задних динамиков, еще одна может рассматривать амплитудное панорамирование для левых динамиков и стереофоническое воспроизведение для задних и центральных динамиков и т.д.
Фактически в принципе и фактически в некоторых вариантах осуществления, комбинации могут включать в себя все возможные разделения на поднаборы и все возможные выборы режима воспроизведения для этих поднаборов. Тем не менее, следует принимать во внимание, что во многих вариантах осуществления, такая оценка может быть слишком сложной и содержать большой объем вычислений. Во многих вариантах осуществления, число комбинаций может существенно уменьшаться, например, посредством разделения динамиков на поднаборы на основе их позиции (например, в одном поднаборе все динамики находятся близко к своей позиции по умолчанию, а в другом - все динамики не находятся близко к своей позиции по умолчанию), и рассматриваются только эти поднаборы. Альтернативно или дополнительно, другие требования или критерии могут использоваться для того, чтобы сокращать число режимов воспроизведения, которые рассматриваются для каждого поднабора. Например, формирование диаграммы направленности может игнорироваться для всех поднаборов, в которых позиции громкоговорителей не находятся достаточно близко друг к другу.
В некоторых вариантах осуществления, контроллер 709 воспроизведения, соответственно, может быть выполнен с возможностью формировать оценки бинаурального сигнала для множества комбинаций режимов воспроизведения для различных поднаборов динамиков; определять показатель качества для каждой комбинации в ответ на оценки бинаурального сигнала; и выбирать режимы воспроизведения в качестве комбинации режимов воспроизведения, для которых показатель качества указывает высшее качество.
Во многих вариантах осуществления, режим воспроизведения для данного поднабора громкоговорителей выбирается на основе позиций громкоговорителей в поднаборе. Тем не менее, в некоторых вариантах осуществления, контроллер 709 воспроизведения дополнительно может учитывать позицию громкоговорителей, которые не являются частью поднабора. Например, в сценарии, в котором воспроизведение аудиообъекта должен быть в позиции, в которой нет ни одного громкоговорителя в близкой окрестности (например, источник позади слушателя, тогда как громкоговорители присутствуют только перед слушателем), алгоритм "виртуального воспроизведения", такой как воспроизведение с подавлением перекрестных помех или с формированием диаграммы направленности, может использоваться, причем окончательный выбор между этими вариантами зависит от характеристик фактической конфигурации громкоговорителей (например, разнесения).
В некоторых вариантах осуществления, контроллер 709 воспроизведения может быть выполнен с возможностью дополнительно учитывать данные характеристик воспроизведения аудио громкоговорителей 703 при выборе режима воспроизведения. Например, если подвесной громкоговоритель из трехмерной компоновки громкоговорителей представляет собой небольшой громкоговоритель для воспроизведения верхних частот, который не допускает воспроизведение низких частот (что оправдано, поскольку монтаж крупного полнодиапазонного динамика на потолке является непростой задачей), низкочастотная часть сигнала, предназначенного для подвесного динамика, может быть распределена равномерно во все полнодиапазонные динамики, окружающие слушателя в горизонтальной плоскости.
В некоторых вариантах осуществления, контроллер 709 воспроизведения может быть выполнен с возможностью выбирать режим воспроизведения в ответ на пользовательские настройки воспроизведения. Пользовательские настройки, например, могут предоставляться в качестве пользовательского ввода вручную. В некоторых вариантах осуществления, пользовательские настройки могут определяться в ответ на пользовательские вводы, которые предоставляются в ходе работы. Например, устройство 701 аудиообработки может подготавливать посредством воспроизведения аудио при переключении между возможными режимами воспроизведения. Пользователь может указывать свое предпочтительное воспроизведение, и устройство 701 аудиообработки может сохранять эти настройки и использовать их для того, чтобы адаптировать алгоритм выбора. Например, пороговое значение для выбора между двумя возможными режимами воспроизведения может быть смещено в направлении настроек пользователя.
В некоторых вариантах осуществления, приемное устройство 705 дополнительно может принимать позиционные данные для воспроизведения для одного или более аудиокомпонентов, и выбор режима воспроизведения для одного или более аудиокомпонентов может зависеть от позиции.
Например, аудиообъект для локализованного источника звука может приниматься вместе с позиционными данными, указывающими позицию, в которой должен быть подготовлен посредством воспроизведения аудиообъект. Контроллер 709 воспроизведения затем может оценивать то, соответствует или нет позиция позиции, которая для конкретной текущей компоновки громкоговорителей может быть подготовлена посредством воспроизведения точно в требуемой позиции с использованием векторного амплитудного панорамирования. Если да, он продолжает выбирать алгоритм воспроизведения с векторным амплитудным панорамированием для аудиообъекта. Тем не менее, если текущая конфигурация воспроизведения не обеспечивает амплитудное панорамирование, чтобы предоставлять подходящее позиционирование источников звука (например, вследствие размещения релевантных громкоговорителей только с другой стороны от пользователя), контроллер 709 воспроизведения вместо этого может выбирать подход к воспроизведению, который декоррелирует сигналы возбуждения между двумя или более громкоговорителями, чтобы формировать рассеянное пространственное восприятие позиции источника звука.
В некоторых вариантах осуществления, подход может применяться в отдельных полосах частот. В частности, в некоторых вариантах осуществления, устройство 701 аудиообработки может быть выполнено с возможностью потенциально использовать различные алгоритмы воспроизведения для различных полос частот аудиокомпонента. В таких вариантах осуществления, контроллер 709 воспроизведения может быть выполнен с возможностью осуществлять независимый выбор режимов воспроизведения для различных полос частот.
Например, модуль 707 воспроизведения может быть выполнен с возможностью разделять данный аудиокомпонент на высокочастотный компонент и низкочастотный компонент (например, с частотой разделения приблизительно 500 Гц). Воспроизведение каждого из этих компонентов может выполняться по отдельности, и в силу этого различные алгоритмы воспроизведения могут потенциально использоваться для различных полос частот. Дополнительная свобода дает возможность контроллеру 709 воспроизведения оптимизировать выбор режимов воспроизведения для конкретной пространственной значимости аудиокомпонентов в различных полосах частот. В частности, человеческое пространственное восприятие, в общем, в большей степени зависит от пространственных сигнальных меток в верхних частотах, чем в нижних частотах. Соответственно, контроллер 709 воспроизведения может выбирать режим воспроизведения для полосы высоких частот, которая предоставляет требуемое пространственное восприятие, тогда как для полосы низких частот может выбираться другой и более простой алгоритм воспроизведения с менее строгим требованием к ресурсам.
В качестве другого примера, контроллер 709 воспроизведения может обнаруживать то, что поднабор громкоговорителей может считаться размещенным в качестве массива с определенным разнесением, заданным в качестве максимального расстояния между любыми двумя соседними громкоговорителями поднабора. В таком случае, разнесение массива определяет верхнюю частоту, для которой поднабор может эффективно и преимущественно использоваться в качестве массива, например, для формирования диаграммы направленности или синтеза волнового поля, или метода наименьших квадратов. Контроллер 709 воспроизведения затем может разбивать аудиокомпонент, чтобы формировать низкочастотный компонент, который подготовлен посредством воспроизведения с использованием любого из способов воспроизведения на основе массива.
Во многих вариантах осуществления, устройство 701 аудиообработки может быть выполнено с возможностью динамически изменять выбор режимов воспроизведения. Например, по мере того, как изменяются характеристики аудиокомпонентов (например, из представления конкретного источника звука на общий фоновый шум, когда, например, громкоговоритель прекращает разговор), контроллер 709 воспроизведения может изменять используемый режим воспроизведения.
В некоторых вариантах осуществления, изменение режима воспроизведения может быть постепенным переходом. К примеру, вместо простого переключения между выводами различных механизмов воспроизведения, как в примере по фиг. 8, может выполняться медленное постепенное появление одного сигнала и исчезновение другого сигнала.
В некоторых вариантах осуществления, контроллер 709 воспроизведения может быть выполнен с возможностью синхронизировать изменение режима воспроизведения для аудиокомпонента с изменениями аудиоконтента аудиокомпонента.
Таким образом, в некоторых вариантах осуществления, выбор режима воспроизведения может быть динамическим и изменяться с изменениями контента. Изменения выбора могут быть синхронизированы с переходами в аудио, таким как, например, смены сцен. Например, устройство 701 аудиообработки может быть выполнено с возможностью обнаруживать существенные и мгновенные переходы в аудиоконтенте, такие как, например, изменение (фильтрованного по нижним частотам) уровня амплитуды или существенные изменения в (усредненном по времени) частотном спектре. Каждый раз, когда такое изменение обнаруживается, контроллер 709 воспроизведения может выполнять переоценку, чтобы определять дальнейший подходящий режим воспроизведения.
Следует принимать во внимание, что вышеприведенное описание для понятности описывает варианты осуществления со ссылкой на различные функциональные схемы, модули и процессоры. Тем не менее, должно быть очевидным, что любое надлежащее распределение функциональности между различными функциональными схемами, модулями или процессорами может быть использовано без отступления от изобретения. Например, функциональность, проиллюстрированная как выполняемая посредством отдельных процессоров или контроллеров, может быть выполнена посредством одного процессора или контроллера. Следовательно, ссылки на конкретные функциональные модули или схемы должны рассматриваться только как ссылки на надлежащее средство предоставления описанной функциональности, а не обозначать точную логическую или физическую структуру либо организацию.
Изобретение может быть реализовано в любой надлежащей форме, включающей в себя аппаратные средства, программное обеспечение, микропрограммное обеспечение или любую комбинацию вышеозначенного. Необязательно, изобретение может быть реализовано, по меньшей мере, частично как вычислительное программное обеспечение, выполняемое на одном или более процессоров данных и/или процессоров цифровых сигналов. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически реализованы любым надлежащим образом. Фактически, функциональность может быть реализована в одном модуле, во множестве моделей или как часть других функциональных модулей. По существу, изобретение может быть реализовано в одном модуле или может быть физически и функционально распределено между различными модулями, схемами и процессорами.
Хотя настоящее изобретение описано в связи с некоторыми вариантами осуществления, оно не имеет намерение быть ограниченным конкретной изложенной в данном документе формой. Вместо этого, объем настоящего изобретения ограничен только посредством прилагаемой формулы изобретения. Дополнительно, хотя предположительно признак описывается в данном документе в связи с конкретными вариантами осуществления, специалисты в данной области техники должны признавать, что различные признаки описанных вариантов осуществления могут быть комбинированы в соответствии с изобретением. В формуле изобретения, термин "содержащий" не исключает наличия других элементов или этапов.
Более того, хотя перечислены по отдельности, множество средств, элементов, схем или этапов способа может быть реализовано посредством, к примеру, одной схемы, модуля или процессора. Дополнительно, хотя отдельные признаки могут быть включены в различные пункты формулы изобретения, они могут быть преимущественно комбинированы, и их включение в различные пункты формулы изобретения не подразумевает, что комбинация признаков не является выполнимой и/или преимущественной. Так же, включение признака в одну категорию пунктов формулы изобретения не налагает ограничение на эту категорию, а вместо этого указывает то, что признак в равной степени применим к другим категориям пунктов формулы изобретения по мере необходимости. Более того, порядок признаков в пунктах формулы изобретения не налагает какой-либо конкретный порядок, в котором должны осуществляться признаки, и, в частности, порядок отдельных этапов в пункте формулы изобретения на способ не подразумевает, что этапы должны выполняться в этом порядке. Вместо этого, этапы могут выполняться в любом надлежащем порядке. Кроме того, ссылки в единственном числе не исключают множественность. Таким образом, ссылки на "первый", "второй" и т.д. не исключают множественность. Ссылки с номерами в формуле изобретения предоставлены просто в качестве поясняющего примера, и они не должны истолковываться как каким-либо образом ограничивающие объем формулы изобретения.

Claims (39)

1. Устройство аудиообработки, содержащее:
- приемное устройство (705) для приема аудиоданных и конфигурационных данных воспроизведения, причем аудиоданные содержат аудиоданные для множества аудиокомпонентов, а конфигурационные данные воспроизведения содержат позиционные данные аудиопреобразователей для набора аудиопреобразователей (703);
- модуль (707) воспроизведения для формирования сигналов аудиопреобразователей для набора аудиопреобразователей из аудиоданных, причем модуль (707) воспроизведения выполнен с возможностью воспроизведения аудиокомпонентов в соответствии с множеством режимов воспроизведения;
- контроллер (709) воспроизведения, выполненный с возможностью выбирать режимы воспроизведения для модуля (707) воспроизведения из множества режимов воспроизведения в ответ позиционные данные аудиопреобразователей; и
- при этом модуль (707) воспроизведения выполнен с возможностью использовать различные режимы воспроизведения для различных поднаборов набора аудиопреобразователей и независимо выбирать режимы воспроизведения для каждого из различных поднаборов набора аудиопреобразователей (703), и
- при этом контроллер (709) воспроизведения выполнен с возможностью выбирать режим воспроизведения для первого аудиопреобразователя из набора аудиопреобразователей (703) в ответ на позицию первого аудиопреобразователя относительно предварительно определенной позиции для аудиопреобразователя.
2. Устройство аудиообработки по п. 1, в котором модуль (707) воспроизведения выполнен с возможностью использовать различные режимы воспроизведения для аудиообъектов для первого аудиопреобразователя из набора аудиопреобразователей (703), и контроллер (709) воспроизведения выполнен с возможностью независимо выбирать режимы воспроизведения для каждого из аудиообъектов для первого аудиопреобразователя.
3. Устройство аудиообработки по п. 1 или 2, в котором, по меньшей мере, два из множества аудиокомпонентов являются различными аудиотипами.
4. Устройство аудиообработки по п. 3, в котором множество аудиокомпонентов содержит, по меньшей мере, два аудиокомпонента различных аудиотипов из группы, состоящей из следующего:
- компоненты аудиоканалов,
- компоненты аудиообъектов, и
- компоненты аудиосцен;
и модуль воспроизведения выполнен с возможностью использовать различные режимы воспроизведения, по меньшей мере, для двух аудиокомпонентов.
5. Устройство аудиообработки по п. 3, в котором приемное устройство (705) выполнено с возможностью принимать данные индикаторов аудиотипов, указывающие аудиотип, по меньшей мере, первого аудиокомпонента, и контроллер (709) воспроизведения выполнен с возможностью выбирать режим воспроизведения для первого аудиокомпонента в ответ на данные индикаторов аудиотипов.
6. Устройство аудиообработки по п. 1, в котором контроллер (709) воспроизведения выполнен с возможностью выбирать режим воспроизведения по умолчанию для первого аудиопреобразователя, если разность между позицией первого аудиопреобразователя и предварительно определенной позицией не превышает пороговое значение.
7. Устройство аудиообработки по п. 1, в котором контроллер (709) воспроизведения выполнен с возможностью разделять набор аудиопреобразователей (703) на первый поднабор аудиопреобразователей, содержащих аудиопреобразователи, для которых разность между позицией аудиопреобразователя и предварительно определенной позицией превышает пороговое значение, и второй поднабор аудиопреобразователей, содержащих, по меньшей мере, один аудиопреобразователь, для которого разность между позицией аудиопреобразователя и предварительно определенной позицией не превышает пороговое значение; и выбирать режим воспроизведения для каждого аудиопреобразователя первого поднабора из первого поднабора режимов воспроизведения и выбирать режим воспроизведения для каждого аудиопреобразователя второго поднабора из второго поднабора режимов воспроизведения.
8. Устройство аудиообработки по п. 1, в котором множество режимов воспроизведения включает в себя, по меньшей мере, один режим воспроизведения, выбранный из группы, состоящей из следующего:
- стереофоническое воспроизведение;
- воспроизведение с векторным амплитудным панорамированием;
- воспроизведение с формированием диаграммы направленности;
- воспроизведение с подавлением перекрестных помех;
- амбиофоническое воспроизведение;
- воспроизведение на основе синтеза волнового поля; и
- оптимизированное воспроизведение по методу наименьших квадратов.
9. Устройство аудиообработки по п. 1, в котором приемное устройство (705) дополнительно выполнено с возможностью принимать позиционные данные для воспроизведения для аудиокомпонентов, и контроллер (709) воспроизведения выполнен с возможностью выбирать режимы воспроизведения в ответ на позиционные данные для воспроизведения.
10. Устройство аудиообработки по п. 1, в котором модуль (707) воспроизведения выполнен с возможностью использовать различные режимы воспроизведения для различных полос частот аудиокомпонента из аудиокомпонентов; и контроллер (709) воспроизведения выполнен с возможностью независимо выбирать режимы воспроизведения для различных полос частот аудиокомпонента.
11. Устройство аудиообработки по п. 1, в котором контроллер (709) воспроизведения выполнен с возможностью синхронизировать изменение воспроизведения, по меньшей мере, для одного аудиокомпонента с изменением аудиоконтента, по меньшей мере, одного аудиокомпонента.
12. Устройство аудиообработки по п. 1, в котором контроллер (709) воспроизведения дополнительно выполнен с возможностью выбирать режимы воспроизведения в ответ на конфигурационные данные воспроизведения из группы, состоящей из следующего:
- позиционные данные аудиопреобразователей для аудиопреобразователей не в наборе аудиопреобразователей,
- позиционные данные для прослушивания;
- данные характеристик воспроизведения аудио с помощью аудиопреобразователей для аудиопреобразователей набора аудиопреобразователей; и
- пользовательские настройки воспроизведения.
13. Устройство аудиообработки по п. 1, в котором контроллер (709) воспроизведения выполнен с возможностью выбирать режим воспроизведения в ответ на показатель качества, сформированный посредством перцепционной модели.
14. Способ аудиообработки, при этом способ содержит этапы, на которых:
- принимают аудиоданные и конфигурационные данные воспроизведения, причем аудиоданные содержат аудиоданные для множества аудиокомпонентов, а конфигурационные данные воспроизведения содержат позиционные данные аудиопреобразователей для набора аудиопреобразователей (703);
- формируют сигналы аудиопреобразователей для набора аудиопреобразователей из аудиоданных, причем этап формирования содержит этап, на котором воспроизводят аудиокомпоненты в соответствии с режимами воспроизведения множества возможных режимов воспроизведения;
- выбирают режимы воспроизведения для модуля воспроизведения из множества возможных режимов воспроизведения в ответ позиционные данные аудиопреобразователей; и
- при этом этап формирования сигналов аудиопреобразователей содержит этап, на котором используют различные режимы воспроизведения для различных поднаборов набора аудиопреобразователей и независимо выбирают режимы воспроизведения для каждого из различных поднаборов набора аудиопреобразователей (703), и
- при этом этап выбора режимов воспроизведения для модуля воспроизведения содержит этап, на котором выбирают режим воспроизведения для первого аудиопреобразователя из набора преобразователей (703) в ответ на позицию первого аудиопреобразователя относительно предварительно определенной позиции для аудиопреобразователя.
RU2015153540A 2013-05-16 2014-05-16 Устройство аудиообработки и способ для этого RU2667630C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13168064 2013-05-16
EP13168064.7 2013-05-16
PCT/EP2014/060109 WO2014184353A1 (en) 2013-05-16 2014-05-16 An audio processing apparatus and method therefor

Publications (2)

Publication Number Publication Date
RU2015153540A RU2015153540A (ru) 2017-06-21
RU2667630C2 true RU2667630C2 (ru) 2018-09-21

Family

ID=48482916

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015153540A RU2667630C2 (ru) 2013-05-16 2014-05-16 Устройство аудиообработки и способ для этого

Country Status (8)

Country Link
US (4) US10582330B2 (ru)
EP (1) EP2997742B1 (ru)
JP (1) JP6515087B2 (ru)
CN (1) CN105191354B (ru)
BR (1) BR112015028337B1 (ru)
ES (1) ES2931952T3 (ru)
RU (1) RU2667630C2 (ru)
WO (1) WO2014184353A1 (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2771954C2 (ru) * 2018-10-16 2022-05-16 Долби Лэборетериз Лайсенсинг Корпорейшн Способы и устройства для управления низкими звуковыми частотами
US11477601B2 (en) 2018-10-16 2022-10-18 Dolby Laboratories Licensing Corporation Methods and devices for bass management

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6515087B2 (ja) * 2013-05-16 2019-05-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． オーディオ処理装置及び方法
US10499176B2 (en) 2013-05-29 2019-12-03 Qualcomm Incorporated Identifying codebooks to use when coding spatial components of a sound field
CN105814914B (zh) * 2013-12-12 2017-10-24 株式会社索思未来 音频再生装置以及游戏装置
US9866986B2 (en) 2014-01-24 2018-01-09 Sony Corporation Audio speaker system with virtual music performance
US9922656B2 (en) * 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
CN105376691B (zh) * 2014-08-29 2019-10-08 杜比实验室特许公司 感知方向的环绕声播放
US9578439B2 (en) * 2015-01-02 2017-02-21 Qualcomm Incorporated Method, system and article of manufacture for processing spatial audio
EP3272134B1 (en) * 2015-04-17 2020-04-29 Huawei Technologies Co., Ltd. Apparatus and method for driving an array of loudspeakers with drive signals
EP3286930B1 (en) 2015-04-21 2020-05-20 Dolby Laboratories Licensing Corporation Spatial audio signal manipulation
US20160337755A1 (en) * 2015-05-13 2016-11-17 Paradigm Electronics Inc. Surround speaker
CN106303897A (zh) * 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
WO2017022461A1 (ja) * 2015-07-31 2017-02-09 ソニー株式会社 受信装置、送信装置、及び、データ処理方法
EP3346728A4 (en) 2015-09-03 2019-04-24 Sony Corporation SOUND PROCESSING DEVICE, METHOD AND PROGRAM
US9961467B2 (en) * 2015-10-08 2018-05-01 Qualcomm Incorporated Conversion from channel-based audio to HOA
US9961475B2 (en) * 2015-10-08 2018-05-01 Qualcomm Incorporated Conversion from object-based audio to HOA
US10249312B2 (en) 2015-10-08 2019-04-02 Qualcomm Incorporated Quantization of spatial vectors
EP3389285B1 (en) * 2015-12-10 2021-05-05 Sony Corporation Speech processing device, method, and program
US10278000B2 (en) 2015-12-14 2019-04-30 Dolby Laboratories Licensing Corporation Audio object clustering with single channel quality preservation
EP3188504B1 (en) 2016-01-04 2020-07-29 Harman Becker Automotive Systems GmbH Multi-media reproduction for a multiplicity of recipients
US9924291B2 (en) * 2016-02-16 2018-03-20 Sony Corporation Distributed wireless speaker system
KR102519902B1 (ko) 2016-02-18 2023-04-10 삼성전자 주식회사 오디오 데이터를 처리하는 방법 및 이를 제공하는 전자 장치
WO2017153872A1 (en) 2016-03-07 2017-09-14 Cirrus Logic International Semiconductor Limited Method and apparatus for acoustic crosstalk cancellation
US9826330B2 (en) 2016-03-14 2017-11-21 Sony Corporation Gimbal-mounted linear ultrasonic speaker assembly
CN105959905B (zh) * 2016-04-27 2017-10-24 北京时代拓灵科技有限公司 混合模式空间声生成系统与方法
US10869151B2 (en) 2016-05-31 2020-12-15 Sharp Kabushiki Kaisha Speaker system, audio signal rendering apparatus, and program
US9794724B1 (en) 2016-07-20 2017-10-17 Sony Corporation Ultrasonic speaker assembly using variable carrier frequency to establish third dimension sound locating
CN109716794B (zh) * 2016-09-20 2021-07-13 索尼公司 信息处理装置、信息处理方法及计算机可读存储介质
US9980078B2 (en) * 2016-10-14 2018-05-22 Nokia Technologies Oy Audio object modification in free-viewpoint rendering
WO2018072214A1 (zh) * 2016-10-21 2018-04-26 向裴 混合现实音频系统
GB2557218A (en) * 2016-11-30 2018-06-20 Nokia Technologies Oy Distributed audio capture and mixing
EP3373604B1 (en) 2017-03-08 2021-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for providing a measure of spatiality associated with an audio stream
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
GB2563635A (en) * 2017-06-21 2018-12-26 Nokia Technologies Oy Recording and rendering audio signals
CN109389986B (zh) * 2017-08-10 2023-08-22 华为技术有限公司 时域立体声参数的编码方法和相关产品
CN113207078B (zh) 2017-10-30 2022-11-22 杜比实验室特许公司 在扬声器的任意集合上的基于对象的音频的虚拟渲染
EP3726859A4 (en) * 2017-12-12 2021-04-14 Sony Corporation SIGNAL PROCESSING DEVICE AND METHOD, AND PROGRAM
EP3506661A1 (en) * 2017-12-29 2019-07-03 Nokia Technologies Oy An apparatus, method and computer program for providing notifications
KR20190083863A (ko) * 2018-01-05 2019-07-15 가우디오랩 주식회사 오디오 신호 처리 방법 및 장치
CN115334444A (zh) * 2018-04-11 2022-11-11 杜比国际公司 用于音频渲染的预渲染信号的方法、设备和系统
EP4123644B1 (en) * 2018-04-11 2024-08-21 Dolby International AB 6dof audio decoding and/or rendering
JP6998823B2 (ja) * 2018-04-13 2022-02-04 日本放送協会 マルチチャンネル客観評価装置及びプログラム
US11356789B2 (en) 2018-04-24 2022-06-07 Sony Corporation Signal processing device, channel setting method, and speaker system
US10999693B2 (en) * 2018-06-25 2021-05-04 Qualcomm Incorporated Rendering different portions of audio data using different renderers
WO2020030768A1 (en) * 2018-08-09 2020-02-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An audio processor and a method for providing loudspeaker signals
WO2020030769A1 (en) * 2018-08-09 2020-02-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An audio processor and a method considering acoustic obstacles and providing loudspeaker signals
WO2020030304A1 (en) * 2018-08-09 2020-02-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An audio processor and a method considering acoustic obstacles and providing loudspeaker signals
EP3617871A1 (en) * 2018-08-28 2020-03-04 Koninklijke Philips N.V. Audio apparatus and method of audio processing
US11798569B2 (en) * 2018-10-02 2023-10-24 Qualcomm Incorporated Flexible rendering of audio data
US11019449B2 (en) * 2018-10-06 2021-05-25 Qualcomm Incorporated Six degrees of freedom and three degrees of freedom backward compatibility
GB201818959D0 (en) 2018-11-21 2019-01-09 Nokia Technologies Oy Ambience audio representation and associated rendering
CN113767650B (zh) * 2019-05-03 2023-07-28 杜比实验室特许公司 使用多种类型的渲染器渲染音频对象
US11178504B2 (en) * 2019-05-17 2021-11-16 Sonos, Inc. Wireless multi-channel headphone systems and methods
CN113678473A (zh) * 2019-06-12 2021-11-19 谷歌有限责任公司 三维音频源空间化
US10972852B2 (en) * 2019-07-03 2021-04-06 Qualcomm Incorporated Adapting audio streams for rendering
WO2021021707A1 (en) * 2019-07-30 2021-02-04 Dolby Laboratories Licensing Corporation Managing playback of multiple streams of audio over multiple speakers
WO2021021460A1 (en) * 2019-07-30 2021-02-04 Dolby Laboratories Licensing Corporation Adaptable spatial audio playback
GB2587357A (en) * 2019-09-24 2021-03-31 Nokia Technologies Oy Audio processing
CN114830233A (zh) * 2019-12-09 2022-07-29 杜比实验室特许公司 基于噪声指标和语音可懂度指标来调整音频和非音频特征
US11443737B2 (en) 2020-01-14 2022-09-13 Sony Corporation Audio video translation into multiple languages for respective listeners
US10945090B1 (en) * 2020-03-24 2021-03-09 Apple Inc. Surround sound rendering based on room acoustics
AT523644B1 (de) * 2020-12-01 2021-10-15 Atmoky Gmbh Verfahren für die Erzeugung eines Konvertierungsfilters für ein Konvertieren eines multidimensionalen Ausgangs-Audiosignal in ein zweidimensionales Hör-Audiosignal
JP2023553489A (ja) * 2020-12-15 2023-12-21 シング，インコーポレイテッド オーディオアップミキシングのためのシステムおよび方法
US11477600B1 (en) * 2021-05-27 2022-10-18 Qualcomm Incorporated Spatial audio data exchange

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1061774A2 (en) * 1999-06-15 2000-12-20 Yamaha Corporation Audio system having a sound field processor
EP1416769A1 (en) * 2002-10-28 2004-05-06 Electronics and Telecommunications Research Institute Object-based three-dimensional audio system and method of controlling the same
RU2383941C2 (ru) * 2005-06-30 2010-03-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для кодирования и декодирования аудиосигналов
US7706544B2 (en) * 2002-11-21 2010-04-27 Fraunhofer-Geselleschaft Zur Forderung Der Angewandten Forschung E.V. Audio reproduction system and method for reproducing an audio signal
US20100223552A1 (en) * 2009-03-02 2010-09-02 Metcalf Randall B Playback Device For Generating Sound Events
WO2013006338A2 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation System and method for adaptive audio signal generation, coding and rendering
US20130101122A1 (en) * 2008-12-02 2013-04-25 Electronics And Telecommunications Research Institute Apparatus for generating and playing object based audio contents

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7257231B1 (en) * 2002-06-04 2007-08-14 Creative Technology Ltd. Stream segregation for stereo signals
US7567845B1 (en) * 2002-06-04 2009-07-28 Creative Technology Ltd Ambience generation for stereo signals
WO2006131894A2 (en) * 2005-06-09 2006-12-14 Koninklijke Philips Electronics N.V. A method of and system for automatically identifying the functional positions of the loudspeakers of an audio-visual system
EP2000001B1 (en) 2006-03-28 2011-12-21 Telefonaktiebolaget LM Ericsson (publ) Method and arrangement for a decoder for multi-channel surround sound
WO2007119500A1 (ja) * 2006-03-31 2007-10-25 Pioneer Corporation 音声信号処理装置
US9697844B2 (en) * 2006-05-17 2017-07-04 Creative Technology Ltd Distributed spatial audio decoder
KR20090028610A (ko) * 2006-06-09 2009-03-18 코닌클리케 필립스 일렉트로닉스 엔.브이. 복수의 오디오 재생 유닛들로의 전송을 위한 오디오 데이터를 생성하는 디바이스 및 방법
JP5220840B2 (ja) * 2007-03-30 2013-06-26 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート マルチチャネルで構成されたマルチオブジェクトオーディオ信号のエンコード、並びにデコード装置および方法
CN101960865A (zh) * 2008-03-03 2011-01-26 诺基亚公司 用于捕获和呈现多个音频声道的装置
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
US20110091055A1 (en) * 2009-10-19 2011-04-21 Broadcom Corporation Loudspeaker localization techniques
JP5597975B2 (ja) * 2009-12-01 2014-10-01 ソニー株式会社 映像音響装置
JP6013918B2 (ja) * 2010-02-02 2016-10-25 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 空間音声再生
US9377941B2 (en) * 2010-11-09 2016-06-28 Sony Corporation Audio speaker selection for optimization of sound origin
WO2012164444A1 (en) * 2011-06-01 2012-12-06 Koninklijke Philips Electronics N.V. An audio system and method of operating therefor
JP5856295B2 (ja) 2011-07-01 2016-02-09 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオシステムのための同期及びスイッチオーバ方法及びシステム
EP2727380B1 (en) * 2011-07-01 2020-03-11 Dolby Laboratories Licensing Corporation Upmixing object based audio
CN103650037B (zh) * 2011-07-01 2015-12-09 杜比实验室特许公司 采样率可分级的无损音频编码
ES2534283T3 (es) * 2011-07-01 2015-04-21 Dolby Laboratories Licensing Corporation Ecualización de conjuntos de altavoces
EP3913931B1 (en) * 2011-07-01 2022-09-21 Dolby Laboratories Licensing Corp. Apparatus for rendering audio, method and storage means therefor.
US8811630B2 (en) * 2011-12-21 2014-08-19 Sonos, Inc. Systems, methods, and apparatus to filter audio
EP2637427A1 (en) * 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
US10356356B2 (en) * 2012-10-04 2019-07-16 Cute Circuit LLC Multimedia communication and display device
EP2725818A1 (en) * 2012-10-23 2014-04-30 GN Store Nord A/S A hearing device with a distance measurement unit
US9609141B2 (en) * 2012-10-26 2017-03-28 Avago Technologies General Ip (Singapore) Pte. Ltd. Loudspeaker localization with a microphone array
US9277321B2 (en) * 2012-12-17 2016-03-01 Nokia Technologies Oy Device discovery and constellation selection
MX347551B (es) * 2013-01-15 2017-05-02 Koninklijke Philips Nv Procesamiento de audio binaural.
WO2014184706A1 (en) * 2013-05-16 2014-11-20 Koninklijke Philips N.V. An audio apparatus and method therefor
JP6515087B2 (ja) * 2013-05-16 2019-05-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． オーディオ処理装置及び方法
CN111556426B (zh) * 2015-02-06 2022-03-25 杜比实验室特许公司 用于自适应音频的混合型基于优先度的渲染系统和方法
CN116709161A (zh) * 2016-06-01 2023-09-05 杜比国际公司 将多声道音频内容转换成基于对象的音频内容的方法及用于处理具有空间位置的音频内容的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1061774A2 (en) * 1999-06-15 2000-12-20 Yamaha Corporation Audio system having a sound field processor
EP1416769A1 (en) * 2002-10-28 2004-05-06 Electronics and Telecommunications Research Institute Object-based three-dimensional audio system and method of controlling the same
US7706544B2 (en) * 2002-11-21 2010-04-27 Fraunhofer-Geselleschaft Zur Forderung Der Angewandten Forschung E.V. Audio reproduction system and method for reproducing an audio signal
RU2383941C2 (ru) * 2005-06-30 2010-03-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для кодирования и декодирования аудиосигналов
US20130101122A1 (en) * 2008-12-02 2013-04-25 Electronics And Telecommunications Research Institute Apparatus for generating and playing object based audio contents
US20100223552A1 (en) * 2009-03-02 2010-09-02 Metcalf Randall B Playback Device For Generating Sound Events
WO2013006338A2 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation System and method for adaptive audio signal generation, coding and rendering

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2771954C2 (ru) * 2018-10-16 2022-05-16 Долби Лэборетериз Лайсенсинг Корпорейшн Способы и устройства для управления низкими звуковыми частотами
US11477601B2 (en) 2018-10-16 2022-10-18 Dolby Laboratories Licensing Corporation Methods and devices for bass management

Also Published As

Publication number Publication date
US11743673B2 (en) 2023-08-29
CN105191354A (zh) 2015-12-23
US20160080886A1 (en) 2016-03-17
EP2997742B1 (en) 2022-09-28
US11503424B2 (en) 2022-11-15
RU2015153540A (ru) 2017-06-21
US10582330B2 (en) 2020-03-03
US20200186956A1 (en) 2020-06-11
BR112015028337A2 (pt) 2017-07-25
WO2014184353A1 (en) 2014-11-20
BR112015028337B1 (pt) 2022-03-22
ES2931952T3 (es) 2023-01-05
EP2997742A1 (en) 2016-03-23
JP6515087B2 (ja) 2019-05-15
CN105191354B (zh) 2018-07-24
US11197120B2 (en) 2021-12-07
US20210144507A1 (en) 2021-05-13
US20210136512A1 (en) 2021-05-06
JP2016521532A (ja) 2016-07-21

Similar Documents

Publication Publication Date Title
RU2667630C2 (ru) Устройство аудиообработки и способ для этого
US11178503B2 (en) System for rendering and playback of object based audio in various listening environments
US20210029482A1 (en) Speaker for reflecting sound off viewing screen or display surface
US9532158B2 (en) Reflected and direct rendering of upmixed content to individually addressable drivers
KR102395351B1 (ko) 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱
US9622010B2 (en) Bi-directional interconnect for communication between a renderer and an array of individually addressable drivers
WO2014087277A1 (en) Generating drive signals for audio transducers
US20240163626A1 (en) Adaptive sound image width enhancement