RU2658888C2 - Способ и устройство для применения сжатия динамического диапазона к сигналу амбиофонии высшего порядка - Google Patents

Способ и устройство для применения сжатия динамического диапазона к сигналу амбиофонии высшего порядка Download PDF

Info

Publication number
RU2658888C2
RU2658888C2 RU2016141386A RU2016141386A RU2658888C2 RU 2658888 C2 RU2658888 C2 RU 2658888C2 RU 2016141386 A RU2016141386 A RU 2016141386A RU 2016141386 A RU2016141386 A RU 2016141386A RU 2658888 C2 RU2658888 C2 RU 2658888C2
Authority
RU
Russia
Prior art keywords
hoa
gain
matrix
signal
dsht
Prior art date
Application number
RU2016141386A
Other languages
English (en)
Other versions
RU2016141386A (ru
RU2016141386A3 (ru
Inventor
Йоханнес БЕМ
Флориан КАЙЛЕР
Original Assignee
Долби Интернэшнл Аб
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP14305559.8A external-priority patent/EP2934025A1/en
Application filed by Долби Интернэшнл Аб filed Critical Долби Интернэшнл Аб
Publication of RU2016141386A publication Critical patent/RU2016141386A/ru
Publication of RU2016141386A3 publication Critical patent/RU2016141386A3/ru
Application granted granted Critical
Publication of RU2658888C2 publication Critical patent/RU2658888C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Abstract

Изобретение относится к технике связи и предназначено для управления динамическим диапазоном. Технический результат – уменьшение динамического диапазона аудиосигнала. Управление динамическим диапазоном (DRC) не может просто применяться к сигналам на основе амбиофонии высшего порядка (HOA). Способ для выполнения DRC для HOA-сигнала содержит преобразование HOA-сигнала в пространственную область, анализ преобразованного HOA-сигнала и получение, из результатов упомянутого анализа, коэффициентов усиления, которые являются применимыми для динамического сжатия. Коэффициенты усиления могут передаваться вместе с HOA-сигналом. При применении DRC, HOA-сигнал преобразуется в пространственную область, коэффициенты усиления извлекаются и умножаются на преобразованный HOA-сигнал в пространственной области, при этом получается преобразованный HOA-сигнал с компенсацией усиления. Преобразованный HOA-сигнал с компенсацией усиления преобразуется обратно в HOA-область, при этом получается HOA-сигнал с компенсацией усиления. 3 н. и 16 з.п. ф-лы, 8 ил., 6 табл.

Description

Область техники
Данное изобретение относится к способу и устройству для выполнения сжатия динамического диапазона (DRC) для сигнала на основе амбиофонии, и в частности, для сигнала на основе амбиофонии высшего порядка (HOA).
Уровень техники
Цель сжатия динамического диапазона (DRC) состоит в том, чтобы уменьшать динамический диапазон аудиосигнала. Изменяющийся во времени коэффициент усиления применяется к аудиосигналу. Типично, этот коэффициент усиления зависит от амплитудной огибающей сигнала, используемого для управления усилением. Преобразование является в общем нелинейным. Большие амплитуды преобразуются в меньшие, в то время как слабые звуки зачастую усиливаются. Сценарии представляют собой зашумленные окружения, прослушивание поздней ночью, небольшие динамики или прослушивание в мобильных наушниках.
Общий принцип для потоковой передачи или широковещательной передачи аудио заключается в том, чтобы формировать DRC-усиления перед передачей и применять эти усиления после приема и декодирования. Принцип использования DRC, т.е. то, как DRC обычно применяется к аудиосигналу, показан на фиг. 1a. Обнаруживается уровень сигнала, обычно огибающая сигнала, и вычисляется связанное изменяющееся во времени усиление gDRC. Усиление используется для того, чтобы изменять амплитуду аудиосигнала. Фиг. 1b показывает принцип использования DRC для кодирования/декодирования, в котором коэффициенты усиления передаются вместе с кодированным аудиосигналом. На стороне декодера, усиления применяются к декодированному аудиосигналу, чтобы уменьшать его динамический диапазон.
Для трехмерного аудио, различные усиления могут применяться к каналам громкоговорителей, которые представляют различные пространственные позиции. Эти позиции затем должны быть известными на отправляющей стороне с тем, чтобы иметь возможность формировать совпадающий набор усилений. Это обычно возможно только для идеализированных условий, в то время как в реалистичных случаях, число динамиков и их размещение варьируется множеством способов. Это в большей степени обусловлено практическими соображениями, а не техническими требованиями. Амбиофония высшего порядка (HOA) представляет собой аудиоформат, который обеспечивает возможность гибкого рендеринга. HOA-сигнал состоит из каналов коэффициентов, которые непосредственно не представляют уровни звука. Следовательно, DRC не может просто применяться к сигналам на основе HOA.
Сущность изобретения
Настоящее изобретение разрешает, по меньшей мере, проблему того, как DRC может применяться к HOA-сигналам. HOA-сигнал анализируется для того, чтобы получать один или более коэффициентов усиления. В одном варианте осуществления, получаются, по меньшей мере, два коэффициента усиления, и анализ HOA-сигнала содержит преобразование в пространственную область (iDSHT). Один или более коэффициентов усиления передаются вместе с исходным HOA-сигналом. Специальный индикатор может передаваться, чтобы указывать то, равны или нет все коэффициенты усиления. Это имеет место в так называемом упрощенном режиме, тогда как, по меньшей мере, два различных коэффициента усиления используются в неупрощенном режиме. В декодере, одно или более усилений могут (но не обязательно должны) применяться к HOA-сигналу. Пользователь имеет выбор в отношении того, применять или нет один или более усилений. Преимущество упрощенного режима состоит в том, что он требует значительно меньшего объема вычислений, поскольку используется только один коэффициент усиления, и поскольку коэффициент усиления может применяться к каналам коэффициентов HOA-сигнала непосредственно в HOA-области, так что преобразование в пространственную область и последующее преобразование обратно в HOA-область могут пропускаться. В упрощенном режиме, коэффициент усиления получается посредством анализа только канала коэффициентов нулевого порядка HOA-сигнала.
Согласно одному варианту осуществления изобретения, способ для выполнения DRC для HOA-сигнала содержит преобразование HOA-сигнала в пространственную область (посредством обратного DSHT), анализ преобразованного HOA-сигнала и получение, из результатов упомянутого анализа, коэффициентов усиления, которые являются применимыми для сжатия динамического диапазона. На дополнительных этапах, полученные коэффициенты усиления умножаются (в пространственной области) на преобразованный HOA-сигнал, при этом получается преобразованный HOA-сигнал со сжатием усиления. В завершение, преобразованный HOA-сигнал со сжатием усиления преобразуется обратно в HOA-область (посредством DSHT), т.е. в область коэффициентов, при этом получается HOA-сигнал со сжатием усиления.
Дополнительно, согласно одному варианту осуществления изобретения, способ для выполнения DRC в упрощенном режиме для HOA-сигнала содержит анализ HOA-сигнала и получение из результатов упомянутого анализа коэффициента усиления, которое является применимым для сжатия динамического диапазона. На дополнительных этапах, после оценки индикатора, полученный коэффициент усиления умножается на каналы коэффициентов HOA-сигнала (в HOA-области), при этом получается HOA-сигнал со сжатием усиления. Также после оценки индикатора, можно определять то, что преобразование HOA-сигнала может пропускаться. Индикатор для того, чтобы указывать упрощенный режим, т.е. то, что используется только один коэффициент усиления, может задаваться неявно, например, если только упрощенный режим может использоваться вследствие аппаратных или других ограничений, либо явно, например, при пользовательском выборе упрощенного или неупрощенного режима.
Дополнительно, согласно одному варианту осуществления изобретения, способ для применения коэффициентов DRC-усиления к HOA-сигналу содержит прием HOA-сигнала, индикатора и коэффициентов усиления, определение того, что индикатор указывает неупрощенный режим, преобразование HOA-сигнала в пространственную область (с использованием обратного DSHT), при этом получается преобразованный HOA-сигнал, умножение коэффициентов усиления на преобразованный HOA-сигнал, при этом получается преобразованный HOA-сигнал со сжатием динамического диапазона, и преобразование преобразованного HOA-сигнала со сжатием динамического диапазона обратно в HOA-область (т.е. в область коэффициентов) (с использованием DSHT), при этом получается HOA-сигнал со сжатием динамического диапазона. Коэффициенты усиления могут приниматься вместе с HOA-сигналом или отдельно.
Дополнительно, согласно одному варианту осуществления изобретения, способ для применения коэффициента DRC-усиления к HOA-сигналу содержит прием HOA-сигнала, индикатора и коэффициента усиления, определение того, что индикатор указывает упрощенный режим, и после упомянутого определения, умножение коэффициента усиления на HOA-сигнал, при этом получается HOA-сигнал со сжатием динамического диапазона. Коэффициенты усиления могут приниматься вместе с HOA-сигналом или отдельно.
Устройство для применения коэффициентов DRC-усиления к HOA-сигналу раскрыто в пункте 11 формулы изобретения.
В одном варианте осуществления, изобретение предоставляет машиночитаемый носитель, имеющий выполняемые инструкции для того, чтобы предписывать компьютеру осуществлять способ для применения коэффициентов DRC-усиления к HOA-сигналу, содержащий этапы, как описано выше.
В одном варианте осуществления, изобретение предоставляет машиночитаемый носитель, имеющий выполняемые инструкции для того, чтобы предписывать компьютеру осуществлять способ для выполнения DRC для HOA-сигнала, содержащий этапы, как описано выше.
Предпочтительные варианты осуществления изобретения раскрыты в прилагаемой формуле изобретения, в нижеприведенном описании и на чертежах.
Краткое описание чертежей
Примерные варианты осуществления изобретения описаны со ссылкой на прилагаемые чертежи, из которых:
Фиг. 1 показывает общий принцип DRC применяемый к аудио.
Фиг. 2 показывает общий подход для применения DRC к сигналам на основе HOA согласно изобретению.
Фиг. 3 показывает сферические сетки динамиков для N=1 - N=6.
Фиг. 4 показывает создание DRC-усилений для HOA.
Фиг. 5 показывает применение DRC к HOA-сигналам.
Фиг. 6 показывает обработку сжатия динамического диапазона на стороне декодера.
Фиг. 7 показывает DRC для HOA в QMF-области, комбинированное с этапом рендеринга.
Фиг. 8 показывает DRC для HOA в QMF-области, комбинированное с этапом рендеринга для простого случая одной группы DRC-усилений.
Подробное описание изобретения
Настоящее изобретение описывает то, как DRC может применяться к HOA. Это традиционно непросто, поскольку HOA является описанием звукового поля. Фиг. 2 иллюстрирует принцип подхода. На стороне кодирования или передачи, как показано на фиг. 2a, HOA-сигналы анализируются, DRC-усиления g вычисляются из анализа HOA-сигнала, и DRC-усиления кодируются и передаются вместе с кодированным представлением HOA-контента. Он может представлять собой мультиплексированный поток битов или два или более отдельных потоков битов.
На стороне декодирования или приема, как показано на фиг. 2b, усиления g извлекаются из такого потока битов или потоков битов. После декодирования потока битов или потоков битов в декодере, усиления g применяются к HOA-сигналу, как описано ниже. Посредством этого, усиления применяются к HOA-сигналу, т.е. в общем получается HOA-сигнал с уменьшенным динамическим диапазоном. В завершение, HOA-сигнал с отрегулированным динамическим диапазоном подвергается рендерингу в модуле HOA-рендеринга.
Далее поясняются используемые допущения и определения.
Допущения заключаются в том, что модуль HOA-рендеринга сохраняет энергию, т.е. используются N3D-нормализованные сферические гармоники, и энергия однонаправленного сигнала, кодированного в HOA-представлении, поддерживается после рендеринга. Например, в WO2015/007889A(PD130040) описывается то, как достигать этого HOA-рендеринга с сохранением энергии.
Определения используемых терминов следующие.
Figure 00000001
обозначает блок τ HOA-выборок,
Figure 00000002
, с вектором
Figure 00000003
, который содержит коэффициенты амбиофонии в ACN-порядке (векторный индекс o=n2+n+m+1 с индексом n порядка коэффициентов и индексом m степени коэффициентов). N обозначает порядок HOA-усечения. Число коэффициентов высшего порядка в b составляет (N+1)2, индекс выборки для одного блока данных составляет t. τ может варьироваться обычно от одной выборки до 64 выборок или более. Сигнал
Figure 00000004
нулевого порядка является первой строкой B.
Figure 00000005
обозначает матрицу рендеринга с сохранением энергии, которая подвергает рендерингу блок HOA-выборок в блок канала L-громкоговорителя в пространственной области:
Figure 00000006
где
Figure 00000007
. Это представляет собой предполагаемую процедуру модуля HOA-рендеринга на фиг. 2b (HOA-рендеринг).
Figure 00000008
обозначает матрицу рендеринга, связанную с
Figure 00000009
каналов, которые позиционируются на сфере с очень высокой регулярностью таким способом, что все соседние позиции совместно используют идентичное расстояние. DL является хорошо обусловленной, и ее инверсия
Figure 00000010
существует. Таким образом, обе из них задают пару матриц преобразования (DSHT - дискретное преобразование сферических гармоник):
Figure 00000011
,
Figure 00000012
g является вектором LL=(N+1)2 DRC-значений усиления. Значения усиления предположительно должны применяться к блоку в τ выборок и предположительно должны быть сглаженными между блоками. Для передачи, значения усиления, которые совместно используют идентичные значения, могут комбинироваться в группы усилений. Если используется только одна группа усилений, это означает то, что одно значение DRC-усиления, здесь указываемое посредством g1, применяется ко всем τ выборкам каналов динамиков.
Для каждого порядка N HOA-усечения, задается идеальная сетка
Figure 00000009
виртуальных динамиков и связанная матрица DL рендеринга. Позиции виртуальных динамиков дискретизируют пространственные области, окружающие виртуального слушателя. Сетки для N=1-6 показаны на фиг. 3, при этом области, связанные с динамиком, являются заштрихованными ячейками. Одна позиция дискретизации всегда связана с позицией центрального динамика (азимут=0, наклон=
Figure 00000013
. Следует отметить, что азимут измеряется от фронтального направления, связанного с позицией прослушивания). Позиции дискретизации, DL,
Figure 00000014
известны на стороне кодера, когда DRC-усиления создаются. На стороне декодера, DL и
Figure 00000010
должны быть известными для применения значений усиления.
Создание DRC-усилений для HOA работает следующим образом.
HOA-сигнал преобразуется в пространственную область посредством
Figure 00000011
. Вплоть до LL=(N+1)2 DRC-усилений gl создаются посредством анализа этих сигналов. Если контент представляют собой комбинацию HOA и аудиообъектов (AO), AO-сигналы, такие как, например, диалоговые дорожки, могут использоваться для бокового сцепления. Это показано на фиг. 4b. При создании различных значений DRC-усиления, связанных с различными пространственными областями, следует обращать внимание на то, что эти усиления не оказывают влияние на стабильность пространственных изображений на стороне декодера. Чтобы не допускать этого, одно усиление может назначаться всем L-каналам в простейшем случае (так называемый упрощенный режим). Это может выполняться посредством анализа всех пространственных сигналов W или посредством анализа блока (
Figure 00000015
) выборок HOA-коэффициентов нулевого порядка, и преобразование в пространственную область не требуется (фиг. 4a). Оно является идентичным анализу сигнала низведения W. Ниже приведена более подробная информация.
На фиг. 4, показано создание DRC-усилений для HOA. Фиг. 4a иллюстрирует то, как одно усиление g1 (для одной группы усилений) может извлекаться из компонента
Figure 00000016
нулевого HOA-порядка (необязательного при боковом сцеплении из AO). Компонент
Figure 00000016
нулевого HOA-порядка анализируется в блоке 41s DRC-анализа, и извлекается одно усиление g1. Одно усиление g1 отдельно кодируется в кодере 42s DRC-усиления. Кодированное усиление затем кодируется вместе с HOA-сигналом B в кодере 43, который выводит кодированный поток битов. Необязательно, дополнительные сигналы 44 могут быть включены в кодирование. Фиг. 4b иллюстрирует, то как два или более DRC-усилений создаются посредством преобразования (40) HOA-представления в пространственную область. Преобразованный HOA-сигнал WL затем анализируется в блоке 41 DRC-анализа, и значения g усиления извлекаются и кодируются в кодере 42 DRC-усиления. Также здесь, кодированное усиление кодируется вместе с HOA-сигналом B в кодере 43, и необязательно дополнительные сигналы 44 могут быть включены в кодирование. В качестве примера, звуки сзади (например, фоновый звук) могут получать большее ослабление, чем звуки, исходящие из переднего и бокового направлений. Это должно приводить к (N+1)2 значений усиления в g, которые могут передаваться в двух группах усилений согласно этому примеру. Необязательно, также здесь можно использовать боковое сцепление посредством форм сигнала аудиообъектов и их направленной информации. Боковое сцепление означает то, что DRC-усиления для сигнала получаются из другого сигнала. Это уменьшает мощность HOA-сигнала. Отвлекающие звуки в HOA-сведении, совместно использующие идентичные области пространственных источников с AO-звуками переднего плана, могут получать более сильные усиления при ослаблении, чем пространственно удаленные звуки.
Значения усиления передаются на сторону приемного устройства или декодера.
Переменное число от 1 до LL=(N+1)2 значений усиления, связанных с блоком в τ выборок, передается. Значения усиления могут назначаться группам каналов для передачи. В варианте осуществления, все равные усиления комбинируются в одной группе каналов для того, чтобы минимизировать передаваемые данные. Если передается одно усиление, оно связано со всеми LL каналами. Передаются значения
Figure 00000017
усиления групп каналов и их число. Использование групп каналов передается в служебных сигналах, так что приемное устройство или декодер может корректно применять значения усиления.
Значения усиления применяются следующим образом.
Приемное устройство/декодер может определять число передаваемых кодированных значений усиления, декодировать (51) связанную информацию и назначать (52-55) усиления LL=(N+1)2 каналам.
Если передается только одно значение усиления (одна группа каналов), оно может непосредственно применяться (52) к HOA-сигналу (
Figure 00000018
), как показано на фиг. 5a. Это имеет преимущество, поскольку декодирование является гораздо более простым и требует значительно меньшего объема обработки. Причина состоит в том, что матричные операции не требуются; вместо этого, значения усиления могут применяться (52) непосредственно, например, умножаться на HOA-коэффициенты. Для получения дальнейшей информации см. ниже.
Если передаются два или более усилений, каждое усиление групп каналов назначается L канальных усилений
Figure 00000019
.
Для сетки виртуальных регулярных громкоговорителей, сигналы громкоговорителей с применяемыми DRC-усилениями вычисляются следующим образом:
Figure 00000020
Результирующее модифицированное HOA-представление затем вычисляется следующим образом:
Figure 00000021
Это может быть упрощено, как показано на фиг. 5b. Вместо преобразования HOA-сигнала в пространственную область, применения усилений и преобразования результата обратно в HOA-область, вектор усиления преобразуется (53) в HOA-область следующим образом:
Figure 00000022
где
Figure 00000023
. Матрица усилений применяется непосредственно к HOA-коэффициентам в блоке 54 назначения усилений:
Figure 00000024
.
Это является более эффективным с точки зрения вычислительных операций, требуемых для
Figure 00000025
. Иными словами, это решение имеет преимущество над традиционными решениями, поскольку декодирование является гораздо более простым и требует значительно меньшего объема обработки. Причина состоит в том, что матричные операции не требуются; вместо этого, значения усиления могут применяться непосредственно, например, умножаться на HOA-коэффициенты в блоке 54 назначения усилений.
В одном варианте осуществления, еще более эффективный способ применения матрицы усилений состоит в том, чтобы обрабатывать, в блоке (57) модификации матрицы модуля рендеринга, матрицу модуля рендеринга посредством
Figure 00000026
, применять DRC и подвергать рендерингу HOA-сигнал за один этап:
Figure 00000027
. Это показано на фиг. 5c. Это является полезным, если
Figure 00000028
.
В общих словах, фиг. 5 показывает различные варианты осуществления применения DRC к HOA-сигналам. На фиг. 5a, усиление одной группы каналов передается и декодируется (51) и применяется непосредственно к HOA-коэффициентам (52). Затем HOA-коэффициенты подвергают рендерингу (56) с использованием нормальной матрицы рендеринга.
На фиг. 5b, более одного усиления групп каналов передаются и декодируются (51). Декодирование приводит к вектору g усиления из (N+1)2 значений усиления. Матрица G усилений создается и применяется (54) к блоку HOA-выборок. Они затем подвергают рендерингу (56) посредством использования нормальной матрицы рендеринга.
На фиг. 5c, вместо применения декодированного значения усиления/матрицы усилений к HOA-сигналу непосредственно, оно применяется непосредственно к матрице модуля рендеринга. Это выполняется в блоке (57) модификации матрицы модуля рендеринга, и обеспечивается вычислительное преимущество, если размер
Figure 00000029
DRC-блока превышает число L выходных каналов. В этом случае, HOA-выборки подвергают рендерингу (57) посредством использования модифицированной матрицы рендеринга.
Далее описывается вычисление идеальных матриц DSHT (дискретного преобразования сферических гармоник) для DRC. Такие DSHT-матрицы, в частности, оптимизированы для использования в DRC и отличаются от DSHT-матриц, используемых для другой цели, например, для сжатия скорости передачи данных.
Требования для идеальных матриц DL и
Figure 00000014
рендеринга и кодирования, связанных с идеальной сферической схемой размещения, извлекаются ниже. В завершение, эти требования являются следующими:
(1) матрица DL рендеринга должна быть обратимой, т.е.
Figure 00000014
должна существовать;
(2) сумма амплитуд в пространственной области должна отражаться в качестве HOA-коэффициентов нулевого порядка после преобразования из пространственной в HOA-область и должна сохраняться после последующего преобразования в пространственную область (требование по амплитуде); и
(3) энергия пространственного сигнала должна сохраняться при преобразовании в HOA-область и обратно в пространственную область (требование по сохранению энергии).
Даже для идеальных схем размещения для рендеринга, требование 2 и 3, кажется, противоречат друг другу. При использовании простого подхода для того, чтобы извлекать матрицы DSHT-преобразования, к примеру, подходов, известных из предшествующего уровня техники, только одно или второе из требований (2) и (3) может удовлетворяться без ошибки. Удовлетворение одного из требований (2) и (3) без ошибки приводит к ошибкам, превышающим 3 дБ, для другого. Это обычно приводит к слышимым артефактам. Ниже описывается способ для того, чтобы преодолевать эту проблему.
Во-первых, выбирается идеальная сферическая схема размещения с LL=(N+1)2. L направлений позиций (виртуальных) динамиков задаются посредством
Figure 00000030
, и связанная матрица мод обозначается как
Figure 00000031
. Каждый
Figure 00000032
является вектором мод, содержащим сферические гармоники направления
Figure 00000030
. L квадратурных усилений, связанных с позициями в сферической схеме размещения, собираются в векторе
Figure 00000033
. Эти квадратурные усиления оценивают сферическую область вокруг таких позиций и все суммируются в значение
Figure 00000034
, связанное с поверхностью сферы с радиусом в единицу. Первая прототипная матрица
Figure 00000035
рендеринга извлекается следующим образом:
Figure 00000036
.
Следует отметить, что деление на L может опускаться вследствие последующего этапа нормализации (см. ниже).
Во-вторых, выполняется компактное разложение по сингулярным значениям:
Figure 00000037
, и вторая прототипная матрица извлекается следующим образом:
Figure 00000038
В-третьих, прототипная матрица нормализуется:
Figure 00000039
,
где k обозначает тип матричной нормы. Два типа матричной нормы показывают одинаково хорошую производительность. Должна использоваться либо норма k=1, либо норма Фробениуса. Эта матрица удовлетворяет требованию 3 (сохранение энергии).
В-четвертых, на последнем этапе подставляется амплитудная ошибка для того, чтобы удовлетворять требованию 2. Вектор-строка e вычисляется следующим образом:
Figure 00000040
, где
Figure 00000041
является вектором-строкой из (N+1)2 всех нулевых элементов за исключением первого элемента со значением в единицу.
Figure 00000042
обозначает векторы суммы строк
Figure 00000043
. Матрица
Figure 00000044
рендеринга теперь извлекается посредством подстановки амплитудной ошибки:
Figure 00000045
, где вектор e добавляется в каждую строку
Figure 00000043
. Эта матрица удовлетворяет требованию 2 и требованию 3. Все элементы первой строки
Figure 00000014
становятся равными единице.
Далее поясняются подробные требования для DRC.
Во-первых, LL идентичных усилений со значением
Figure 00000046
, применяемым в пространственной области, равны, чтобы применять усиление
Figure 00000046
к HOA-коэффициентам:
Figure 00000047
Это приводит к требованию:
Figure 00000048
, что означает то, что
Figure 00000049
, и
Figure 00000014
должна существовать (тривиальный случай).
Во-вторых, анализ суммирующего сигнала в пространственной области равен анализу HOA-компонента нулевого порядка. DRC-анализаторы используют энергию сигналов, а также ее амплитуду. Таким образом, суммирующий сигнал связан с амплитудой и энергией.
Модель прохождения сигналов HOA:
Figure 00000050
,
Figure 00000051
является матрицей S направленных сигналов;
Figure 00000052
является N3D-матрицей мод, связанной с направлениями
Figure 00000053
,...,
Figure 00000054
. Вектор
Figure 00000055
мод собирается из сферических гармоник. В системе обозначений N3D, компонент
Figure 00000056
нулевого порядка является независимым от направления.
HOA-сигнал компонента нулевого порядка должен становиться суммой направленных сигналов
Figure 00000057
, чтобы отражать корректную амплитуду суммирующего сигнала.
Figure 00000058
является вектором, собранным из S элементов со значением в 1. Энергия направленных сигналов сохраняется в этом сведении, поскольку
Figure 00000059
. Это должно упрощаться в
Figure 00000060
, если сигналы
Figure 00000061
не коррелируются.
Сумма амплитуд в пространственной области задается следующим образом:
Figure 00000062
с матрицей
Figure 00000063
HOA-панорамирования.
Это становится
Figure 00000064
для
Figure 00000065
. Второе требование может сравниваться с требованием по сумме амплитуд, иногда используемым в панорамировании, таком как VBAP. Эмпирически можно видеть, что это может достигаться в хорошей аппроксимации для очень симметричных сферических компоновок динамиков с
Figure 00000066
, поскольку обнаруживается следующее:
Figure 00000067
Требование по амплитуде затем может быть достигнуто с требуемой точностью. Это также обеспечивает то, что может удовлетворяться требование по энергии для суммирующего сигнала.
Сумма энергий в пространственной области задается следующим образом:
Figure 00000068
, что должно становиться в хорошей аппроксимации
Figure 00000069
, наличие идеальной требуемой симметричной компоновки динамиков. Это приводит к требованию:
Figure 00000070
, и помимо этого, из модели прохождения сигналов можно прийти к такому заключению, что верхняя строка
Figure 00000014
должна быть [1,1,1,1...], т.е. вектор длины L с "единичными" элементами, с тем чтобы повторно кодированный нулевой сигнал порядка поддерживал амплитуду и энергию.
В-третьих, сохранение энергии является обязательной предпосылкой. Энергия сигнала
Figure 00000071
должна сохраняться после преобразования в HOA и пространственного рендеринга в громкоговорители независимо от направления
Figure 00000072
сигнала. Это приводит к
Figure 00000073
. Это может достигаться посредством моделирования DL из матриц вращения и диагональной матрицы усилений:
Figure 00000074
(зависимость от направления
Figure 00000075
исключена для ясности):
Figure 00000076
Для сферических гармоник
Figure 00000077
, так что все усиления
Figure 00000078
, связанные с
Figure 00000079
, должны удовлетворять уравнению. Если все усиления выбираются равными, это приводит к
Figure 00000080
. Требование VVT=1 может достигаться для
Figure 00000081
и только аппроксимироваться для
Figure 00000082
.
Это приводит к требованию:
Figure 00000083
, где
Figure 00000084
.
В качестве примера, ниже описывается случай с идеальными сферическими позициями (для HOA-порядков N=1 - N=3) (табл. 1-3). Еще ниже описываются идеальные сферические позиции для дополнительных HOA-порядков (N=4 - N=6) (табл. 4-6). Все нижеуказанные позиции извлекаются из модифицированных позиций, опубликованных в [1]. Способ для того, чтобы извлекать эти позиции и связанные квадратурные/кубатурные усиления, опубликован в [2]. В этих таблицах, азимут измеряется против часовой стрелки от фронтального направления, связанного с позицией прослушивания, и наклон измеряется от оси Z, причем наклон 0 находится выше позиции прослушивания.
N=1 позиция
Сферическая позиция
Figure 00000085
Figure 00000086
Наклон
Figure 00000087
/рад		 Азимут
Figure 00000088
/рад		 Квадратурные усиления
0,33983655 3,14159265 3,14159271
1,57079667 0,00000000 3,14159267
2,06167886 1,95839324 3,14159262
2,06167892 -1,95839316 3,14159262
(a):
Figure 00000089
:
0,2500 -0,0000 0,4082 -0,1443
0,2500 0,0000 -0,0000 0,4330
0,2500 0,3536 -0,2041 -0,1443
0,2500 -0,3536 -0,2041 -0,1443
(b):
Табл. 1: a) Сферические позиции виртуальных громкоговорителей для HOA-порядка N=1, и b) результирующая матрица рендеринга для пространственного преобразования (DSHT)
N=2 позиции
Сферическая позиция
Figure 00000085
Figure 00000086
Наклон
Figure 00000087
/рад		 Азимут
Figure 00000088
/рад		 Квадратурные усиления
1,57079633 0,00000000 1,41002219
2,35131567 3,14159265 1,36874571
1,21127801 -1,18149779 1,36874584
1,21127606 1,18149755 1,36874598
1,31812905 -2,45289512 1,41002213
0,00975782 -0,00009218 1,41002214
1,31812792 2,45289621 1,41002230
2,41880319 1,19514740 1,41002223
2,41880555 -1,19514441 1,41002209
(a):
Figure 00000089
:
0,1117 0,0000 0,0067 0,2001 0,0000 -0,0000 -0,0931 -0,0078 0,2235
0,1099 -0,0000 -0,1237 -0,1249 -0,0000 0,0000 0,0486 0,2399 0,0889
0,1099 -0,1523 0,0619 0,0625 -0,1278 -0,1266 -0,0850 0,0841 -0,1455
0,1099 0,1523 0,0619 0,0625 0,1278 0,1266 -0,0850 0,0841 -0,1455
0,1117 -0,1272 0,0450 -0,1479 0,1938 -0,0427 -0,0898 -0,1001 0,0350
0,1117 -0,0000 0,2001 0,0086 0,0000 -0,0000 0,2402 -0,0040 0,0310
0,1117 0,1272 0,0450 -0,1479 -0,1938 0,0427 -0,0898 -0,1001 0,0350
0,1117 0,1272 -0,1484 0,0436 0,0408 -0,1942 0,0769 -0,0982 -0,0612
0,1117 -0,1272 -0,1484 0,0436 -0,0408 0,1942 0,0769 -0,0982 -0,0612
(b):
Табл. 2: a) Сферические позиции виртуальных громкоговорителей для HOA-порядка N=2, и b) результирующая матрица рендеринга для пространственного преобразования (DSHT)
N=3 позиции
Сферическая позиция
Figure 00000085
Figure 00000086
Наклон
Figure 00000087
/рад		 Азимут
Figure 00000088
/рад		 Квадратурные усиления
0,49220083 0,00000000 0,75567412
1,12054210 -0,87303924 0,75567398
2,52370429 -0,05517088 0,75567401
2,49233024 -2,15479457 0,87457076
1,57082248 0,00000000 0,87457075
2,02713647 1,01643753 0,75567388
1,61486095 -2,60674413 0,75567396
2,02713675 -1,01643766 0,75567398
1,08936018 2,89490077 0,75567412
1,18114721 0,89523032 0,75567399
0,65554353 1,89029902 0,75567382
1,60934762 1,91089719 0,87457082
2,68498672 2,02012831 0,75567392
1,46575084 -1,76455426 0,75567402
0,58248614 -2,22170415 0,87457060
2,00306837 2,81329239 0,75567389
Табл. 3a: Сферические позиции виртуальных громкоговорителей для HOA-порядка N=3
Figure 00000090
:
0,061457 -0,000075 0,093499 0,050400 -0,000027 0,000060 0,091035 0,098988 0,026750 0,019405 0,001461 0,003133 0,065741 0,124248 0,086602 0,029345
0,061457 -0,073257 0,046432 0,061316 -0,094748 -0,071487 -0,029426 0,059688 -0,016892 -0,055360 -0,097812 -0,010980 -0,082425 -0,007027 -0,048502 -0,080998
0,061457 -0,003584 -0,086661 0,061312 -0,004319 0,006362 0,068273 -0,111895 0,039506 0,008330 0,001142 -0,027428 -0,044323 0,125349 -0,097700 0,021534
0,065628 -0,057573 -0,090918 -0,038050 0,042921 0,102558 0,066570 0,067780 -0,018289 0,008866 -0,087449 -0,104655 -0,011720 -0,061567 0,025778 0,023749
0,065628 -0,000000 -0,000003 0,114142 -0,000000 0,000000 -0,073690 -0,000007 0,127634 0,002742 0,000000 0,010620 0,012464 -0,093807 0,009642 0,121106
0,061457 0,081011 -0,046687 0,050396 0,085735 -0,079893 -0,028706 -0,049469 -0,042390 0,016897 -0,101358 0,003784 0,101201 -0,012537 0,040833 -0,076613
0,061457 -0,054202 -0,004471 -0,091238 0,104013 0,005102 -0,068089 0,008829 0,056943 -0,149185 0,004553 0,050065 0,007556 0,060425 -0,003395 -0,002394
0,061457 -0,080936 -0,046816 0,050396 -0,085707 0,079834 -0,028795 -0,049516 -0,042442 -0,030388 0,099898 0,015986 0,082103 -0,014540 0,065488 -0,078162
0,061457 0,023227 0,049179 -0,091237 -0,044356 0,023858 -0,024641 -0,094498 0,082023 0,072649 -0,042376 -0,007211 -0,082403 0,008618 0,112746 -0,042512
0,061457 0,076842 0,040224 0,061316 0,099067 0,065125 -0,038969 0,052207 -0,022402 0,028674 0,096668 -0,032684 -0,098253 -0,008594 -0,028068 -0,082210
0,061457 0,061293 0,084298 -0,020472 -0,026210 0,108838 0,060891 -0,036183 -0,035381 -0,026726 -0,058661 0,111083 0,035312 -0,053574 -0,087737 0,014123
0,065628 0,107524 -0,004399 -0,038047 -0,080156 -0,009268 -0,073361 0,003280 -0,099081 -0,064714 0,014164 -0,085660 -0,004839 0,038775 0,016889 0,101473
0,061457 0,042357 -0,095230 -0,020477 -0,018235 -0,084766 0,096995 0,040799 -0,014532 -0,025100 0,058531 0,110659 -0,076710 -0,053780 0,056883 0,013978
0,061457 -0,103651 0,010933 -0,020474 0,044445 -0,024073 -0,066259 -0,004608 -0,108789 0,127480 0,000140 0,071265 -0,019816 0,026559 -0,016573 0,076201
0,065628 -0,049951 0,095320 -0,038045 0,037235 -0,093290 0,080481 -0,071053 -0,010264 -0,018490 0,073275 -0,097597 0,032029 -0,080959 -0,030699 0,008722
0,061457 0,030975 -0,044701 -0,091239 -0,059658 -0,028961 -0,032307 0,085658 0,077606 0,084920 0,037824 -0,010382 0,084083 0,002412 -0,102187 -0,047341
b)
Табл. 3b: результирующая матрица рендеринга для пространственного преобразования (DSHT)
Термин "численная квадратура" зачастую сокращается до квадратуры и является полным синонимом для "численного интегрирования", в частности, при применении к одномерным интегралам. Численное интегрирование более чем по одному измерению называется "кубатурой" в данном документе.
Типичные сценарии применения для того, чтобы применять DRC-усиления к HOA-сигналам, показаны на фиг. 5, как описано выше. Для вариантов применения со смешанным контентом, таких как например, HOA плюс аудиообъекты, применение DRC-усиления может быть реализовано, по меньшей мере, двумя способами для гибкого рендеринга.
Фиг. 6 примерно показывает обработку сжатия динамического диапазона (DRC) на стороне декодера. На фиг. 6a, DRC применяется перед рендерингом и сведением. На фиг. 6b, DRC применяется к сигналам громкоговорителей, т.е. после рендеринга и сведения.
На фиг. 6a, DRC-усиления применяются к аудиообъектам и HOA отдельно: DRC-усиления применяются к аудиообъектам в DRC-блоке 610 аудиообъектов, и DRC-усиления применяются к HOA в DRC-блоке 615 HOA. Здесь, реализация DRC-блока 615 HOA блока совпадает с одной из реализаций на фиг. 5. На фиг. 6b, одно усиление применяется ко всем каналам смешанного сигнала из сигнала подвергнутой рендерингу HOA и подвергнутого рендерингу аудиообъекта. Здесь пространственный акцент и ослабление невозможны. Связанное DRC-усиление не может создаваться посредством анализа суммирующего сигнала подвергнутого рендерингу сведения, поскольку схема размещения динамиков клиентского веб-узла не известна во время создания на веб-узле широковещательной передачи или создания контента. DRC-усиление может извлекаться посредством анализа
Figure 00000091
, где
Figure 00000092
является сведением HOA-сигнала
Figure 00000093
нулевого порядка и мононизведения S аудиообъектов
Figure 00000094
:
Figure 00000095
Далее описывается более подробная информация раскрытого решения.
DRC для HOA-контента
DRC применяется к HOA-сигналу перед рендерингом или может комбинироваться с рендерингом. DRC для HOA может применяться во временной области или в области QMF-гребенки фильтров.
Для DRC во временной области, DRC-декодер предоставляет
Figure 00000096
значений
Figure 00000097
усиления согласно числу каналов HOA-коэффициентов HOA-сигнала c. N является HOA-порядком.
DRC-усиления применяются к HOA-сигналам согласно следующему:
Figure 00000098
,
где c является вектором одной временной выборки HOA-коэффициентов (
Figure 00000099
), и
Figure 00000100
и ее инверсия
Figure 00000101
являются матрицами, связанными с дискретным преобразованием сферических гармоник (DSHT), оптимизированным для целей DRC. В одном варианте осуществления, для снижения вычислительной нагрузки посредством
Figure 00000102
операций в расчете на выборку, может быть преимущественным включать этап рендеринга и вычислять сигналы громкоговорителей непосредственно следующим образом:
Figure 00000103
, где
Figure 00000104
является матрицей рендеринга, и
Figure 00000105
может предварительно вычисляться.
Если все усиления
Figure 00000106
имеют идентичное значение
Figure 00000107
, как показано в упрощенном режиме, одна группа усилений использована для того, чтобы передавать DRC-усиления кодера. Этот случай может быть помечен посредством DRC-декодера, поскольку в этом случае вычисление в пространственном фильтре не требуется, так что вычисление упрощается до:
Figure 00000108
Выше описывается то, как получать и применять значения DRC-усиления. Далее описывается вычисление DSHT-матриц для DRC.
Далее, DL переименована в DDSHT. Матрицы для того, чтобы определять пространственный фильтр
Figure 00000109
и его инверсию
Figure 00000110
, вычисляются следующим образом. Набор сферических позиций
Figure 00000111
Figure 00000112
с
Figure 00000113
и связанными квадратурными (кубатурными) усилениями
Figure 00000114
выбирается, с индексацией посредством HOA-порядка N из таблиц 1-4. Матрица
Figure 00000115
мод, связанная с этими позициями, вычисляется так, как описано выше. Иными словами, матрица
Figure 00000115
мод содержит векторы мод согласно
Figure 00000116
, где каждый
Figure 00000032
является вектором мод, который содержит сферические гармоники предварительно заданного направления
Figure 00000030
с
Figure 00000113
. Предварительно заданное направление зависит от HOA-порядка N, согласно табл. 1-6 (примерно для 1<N<6). Первая прототипная матрица вычисляется следующим образом:
Figure 00000117
(деление на (N+1) 2 может пропускаться вследствие последующей нормализации). Компактное разложение по сингулярным значениям выполняется,
Figure 00000118
, и новая прототипная матрица вычисляются следующим образом:
Figure 00000119
Эта матрица нормализуется следующим образом:
Figure 00000120
. Вектор-строка
Figure 00000121
вычисляется следующим образом:
Figure 00000122
, где
Figure 00000041
является вектором-строкой из
Figure 00000096
всех нулевых элементов за исключением первого элемента со значением в единицу.
Figure 00000123
обозначает сумму строк
Figure 00000124
. Оптимизированная DSHT-матрица
Figure 00000125
теперь извлекается следующим образом:
Figure 00000126
Обнаружено, что, если
Figure 00000127
используется вместо
Figure 00000128
, изобретение предоставляет немного худшие, но все еще применимые результаты.
Для DRC в области QMF-гребенки фильтров, следующее применимо.
DRC-декодер предоставляет значение
Figure 00000129
усиления для каждого частотно-временного мозаичного фрагмента
Figure 00000130
для
Figure 00000096
пространственных каналов. Усиления для временного кванта n и полосы m частот размещаются в
Figure 00000131
.
Многополосное DRC применяется в области QMF-гребенки фильтров. Этапы обработки показаны на фиг. 7. Восстановленный HOA-сигнал преобразуется в пространственную область посредством (обратного DSHT):
Figure 00000132
, где
Figure 00000133
является блоком в
Figure 00000134
HOA-выборок, и
Figure 00000135
является блоком пространственных выборок, совпадающих с входной степенью временной детализации QMF-гребенки фильтров. После этого применяется QMF-гребенка аналитических фильтров. Пусть
Figure 00000136
обозначает вектор пространственных каналов в расчете на частотно-временной мозаичный фрагмент
Figure 00000137
. Далее DRC-усиления применяются:
Figure 00000138
. Чтобы минимизировать вычислительную сложность, DSHT и рендеринг в каналы громкоговорителей комбинируются:
Figure 00000139
, где D обозначает матрицу HOA-рендеринга. QMF-сигналы затем могут подаваться в микшер для последующей обработки.
Фиг. 7 показывает DRC для HOA в QMF-области, комбинированное с этапом рендеринга.
Если использована только одна группа усилений для DRC, это должно быть помечено посредством DRC-декодера, поскольку снова возможны вычислительные упрощения. В этом случае, усиления в векторе
Figure 00000140
совместно используют идентичное значение
Figure 00000141
. QMF-гребенка фильтров может непосредственно применяться к HOA-сигналу, и усиление
Figure 00000141
может умножаться в области гребенки фильтров.
Фиг. 8 показывает DRC для HOA в QMF-области (области фильтрации квадратурного зеркального фильтра), комбинированное с этапом рендеринга, с вычислительными упрощениями для простого случая одной группы DRC-усилений.
Очевидно, что с учетом вышеизложенного, в одном варианте осуществления, изобретение относится к способу для применения коэффициентов усиления при сжатии динамического диапазона к HOA-сигналу, при этом способ содержит этапы приема HOA-сигнала и одного или более коэффициентов усиления, преобразования (40) HOA-сигнала в пространственную область, при этом iDSHT используется с матрицей преобразования, полученной из сферических позиций виртуальных громкоговорителей и квадратурных усилений q, и при этом получается преобразованный HOA-сигнал, умножения коэффициентов усиления на преобразованный HOA-сигнал, при этом получается преобразованный HOA-сигнал со сжатием динамического диапазона, и преобразования преобразованного HOA-сигнала со сжатием динамического диапазона обратно в HOA-область, представляющую собой область коэффициентов, и использования дискретного преобразования сферических гармоник (DSHT), при этом получается HOA-сигнал со сжатием динамического диапазона. Дополнительно, матрица преобразования вычисляется согласно
Figure 00000142
, при этом
Figure 00000143
является нормализованной версией
Figure 00000144
, причем U, V получаются из
Figure 00000145
, где
Figure 00000115
является транспонированной матрицей мод сферических гармоник, связанных с используемыми сферическими позициями виртуальных громкоговорителей, и
Figure 00000146
является транспонированной версией
Figure 00000147
.
Дополнительно, в одном варианте осуществления, изобретение относится к устройству для применения коэффициентов DRC-усиления к HOA-сигналу, причем устройство содержит процессор либо один или более элементов обработки, выполненных с возможностью приема HOA-сигнала и одного или более коэффициентов усиления, преобразования (40) HOA-сигнала в пространственную область, при этом iDSHT используется с матрицей преобразования, полученной из сферических позиций виртуальных громкоговорителей и квадратурных усилений q, и при этом получается преобразованный HOA-сигнал, умножения коэффициентов усиления на преобразованный HOA-сигнал, при этом получается преобразованный HOA-сигнал со сжатием динамического диапазона, и преобразования преобразованного HOA-сигнала со сжатием динамического диапазона обратно в HOA-область, представляющую собой область коэффициентов, и использования дискретного преобразования сферических гармоник (DSHT), при этом получается HOA-сигнал со сжатием динамического диапазона. Дополнительно, матрица преобразования вычисляется согласно
Figure 00000142
, при этом
Figure 00000143
является нормализованной версией
Figure 00000144
, причем U, V получаются из
Figure 00000145
, где
Figure 00000115
является транспонированной матрицей мод сферических гармоник, связанных с используемыми сферическими позициями виртуальных громкоговорителей, и
Figure 00000146
является транспонированной версией
Figure 00000147
.
Дополнительно, в одном варианте осуществления, изобретение относится к машиночитаемому носителю хранения данных, имеющему машиноисполняемые инструкции, которые при выполнении на компьютере, предписывают компьютеру осуществлять способ для применения коэффициентов усиления при сжатии динамического диапазона к сигналу на основе амбиофонии высшего порядка (HOA), при этом способ содержит этапы приема HOA-сигнала и одного или более коэффициентов усиления, преобразования (40) HOA-сигнала в пространственную область, при этом iDSHT используется с матрицей преобразования, полученной из сферических позиций виртуальных громкоговорителей и квадратурных усилений q, и при этом получается преобразованный HOA-сигнал, умножения коэффициентов усиления на преобразованный HOA-сигнал, при этом получается преобразованный HOA-сигнал со сжатием динамического диапазона, и преобразования преобразованного HOA-сигнала со сжатием динамического диапазона обратно в HOA-область, представляющую собой область коэффициентов, и использования дискретного преобразования сферических гармоник (DSHT), при этом получается HOA-сигнал со сжатием динамического диапазона. Дополнительно, матрица преобразования вычисляется согласно
Figure 00000142
, при этом
Figure 00000143
является нормализованной версией
Figure 00000144
, причем U, V получаются из
Figure 00000145
, где
Figure 00000115
является транспонированной матрицей мод сферических гармоник, связанных с используемыми сферическими позициями виртуальных громкоговорителей, и
Figure 00000146
является транспонированной версией
Figure 00000147
.
Дополнительно, в одном варианте осуществления, изобретение относится к способу для выполнения DRC для HOA-сигнала, при этом способ содержит этапы задания или определения режима, причем режим представляет собой упрощенный режим или неупрощенный режим, в неупрощенном режиме, преобразования HOA-сигнала в пространственную область, при этом используется обратное DSHT, в неупрощенном режиме, анализа преобразованного HOA-сигнала и, в упрощенном режиме, анализа HOA-сигнала, получения, из результатов упомянутого анализа, одного или более коэффициентов усиления, которые являются применимыми для сжатия динамического диапазона, при этом только один коэффициент усиления получается в упрощенном режиме, и при этом два или более различных коэффициентов усиления получаются в неупрощенном режиме, в упрощенном режиме, умножения полученного коэффициента усиления на HOA-сигнал, при этом получается HOA-сигнал со сжатием усиления, в неупрощенном режиме, умножения полученных коэффициентов усиления на преобразованный HOA-сигнал, при этом получается преобразованный HOA-сигнал со сжатием усиления, и преобразования преобразованного HOA-сигнала со сжатием усиления обратно в HOA-область, при этом получается HOA-сигнал со сжатием усиления.
В одном варианте осуществления, способ дополнительно содержит этапы приема индикатора, указывающего упрощенный режим или неупрощенный режим, выбора неупрощенного режима, если упомянутый индикатор указывает неупрощенный режим, и выбора упрощенного режима, если упомянутый индикатор указывает упрощенный режим, при этом этапы преобразования HOA-сигнала в пространственную область и преобразования преобразованного HOA-сигнала со сжатием динамического диапазона обратно в HOA-область выполняются только в неупрощенном режиме, и при этом в упрощенном режиме только один коэффициент усиления умножается на HOA-сигнал.
В одном варианте осуществления, способ дополнительно содержит этапы, в упрощенном режиме, анализа HOA-сигнала и, в неупрощенном режиме, анализа преобразованного HOA-сигнала, затем получения, из результатов упомянутого анализа, одного или более коэффициентов усиления, которые являются применимыми для сжатия динамического диапазона, при этом в неупрощенном режиме получаются два или более различных коэффициентов усиления, а в упрощенном режиме получается только один коэффициент усиления, при этом в упрощенном режиме HOA-сигнал со сжатием усиления получается посредством упомянутого умножения полученного коэффициента усиления на HOA-сигнал, и при этом в неупрощенном режиме упомянутый преобразованный HOA-сигнал со сжатием усиления получается посредством умножения полученных двух или более коэффициентов усиления на преобразованный HOA-сигнал, и при этом в неупрощенном режиме упомянутое преобразование HOA-сигнала в пространственную область использует обратное DSHT.
В одном варианте осуществления, HOA-сигнал разделяется на подполосы частот, и коэффициент(ы) усиления получаются и применяются к каждой подполосе частот отдельно, с отдельными усилениями в расчете на каждую подполосу частот. В одном варианте осуществления, этапы анализа HOA-сигнала (или преобразованного HOA-сигнала), получения одного или более коэффициентов усиления, умножения полученного коэффициента(ов) усиления на HOA-сигнал (или преобразованный HOA-сигнал) и преобразования преобразованного HOA-сигнала со сжатием усиления обратно в HOA-область применяются к каждой подполосе частот отдельно, с отдельными усилениями в расчете на каждую подполосу частот. Следует отметить, что последовательный порядок разделения HOA-сигнала на подполосы частот и преобразования HOA-сигнала в пространственную область может переставляться, и/или последовательный порядок синтезирования подполос частот и преобразования преобразованных HOA-сигналов со сжатием усиления обратно в HOA-область может переставляться, независимо друг от друга.
В одном варианте осуществления, способ дополнительно содержит, перед этапом умножения коэффициентов усиления, этап передачи преобразованного HOA-сигнала вместе с полученными коэффициентами усиления и числом этих коэффициентов усиления.
В одном варианте осуществления, матрица преобразования вычисляется из матрицы
Figure 00000115
мод и соответствующих квадратурных усилений, при этом матрица
Figure 00000115
мод содержит векторы мод согласно
Figure 00000116
, где каждый
Figure 00000032
является вектором мод, содержащим сферические гармоники предварительно заданного направления
Figure 00000030
с
Figure 00000113
. Предварительно заданное направление зависит от HOA-порядка N.
В одном варианте осуществления, HOA-сигнал B преобразуется в пространственную область, чтобы получать преобразованный HOA-сигнал
Figure 00000148
, и преобразованный HOA-сигнал
Figure 00000148
умножается на значения
Figure 00000149
усиления повыборочно (для каждой выборки) согласно
Figure 00000150
, и способ содержит дополнительный этап преобразования преобразованного HOA-сигнала в другую вторую пространственную область согласно
Figure 00000151
, где
Figure 00000152
предварительно вычисляется в фазе инициализации согласно
Figure 00000153
, и где D является матрицей рендеринга, которая преобразует HOA-сигнал в другую вторую пространственную область.
В одном варианте осуществления, по меньшей мере, если
Figure 00000154
, где N является HOA-порядком, и
Figure 00000029
является размером DRC-блока, способ дополнительно содержит этапы преобразования (53) вектора усиления в HOA-область согласно
Figure 00000155
, где G является матрицей усилений, и DL является DSHT-матрицей, задающей упомянутое DSHT, и применения матрицы G усилений к HOA-коэффициентам HOA-сигнала B согласно
Figure 00000156
, при этом получается HOA-сигнал
Figure 00000157
с DRC-сжатием.
В одном варианте осуществления, по меньшей мере, если
Figure 00000158
, где L является числом выходных каналов, и
Figure 00000029
является размером DRC-блока, способ дополнительно содержит этапы применения матрицы G усилений к матрице D модуля рендеринга согласно
Figure 00000026
, при этом получается матрица
Figure 00000152
модуля рендеринга со сжатием динамического диапазона, и рендеринга HOA-сигнала с помощью матрицы модуля рендеринга со сжатием динамического диапазона.
В одном варианте осуществления, изобретение относится к способу для применения коэффициентов DRC-усиления к HOA-сигналу, при этом способ содержит этапы приема HOA-сигнала вместе с индикатором и одним или более коэффициентов усиления, причем индикатор указывает упрощенный режим или неупрощенный режим, при этом принимается только один коэффициент усиления, если индикатор указывает упрощенный режим, выбора упрощенного режима или неупрощенного режима согласно упомянутому индикатору, в упрощенном режиме, умножения коэффициента усиления на HOA-сигнал, при этом получается HOA-сигнал со сжатием динамического диапазона, и в неупрощенном режиме, преобразования HOA-сигнала в пространственную область, при этом получается преобразованный HOA-сигнал, умножения коэффициентов усиления на преобразованные HOA-сигналы, при этом получаются преобразованные HOA-сигналы со сжатием динамического диапазона, и преобразования преобразованных HOA-сигналов со сжатием динамического диапазона обратно в HOA-область, при этом получается HOA-сигнал со сжатием динамического диапазона.
Дополнительно, в одном варианте осуществления, изобретение относится к устройству для выполнения DRC для HOA-сигнала, причем устройство содержит процессор либо один или более элементов обработки, выполненных с возможностью задания или определения режима, причем режим представляет собой упрощенный режим или неупрощенный режим, в неупрощенном режиме, преобразования HOA-сигнала в пространственную область, при этом используется обратное DSHT, в неупрощенном режиме, анализа преобразованного HOA-сигнала, тогда как в упрощенном режиме, анализа HOA-сигнала, получения, из результатов упомянутого анализа, одного или более коэффициентов усиления, которые являются применимыми для сжатия динамического диапазона, при этом только один коэффициент усиления получается в упрощенном режиме, и при этом два или более различных коэффициентов усиления получаются в неупрощенном режиме, в упрощенном режиме, умножения полученного коэффициента усиления на HOA-сигнал, при этом получается HOA-сигнал со сжатием усиления, и в неупрощенном режиме, умножения полученных коэффициентов усиления на преобразованный HOA-сигнал, при этом получается преобразованный HOA-сигнал со сжатием усиления, и преобразования преобразованного HOA-сигнала со сжатием усиления обратно в HOA-область, при этом получается HOA-сигнал со сжатием усиления.
В одном варианте осуществления только для неупрощенного режима, устройство для выполнения DRC для HOA-сигнала содержит процессор либо один или более элементов обработки, выполненных с возможностью преобразования HOA-сигнала в пространственную область, анализа преобразованного HOA-сигнала, получения, из результатов упомянутого анализа, коэффициентов усиления, которые являются применимыми для сжатия динамического диапазона, умножения полученных коэффициентов на преобразованные HOA-сигналы, при этом получаются преобразованные HOA-сигналы со сжатием усиления, и преобразования преобразованных HOA-сигналов со сжатием усиления обратно в HOA-область, при этом получаются HOA-сигналы со сжатием усиления. В одном варианте осуществления, устройство дополнительно содержит передающий модуль для передачи, перед умножением полученного коэффициента усиления или коэффициентов усиления, HOA-сигнала вместе с полученным коэффициентом усиления или коэффициентами усиления.
Также здесь следует отметить, что последовательный порядок разделения HOA-сигнала на подполосы частот и преобразования HOA-сигнала в пространственную область может переставляться, и последовательный порядок синтезирования подполос частот и преобразования преобразованных HOA-сигналов со сжатием усиления обратно в HOA-область может переставляться, независимо друг от друга.
Дополнительно, в одном варианте осуществления, изобретение относится к устройству для применения коэффициентов DRC-усиления к HOA-сигналу, причем устройство содержит процессор либо один или более элементов обработки, выполненных с возможностью приема HOA-сигнала вместе с индикатором и одним или более коэффициентов усиления, причем индикатор указывает упрощенный режим или неупрощенный режим, при этом принимается только один коэффициент усиления, если индикатор указывает упрощенный режим, задания устройства в упрощенный режим или в неупрощенный режим, согласно упомянутому индикатору, в упрощенном режиме, умножения коэффициента усиления на HOA-сигнал, при этом получается HOA-сигнал со сжатием динамического диапазона; и в неупрощенном режиме, преобразования HOA-сигнала в пространственную область, при этом получается преобразованный HOA-сигнал, умножения коэффициентов усиления на преобразованные HOA-сигналы, при этом получаются преобразованные HOA-сигналы со сжатием динамического диапазона, и преобразования преобразованных HOA-сигналов со сжатием динамического диапазона обратно в HOA-область, при этом получается HOA-сигнал со сжатием динамического диапазона.
В одном варианте осуществления, устройство дополнительно содержит передающий модуль для передачи, перед умножением полученных коэффициентов, HOA-сигналов вместе с полученными коэффициентами усиления. В одном варианте осуществления, HOA-сигнал разделяется на подполосы частот, и анализ преобразованного HOA-сигнала, получение коэффициентов усиления, умножение полученных коэффициентов на преобразованные HOA-сигналы и преобразование преобразованных HOA-сигналов со сжатием усиления обратно в HOA-область применяются к каждой подполосе частот отдельно, с отдельными усилениями в расчете на каждую подполосу частот.
В одном варианте осуществления устройства для применения коэффициентов DRC-усиления к HOA-сигналу, HOA-сигнал разделяется на множество подполос частот, и получение одного или более коэффициентов усиления, умножение полученных коэффициентов усиления на HOA-сигналы или преобразованные HOA-сигналы и, в неупрощенном режиме, преобразование преобразованных HOA-сигналов со сжатием усиления обратно в HOA-область применяются к каждой подполосе частот отдельно, с отдельными усилениями в расчете на каждую подполосу частот.
Дополнительно, в одном варианте осуществления, в котором используется только неупрощенный режим, изобретение относится к устройству для применения коэффициентов DRC-усиления к HOA-сигналу, причем устройство содержит процессор либо один или более элементов обработки, выполненных с возможностью приема HOA-сигнала вместе с коэффициентами усиления, преобразования HOA-сигнала в пространственную область (с использованием iDSHT), при этом получается преобразованный HOA-сигнал, умножения коэффициентов усиления на преобразованный HOA-сигнал, при этом получается преобразованный HOA-сигнал со сжатием динамического диапазона, и преобразования преобразованного HOA-сигнала со сжатием динамического диапазона обратно в HOA-область (т.е. в область коэффициентов) (с использованием DSHT), при этом получается HOA-сигнал со сжатием динамического диапазона.
Следующие табл. 4-6 перечисляют сферические позиции виртуальных громкоговорителей для HOA порядка N с N=4, 5 или 6.
Хотя показаны, описаны и указаны фундаментальные новейшие признаки настоящего изобретения, которые применяются к его предпочтительным вариантам осуществления, следует понимать, что различные опускания и подстановки, и изменения в описанных устройстве и способе, по форме и подробностям раскрытых устройств и в их работе, могут вноситься специалистами в данной области техники без отступления от сущности настоящего изобретения. Явно подразумевается, что все комбинации этих элементов, которые выполняют, по существу, идентичную функцию, по существу, идентичным способом, с тем чтобы достигать идентичных результатов, находятся в пределах объема изобретения. Подстановки элементов из одного описанного варианта осуществления в другой также полностью подразумеваются и рассматриваются.
Следует понимать, что настоящее изобретение описано просто в качестве примера, и модификации подробностей могут осуществляться без отступления объема изобретения. Каждый признак, раскрытый в описании и (при необходимости) в формуле изобретения и на чертежах, может предоставляться независимо или в любой подходящей комбинации. При необходимости, признаки могут реализовываться в аппаратных средствах, программном обеспечении или в комбинации означенного.
Библиографический список
[1] "Integration nodes for the sphere", Jörg Fliege 2010, доступен с 2010-10-05 по адресу http://www.mathematik.uni-dortmund.de/lsx/research/projects/fliege/nodes/nodes.html
[2] "A two-stage approach for computing cubature formulae for the sphere", Jörg Fliege and Ulrike Maier, Technical report, Fachbereich Mathematik, Universität Dortmund, 1999 год
N=4 Положения
Наклон/рад Азимут/рад Усиление
Figure 00000159
1.57079633 0.00000000 0.52689274
2.39401407 0.00000000 0.48518011
1.14059283 -1.75618245 0.52688432
1.33721851 0.69215601 0.47027816
1.72512898 -1.33340585 0.48037442
1.17406779 -0.79850952 0.51130478
0.69042674 1.07623171 0.50662254
1.47478735 1.43953896 0.52158458
1.67073876 2.25235428 0.52835300
2.52745842 -1.33179653 0.52388165
1.81037110 3.05783641 0.49800736
1.91827560 -2.03351312 0.48516540
0.27992161 2.55302196 0.50663531
0.47981675 -1.18580204 0.50824199
2.37644317 2.52383590 0.45807408
0.98508365 2.03459671 0.47260252
2.18924206 1.58232601 0.49801422
1.49441825 -2.58932194 0.51745117
2.04428895 0.76615262 0.51744164
2.43923726 -2.63989327 0.52146074
1.10308418 2.88498471 0.52158484
0.78489181 -2.54224201 0.47027748
2.96802845 1.25258904 0.52145388
1.91816652 -0.63874484 0.48036020
0.80829458 -0.00991977 0.50824345
Таблица 4: Сферические положения виртуальных громкоговорителей для HOA-порядка N=4
N=5 Положения
Наклон/рад Азимут/рад Усиление
Figure 00000159
1.57079633 0.00000000 0.34493574
2.68749293 3.14159265 0.35131373
1.92461621 -1.22481468 0.35358151
1.95917092 3.06534485 0.36442231
2.18883411 0.08893301 0.36437350
0.35664531 -2.15475973 0.33953855
1.32915731 -1.05408340 0.35358417
2.21829206 2.45308518 0.33534647
1.00903070 2.31872053 0.34739607
0.99455136 -2.29370294 0.36437101
1.13601102 -0.46303195 0.33534542
0.41863640 0.63541391 0.35131934
1.78596913 -0.56826765 0.34739591
0.56658255 -0.66284593 0.36441956
2.25292410 0.89044754 0.36437098
2.67263757 -1.71236120 0.36442208
0.86753981 -1.50749854 0.34068122
1.38158330 1.72190554 0.35358401
0.98578154 0.23428465 0.35131950
1.45079827 -1.69748851 0.34739437
2.09223697 -1.85025366 0.33534659
2.62854417 1.70110685 0.34494256
1.44817433 -2.83400771 0.33953463
2.37827410 -0.72817212 0.34068529
0.82285875 1.51124182 0.33534531
0.40679748 2.38217051 0.34493552
0.84332549 -3.07860398 0.36437337
1.38947809 2.83246237 0.34068522
1.61795773 -2.27837285 0.34494274
2.17389505 -2.58540735 0.35131361
1.65172710 2.28105193 0.35358166
1.67862104 0.57097606 0.33953819
2.02514031 1.70739195 0.34739443
1.12965858 0.89802542 0.36442004
2.82979093 0.17840931 0.33953488
1.67550339 1.18664952 0.34068114
Таблица 5: Сферические положения виртуальных громкоговорителей для HOA-порядка N=5
N=6 Положения
Наклон/рад Азимут/рад Усиление
Figure 00000159
1.57079633 0.00000000 0.23821170
2.42144792 0.00000000 0.23821175
0.32919895 2.78993083 0.26169552
1.06225899 1.49243160 0.25534085
1.06225899 1.49243160 0.25534085
1.01526896 -2.16495206 0.25092628
1.10570423 -1.59180661 0.25099550
1.47319543 1.14258135 0.26160776
2.15414541 1.88359269 0.24442720
0.20805372 -0.52863458 0.25487678
0.50141101 -2.11057110 0.25619096
1.98041218 0.28912378 0.26288225
0.83752075 -2.81667891 0.25837996
2.44130228 0.81495962 0.26772416
1.21539727 -1.00788022 0.25534092
2.62944184 -1.58354086 0.26437874
1.86884674 -2.40686906 0.25619091
0.68705554 -1.20612227 0.25576026
1.52325470 -1.98940871 0.26169551
2.39097364 -2.37336381 0.25576025
0.98667678 0.86446728 0.26014219
2.27078506 -3.06771779 0.25099551
2.33605400 2.51674567 0.26455002
1.29371004 2.03656562 0.25576032
0.86334494 2.77720222 0.25092620
1.94118355 -0.37820559 0.26772409
2.10323413 -1.28283816 0.24442725
1.87416330 0.80785741 0.23821179
1.63423157 1.65277986 0.26437876
2.06477636 1.31341296 0.25595469
0.82305807 -0.47771423 0.26437883
2.04154780 -1.85106655 0.25487677
0.61285067 0.33640173 0.24442716
1.08029340 0.10986230 0.25595472
1.60164764 -1.43535015 0.26455000
2.66513701 1.69643796 0.26014228
1.35887781 -2.58083733 0.25838000
1.78658555 2.25563014 0.25487674
1.83333508 2.80487382 0.26169549
0.78406009 2.08860099 0.25099560
2.94031615 -0.07888534 0.26160780
1.34658213 2.57400947 0.25619094
1.73906669 -0.87744928 0.26014223
0.50210739 1.33550547 0.26455007
2.38040297 -0.75104092 0.25595462
1.41826790 0.54845193 0.26772418
1.77904107 -2.93136138 0.25092628
1.35746628 -0.47759398 0.26160765
1.31545731 3.12752832 0.25838016
2.81487011 -3.12843671 0.25534100
Таблица 6: Сферические положения виртуальных громкоговорителей для HOA-порядка N=6

Claims (32)

1. Способ для сжатия динамического диапазона, содержащий этапы, на которых:
принимают представление аудиосигнала на основе амбиофонии высшего порядка (HOA) и по меньшей мере коэффициент усиления;
применяют по меньшей мере коэффициент усиления к представлению аудиосигнала на основе HOA на основании матриц, относящихся к дискретному преобразованию сферических гармоник (DSHT);
причем матрицы, относящиеся к DSHT, определяются на основании первой прототипной матрицы, второй прототипной матрицы, которая основана на разложении по сингулярным значениям и первой прототипной матрице, и третьей прототипной матрицы, которая основана на нормализации второй прототипной матрицы, причем матрицы дополнительно определяются на основании вектора строк e, определенного на основании
Figure 00000160
, где L и N относятся к числу направлений виртуальных динамиков и
Figure 00000161
представляет третью прототипную матрицу.
2. Способ по п.1, в котором матрицы включают в себя DSHT матрицы пространственного фильтра и DSHT-1 обратной матрицы пространственного фильтра.
3. Способ по п.1, в котором матрицы основаны на DSHT-матрице, представленной посредством
Figure 00000162
.
4. Способ по п.1, в котором первая прототипная матрица определяется на основании
Figure 00000163
, где
Figure 00000164
определяется на основании транспонированной матрицы мод сферических гармоник, относящихся к виртуальным динамикам, и q определяется на основании квадратурных усилений, относящихся к набору сферических положений.
5. Способ по п.1, в котором вторая прототипная матрица определяется на основании
Figure 00000165
с U, V, полученными на основании
Figure 00000166
.
6. Способ по п.1, в котором третья прототипная матрица определяется на основании
Figure 00000167
.
7. Способ по п.1, дополнительно содержащий прием указания упрощенного режима и на основании указания упрощенного режима умножение представления аудиосигнала на основе HOA на только один коэффициент усиления.
8. Способ по п.1, в котором представление аудиосигнала на основе HOA разделено на частотные подполосы и по меньшей мере один коэффициент усиления применяется к каждой подполосе отдельно.
9. Способ по п.1, в котором по меньшей мере, если
Figure 00000168
, где N представляет собой порядок HOA и
Figure 00000169
представляет собой размер блока DRC, способ дополнительно содержит:
преобразование вектора усиления в область HOA согласно
Figure 00000170
, где
Figure 00000171
представляет собой матрицу усилений и DL представляет собой DSHT матрицу, задающую упомянутое DSHT; и
применение матрицы усилений
Figure 00000171
к коэффициентам представления аудиосигнала на основе HOA
Figure 00000172
согласно
Figure 00000173
, причем получается сигнал
Figure 00000174
на основе HOA со сжатием DRC.
10. Устройство для сжатия динамического диапазона, содержащее:
приемник, выполненный с возможностью получения представление аудиосигнала на основе амбиофонии высшего порядка (HOA) и по меньшей мере коэффициента усиления;
аудиодекодер, выполненный с возможностью применения по меньшей мере коэффициента усиления к представлению аудиосигнала на основе HOA на основании матриц, относящихся к дискретному преобразованию сферических гармоник (DSHT);
причем матрицы, относящиеся к DSHT, определяются на основании первой прототипной матрицы, второй прототипной матрицы, которая основана на разложении по сингулярным значениям и первой прототипной матрице, и третьей прототипной матрицы, которая основана на нормализации второй прототипной матрицы, причем матрицы дополнительно определяются на основании вектора строк e, определенного на основании
Figure 00000160
, где L и N относятся к числу направлений виртуальных динамиков и
Figure 00000161
представляет третью прототипную матрицу.
11. Устройство по п. 10, в котором матрицы включают в себя DSHT матрицы пространственного фильтра и DSHT-1 обратной матрицы пространственного фильтра.
12. Устройство по п. 10, в котором матрицы основаны на DSHT-матрице, представленной посредством
Figure 00000162
.
13. Устройство по п. 10, в котором первая прототипная матрица определяется на основании
Figure 00000163
, где
Figure 00000164
определяется на основании транспонированной матрицы мод сферических гармоник, относящихся к виртуальным динамикам, и q определяется на основании квадратурных усилений, относящихся к набору сферических положений.
14. Устройство по п. 10, в котором вторая прототипная матрица определяется на основании
Figure 00000175
с U, V, полученными на основании
Figure 00000166
.
15. Устройство по п. 10, в котором третья прототипная матрица определяется на основании
Figure 00000167
.
16. Устройство по п. 10, в котором приемник дополнительно выполнен с возможностью приема указания упрощенного режима и на основании указания упрощенного режима умножения представления аудиосигнала на основе HOA на только один коэффициент усиления.
17. Устройство по п. 10, в котором представление аудиосигнала на основе HOA разделено на частотные подполосы и по меньшей мере один коэффициент усиления применяется к каждой подполосе отдельно.
18. Устройство по п. 10, в котором по меньшей мере, если
Figure 00000168
, где N представляет собой порядок HOA и τ представляет собой размер блока DRC, аудиодекодер дополнительно выполнен с возможностью:
преобразования вектора усиления в область HOA согласно
Figure 00000170
, где
Figure 00000171
представляет собой матрицу усилений и DL представляет собой DSHT матрицу, задающую упомянутое DSHT; и
применения матрицы усилений
Figure 00000171
к коэффициентам представления аудиосигнала на основе HOA
Figure 00000172
согласно
Figure 00000173
, причем получается сигнал
Figure 00000174
на основе HOA со сжатием DRC.
19. Машиночитаемый носитель информации, содержащий исполняемые компьютером команды, которые при исполнении компьютером предписывают компьютеру осуществлять способ сжатия динамического диапазона, содержащий этапы, на которых:
принимают представление аудиосигнала на основе амбиофонии высшего порядка (HOA) и по меньшей мере коэффициент усиления;
применяют по меньшей мере коэффициент усиления к представлению аудиосигнала на основе HOA на основании матриц, относящихся к дискретному преобразованию сферических гармоник (DSHT);
причем матрицы, относящиеся к DSHT, определяются на основании первой прототипной матрицы, второй прототипной матрицы, которая основана на разложении по сингулярным значениям и первой прототипной матрице, и третьей прототипной матрицы, которая основана на нормализации второй прототипной матрицы, причем матрицы дополнительно определяются на основании вектора строк e, определенного на основании
Figure 00000160
, где L и N относятся к числу направлений виртуальных динамиков и
Figure 00000161
представляет третью прототипную матрицу.
RU2016141386A 2014-03-24 2015-03-24 Способ и устройство для применения сжатия динамического диапазона к сигналу амбиофонии высшего порядка RU2658888C2 (ru)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP14305423 2014-03-24
EP14305423.7 2014-03-24
EP14305559.8A EP2934025A1 (en) 2014-04-15 2014-04-15 Method and device for applying dynamic range compression to a higher order ambisonics signal
EP14305559.8 2014-04-15
PCT/EP2015/056206 WO2015144674A1 (en) 2014-03-24 2015-03-24 Method and device for applying dynamic range compression to a higher order ambisonics signal

Related Child Applications (1)

Application Number Title Priority Date Filing Date
RU2018118336A Division RU2760232C2 (ru) 2014-03-24 2015-03-24 Способ и устройство для применения сжатия динамического диапазона к сигналу амбиофонии высшего порядка

Publications (3)

Publication Number Publication Date
RU2016141386A RU2016141386A (ru) 2018-04-26
RU2016141386A3 RU2016141386A3 (ru) 2018-04-26
RU2658888C2 true RU2658888C2 (ru) 2018-06-25

Family

ID=52727138

Family Applications (2)

Application Number Title Priority Date Filing Date
RU2018118336A RU2760232C2 (ru) 2014-03-24 2015-03-24 Способ и устройство для применения сжатия динамического диапазона к сигналу амбиофонии высшего порядка
RU2016141386A RU2658888C2 (ru) 2014-03-24 2015-03-24 Способ и устройство для применения сжатия динамического диапазона к сигналу амбиофонии высшего порядка

Family Applications Before (1)

Application Number Title Priority Date Filing Date
RU2018118336A RU2760232C2 (ru) 2014-03-24 2015-03-24 Способ и устройство для применения сжатия динамического диапазона к сигналу амбиофонии высшего порядка

Country Status (13)

Country Link
US (7) US9936321B2 (ru)
EP (3) EP3123746B1 (ru)
JP (6) JP6246948B2 (ru)
KR (5) KR20230156153A (ru)
CN (8) CN106165451B (ru)
AU (4) AU2015238448B2 (ru)
BR (5) BR122020020719B1 (ru)
CA (3) CA3153913C (ru)
HK (2) HK1258770A1 (ru)
RU (2) RU2760232C2 (ru)
TW (6) TWI794032B (ru)
UA (1) UA119765C2 (ru)
WO (1) WO2015144674A1 (ru)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607624B2 (en) 2013-03-29 2017-03-28 Apple Inc. Metadata driven dynamic range control
US9934788B2 (en) * 2016-08-01 2018-04-03 Bose Corporation Reducing codec noise in acoustic devices
TWI594231B (zh) * 2016-12-23 2017-08-01 瑞軒科技股份有限公司 分頻壓縮電路，音訊處理方法以及音訊處理系統
BR112019020887A2 (pt) * 2017-04-13 2020-04-28 Sony Corp aparelho e método de processamento de sinal, e, programa.
US10999693B2 (en) * 2018-06-25 2021-05-04 Qualcomm Incorporated Rendering different portions of audio data using different renderers

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2012A (en) * 1841-03-18 Machine foe
RU2257676C2 (ru) * 2000-02-04 2005-07-27 Хиэринг Инхансмент Компани, Ллс Прикладное использование системы голос/звуковое сопровождение (г/зс)
WO2012059385A1 (en) * 2010-11-05 2012-05-10 Thomson Licensing Data structure for higher order ambisonics audio data
US20120155653A1 (en) * 2010-12-21 2012-06-21 Thomson Licensing Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field
RU2468451C1 (ru) * 2008-10-29 2012-11-27 Долби Интернэшнл Аб Защита от ограничения сигнала с использованием заранее существующих метаданных коэффициента усиления аудиосигнала
RU2485605C2 (ru) * 2006-10-16 2013-06-20 Долби Свиден АБ, Усовершенствованный метод кодирования и параметрического представления кодирования многоканального объекта после понижающего микширования
EP2665208A1 (en) * 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
WO2013176959A1 (en) * 2012-05-24 2013-11-28 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call
EP2688066A1 (en) * 2012-07-16 2014-01-22 Thomson Licensing Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3640752A1 (de) 1986-11-28 1988-06-09 Akzo Gmbh Anionische polyurethane
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6670115B1 (en) * 1999-11-24 2003-12-30 Biotronic Technologies, Inc. Devices and methods for detecting analytes using electrosensor having capture reagent
US6959275B2 (en) * 2000-05-30 2005-10-25 D.S.P.C. Technologies Ltd. System and method for enhancing the intelligibility of received speech in a noise environment
US20040010329A1 (en) * 2002-07-09 2004-01-15 Silicon Integrated Systems Corp. Method for reducing buffer requirements in a digital audio decoder
US6975773B1 (en) * 2002-07-30 2005-12-13 Qualcomm, Incorporated Parameter selection in data compression and decompression
HUP0301368A3 (en) * 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
CN1839426A (zh) * 2003-09-17 2006-09-27 北京阜国数字技术有限公司 多分辨率矢量量化的音频编解码方法及装置
CN1677491A (zh) * 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
WO2005096273A1 (fr) * 2004-04-01 2005-10-13 Beijing Media Works Co., Ltd Ameliorations apportees a un procede et un dispositif de codage/decodage audio
CN1677490A (zh) * 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
CN1677493A (zh) * 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
WO2007120453A1 (en) * 2006-04-04 2007-10-25 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
US7565018B2 (en) * 2005-08-12 2009-07-21 Microsoft Corporation Adaptive coding and decoding of wide-range coefficients
KR20070020771A (ko) * 2005-08-16 2007-02-22 삼성전자주식회사 다중주파수 이동통신시스템에서 단말의 순방향 전송률 변화정보를 이용한 송수신 방법 및 장치
US20070177654A1 (en) * 2006-01-31 2007-08-02 Vladimir Levitine Detecting signal carriers of multiple types of signals in radio frequency input for amplification
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
US8798776B2 (en) * 2008-09-30 2014-08-05 Dolby International Ab Transcoding of audio metadata
MX2011011399A (es) * 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
US8817991B2 (en) * 2008-12-15 2014-08-26 Orange Advanced encoding of multi-channel digital audio signals
CN104378075B (zh) * 2008-12-24 2017-05-31 杜比实验室特许公司 频域中的音频信号响度确定和修改
JP5190968B2 (ja) * 2009-09-01 2013-04-24 独立行政法人産業技術総合研究所 動画像の圧縮方法及び圧縮装置
GB2473266A (en) * 2009-09-07 2011-03-09 Nokia Corp An improved filter bank
TWI529703B (zh) * 2010-02-11 2016-04-11 杜比實驗室特許公司 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法
TR201901336T4 (tr) * 2010-04-09 2019-02-21 Dolby Int Ab Mdct-tabanlı karmaşık tahmin stereo kodlama.
US20120307889A1 (en) * 2011-06-01 2012-12-06 Sharp Laboratories Of America, Inc. Video decoder with dynamic range adjustments
EP2541547A1 (en) * 2011-06-30 2013-01-02 Thomson Licensing Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation
CN105792086B (zh) * 2011-07-01 2019-02-15 杜比实验室特许公司 用于自适应音频信号产生、编码和呈现的系统和方法
US8996296B2 (en) * 2011-12-15 2015-03-31 Qualcomm Incorporated Navigational soundscaping
US9332373B2 (en) * 2012-05-31 2016-05-03 Dts, Inc. Audio depth dynamic range enhancement
CN104584588B (zh) * 2012-07-16 2017-03-29 杜比国际公司 用于渲染音频声场表示以供音频回放的方法和设备
KR102131810B1 (ko) 2012-07-19 2020-07-08 돌비 인터네셔널 에이비 다채널 오디오 신호들의 렌더링을 향상시키기 위한 방법 및 디바이스
EP2690621A1 (en) * 2012-07-26 2014-01-29 Thomson Licensing Method and Apparatus for downmixing MPEG SAOC-like encoded audio signals at receiver side in a manner different from the manner of downmixing at encoder side
TWI673707B (zh) 2013-07-19 2019-10-01 瑞典商杜比國際公司 將以L<sub>1</sub>個頻道為基礎之輸入聲音訊號產生至L<sub>2</sub>個揚聲器頻道之方法及裝置，以及得到一能量保留混音矩陣之方法及裝置，用以將以輸入頻道為基礎之聲音訊號混音以用於L<sub>1</sub>個聲音頻道至L<sub>2</sub>個揚聲器頻道
US9984693B2 (en) * 2014-10-10 2018-05-29 Qualcomm Incorporated Signaling channels for scalable coding of higher order ambisonic audio data
US11019449B2 (en) * 2018-10-06 2021-05-25 Qualcomm Incorporated Six degrees of freedom and three degrees of freedom backward compatibility
TWD224673S (zh) 2021-06-18 2023-04-11 大陸商台達電子企業管理（上海）有限公司 雙輸入電源供應器

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2012A (en) * 1841-03-18 Machine foe
RU2257676C2 (ru) * 2000-02-04 2005-07-27 Хиэринг Инхансмент Компани, Ллс Прикладное использование системы голос/звуковое сопровождение (г/зс)
RU2485605C2 (ru) * 2006-10-16 2013-06-20 Долби Свиден АБ, Усовершенствованный метод кодирования и параметрического представления кодирования многоканального объекта после понижающего микширования
RU2468451C1 (ru) * 2008-10-29 2012-11-27 Долби Интернэшнл Аб Защита от ограничения сигнала с использованием заранее существующих метаданных коэффициента усиления аудиосигнала
WO2012059385A1 (en) * 2010-11-05 2012-05-10 Thomson Licensing Data structure for higher order ambisonics audio data
US20120155653A1 (en) * 2010-12-21 2012-06-21 Thomson Licensing Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field
EP2665208A1 (en) * 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
WO2013171083A1 (en) * 2012-05-14 2013-11-21 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics signal representation
WO2013176959A1 (en) * 2012-05-24 2013-11-28 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call
EP2688066A1 (en) * 2012-07-16 2014-01-22 Thomson Licensing Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A1, 21.06.2012. *

Also Published As

Publication number Publication date
TW202301318A (zh) 2023-01-01
CN109036441B (zh) 2023-06-06
TWI711034B (zh) 2020-11-21
US10893372B2 (en) 2021-01-12
RU2016141386A (ru) 2018-04-26
AU2019205998A1 (en) 2019-08-01
CN109087653A (zh) 2018-12-25
US20200359150A1 (en) 2020-11-12
RU2760232C2 (ru) 2021-11-23
CN109087654B (zh) 2023-04-21
RU2016141386A3 (ru) 2018-04-26
AU2015238448A1 (en) 2016-11-03
EP3123746A1 (en) 2017-02-01
KR20210005320A (ko) 2021-01-13
RU2018118336A (ru) 2018-11-01
TW202022852A (zh) 2020-06-16
AU2021204754B2 (en) 2023-01-05
KR20190090076A (ko) 2019-07-31
JP2022126881A (ja) 2022-08-30
CN109087654A (zh) 2018-12-25
CN109285553A (zh) 2019-01-29
CA2946916C (en) 2022-09-06
JP2023144032A (ja) 2023-10-06
TW201942897A (zh) 2019-11-01
TW201539431A (zh) 2015-10-16
TWI794032B (zh) 2023-02-21
EP4273857A3 (en) 2024-01-17
HK1259306A1 (zh) 2019-11-29
JP6545235B2 (ja) 2019-07-17
WO2015144674A1 (en) 2015-10-01
KR20230003642A (ko) 2023-01-06
US11838738B2 (en) 2023-12-05
TWI760084B (zh) 2022-04-01
BR122020020730B1 (pt) 2022-10-11
CN108962266A (zh) 2018-12-07
TWI662543B (zh) 2019-06-11
CN117133298A (zh) 2023-11-28
TW202145196A (zh) 2021-12-01
AU2019205998B2 (en) 2021-04-08
BR112016022008A2 (ru) 2017-08-15
JP2021002841A (ja) 2021-01-07
US10362424B2 (en) 2019-07-23
CN108962266B (zh) 2023-08-11
CA2946916A1 (en) 2015-10-01
KR102201027B1 (ko) 2021-01-11
US20210314719A1 (en) 2021-10-07
KR102479741B1 (ko) 2022-12-22
EP3451706A1 (en) 2019-03-06
TW202044234A (zh) 2020-12-01
HK1258770A1 (zh) 2019-11-22
US9936321B2 (en) 2018-04-03
RU2018118336A3 (ru) 2021-09-13
CN109087653B (zh) 2023-09-15
TWI695371B (zh) 2020-06-01
US20170171682A1 (en) 2017-06-15
EP3451706B1 (en) 2023-11-01
CN106165451B (zh) 2018-11-30
UA119765C2 (uk) 2019-08-12
AU2023201911A1 (en) 2023-05-04
CA3153913A1 (en) 2015-10-01
CA3155815A1 (en) 2015-10-01
KR20160138054A (ko) 2016-12-02
EP3123746B1 (en) 2018-05-23
BR112016022008B1 (pt) 2022-08-02
KR102005298B1 (ko) 2019-07-30
JP7101219B2 (ja) 2022-07-14
US20200068330A1 (en) 2020-02-27
BR122020020719B1 (pt) 2023-02-07
US20190320280A1 (en) 2019-10-17
CN117153172A (zh) 2023-12-01
US10567899B2 (en) 2020-02-18
BR122018005665B1 (pt) 2022-09-06
JP6762405B2 (ja) 2020-09-30
JP2019176508A (ja) 2019-10-10
CA3153913C (en) 2024-04-02
KR102596944B1 (ko) 2023-11-02
CN109036441A (zh) 2018-12-18
US20240098436A1 (en) 2024-03-21
TW202322103A (zh) 2023-06-01
CN106165451A (zh) 2016-11-23
JP7333855B2 (ja) 2023-08-25
AU2021204754A1 (en) 2021-08-05
TWI718979B (zh) 2021-02-11
EP4273857A2 (en) 2023-11-08
AU2015238448B2 (en) 2019-04-18
JP6246948B2 (ja) 2017-12-13
BR122020014764B1 (pt) 2022-10-11
JP2017513367A (ja) 2017-05-25
US20190052990A1 (en) 2019-02-14
KR20230156153A (ko) 2023-11-13
US10638244B2 (en) 2020-04-28
CN109285553B (zh) 2023-09-08
JP2018078570A (ja) 2018-05-17

Similar Documents

Publication Publication Date Title
JP7333855B2 (ja) 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置
TWI833562B (zh) 應用動態範圍壓縮至高階保真立體音響信號之方法和裝置