RU2744489C2 - Способ и устройство для сжатия и восстановления представления системы амбисоник высшего порядка для звукового поля - Google Patents
Способ и устройство для сжатия и восстановления представления системы амбисоник высшего порядка для звукового поля Download PDFInfo
- Publication number
- RU2744489C2 RU2744489C2 RU2017118830A RU2017118830A RU2744489C2 RU 2744489 C2 RU2744489 C2 RU 2744489C2 RU 2017118830 A RU2017118830 A RU 2017118830A RU 2017118830 A RU2017118830 A RU 2017118830A RU 2744489 C2 RU2744489 C2 RU 2744489C2
- Authority
- RU
- Russia
- Prior art keywords
- hoa
- signals
- residual
- directional signals
- component
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000006835 compression Effects 0.000 abstract description 16
- 238000007906 compression Methods 0.000 abstract description 16
- 238000012545 processing Methods 0.000 abstract description 14
- 230000000694 effects Effects 0.000 abstract description 4
- 239000000126 substance Substances 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 15
- 238000000354 decomposition reaction Methods 0.000 description 13
- 238000005070 sampling Methods 0.000 description 11
- 230000005428 wave function Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 7
- 238000011084 recovery Methods 0.000 description 7
- 230000003247 decreasing effect Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 238000009418 renovation Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
- H04H20/86—Arrangements characterised by the broadcast information itself
- H04H20/88—Stereophonic broadcast systems
- H04H20/89—Stereophonic broadcast systems using three or more audio channels, e.g. triphonic or quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
- Percussion Or Vibration Massage (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Изобретение относится к вычислительной технике. Технический результат заключается в улучшении обработки сжатия представления звукового поля системы Амбисоник высшего порядка (HOA). Способ для восстановления сжатого представления HOA содержит перцепционное декодирование сжатых доминирующих направленных сигналов и сжатых сигналов остаточной компоненты, чтобы обеспечивать восстановленные доминирующие направленные сигналы и восстановленные сигналы временной области, представляющие остаточную компоненту HOA в пространственной области; повторную корреляцию восстановленных сигналов временной области, чтобы получать соответствующую остаточную компоненту HOA уменьшенного порядка; определение восстановленной остаточной компоненты HOA на основе соответствующей остаточной компоненты HOA уменьшенного порядка; определение предсказанных направленных сигналов на основе, по меньшей мере, параметра; определение представления звукового поля HOA на основе восстановленных доминирующих направленных сигналов, предсказанных направленных сигналов и восстановленной остаточной компоненты HOA. 2 н.п. ф-лы, 8 ил.
Description
Изобретение относится к способу и к устройству для сжатия и восстановления представления системы Амбисоник высшего порядка для звукового поля.
Уровень техники
Система Амбисоник высшего порядка, обозначаемая HOA, предлагает один способ представления трехмерного звука. Другими способами являются синтез волнового поля (WFS) или основанные на каналах способы, как, например, 22.2. В отличие от основанных на каналах способов, представление HOA предлагает преимущество, что оно является независимым от конкретной системы громкоговорителей. Эта гибкость, однако, обеспечивается за счет обработки декодирования, которая требуется для проигрывания представления HOA на конкретной системе громкоговорителей. По сравнению с подходом WFS, где количество требуемых громкоговорителей является обычно очень большим, HOA также может воспроизводиться на системах, состоящих только из нескольких громкоговорителей. Дополнительное преимущество HOA состоит в том, что одно и то же представление также может использоваться без какой-либо модификации для бинаурального воспроизведения в наушниках.
HOA основывается на представлении пространственной плотности комплексных амплитуд гармонических плоских волн посредством усеченного разложения по сферическим гармоникам (SH). Каждый коэффициент разложения является функцией угловой частоты, который может быть эквивалентным образом представлен посредством функции временной области. Следовательно, без потери общности, может предполагаться, что полное представление звукового поля HOA фактически состоит из 
функций временной области, где 
обозначает количество коэффициентов разложения. Эти функции временной области в последующем будут эквивалентным образом упоминаться как последовательности коэффициентов HOA.
Пространственное разрешение представления HOA улучшается с ростом максимального порядка 
разложения. К сожалению, количество коэффициентов разложения 
растет квадратично с порядком 
, в частности, 
. Например, обычные представления HOA, использующие порядок 
, требуют 
коэффициентов (разложения) HOA. Согласно вышеизложенным рассмотрениям, полный битрейт (частота следования битов) для передачи представления HOA, при заданных требуемой одноканальной частоте дискретизации 
и количестве бит 
в расчете на выборку, определяется посредством 
. Передача представления HOA порядка 
с частотой дискретизации 
= 48 кГц с использованием 
бит в расчете на выборку дает результатом битрейт, равный 19.2 Мбит/с, что является очень высоким для многих практических применений, например, потоковой передачи. Поэтому сжатие представлений HOA является в высшей степени предпочтительным.
Изобретение
Существующие способы, обращающиеся к сжатию представлений HOA (с 
), являются достаточно редкими. Наиболее прямой подход, которому следуют в E. Hellerud, I. Burnett, A Solvang and U.P. Svensson, "Encoding Higher Order Ambisonics with AAC", 124th AES Convention, Amsterdam, 2008, состоит в том, чтобы выполнять прямое кодирование индивидуальных последовательностей коэффициентов HOA с использованием улучшенного кодирования аудио (AAC), которое является алгоритмом перцепционного кодирования. Однако присущей проблемой для этого подхода является перцепционное кодирование сигналов, которые никогда не прослушиваются. Реконструированные сигналы проигрывания обычно получаются посредством взвешенной суммы последовательностей коэффициентов HOA, и имеется высокая вероятность для размаскирования шума перцепционного кодирования, когда восстановленное представление HOA воспроизводится на конкретной системе громкоговорителей. Большой проблемой для размаскирования шума перцепционного кодирования являются высокие взаимные корреляции между индивидуальными последовательностями коэффициентов HOA. Так как сигналы шума кодирования в индивидуальных последовательностях коэффициентов HOA являются обычно некоррелированными друг с другом, может происходить конструктивная суперпозиция шума перцепционного кодирования при том, что в то же время свободные от шума последовательности коэффициентов HOA удаляются при суперпозиции. Дополнительная проблема состоит в том, что эти взаимные корреляции ведут к уменьшенной эффективности перцепционных кодеров.
Чтобы минимизировать степень обоих эффектов, в EP 2469742 A2 предложено преобразовывать представление HOA в эквивалентное представление в дискретной пространственной области до перцепционного кодирования. Формально, эта дискретная пространственная область является эквивалентом временной области пространственной плотности комплексных амплитуд гармонических плоских волн, дискретизированной в некоторых дискретных направлениях. Дискретная пространственная область, таким образом, представляется посредством 
стандартных сигналов временной области, которые могут интерпретироваться как общие плоские волны, сталкивающиеся из направлений дискретизации, и соответствуют сигналам громкоговорителей, если громкоговорители расположены в точности в таких же направлениях, что и направления, предполагаемые для преобразования пространственной области.
Преобразование в дискретную пространственную область уменьшает взаимные корреляции между индивидуальными сигналами пространственной области, но эти взаимные корреляции полностью не устраняются. Примером для относительно высоких взаимных корреляций является направленный сигнал, чье направление попадает между смежными направлениями, охватываемыми сигналами пространственной области.
Основной недостаток обоих подходов состоит в том, что количество перцепционно кодированных сигналов равняется 
, и скорость данных для сжатого представления HOA растет квадратично с порядком системы Амбисоник 
.
Чтобы уменьшать количество перцепционно кодированных сигналов, патентная заявка EP 2665208 A1 предлагает разложение представления HOA на заданное максимальное количество доминирующих направленных сигналов и остаточную окружающую компоненту. Уменьшение количества сигналов, подлежащих перцепционному кодированию, достигается посредством уменьшения порядка остаточной окружающей компоненты. Логическое обоснование за этим подходом состоит в том, чтобы сохранять высокое пространственное разрешение по отношению к доминирующим направленным сигналам при представлении остатка с достаточной точностью посредством представления HOA более низкого порядка.
Этот подход работает достаточно хорошо до тех пор, пока предположения о звуковом поле удовлетворяются, т.е. что оно состоит из малого количества доминирующих направленных сигналов (представляющих функции общих плоских волн, кодированные с использованием полного порядка N) и остаточной окружающей компоненты без какой-либо направленности. Однако, если последующее разложение остаточной окружающей компоненты все еще содержит некоторые доминирующие направленные компоненты, уменьшение порядка вызывает ошибки, которые воспринимаются различным образом при воспроизведении после восстановления. Обычными примерами представлений HOA, где предположения нарушаются, являются общие плоские волны, кодированные в порядке, более низком, чем N. Такие общие плоские волны порядка, более низкого, чем N, могут проистекать из авторского создания, чтобы делать, чтобы источники звука проявлялись более широко, и также могут происходить при записи представлений звукового поля HOA посредством сферических микрофонов. В обоих примерах звуковое поле представляется посредством большого количества высоко коррелированных сигналов пространственной области (см. также раздел Пространственное разрешение системы Амбисоник высшего порядка для объяснения).
Проблема, подлежащая решению посредством изобретения, состоит в том, чтобы устранить недостатки, результирующие из обработки, описанной в патентной заявке EP 2665208 A1, чтобы, тем самым, также избежать вышеописанных недостатков другого процитированного предшествующего уровня техники.
Эта проблема решается посредством способов, раскрытых в пунктах 1 и 3. Соответствующие устройства, которые используют эти способы, раскрыты в пунктах 2 и 4.
Изобретение улучшает обработку сжатия представления звукового поля HOA, описанную в патентной заявке EP 2665208 A1. Сначала, как и в EP 2665208 A1, представление HOA анализируется на присутствие доминирующих источников звука, чьи направления оцениваются. Со знанием направлений доминирующих источников звука, представление HOA разлагается на некоторое количество доминирующих направленных сигналов, представляющих общие плоские волны, и остаточную компоненту. Однако вместо немедленного уменьшения порядка этой остаточной компоненты HOA, она преобразуется в дискретную пространственную область, чтобы получать функции общих плоских волн в равномерных направлениях дискретизации, представляющие остаточную компоненту HOA. После этого эти функции плоских волн предсказываются из доминирующих направленных сигналов. Причина для этой операции состоит в том, что части остаточной компоненты HOA могут быть высоко коррелированными с доминирующими направленными сигналами.
Это предсказание может быть простым предсказанием, чтобы вырабатывать только малую величину дополнительной (побочной) информации. В наиболее простом случае предсказание состоит из соответствующего масштабирования и задержки. В заключение, ошибка предсказания преобразуется назад в область HOA и рассматривается как остаточная окружающая компонента HOA, для которой выполняется уменьшение порядка. Предпочтительно, эффект вычитания предсказуемых сигналов из остаточной компоненты HOA состоит в том, чтобы уменьшать ее полную мощность также как оставшуюся величину доминирующих направленных сигналов и, этим способом, уменьшать ошибку разложения, результирующую из уменьшения порядка.
В принципе, новый способ сжатия подходит для сжатия представления системы Амбисоник высшего порядка, обозначаемой HOA, для звукового поля, при этом упомянутый способ включает в себя этапы:
- из текущего временного кадра коэффициентов HOA, оценку направлений доминирующих источников звука;
- в зависимости от упомянутых коэффициентов HOA и от упомянутых направлений доминирующих источников звука, разложение упомянутого представления HOA на доминирующие направленные сигналы во временной области и остаточную компоненту HOA, при этом упомянутая остаточная компонента HOA преобразуется в дискретную пространственную область, чтобы получать функции плоских волн в равномерных направлениях дискретизации, представляющие упомянутую остаточную компоненту HOA, и при этом упомянутые функции плоских волн предсказываются из упомянутых доминирующих направленных сигналов, тем самым, обеспечивая параметры, описывающие упомянутое предсказание, и соответствующая ошибка предсказания преобразуется назад в область HOA;
- уменьшение текущего порядка упомянутой остаточной компоненты HOA до более низкого порядка, что дает результатом остаточную компоненту HOA уменьшенного порядка;
- декоррелирование упомянутой остаточной компоненты HOA уменьшенного порядка, чтобы получать соответствующие сигналы временной области остаточной компоненты HOA;
- перцепционное кодирование упомянутых доминирующих направленных сигналов и упомянутых сигналов временной области остаточной компоненты HOA, чтобы обеспечивать сжатые доминирующие направленные сигналы и сжатые сигналы остаточной компоненты.
В принципе новое устройство сжатия является подходящим для сжатия представления системы Амбисоник высшего порядка, обозначаемой HOA, для звукового поля, при этом упомянутое устройство включает в себя:
- средство, которое выполнено с возможностью оценки направлений доминирующих источников звука из текущего временного кадра коэффициентов HOA;
- средство, которое выполнено с возможностью разложения, в зависимости от упомянутых коэффициентов HOA и от упомянутых направлений доминирующих источников звука, упомянутого представления HOA на доминирующие направленные сигналы во временной области и остаточную компоненту HOA, при этом упомянутая остаточная компонента HOA преобразуется в дискретную пространственную область, чтобы получать функции плоских волн в равномерных направлениях дискретизации, представляющие упомянутую остаточную компоненту HOA, и при этом упомянутые функции плоских волн предсказываются из упомянутых доминирующих направленных сигналов, тем самым, обеспечивая параметры, описывающие упомянутое предсказание, и соответствующая ошибка предсказания преобразуется назад в область HOA;
- средство, которое выполнено с возможностью уменьшения текущего порядка упомянутой остаточной компоненты HOA до более низкого порядка, что дает результатом остаточную компоненту HOA уменьшенного порядка;
- средство, которое выполнено с возможностью декоррелирования упомянутой остаточной компоненты HOA уменьшенного порядка, чтобы получать соответствующие сигналы временной области остаточной компоненты HOA;
- средство, которое выполнено с возможностью перцепционного кодирования упомянутых доминирующих направленных сигналов и упомянутых сигналов временной области остаточной компоненты HOA, чтобы обеспечивать сжатые доминирующие направленные сигналы и сжатые сигналы остаточной компоненты.
В принципе, новый способ восстановления является подходящим для восстановления представления системы Амбисоник высшего порядка, сжатого согласно вышеописанному способу сжатия, при этом упомянутый способ восстановления включает в себя этапы:
- перцепционное декодирование упомянутых сжатых доминирующих направленных сигналов и упомянутых сжатых сигналов остаточной компоненты, чтобы обеспечивать восстановленные доминирующие направленные сигналы и восстановленные сигналы временной области, представляющие остаточную компоненту HOA в пространственной области;
- повторную корреляцию упомянутых восстановленных сигналов временной области, чтобы получать соответствующую остаточную компоненту HOA уменьшенного порядка;
- увеличение порядка упомянутой остаточной компоненты HOA уменьшенного порядка до исходного порядка, чтобы обеспечивать соответствующую восстановленную остаточную компоненту HOA;
- с использованием упомянутых восстановленных доминирующих направленных сигналов, упомянутой восстановленной остаточной компоненты HOA исходного порядка, упомянутых оцененных направлений доминирующих источников звука, и упомянутых параметров, описывающих упомянутое предсказание, конструирование соответствующего восстановленного и реконструированного кадра коэффициентов HOA.
В принципе новое устройство восстановления является подходящим для восстановления представления системы Амбисоник высшего порядка, сжатого согласно вышеописанному способу сжатия, при этом упомянутое устройство восстановления включает в себя:
- средство, которое выполнено с возможностью перцепционного декодирования упомянутых сжатых доминирующих направленных сигналов и упомянутых сжатых сигналов остаточной компоненты, чтобы обеспечивать восстановленные доминирующие направленные сигналы и восстановленные сигналы временной области, представляющие остаточную компоненту HOA в пространственной области;
- средство, которое выполнено с возможностью повторной корреляции упомянутых восстановленных сигналов временной области, чтобы получать соответствующую остаточную компоненту HOA уменьшенного порядка;
- средство, которое выполнено с возможностью увеличения порядка упомянутой остаточной компоненты HOA уменьшенного порядка до исходного порядка, чтобы обеспечивать соответствующую восстановленную остаточную компоненту HOA;
- средство, которое выполнено с возможностью конструирования соответствующего восстановленного и реконструированного кадра коэффициентов HOA посредством использования упомянутых восстановленных доминирующих направленных сигналов, упомянутой восстановленной остаточной компоненты HOA исходного порядка, упомянутых оцененных направлений доминирующих источников звука, и упомянутых параметров, описывающих упомянутое предсказание.
Предпочтительные дополнительные варианты осуществления изобретения раскрыты в соответствующих зависимых пунктах формулы изобретения.
Чертежи
Иллюстративные варианты осуществления изобретения описаны со ссылкой на сопровождающие чертежи, которые показывают:
Фиг. 1a - этап 1 сжатия: разложение сигнала HOA на некоторое количество доминирующих направленных сигналов, остаточную окружающую компоненту HOA и дополнительную информацию;
Фиг. 1b - этап 2 сжатия: уменьшение порядка и декоррелирование для окружающей компоненты HOA и перцепционное кодирование обоих компонент;
Фиг. 2a - этап 1 восстановления: перцепционное декодирование сигналов временной области, повторная корреляция сигналов, представляющих остаточную окружающую компоненту HOA, и увеличение порядка;
Фиг. 2b - этап 2 восстановления: конструирование полного представления HOA;
Фиг. 3 - разложение HOA;
Фиг. 4 - конструирование HOA;
Фиг. 5 - сферическая система координат.
Фиг. 6 - график нормализованной функции 
для разных значений N.
Иллюстративные варианты осуществления
Обработка сжатия
Обработка сжатия согласно изобретению включает в себя два последовательных этапа, проиллюстрированных на фиг. 1a и фиг. 1b, соответственно. Точные определения индивидуальных сигналов описаны в разделе Подробное описание разложения и реконструкции HOA. Используется по-кадровая обработка для сжатия с неперекрывающимися входными кадрами 
последовательностей коэффициентов HOA длины 
, где k обозначает индекс кадра. Кадры определяются по отношению к последовательностям коэффициентов HOA, определенным в уравнении (42) как
где 
обозначает период дискретизации.
На фиг. 1a, кадр 
последовательностей коэффициентов HOA вводится в этап или стадию 11 оценки направлений доминирующих источников звука, который анализирует представление HOA на присутствие доминирующих направленных сигналов, чьи направления оцениваются. Оценка направления может выполняться, например, посредством обработки, описанной в патентной заявке EP 2665208 A1. Оцененные направления обозначаются посредством 
, где 
обозначает максимальное количество оценок направлений. Предполагается, что они располагаются в матрице 
как
Неявно предполагается, что оценки направлений подходящим образом упорядочены посредством назначения их оценкам направлений из предыдущих кадров. Следовательно, предполагается, что временная последовательность индивидуальной оценки направления описывает направленную траекторию доминирующего источника звука. В частности, если предполагается, что d-ый доминирующий источник звука не является активным, является возможным указать это посредством назначения недействительного значения для 
. Затем, используя оцененные направления в 
, представление HOA разлагается на этапе или стадии 12 разложения на некоторое количество максимум 
доминирующих направленных сигналов 
, некоторые параметры 
, описывающие предсказание сигналов пространственной области остаточной компоненты HOA из доминирующих направленных сигналов, и окружающую компоненту HOA 
, представляющую ошибку предсказания. Подробное описание этого разложения обеспечивается в разделе Разложение HOA.
На фиг. 1b показано перцепционное кодирование направленных сигналов 
и остаточной окружающей компоненты HOA 
. Направленные сигналы 
являются стандартными сигналами временной области, которые могут индивидуально сжиматься с использованием любого существующего способа перцепционного сжатия. Сжатие окружающей компоненты области HOA 
выполняется в двух последовательных этапах или стадиях. На этапе или стадии 13 уменьшения порядка выполняется уменьшение до порядка системы Амбисоник 
, где, например, 
, что дает результатом окружающую компоненту HOA 
. Такое уменьшение порядка выполняется посредством удержания в 
только 
коэффициентов HOA и отбрасывания других. На стороне декодера, как описано ниже, для опущенных значений добавляются соответствующие нулевые значения.
Следует отметить, что, по сравнению с подходом в патентной заявке EP 2665208 A1, уменьшенный порядок 
может, в общем, выбираться более малым, так как полная мощность также как оставшаяся величина направленности остаточной окружающей компоненты HOA является более малой. Поэтому уменьшение порядка вызывает более малые ошибки по сравнению с EP 2665208 A1.
На последующем этапе или стадии 14 декоррелирования, последовательности коэффициентов HOA, представляющие окружающую компоненту HOA 
с уменьшенным порядком, декоррелируются, чтобы получать сигналы временной области 
, которые вводятся в (набор из) параллельные перцепционные кодеры или модули 15 сжатия, работающие согласно любому известному способу перцепционного сжатия. Декоррелирование выполняется, чтобы избегать размаскирования шума перцепционного кодирования при воспроизведении представления HOA, следующем за его восстановлением (см. патентную заявку EP 12305860.4 для объяснения). Приблизительное декоррелирование может достигаться посредством преобразования 
в 
эквивалентных сигналов в пространственной области посредством применения сферического гармонического преобразования, как описано в EP 2469742 A2.
Альтернативно, может использоваться адаптивное сферическое гармоническое преобразование, как предложено в патентной заявке EP 12305861.2, где сетка направлений дискретизации вращается, чтобы достигать наилучшего возможного эффекта декоррелирования. Дополнительным альтернативным способом декоррелирования является преобразование Карунена-Лоэва (KLT), описанное в патентной заявке EP 12305860.4. Следует отметить, что для упомянутых последних двух типов декоррелирования должен обеспечиваться некоторый тип дополнительной информации, обозначенной посредством 
, чтобы обеспечивать возможность обращения декоррелирования на стадии восстановления HOA.
В одном варианте осуществления перцепционное сжатие всех сигналов временной области 
и 
выполняется совместно, чтобы улучшать эффективность кодирования.
Вывод перцепционного кодирования является сжатыми направленными сигналами 
и сжатыми окружающими сигналами временной области 
.
Обработка восстановления
Обработка восстановления показана на фиг. 2a и фиг. 2b. Подобно сжатию, она состоит из двух последовательных этапов. На фиг. 2a перцепционное восстановление направленных сигналов 
и сигналов временной области 
, представляющих остаточную окружающую компоненту HOA, выполняется на этапе или стадии 21 перцепционного декодирования или восстановления. Результирующие перцепционно восстановленные сигналы временной области 
повторно коррелируются на этапе или стадии 22 повторной корреляции, чтобы обеспечивать представление HOA остаточной компоненты 
порядка 
. Необязательно, повторная корреляция может выполняться обратным способом, как описано для упомянутых двух альтернативных обработок, описанных для этапа/стадии 14, с использованием переданных или сохраненных параметров 
в зависимости от способа декоррелирования, который использовался. После этого, из 
оценивается соответствующее представление HOA 
порядка 
на этапе или стадии 23 увеличения порядка посредством увеличения порядка. Увеличение порядка достигается посредством добавления соответствующих строк 'нулевых значений' к 
, тем самым предполагается, что коэффициенты HOA по отношению к более высоким порядкам имеют нулевые значения.
На фиг. 2b, полное представление HOA реконструируется на этапе или стадии 24 конструирования из восстановленных доминирующих направленных сигналов 
вместе с соответствующими направлениями 
и параметрами предсказания 
, также как из остаточной окружающей компоненты HOA 
, что дает результатом восстановленный и реконструированный кадр 
коэффициентов HOA.
В случае, когда перцепционное сжатие всех сигналов временной области 
и 
выполняется совместно, чтобы улучшать эффективность кодирования, перцепционное восстановление сжатых направленных сигналов 
и сжатых сигналов временной области 
также выполняется совместно соответствующим способом.
Подробное описание реконструкции обеспечивается в разделе Реконструкция HOA.
Разложение HOA
Блок-схема, иллюстрирующая операции, выполняемые для разложения HOA, дана на фиг. 3. Краткое описание операции: Во-первых, сглаженные доминирующие направленные сигналы 
вычисляются и выводятся для перцепционного сжатия. Далее, остаток между представлением HOA 
доминирующих направленных сигналов и исходным представлением HOA 
представляется посредством некоторого количества 
направленных сигналов 
, которые могут рассматриваться как общие плоские волны из равномерно распределенных направлений. Эти направленные сигналы предсказываются из доминирующих направленных сигналов 
, где выводятся параметры предсказания 
. В заключение, вычисляется и выводится остаток 
между исходным представлением HOA 
и представлением HOA 
доминирующих направленных сигналов вместе с представлением HOA 
предсказанных направленных сигналов из равномерно распределенных направлений.
Перед тем, как углубляться в подробности, следует упомянуть, что изменения направлений между последовательными кадрами может вести к нарушению непрерывности всех вычисленных сигналов в течение конструирования. Следовательно, мгновенные оценки соответствующих сигналов для перекрывающихся кадров вычисляются первыми, которые имеют длину 2B. Во-вторых, результаты последовательных перекрывающихся кадров сглаживаются с использованием соответствующей оконной функции. Каждое сглаживание, однако, вводит задержку одиночного кадра.
Вычисление мгновенных доминирующих направленных сигналов
Вычисление мгновенных доминирующих направленных сигналов на этапе или стадии 30 из оцененных направлений источников звука в 
для текущего кадра 
последовательностей коэффициентов HOA основывается на сопоставлении режимов, как описано в M.A. Poletti, "Three-Dimensional Surround Sound Systems Based on Spherical Harmonics", J. Audio Eng. Soc., 53(11), страницы 1004-1025, 2005. В частности, ищутся те направленные сигналы, чье представление HOA дает результатом наилучшее приближение заданного сигнала HOA.
Дополнительно, без потери общности, предполагается, что каждая оценка направления 
активного доминирующего источника звука может однозначно определяться посредством вектора, имеющего угол наклона 
и азимутальный угол 
(см. фиг. 5 для иллюстрации) согласно
Во-первых, матрица режимов на основе оценок направлений активных источников звука вычисляется согласно
где
В уравнении (4), 
обозначает количество активных направлений для k-ого кадра и 
, 
показывает их индексы. 
обозначает вещественозначные сферические гармоники, которые определены в разделе Определение вещественозначных сферических гармоник.
Во-вторых, вычисляется матрица 
, содержащая мгновенные оценки всех доминирующих направленных сигналов для (k-1)-ого и k-ого кадров, определенная как
где
Это выполняется на двух этапах. На первом этапе, выборки направленного сигнала в строках, соответствующих неактивным направлениям, устанавливаются на нуль, т.е.
где 
показывает набор активных направлений. На втором этапе, выборки направленного сигнала, соответствующие активным направлениям, получаются посредством сначала расположения их в матрице согласно
Эта матрица затем вычисляется, чтобы минимизировать евклидову норму ошибки
Решение дается посредством
Временное сглаживание
Для этапа или стадии 31, сглаживание описывается только для направленных сигналов 
, так как сглаживание других типов сигналов может выполняться полностью аналогичным способом. Оценки направленных сигналов 
, 
, чьи выборки содержатся в матрице 
согласно уравнению (6), подвергаются оконной обработке посредством соответствующей оконной функции 
:
Эта оконная функция должна удовлетворять условию, что получается '1' при ее сложении с ее сдвинутой версией (предполагается сдвиг B выборок) в области перекрытия:
Пример для такой оконной функции дается посредством периодического окна Хэнна, определенного посредством
Сглаженные направленные сигналы для (k-1)-ого кадра вычисляются посредством соответствующей суперпозиции подвергнутых оконной обработке мгновенных оценок согласно
Выборки всех сглаженных направленных сигналов для (k-1)-ого кадра располагаются в матрице
где
Предполагается, что сглаженные доминирующие направленные сигналы 
являются непрерывными сигналами, которые последовательно вводятся в перцепционные кодеры.
Вычисление представления HOA сглаженных доминирующих направленных сигналов
Из 
и 
, вычисляется представление HOA сглаженных доминирующих направленных сигналов на этапе или стадии 32 в зависимости от непрерывных сигналов 
, чтобы имитировать такие же операции, как должны выполняться для конструирования HOA. Так как изменения оценок направлений между последовательными кадрами могут вести к нарушению непрерывности, как только снова вычисляются мгновенные представления HOA перекрывающихся кадров длины 
и результаты последовательных перекрывающихся кадров сглаживаются посредством использования соответствующей оконной функции. Следовательно, представление HOA 
получается посредством
где
и
Представление остаточного представления HOA посредством направленных сигналов на регулярной сетке
Из 
и 
(т.е. 
, задержанного на задержку 381 кадра), остаточное представление HOA посредством направленных сигналов на регулярной сетке вычисляется на этапе или стадии 33. Цель этой операции состоит в том, чтобы получать направленные сигналы (т.е. функции общих плоских волн), сталкивающиеся из некоторых фиксированных, почти равномерно распределенных направлений 
, 
(также упоминаемых как направления сетки), чтобы представлять остаток 
.
Сначала, по отношению к направлениям сетки матрица режимов 
вычисляется как
где
Так как направления сетки являются фиксированными в течение всей процедуры сжатия, матрица режимов 
должна вычисляться только один раз.
Направленные сигналы на соответствующей сетке получаются как
Предсказание направленных сигналов на регулярной сетке из доминирующих направленных сигналов
Из 
и 
, направленные сигналы на регулярной сетке предсказываются на этапе или стадии 34. Предсказание направленных сигналов на регулярной сетке, состоящей из направлений сетки 
, 
из направленных сигналов, основывается на двух последовательных кадрах для целей сглаживания, т.е. увеличенный кадр сигналов сетки 
(длины 
) предсказывается из увеличенного кадра сглаженных доминирующих направленных сигналов
Во-первых, каждый сигнал сетки 
, 
, содержащийся в 
, назначается доминирующему направленному сигналу 
, 
, содержащемуся в 
. Назначение может основываться на вычислении нормализованной взаимнокорреляционной функции между сигналом сетки и всеми доминирующими направленными сигналами. В частности, этот доминирующий направленный сигнал назначается сигналу сетки, который обеспечивает наивысшее значение нормализованной взаимнокорреляционной функции. Результат назначения может формулироваться посредством функции назначения 
, назначающей 
-ый сигнал сетки 
-ому доминирующему направленному сигналу.
Во-вторых, каждый сигнал сетки 
предсказывается из назначенного доминирующего направленного сигнала 
.
Предсказанный сигнал сетки 
вычисляется посредством задержки и масштабирования из назначенного доминирующего направленного сигнала 
как
где 
обозначает коэффициент масштабирования и 
показывает задержку выборки. Эти параметры выбираются для минимизации ошибки предсказания.
Если мощность ошибки предсказания больше, чем мощность самого сигнала сетки, предполагается, что предсказание потерпело неудачу. Затем, соответствующие параметры предсказания могут устанавливаться на любое недействительное значение.
Следует отметить, что являются возможными также другие типы предсказания. Например, вместо вычисления коэффициента масштабирования полного диапазона, также является разумным определять коэффициенты масштабирования для перцепционно ориентированных частотных диапазонов. Однако эта операция улучшает предсказание за счет увеличенной величины дополнительной информации.
Все параметры предсказания могут располагаться в матрице параметров как
Предполагаются, что все предсказанные сигналы 
, 
, располагаются в матрице 
.
Вычисление представления HOA предсказанных направленных сигналов на регулярной сетке
Представление HOA предсказанных сигналов сетки вычисляется на этапе или стадии 35 из 
согласно
Вычисление представления HOA остаточной компоненты окружающего звукового поля
Из 
, которое является сглаженной по времени версией (на этапе/стадии 36) для 
, из 
, которое является задержанной на два кадра версией (задержки 381 и 383) для 
, и из 
, которое является задержанной на один кадр версией (задержка 382) для 
, представление HOA остаточной компоненты окружающего звукового поля вычисляется на этапе или стадии 37 посредством
Реконструкция HOA
Перед подробным описанием обработки индивидуальных этапов или стадий на фиг. 4 в деталях, обеспечивается краткое описание.
Направленные сигналы 
по отношению к равномерно распределенным направлениям предсказываются из декодированных доминирующих направленных сигналов 
с использованием параметров предсказания 
. Далее, полное представление HOA 
конструируется из представления HOA 
доминирующих направленных сигналов, представления HOA 
предсказанных направленных сигналов и остаточной окружающей компоненты HOA 
.
Вычисление представления HOA доминирующих направленных сигналов
где
и
Предсказание направленных сигналов на регулярной сетке из доминирующих направленных сигналов
которые предсказываются из доминирующих направленных сигналов посредством
Вычисление представления HOA предсказанных направленных сигналов на регулярной сетке
На этапе или стадии 44 для вычисления представления HOA предсказанных направленных сигналов на регулярной сетке, представление HOA предсказанных направленных сигналов сетки получается посредством
где 
обозначает матрицу режимов по отношению к предварительно определенным направлениям сетки (см. уравнение (21) для определения).
Конструирование представления звукового поля HOA
Из 
(т.е. 
, задержанного посредством задержки 42 кадра), 
(которое является сглаженной по времени версией для 
на этапе/стадии 45) и 
, полное представление звукового поля HOA наконец конструируется на этапе или стадии 46 как
Основы системы Амбисоник высшего порядка
Система Амбисоник высшего порядка основывается на описании звукового поля внутри компактной области интереса, о которой предполагается, что она является свободной от источников звука. В этом случае пространственно-временное поведение звукового давления 
в момент времени t и положении x внутри области интереса является физически полностью определенным посредством однородного волнового уравнения. Последующее основывается на сферической системе координат, как показано на фиг. 5. Ось x указывает на положение вперед, ось y указывает влево, и ось z указывает вверх. Положение в пространстве 
представляется посредством радиуса 
(т.е. расстояния до начала координат), угла наклона 
, измеренного от полярной оси z, и азимутального угла 
, измеренного против часовой стрелки в плоскости x-y от оси x. 
обозначает транспозицию.
Можно показать (см. E.G. Williams, "Fourier Acoustics", volume 93 of Applied Mathematical Sciences, Academic Press, 1999), что преобразование Фурье звукового давления по отношению к времени, обозначенное посредством 
, т.е.
где 
обозначает угловую частоту и i обозначает мнимую единицу, может быть разложено в ряд сферических гармоник согласно
где 
обозначает скорость звука и k обозначает угловой индекс моды, который связан с угловой частотой 
как 
, 
обозначает сферические функции Бесселя первого рода, и 
обозначает вещественозначные сферические гармоники порядка n и степени m, которые определены в разделе Определение вещественозначных сферических гармоник. Коэффициенты разложения 
зависят только от углового индекса моды k. Отметим, что неявно предполагается, что звуковое давление является пространственно ограниченным по диапазону. Таким образом, ряд является усеченным по отношению к индексу порядка n на верхнем пределе N, который называется порядком представления HOA.
Если звуковое поле представляется посредством суперпозиции бесконечного количества гармонических плоских волн разных угловых частот 
и прибывает из всех возможных направлений, определенных посредством кортежа углов 
, можно показать (см. B. Rafaely, "Plane-wave Decomposition of the Sound Field on a Sphere by Spherical Convolution", J. Acoust. Soc. Am., 4(116), страницы 2149-2157, 2004), что соответствующая функция комплексной амплитуды плоской волны 
может быть выражена посредством разложения по сферическим гармоникам
где коэффициенты разложения 
относятся к коэффициентам разложения 
как
Предполагая, что индивидуальные коэффициенты 
являются функциями угловой частоты 
, применение обратного преобразования Фурье (обозначаемого как 
) обеспечивает функции временной области
для каждого порядка n и степени m, которые могут быть собраны в одиночном векторе
Индекс положения функции временной области 
внутри вектора 
дается посредством 
.
Последний формат системы Амбисоник обеспечивает дискретизированную версию 
с использованием частоты дискретизации 
как
где 
обозначает период дискретизации. Элементы 
упоминаются как коэффициенты системы Амбисоник. Отметим, что сигналы временной области 
и, следовательно, коэффициенты системы Амбисоник являются вещественозначными.
Определение вещественозначных сферических гармоник
Вещественозначные сферические гармоники 
даются посредством
где
Ассоциированные функции Лежандра 
определяются как
с полиномом Лежандра 
и, в отличие от вышеупомянутого учебника E.G. Williams, без члена фазы Кондона-Шортли 
.
Пространственное разрешение системы Амбисоник высшего порядка
Функция общей плоской волны 
, прибывающая из направления 
, представляется в HOA посредством
Соответствующая пространственная плотность амплитуд плоской волны 
дается посредством
Можно видеть из уравнения (48), что она является произведением функции общей плоской волны 
и функции пространственной дисперсии 
, для которой можно показать, что она зависит только от угла 
между 
и 
, имеющего свойство
Как ожидается, в пределе бесконечного порядка, т.е. 
, функция пространственной дисперсии переходит в дельта функцию Дирака 
, т.е.
Однако в случае конечного порядка N, вклад общей плоской волны из направления 
размывается в соседние направления, где степень размытости уменьшается с увеличением порядка. График нормализованной функции для разных значений N показан на фиг. 6. Следует отметить, что любое направление 
поведения временной области пространственной плотности амплитуд плоской волны является кратным его поведения в любом другом направлении. В частности, функции 
и 
для некоторых фиксированных направлений 
и 
являются высоко коррелированными друг с другом по отношению к времени t.
Дискретная пространственная область
Если пространственная плотность амплитуд плоской волны дискретизируется при некотором количестве 
пространственных направлений 
, 
, которые являются почти равномерно распределенными на единичной сфере, получаются 
направленных сигналов 
. Собирая эти сигналы в вектор
можно проверить посредством использования уравнения (47), что этот вектор может быть вычислен из непрерывного представления системы Амбисоник 
, определенного в уравнении (41), посредством простого матричного умножения как
где 
обозначает объединенные транспозицию и сопряжение, и 
обозначает матрицу режимов, определенную посредством
где
Так как направления 
являются почти равномерно распределенными на единичной сфере, матрица режимов, в общем, является обратимой. Следовательно, непрерывное представление системы Амбисоник может быть вычислено из направленных сигналов 
посредством
Оба уравнения составляют преобразование и обратное преобразование между представлением системы Амбисоник и пространственной областью. В этой заявке эти преобразования называются сферическое гармоническое преобразование и обратное сферическое гармоническое преобразование.
Так как направления 
являются почти равномерно распределенными на единичной сфере,
что оправдывает использование 
вместо 
в уравнении (52). Предпочтительно, все упомянутые отношения являются действительными для дискретной временной области, также.
На стороне кодирования также как на стороне декодирования новая обработка может выполняться посредством одиночного процессора или электронной схемы, или посредством нескольких процессоров или электронных схем, работающих параллельно и/или работающих в разных частях новой обработки.
Изобретение может применяться для обработки соответствующих звуковых сигналов, которые могут воспроизводиться или проигрываться на компоновке громкоговорителей в домашней среде или на компоновке громкоговорителей в кинотеатре.
Claims (11)
1. Способ для восстановления сжатого представления системы Амбисоник высшего порядка (обозначаемой HOA), при этом способ содержит:
перцепционное декодирование сжатых доминирующих направленных сигналов и сжатых сигналов остаточной компоненты, чтобы обеспечивать восстановленные доминирующие направленные сигналы и восстановленные сигналы временной области, представляющие остаточную компоненту HOA в пространственной области;
повторную корреляцию восстановленных сигналов временной области, чтобы получать соответствующую остаточную компоненту HOA уменьшенного порядка;
определение восстановленной остаточной компоненты HOA на основе соответствующей остаточной компоненты HOA уменьшенного порядка;
определение предсказанных направленных сигналов на основе, по меньшей мере, параметра;
определение представления звукового поля HOA на основе восстановленных доминирующих направленных сигналов, предсказанных направленных сигналов и восстановленной остаточной компоненты HOA.
2. Устройство для восстановления представления системы Амбисоник высшего порядка (обозначаемой HOA), при этом устройство содержит:
средство декодирования, которое осуществляет перцепционное декодирование сжатых доминирующих направленных сигналов и сжатых сигналов остаточной компоненты, чтобы обеспечивать восстановленные доминирующие направленные сигналы и восстановленные сигналы временной области, представляющие остаточную компоненту HOA в пространственной области;
средство повторной корреляции, которое осуществляет повторную корреляцию восстановленных сигналов временной области, чтобы получать соответствующую остаточную компоненту HOA уменьшенного порядка;
процессор, выполненный с возможностью определения восстановленной остаточной компоненты HOA на основе соответствующей остаточной компоненты HOA уменьшенного порядка, причем процессор дополнительно выполнен с возможностью определения предсказанных направленных сигналов на основе, по меньшей мере, параметра;
причем процессор дополнительно выполнен с возможностью определения представления звукового поля HOA на основе восстановленных доминирующих направленных сигналов, предсказанных направленных сигналов и восстановленной остаточной компоненты HOA.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP12306569.0A EP2743922A1 (en) | 2012-12-12 | 2012-12-12 | Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field |
| EP12306569.0 | 2012-12-12 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2015128090A Division RU2623886C2 (ru) | 2012-12-12 | 2013-12-04 | Способ и устройство для сжатия и восстановления представления системы амбисоник высшего порядка для звукового поля |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2021104517A Division RU2823441C9 (ru) | 2012-12-12 | 2021-02-24 | Способ и устройство для сжатия и восстановления представления системы амбисоник высшего порядка для звукового поля |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2017118830A RU2017118830A (ru) | 2018-10-31 |
| RU2017118830A3 RU2017118830A3 (ru) | 2020-09-07 |
| RU2744489C2 true RU2744489C2 (ru) | 2021-03-10 |
Family
ID=47715805
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017118830A RU2744489C2 (ru) | 2012-12-12 | 2013-12-04 | Способ и устройство для сжатия и восстановления представления системы амбисоник высшего порядка для звукового поля |
| RU2015128090A RU2623886C2 (ru) | 2012-12-12 | 2013-12-04 | Способ и устройство для сжатия и восстановления представления системы амбисоник высшего порядка для звукового поля |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2015128090A RU2623886C2 (ru) | 2012-12-12 | 2013-12-04 | Способ и устройство для сжатия и восстановления представления системы амбисоник высшего порядка для звукового поля |
Country Status (12)
| Country | Link |
|---|---|
| US (7) | US9646618B2 (ru) |
| EP (4) | EP2743922A1 (ru) |
| JP (6) | JP6285458B2 (ru) |
| KR (5) | KR102546541B1 (ru) |
| CN (9) | CN109448743B (ru) |
| CA (6) | CA3125228C (ru) |
| HK (1) | HK1216356A1 (ru) |
| MX (6) | MX344988B (ru) |
| MY (2) | MY169354A (ru) |
| RU (2) | RU2744489C2 (ru) |
| TW (6) | TWI645397B (ru) |
| WO (1) | WO2014090660A1 (ru) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2665208A1 (en) | 2012-05-14 | 2013-11-20 | Thomson Licensing | Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation |
| EP2743922A1 (en) | 2012-12-12 | 2014-06-18 | Thomson Licensing | Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field |
| US9685163B2 (en) | 2013-03-01 | 2017-06-20 | Qualcomm Incorporated | Transforming spherical harmonic coefficients |
| EP2800401A1 (en) | 2013-04-29 | 2014-11-05 | Thomson Licensing | Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation |
| US9466305B2 (en) | 2013-05-29 | 2016-10-11 | Qualcomm Incorporated | Performing positional analysis to code spherical harmonic coefficients |
| US9980074B2 (en) | 2013-05-29 | 2018-05-22 | Qualcomm Incorporated | Quantization step sizes for compression of spatial components of a sound field |
| EP2824661A1 (en) | 2013-07-11 | 2015-01-14 | Thomson Licensing | Method and Apparatus for generating from a coefficient domain representation of HOA signals a mixed spatial/coefficient domain representation of said HOA signals |
| CN111179955B (zh) * | 2014-01-08 | 2024-04-09 | 杜比国际公司 | 包括编码hoa表示的位流的解码方法和装置、以及介质 |
| US9502045B2 (en) | 2014-01-30 | 2016-11-22 | Qualcomm Incorporated | Coding independent frames of ambient higher-order ambisonic coefficients |
| US9922656B2 (en) | 2014-01-30 | 2018-03-20 | Qualcomm Incorporated | Transitioning of ambient higher-order ambisonic coefficients |
| CN106104681B (zh) | 2014-03-21 | 2020-02-11 | 杜比国际公司 | 对压缩的高阶高保真立体声(hoa)表示进行解码的方法及装置 |
| EP2922057A1 (en) | 2014-03-21 | 2015-09-23 | Thomson Licensing | Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal |
| KR102428794B1 (ko) | 2014-03-21 | 2022-08-04 | 돌비 인터네셔널 에이비 | 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치 |
| US9852737B2 (en) | 2014-05-16 | 2017-12-26 | Qualcomm Incorporated | Coding vectors decomposed from higher-order ambisonics audio signals |
| US9620137B2 (en) | 2014-05-16 | 2017-04-11 | Qualcomm Incorporated | Determining between scalar and vector quantization in higher order ambisonic coefficients |
| US10770087B2 (en) * | 2014-05-16 | 2020-09-08 | Qualcomm Incorporated | Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals |
| KR20230162157A (ko) * | 2014-06-27 | 2023-11-28 | 돌비 인터네셔널 에이비 | Hoa 데이터 프레임 표현의 데이터 프레임들 중 특정 데이터 프레임들의 채널 신호들과 연관된 비차분 이득 값들을 포함하는 코딩된 hoa 데이터 프레임 표현 |
| EP3860154B1 (en) | 2014-06-27 | 2024-02-21 | Dolby International AB | Method for decoding a compressed hoa dataframe representation of a sound field. |
| CN113793618A (zh) * | 2014-06-27 | 2021-12-14 | 杜比国际公司 | 针对hoa数据帧表示的压缩确定表示非差分增益值所需的最小整数比特数的方法 |
| EP2960903A1 (en) * | 2014-06-27 | 2015-12-30 | Thomson Licensing | Method and apparatus for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values |
| EP2963949A1 (en) * | 2014-07-02 | 2016-01-06 | Thomson Licensing | Method and apparatus for decoding a compressed HOA representation, and method and apparatus for encoding a compressed HOA representation |
| EP2963948A1 (en) | 2014-07-02 | 2016-01-06 | Thomson Licensing | Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a HOA signal representation |
| CN106463132B (zh) * | 2014-07-02 | 2021-02-02 | 杜比国际公司 | 对压缩的hoa表示编码和解码的方法和装置 |
| US9838819B2 (en) * | 2014-07-02 | 2017-12-05 | Qualcomm Incorporated | Reducing correlation between higher order ambisonic (HOA) background channels |
| KR102460820B1 (ko) * | 2014-07-02 | 2022-10-31 | 돌비 인터네셔널 에이비 | Ｈｏａ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치 |
| KR102363275B1 (ko) * | 2014-07-02 | 2022-02-16 | 돌비 인터네셔널 에이비 | Ｈｏａ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치 |
| US9847088B2 (en) * | 2014-08-29 | 2017-12-19 | Qualcomm Incorporated | Intermediate compression for higher order ambisonic audio data |
| US9747910B2 (en) | 2014-09-26 | 2017-08-29 | Qualcomm Incorporated | Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework |
| US10140996B2 (en) | 2014-10-10 | 2018-11-27 | Qualcomm Incorporated | Signaling layers for scalable coding of higher order ambisonic audio data |
| EP3007167A1 (en) * | 2014-10-10 | 2016-04-13 | Thomson Licensing | Method and apparatus for low bit rate compression of a Higher Order Ambisonics HOA signal representation of a sound field |
| US12087311B2 (en) | 2015-07-30 | 2024-09-10 | Dolby Laboratories Licensing Corporation | Method and apparatus for encoding and decoding an HOA representation |
| EP3329486B1 (en) | 2015-07-30 | 2020-07-29 | Dolby International AB | Method and apparatus for generating from an hoa signal representation a mezzanine hoa signal representation |
| US10257632B2 (en) | 2015-08-31 | 2019-04-09 | Dolby Laboratories Licensing Corporation | Method for frame-wise combined decoding and rendering of a compressed HOA signal and apparatus for frame-wise combined decoding and rendering of a compressed HOA signal |
| US10249312B2 (en) * | 2015-10-08 | 2019-04-02 | Qualcomm Incorporated | Quantization of spatial vectors |
| US9961467B2 (en) | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from channel-based audio to HOA |
| US9961475B2 (en) | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from object-based audio to HOA |
| WO2017087650A1 (en) | 2015-11-17 | 2017-05-26 | Dolby Laboratories Licensing Corporation | Headtracking for parametric binaural output system and method |
| US9881628B2 (en) * | 2016-01-05 | 2018-01-30 | Qualcomm Incorporated | Mixed domain coding of audio |
| CN108476373B (zh) * | 2016-01-27 | 2020-11-17 | 华为技术有限公司 | 一种处理声场数据的方法和装置 |
| WO2017157803A1 (en) | 2016-03-15 | 2017-09-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method or computer program for generating a sound field description |
| CN107945810B (zh) * | 2016-10-13 | 2021-12-14 | 杭州米谟科技有限公司 | 用于编码和解码hoa或多声道数据的方法和装置 |
| US10332530B2 (en) * | 2017-01-27 | 2019-06-25 | Google Llc | Coding of a soundfield representation |
| US10777209B1 (en) * | 2017-05-01 | 2020-09-15 | Panasonic Intellectual Property Corporation Of America | Coding apparatus and coding method |
| US10657974B2 (en) * | 2017-12-21 | 2020-05-19 | Qualcomm Incorporated | Priority information for higher order ambisonic audio data |
| US10264386B1 (en) * | 2018-02-09 | 2019-04-16 | Google Llc | Directional emphasis in ambisonics |
| JP2019213109A (ja) * | 2018-06-07 | 2019-12-12 | 日本電信電話株式会社 | 音場信号推定装置、音場信号推定方法、プログラム |
| CN111193990B (zh) * | 2020-01-06 | 2021-01-19 | 北京大学 | 一种抗高频空间混叠的3d音频系统及实现方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100198601A1 (en) * | 2007-05-10 | 2010-08-05 | France Telecom | Audio encoding and decoding method and associated audio encoder, audio decoder and computer programs |
| US8009966B2 (en) * | 2002-11-01 | 2011-08-30 | Synchro Arts Limited | Methods and apparatus for use in sound replacement with automatic synchronization to images |
| RU2450369C2 (ru) * | 2007-09-25 | 2012-05-10 | Моторола Мобилити, Инк., | Устройство и способ для кодирования многоканального звукового сигнала |
| EP2469742A2 (en) * | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SG45281A1 (en) * | 1992-06-26 | 1998-01-16 | Discovision Ass | Method and arrangement for transformation of signals from a frequency to a time domain |
| EP1230586B1 (en) | 1999-11-12 | 2011-10-12 | Jerry Moscovitch | Horizontal three screen lcd display system |
| FR2801108B1 (fr) | 1999-11-16 | 2002-03-01 | Maxmat S A | Analyseur chimique ou biochimique a regulation de la temperature reactionnelle |
| KR100933548B1 (ko) * | 2005-04-15 | 2009-12-23 | 돌비 스웨덴 에이비 | 비상관 신호의 시간적 엔벨로프 정형화 |
| US7983922B2 (en) * | 2005-04-15 | 2011-07-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing |
| US8139685B2 (en) * | 2005-05-10 | 2012-03-20 | Qualcomm Incorporated | Systems, methods, and apparatus for frequency control |
| JP4616074B2 (ja) * | 2005-05-16 | 2011-01-19 | 株式会社エヌ・ティ・ティ・ドコモ | アクセスルータ、サービス制御システム、サービス制御方法 |
| TW200715145A (en) * | 2005-10-12 | 2007-04-16 | Lin Hui | File compression method of digital sound signals |
| US8374365B2 (en) * | 2006-05-17 | 2013-02-12 | Creative Technology Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
| US8165124B2 (en) * | 2006-10-13 | 2012-04-24 | Qualcomm Incorporated | Message compression methods and apparatus |
| WO2008096313A1 (en) * | 2007-02-06 | 2008-08-14 | Koninklijke Philips Electronics N.V. | Low complexity parametric stereo decoder |
| WO2009046223A2 (en) | 2007-10-03 | 2009-04-09 | Creative Technology Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
| WO2009067741A1 (en) * | 2007-11-27 | 2009-06-04 | Acouity Pty Ltd | Bandwidth compression of parametric soundfield representations for transmission and storage |
| EP2205007B1 (en) * | 2008-12-30 | 2019-01-09 | Dolby International AB | Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction |
| CN105225667B (zh) * | 2009-03-17 | 2019-04-05 | 杜比国际公司 | 编码器系统、解码器系统、编码方法和解码方法 |
| US20100296579A1 (en) * | 2009-05-22 | 2010-11-25 | Qualcomm Incorporated | Adaptive picture type decision for video coding |
| EP2268064A1 (en) * | 2009-06-25 | 2010-12-29 | Berges Allmenndigitale Rädgivningstjeneste | Device and method for converting spatial audio signal |
| EP2285139B1 (en) * | 2009-06-25 | 2018-08-08 | Harpex Ltd. | Device and method for converting spatial audio signal |
| AU2010305313B2 (en) * | 2009-10-07 | 2015-05-28 | The University Of Sydney | Reconstruction of a recorded sound field |
| KR101717787B1 (ko) * | 2010-04-29 | 2017-03-17 | 엘지전자 주식회사 | 디스플레이장치 및 그의 음성신호 출력 방법 |
| CN101977349A (zh) * | 2010-09-29 | 2011-02-16 | 华南理工大学 | Ambisonic声重发系统解码的优化改进方法 |
| US8855341B2 (en) * | 2010-10-25 | 2014-10-07 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for head tracking based on recorded sound signals |
| EP2451196A1 (en) * | 2010-11-05 | 2012-05-09 | Thomson Licensing | Method and apparatus for generating and for decoding sound field data including ambisonics sound field data of an order higher than three |
| EP2450880A1 (en) * | 2010-11-05 | 2012-05-09 | Thomson Licensing | Data structure for Higher Order Ambisonics audio data |
| EP2665208A1 (en) | 2012-05-14 | 2013-11-20 | Thomson Licensing | Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation |
| US9190065B2 (en) * | 2012-07-15 | 2015-11-17 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients |
| EP2688066A1 (en) | 2012-07-16 | 2014-01-22 | Thomson Licensing | Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction |
| KR102201713B1 (ko) * | 2012-07-19 | 2021-01-12 | 돌비 인터네셔널 에이비 | 다채널 오디오 신호들의 렌더링을 향상시키기 위한 방법 및 디바이스 |
| EP2743922A1 (en) * | 2012-12-12 | 2014-06-18 | Thomson Licensing | Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field |
| EP2765791A1 (en) * | 2013-02-08 | 2014-08-13 | Thomson Licensing | Method and apparatus for determining directions of uncorrelated sound sources in a higher order ambisonics representation of a sound field |
| EP2800401A1 (en) * | 2013-04-29 | 2014-11-05 | Thomson Licensing | Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation |
| US9980074B2 (en) * | 2013-05-29 | 2018-05-22 | Qualcomm Incorporated | Quantization step sizes for compression of spatial components of a sound field |
-
2012
- 2012-12-12 EP EP12306569.0A patent/EP2743922A1/en not_active Withdrawn
-
2013
- 2013-12-04 CA CA3125228A patent/CA3125228C/en active Active
- 2013-12-04 CA CA3168326A patent/CA3168326A1/en active Pending
- 2013-12-04 EP EP13801563.1A patent/EP2932502B1/en active Active
- 2013-12-04 US US14/651,313 patent/US9646618B2/en active Active
- 2013-12-04 CN CN201910024898.9A patent/CN109448743B/zh active Active
- 2013-12-04 KR KR1020227026512A patent/KR102546541B1/ko active IP Right Grant
- 2013-12-04 CN CN202311300470.5A patent/CN117392989A/zh active Pending
- 2013-12-04 CA CA2891636A patent/CA2891636C/en active Active
- 2013-12-04 CN CN201910024894.0A patent/CN109410965B/zh active Active
- 2013-12-04 CA CA3125248A patent/CA3125248C/en active Active
- 2013-12-04 CN CN201380064856.9A patent/CN104854655B/zh active Active
- 2013-12-04 JP JP2015546945A patent/JP6285458B2/ja active Active
- 2013-12-04 CN CN201910024906.XA patent/CN109545235B/zh active Active
- 2013-12-04 CN CN201910024905.5A patent/CN109616130B/zh active Active
- 2013-12-04 EP EP21209477.5A patent/EP3996090A1/en active Pending
- 2013-12-04 RU RU2017118830A patent/RU2744489C2/ru active
- 2013-12-04 MY MYPI2015001234A patent/MY169354A/en unknown
- 2013-12-04 RU RU2015128090A patent/RU2623886C2/ru active
- 2013-12-04 CA CA3168322A patent/CA3168322C/en active Active
- 2013-12-04 CN CN202310889802.1A patent/CN117037813A/zh active Pending
- 2013-12-04 MX MX2015007349A patent/MX344988B/es active IP Right Grant
- 2013-12-04 EP EP18196348.9A patent/EP3496096B1/en active Active
- 2013-12-04 KR KR1020247014936A patent/KR20240068780A/ko active Search and Examination
- 2013-12-04 CN CN201910024895.5A patent/CN109448742B/zh active Active
- 2013-12-04 CA CA3125246A patent/CA3125246C/en active Active
- 2013-12-04 CN CN202310889797.4A patent/CN117037812A/zh active Pending
- 2013-12-04 WO PCT/EP2013/075559 patent/WO2014090660A1/en active Application Filing
- 2013-12-04 KR KR1020157015332A patent/KR102202973B1/ko active IP Right Grant
- 2013-12-04 KR KR1020217000640A patent/KR102428842B1/ko active IP Right Grant
- 2013-12-04 KR KR1020237020580A patent/KR102664626B1/ko active IP Right Grant
- 2013-12-05 TW TW106137200A patent/TWI645397B/zh active
- 2013-12-05 TW TW107135270A patent/TWI681386B/zh active
- 2013-12-05 TW TW111146080A patent/TW202338788A/zh unknown
- 2013-12-05 TW TW102144508A patent/TWI611397B/zh active
- 2013-12-05 TW TW108142367A patent/TWI729581B/zh active
- 2013-12-05 TW TW110115843A patent/TWI788833B/zh active
-
2015
- 2015-06-10 MX MX2022008693A patent/MX2022008693A/es unknown
- 2015-06-10 MX MX2022008695A patent/MX2022008695A/es unknown
- 2015-06-10 MX MX2022008694A patent/MX2022008694A/es unknown
- 2015-06-10 MX MX2022008697A patent/MX2022008697A/es unknown
- 2015-06-10 MX MX2023008863A patent/MX2023008863A/es unknown
-
2016
- 2016-04-11 HK HK16104077.0A patent/HK1216356A1/zh unknown
-
2017
- 2017-02-16 US US15/435,175 patent/US10038965B2/en active Active
-
2018
- 2018-02-01 JP JP2018016193A patent/JP6640890B2/ja active Active
- 2018-06-26 US US16/019,256 patent/US10257635B2/en active Active
- 2018-11-07 MY MYPI2018704146A patent/MY191376A/en unknown
-
2019
- 2019-02-14 US US16/276,363 patent/US10609501B2/en active Active
- 2019-12-26 JP JP2019235978A patent/JP6869322B2/ja active Active
-
2020
- 2020-03-25 US US16/828,961 patent/US11184730B2/en active Active
-
2021
- 2021-04-13 JP JP2021067565A patent/JP7100172B2/ja active Active
- 2021-11-22 US US17/532,246 patent/US11546712B2/en active Active
-
2022
- 2022-06-30 JP JP2022105790A patent/JP7353427B2/ja active Active
- 2022-12-19 US US18/068,096 patent/US20230179940A1/en active Pending
-
2023
- 2023-09-19 JP JP2023151430A patent/JP2023169304A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8009966B2 (en) * | 2002-11-01 | 2011-08-30 | Synchro Arts Limited | Methods and apparatus for use in sound replacement with automatic synchronization to images |
| US20100198601A1 (en) * | 2007-05-10 | 2010-08-05 | France Telecom | Audio encoding and decoding method and associated audio encoder, audio decoder and computer programs |
| RU2450369C2 (ru) * | 2007-09-25 | 2012-05-10 | Моторола Мобилити, Инк., | Устройство и способ для кодирования многоканального звукового сигнала |
| EP2469742A2 (en) * | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
Non-Patent Citations (1)
| Title |
|---|
| ERIK HELLERUD et al. "Encoding Higher Order Ambisonics with AAC", опубл. 25.10.2012 на 9 страницах [найдено 04.09.2020], размещено в Интернет по адресу URL:https://ro.uow.edu.au/engpapers/5094/. * |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2744489C2 (ru) | Способ и устройство для сжатия и восстановления представления системы амбисоник высшего порядка для звукового поля | |
| RU2823441C2 (ru) | Способ и устройство для сжатия и восстановления представления системы амбисоник высшего порядка для звукового поля | |
| RU2823441C9 (ru) | Способ и устройство для сжатия и восстановления представления системы амбисоник высшего порядка для звукового поля |