RU2020127190A - Способы, аппараты и системы кодирования и декодирования направленных источников звука - Google Patents
Способы, аппараты и системы кодирования и декодирования направленных источников звука Download PDFInfo
- Publication number
- RU2020127190A RU2020127190A RU2020127190A RU2020127190A RU2020127190A RU 2020127190 A RU2020127190 A RU 2020127190A RU 2020127190 A RU2020127190 A RU 2020127190A RU 2020127190 A RU2020127190 A RU 2020127190A RU 2020127190 A RU2020127190 A RU 2020127190A
- Authority
- RU
- Russia
- Prior art keywords
- metadata
- audio
- data
- pattern
- paragraphs
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims 19
- 230000005855 radiation Effects 0.000 claims 12
- 230000005236 sound signal Effects 0.000 claims 9
- 238000009877 rendering Methods 0.000 claims 7
- 230000009466 transformation Effects 0.000 claims 2
- 230000006835 compression Effects 0.000 claims 1
- 238000007906 compression Methods 0.000 claims 1
- 238000000354 decomposition reaction Methods 0.000 claims 1
- 230000008030 elimination Effects 0.000 claims 1
- 238000003379 elimination reaction Methods 0.000 claims 1
- 238000000513 principal component analysis Methods 0.000 claims 1
- 238000005070 sampling Methods 0.000 claims 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Claims (39)
1. Способ кодирования направленных звуковых данных, включающий:
прием монофонического звукового сигнала, соответствующего звуковому объекту, и представления схемы излучения, соответствующей звуковому объекту, причем схема излучения содержит уровни звука, соответствующие нескольким периодам дискретизации, нескольким полосам частот и нескольким направлениям;
кодирование монофонического звукового сигнала и
кодирование схемы излучения источника для определения метаданных схемы излучения;
при этом кодирование схемы излучения включает определение преобразования сферических гармоник представления схемы излучения и сжатие преобразования сферических гармоник для получения метаданных кодированной схемы излучения.
2. Способ по п. 1, отличающийся тем, что дополнительно включает кодирование нескольких направленных звуковых объектов на основании кластера звуковых объектов, при этом схема излучения представляет центроид, который отражает среднее значение уровня звука для каждой полосы частот.
3. Способ по п. 2, отличающийся тем, что несколько направленных звуковых объектов кодируют в качестве одного направленного звукового объекта, направленность которого соответствует изменяющемуся во времени энергетически взвешенному среднему коэффициентов сферических гармоник каждого звукового объекта.
4. Способ по п. 2 или 3, отличающийся тем, что метаданные кодированной схемы излучения указывают на положение кластера звуковых объектов, то есть среднее положения каждого звукового объекта.
5. Способ по любому из пп. 1-4, отличающийся тем, что дополнительно включает кодирование метаданных группы, относящихся к схеме излучения группы направленных звуковых объектов.
6. Способ по любому из пп. 1-5, отличающийся тем, что масштаб схемы излучения источника изменяют до амплитуды схемы входного излучения в направлении по частоте для определения схемы нормализованного излучения.
7. Способ по любому из пп. 1-6, отличающийся тем, что сжатие преобразования сферических гармоник включает по меньшей мере способ разложения по сингулярным числам, анализ основных компонентов, дискретные косинусные преобразования, не зависящие от данных базисы или устранение коэффициентов сферических гармоник преобразования сферических гармоник, которые выше порогового порядка коэффициентов сферических гармоник.
8. Способ декодирования звуковых данных, включающий:
прием кодированного базового звукового сигнала, метаданных кодированной схемы излучения и метаданных кодированного звукового объекта;
декодирование кодированного базового звукового сигнала для определения базового звукового сигнала;
декодирование метаданных кодированной схемы излучения для определения декодированной схемы излучения;
декодирование метаданных звукового объекта и
рендеринг базового звукового сигнала на основании метаданных звукового объекта и декодированной схемы излучения.
9. Способ по п. 8, отличающийся тем, что метаданные звукового объекта содержат по меньшей мере одно из изменяющейся во времени информации об ориентации источника 3 степеней свободы (DoF) или 6DoF.
10. Способ по п. 8 или 9, отличающийся тем, что базовый звуковой сигнал содержит несколько направленных объектов на основании кластера объектов и при этом декодированная схема излучения представляет центроид, который отражает среднее значение для каждой полосы частот.
11. Способ по любому из пп. 8-10, отличающийся тем, что рендеринг основан на применении коэффициентов усиления поддиапазона, основанных по меньшей мере частично на декодированных данных излучения, к декодированному базовому звуковому сигналу.
12. Способ по любому из пп. 8-11, отличающийся тем, что метаданные кодированной схемы излучения соответствуют переменному во времени и по частоте набору коэффициентов сферических гармоник.
13. Способ по любому из пп. 8-12, отличающийся тем, что метаданные кодированной схемы излучения содержат метаданные типа звукового объекта.
14. Способ по п. 13, отличающийся тем, что метаданные типа звукового объекта указывают на параметрические данные схемы направленности, и при этом параметрические данные схемы направленности содержат одну или более функций, выбранных из списка функций, состоящего из косинусной функции, синусной функции или кардиоидной функции.
15. Способ по п. 13, отличающийся тем, что метаданные типа звукового объекта указывают на данные схемы направленности базы данных, и при этом декодирование метаданных кодированной схемы излучения для определения декодированной схемы излучения включает запрашивание структуры данных направленности, которая содержит типы звукового объекта и соответствующие данные схемы направленности.
16. Способ по п. 13, отличающийся тем, что метаданные типа звукового объекта указывают на динамические данные схемы направленности, и при этом динамические данные схемы направленности соответствуют переменному во времени и по частоте набору коэффициентов сферических гармоник.
17. Способ по п. 16, отличающийся тем, что дополнительно включает прием динамических данных схемы направленности до приема кодированного базового звукового сигнала.
18. Аппарат декодирования звука, содержащий:
интерфейсную систему и
систему управления, выполненную с возможностью:
приема посредством интерфейсной системы звуковых данных, соответствующих по меньшей мере одному звуковому объекту, при этом звуковые данные включают монофонический звуковой сигнал, метаданные положения звукового объекта, метаданные размера звукового объекта и параметр рендеринга;
определения, указывает ли параметр рендеринга на режим положения или режим направленности, и при определении, что параметр рендеринга указывает на режим направленности, рендеринг звуковых данных для воспроизведения посредством по меньшей мере одного громкоговорителя в соответствии со схемой направленности, указанной по меньшей мере одним из метаданных положения или метаданных размера.
19. Аппарат по п. 18, отличающийся тем, что рендеринг звуковых данных может включать интерпретацию метаданных положения звукового объекта в качестве метаданных ориентации звукового объекта.
20. Аппарат по п. 19, отличающийся тем, что метаданные положения звукового объекта содержат по меньшей мере одно из данных координат x, y, z, данных сферических координат или данных цилиндрических координат и при этом метаданные ориентации звукового объекта содержат данные рыскания, тангажа и крена.
21. Аппарат по любому из пп. 18-20, отличающийся тем, что рендеринг звуковых данных включает интерпретацию метаданных размера звукового объекта в качестве метаданных направленности, которые соответствуют схеме направленности.
22. Аппарат по любому из пп. 18-21, отличающийся тем, что рендеринг звуковых данных включает запрашивание структуры данных, которая содержит несколько схем направленности, и соотнесение по меньшей мере одного из метаданных положения или метаданных размера с одной или более схемами направленности.
23. Аппарат по п. 22, отличающийся тем, что система управления выполнена с возможностью приема структуры данных посредством интерфейсной системы.
24. Аппарат по п. 23, отличающийся тем, что структура данных принимается до звуковых данных.
25. Аппарат по любому из пп. 18-24, отличающийся тем, что звуковые данные принимаются в формате Dolby Atmos.
26. Аппарат по любому из пп. 18-25, отличающийся тем, что метаданные положения звукового объекта соответствуют мировым координатам или модельным координатам.
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862658067P | 2018-04-16 | 2018-04-16 | |
| US62/658,067 | 2018-04-16 | ||
| US201862681429P | 2018-06-06 | 2018-06-06 | |
| US62/681,429 | 2018-06-06 | ||
| US201862741419P | 2018-10-04 | 2018-10-04 | |
| US62/741,419 | 2018-10-04 | ||
| PCT/US2019/027503 WO2019204214A2 (en) | 2018-04-16 | 2019-04-15 | Methods, apparatus and systems for encoding and decoding of directional sound sources |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2022112239A Division RU2022112239A (ru) | 2018-04-16 | 2019-04-15 | Способы, аппараты и системы кодирования и декодирования направленных источников звука |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2020127190A3 RU2020127190A3 (ru) | 2022-02-14 |
| RU2020127190A true RU2020127190A (ru) | 2022-02-14 |
| RU2772227C2 RU2772227C2 (ru) | 2022-05-18 |
Family
ID=
Also Published As
| Publication number | Publication date |
|---|---|
| US11315578B2 (en) | 2022-04-26 |
| WO2019204214A2 (en) | 2019-10-24 |
| RU2020127190A3 (ru) | 2022-02-14 |
| JP2023139188A (ja) | 2023-10-03 |
| EP3782152A2 (en) | 2021-02-24 |
| US20220328052A1 (en) | 2022-10-13 |
| KR20200141981A (ko) | 2020-12-21 |
| JP7321170B2 (ja) | 2023-08-04 |
| US20240212693A1 (en) | 2024-06-27 |
| WO2019204214A3 (en) | 2019-11-28 |
| JP2021518923A (ja) | 2021-08-05 |
| US11887608B2 (en) | 2024-01-30 |
| CN111801732A (zh) | 2020-10-20 |
| US20210118452A1 (en) | 2021-04-22 |
| BR112020016912A2 (pt) | 2020-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109313907B (zh) | 合并音频信号与空间元数据 | |
| CN104471640B (zh) | 基于对象的环绕声编码解码器的具有反馈的可缩放降混设计 | |
| US20240212693A1 (en) | Methods, apparatus and systems for encoding and decoding of directional sound sources | |
| US10972853B2 (en) | Signalling beam pattern with objects | |
| CN108140389A (zh) | 空间向量的量化 | |
| CN111316353A (zh) | 确定空间音频参数编码和相关联的解码 | |
| CN108780647A (zh) | 音频的混合域译码 | |
| JP5000297B2 (ja) | 音場の表現を求めるためのシステムおよび方法 | |
| CN108141688A (zh) | 从以信道为基础的音频到高阶立体混响的转换 | |
| EP3777242B1 (en) | Spatial sound rendering | |
| EP4430609A1 (en) | Audio content generation and classification | |
| TWI716810B (zh) | 用以轉換音訊物件之物件位置的設備、音訊串流供應器、音訊內容產生系統、音訊播放設備、方法及電腦程式 | |
| MX2021016056A (es) | Metodos, aparatos y sistemas para representacion, codificacion, y decodificacion de datos de directividad discreta. | |
| RU2772227C2 (ru) | Способы, аппараты и системы кодирования и декодирования направленных источников звука | |
| EP4346235A1 (en) | Apparatus and method employing a perception-based distance metric for spatial audio | |
| WO2023074800A1 (ja) | 情報処理装置および方法、並びにプログラム | |
| CN118800253A (zh) | 场景音频信号的解码方法和装置 | |
| CN118800251A (zh) | 场景音频信号的编码方法和装置 | |
| CN118800249A (zh) | 场景音频信号的解码方法和装置 | |
| CN118140492A (zh) | 信息处理装置、方法和程序 | |
| CN118800255A (zh) | 场景音频信号的解码方法和装置 | |
| CN118800256A (zh) | 场景音频信号的解码方法和装置 | |
| CN118138980A (zh) | 场景音频解码方法及电子设备 | |
| CN118136027A (zh) | 场景音频编码方法及电子设备 | |
| CN118314908A (zh) | 场景音频解码方法及电子设备 |