KR20170067758A - 고차 앰비소닉 오디오 데이터의 스케일러블 코딩을 위한 채널들의 시그널링 - Google Patents
고차 앰비소닉 오디오 데이터의 스케일러블 코딩을 위한 채널들의 시그널링 Download PDFInfo
- Publication number
- KR20170067758A KR20170067758A KR1020177009443A KR20177009443A KR20170067758A KR 20170067758 A KR20170067758 A KR 20170067758A KR 1020177009443 A KR1020177009443 A KR 1020177009443A KR 20177009443 A KR20177009443 A KR 20177009443A KR 20170067758 A KR20170067758 A KR 20170067758A
- Authority
- KR
- South Korea
- Prior art keywords
- bitstream
- channels
- layers
- indication
- unit
- Prior art date
Links
- 230000011664 signaling Effects 0.000 title abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 258
- 230000005236 sound signal Effects 0.000 claims description 76
- 238000003860 storage Methods 0.000 claims description 21
- 239000010410 layer Substances 0.000 description 879
- 239000013598 vector Substances 0.000 description 193
- 238000000605 extraction Methods 0.000 description 119
- 239000011159 matrix material Substances 0.000 description 90
- 230000000875 corresponding effect Effects 0.000 description 87
- 230000006870 function Effects 0.000 description 69
- 238000010586 diagram Methods 0.000 description 44
- 230000008569 process Effects 0.000 description 31
- 230000002093 peripheral effect Effects 0.000 description 29
- 238000004458 analytical method Methods 0.000 description 25
- 238000000354 decomposition reaction Methods 0.000 description 23
- 230000009466 transformation Effects 0.000 description 22
- 238000013139 quantization Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 16
- 239000000284 extract Substances 0.000 description 16
- 230000002123 temporal effect Effects 0.000 description 16
- 230000002441 reversible effect Effects 0.000 description 15
- 238000012937 correction Methods 0.000 description 13
- 238000009499 grossing Methods 0.000 description 12
- 238000009877 rendering Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000009467 reduction Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 238000010606 normalization Methods 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- 239000000203 mixture Substances 0.000 description 7
- 238000000844 transformation Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000009472 formulation Methods 0.000 description 6
- 230000003014 reinforcing effect Effects 0.000 description 6
- 230000002596 correlated effect Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- PEIBAWRLFPGPAT-UHFFFAOYSA-N 1-(diazomethyl)pyrene Chemical compound C1=C2C(C=[N+]=[N-])=CC=C(C=C3)C2=C2C3=CC=CC2=C1 PEIBAWRLFPGPAT-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010963 scalable process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
일반적으로, 고차 앰비소닉 오디오 데이터의 스케일러블 코딩을 위해 채널들을 시그널링하는 기술들이 설명된다. 메모리 및 프로세서를 포함하는 디바이스가 기술들을 수행하도록 구성될 수도 있다. 메모리는 비트스트림을 저장하도록 구성될 수도 있다. 프로세서는 비트스트림으로부터, 비트스트림에서 하나 이상의 층들에서 특정된 채널들의 수의 표시를 획득하고, 채널들의 수의 표시에 기초하여 비트스트림에서 하나 이상의 층들에서 특정된 채널들을 획득하도록 구성될 수도 있다.
Description
본 출원은:
2014년 10월 10일 출원된 "SCALABLE CODING OF HIGHER ORDER AMBISONIC AUDIO DATA"이란 명칭의 미국 가특허 출원 제62/062,584호;
2014년 11월 25일 출원된 "SCALABLE CODING OF HIGHER ORDER AMBISONIC AUDIO DATA"이란 명칭의 미국 가특허 출원 제62/084,461호;
2014년 12월 3일 출원된 "SCALABLE CODING OF HIGHER ORDER AMBISONIC AUDIO DATA"이란 명칭의 미국 가특허 출원 제62/087,209호;
2014년 12월 5일 출원된 "SCALABLE CODING OF HIGHER ORDER AMBISONIC AUDIO DATA"이란 명칭의 미국 가특허 출원 제62/088,445호;
2015년 4월 10일 출원된 "SCALABLE CODING OF HIGHER ORDER AMBISONIC AUDIO DATA"이란 명칭의 미국 가특허 출원 제62/145,960호;
2015년 6월 12일 출원된 "SCALABLE CODING OF HIGHER ORDER AMBISONIC AUDIO DATA"이란 명칭의 미국 가특허 출원 제62/175,185호;
2015년 7월 1일 출원된 "REDUCING CORRELATION BETWEEN HIGHER ORDER AMBISONIC (HOA) BACKGROUND CHANNELS"이란 명칭의 미국 가특허 출원 제62/187,799호; 및
2015년 8월 25일 출원된 "TRANSPORTING CODED SCALABLE AUDIO DATA"이란 명칭의 미국 가특허 출원 제62/209,764호의 이익을 주장하고,
그 각각의 전체 내용은 참조로 본원에 통합된다.
본 개시는 오디오 데이터에 관한 것으로, 더욱 구체적으로, 고차 앰비소닉 오디오 데이터의 스케일러블 코딩에 관한 것이다.
고차 앰비소닉스 (higher-order ambisonics; HOA) 신호 (복수의 구면 조화 계수들 (spherical harmonic coefficients; SHC) 또는 다른 계층 엘리먼트들에 의해 종종 표현됨) 은 음장 (soundfield) 의 3차원 표현이다. HOA 또는 SHC 표현은 SHC 신호로부터 렌더링된 멀티-채널 오디오 신호를 재생하기 위해 사용된 로컬 스피커 지오메트리와 관계없는 방식으로 음장을 표현할 수도 있다. SHC 신호가 5.1 오디오 채널 포맷 또는 7.1 오디오 채널 포맷과 같은, 널리 공지되고 많이 채택된 멀티-채널 포맷들로 렌더링될 수도 있기 때문에, SHC 신호는 백워드 호환성을 또한 용이하게 할 수도 있다. 따라서, SHC 표현은 백워드 호환성을 수용하는 음장의 더 양호한 표현을 가능하게 할 수도 있다.
일반적으로, 고차 앰비소닉 오디오 데이터의 스케일러블 코딩을 위한 기술들이 설명된다. 고차 앰비소닉 오디오 데이터는 1보다 큰 차수를 갖는 구면 조화 기저 함수에 대응하는 적어도 하나의 고차 앰비소닉 (HOA) 계수를 포함할 수도 있다. 기술들은 베이스 층 및 하나 이상의 강화층들과 같은, 다중층들을 사용하여 HOA 계수들을 코딩함으로써 HOA 계수들의 스케일러블 코딩을 제공할 수도 있다. 베이스 층은 하나 이상의 강화층들에 의해 강화될 수도 있는 HOA 계수들에 의해 표현된 음장의 재생을 허용할 수도 있다. 다시 말해, (베이스 층과 결합하여) 강화층들은 베이스 층 단독에 비교하여 음장의 더 깊은 (또는 더욱 정확한) 재생을 허용하는 추가의 해결방안을 제공할 수도 있다.
일 양태에서, 디바이스는 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된다. 디바이스는 비트스트림을 저장하도록 구성된 메모리, 및 비트스트림으로부터, 비트스트림에서 특정된 층들의 수의 표시를 획득하고, 층들의 수의 표시에 기초하여 비트스트림의 층들을 획득하도록 구성된 하나 이상의 프로세서들을 포함한다.
다른 양태에서, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하는 방법으로서, 방법은 비트스트림으로부터, 비트스트림에서 특정된 층들의 수의 표시를 획득하는 단계, 및 층들의 수의 표시에 기초하여 비트스트림의 층들을 획득하는 단계를 포함한다.
다른 양태에서, 장치는 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된다. 장치는 비트스트림을 저장하는 수단, 비트스트림으로부터, 비트스트림에서 특정된 층들의 수의 표시를 획득하는 수단, 및 층들의 수의 표시에 기초하여 비트스트림의 층들을 획득하는 수단을 포함한다.
다른 양태에서, 명령어들이 저장된 비일시적 컴퓨터-판독가능 저장 매체로서, 명령어들은 실행될 때, 하나 이상의 프로세서들로 하여금, 비트스트림으로부터, 비트스트림에서 특정된 층들의 수의 표시를 획득하게 하고, 층들의 수의 표시에 기초하여 비트스트림의 층들을 획득하게 한다.
다른 양태에서, 디바이스는 고차 앰비소닉 오디오 신호를 인코딩하여 비트스트림을 생성하도록 구성된다. 디바이스는 비트스트림을 저장하도록 구성된 메모리, 및 비트스트림에서 층들의 수의 표시를 특정하고, 층들의 표시된 수를 포함하는 비트스트림을 출력하도록 구성된 하나 이상의 프로세서들을 포함한다.
다른 양태에서, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 생성하는 방법으로서, 방법은 비트스트림에서 층들의 수의 표시를 특정하는 단계, 및 층들의 표시된 수를 포함하는 비트스트림을 출력하는 단계를 포함한다.
다른 양태에서, 디바이스는 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된다. 디바이스는 비트스트림을 저장하도록 구성된 메모리, 및 비트스트림으로부터, 비트스트림에서 하나 이상의 층들에서 특정된 채널들의 수의 표시를 획득하고, 채널들의 수의 표시에 기초하여 비트스트림에서 하나 이상의 층들에서 특정된 채널들을 획득하도록 구성된 하나 이상의 프로세서들을 포함한다.
다른 양태에서, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하는 방법으로서, 방법은 비트스트림으로부터, 비트스트림에서 하나 이상의 층들에서 특정된 채널들의 수의 표시를 획득하는 단계, 및 채널들의 수의 표시에 기초하여 비트스트림에서 하나 이상의 층들에서 특정된 채널들을 획득하는 단계를 포함한다.
다른 양태에서, 디바이스는 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된다. 디바이스는 비트스트림으로부터, 비트스트림의 하나 이상의 층들에서 특정된 채널들의 수의 표시를 획득하는 수단, 및 채널들의 수의 표시에 기초하여 비트스트림에서 하나 이상의 층들에서 특정된 채널들을 획득하는 수단을 포함한다.
다른 양태에서, 명령어들이 저장된 비일시적 컴퓨터-판독가능 저장 매체로서, 명령어들은 실행될 때, 하나 이상의 프로세서들로 하여금, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림으로부터, 비트스트림의 하나 이상의 층들에서 특정된 채널들의 수의 표시를 획득하게 하고, 채널들의 수의 표시에 기초하여 비트스트림의 하나 이상의 층들에서 특정된 채널들을 획득하게 한다.
다른 양태에서, 디바이스는 고차 앰비소닉 오디오 신호를 인코딩하여 비트스트림을 생성하도록 구성된다. 디바이스는 비트스트림에서, 비트스트림의 하나 이상의 층들에서 특정된 채널들의 수의 표시를 특정하고, 비트스트림의 하나 이상의 층들에서 채널들의 표시된 수를 특정하도록 구성된 하나 이상의 프로세서들, 및 비트스트림을 저장하도록 구성된 메모리를 포함한다.
다른 양태에서, 비트스트림을 생성하기 위해 고차 앰비소닉 오디오 신호를 인코딩하는 방법으로서, 방법은 비트스트림에서, 비트스트림의 하나 이상의 층들에서 특정된 채널들의 수의 표시를 특정하는 단계, 및 비트스트림의 하나 이상의 층들에서 채널들의 표시된 수를 특정하는 단계를 포함한다.
기술들의 하나 이상의 양태들의 상세사항들이 첨부한 도면들 및 아래의 설명에 설명된다. 기술들의 다른 특징들, 목적들, 및 이점들이 설명 및 도면들, 그리고 청구항들로부터 명백할 것이다.
도 1 은 다양한 차수들 및 서브-차수들의 구면 조화 기저 함수들을 예시하는 도면이다.
도 2 는 본 개시에 설명되는 기술들의 다양한 양태들을 수행할 수도 있는 시스템을 예시하는 도면이다.
도 3 은 본 개시에 설명되는 기술들의 다양한 양태들을 수행할 수도 있는 도 2 의 예에 도시된 오디오 인코딩 디바이스의 일례를 더욱 상세히 예시하는 블록도이다.
도 4 는 도 2 의 오디오 디코딩 디바이스를 더욱 상세히 예시하는 블록도이다.
도 5 는 본 개시에 설명되는 스케일러블 오디오 코딩 기술들의 잠재적 버전들 중 제 1 버전을 수행하도록 구성될 때 도 3 의 비트스트림 생성 유닛을 더욱 상세히 예시하는 도면이다.
도 6 은 본 개시에 설명되는 스케일러블 오디오 디코딩 기술들의 잠재적 버전들 중 제 1 버전을 수행하도록 구성될 때 도 4 의 추출 유닛을 더욱 상세히 예시하는 도면이다.
도 7a 내지 도 7d 는 고차 앰비소닉 (HOA) 계수들의 인코딩된 2-층 표현을 생성하는데 있어서 오디오 인코딩 디바이스의 예시적인 동작을 예시하는 흐름도들이다.
도 8a 및 도 8b 는 HOA 계수들의 인코딩된 3-층 표현을 생성하는데 있어서 오디오 인코딩 디바이스의 예시적인 동작을 예시하는 흐름도들이다.
도 9a 및 도 9b 는 HOA 계수들의 인코딩된 4-층 표현을 생성하는데 있어서 오디오 인코딩 디바이스의 예시적인 동작을 예시하는 흐름도들이다.
도 10 은 기술들의 다양한 양태들에 따른 비트스트림에서 특정된 HOA 구성 오브젝트의 예를 예시하는 도면이다.
도 11 은 제 1 및 제 2 층들에 대해 비트스트림 생성 유닛에 의해 생성된 측파대 (sideband) 정보를 예시하는 도면이다.
도 12a 및 도 12b 는 본 개시에 설명되는 기술들의 스케일러블 코딩 양태들에 따라 생성되는 측파대 정보를 예시하는 도면들이다.
도 13a 및 도 13b 는 본 개시에 설명되는 기술들의 스케일러블 코딩 양태들에 따라 생성되는 측파대 정보를 예시하는 도면들이다.
도 14a 및 도 14b 는 본 개시에 설명되는 기술들의 다양한 양태들을 수행하는데 있어서 오디오 인코딩 디바이스의 예시적인 동작들을 예시하는 흐름도들이다.
도 15a 및 도 15b 는 본 개시에 설명되는 기술들의 다양한 양태들을 수행하는데 있어서 오디오 디코딩 디바이스의 예시적인 동작들을 예시하는 흐름도들이다.
도 16 은 본 개시에 설명되는 기술들의 다양한 양태들에 따라 도 16 의 예에 도시된 비트스트림 생성 유닛에 의해 수행될 때의 스케일러블 오디오 코딩을 예시하는 도면이다.
도 17 은 베이스 층에서 특정된 4개의 인코딩된 주변 HOA 계수들을 갖는 2개의 층들이 존재하고 2개의 인코딩된 전경 신호들이 강화층에서 특정된다는 것을 신택스 엘리먼트들이 나타내는 예의 개념도이다.
도 18 은 본 개시에 설명되는 스케일러블 오디오 코딩 기술들의 잠재적 버전들 중 제 2 버전을 수행하도록 구성될 때 도 3 의 비트스트림 생성 유닛을 더욱 상세히 예시하는 도면이다.
도 19 는 본 개시에 설명되는 스케일러블 오디오 디코딩 기술들의 잠재적 버전들 중 제 2 버전을 수행하도록 구성될 때 도 3 의 추출 유닛을 더욱 상세히 예시하는 도면이다.
도 20 은 도 18 의 비트스트림 생성 유닛 및 도 19 의 추출 유닛이 본 개시에 설명되는 기술들의 잠재적 버전들 중 제 2 버전을 수행할 수도 있는 제 2 사용 경우를 예시하는 도면이다.
도 21 은 베이스 층에서 특정되는 2개의 인코딩된 주변 HOA 계수들을 갖는 3개의 층들이 존재하고, 2개의 인코딩된 전경 신호들이 제 1 강화층에서 특정되며, 2개의 인코딩된 전경 신호들이 제 2 강화층에서 특정된다는 것을 신택스 엘리먼트들이 나타내는 예의 개념도이다.
도 22 는 본 개시에 설명되는 스케일러블 오디오 코딩 기술들의 잠재적 버전들 중 제 3 버전을 수행하도록 구성될 때 도 3 의 비트스트림 생성 유닛을 더욱 상세히 예시하는 도면이다.
도 23 은 본 개시에 설명되는 스케일러블 오디오 디코딩 기술들의 잠재적 버전들 중 제 3 버전을 수행하도록 구성될 때 도 4 의 추출 유닛을 더욱 상세히 예시하는 도면이다.
도 24 는 본 개시에 설명되는 기술들에 따라 오디오 인코딩 디바이스가 멀티-층 비트스트림에서 다중층들을 특정할 수도 있는 제 3 사용 경우를 예시하는 도면이다.
도 25 는 베이스 층에서 특정되는 2개의 인코딩된 전경 신호들을 갖는 3개의 층들이 존재하고, 2개의 인코딩된 전경 신호들이 제 1 강화층에서 특정되며, 2개의 인코딩된 전경 신호들이 제 2 강화층에서 특정된다는 것을 신택스 엘리먼트들이 나타내는 예의 개념도이다.
도 26 은 본 개시에 설명되는 기술들에 따라 오디오 인코딩 디바이스가 멀티-층 비트스트림에서 다중층들을 특정할 수도 있는 제 3 사용 경우를 예시하는 도면이다.
도 27 및 도 28 은 본 개시에 설명되는 기술들의 다양한 양태들을 수행하도록 구성될 수도 있는 스케일러블 비트스트림 생성 유닛 및 스케일러블 비트스트림 추출 유닛을 예시하는 블록도들이다.
도 29 는 본 개시에 설명되는 기술들의 다양한 양태들에 따라 동작하도록 구성될 수도 있는 인코더를 표현하는 개념도를 표현한다.
도 30은 도 27 의 예에 도시된 인코더를 더욱 상세히 예시하는 도면이다.
도 31 은 본 개시에 설명되는 기술들의 다양한 양태들에 따라 동작하도록 구성될 수도 있는 오디오 디코더를 예시하는 블록도이다.
도 2 는 본 개시에 설명되는 기술들의 다양한 양태들을 수행할 수도 있는 시스템을 예시하는 도면이다.
도 3 은 본 개시에 설명되는 기술들의 다양한 양태들을 수행할 수도 있는 도 2 의 예에 도시된 오디오 인코딩 디바이스의 일례를 더욱 상세히 예시하는 블록도이다.
도 4 는 도 2 의 오디오 디코딩 디바이스를 더욱 상세히 예시하는 블록도이다.
도 5 는 본 개시에 설명되는 스케일러블 오디오 코딩 기술들의 잠재적 버전들 중 제 1 버전을 수행하도록 구성될 때 도 3 의 비트스트림 생성 유닛을 더욱 상세히 예시하는 도면이다.
도 6 은 본 개시에 설명되는 스케일러블 오디오 디코딩 기술들의 잠재적 버전들 중 제 1 버전을 수행하도록 구성될 때 도 4 의 추출 유닛을 더욱 상세히 예시하는 도면이다.
도 7a 내지 도 7d 는 고차 앰비소닉 (HOA) 계수들의 인코딩된 2-층 표현을 생성하는데 있어서 오디오 인코딩 디바이스의 예시적인 동작을 예시하는 흐름도들이다.
도 8a 및 도 8b 는 HOA 계수들의 인코딩된 3-층 표현을 생성하는데 있어서 오디오 인코딩 디바이스의 예시적인 동작을 예시하는 흐름도들이다.
도 9a 및 도 9b 는 HOA 계수들의 인코딩된 4-층 표현을 생성하는데 있어서 오디오 인코딩 디바이스의 예시적인 동작을 예시하는 흐름도들이다.
도 10 은 기술들의 다양한 양태들에 따른 비트스트림에서 특정된 HOA 구성 오브젝트의 예를 예시하는 도면이다.
도 11 은 제 1 및 제 2 층들에 대해 비트스트림 생성 유닛에 의해 생성된 측파대 (sideband) 정보를 예시하는 도면이다.
도 12a 및 도 12b 는 본 개시에 설명되는 기술들의 스케일러블 코딩 양태들에 따라 생성되는 측파대 정보를 예시하는 도면들이다.
도 13a 및 도 13b 는 본 개시에 설명되는 기술들의 스케일러블 코딩 양태들에 따라 생성되는 측파대 정보를 예시하는 도면들이다.
도 14a 및 도 14b 는 본 개시에 설명되는 기술들의 다양한 양태들을 수행하는데 있어서 오디오 인코딩 디바이스의 예시적인 동작들을 예시하는 흐름도들이다.
도 15a 및 도 15b 는 본 개시에 설명되는 기술들의 다양한 양태들을 수행하는데 있어서 오디오 디코딩 디바이스의 예시적인 동작들을 예시하는 흐름도들이다.
도 16 은 본 개시에 설명되는 기술들의 다양한 양태들에 따라 도 16 의 예에 도시된 비트스트림 생성 유닛에 의해 수행될 때의 스케일러블 오디오 코딩을 예시하는 도면이다.
도 17 은 베이스 층에서 특정된 4개의 인코딩된 주변 HOA 계수들을 갖는 2개의 층들이 존재하고 2개의 인코딩된 전경 신호들이 강화층에서 특정된다는 것을 신택스 엘리먼트들이 나타내는 예의 개념도이다.
도 18 은 본 개시에 설명되는 스케일러블 오디오 코딩 기술들의 잠재적 버전들 중 제 2 버전을 수행하도록 구성될 때 도 3 의 비트스트림 생성 유닛을 더욱 상세히 예시하는 도면이다.
도 19 는 본 개시에 설명되는 스케일러블 오디오 디코딩 기술들의 잠재적 버전들 중 제 2 버전을 수행하도록 구성될 때 도 3 의 추출 유닛을 더욱 상세히 예시하는 도면이다.
도 20 은 도 18 의 비트스트림 생성 유닛 및 도 19 의 추출 유닛이 본 개시에 설명되는 기술들의 잠재적 버전들 중 제 2 버전을 수행할 수도 있는 제 2 사용 경우를 예시하는 도면이다.
도 21 은 베이스 층에서 특정되는 2개의 인코딩된 주변 HOA 계수들을 갖는 3개의 층들이 존재하고, 2개의 인코딩된 전경 신호들이 제 1 강화층에서 특정되며, 2개의 인코딩된 전경 신호들이 제 2 강화층에서 특정된다는 것을 신택스 엘리먼트들이 나타내는 예의 개념도이다.
도 22 는 본 개시에 설명되는 스케일러블 오디오 코딩 기술들의 잠재적 버전들 중 제 3 버전을 수행하도록 구성될 때 도 3 의 비트스트림 생성 유닛을 더욱 상세히 예시하는 도면이다.
도 23 은 본 개시에 설명되는 스케일러블 오디오 디코딩 기술들의 잠재적 버전들 중 제 3 버전을 수행하도록 구성될 때 도 4 의 추출 유닛을 더욱 상세히 예시하는 도면이다.
도 24 는 본 개시에 설명되는 기술들에 따라 오디오 인코딩 디바이스가 멀티-층 비트스트림에서 다중층들을 특정할 수도 있는 제 3 사용 경우를 예시하는 도면이다.
도 25 는 베이스 층에서 특정되는 2개의 인코딩된 전경 신호들을 갖는 3개의 층들이 존재하고, 2개의 인코딩된 전경 신호들이 제 1 강화층에서 특정되며, 2개의 인코딩된 전경 신호들이 제 2 강화층에서 특정된다는 것을 신택스 엘리먼트들이 나타내는 예의 개념도이다.
도 26 은 본 개시에 설명되는 기술들에 따라 오디오 인코딩 디바이스가 멀티-층 비트스트림에서 다중층들을 특정할 수도 있는 제 3 사용 경우를 예시하는 도면이다.
도 27 및 도 28 은 본 개시에 설명되는 기술들의 다양한 양태들을 수행하도록 구성될 수도 있는 스케일러블 비트스트림 생성 유닛 및 스케일러블 비트스트림 추출 유닛을 예시하는 블록도들이다.
도 29 는 본 개시에 설명되는 기술들의 다양한 양태들에 따라 동작하도록 구성될 수도 있는 인코더를 표현하는 개념도를 표현한다.
도 30은 도 27 의 예에 도시된 인코더를 더욱 상세히 예시하는 도면이다.
도 31 은 본 개시에 설명되는 기술들의 다양한 양태들에 따라 동작하도록 구성될 수도 있는 오디오 디코더를 예시하는 블록도이다.
서라운드 사운드의 진화는, 현재 엔터테인먼트를 위한 다수의 출력 포맷들을 이용가능하게 만들었다. 이러한 소비자 서라운드 사운드 포맷들의 예들은, 이들이 특정 기하학적 좌표들에서 라우드스피커들로의 피드들을 암시적으로 특정한다는 점에서 주로 '채널' 기반이다. 소비자 서라운드 사운드 포맷들은 (아래의 6개의 채널들: 프런트 레프트 (FL), 프런트 라이트 (FR), 센터 또는 프런트 센터, 백 레프트 또는 서라운드 레프트, 백 라이트 또는 서라운드 라이트, 및 저주파수 효과 (LFE) 를 포함하는) 파퓰러 5.1 포맷, 성장하는 7.1 포맷, 7.1.4 포맷 및 (예를 들어, 초고선명 텔레비전 표준과 사용하기 위한) 22.2 포맷과 같은 하이트 스피커들 (height speakers) 을 포함하는 다양한 포맷들을 포함한다. 비소비자 포맷들은 '서라운드 어레이들'로 종종 칭하는 (대칭 및 비대칭 지오메트리들에서의) 임의의 수의 스피커들을 스팬할 수 있다. 이러한 어레이의 일례는 절단된 20면체의 코너들상의 좌표상에 위치된 32개의 라우드스피커들을 포함한다.
장래의 MPEG 인코더로의 입력은 옵션으로, 3개의 가능한 포맷들: (ⅰ) 사전-특정된 위치들에서 라우드스피커들을 통해 재생되는 것으로 의미되는 (상기 논의한 바와 같은) 종래의 채널-기반 오디오; (ⅱ) (다른 정보 중에서) 로케이션 좌표들을 포함하는 연관된 메타데이터를 갖는 단일 오디오 오브젝트들에 대한 개별 펄스-코드-변조 (PCM) 데이터를 수반하는 오브젝트-기반 오디오; 및 (ⅲ) ("구면 조화 계수들" 또는 SHC, "고차 앰비소닉" 또는 HOA, 및 "HOA 계수들"로 또한 칭하는) 구면 조화 기저 함수들의 계수들을 사용하여 음장을 표현하는 것을 수반하는 장면-기반 오디오 중 하나이다. 장래의 MPEG 인코더는 http://mpeg.chiariglione.org/sites/default/files/files/standards/parts/docs/w13411.zip에서 입수가능하고, 스위스, 제네바에서 2013년 1월에 간행된 International Organization for Standardization/ International Electrotechnical Commission (ISO)/(IEC) JTC1/SC29/WG11/N13411에 의한 "Call for Proposals for 3D Audio" 명칭의 문서에 더욱 상세히 설명될 수도 있다.
시장에는 다양한 '서라운드-사운드' 채널-기반 포맷들이 존재한다. 이들은 범위가 예를 들어, (스테레오를 넘어 거실로 진출하는 것과 관련하여 가장 성공적인) 5.1 홈 씨어터 시스템으로부터 NHK (Nippon Hoso Kyokai 또는 Japan Broadcasting Corporation) 에 의해 개발된 22.2 시스템까지이다. 콘텐츠 제작자들 (예를 들어, 할리우드 스튜디오들) 은 영화에 대한 사운드트랙을 한 번만 제작하고, 각각의 스피커 구성을 위해 사운드트랙을 리믹스하기 위해 노력하지 않는다. 최근, 표준 개발 기구들은 표준화된 비트스트림으로 인코딩 및 스피커 지오메트리 (및 수) 및 (렌더러를 수반하는) 재생의 로케이션에서의 음향 조건들에 적응가능하고 불가지론적 (agnostic) 인 후속 디코딩을 제공하는 방식들을 고려하였다.
콘텐츠 제작자들에 대한 이러한 플렉시빌리티를 제공하기 위해, 엘리먼트들의 계층 세트가 음장을 표현하기 위해 사용될 수도 있다. 엘리먼트들의 계층 세트는, 엘리먼트들이 순서화되어 하위 엘리먼트들의 기본 세트가 모델링된 음장의 풀 표현을 제공하는 엘리먼트들의 세트를 지칭할 수도 있다. 세트가 상위 엘리먼트들을 포함하도록 확장됨에 따라, 표현은 더욱 상세하게 되어, 해상도를 증가시킨다.
엘리먼트들의 계층 세트의 일례가 구면 조화 계수들 (SHC) 의 세트이다. 아래의 식은 SHC 를 사용하여 음장의 설명 또는 표현을 설명한다:
식은 시간 (t) 에서, 음장의 임의의 포인트 (
) 에서 압력 (
) 이 SHC (
) 에 의해 고유하게 표현될 수 있다는 것을 나타낸다. 여기서, 
는 사운드의 속도 (~343m/s) 이고, 
는 기준점 (또는 관찰점) 이고, 
는 차수 n 의 구면 베셀 (Bessel) 함수이며, 
는 차수 n 및 서브차수 m 의 구면 조화 기저 함수들이다. 꺾쇠 괄호들에서의 용어는 이산 퓨리에 변환 (DFT), 이산 코사인 변환 (DCT), 또는 웨이브릿 변환과 같은, 다양한 시간-주파수 변환들에 의해 근사될 수 있는 신호 (즉, 
) 의 주파수-도메인 표현이라는 것이 인식될 수 있다. 계층 세트들의 다른 예들은 웨이브릿 변환 계수들의 세트들 및 멀티해상도 기저 함수의 계수들의 다른 세트들을 포함한다.
도 1 은 0차 (n=0) 로부터 4차 (n=4) 까지의 구면 조화 기저 함수들을 예시하는 도면이다. 알 수 있는 바와 같이, 각각의 차수에 대해, 도시되어 있지만 예시 목적의 용이함을 위해 도 1의 예에서는 명시적으로 언급되지 않은 서브차수들 (m) 의 확장이 존재한다.
SHC (
) 는 다양한 마이크로폰 어레이 구성들에 의해 물리적으로 취득 (예를 들어, 기록) 될 수 있거나, 대안으로는, 음장의 채널-기반 또는 오브젝트-기반 설명들로부터 유도될 수 있다. SHC 는 장면-기반 오디오를 표현하고, 여기서, SHC 는 더욱 효율적인 송신 또는 저장을 촉진할 수도 있는 인코딩된 SHC 를 획득하기 위해 오디오 인코더에 입력될 수도 있다. 예를 들어, (1+4)2 (25, 및 따라서, 4차) 계수들을 수반하는 4차 표현이 사용될 수도 있다.
상기 언급한 바와 같이, SHC 는 마이크로폰 어레이를 사용하는 마이크로폰 기록으로부터 유도될 수도 있다. SHC 가 마이크로폰 어레이들로부터 유도될 수도 있는 방법의 다양한 예들이 Poletti, M., "Three-Dimensional Surround Sound Systems Based on Spherical Harmonics" J. Audio Eng. Soc., Vol. 53, No. 11, 2005 November, pp. 1004-1025 에 설명되어 있다.
SHC들이 오브젝트-기반 설명으로부터 유도될 수도 있는 방법을 예시하기 위해, 아래의 수학식을 고려한다. 개별 오디오 오브젝트에 대응하는 음장에 대한 계수들 (
) 은:
로서 표현될 수도 있으며,
여기서, i 는 
이고, 
는 (제 2 종류의) 차수 n 의 구면 Hankel 함수이며, 
는 오브젝트의 로케이션이다. 오브젝트 소스 에너지 (
) 를 (예를 들어, PCM 스트림에 대해 고속 퓨리에 변환을 수행하는 것과 같은, 시간-주파수 분석 기술들을 사용하는) 주파수의 함수로서 아는 것은, 각각의 PCM 오브젝트 및 대응하는 로케이션을 SHC (
) 로 변환하게 한다. 또한, (상기는 선형 및 직교 분해이기 때문에) 각각의 오브젝트에 대한 
계수들이 부가적이라는 것이 도시될 수 있다. 이러한 방식으로, 다수의 PCM 오브젝트들은 
계수들에 의해 (예를 들어, 개별 오브젝트들에 대한 계수 벡터들의 합으로서) 표현될 수 있다. 본질적으로, 계수들은 음장에 관한 정보 (3D 좌표들의 함수로서 압력) 를 포함하며, 상기는 관측점 (
) 근처에서, 개별 오브젝트들로부터 전체 음장의 표현으로의 변환을 표현한다. 나머지 도면들이 오브젝트-기반 및 SHC-기반 오디오 코딩의 문맥에서 후술된다.
도 2 는 본 개시에 설명되는 기술들의 다양한 양태들을 수행할 수도 있는 시스템 (10) 을 예시하는 도면이다. 도 2 의 예에 도시되어 있는 바와 같이, 시스템 (10) 은 콘텐츠 제작자 디바이스 (12) 및 콘텐츠 소비자 디바이스 (14) 를 포함한다. 콘텐츠 제작자 디바이스 (12) 및 콘텐츠 소비자 디바이스 (14) 의 문맥에서 설명되지만, 기술들은 (HOA 계수들로서 또한 지칭될 수도 있는) SHC들 또는 음장의 임의의 다른 계층 표현이 오디오 데이터를 나타내는 비트스트림을 형성하기 위해 인코딩되는 임의의 문맥에서 구현될 수도 있다. 더욱이, 콘텐츠 제작자 디바이스 (12) 는 몇몇 예들을 제공하기 위해 핸드셋 (또는 셀룰러 폰), 태블릿 컴퓨터, 스마트폰, 또는 데스크탑 컴퓨터를 포함하는, 본 개시에 설명되는 기술들을 구현할 수 있는 임의의 형태의 컴퓨팅 디바이스를 표현할 수도 있다. 유사하게, 콘텐츠 소비자 디바이스 (14) 는 몇몇 예들을 제공하기 위해 핸드셋 (또는 셀룰러 폰), 태블릿 컴퓨터, 스마트폰, 셋탑 박스, 또는 데스크탑 컴퓨터를 포함하는, 본 개시에 설명되는 기술들을 구현할 수 있는 임의의 형태의 컴퓨팅 디바이스를 표현할 수도 있다.
콘텐츠 작성자 디바이스 (12) 는 콘텐츠 소비자 디바이스 (14) 와 같은, 콘텐츠 소비자 디바이스들의 오퍼레이터들에 의한 소비를 위해 멀티-채널 오디오 콘텐츠를 생성할 수도 있는 영화 스튜디오 또는 다른 엔터티에 의해 동작될 수도 있다. 일부 예들에서, 콘텐츠 작성자 디바이스 (12) 는 HOA 계수들 (11) 을 압축하려는 개별 사용자에 의해 동작될 수도 있다. 종종, 콘텐츠 작성자는 비디오 콘텐츠와 함께 오디오 콘텐츠를 생성한다. 콘텐츠 소비자 디바이스 (14) 는 개인에 의해 동작될 수도 있다. 콘텐츠 소비자 디바이스 (14) 는 멀티-채널 오디오 콘텐츠로서 재생을 위해 SHC 를 렌더링할 수 있는 임의의 형태의 오디오 재생 시스템을 지칭할 수도 있는 오디오 재생 시스템 (16) 을 포함할 수도 있다.
콘텐츠 작성자 디바이스 (12) 는 오디오 편집 시스템 (18) 을 포함한다. 콘텐츠 작성자 디바이스 (12) 는 (HOA 계수들을 직접 포함하는) 다양한 포맷들의 라이브 기록들 (7) 및 오디오 오브젝트들 (9) 을 획득하고, 이는 콘텐츠 작성자 디바이스 (12) 가 오디오 편집 시스템 (18) 을 사용하여 편집할 수도 있다. 마이크로폰 (5) 이 라이브 기록들 (7) 을 캡처할 수도 있다. 콘텐츠 작성자는 편집 프로세스 동안, 추가의 편집을 요구하는 음장의 다양한 양태들을 식별하려는 시도로 렌더링된 스피커 피드들을 청취하는, 오디오 오브젝트들 (9) 로부터의 HOA 계수들 (11) 을 렌더링할 수도 있다. 그 후, 콘텐츠 작성자 디바이스 (12) 는 (소스 HOA 계수들이 상술한 방식으로 유도될 수도 있는 오디오 오브젝트들 (9) 중 상이한 것들의 조작을 잠재적으로 간접적으로 통해) HOA 계수들 (11) 을 편집할 수도 있다. 콘텐츠 작성자 디바이스 (12) 는 HOA 계수들 (11) 을 생성하기 위해 오디오 편집 시스템 (18) 을 이용할 수도 있다. 오디오 편집 시스템 (18) 은 오디오 데이터를 편집할 수 있고 오디오 데이터를 하나 이상의 소스 구면 조화 계수들로서 출력할 수 있는 임의의 시스템을 표현한다.
편집 프로세스가 완료될 때, 콘텐츠 작성자 디바이스 (12) 는 HOA 계수들 (11) 에 기초하여 비트스트림 (21) 을 생성할 수도 있다. 즉, 콘텐츠 작성자 디바이스 (12) 는 비트스트림 (21) 을 생성하기 위해 본 개시에 설명되는 기술들의 다양한 양태들에 따라 HOA 계수들 (11) 을 인코딩하거나 그렇지 않으면 압축하도록 구성된 디바이스를 표현하는 오디오 인코딩 디바이스 (20) 를 포함한다. 오디오 인코딩 디바이스 (20) 는 일례로서, 유선 또는 무선 채널, 데이터 저장 디바이스 등일 수도 있는 송신 채널을 통한 송신을 위해 비트스트림 (21) 을 생성할 수도 있다. 비트스트림 (21) 은 HOA 계수들 (11) 의 인코딩된 버전을 표현할 수도 있으며, 프라이머리 비트스트림 및 사이드 채널 정보로서 지칭될 수도 있는 다른 사이드 비트스트림을 포함할 수도 있다.
도 2 에는 콘텐츠 소비자 디바이스 (14) 에 직접 송신되는 것으로 도시되어 있지만, 콘텐츠 작성자 디바이스 (12) 는 콘텐츠 작성자 디바이스 (12) 와 콘텐츠 소비자 디바이스 (14) 사이에 위치된 중간 디바이스에 비트스트림 (21) 을 출력할 수도 있다. 중간 디바이스는 비트스트림을 요청할 수도 있는 콘텐츠 소비자 디바이스 (14) 로의 추후 전달을 위해 비트스트림을 저장할 수도 있다. 중간 디바이스는 파일 서버, 웹 서버, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 모바일 폰, 스마트폰, 또는 오디오 디코더에 의한 추후 검색을 위해 비트스트림 (21) 을 저장할 수 있는 임의의 다른 디바이스를 포함할 수도 있다. 중간 디바이스는 비트스트림 (21) 을 요청하는 콘텐츠 소비자 디바이스 (14) 와 같은 가입자들에게 (가능하면 대응하는 비디오 데이터 비트스트림을 송신하는 것과 함께) 비트스트림 (21) 을 스트림할 수 있는 콘텐츠 전달 네트워크에 상주할 수도 있다.
대안으로, 콘텐츠 작성자 디바이스 (12) 는 비트스트림 (21) 을 컴팩트 디스크, 디지털 비디오 디스크, 고선명 비디오 디스크 또는 다른 저장 매체와 같은 저장 매체에 저장할 수도 있고, 이들 대부분은 컴퓨터에 의해 판독될 수 있어서, 컴퓨터-판독가능 저장 매체 또는 비일시적 컴퓨터-판독가능 저장 매체로서 지칭될 수도 있다. 이러한 문맥에서, 송신 채널은 매체들에 저장된 콘텐츠가 송신되는 채널들을 지칭할 수도 있다 (그리고 소매점들 및 다른 매장-기반 전달 메커니즘을 포함할 수도 있다). 따라서, 임의의 이벤트에서, 본 개시의 기술들은 도 2 의 예에 관하여 한정되지 않아야 한다.
도 2 의 예에 더 도시되어 있는 바와 같이, 콘텐츠 소비자 디바이스 (14) 는 오디오 재생 시스템 (16) 을 포함한다. 오디오 재생 시스템 (16) 은 멀티-채널 오디오 데이터를 재생할 수 있는 임의의 오디오 재생 시스템을 표현할 수도 있다. 오디오 재생 시스템 (16) 은 다수의 상이한 렌더러들 (22) 을 포함할 수도 있다. 렌더러들 (22) 은 상이한 형태의 렌더링을 각각 제공할 수도 있고, 여기서, 렌더링의 상이한 형태들은 벡터-기반 진폭 패닝 (VBAP) 을 수행하는 다양한 방식들 중 하나 이상, 및/또는 음장 합성을 수행하는 다양한 방식들 중 하나 이상을 포함할 수도 있다. 본원에서 사용되는 바와 같이, "A 및/또는 B" 는 "A 또는 B", 또는 "A 및 B" 양자를 의미한다.
오디오 재생 시스템 (16) 은 오디오 디코딩 디바이스 (24) 를 더 포함할 수도 있다. 오디오 디코딩 디바이스 (24) 는 비트스트림 (21) 으로부터 HOA 계수들 (11') 을 디코딩하도록 구성된 디바이스를 표현할 수도 있고, 여기서, HOA 계수들 (11') 은 HOA 계수들 (11) 과 유사할 수도 있지만 손실 동작들 (예를 들어, 양자화) 및/또는 송신 채널을 통한 송신으로 인해 상이하다. 오디오 재생 시스템 (16) 은, HOA 계수들 (11') 을 획득하기 위해 비트스트림 (21) 을 디코딩한 이후에, 라우드스피커 피드들 (25) 을 출력하기 위해 HOA 계수들 (11') 을 렌더링할 수도 있다. 라우드스피커 피드들 (25) 은 (예시 목적의 용이함을 위해 도 2 의 예에는 도시되지 않은) 하나 이상의 라우드스피커들을 구동할 수도 있다.
적합한 렌더러를 선택하거나, 일부 경우들에서, 적합한 렌더러를 생성하기 위해, 오디오 재생 시스템 (16) 은 라우드스피커들의 수 및/또는 라우드스피커들의 공간 지오메트리를 나타내는 라우드스피커 정보 (13) 를 획득할 수도 있다. 일부 경우들에서, 오디오 재생 시스템 (16) 은 기준 마이크로폰을 사용하고 라우드스피커 정보 (13) 를 동적으로 결정하는 방식으로 라우드스피커들을 구동하는 라우드스피커 정보 (13) 를 획득할 수도 있다. 다른 경우들에서 또는 라우드스피커 정보 (13) 의 동적 결정과 함께, 오디오 재생 시스템 (16) 은 오디오 재생 시스템 (16) 과 인터페이스하고 라우드스피커 정보 (13) 를 입력하도록 사용자를 프롬프트할 수도 있다.
그 후, 오디오 재생 시스템 (16) 은 라우드스피커 정보 (13) 에 기초하여 오디오 렌더러들 (22) 중 하나를 선택할 수도 있다. 일부 경우들에서, 오디오 재생 시스템 (16) 은, 오디오 렌더러들 (22) 중 어느 것도 라우드스피커 정보 (13) 에서 특정된 라우드스피커 지오메트리에 대한 (라우드스피커 지오메트리에 관한) 일부 임계 유사성 측정치 내에 있지 않을 때, 라우드스피커 정보 (13) 에 기초하여 오디오 렌더러들 (22) 중 하나를 생성할 수도 있다. 일부 경우들에서, 오디오 재생 시스템 (16) 은 오디오 렌더러들 (22) 중 기존의 하나를 선택하는 것을 먼저 시도하지 않고 라우드스피커 정보 (13) 에 기초하여 오디오 렌더러들 (22) 중 하나를 생성할 수도 있다. 그 후, 하나 이상의 스피커들 (3) 이 렌더링된 라우드스피커 피드들 (25) 을 재생할 수도 있다. 다시 말해, 스피커들 (3) 은 고차 앰비소닉 오디오 데이터에 기초하여 음장을 재생하도록 구성될 수도 있다.
도 3 은 본 개시에 설명되는 기술들의 다양한 양태들을 수행할 수도 있는 도 2 의 예에 도시된 오디오 인코딩 디바이스 (20) 의 일례를 더욱 상세히 예시하는 블록도이다. 오디오 인코딩 디바이스 (20) 는 콘텐츠 분석 유닛 (26), 벡터-기반 분해 유닛 (27),및 방향-기반 분해 유닛 (28) 을 포함한다.
간략하게 후술되더라도, 벡터-기반 분해 유닛 (27) 및 HOA 계수들을 압축하는 다양한 양태들에 관한 더 많은 정보가 2014년 5월 29일 출원된 "INTERPOLATION FOR DECOMPOSED REPRESENTATIONS OF A SOUND FIELD"이란 명칭의 국제 특허 출원 공개 번호 WO 2014/194099 호에서 입수가능하다. 또한, 아래에 요약된 벡터-기반 분해의 논의를 포함하는, MPEG-H 3D 오디오 표준에 따른 HOA 계수들의 압축의 다양한 양태들의 더 많은 상세사항들이:
(이하, "MPEG-H 3D 오디오 표준의 단계 Ⅰ" 로서 지칭되는, http://mpeg.chiariglione.org/standards/mpeg-h/3d-audio/dis-mpeg-h-3d-audio에서 입수가능한) 2014년 7월 25일자 ISO/IEC JTC 1/SC 29/WG 11 에 의한 "Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio" 란 명칭의 ISO/IEC DIS 23008-3 문헌;
(http://mpeg.chiariglione.org/standards/mpeg-h/3d-audio/text-isoiec-23008-3201xpdam-3-mpeg-h-3d-audio-phase-2에서 입수가능하고, 이하, "MPEG-H 3D 오디오 표준의 단계 Ⅱ" 로서 지칭되는) 2015년 7월 25일자 ISO/IEC JTC 1/SC 29/WG 11 에 의한 "Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio, AMENDMENT 3: MPEG-H 3D Audio Phase 2" 란 명칭의 ISO/IEC DIS 23008-3:2015/PDAM 3 문헌; 및
Jurgen erre 등의 2015년 8월에 Vol. 9, No. 5 of the IEEE Journal of Selected Topics in Signal Processing 에 공개된 명칭 "MPEG-H 3D Audio - The New Standard for Coding of Immersive Spatial Audio" 에서 발견될 수 있다.
콘텐츠 분석 유닛 (26) 은 HOA 계수들 (11) 이 라이브 기록 또는 오디오 오브젝트로부터 생성된 콘텐츠를 표현하는지 여부를 식별하기 위해 HOA 계수들 (11) 의 콘텐츠를 분석하도록 구성된 유닛을 표현한다. 콘텐츠 분석 유닛 (26) 은 HOA 계수들 (11) 이 실제 음장의 기록 또는 인공 오디오 오브젝트로부터 생성되었는지 여부를 결정할 수도 있다. 일부 경우들에서, 프레임된 HOA 계수들 (11) 이 기록으로부터 생성되었을 때, 콘텐츠 분석 유닛 (26) 은 HOA 계수들 (11) 을 벡터-기반 분해 유닛 (27) 으로 패스한다. 일부 경우들에서, 프레임된 HOA 계수들 (11) 이 합성 오디오 오브젝트로부터 생성되었을 때, 콘텐츠 분석 유닛 (26) 은 HOA 계수들 (11) 을 방향-기반 합성 유닛 (28) 으로 패스한다. 방향-기반 합성 유닛 (28) 은 방향-기반 비트스트림 (21) 을 생성하기 위해 HOA 계수들 (11) 의 방향-기반 합성을 수행하도록 구성된 유닛을 표현할 수도 있다.
도 3 의 예에 도시되어 있는 바와 같이, 벡터-기반 분해 유닛 (27) 은 선형 가역 변환 (LIT) 유닛 (30), 파라미터 계산 유닛 (32), 재순서화 유닛 (34), 전경 선택 유닛 (36), 에너지 보상 유닛 (38), ("비상관 유닛 (60)" 으로서 도시된) 비상관 (decorrelation) 유닛 (60), 이득 제어 유닛 (62), 음향심리 오디오 코더 유닛 (40), 비트스트림 생성 유닛 (42), 음장 분석 유닛 (44), 계수 감소 유닛 (46), 배경 (BG) 선택 유닛 (48), 공간-시간 보간 유닛 (50), 및 양자화 유닛 (52) 을 포함할 수도 있다.
선형 가역 변환 (LIT) 유닛 (30) 은 HOA 채널들의 형태로 HOA 계수들을 수신하고, 각각의 채널은 (HOA[k] (k 는 샘플들의 현재 프레임 또는 블록을 나타낼 수 있음) 로서 표시될 수 있는) 구면 기저 함수들의 주어진 차수, 서브-차수와 연관된 계수의 블록 또는 프레임을 나타낸다. HOA 계수들 (11) 의 행렬은 치수들 
을 가질 수도 있다.
LIT 유닛 (30) 은 특이값 분해로서 지칭된 분석의 형태를 수행하도록 구성된 유닛을 표현할 수도 있다. SVD 에 관하여 설명되지만, 본 개시에 설명되는 기술들은 선형적으로 정정되지 않은 에너지 컴팩트 출력의 집합들을 제공하는 임의의 유사한 변환 또는 분해에 관하여 수행될 수도 있다. 또한, 본 개시에서 "집합들" 에 대한 참조는 반대로 구체적으로 언급되지 않으면 넌-제로 집합들을 지칭하는 것으로 일반적으로 의도되고, 소위 "공집합 (empty set)" 을 포함하는 집합들의 고전적인 수학적 정의를 지칭하는 것으로 의도되지 않는다. 대안의 변환이 "PCA" 로서 종종 지칭하는 주요 성분 분석을 포함할 수도 있다. 문맥에 따라, PCA 는 몇몇 예를 들자면, 이산 Karhunen-Loeve 변환, Hotelling 변환, 적절한 직교 분해 (POD), 및 고유값 분해 (EVD) 와 같은, 다수의 상이한 명칭들로 지칭될 수도 있다. 오디오 데이터를 압축하는 잠재적 기본 목적 중 하나에 도움이 되는 이러한 연산들의 특성들은 멀티채널 오디오 데이터의 "에너지 컴팩트화' 및 '비상관' 중 하나 이상을 포함할 수도 있다.
임의의 이벤트에서, LIT 유닛 (30) 이 예시의 목적을 위해 ("SVD" 로서 다시 지칭될 수도 있는) 특이값 분해를 수행한다고 가정하면, LIT 유닛 (30) 은 HOA 계수들 (11) 을 변환된 HOA 계수들의 2개 이상의 집합들로 변환할 수도 있다. 변환된 HOA 계수들의 "집합들" 은 변환된 HOA 계수들의 벡터들을 포함할 수도 있다. 도 3의 예에서, LIT 유닛 (30) 은 소위 V 행렬, S 행렬, 및 U 행렬을 생성하기 위해 HOA 계수들 (11) 에 관하여 SVD 를 수행할 수도 있다. 선형 대수에서, SVD 는 하기의 형태:
로 y 바이 z 실수 또는 복소수 행렬 X (여기서, X 는 HOA 계수들 (11) 과 같은, 멀티-채널 오디오 데이터를 나타낼 수도 있음) 의 인수분해를 표현할 수도 있다.
U 는 y 바이 y 실수 또는 복소수 단위 행렬을 나타낼 수도 있고, 여기서, U 의 y 컬럼들은 멀티-채널 오디오 데이터의 좌측-특이 벡터들로서 공지되어 있다. S 는 대각선상에 넌-네거티브 실수들을 갖는 y 바이 z 직사각형 대각 행렬을 표현할 수도 있고, 여기서, S 의 대각 값들은 멀티-채널 오디오 데이터의 특이값들로서 공지되어 있다. (V 의 켤레 전치를 표기할 수도 있는) V* 는 z 바이 z 실수 또는 복소수 행렬을 표현할 수도 있고, 여기서, V* 의 z 컬럼들은 멀티-채널 오디오 데이터의 우측-특이 벡터들로서 공지되어 있다.
일부 예들에서, 상기 참조되는 SVD 수학식에서의 V* 행렬은 SVD 가 복소수들을 포함하는 행렬들에 적용될 수도 있다는 것을 반영하기 위해 V 행렬의 켤레 전치로서 표기된다. 실수들만을 포함하는 행렬들에 적용될 때, V 행렬의 복소 켤레 (또는, 다시 말해, V* 행렬) 는 V 행렬의 전치인 것으로 고려될 수도 있다. 아래에서, 예시 목적의 용이함을 위해, HOA 계수들 (11) 은 V 행렬이 V* 행렬보다는 SVD 를 통해 출력된다는 결과로 실수들을 포함한다는 것이 가정된다. 더욱이, 본 개시에서 V 행렬로서 표기되지만, V 행렬에 대한 참조는 적절한 경우에 V 행렬의 전치를 지칭하는 것으로 이해되어야 한다. V 행렬인 것으로 가정되지만, 기술들은 복소 계수들을 갖는 HOA 계수들 (11) 에 유사한 방식으로 적용될 수도 있고, 여기서, SVD 의 출력은 V* 행렬이다. 그에 따라, 기술들은 V 행렬을 생성하기 위해 SVD 의 적용을 제공하는 것만에 관하여 한정되어서는 안되고, V* 행렬을 생성하기 위해 복소 성분들을 갖는 HOA 계수들 (11) 에 SVD 의 적용을 포함할 수도 있다.
이러한 방식으로, LIT 유닛 (30) 은 치수들 
를 갖는 (S 벡터들 및 U 벡터들의 조합된 버전을 표현할 수도 있는) US[k] 벡터 (33), 및 치수들 
을 갖는 V[k] 벡터를 출력하기 위해 HOA 계수들 (11) 에 관하여 SVD 를 수행할 수도 있다. US[k] 행렬에서의 개별 벡터 엘리먼트들이 
로 또한 칭해질 수도 있는 반면에, V[k] 의 개별 벡터들은 
로 또한 칭해질 수도 있다.
U, S 및 V 행렬들의 분석은, 행렬들이 X 에 의해 상기 표현된 기본 음장의 공간 및 시간 특징들을 갖거나 표현한다는 것을 나타낸다. (M개의 샘플들의 길이의) U 에서의 N개의 벡터들 각각은 서로 직교하고 (방향 정보로 또한 지칭될 수도 있는) 임의의 공간 특징들로부터 디커플링된 (M개의 샘플들에 의해 표현된 시간 주기 동안) 시간의 함수로서 정규화된 개별 오디오 신호들을 표현할 수도 있다. 공간 형상 및 위치를 표현하는 공간 특징들 (r, 세타 (theta), 파이 (phi)) 이 V 행렬 (길이 
각각) 에서, 개별 i번째 벡터들 (
) 에 의해 대신 표현될 수도 있다.
HOA 계수들 (11) 에 관하여 직접적으로 수행되는 것으로 설명되지만, LIT 유닛 (30) 은 선형 가역 변환을 HOA 계수들 (11) 의 도함수들에 적용할 수도 있다. 예를 들어, LIT 유닛 (30) 은 HOA 계수들 (11) 로부터 유도된 전력 스펙트럼 밀도 행렬에 관하여 SVD 를 적용할 수도 있다. 계수들 자체보다는 HOA 계수들의 전력 스펙트럼 밀도 (PSD) 에 관하여 SVD 를 수행함으로써, LIT 유닛 (30) 은 SVD 가 HOA 계수들에 직접적으로 적용된 것처럼 동일한 소스 오디오 인코딩 효율을 달성하면서, 프로세서 사이클들 및 저장 공간 중 하나 이상에 관하여 SVD 를 수행하는 계산적 복잡성을 잠재적으로 감소시킬 수도 있다.
파라미터 계산 유닛 (32) 은 상관 파라미터 (R), 방향 특성 파라미터들 
, 및 에너지 특성 (e) 과 같은, 다양한 파라미터들을 계산하도록 구성된 유닛을 표현한다. 현재 프레임에 대한 파라미터들 각각은 
및 
로서 표기될 수도 있다. 파라미터 계산 유닛 (32) 은 파라미터들을 식별하기 위해 US[k] 에 관하여 에너지 분석 및/또는 상관 (또는 소위 교차-상관) 을 수행할 수도 있다. 파라미터 계산 유닛 (32) 은 이전 프레임에 대한 파라미터들을 또한 결정할 수도 있고, 여기서, 이전 프레임 파라미터들은 US[k-1] 벡터 및 V[k-1] 벡터들의 이전 프레임에 기초하여 
및 
로 표기될 수도 있다. 파라미터 계산 유닛 (32) 은 현재 파라미터들 (37) 및 이전 파라미터들 (39) 을 재순서화 유닛 (34) 에 출력할 수도 있다.
파라미터 계산 유닛 (32) 에 의해 계산된 파라미터들은 오디오 오브젝트들을 재순서화하여 시간에 따라 그들의 자연적인 평가 또는 연속성을 표현하기 위해 재순서화 유닛 (34) 에 의해 사용될 수도 있다. 재순서화 유닛 (34) 은 제 1 US[k] 벡터들 (33) 로부터의 파라미터들 (37) 각각을 제 2 US[k-1] 벡터들 (33) 에 대한 파라미터들 (39) 각각에 대해 비교할 수도 있다. 재순서화 유닛 (34) 은 (
로서 수학적으로 표기될 수도 있는) 재순서화된 US[k] 행렬 (33') 및 (
로서 수학적으로 표기될 수도 있는) 재순서화된 V[k] 행렬 (35') 을 전경 선택 (또는 우세한 사운드 - PS) 선택 유닛 (36) ("전경 선택 유닛 (36)") 및 에너지 보상 유닛 (38) 에 출력하기 위해 현재 파라미터들 (37) 및 이전 파라미터들 (39) 에 기초하여 US[k] 행렬 (33) 및 V[k] 행렬 (35) 내의 다양한 벡터들을 (일례로서, Hungarian 알고리즘을 사용하여) 재순서화할 수도 있다.
음장 분석 유닛 (44) 은 타겟 비트레이트 (41) 를 잠재적으로 달성하기 위해 HOA 계수들 (11) 에 관하여 음장 분석을 수행하도록 구성된 유닛을 표현할 수도 있다. 음장 분석 유닛 (44) 은 분석 및/또는 수신된 타겟 비트레이트 (41) 에 기초하여, (주변 또는 배경 채널들 
의 총 수 및 전경 채널들, 또는 다시 말해 우세한 채널들의 수의 함수일 수도 있는) 음향심리 코더 예시들의 총 수를 결정할 수도 있다. 음향심리 코더 예시들의 총 수는 numHOATransportChannels 로 표기될 수 있다.
음장 분석 유닛 (44) 은 타겟 비트레이트 (41) 를 다시 잠재적으로 달성하기 위해, 전경 채널들의 총 수 (nFG) (45), 배경 (또는, 다시 말해, 주변) 음장의 최소 차수 (
또는, 대안으로는, MinAmbHOAorder), 배경 음장의 최소 차수를 나타내는 실제 채널들의 대응하는 수 
, 및 (도 3 의 예에서 배경 채널 정보 (43) 로서 일괄적으로 표기될 수도 있는) 전송할 추가의 BG HOA 채널들의 인덱스들 (i) 을 또한 결정할 수도 있다. 배경 채널 정보 (42) 는 주변 채널 정보 (43) 로서 또한 지칭될 수도 있다. numHOATransportChannels 로부터 남아 있는 채널들 각각 - nBGa 는 "추가의 배경/주변 채널", "활성 벡터-기반 우세한 채널", "활성 방향 기반 우세한 신호" 또는 완전 비활성" 일 수도 있다. 일 양태에서, 채널 타입들은 2개의 비트들에 의해 신택스 엘리먼트로 ("ChannelType" 으로서) 표시될 수도 있다 (예를 들어, 00: 방향 기반 신호; 01: 벡터-기반 우세한 신호; 10: 추가 주변 신호; 11: 비활성 신호). 배경 또는 주변 신호들의 총 수 (nGBa) 는 
+ (상기 예에서) 인덱스 (10) 가 그 프레임에 대한 비트스트림에서 채널 타입으로서 나타나는 횟수에 의해 제공될 수도 있다.
음장 분석 유닛 (44) 은 타겟 비트레이트 (41) 에 기초하여 배경 (또는, 다시 말해, 주변) 채널들의 수 및 전경 (또는, 다시 말해, 우세한) 채널들의 수를 선택하여, 타겟 비트레이트 (41) 가 상대적으로 더 높을 때 (예를 들어, 타겟 비트레이트 (41) 가 512 Kbps와 동일하거나 그보다 클 때) 더 많은 배경 및/또는 전경 채널들을 선택할 수도 있다. 일 양태에서, numHOATransportChannels 8 로 설정될 수도 있고 MinAmbHOAorder 는 비트스트림의 헤더 섹션에서 1 로 설정될 수도 있다. 이러한 시나리오에서, 모든 프레임에서, 4개의 채널들이 음장의 배경 또는 주변 부분을 표현하기 위해 전용될 수도 있고, 다른 4개의 채널들은, 프레임 마다에 기초하여, 채널의 타입에 대해 변할 수 있다 - 예를 들어, 추가의 배경/주변 채널 또는 전경/우세한 채널로서 사용될 수 있다. 전경/우세한 신호들은 상기 논의한 바와 같이, 벡터-기반 또는 방향 기반 신호들 중 하나일 수 있다.
일부 경우들에서, 프레임에 대한 벡터-기반 우세한 신호들의 총 수는 ChannelType 인덱스가 그 프레임의 비트스트림에서 01 인 횟수에 의해 제공될 수도 있다. 상기 양태에서, (예를 들어, 10 의 ChannelType 에 대응하는) 추가의 배경/주변 채널 모두에 대해, (제 1 의 4개를 넘는) 가능한 HOA 계수들 중 어느 것의 대응하는 정보가 그 채널에서 표현될 수도 있다. 4차 HOA 콘텐츠에 대해, 정보는 HOA 계수들(5 내지 25) 을 표시하기 위한 인덱스일 수도 있다. 제 1 4개의 주변 HOA 계수들 (1 내지 4) 은 minAmbHOAorder 가 1 로 설정되는 내내 전송될 수도 있어서, 오디오 인코딩 디바이스는 5 내지 25 의 인덱스를 갖는 추가의 주변 HOA 계수들 중 하나를 표시할 필요만 있을 수도 있다. 따라서, 정보는 "CodedAmbCoeffIdx" 로서 표기될 수도 있는 (4차 콘텐츠에 대한) 5비트 신택스 엘리먼트를 사용하여 전송될 수 있다. 임의의 이벤트에서, 음장 분석 유닛 (44) 은 배경 채널 정보 (43) 및 HOA 계수들 (11) 을 배경 (BG) 선택 유닛 (36) 으로 출력하고, 배경 채널 정보 (43) 를 계수 감소 유닛 (46) 및 비트스트림 생성 유닛 (42) 으로 출력하며, nFG (45) 를 전경 선택 유닛 (36) 으로 출력한다.
배경 선택 유닛 (48) 은 배경 채널 정보 (예를 들어, 배경 음장 
및 전송할 추가의 BG HOA 채널들의 수 (nBGa) 및 인덱스들 (i)) 에 기초하여 배경 또는 주변 HOA 계수들 (47) 을 결정하도록 구성된 유닛을 표현할 수도 있다. 예를 들어, 
가 1 과 동일할 때, 배경 선택 유닛 (48) 은 1과 동일하거나 1 미만의 차수를 갖는 오디오 프레임의 각각의 샘플에 대한 HOA 계수들 (11) 을 선택할 수도 있다. 이러한 예에서, 그 후, 배경 선택 유닛 (48) 은 추가의 BG HOA 계수들로서 인덱스들 (i) 중 하나에 의해 식별된 인덱스를 갖는 HOA 계수들 (11) 을 선택할 수도 있고, 여기서, nBGa 는 도 2 및 도 4 의 예에 도시된 오디오 디코딩 디바이스 (24) 와 같은 오디오 디코딩 디바이스가 비트스트림 (21) 으로부터의 배경 HOA 계수들 (47) 을 분석할 수 있게 하기 위해 비트스트림 (21) 에서 특정되도록 비트스트림 생성 유닛 (42) 에 제공된다. 그 후, 배경 선택 유닛 (48) 은 주변 HOA 계수들 (47) 을 에너지 보상 유닛 (38) 에 출력할 수도 있다. 주변 HOA 계수들 (47) 은 치수들 
을 가질 수도 있다. 주변 HOA 계수들 (47) 은 "주변 HOA 계수들 (47)" 로서 또한 지칭될 수도 있으며, 여기서, 주변 HOA 계수들 (47) 각각은 음향심리 오디오 코더 유닛 (40) 에 의해 인코딩될 개별 주변 HOA 채널 (47) 에 대응한다.
전경 선택 유닛 (36) 은 (전경 벡터들을 식별하는 하나 이상의 인덱스들을 표현할 수도 있는) nFG (45) 에 기초하는 음장의 전경 또는 별개 컴포넌트들을 표현하는 재순서화된 US[k] 행렬 (33') 및 재순서화된 V[k] 행렬 (35') 을 선택하도록 구성된 유닛을 표현할 수도 있다. 전경 선택 유닛 (36) 은 (재순서화된 
, 또는 
로서 표기될 수도 있는) nFG 신호들 (49) 을 음향심리오디오 코더 유닛 (40) 에 출력할 수도 있고, 여기서, nFG 신호들 (49) 은 치수들 
을 가질 수도 있고 각각 모노-오디오 오브젝트들을 표현한다. 전경 선택 유닛 (36) 은 음장의 전경 컴포넌트들에 대응하는 재순서화된 V[k] 행렬 (35') (또는 
(35')) 을 공간-시간 보간 유닛 (50) 에 또한 출력할 수도 있고, 여기서, 전경 컴포넌트들에 대응하는 재순서화된 V[k] 행렬 (35') 의 서브세트가 치수들 
를 갖는 (
로서 수학적으로 표기될 수도 있는) 전력 V[k] 행렬 (51k) 로서 표기될 수도 있다.
에너지 보상 유닛(38)은 배경 선택 유닛 (48) 에 의한 HOA 채널들 중 다양한 채널들의 제거로 인한 에너지 손실을 보상하기 위해 주변 HOA 계수들 (47) 에 관하여 에너지 보상을 수행하도록 구성된 유닛을 표현할 수도 있다. 에너지 보상 유닛 (38) 은 재순서화된 US[k] 행렬 (33'), 재순서화된 V[k] 행렬 (35'), nFG 신호들 (49), 전경 V[k] 벡터들 (51k), 및 주변 HOA 계수들 (47) 중 하나 이상에 관하여 에너지 분석을 수행할 수도 있으며, 그 후, 에너지 보상된 주변 HOA 계수들 (47') 을 생성하기 위해 에너지 분석에 기초하여 에너지 보상을 수행할 수도 있다. 에너지 보상 유닛 (38) 은 에너지 보상된 주변 HOA 계수들 (47') 을 비상관 유닛 (60) 에 출력할 수도 있다.
비상관 유닛 (60) 은 하나 이상의 비상관된 주변 HOA 오디오 신호들 (67) 을 형성하기 위해 에너지 보상된 주변 HOA 계수들 (47') 사이의 상관을 감소시키거나 제거하기 위해 본 개시에 설명된 기술들의 다양한 양태들을 구현하도록 구성된 유닛을 표현할 수도 있다. 비상관 유닛 (40') 은 비상관된 HOA 오디오 신호들 (67) 을 이득 제어 유닛 (62) 에 출력할 수도 있다. 이득 제어 유닛 (62) 은 이득 제어된 주변 HOA 오디오 신호들 (67') 을 획득하기 위해 비상관된 주변 HOA 오디오 신호들 (67) 에 관하여 ("AGC" 로서 축약될 수도 있는) 자동 이득 제어를 수행하도록 구성된 유닛을 표현할 수도 있다. 이득 제어를 적용한 이후에, 자동 이득 제어 유닛 (62) 은 이득 제어된 주변 HOA 오디오 신호들 (67') 을 음향심리 오디오 코더 유닛 (40) 에 제공할 수도 있다.
오디오 인코딩 디바이스 (20) 내에 포함된 비상관 유닛 (60) 은 비상관된 HOA 오디오 신호들 (67) 을 획득하기 위해, 하나 이상의 비상관 변환들을 에너지 보상된 주변 HOA 계수들 (47') 에 적용하도록 구성된 유닛의 단일 또는 다중 인스턴스들을 표현할 수도 있다. 일부 예들에서, 비상관 유닛 (40') 은 UHJ 행렬을 에너지 보상된 주변 HOA 계수들 (47') 에 적용할 수도 있다. 본 개시의 다양한 경우들에서, UHJ 행렬은 "위상-기반 변환" 으로서 또한 지칭될 수도 있다. 위상-기반 변환의 적용이 "위상시프트 비상관" 으로서 본원에서 또한 지칭될 수도 있다.
앰비소닉 UHJ 포맷은 모노 및 스테레오 미디어와 호환가능하도록 설계된 앰비소닉 서라운드 사운드 시스템의 개발이다. UHJ 포맷은 기록된 음장이 가용 채널들에 따라 변하는 정확도의 정도로 재생되는 시스템들의 계층을 포함한다. 다양한 경우들에서, UHJ 는 "C-포맷" 으로서 또한 지칭된다. 머리글자들은 시스템으로 통합된 소스들 중 일부: 유니벼셜 (UD-4) 로부터의 U; 행렬 H 로부터의 H; 및 시스템 (45J) 로부터의 J 를 나타낸다.
UHJ 는 앰비소닉 기술 내의 방향 사운드 정보를 인코딩하고 디코딩하는 계층 시스템이다. 가용 채널들의 수에 의존하여, 시스템은 다소의 정보를 반송할 수 있다. UHJ 는 완전하게 스테레오- 및 모노-호환가능하다. 4개까지 채널들 (L, R, T, Q) 이 사용될 수도 있다.
일 형태에서, 2-채널 (L, R) UHJ, 수평 (또는 "평면") 서라운드 정보가 청취단에서 UHJ 디코더를 사용함으로써 복구될 수도 있는 통상의 스테레오 신호 채널들 - CD, FM 또는 디지털 라디오 등 - 에 의해 반송될 수 있다. 2개의 채널들을 합산하는 것은 종래의 "팬포팅된 (panpotted) 모노" 소스를 합산하는 것보다 2-채널 버전의 더욱 정확한 표현일 수도 있는 호환가능한 모노 신호를 산출할 수도 있다. 제 3 채널 (T) 이 이용가능한 경우에, 제 3 채널은 3-채널 UHJ 디코더를 통해 디코딩될 때 평면 서라운드 효과에 대한 개선된 로컬화 정확도를 산출하기 위해 사용될 수 있다. 제 3 채널은 이러한 목적을 위해 풀 오디오 대역폭을 갖도록 요구되지 않을 수도 있고, 이는 소위 "2½-채널" 시스템들의 가능성을 초래하고, 여기서, 제 3 채널은 대역폭-제한된다. 일례에서, 제한은 5 kHz일 수도 있다. 제 3 채널은 예를 들어, 위상-직교 변조에 의해 FM 라디오를 통해 브로드캐스팅될 수 있다. UHJ 시스템에 제 4 채널 (Q) 을 가산하는 것은 4-채널 B-포맷과 동일한 정확도의 레벨로, 때때로 페리포니 (Periphony) 로서 n 으로 지칭되는, 높이를 갖는 전체 서라운드 사운드의 인코딩을 허용할 수도 있다.
2-채널 UHJ 는 앰비소닉 기록들의 분포를 위해 일반적으로 사용되는 포맷이다. 2-채널 UHJ 기록들은 모든 정상 스테레오 채널들을 통해 송신될 수 있으며, 정상 2-채널 미디어 중 임의의 것이 변경 없이 사용될 수 있다. UHJ 는, 디코딩 없이, 청취자가 스테레오 이미지를 인지할 수도 있다는 점에서 스테레오 호환가능하지만, 종래의 스테레오 (예를 들어, 소위 "수퍼 스테레오") 보다 현저하게 넓다. 좌우 채널들이 매우 높은 정도의 모노-호환성을 위해 또한 합산될 수 있다. UHJ 디코더를 통해 재생되는 경우, 서라운드 능력이 나타날 수도 있다.
UHJ 행렬 (또는 위상-기반 변환) 을 적용하는 비상관 유닛 (60) 의 예시적인 수학적 표현이 다음과 같다:
UHJ 인코딩:
좌 및 우로 S 및 D 의 변환
좌 = (S+D)/2
우 = (S-D)/2
상기 계산들의 일부 구현들에 따르면, 상기 계산들에 관한 가정들이 다음을 포함할 수도 있다: HOA 배경 채널은 앰비소닉 채널 넘버링 순서 W (a00), X(a11), Y(a11-), Z(a10) 로, 1차 앰비소닉, FuMa 정규화된다.
상기 열거된 계산들에서, 비상관 유닛 (40') 은 상수값들에 의한 다양한 행렬들의 스칼라 곱을 수행할 수도 있다. 예를 들어, S 신호를 획득하기 위해, 비상관 유닛 (60) 은 0.9397 의 상수값에 의한 (예를 들어, 스칼라 곱에 의한) W 행렬, 및 0.1856 의 상수값에 의한 X 행렬의 스칼라 곱을 수행할 수도 있다. 상기 열거된 계산들에 또한 예시된 바와 같이, 비상관 유닛 (60) 은 D 및 T 신호들 각각을 획득하는데 있어서 (상기 UHJ 인코딩에서 "Hibert()" 함수에 의해 표기된) Hilbert 변환을 적용할 수도 있다. 상기 UHJ 인코딩에서의 "img()" 함수는, Hilbert 변환의 결과의 (수학적 의미에서) 허수가 획득된다는 것을 나타낸다.
UHJ 행렬 (또는 위상-기반 변환) 을 적용하는 비상관 유닛 (60) 의 다른 예시적인 수학적 표현이 다음과 같다:
UHJ 인코딩:
좌 및 우로 S 및 D 의 변환
좌 = (S+D)/2
우 = (S-D)/2
상기 계산들의 일부 예시적인 구현들에서, 상기 계산들에 관한 가정들이 다음을 포함할 수도 있다: HOA 배경 채널은 앰비소닉 채널 넘버링 순서 W (a00), X(a11), Y(a11-), Z(a10) 로, 1차 앰비소닉, N3D (또는 "전체 3-D") 정규화된다. N3D 정규화에 관하여 본원에 설명하지만, 예시적인 계산들이 SN3D 정규화되는 (또는 "Schmidt 반-정규화되는") HOA 배경 채널들에 또한 적용될 수도 있다는 것이 이해될 것이다. N3D 및 SN3D 정규화는 사용된 스케일링 팩터들에 관하여 상이할 수도 있다. SN3D 정규화에 대하여, N3D 정규화의 예시적인 표현이 아래에 표현된다:
SN3D 정규화에서 사용된 가중 계수들의 예가 아래에 표현된다:
상기 열거된 계산들에서, 비상관 유닛 (60) 은 상수값들에 의한 다양한 행렬들의 스칼라 곱을 수행할 수도 있다. 예를 들어, S 신호를 획득하기 위해, 비상관 유닛 (60) 은 0.9396926 의 상수값에 의한 (예를 들어, 스칼라 곱에 의한) W 행렬, 및 0.151520536509082 의 상수값에 의한 X 행렬의 스칼라 곱을 수행할 수도 있다. 상기 열거된 계산들에 또한 예시된 바와 같이, 비상관 유닛 (60) 은 D 및 T 신호들 각각을 획득하는데 있어서 (상기 UHJ 인코딩 또는 위상시프트 비상관에서 "Hibert()" 에 의해 표기된) Hilbert 변환을 적용할 수도 있다. 상기 UHJ 인코딩에서의 "img()" 함수는, Hilbert 변환의 결과의 (수학적 의미에서) 허수가 획득된다는 것을 나타낸다.
비상관 유닛 (60) 은, 결과적인 S 및 D 신호들이 좌우 오디오 신호들 (또는 다시 말해, 스테레오 오디오 신호들) 을 표현하도록, 상기 열거된 계산들을 수행할 수도 있다. 일부 이러한 시나리오들에서, 비상관 유닛 (60) 은 비상관된 주변 HOA 오디오 신호들 (67) 의 일부로서 T 및 Q 신호들을 출력할 수도 있지만, 비트스트림 (21) 을 수신하는 디코딩 디바이스는 스테레오 스피커 지오메트리 (또는, 다시 말해, 스테레오 스피커 구성) 로 렌더링할 때 T 및 Q 신호들을 프로세싱하지 않을 수도 있다. 예들에서, 주변 HOA 계수들 (47') 은 모노-오디오 재생 시스템에 대해 렌더링될 음장을 표현할 수도 있다. 비상관 유닛 (60) 은 비상관된 주변 HOA 오디오 신호들 (67) 의 일부로서 S 및 D 신호들을 출력할 수도 있으며, 비트스트림 (21) 을 수신하는 디코딩 디바이스는 모노-오디오 포맷으로 렌더링되고 그리고/또는 출력될 오디오 신호를 형성하기 위해 S 및 D 신호들을 조합 (또는 "믹싱") 할 수도 있다.
이들 예들에서, 디코딩 디바이스 및/또는 재생 디바이스는 모노-오디오 신호를 다양한 방식들로 복구할 수도 있다. 일례가 (S 및 D 신호들에 의해 표현된) 좌우 신호들을 믹싱하는 것이다. 다른 예가 W 신호를 디코딩하기 위해 UHJ 행렬 (또는 위상-기반 변환) 을 적용하는 것이다. UHJ 행렬 (또는 위상-기반 변환) 을 적용함으로써 S 및 D 신호들의 형태로 자연적 좌 신호 및 자연적 우 신호를 생성함으로써, 비상관 유닛 (60) 은 (MPEG-H 표준에 설명된 모드 행렬과 같은) 다른 비상관 변환들을 적용하는 기술들 이상의 잠재적 이점들 및/또는 잠재적 개선점들을 제공하기 위해 본 개시의 기술들을 구현할 수도 있다.
다양한 예들에서, 비상관 유닛 (60) 은 수신된 에너지 보상된 주변 HOA 계수들 (47') 의 비트 레이트에 기초하여 상이한 비상관 변환들을 적용할 수도 있다. 예를 들어, 비상관 유닛 (60) 은 에너지 보상된 주변 HOA 계수들 (47')dl 4-채널 입력을 표현하는 시나리오들에서 상술한 UHJ 행렬 (또는 위상-기반 변환) 을 적용할 수도 있다. 더욱 구체적으로, 4-채널 입력을 표현하는 에너지 보상된 주변 HOA 계수들 (47') 에 기초하여, 비상관 유닛 (60) 은 4x4 UHJ 행렬 (또는 위상-기반 변환) 을 적용할 수도 있다. 예를 들어, 4x4 행렬은 에너지 보상된 주변 HOA 계수들 (47') 의 4-채널 입력에 직교일 수도 있다. 다시 말해, 에너지 보상된 주변 HOA 계수들 (47') 이 더 적은 수의 채널들 (예를 들어, 4개) 을 표현하는 경우들에서, 비상관 유닛 (60) 은 에너지 보상된 주변 HOA 신호들 (47') 의 배경 신호들을 비상관하여 비상관된 주변 HOA 오디오 신호들 (67) 을 획득하기 위해, 선택된 비상관 변환으로서 UHJ 행렬을 적용할 수도 있다.
이러한 예에 따르면, 에너지 보상된 주변 HOA 계수들 (47') 이 더 큰 수의 채널들 (예를 들어, 9개) 을 표현하면, 비상관 유닛 (60) 은 UHJ 행렬 (또는 위상-기반 변환) 과 상이한 비상관 변환을 적용할 수도 있다. 예를 들어, 에너지 보상된 주변 HOA 계수들 (47') 이 9-채널 입력을 표현하는 시나리오에서, 비상관 유닛 (60) 은 에너지 보상된 주변 HOA 계수들 (47') 을 비상관하기 위해, (예를 들어, 상기 참조된 MPEG-H 3D 오디오 표준의 페이즈 Ⅰ 에 기재된 바와 같은) 모드 행렬을 적용할 수도 있다. 에너지 보상된 주변 HOA 계수들 (47') 이 9-채널 입력을 표현하는 예들에서, 비상관 유닛 (60) 은 비상관된 주변 HOA 오디오 신호들 (67) 을 획득하기 위해 9x9 모드 행렬을 적용할 수도 있다.
그 후, (음향심리 오디오 코더 (40) 와 같은) 오디오 인코딩 디바이스 (20) 의 다양한 컴포넌트들이 ACC 또는 USAC 에 따라 비상관된 주변 HOA 오디오 신호들 (67) 을 지각적으로 코딩할 수도 있다. 비상관 유닛 (60) 은 HOA 에 대한 AAC/USAC 코딩을 잠재적으로 최적화하기 위해, 위상시프트 비상관 변환 (예를 들어, 4-채널 입력의 경우에 UHJ 행렬 또는 위상-기반 변환) 을 적용할 수도 있다. 에너지 보상된 주변 HOA 계수들 (47') (및 이에 의해, 비상관된 주변 HOA 오디오 신호들 (67) 이 스테레오 재생 시스템에 대해 렌더링될 오디오 데이터를 표현하는 예들에서, 비상관 유닛 (60) 은 AAC 및 USAC 가 상대적으로 배향된 (또는 최적화된) 스테레오 오디오 데이터이라는 것에 기초하여, 압축을 개선하거나 최적화하기 위해 본 개시의 기술들을 적용할 수도 있다.
비상관 유닛 (60) 이 에너지 보상된 주변 HOA 계수들 (47') 이 전경 채널들을 포함하는 상황들 뿐만 아니라, 에너지 보상된 주변 HOA 계수들 (47') 이 어떠한 전경 채널들로 포함하지 않는 상황들에서 본원에 설명한 기술들을 적용할 수도 있다는 것이 이해될 것이다. 일례로서, 비상관 유닛 (40') 은 에너지 보상된 주변 HOA 계수들 (47') 이 0개의 전경 채널들 및 4개의 배경 채널들을 포함하는 시나리오 (예를 들어, 더 낮고/더 적은 비트 레이트의 시나리오) 에서, 상술한 기술들 및/또는 계산들을 적용할 수도 있다.
일부 예들에서, 비상관 유닛 (60) 은 비트스트림 생성 유닛 (42) 으로 하여금, 비상관 유닛 (60) 이 에너지 보상된 주변 HOA 계수들 (47') 에 비상관 변환을 적용하였다는 것을 나타내는 하나 이상의 신택스 엘리먼트들을 벡터-기반 비트스트림 (21) 의 일부로서 시그널링하게 할 수도 있다. 디코딩 디바이스에 이러한 표시를 제공함으로써, 비상관 유닛 (60) 은 디코딩 디바이스가 HOA 도메인에서 오디오 데이터에 대해 역 (reciprocal) 비상관 변환들을 수행할 수 있게 할 수도 있다. 일부 예들에서, 비상관 유닛 (60) 은 비트스트림 생성 유닛 (42) 으로 하여금, UHJ 행렬 (또는 다른 위상 기반 변환) 또는 모드 행렬과 같은 어느 비상관 변환이 적용되었는지 여부를 나타내는 신택스 엘리먼트들을 시그널링하게 할 수도 있다.
비상관 유닛 (60) 은 위상-기반 변환을 에너지 보상된 주변 HOA 계수 (47') 에 적용할 수도 있다. 
의 제 1 
HOA 계수 시퀀스들에 대한 위상-기반 변환은
에 의해 정의되고,
계수들 (d) 은 표 1 에 정의되고, 신호 프레임들 (S(k-2) 및 M(k-2)) 은
에 의해 정의되고,
에 의해 정의된 +90도 위상 시프트된 신호들 (A 및 B) 의 프레임들이다.
상기에서, 
내지 
는 비상관된 주변 HOA 오디오 신호들 (67) 에 대응할 수도 있다. 상기 방정식에서, 변수 
변수는 'W' 채널 또는 컴포넌트로서 또한 지칭될 수도 있는, (0:0) 의 (차수:서브-차수) 를 갖는 구면 기저 함수에 대응하는 k-번째 프레임에 대한 HOA 계수들을 표기한다. 변수 
변수는 'Y' 채널 또는 컴포넌트로서 또한 지칭될 수도 있는, (1:-1) 의 (차수:서브-차수) 를 갖는 구면 기저 함수들에 대응하는 k-번째 프레임에 대한 HOA 계수들을 표기한다. 변수 
변수는 'Z' 채널 또는 컴포넌트로서 또한 지칭될 수도 있는, (1:0) 의 (차수:서브-차수) 를 갖는 구면 기저 함수들에 대응하는 k-번째 프레임에 대한 HOA 계수들을 표기한다. 변수 
변수는 'X' 채널 또는 컴포넌트로서 또한 지칭될 수도 있는, (1:1) 의 (차수:서브-차수) 를 갖는 구면 기저 함수들에 대응하는 k-번째 프레임에 대한 HOA 계수들을 표기한다. 
내지 
는 주변 HOA 계수들 (47') 에 대응할 수도 있다.
아래의 표 1 은 비상관 유닛 (40) 이 위상-기반 변환을 수행하기 위해 사용할 수도 있는 계수들의 예를 예시한다.
표 1 위상-기반 변환에 대한 계수들
일부 예들에서, (비트스트림 생성 유닛 (42) 과 같은) 오디오 인코딩 디바이스 (20) 의 다양한 컴포넌트들은 하위 타겟 비트레이트들 (예를 들어, 128K 또는 256K 의 타겟 비트레이트) 에 대한 1차 HOA 표현들만을 송신하도록 구성될 수도 있다. 일부 이러한 예들에 따르면, 오디오 인코딩 디바이스 (20) (또는 비트스트림 생성 유닛 (42) 과 같은 그것의 컴포넌트들) 는 상위 HOA 계수들 (예를 들어, 1차보다 큰 차수, 또는 다시 말해, N>1 을 갖는 계수들) 을 폐기하도록 구성될 수도 있다. 그러나, 타겟 비트레이트가 상대적으로 높다는 것을 오디오 인코딩 디바이스 (20) 가 결정하는 예들에서, 오디오 인코딩 디바이스 (20) (예를 들어, 비트스트림 생성 유닛 (42) 은 전경 및 배경 채널들을 분리할 수도 있으며, (예를 들어, 더 많은 양의) 비트들을 전경 채널들에 할당할 수도 있다.
에너지 보상된 주변 HOA 계수들 (47') 에 작용된 것으로 설명되었지만, 오디오 인코딩 디바이스 (20) 는 비상관을 에너지 보상된 주변 HOA 계수들 (47') 에 적용하지 않을 수도 있다. 대신에, 에너지 보상 유닛 (38) 이 에너지 보상된 주변 HOA 계수들 (47') 에 관하여 자동 이득 제어를 수행할 수도 있는 이득 제어 유닛 (62) 에 에너지 보상된 주변 HOA 계수들 (47') 을 직접 제공할 수도 있다. 이와 같이, 비상관 유닛 (60) 은 비상관 유닛이 비상관을 항상 수행하지 않을 수도 있거나 오디오 디코딩 디바이스 (20) 에 포함되지 않을 수도 있다는 것을 나타내기 위해 파선으로서 도시되어 있다.
공간-시간 보간 유닛 (50) 은 k번째 프레임에 대한 전경 V[k] 벡터들 (51k) 및 이전의 프레임 (따라서, k-1 표기) 에 대한 전경 V[k-1] 벡터들 (51k-1) 을 수신하고, 공간-시간 보간을 수행하여 보간된 전경 V[k] 벡터들을 생성하도록 구성된 유닛을 표현할 수도 있다. 공간-시간 보간 유닛 (50) 은 재순서화된 전경 HOA 계수들을 복구하기 위해 nFG 신호들 (49) 을 전경 V[k] 벡터들 (51k) 과 재조합할 수도 있다. 그 후, 공간-시간 보간 유닛 (50) 은 보간된 nFG 신호들 (49') 을 생성하기 위해 재순서화된 전경 HOA 계수들을 보간된 V[k] 벡터들로 분할할 수도 있다.
공간-시간 보간 유닛 (50) 은, 오디오 디코딩 디바이스 (24) 와 같은 오디오 디코딩 디바이스가 보간된 전경 V[k] 벡터들을 생성하여, 전경 V[k] 벡터들 (51k) 을 복구할 수도 있도록 보간된 전경 V[k] 벡터들을 생성하기 위해 사용된 전경 V[k] 벡터들 (51k) 을 또한 출력할 수도 있다. 보간된 전경 V[k] 벡터들을 생성하기 위해 사용된 전경 V[k] 벡터들 (51k) 은 나머지 전경 V[k] 벡터들 (53) 로서 표기된다. 동일한 V[k] 및 V[k-1] 이 (보간된 벡터들 (V[k]) 을 작성하기 위해) 인코더 및 디코더에서 사용되는 것을 보장하기 위해, 벡터들의 양자화/역양자화 버전들이 인코더 및 디코더에서 사용될 수도 있다. 공간-시간 보간 유닛 (50) 은 보간된 nFG 신호들 (49') 을 이득 제어 유닛 (62) 에 그리고 보간된 전경 V[k] 벡터들 (51k) 을 계수 감소 유닛 (46) 에 출력할 수도 있다.
이득 제어 유닛 (62) 은 이득 제어된 nFG 신호들 (49") 을 획득하기 위해 보간된 nFG 신호들 (49') 에 관하여 ("AGC" 로서 축약될 수도 있는) 자동 이득 제어를 수행하도록 구성된 유닛을 또한 표현할 수도 있다. 이득 제어를 적용한 이후에, 자동 이득 제어 유닛 (62) 은 이득 제어된 nFG 신호들 (49") 을 음향심리 오디오 코더 유닛 (40) 에 제공할 수도 있다.
계수 감소 유닛 (46) 은 감소된 전경 V[k] 벡터들 (55) 을 양자화 유닛 (52) 에 출력하기 위해 배경 채널 정보 (43) 에 기초하여 나머지 전경 V[k] 벡터들 (53) 에 관하여 계수 감소를 수행하도록 구성된 유닛을 표현할 수도 있다. 감소된 전경 V[k] 벡터들 (55) 은 치수들 
를 가질 수도 있다. 이에 관하여, 계수 감소 유닛 (46) 은 나머지 전경 V[k] 벡터들 (53) 에서 계수들의 수를 감소시키도록 구성된 유닛을 표현할 수도 있다. 다시 말해, 계수 감소 유닛 (46) 은 방향 정보를 거의 갖지 않거나 전혀 갖지 않는 (나머지 전경 V[k] 벡터들 (53) 을 형성하는) 전경 V[k] 벡터들에서 계수들을 제거하도록 구성된 유닛을 표현할 수도 있다. 일부 예들에서, (NBG 로서 표기될 수도 있는) 1차 및 0차 기저 함수들에 대응하는 개별, 또는 다시 말해, 전경 V[k] 벡터들의 계수들은 방향 정보를 거의 제공하지 않으며, 따라서, ("계수 감소" 로 지칭될 수도 있는 프로세스를 통해) 전경 V-벡터들로부터 제거될 수 있다. 이러한 예에서, 더 큰 플렉시빌리티가 NBG 에 대응하는 계수들을 식별할 뿐만 아니라 [(NBG +1)2+1, (N+1)2] 의 세트로부터 (변수 TotalOfAddAmbHOAChan 에 의해 표기될 수도 있는) 추가의 HOA 채널들을 식별하기 위해 제공될 수도 있다.
양자화 유닛 (52) 은 감소된 전경 V[k] 벡터들 (55) 을 압축하여 코딩된 전경 V[k] 벡터들 (57) 을 생성하기 위해 임의의 형태의 양자화를 수행하도록 구성된 유닛을 표현할 수도 있고, 코딩된 전경 V[k] 벡터들 (57) 을 비트스트림 생성 유닛 (42) 에 출력한다. 동작 중에, 양자화 유닛 (52) 은 음장의 공간 컴포넌트, 즉, 이러한 예에서 감소된 전경 V[k] 벡터들 (55) 중 하나 이상을 압축하도록 구성된 유닛을 표현할 수도 있다. 양자화 유닛 (52) 은 상기 참조한 MPEG-H 3D 오디오 코딩 표준의 페이즈 Ⅰ 또는 페이즈 Ⅱ 에 설명된 후속하는 12개의 양자화 모드들 중 어느 하나를 수행할 수도 있다. 양자화 유닛 (52) 은 상술한 타입의 양자화 모드들 중 임의의 것의 예측된 버전들을 또한 수행할 수도 있고, 여기서, 이전의 프레임의 V-벡터의 엘리먼트 (또는 벡터 양자화가 수행될 때의 가중치) 와 현재 프레임의 엘리먼트 (또는 벡터 양자화가 수행될 때의 가중치) 사이의 차이가 결정된다. 그 후, 양자화 유닛 (52) 은 현재 프레임 자체의 V-벡터의 엘리먼트의 값 보다는 현재 프레임과 이전 프레임의 엘리먼트들 또는 가중치들 사이의 차이를 양자화할 수도 있다. 양자화 유닛 (52) 은 코딩된 전경 V[k] 벡터들 (57) 을 비트스트림 생성 유닛 (42) 에 제공할 수도 있다. 양자화 유닛 (52) 은 양자화 모드 (예를 들어, NbitQ 신택스 엘리먼트) 를 나타내는 신택스 엘리먼트들 및 V-벡터를 역양자화하거나 그렇지 않으면 재구성하기 위해 사용된 임의의 다른 신택스 엘리먼트들을 또한 제공할 수도 있다.
오디오 인코딩 디바이스 (20) 내에 포함된 음향심리 오디오 코더 유닛 (40) 은 음향심리 오디오 코더의 다중의 경우들을 표현할 수도 있고, 이들 각각은 에너지 보상된 주변 HOA 계수들 (47') 및 보간된 nFG 신호들 (49') 각각의 상이한 오디오 오브젝트 또는 HOA 채널을 인코딩하여 인코딩된 주변 HOA 계수들 (59) 및 인코딩된 nFG 신호들 (61) 을 생성하기 위해 사용된다. 음향심리 오디오 코더 유닛 (40) 은 인코딩된 주변 HOA 계수들 (59) 및 인코딩된 nFG 신호들 (61) 을 비트스트림 생성 유닛 (42) 에 출력할 수도 있다.
오디오 인코딩 디바이스 (20) 내에 포함된 비트스트림 생성 유닛 (42) 은 (디코딩 디바이스에 의해 공지된 포맷을 지칭할 수도 있는) 공지된 포맷을 따라도록 데이터를 포맷하여 벡터-기반 비트스트림 (21) 을 생성하는 유닛을 표현한다. 다시 말해, 비트스트림 (21) 은 상술한 방식으로 인코딩된 인코딩 오디오 데이터를 표현할 수도 있다. 비트스트림 생성 유닛 (42) 은 일부 예들에서, 코딩된 전경 V[k] 벡터들 (57), 인코딩된 주변 HOA 계수들 (59), 인코딩된 nFG 신호들 (61) 및 배경 채널 정보 (43) 를 수신할 수도 있는 멀티플렉서를 표현할 수도 있다. 그 후, 비트스트림 생성 유닛 (42) 은 코딩된 전경 V[k] 벡터들 (57), 인코딩된 주변 HOA 계수들 (59), 인코딩된 nFG 신호들 (61) 및 배경 채널 정보 (43) 에 기초하여 비트스트림 (21) 을 생성할 수도 있다. 이에 의해, 이러한 방식으로, 비트스트림 생성 유닛 (42) 은 비트스트림 (21) 을 획득하기 위해 비트스트림 (21) 에서의 벡터들 (57) 을 특정할 수도 있다. 비트스트림 (21) 은 프라이머리 또는 메인 비트스트림 및 하나 이상의 사이드 채널 비트스트림들을 포함할 수도 있다.
도 3 의 예에 도시되지 않았지만, 오디오 인코딩 디바이스 (20) 는 현재 프레임이 방향-기반 합성 또는 벡터-기반 합성을 사용하여 인코딩될지에 기초하여 (예를 들어, 방향-기반 비트스트림 (21) 과 벡터-기반 비트스트림 (21) 사이의) 오디오 인코딩 디바이스 (20) 로부터의 비트스트림 출력을 스위칭하는 비트스트림 출력 유닛을 또한 포함할 수도 있다. 비트스트림 출력 유닛은, 방향-기반 합성이 (HOA 계수들 (11) 이 합성 오디오 오브젝트로부터 생성되었다는 것을 검출한 결과로서) 수행되었거나 벡터-기반 합성이 (HOA 계수들이 기록되었다는 것을 검출한 결과로서) 수행되었는지 여부를 나타내는 콘텐츠 분석 유닛 (26) 에 의해 출력된 신택스 엘리먼트에 기초하여 스위칭을 수행할 수도 있다. 비트스트림 출력 유닛은 비트스트림들 (21) 중 각각의 하나에 따라 현재 프레임에 대해 사용된 스위칭 또는 현재 인코딩을 나타내기 위해 정확한 헤더 신택스를 특정할 수도 있다.
더욱이, 상기 언급한 바와 같이, 음장 분석 유닛 (44) 은 (가끔은 BGTOT 가 2개 이상의 (시간상으로) 인접한 프레임들에 걸쳐 일정하게 유지될 수도 있거나 동일할 수도 있지만) 프레임 마다에 기초하여 변할 수도 있는 BGTOT 주변 HOA 계수들 (47) 을 식별할 수도 있다. BGTOT 에서의 변화는 감소된 전경 V[k] 벡터들 (55) 에서 표현된 계수들에 대한 변화를 발생시킬 수도 있다. BGTOT 에서의 변화는 (다시, 가끔은, BGTOT 가 2개 이상의 (시간상으로) 인접한 프레임들에 걸쳐 일정하게 유지될 수도 있거나 동일할 수도 있지만) 프레임 마다에 기초하여 변화하는 ("주변 HOA 계수들" 로서 또한 지칭될 수도 있는) 배경 HOA 계수들을 발생시킬 수도 있다. 변화들은 추가의 주변 HOA 계수들의 추가 또는 제거 및 감소된 전경 V[k] 벡터들 (55) 로부터 계수들의 대응하는 제거 또는 감소된 전경 V[k] 벡터들 (55) 에 대한 계수들의 추가에 의해 표현된 음장의 양태들에 대한 에너지의 변화를 종종 발생시킨다.
그 결과, 음장 분석 유닛 (44) 은 주변 HOA 계수들이 프레임으로부터 프레임으로 변화할 때를 더 결정할 수도 있으며 음장의 주변 컴포넌트들을 표현하기 위해 사용되는 것과 관련하여 주변 HOA 계수에 대한 변화를 나타내는 플래그 또는 다른 신택스 엘리먼트를 생성할 수도 있다 (여기서, 변화는 주변 HOA 계수의 "천이" 또는 주변 HOA 계수의 "천이" 로서 또한 지칭될 수도 있다). 특히, 계수 감소 유닛 (46) 은 (AmbCoeffTransition 플래그 또는 AmbCoeffIdxTransition 플래그로서 표기될 수도 있는) 플래그를 생성할 수도 있고, 플래그가 (가능하면, 사이드 채널 정보의 일부로서) 비트스트림 (21) 에 포함될 수도 있도록 비트스트림 생성 유닛 (42) 에 플래그를 제공한다.
주변 계수 천이 플래그를 특정하는 것에 부가하여, 계수 감소 유닛 (46) 은 감소된 전경 V[k] 벡터들 (55) 이 생성되는 방법을 또한 수정할 수도 있다. 일례에서, 주변 HOA 주변 계수들 중 하나가 현재 프레임 동안 천이 중이라는 것을 결정할 시에, 계수 감소 유닛 (46) 은 천이중인 주변 HOA 계수에 대응하는 감소된 전경 V[k] 벡터들 (55) 의 V-벡터들 각각에 대한 ("벡터 엘리먼트" 또는 "엘리먼트" 로서 또한 지칭될 수도 있는) 벡터 계수를 특정할 수도 있다. 다시, 천이에서 주변 HOA 계수는 배경 계수들의 BGTOT 총 수로부터 추가되거나 제거될 수도 있다. 따라서, 배경 계수들의 총 수에서의 결과적인 변화는, 주변 HOA 계수들이 비트스트림에 포함되거나 포함되지 않은지, 그리고 V-벡터의 대응하는 엘리먼트가 상술한 제 2 및 제 3 구성 모드들에서 비트스트림에 특정된 V-벡터들에 대해 포함되는지 여부에 영향을 미친다. 계수 감소 유닛 (46) 이 에너지에서의 변화들을 극복하기 위해 감소된 전경 V[k] 벡터들 (55) 을 특정할 수도 있는 방법에 관한 더 많은 정보가, 2015년 1월 12일 출원된 "TRANSITIONING OF AMBIENT HIGHER_ORDER AMBISONIC COEFFICIENTS" 이란 명칭의 미국 출원 제 14/594,533 호에 제공된다.
이에 관하여, 비트스트림 생성 유닛 (42) 은 다수의 상이한 콘텐츠 전달 컨텍스트들을 수용하기 위해 플렉시블한 비트스트림 생성을 용이하게 할 수도 있는 매우 다양한 상이한 인코딩 방식들로 비트스트림 (21) 을 생성할 수도 있다. 오디오 산업 내에서 관심을 얻고 있는 것으로 나타나는 하나의 컨텍스트는, 증가하는 수의 상이한 재생 디바이스들로의 네트워크들을 통한 오디오 데이터의 전달 (또는, 다시 말해, "스트리밍") 이다. 재생 능력들의 변하는 정도들을 갖는 디바이스들에 대역폭 제약 네트워크들을 통해 오디오 콘텐츠를 전달하는 것은, (채널 또는 오브젝트-기반 오디오 데이터에 대하여) 큰 대역폭 소비를 하는 재생 동안 3D 충실도의 높은 정도를 허용하는 HOA 오디오 데이터와 관련하여 특히 어려울 수도 있다.
본 개시에 설명된 기술들에 따르면, 비트스트림 생성 유닛 (42) 은 HOA 계수들 (11) 의 다양한 재구성들을 허용하기 위해 하나 이상의 스케일러블 층들을 활용할 수도 있다. 층들 각각은 계층적일 수도 있다. 예를 들어, ("베이스 층" 으로서 지칭될 수도 있는) 제 1 층이 렌더링될 스테레오 라우드스피커 피드들을 허용하는 HOA 계수들의 제 1 재구성을 제공할 수도 있다. (제 1 "강화층" 으로서 지칭될 수도 있는) 제 2 층이, HOA 계수들의 제 1 재구성에 적용될 때, 렌더링될 수평 서라운드 사운드 라우드스피커 피드들 (예를 들어, 5.1 라우드스피커 피드들) 을 허용하기 위해 HOA 계수들의 제 1 재구성을 스케일링할 수도 있다. (제 2 "강화층" 으로서 지칭될 수도 있는) 제 3 층이, HOA 계수들의 제 2 재구성에 적용될 때, 렌더링될 3D 서라운드 사운드 라우드스피커 피드들 (예를 들어, 22.2 라우드스피커 피드들) 을 허용하기 위해 HOA 계수들의 제 1 재구성을 스케일링할 수도 있다. 이에 관하여, 층들은 이전의 층을 계층적 스케일링하도록 고려될 수도 있다. 다시 말해, 제 2 층과 조합될 때, 제 1 층이 고차 앰비소닉 오디오 신호의 상위 해상도 표현을 제공하도록 층들은 계층적이다.
직전의 층의 스케일링을 허용하는 것으로 상술하였지만, 다른 층 위의 임의의 층이 하위 층을 스케일링할 수도 있다. 다시 말해, 상술한 제 3 층은 제 1 층이 제 2 층에 의해 "스케일링"되지 않더라도, 제 1 층을 스케일링하기 위해 사용될 수도 있다. 제 3 층은, 제 1 층에 직접 적용될 때, 높이 정보를 제공하여, 렌더링될 불규칙하게 배열된 스피커 지오메트리들에 대응하는 불규칙한 스피커 피드들을 허용할 수도 있다.
비트스트림 생성 유닛 (42) 은, 층들이 비트스트림 (21) 으로부터 추출되게 하기 위해, 비트스트림에서 특정된 층들의 수의 표시를 특정할 수도 있다. 비트스트림 생성 유닛 (42) 은 층들의 표시된 수를 포함하는 비트스트림 (21) 을 출력할 수도 있다. 비트스트림 생성 유닛 (42) 은 도 5 를 참조하여 더 상세히 설명된다. 스케일러블 HOA 오디오 데이터를 생성하는 다양한 상이한 예들이 도 10 내지 도 13b 에서 상기 예들 각각에 대해 측파대 정보의 예로, 아래의 도 7a 내지 도 9b 에서 설명된다.
도 5 는 본 개시에 설명되는 스케일러블 오디오 코딩 기술들의 잠재적 버전들 중 제 1 버전을 수행하도록 구성될 때 도 3 의 비트스트림 생성 유닛 (42) 을 더욱 상세히 예시하는 도면이다. 도 5 의 예에서, 비트스트림 생성 유닛 (42) 은 스케일러블 비트스트림 생성 유닛 (1000) 및 넌-스케일러블 비트스트림 생성 유닛 (1002) 을 포함한다. 스케일러블 비트스트림 생성 유닛 (1000) 은 도 11 내지 도 13b 의 예들에 관하여 도시되고 후술되는 바와 유사한 HOAFrames() 를 갖는 2개 이상의 층들을 포함하는 스케일러블 비트스트림 (21) (일부 경우들에서는, 스케일러블 비트스트림은 특정한 오디오 컨텍스트에 대해 단일 층을 포함할 수도 있음) 을 생성하도록 구성된 유닛을 표현한다. 넌-스케일러블 비트스트림 생성 유닛 (1002) 은 층들, 또는 다시 말해, 확장성을 제공하지 않는 넌-스케일러블 비트스트림 (21) 을 생성하도록 구성된 유닛을 표현할 수도 있다.
넌-스케일러블 비트스트림 (21) 및 스케일러블 비트스트림 (21) 모두는, 모두가 인코딩된 주변 HOA 계수들 (59), 인코딩된 nFG 신호들 (61) 및 코딩된 전경 V[k] 벡터들 (57) 에 관하여 동일한 기반 데이터를 통상적으로 포함한다는 것을 고려하여 "비트스트림 (21)" 으로서 지칭될 수도 있다. 그러나, 넌-스케일러블 비트스트림 (21) 과 스케일러블 비트스트림 (21) 사이의 하나의 차이점은, 스케일러블 비트스트림 (21) 이 층들 (21A, 21B 등) 로 표기될 수도 있는 층들을 포함한다는 것이다. 층들 (21A) 은 더욱 상세히 후술하는 바와 같이, 인코딩된 주변 HOA 계수들 (59), 인코딩된 nFG 신호들 (61) 및 코딩된 전경 V[k] 벡터들 (57) 의 서브세트들을 포함할 수도 있다.
스케일러블 및 넌-스케일러블 비트스트림들 (21) 이 실제로는, 동일한 비트스트림 (21) 의 상이한 표현일 수도 있지만, 넌-스케일러블 비트스트림 (21) 은 넌-스케일러블 비트스트림 (21') 으로부터 스케일러블 비트스트림 (21) 을 구별하기 위해 넌-스케일러블 비트스트림 (21') 으로서 표기된다. 더욱이, 일부 경우들에서, 스케일러블 비트스트림 (21) 은 넌-스케일러블 비트스트림 (21) 을 따르는 다양한 층들을 포함할 수도 있다. 예를 들어, 스케일러블 비트스트림 (21) 은 넌-스케일러블 비트스트림 (21) 에 따르는 베이스 층을 포함할 수도 있다. 이들 경우들에서, 넌-스케일러블 비트스트림 (21') 은 스케일러블 비트스트림 (21) 의 서브-비트스트림을 표현할 수도 있고, 여기서, 이러한 넌-스케일러블 서브-비트스트림 (21') 은 (강화층들로서 지칭되는) 스케일러블 비트스트림 (21) 의 추가의 층들로 강화될 수도 있다.
비트스트림 생성 유닛 (42) 은 스케일러블 비트스트림 생성 유닛 (1000) 또는 넌-스케일러블 비트스트림 생성 유닛 (100) 을 인보크할지를 나타내는 확장성 정보 (1003) 를 획득할 수도 있다. 다시 말해, 확장성 정보 (1003) 는 비트스트림 생성 유닛 (42) 이 스케일러블 비트스트림 (21) 또는 넌-스케일러블 비트스트림 (21') 을 출력할지를 나타낼 수도 있다. 예시의 목적을 위해, 확장성 정보 (1003) 는 비트스트림 생성 유닛 (42) 이 스케일러블 비트스트림 (21') 을 출력하기 위해 스케일러블 비트스트림 생성 유닛 (1000) 을 인보크한다는 것을 나타내는 것으로 가정된다.
도 5 의 예에 더 도시되어 있는 바와 같이, 비트스트림 생성 유닛 (42) 은 인코딩된 주변 HOA 계수들 (59A 내지 59D), 인코딩된 nFG 신호들 (61A 및 61B), 및 코딩된 전경 V[k] 벡터들 (57A 및 57B) 을 수신할 수도 있다. 인코딩된 주변 HOA 계수들 (59A) 은 제로의 차수 및 제로의 서브-차수를 갖는 구면 기저 함수와 연관된 인코딩된 주변 HOA 계수들을 표현할 수도 있다. 인코딩된 주변 HOA 계수들 (59B) 은 1 의 차수 및 제로의 서브-차수를 갖는 구면 기저 함수와 연관된 인코딩된 주변 HOA 계수들을 표현할 수도 있다. 인코딩된 주변 HOA 계수들 (59C) 은 1 의 차수 및 네거티브 1 의 서브-차수를 갖는 구면 기저 함수와 연관된 인코딩된 주변 HOA 계수들을 표현할 수도 있다. 인코딩된 주변 HOA 계수들 (59D) 은 1 의 차수 및 포지티브 1 의 서브-차수를 갖는 구면 기저 함수와 연관된 인코딩된 주변 HOA 계수들을 표현할 수도 있다. 인코딩된 주변 HOA 계수들 (59A 내지 59D) 은 상기 논의된 인코딩된 주변 HOA 계수들 (59) 의 일례를 표현할 수도 있고, 그 결과, 인코딩된 주변 HOA 계수들 (59) 로서 일괄적으로 지칭될 수도 있다.
인코딩된 nFG 신호들 (61A 및 61B) 은 이러한 예에서, 음장의 2개의 가장 우세한 전경 양태들을 나타내는 US 오디오 오브젝트를 각각 표현할 수도 있다. 코딩된 전경 V[k] 벡터들 (57A 및 57B) 은 인코딩된 nFG 신호들 (61A 및 61B) 각각에 대해 (방향에 부가하여 폭을 또한 특정할 수도 있는) 방향 정보를 표현할 수도 있다. 인코딩된 nFG 신호들 (61A 및 61B) 은 상술한 인코딩된 nFG 신호들 (61) 의 일례를 표현할 수도 있고, 그 결과, 인코딩된 nFG 신호들 (61) 로서 일괄적으로 지칭될 수도 있다. 코딩된 전경 V[k] 벡터들 (57A 및 57B) 은 상술한 코딩된 전경 V[k] 벡터들 (57) 의 일례를 표현할 수도 있고, 그 결과, 코딩된 전경 V[k] 벡터들 (57) 로서 일괄적으로 지칭될 수도 있다.
인보크되면, 스케일러블 비트스트림 생성 유닛 (1000) 은 도 7a 내지 도 9b 에 관하여 후술하는 바와 실질적으로 유사한 방식으로 층들 (21A 및 21B) 을 포함하도록 스케일러블 비트스트림 (21) 을 생성할 수도 있다. 스케일러블 비트스트림 생성 유닛 (1000) 은 스케일러블 비트스트림 (21) 에서 층들의 수의 표시 뿐만 아니라 층들 (21A 및 21B) 각각에서 전경 엘리먼트들 및 배경 엘리먼트들의 수를 특정할 수도 있다. 스케일러블 비트스트림 생성 유닛 (1000) 은 일례로서, L개의 층들을 특정할 수도 있는 NumberOfLayers 신택스 엘리먼트를 특정할 수도 있고, 여기서, 변수 L 은 층들의 수를 표기할 수도 있다. 그 후, 스케일러블 비트스트림 생성 유닛 (1000) 은 (변수 i = 1 내지 L 로서 표기될 수도 있는) 각각의 층에 대해, Bi 개의 인코딩된 주변 HOA 계수들 (59) 및 (또한 또는 대안으로 대응하는 코딩된 전경 V[k] 벡터들 (57) 의 수를 나타낼 수도 있는) 각각의 층에 대해 전송된 Fi 개의 코딩된 nFG 신호들 (61) 을 특정할 수도 있다.
도 5 의 예에서, 스케일러블 비트스트림 생성 유닛 (1000) 은 스케일러블 코딩이 인에이블되었고 2개의 층들이 스케일러블 비트스트림 (21) 에 포함되는 스케일러블 비트스트림 (21) 에서, 제 1 층 (21A) 이 4개의 인코딩된 주변 HOA 계수들 (59) 및 0개의 인코딩된 nFG 신호들 (61) 을 포함하고, 제 2 층 (21A) 이 0개의 인코딩된 주변 HOA 계수들 (59) 및 w 개의 인코딩된 nFG 신호들 (61) 을 포함한다는 것을 특정할 수도 있다. 스케일러블 비트스트림 생성 유닛 (1000) 은 인코딩된 주변 HOA 계수들 (59) 을 포함하기 위해 ("베이스 층 (21A)" 으로서 또한 지칭될 수도 있는) 제 1 층 (21A) 을 또한 생성할 수도 있다. 스케일러블 비트스트림 생성 유닛 (1000) 은 인코딩된 nFG 신호들 (61) 및 코딩된 전경 V[k] 벡터들 (57) 을 포함하기 위해 ("강화층 (21B)" 으로서 지칭될 수도 있는) 제 2 층 (21A) 을 더 생성할 수도 있다. 스케일러블 비트스트림 생성 유닛 (1000) 은 층들 (21A 및 21B) 을 스케일러블 비트스트림 (21) 으로서 출력할 수도 있다. 일부 예들에서, 스케일러블 비트스트림 생성 유닛 (1000) 은 스케일러블 비트스트림 (21') 을 (인코더 (20) 내부 또는 외부의) 메모리에 저장할 수도 있다.
일부 경우들에서, 스케일러블 비트스트림 생성 유닛 (1000) 은 층들의 수, 하나 이상의 층들에서 전경 컴포넌트들의 수 (예를 들어, 인코딩된 nFG 신호들 (61) 및 코딩된 전경 V[k] 벡터들 (57) 의 수), 및 하나 이상의 층들에서 배경 컴포넌트들의 수 (예를 들어, 인코딩된 주변 HOA 계수들 (59)) 의 표시들 중 하나 이상 또는 어느 것도 특정하지 않을 수도 있다. 컴포넌트들은 본 개시에서 채널들로서 또한 지칭될 수도 있다. 대신에, 스케일러블 비트스트림 생성 유닛 (1000) 은 현재 프레임에 대한 층들의 수를 이전 프레임 (예를 들어, 가장 시간적으로 최근의 이전 프레임) 에 대한 층들의 수와 비교할 수도 있다. 비교 결과가 차이가 없을 때(현재 프레임에서의 층들의 수가 이전 프레임에서의 층들의 수와 동일하다는 것을 의미함), 스케일러블 비트스트림 생성 유닛 (1000) 은 각각의 층에서 배경 및 전경 컴포넌트들의 수를 유사한 방식으로 비교할 수도 있다.
다시 말해, 스케일러블 비트스트림 생성 유닛 (1000) 은 현재 프레임에 대한 하나 이상의 층들에서의 배경 컴포넌트들의 수를 이전 프레임에 대한 하나 이상의 층들에서의 배경 컴포넌트들의 수와 비교할 수도 있다. 스케일러블 비트스트림 생성 유닛 (1000) 은 현재 프레임에 대한 하나 이상의 층들에서의 전경 컴포넌트들의 수를 이전 프레임에 대한 하나 이상의 층들에서의 전경 컴포넌트들의 수와 더 비교할 수도 있다.
컴포넌트-기반 비교들 모두의 결과가 차이가 없을 때 (이전 프레임에서의 전경 및 배경 컴포넌트들의 수가 현재 프레임에서의 전경 및 배경 컴포넌트들의 수와 동일하다는 것을 의미함), 스케일러블 비트스트림 생성 유닛 (1000) 은 층들의 수, 하나 이상의 층들에서 전경 컴포넌트들의 수 (예를 들어, 인코딩된 nFG 신호들 (61) 및 코딩된 전경 V[k] 벡터들 (57) 의 수), 및 하나 이상의 층들에서 배경 컴포넌트들의 수 (예를 들어, 인코딩된 주변 HOA 계수들 (59)) 의 표시들 중 하나 이상 또는 임의의 것을 특정하기 보다는 현재 프레임에서의 층들의 수가 이전 프레임에서의 층들의 수와 동일하다는 스케일러블 비트스트림 (21) 에서의 표시 (예를 들어, HOABaseLayerConfigurationFlag 신택스 엘리먼트) 를 특정할 수도 있다. 그 후, 오디오 디코딩 디바이스 (24) 는 더욱 상세히 후술하는 바와 같이, 층들, 배경 컴포넌트들 및 전경 컴포넌트들의 수의 이전 프레임 표시들이 층들, 배경 컴포넌트들 및 전경 컴포넌트들의 수의 현재 프레임 표시와 동일하다는 것을 결정할 수도 있다.
상기 언급한 비교들 중 임의의 것이 차이를 나타낼 때, 스케일러블 비트스트림 생성 유닛 (1000) 은 현재 프레임에서 층들의 수가 이전 프레임에서 층들의 수와 동일하지 않다는 스케일러블 비트스트림 (21) 에서의 표시 (예를 들어, HOABaseLayerConfigurationFlag 신택스 엘리먼트) 를 특정할 수도 있다. 그 후, 스케일러블 비트스트림 생성 유닛 (1000) 은 상기 언급한 바와 같이, 층들의 수, 하나 이상의 층들에서 전경 컴포넌트들의 수 (예를 들어, 인코딩된 nFG 신호들 (61) 및 코딩된 전경 V[k] 벡터들 (57) 의 수), 및 하나 이상의 층들에서 배경 컴포넌트들의 수 (예를 들어, 인코딩된 주변 HOA 계수들 (59)) 의 표시들을 특정할 수도 있다. 이에 관하여, 스케일러블 비트스트림 생성 유닛 (1000) 은 이전 프레임에서 비트스트림의 층들의 수와 비교할 때 비트스트림의 층들의 수가 현재 프레임에서 변화되었는지 여부의 표시를 비트스트림에서 특정할 수도 있으며, 현재 프레임에서 비트스트림의 층들의 표시된 수를 특정할 수도 있다.
일부 예들에서, 전경 컴포넌트들의 수의 표시 및 배경 컴포넌트들의 수의 표시를 특정하지 않기 보다는, 스케일러블 비트스트림 생성 유닛 (1000) 은 스케일러블 비트스트림 (21) 에서 컴포넌트들의 수의 표시 (예를 들어, [i] 엔트리들을 갖는 어레이일 수도 있는 "NumChannels" 신택스 엘리먼트, 여기서 i 는 층들의 수와 동일함) 를 특정하지 않을 수도 있다. 스케일러블 비트스트림 생성 유닛 (1000) 은 전경 및 배경 컴포넌트들의 수가 채널들의 더욱 일반적인 수로부터 유도될 수도 있다는 것을 고려하면 전경 및 배경 컴포넌트들의 수를 특정하는 대신에 컴포넌트들의 수의 이러한 표시를 특정하지 않을 수도 있다 (여기서, 이들 컴포넌트들은 "채널들" 로서 또한 지칭될 수도 있다). 일부 예들에서, 전경 컴포넌트들의 수의 표시 및 배경 채널들의 수의 표시의 유도는 아래의 표에 따라 진행될 수도 있다.
표 - ChannelSideInforData(i) 의 신택스
여기서, ChannelType 의 서술은 아래와 같이 제공된다:
ChannelType:
0:
방향-기반 신호
1:
(전경 신호를 표현할 수도 있는) 벡터-기반 신호
2:
(배경 또는 주변 신호를 표현할 수도 있는) 추가의 주변 HOA 계수
3:
비어 있음
상기 SideChannelInfo 신택스 표 마다 ChannelType 을 스그널링한 결과로서, 층 마다 전경 컴포넌트들의 수가 1 로 설정된 ChannelType 신택스 엘리먼트들의 수의 함수로서 결정될 수도 있으며, 층 마다 배경 컴포넌트들의 수가 2 로 설정된 ChannelType 신택스 엘리먼트들의 수의 함수로서 결정될 수도 있다.
일부 예들에서, 스케일러블 비트스트림 생성 유닛 (1000) 은 비트스트림 (21) 으로부터 층들을 추출하는 구성 정보를 제공하는, 프레임-바이-프레임에 기초한 HOADecoderConfig 를 특정할 수도 있다. HOADecoderConfig 는 상기 표에 대한 대안으로서 또는 상기 표와 협력하여 특정될 수도 있다. 아래의 표는 비트스트림 (21) 에서 HOADecoderConfig_FrameByFrame() 오브젝트에 대한 신택스를 정의할 수도 있다.
상기 표에서, HOABaseLayerPresent 신택스 엘리먼트는 스케일러블 비트스트림 (21) 의 베이스 층이 존재하는지 여부를 나타내는 플래그를 표현할 수도 있다. 존재하는 경우에, 스케일러블 비트스트림 생성 유닛 (1000) 은 베이스 층에 대한 구성 정보가 비트스트림 (21) 에 존재하는지 여부를 나타내는 신택스 엘리먼트를 표현할 수도 있는 HOABaseLayerConfigurationFlag 신택스 엘리먼트를 특정한다. 베이스 층에 대한 구성 정보가 비트스트림 (21) 에 존재할 때, 스케일러블 비트스트림 생성 유닛 (1000) 은 층들의 수 (즉, 예에서 NumLayers 신택스 엘리먼트), 층들 각각에 대한 전경 채널들의 수 (즉, 예에서 NumFGchannels 신택스 엘리먼트), 및 층들 각각에 대한 배경 채널들의 수 (즉, 예에서 NumBGchannels 신택스 엘리먼트) 를 특정한다. 베이스 층 구성이 존재하지 않는다는 것을 HOABaseLayerPresent 플래그가 나타내는 경우에, 스케일러블 비트스트림 생성 유닛 (1000) 은 어떠한 추가의 신택스 엘리먼트들도 제공하지 않을 수도 있으며, 오디오 디코딩 디바이스 (24) 는 현재 프레임에 대한 구성 데이터가 이전 프레임에 대한 구성 데이터와 동일하다는 것을 결정할 수도 있다.
일부 예들에서, 스케일러블 비트스트림 생성 유닛 (1000) 은 스케일러블 비트스트림 (21) 에서 HOADecoderConfig 오브젝트를 특정할 수도 있지만, 층 마다 전경 및 배경 채널들의 수를 특정하지 않을 수도 있고, 여기서, 전경 및 배경 채널들의 수는 정적이거나 ChannelSideInfo 표에 관하여 상술한 바와 같이 결정될 수도 있다. 이러한 예에서, HOADecoderConfig 는 아래의 표에 따라 정의될 수도 있다.
또 다른 대안으로서, HOADecoderConfig 에 대한 상술한 신택스 표들은 HOADecoderConfig 에 대한 아래의 신택스 표로 대체될 수도 있다.
이에 관하여, 스케일러블 비트스트림 생성 유닛 (1000) 은 상술한 바와 같이, 비트스트림에서, 비트스트림의 하나 이상의 층에서 특정된 채널들의 수의 표시를 특정하며, 비트스트림의 하나 이상의 층들에서 채널들의 표시될 수를 특정하도록 구성될 수도 있다.
더욱이, 스케일러블 비트스트림 생성 유닛 (1000) 은 채널들의 수를 나타내는 (예를 들어, 더욱 상세히 후술하는 바와 같이 NumLayers 신택스 엘리먼트 또는 codedLayerCh 신택스 엘리먼트의 형태로) 신택스 엘리먼트를 특정하도록 구성될 수도 있다.
일부 예들에서, 스케일러블 비트스트림 생성 유닛 (1000) 은 비트스트림에서 특정된 채널들의 총 수의 표시를 특정하도록 구성될 수도 있다. 스케일러블 비트스트림 생성 유닛 (1000) 은 이들 경우들에서, 비트스트림의 하나 이상의 층들에서 채널들의 표시된 총 수를 특정하도록 구성될 수도 있다. 이들 경우들에서, 스케일러블 비트스트림 생성 유닛 (1000) 은 채널들의 총 수를 나타내는 신택스 엘리먼트 (예를 들어, 더욱 상세히 후술하는 바와 같은 numHOATransportChannels 신택스 엘리먼트) 를 특정하도록 구성될 수도 있다.
이들 및 다른 예들에서, 스케일러블 비트스트림 생성 유닛 (1000) 은 비트스트림에서 하나 이상의 층들에서 특정된 채널들 중 하나의 타입의 표시를 특정하도록 구성될 수도 있다. 이들 경우들에서, 스케일러블 비트스트림 생성 유닛 (1000) 은 비트스트림의 하나 이상의 층들에서 채널들 중 하나의 표시된 타입의 표시된 수를 특정하도록 구성될 수도 있다. 전경 채널이 US 오디오 오브젝트 및 대응하는 V-벡터를 포함할 수도 있다.
이들 및 다른 예들에서, 스케일러블 비트스트림 생성 유닛 (1000) 은 비트스트림에서 하나 이상의 층들에서 특정된 채널들 중 하나의 타입의 표시를 특정하도록 구성될 수도 있고, 채널들 중 하나의 타입의 표시는 채널들 중 하나가 전경 채널이라는 것을 나타낸다. 이들 경우들에서, 스케일러블 비트스트림 생성 유닛 (1000) 은 비트스트림의 하나 이상의 층들에서 전경 채널을 특정하도록 구성될 수도 있다.
이들 및 다른 예들에서, 스케일러블 비트스트림 생성 유닛 (1000) 은 비트스트림에서 하나 이상의 층들에서 특정된 채널들 중 하나의 타입의 표시를 특정하도록 구성될 수도 있고, 채널들 중 하나의 타입의 표시는 채널들 중 하나가 배경 채널이라는 것을 나타낸다. 이들 경우들에서, 스케일러블 비트스트림 생성 유닛 (1000) 은 비트스트림의 하나 이상의 층들에서 배경 채널을 특정하도록 구성될 수도 있다. 배경 채널은 주변 HOA 계수를 포함할 수도 있다.
이들 및 다른 예들에서, 스케일러블 비트스트림 생성 유닛 (1000) 은 채널들 중 하나의 타입을 나타내는 신택스 엘리먼트 (예를 들어, ChannelType 신택스 엘리먼트) 를 특정하도록 구성될 수도 있다.
이들 및 다른 예들에서, 스케일러블 비트스트림 생성 유닛 (1000) 은 층들 중 하나가 (예를 들어, 더욱 상세히 후술되는 바와 같이 remainingCh 신택스 엘리먼트 또는 numAvailableTransportChannels 신택스 엘리먼트에 의해 정의된 바와 같이) 획득된 이후에 비트스트림에 남아 있는 채널들의 수에 기초하여 채널들의 수의 표시를 특정하도록 구성될 수도 있다.
도 7a 내지 도 7d 는 HOA 계수들 (11) 의 인코딩된 2-층 표현을 생성하는데 있어서 오디오 인코딩 디바이스의 예시적인 동작을 예시하는 흐름도들이다. 도 7a 의 예를 먼저 참조하면, 비상관 유닛 (60) 은 에너지 보상된 배경 HOA 계수들 (47A' 내지 47D') 로서 표현된 1차 앰비소닉 배경 (여기서, "앰비소닉 배경" 은 음장의 배경 컴포넌트들을 설명하는 앰비소닉 계수들을 지칭할 수도 있음) 에 관하여 UHJ 비상관을 먼저 적용할 수도 있다 (300). 1차 앰비소닉 배경 (47A' 내지 47D') 은 다음의 (차수, 서브-차수): (0, 0), (1, 0), (1, -1), (1, 1) 를 갖는 구면 기저 함수들에 대응하는 HOA 계수들을 포함할 수도 있다.
비상관 유닛 (60) 은 비상관된 주변 HOA 오디오 신호들 (67) 을 상기 언급된 Q, T, L 및 R 오디오 신호들로서 출력할 수도 있다. Q 오디오 신호는 높이 정보를 제공할 수도 있다. T 오디오 신호는 (스위트 스폿 (sweet spot) 뒤의 채널들을 표현하는 정보를 포함하는) 수평 정보를 제공할 수도 있다. L 오디오 신호는 좌측 스테레오 채널을 제공한다. R 오디오 신호는 우측 스테레오 채널을 제공한다.
일부 예들에서, UHJ 행렬은 좌측 오디오 채널과 연관된 적어도 고차 앰비소닉 오디오 데이터를 포함할 수도 있다. 다른 예들에서, UHJ 행렬은 우측 오디오 채널과 연관된 적어도 고차 앰비소닉 오디오 데이터를 포함할 수도 있다. 또 다른 예들에서, UHJ 행렬은 로컬화 오디오 채널과 연관된 적어도 고차 앰비소닉 오디오 데이터를 포함할 수도 있다. 다른 예들에서, UHJ 행렬은 높이 채널과 연관된 적어도 고차 앰비소닉 오디오 데이터를 포함할 수도 있다. 다른 예들에서, UHJ 행렬은 자동 이득 정정을 위한 측파대와 연관된 적어도 고차 앰비소닉 오디오 데이터를 포함할 수도 있다. 다른 예들에서, UHJ 행렬은 좌측 오디오 채널, 우측 오디오 채널, 로컬화 채널, 높이 채널, 및 자동 이득 정정을 위한 측파대와 연관된 적어도 고차 앰비소닉 오디오 데이터를 포함할 수도 있다.
이득 제어 유닛 (62) 은 자동 이득 제어 (AGC) 를 비상관된 주변 HOA 오디오 신호들 (67) 에 적용할 수도 있다 (302). 이득 제어 유닛 (62) 은 조정된 주변 HOA 오디오 신호들 (67') 을 비트스트림 생성 유닛 (42) 에 패스할 수도 있고, 이는 조정된 주변 HOA 오디오 신호들 (67') 에 기초한 베이스 층 및 고차 앰비소닉 이득 제어 데이터 (HOAGCD) 에 기초한 측파대 채널의 적어도 일부를 형성할 수도 있다 (304).
이득 제어 유닛 (62) 은 ("벡터-기반 우세한 신호들" 로서 또한 지칭될 수도 있는) 보간된 nFG 오디오 신호들 (49') 에 관하여 자동 이득 제어를 또한 적용할 수도 있다 (306). 이득 제어 유닛 (62) 은 조정된 nFG 오디오 신호들 (49") 에 대한 HOAGCD 와 함께 조정된 nFG 오디오 신호들 (49") 을 비트스트림 생성 유닛 (42) 에 출력할 수도 있다. 비트스트림 생성 유닛 (42) 은 조정된 nFG 오디오 신호들 (49") 에 대한 HOAGCD 및 대응하는 코딩된 전경 V[k] 벡터들 (57) 에 기초하여 측파대 정보의 일부를 형성하면서 조정된 nFG 오디오 신호들 (49") 에 기초하여 제 2 층을 형성할 수도 있다 (308).
고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층 (즉, 베이스 층) 은 1 이하의 차수를 갖는 하나 이상의 구면 기저 함수들에 대응하는 고차 앰비소닉 계수들을 포함할 수도 있다. 일부 예들에서, 제 2 층 (즉, 강화층) 은 벡터-기반 우세한 오디오 데이터를 포함한다.
일부 예들에서, 벡터-기반 우세한 오디오는 적어도 우세한 오디오 데이터 및 인코딩된 V-벡터를 포함한다. 상술한 바와 같이, 인코딩된 V-벡터는 오디오 인코딩 디바이스 (20) 의 LIT 유닛 (30) 에 의한 선형 가역 변환의 적용을 통해 고차 앰비소닉 오디오 데이터로부터 분해될 수도 있다. 다른 예들에서, 벡터-기반 우세한 오디오 데이터는 적어도 추가의 고차 앰비소닉 채널을 포함한다. 또 다른 예들에서, 벡터-기반 우세한 오디오 데이터는 적어도 자동 이득 정정 측파대를 포함한다. 다른 예들에서, 벡터-기반 우세한 오디오 데이터는 적어도 우세한 오디오 데이터, 인코딩된 V-벡터, 추가의 고차 앰비소닉 채널, 및 자동 이득 정정 측파대를 포함한다.
제 1 층 및 제 2 층을 형성하는데 있어서, 비트스트림 생성 유닛 (42) 은 에러 검출, 에러 정정 또는 에러 검출과 정정 모두를 제공하는 에러 체킹 프로세스들을 수행할 수도 있다. 일부 예들에서, 비트스트림 생성 유닛 (42) 은 제 1 층 (즉, 베이스 층) 에 대해 에러 체킹 프로세스를 수행할 수도 있다. 다른 예에서, 오디오 코딩 디바이스는 제 1 층 (즉, 베이스 층) 에 대해 에러 체킹 프로세스를 수행할 수도 있으며 제 2 층 (즉, 강화층) 에 대해 에러 체킹 프로세스를 수행하는 것을 억제할 수도 있다. 또 다른 예에서, 비트스트림 생성 유닛 (42) 은 제 1 층 (즉, 베이스 층) 에 대해 에러 체킹 프로세스를 수행할 수도 있으며, 제 1 층이 에러 없다는 결정에 응답하여, 오디오 코딩 디바이스는 제 2 층 (즉, 강화층) 에 대해 에러 체킹 프로세스를 수행할 수도 있다. 비트스트림 생성 유닛 (42) 이 제 1 층 (즉, 베이스 층) 에 대해 에러 체킹 프로세스를 수행하는 상기 예들 중 임의의 것에서, 제 1 층은 에러들에 대해 로버스트한 로버스트 층으로 고려될 수도 있다.
다음으로 도 7b 를 참조하면, 이득 제어 유닛 (62) 및 비트스트림 생성 유닛 (42) 은 도 7a 에 관하여 상술한 이득 제어 유닛 (62) 및 비트스트림 생성 유닛 (42) 의 동작들과 유사한 동작들을 수행한다. 그러나, 비상관 유닛 (60) 은 UHJ 비상관 보다는 모드 행렬 비상관을 1차 앰비소닉 배경 (47A' 내지 47D') 에 적용할 수도 있다 (301).
다음으로 도 7c 를 참조하면, 이득 제어 유닛 (62) 및 비트스트림 생성 유닛 (42) 은 도 7a 및 도 7b 의 예들에 관하여 상술한 이득 제어 유닛 (62) 및 비트스트림 생성 유닛 (42) 의 동작들과 유사한 동작들을 수행할 수도 있다. 그러나, 도 7c 의 예에서, 비상관 유닛 (60) 은 어떠한 변환도 1차 앰비소닉 배경 (47A' 내지 47D') 에 적용하지 않을 수도 있다. 아래의 예들 (8A 내지 10B) 각각에서, 대안으로서, 비상관 유닛 (60) 이 1차 앰비소닉 배경 (47A' 내지 47D') 중 하나 이상에 관하여 비상관을 적용하지 않을 수도 있다는 것이 가정되지만 예시되지 않는다.
다음으로 도 7d 을 참조하면, 비상관 유닛 (60) 및 비트스트림 생성 유닛 (42) 은 도 7a 및 도 7b 의 예들에 관하여 상술한 이득 제어 유닛 (52) 및 비트스트림 생성 유닛 (42) 의 동작들과 유사한 동작들을 수행할 수도 있다. 그러나, 도 7d 의 예에서, 이득 제어 유닛 (62) 은 어떠한 이득 제어도 비상관된 주변 HOA 오디오 신호들 (67) 에 적용하지 않을 수도 있다. 아래의 예들 (8A 내지 10B) 각각에서, 대안으로서, 이득 제어 유닛 (52) 은 비상관된 주변 HOA 오디오 신호들 (67) 중 하나 이상에 관하여 비상관을 적용하지 않을 수도 있다는 것이 가정되지만 예시되지 않는다.
도 7a 내지 도 7d 의 예들 각각에서, 비트스트림 생성 유닛 (42) 은 비트스트림 (21) 에서 하나 이상의 신택스 엘리먼트들을 특정할 수도 있다. 도 10 은 비트스트림 (21) 에서 특정된 HOA 구성 오브젝트의 예를 예시하는 도면이다. 도 7a 내지 도 7d 의 예들 각각에 대해, 비트스트림 생성 유닛 (42) 은 codedVVecLength 신택스 엘리먼트 (400) 를 1 또는 2 로 설정할 수도 있고, 이는 1차 배경 HOA 채널들이 모든 우세한 사운드들의 1차 컴포넌트를 포함한다는 것을 나타낸다. 비트스트림 생성 유닛 (42) 은 ambienceDecorrelationMethod 신택스 엘리먼트 (402) 를 또한 설정할 수도 있어서, 엘리먼트 (402) 는 (예를 들어, 도 7a 에 관하여 상술한 바와 같이) UHJ 비상관의 사용을 시그널링하고, (예를 들어, 도 7b 에 관하여 상술한 바와 같이) 행렬 모드 비상관의 사용을 시그널링하거나, (예를 들어, 도 7c 에 관하여 상술한 바와 같이) 사용된 비상관이 없다는 것을 시그널링한다.
도 11 은 제 1 및 제 2 층들에 대해 비트스트림 생성 유닛 (42) 에 의해 생성된 측파대 정보를 예시하는 도면이다. 측파대 정보 (410) 는 측파대 베이스 층 정보 (412) 및 측파대 제 2 층 정보 (414A 및 414B) 를 포함한다. 베이스 층만이 오디오 디코딩 디바이스 (24) 에 제공되는 경우에, 오디오 인코딩 디바이스 (20) 는 측파대 베이스 층 정보 (412) 만을 제공할 수도 있다. 측파대 베이스 층 정보 (412) 는 베이스 층에 대한 HOAGCD 를 포함한다. 측파대 제 2 층 정보 (414A) 는 전송 채널들 (1-4) 신택스 엘리먼트들 및 대응하는 HOAGCD 를 포함한다. 측파대 제 2 층 정보 (414B) 는 (전송 채널들 (3 및 4) 이 112 또는 310 과 동일한 ChannelType 신택스 엘리먼트에 의해 표기된 바와 같이 비어 있다는 것을 고려하면) 전송 채널들 (1 및 2) 에 대응하는 2개의 대응하는 코딩된 감소된 V[k] 벡터들 (57) 을 포함한다.
도 8a 및 도 8b 는 HOA 계수들 (11) 의 인코딩된 3-층 표현을 생성하는데 있어서 오디오 인코딩 디바이스 (20) 의 예시적인 동작을 예시하는 흐름도이다. 도 8a 를 먼저 참조하면, 비상관 유닛 (60) 및 이득 제어 유닛 (62) 은 도 7a 에 관하여 상술한 동작들과 유사한 동작들을 수행할 수도 있다. 그러나, 비트스트림 생성 유닛 (42) 은 조정된 주변 HOA 오디오 신호들 (67) 모두 보다는 조정된 주변 HOA 오디오 신호들 (67) 중 L 오디오 신호 및 R 오디오 신호에 기초하여 베이스 층을 형성할 수도 있다 (310). 이에 관하여, 베이스 층은 오디오 디코딩 디바이스 (24) 에서 렌더링될 때 스테레오 채널들을 제공할 수도 있다. 비트스트림 생성 유닛 (42) 은 HOAGCD 를 포함하는 베이스 층에 대한 측파대 정보를 또한 생성할 수도 있다.
비트스트림 생성 유닛 (42) 의 동작은, 비트스트림 생성 유닛 (42) 이 조정된 주변 HOA 오디오 신호들 (67) 의 Q 및 T 오디오 신호들에 기초하여 제 2 층을 형성할 수도 있다는 점에서 도 7a 에 관하여 상술한 바와 또한 다를 수도 있다. 도 8a 의 예에서 제 2 층은 오디오 디코딩 디바이스 (24) 에서 렌더링될 때 수평 채널들 및 3D 채널들을 제공할 수도 있다. 비트스트림 생성 유닛 (42) 은 HOAGCD 를 포함하는 제 2 층에 대한 측파대 정보를 또한 생성할 수도 있다. 비트스트림 생성 유닛 (42) 은 도 7a 의 예에서 제 2 층을 형성하는 것과 관하여 상술한 바와 실질적으로 유사한 방식으로 제 3 층을 또한 형성할 수도 있다.
비트스트림 생성 유닛 (42) 은 도 10 에 관하여 상술한 바와 유사한 비트스트림 (21) 에 대한 HOA 구성 오브젝트를 특정할 수도 있다. 또한, 오디오 인코더 (20) 의 비트스트림 생성 유닛 (42) 은 1차 HOA 배경이 송신된다는 것을 나타내도록 MinAmbHoaOrder 신택스 엘리먼트 (404) 를 2 로 설정한다.
비트스트림 생성 유닛 (42) 는 도 12a 의 예에 도시된 측파대 정보 (412) 와 유사한 측파대 정보를 또한 생성할 수도 있다. 도 12a 는 본 개시에 설명되는 기술들의 스케일러블 코딩 양태들에 따라 생성되는 측파대 정보 (412) 를 예시하는 도면이다. 측파대 정보 (412) 는 측파대 베이스 층 정보 (416) 측파대 제 2 층 정보 (418), 및 측파대 제 3 층 정보 (420A 및 420B) 를 포함한다. 측파대 베이스 층 정보 (416) 는 베이스 층에 대한 HOAGCD 를 제공할 수도 있다. 측파대 제 2 층 정보 (418) 는 제 2 층에 대한 HOAGCD 를 제공할 수도 있다. 측파대 제 3 층 정보 (420A 및 420B) 는 도 11 에 관하여 상술한 측파대 정보 (414A 및 414B) 와 유사할 수도 있다.
도 7a 와 유사하게, 비트스트림 생성 디바이스 (42) 는 에러 체킹 프로세스들을 수행할 수도 있다. 일부 예들에서, 비트스트림 생성 디바이스 (42) 는 제 1 층 (즉, 베이스 층) 에 대해 에러 체킹 프로세스를 수행할 수도 있다. 다른 예에서, 비트스트림 생성 디바이스 (42) 는 제 1 층 (즉, 베이스 층) 에 대해 에러 체킹 프로세스를 수행할 수도 있으며 제 2 층 (즉, 강화층) 에 대해 에러 체킹 프로세스를 수행하는 것을 억제할 수도 있다. 또 다른 예에서, 비트스트림 생성 유닛 (42) 은 제 1 층 (즉, 베이스 층) 에 대해 에러 체킹 프로세스를 수행할 수도 있으며, 제 1 층이 에러 없다는 결정에 응답하여, 오디오 코딩 디바이스는 제 2 층 (즉, 강화층) 에 대해 에러 체킹 프로세스를 수행할 수도 있다. 오디오 코딩 디바이스가 제 1 층 (즉, 베이스 층) 에 대해 에러 체킹 프로세스를 수행하는 상기 예들 중 임의의 것에서, 제 1 층은 에러들에 대해 로버스트한 로버스트 층으로 고려될 수도 있다.
3개의 층들을 제공하는 것으로 설명되지만, 일부 예들에서는, 비트스트림 생성 디바이스 (42) 는 2개의 층들만이 존재한다는 비트스트림에서의 표시를 특정할 수도 있고, 스테레오 채널 재생을 제공하는 고차 앰비소닉 오디오 신호의 배경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 1 층, 및 단일의 수평 평면상에 배열된 3개 이상의 스피커들에 의한 수평 멀티-채널 재생을 제공하는 고차 앰비소닉 오디오 신호의 배경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 2 층을 특정할 수도 있다. 다시 말해, 3개의 층들을 제공하는 것으로 도시되어 있지만, 비트스트림 생성 디바이스 (42) 는 일부 경우들에서 3개의 층들 중 2개만을 생성할 수도 있다. 본원에서 상세히 설명되지 않지만, 층들의 임의의 서브세트가 생성될 수도 있다는 것을 이해해야 한다.
다음으로 도 8b 를 참조하면, 이득 제어 유닛 (62) 및 비트스트림 생성 유닛 (42) 은 도 8a 에 관하여 상술한 이득 제어 유닛 (62) 및 비트스트림 생성 유닛 (42) 의 동작들과 유사한 동작들을 수행한다. 그러나, 비상관 유닛 (60) 은 UHJ 비상관 보다는 모드 행렬 비상관을 1차 앰비소닉 배경 (47A') 에 적용할 수도 있다 (316). 일부 예들에서, 1차 앰비소닉 배경 (47A') 은 0차 앰비소닉 계수들 (47A') 을 포함할 수도 있다. 이득 제어 유닛 (62) 은 자동 이득 제어를 1차를 갖는 구면 조화 계수들에 대응하는 1차 앰비소닉 계수들, 및 비상관된 주변 HOA 오디오 신호 (67) 에 적용할 수도 있다.
비트스트림 생성 유닛 (42) 은 조정된 주변 HOA 오디오 신호 (67) 에 기초하여 베이스 층 및 대응하는 HOAGCD 에 기초하여 측파대의 적어도 일부를 형성할 수도 있다 (310). 주변 HOA 오디오 신호 (67) 는 오디오 디코딩 디바이스 (24) 에서 렌더링될 때 모노 채널을 제공할 수도 있다. 비트스트림 생성 유닛 (42) 은 조정된 주변 HOA 계수들 (47B" 내지 47D") 에 기초하여 제 2 층 및 대응하는 HOAGCD 에 기초하여 측파대의 적어도 일부를 형성할 수도 있다 (318). 조정된 주변 HOA 계수들 (47B' 내지 47D') 은 오디오 디코딩 디바이스 (24) 에서 렌더링될 때 X, Y 및 Z (또는 스테레오, 수평 및 높이) 채널들을 제공할 수도 있다. 비트스트림 생성 유닛 (42) 은 도 8a 에 관하여 상술한 바와 유사한 방식으로 제 2 층 및 측파대의 적어도 일부를 형성할 수도 있다. 비트스트림 생성 유닛 (42) 은 도 12b 에 관하여 더욱 상세히 설명하는 바와 같이 측파대 정보 (412) 를 생성할 수도 있다 (326).
도 12b 는 본 개시에 설명되는 기술들의 스케일러블 코딩 양태들에 따라 생성되는 측파대 정보 (414) 를 예시하는 도면이다. 측파대 정보 (414) 는 측파대 베이스 층 정보 (416) 측파대 제 2 층 정보 (422), 및 측파대 제 3 층 정보 (424A 내지 424C) 를 포함한다. 측파대 베이스 층 정보 (416) 는 베이스 층에 대한 HOAGCD 를 제공할 수도 있다. 측파대 제 2 층 정보 (422) 는 제 2 층에 대한 HOAGCD 를 제공할 수도 있다. 측파대 제 3 층 정보 (424A 내지 424C) 는 (측파대 정보 (414A) 가 측파대 제 3 층 정보 (424A 및 424B) 로서 특정된다는 것은 제외하고) 도 11 에 관하여 상술한 측파대 정보 (414A 및 414B) 와 유사할 수도 있다.
도 9a 및 도 9b 는 HOA 계수들 (11) 의 인코딩된 4-층 표현을 생성하는데 있어서 오디오 인코딩 디바이스 (20) 의 예시적인 동작을 예시하는 흐름도들이다. 도 9a 를 먼저 참조하면, 비상관 유닛 (60) 및 이득 제어 유닛 (62) 은 도 8a 에 관하여 상술한 동작들과 유사한 동작들을 수행할 수도 있다. 비트스트림 생성 유닛 (42) 은 도 8a 의 예에 관하여 상술한 바와 유사한 방식으로, 즉, 조정된 주변 HOA 오디오 신호들 (67) 모두 보다는 조정된 주변 HOA 오디오 신호들 (67) 중 L 오디오 신호 및 R 오디오 신호에 기초하여 베이스 층을 형성할 수도 있다 (310). 이에 관하여, 베이스 층은 오디오 디코딩 디바이스 (24) 에서 렌더링될 때 스테레오 채널들을 제공할 수도 있다 (또는, 다시 말해, 스테레오 채널 재생을 제공할 수도 있다). 비트스트림 생성 유닛 (42) 은 HOAGCD 를 포함하는 베이스 층에 대한 측파대 정보를 또한 생성할 수도 있다.
비트스트림 생성 유닛 (42) 의 동작은, 비트스트림 생성 유닛 (42) 이 조정된 주변 HOA 오디오 신호들 (67) 의 (Q 오디오 신호가 아닌) T 오디오 신호에 기초하여 제 2 층을 형성할 수도 있다는 점에서 도 8a 에 관하여 상술한 바와 다를 수도 있다. 도 9a 의 예에서의 제 2 층은 오디오 디코딩 디바이스 (24) 에서 렌더링될 때 수평 채널들을 제공할 수도 있다 (또는, 다시 말해, 단일 수평 평면상의 3개 이상의 라우드스피커들에 의한 멀티-채널 재생). 비트스트림 생성 유닛 (42) 은 HOAGCD 를 포함하는 제 2 층에 대한 측파대 정보를 또한 생성할 수도 있다. 비트스트림 생성 유닛 (42) 은 조정된 주변 HOA 오디오 신호들 (67) 의 Q 오디오 신호에 기초하여 제 2 층을 또한 형성할 수도 있다 (324). 제 3 층은 3 개 이상의 수평 평면들상에 배열된 3개 이상의 스피커들에 의한 3차원 재생을 제공할 수도 있다. 비트스트림 생성 유닛 (42) 은 도 8a 의 예에서 제 3 층을 형성하는 것과 관하여 상술한 바와 실질적으로 유사한 방식으로 제 4 층을 또한 형성할 수도 있다 (326).
비트스트림 생성 유닛 (42) 은 도 10 에 관하여 상술한 바와 유사한 비트스트림 (21) 에 대한 HOA 구성 오브젝트를 특정할 수도 있다. 또한, 오디오 인코더 (20) 의 비트스트림 생성 유닛 (42) 은 1차 HOA 배경이 송신된다는 것을 나타내도록 MinAmbHoaOrder 신택스 엘리먼트 (404) 를 2 로 설정한다.
비트스트림 생성 유닛 (42) 는 도 13a 의 예에 도시된 측파대 정보 (412) 와 유사한 측파대 정보를 또한 생성할 수도 있다. 도 13a 는 본 개시에 설명되는 기술들의 스케일러블 코딩 양태들에 따라 생성되는 측파대 정보 (430) 를 예시하는 도면이다. 측파대 정보 (430) 는 측파대 베이스 층 정보 (416) 측파대 제 2 층 정보 (418), 측파대 제 3 층 정보 (432) 및 측파대 제 4 층 정보 (434A 및 434B) 를 포함한다. 측파대 베이스 층 정보 (416) 는 베이스 층에 대한 HOAGCD 를 제공할 수도 있다. 측파대 제 2 층 정보 (418) 는 제 2 층에 대한 HOAGCD 를 제공할 수도 있다. 측파대 제 3 층 정보 (430) 는 제 3 층에 대한 HOAGCD 를 제공할 수도 있다. 측파대 제 4 층 정보 (434A 및 434B) 는 도 12a 에 관하여 상술한 측파대 정보 (420A 및 420B) 와 유사할 수도 있다.
도 7a 와 유사하게, 비트스트림 생성 디바이스 (42) 는 에러 체킹 프로세스들을 수행할 수도 있다. 일부 예들에서, 비트스트림 생성 디바이스 (42) 는 제 1 층 (즉, 베이스 층) 에 대해 에러 체킹 프로세스를 수행할 수도 있다. 다른 예에서, 비트스트림 생성 디바이스 (42) 는 제 1 층 (즉, 베이스 층) 에 대해 에러 체킹 프로세스를 수행할 수도 있으며 나머지 층 (즉, 강화층) 에 대해 에러 체킹 프로세스를 수행하는 것을 억제할 수도 있다. 또 다른 예에서, 비트스트림 생성 유닛 (42) 은 제 1 층 (즉, 베이스 층) 에 대해 에러 체킹 프로세스를 수행할 수도 있으며, 제 1 층이 에러 없다는 결정에 응답하여, 오디오 코딩 디바이스는 제 2 층 (즉, 강화층) 에 대해 에러 체킹 프로세스를 수행할 수도 있다. 오디오 코딩 디바이스가 제 1 층 (즉, 베이스 층) 에 대해 에러 체킹 프로세스를 수행하는 상기 예들 중 임의의 것에서, 제 1 층은 에러들에 대해 로버스트한 로버스트 층으로 고려될 수도 있다.
다음으로 도 9b 를 참조하면, 이득 제어 유닛 (62) 및 비트스트림 생성 유닛 (42) 은 도 9a 에 관하여 상술한 이득 제어 유닛 (62) 및 비트스트림 생성 유닛 (42) 의 동작들과 유사한 동작들을 수행한다. 그러나, 비상관 유닛 (60) 은 UHJ 비상관 보다는 모드 행렬 비상관을 1차 앰비소닉 배경 (47A') 에 적용할 수도 있다 (316). 일부 예들에서, 1차 앰비소닉 배경 (47A') 은 0차 앰비소닉 계수들 (47A') 을 포함할 수도 있다. 이득 제어 유닛 (62) 은 자동 이득 제어를 1차를 갖는 구면 조화 계수들에 대응하는 1차 앰비소닉 계수들, 및 비상관된 주변 HOA 오디오 신호 (67) 에 적용할 수도 있다 (302).
비트스트림 생성 유닛 (42) 은 조정된 주변 HOA 오디오 신호 (67) 에 기초하여 베이스 층 및 대응하는 HOAGCD 에 기초하여 측파대의 적어도 일부를 형성할 수도 있다 (310). 주변 HOA 오디오 신호 (67) 는 오디오 디코딩 디바이스 (24) 에서 렌더링될 때 모노 채널을 제공할 수도 있다. 비트스트림 생성 유닛 (42) 은 조정된 주변 HOA 계수들 (47B" 및 47C") 에 기초하여 제 2 층 및 대응하는 HOAGCD 에 기초하여 측파대의 적어도 일부를 형성할 수도 있다 (322). 조정된 주변 HOA 계수들 (47B" 및 47C") 은 단일 수평 평면상에 배열된 3개 이상의 스피커들에 의해 X, Y 수평 멀티-채널 재생을 제공할 수도 있다. 비트스트림 생성 유닛 (42) 은 조정된 주변 HOA 계수들 (47D")에 기초하여 제 3 층 및 대응하는 HOAGCD 에 기초하여 측파대의 적어도 일부를 형성할 수도 있다 (324). 조정된 주변 HOA 계수들 (47D") 은 3 개 이상의 수평 평면들에 배열된 3개 이상의 스피커들에 의한 3차원 재생을 제공할 수도 있다. 비트스트림 생성 유닛 (42) 은 도 8a 에 관하여 상술한 바와 유사한 방식으로 제 4 층 층 측파대 정보의 적어도 일부를 형성할 수도 있다 (326). 비트스트림 생성 유닛 (42) 은 도 12b 에 관하여 더욱 상세히 설명하는 바와 같이 측파대 정보 (412) 를 생성할 수도 있다.
도 13b 는 본 개시에 설명되는 기술들의 스케일러블 코딩 양태들에 따라 생성되는 측파대 정보 (440) 를 예시하는 도면이다. 측파대 정보 (440) 는 측파대 베이스 층 정보 (416) 측파대 제 2 층 정보 (442), 측파대 제 3 층 정보 (444) 및 측파대 제 4 층 정보 (446A 내지 446C) 를 포함한다. 측파대 베이스 층 정보 (416) 는 베이스 층에 대한 HOAGCD 를 제공할 수도 있다. 측파대 제 2 층 정보 (442) 는 제 2 층에 대한 HOAGCD 를 제공할 수도 있다. 측파대 제 3 층 정보는 제 3 층에 대한 HOAGCD 를 제공할 수도 있다. 측파대 제 4 층 정보 (446A 내지 446C) 는 도 12b 에 관하여 상술한 측파대 정보 (424A 내지 424C) 와 유사할 수도 있다.
도 4 는 도 2 의 오디오 디코딩 디바이스 (24) 를 더욱 상세히 예시하는 블록도이다. 도 4 의 예에 도시되어 있는 바와 같이, 오디오 디코딩 디바이스 (24) 는 추출 유닛 (72), 방향성-기반 재구성 유닛 (90) 및 벡터-기반 재구성 유닛 (92) 을 포함할 수도 있다. 후술되지만, 오디오 디코딩 디바이스 (24) 및 HOA 계수들을 압축해제하거나 그렇지 않으면 디코딩하는 다양한 양태들에 관한 더 많은 정보가 2014년 5월 29일 출원된 "INTERPOLATION FOR DECOMPOSED REPRESENTATIONS OF A SOUND FIELD" 이란 명칭의 국제 특허 출원 공개 번호 WO 2014/194099 호에서 입수가능하다. 추가의 정보가 상기 참조된 MPEG-H 3D 오디오 코딩 표준의 페이즈 Ⅰ 및 페이즈 Ⅱ 및 MPEG-H 3D 오디오 코딩 표준의 페이즈 Ⅰ 을 요약하는 상기 참조된 대응하는 논문에서 또한 발견될 수도 있다.
추출 유닛 (72) 은 비트스트림 (21) 을 수신하고 HOA 계수들 (11) 의 다양한 인코딩된 버전들 (예를 들어, 방향-기반 인코딩된 버전 또는 벡터-기반 인코딩된 버전) 을 추출하도록 구성된 유닛을 표현할 수도 있다. 추출 유닛 (72) 은 HOA 계수들 (11) 이 다양한 방향-기반 또는 벡터-기반 버전들을 통해 인코딩되었는지 여부를 나타내는 상기 언급한 신택스 엘리먼트로부터 결정할 수도 있다. 방향-기반 인코딩이 수행될 때, 추출 유닛 (72) 은 HOA 계수들 (11) 의 방향-기반 버전 및 (도 4 의 예에서 방향-기반 정보로서 표기되는) 인코딩된 버전과 연관된 신택스 엘리먼트를 추출할 수도 있고, 방향-기반 정보 (91) 를 방향-기반 재구성 유닛 (90) 으로 패스한다. 방향-기반 재구성 유닛 (90) 은 방향-기반 정보 (91) 에 기초하여 HOA 계수들 (11') 의 형태로 HOA 계수들을 재구성하도록 구성된 유닛을 표현할 수도 있다.
HOA 계수들 (11) 이 벡터-기반 합성을 사용하여 인코딩되었다는 것을 신택스 엘리먼트가 나타낼 때, 추출 유닛 (72) 은 (코딩된 가중치들 (57) 및/또는 인덱스들 (63) 또는 스칼라 양자화된 V-벡터들을 포함할 수도 있는) 코딩된 전경 V[k] 벡터들 (57), 인코딩된 주변 HOA 계수들 (59) 및 (인코딩된 nFG 신호들 (61) 로서 또한 지칭될 수도 있는) 대응하는 오디오 오브젝트들 (61) 을 추출할 수도 있다. 오디오 오브젝트들 (61) 은 벡터들 (57) 중 하나에 각각 대응한다. 추출 유닛 (72) 은 코딩된 전경 V[k] 벡터들 (57) 을 V-벡터 재구성 유닛 (74) 에 패스하고, 인코딩된 nFG 신호들 (61) 과 함께 인코딩된 주변 HOA 계수들 (59) 을 음향심리 디코딩 유닛 (80) 에 패스할 수도 있다. 추출 유닛 (72) 은 도 6 의 예에 관하여 더욱 상세히 설명된다.
도 6 은 본 개시에 설명되는 스케일러블 오디오 디코딩 기술들의 잠재적 버전들 중 제 1 버전을 수행하도록 구성될 때 도 4 의 추출 유닛 (72) 을 더욱 상세히 예시하는 도면이다. 도 6 의 예에서, 추출 유닛 (72) 은 모드 선택 유닛 (1010), 스케일러블 추출 유닛 (1012) 및 넌-스케일러블 추출 유닛 1014) 을 포함한다. 모드 선택 유닛 (1010) 은 스케일러블 또는 넌-스케일러블 추출이 비트스트림 (21) 에 관하여 수행될지를 선택하도록 구성된 유닛을 표현한다. 모드 선택 유닛 (1010) 은 비트스트림 (21) 이 저장되는 메모리를 포함할 수도 있다. 모드 선택 유닛 (1010) 은 스케일러블 또는 넌-스케일러블 추출이 스케일러블 코딩이 인에이블되었는지 여부의 표지에 기초하여 수행될지를 결정할 수도 있다. HOABaseLayerPresent 신택스 엘리먼트는 스케일러블 코딩이 비트스트림(21) 을 인코딩할 때 수행되었는지 여부의 표시를 표현할 수도 있다.
HOABaseLayerPresent 신택스 엘리먼트가 스케일러블 코딩이 인에이블되었다는 것을 나타낼 때, 모드 선택 유닛 (1010) 은 비트스트림 (21) 을 스케일러블 비트스트림 (21) 으로서 식별할 수도 있고 스케일러블 비트스트림 (21) 을 스케일러블 추출 유닛 (1012) 에 출력할 수도 있다. HOABaseLayerPresent 신택스 엘리먼트가 스케일러블 코딩이 인에이블되지 않았다는 것을 나타낼 때, 모드 선택 유닛 (1010) 은 비트스트림 (21) 을 넌-스케일러블 비트스트림 (21') 으로서 식별할 수도 있고 넌-스케일러블 비트스트림 (21') 을 넌-스케일러블 추출 유닛 (1014) 에 출력할 수도 있다. 넌-스케일러블 추출 유닛 (1014) 은 MPEG-H 3D 오디오 코딩 표준의 페이즈 Ⅰ 에 따라 동작하도록 구성된 유닛을 표현한다.
스케일러블 추출 유닛 (1012) 은 더욱 상세히 후술되는 (그리고 다양한 HOADecoderConfig 표들에서 상기 나타낸) 다양한 신택스 엘리먼트에 기초하여 스케일러블 비트스트림 (21) 의 하나 이상의 층들로부터 주변 HOA 계수들 (59), 인코딩된 nFG 신호들 (61) 및 코딩된 전경 V[k] 벡터들 (57) 중 하나 이상을 추출하도록 구성된 유닛을 표현할 수도 있다. 도 6 의 예에서, 스케일러블 추출 유닛 (1012) 은 일례로서, 스케일러블 비트스트림 (21) 의 베이스 층 (21A) 으로부터 4개의 인코딩된 주변 HOA 계수들 (59A 내지 59D) 을 추출할 수도 있다. 스케일러블 추출 유닛 (1012) 은 스케일러블 비트스트림 (21) 의 강화층 (21B) 으로부터, (일례로서) 2개의 인코딩된 nFG 신호들 (61A 및 61B) 뿐만 아니라 2개의 코딩된 전경 V[k] 벡터들 (57A 및 57B) 을 또한 추출할 수도 있다. 스케일러블 추출 유닛 (1012) 은 주변 HOA 계수들 (59), 인코딩된 nFG 신호들 (61) 및 코딩된 전경 V[k] 벡터들 (57) 을 도 4 의 예에 도시된 벡터-기반 디코딩 유닛 (92) 에 출력할 수도 있다.
더욱 구체적으로, 오디오 디코딩 디바이스 (24) 의 추출 유닛 (72) 은 상기 HOADecoderCofnig_FrameByFrame 신택스 표에 설명된 바와 같이 L 층들의 채널들을 추출할 수도 있다.
상기 HOADecoderCofnig_FrameByFrame 신택스 표에 따르면, 모드 선택 유닛 (1010) 은 스케일러블 오디오 인코딩이 수행되었는지 여부를 나타낼 수도 있는 HOABaseLayerPresent 신택스 엘리먼트를 먼저 획득할 수도 있다. 예를 들어, HOABaseLayerPresent 신택스 엘리먼트에 대해 제로 값에 의해 특정된 바와 같이 인에이블되지 않은 경우에, 모드 선택 유닛 (1010) 은 MinAmbHoaOrder 신택스 엘리먼트를 결정할 수도 있으며, 상술한 바와 유사한 넌-스케일러블 프로세스들을 수행하는 넌-스케일러블 추출 유닛 (1014) 에 넌-스케일러블 비트스트림을 제공한다. 예를 들어, HOABaseLayerPresent 신택스 엘리먼트에 대해 1 값에 의해 특정된 바와 같이 인에이블된 경우에, 모드 선택 유닛 (1010) 은 MinAmbHOAOrder 신택스 엘리먼트 값을 -1 인 것으로 설정하고, 스케일러블 비트스트림 (21') 을 스케일러블 추출 유닛 (1012) 에 제공한다.
스케일러블 추출 유닛 (1012) 은 비트스트림의 층들의 수가 이전 프레임에서 비트스트림의 층들의 수와 비교할 때 현재 프레임에서 변화되었는지 여부의 표시를 획득할 수도 있다. 비트스트림의 층들의 수가 이전 프레임에서 비트스트림의 층들의 수와 비교할 때 현재 프레임에서 변화되었는지 여부의 표시는 상술한 표에서 "HOABaseLayerConfigurationFlag" 신택스 엘리먼트로서 표기될 수도 있다.
스케일러블 추출 유닛 (1012) 은 표시에 기초하여 현재 프레임에서 비트스트림의 층들의 수의 표시를 획득할 수도 있다. 표시가 비트스트림의 층들의 수가 이전 프레임에서 비트스트림의 층들의 수와 비교할 때 현재 프레임에서 변화되지 않았다는 것을 나타낼 때, 스케일러블 추출 유닛 (1012) 은 다음을 명시하는 상기 신택스 표의 일부에 따라 이전 프레임에서 비트스트림의 층들의 수와 동일한 것으로서 현재 프레임에서 비트스트림의 층들의 수를 결정할 수도 있다:
여기서, "NumLayers" 은 현재 프레임에서 비트스트림의 층들의 수를 표현하는 신택스 엘리먼트를 표현할 수도 있고, "NumLayersPrevFrame" 는 이전 프레임에서 비트스트림의 층들의 수를 표현하는 신택스 엘리먼트를 표현할 수도 있다.
상기 HOADecoderConfig_FrameByFrame 신택스 표에 따르면, 스케일러블 추출 유닛 (1012) 은, 표시가 비트스트림의 층들의 수가 이전 프레임에서 비트스트림의 층들의 수와 비교할 때 현재 프레임에서 변화되지 않았다는 것을 나타낼 때, 현재 프레임에 대한 층들 중 하나 이상에서 전경 컴포넌트들의 현재 수의 현재 전경 표시를 이전 프레임의 층들 중 하나 이상에서 전경 컴포넌트들의 이전 수에 대한 이전 전경 표시와 동일한 것으로 결정할 수도 있다. 다시 말해, 스케일러블 추출 유닛 (1012) 은, HOABaseLayerConfigurationFlag 이 0 과 동일할 때, 현재 프레임의 층들 중 하나 이상에서 전경 컴포넌트의 현재 수의 현재 전경 표시를 나타내는 NumFGchannels[i] 신택스 엘리먼트를 이전 프레임의 하나 이상의 층들에서 전경 컴포넌트들의 이전 수의 이전 전경 표시를 나타내는 NumFGchannels_PrevFrame[i] 신택스 엘리먼트와 동일한 것으로 결정할 수도 있다. 스케일러블 추출 유닛 (1012) 은 현재 전경 표시에 기초하여 현재 프레임에서 하나 이상의 층들로부터 전경 컴포넌트들을 더 획득할 수도 있다.
스케일러블 추출 유닛 (1012) 은, 표시가 비트스트림의 층들의 수가 이전 프레임에서 비트스트림의 층들의 수와 비교할 때 현재 프레임에서 변화되지 않았다는 것을 나타낼 때, 현재 프레임에 대한 층들 중 하나 이상에서 배경 컴포넌트들의 현재 수의 현재 배경 표시를 이전 프레임의 층들 중 하나 이상에서 배경 컴포넌트들의 이전 수에 대한 이전 전경 표시와 동일한 것으로 또한 결정할 수도 있다. 다시 말해, 스케일러블 추출 유닛 (1012) 은, HOABaseLayerConfigurationFlag 이 0 과 동일할 때, 현재 프레임의 층들 중 하나 이상에서 배경 컴포넌트의 현재 수의 현재 배경 표시를 나타내는 NumBGchannels[i] 신택스 엘리먼트를 이전 프레임의 하나 이상의 층들에서 배경 컴포넌트들의 이전 수의 이전 배경 표시를 나타내는 NumBGchannels_PrevFrame[i] 신택스 엘리먼트와 동일한 것으로 결정할 수도 있다. 스케일러블 추출 유닛 (1012) 은 현재 배경 표시에 기초하여 현재 프레임에서 하나 이상의 층들로부터 배경 컴포넌트들을 더 획득할 수도 있다.
층들, 전경 컴포넌트들 및 배경 컴포넌트들의 수 다양한 표시들의 시그널링을 잠재적으로 감소시킬 수도 있는 상술한 기술들을 인에이블하기 위해, 스케일러블 추출 유닛 (1012) 은 NumFGchannels_PrevFrame[i] 신택스 엘리먼트 및 NumBGchannel_PrevFrame[i] 신택스 엘리먼트를 모든 i개의 층들을 통해 반복하는 현재 프레임에 대한 표시들 (예를 들어, NumFGchannels[i] 신택스 엘리먼트 및 NumBGchannels[i]) 로 설정할 수도 있다. 이것은 아래의 신택스로 표현된다:
표시가 비트스트림의 층들의 수가 이전 프레임에서 비트스트림의 층들의 수와 비교할 대 현재 프레임에서 변화되었다는 것을 나타낼 때 (예를 들어, HOABaseLayerConfigurationFlag 가 1 과 동일할 때), 스케일러블 추출 유닛 (1012) 은 본 개시에서 설명되지 않은 다른 신택스 표들에 따라 획득된 신택스 표로 패스되는 numHOATransportChannels 의 함수로서 NumLayerBits 신택스 엘리먼트를 획득한다.
스케일러블 추출 유닛 (1012) 은 비트스트림에서 특정된 층들의 수의 표시 (예를 들어, NumLayers 신택스 엘리먼트) 를 획득할 수도 있고, 여기서, 표시는 NumLayerBits 신택스 엘리먼트에 의해 표시된 비트들의 수를 가질 수도 있다. NumLayers 신택스 엘리먼트는 비트스트림에서 특정된 층들의 수를 특정할 수도 있고, 여기서, 층들의 수는 상기 L 로서 표기될 수도 있다. 다음으로, 스케일러블 추출 유닛 (1012) 은 numHOATransportChannels 의 함수로서 numAvailableTransportChannels 및 numAvailableTransportChannels 의 함수로서 numAvailableTransportChannelBits 를 결정할 수도 있다.
그 후, 스케일러블 추출 유닛 (1012) 은 i-번째 층에 대해 특정된 배경 HOA 채널들 (Bi) 의 수 및 전경 HOA 채널들 (Fi) 의 수를 결정하기 위해 1 로부터 NumLayers-1 까지 NumLayers 을 통해 반복할 수도 있다. 스케일러블 추출 유닛 (1012) 은 최종층의 수 (NumLayer) 를 통해 반복하지 않을 수도 있으며, 최종층 (BL) 으로서 NumLayer-1 을 통하는 것만 비트스트림에서 전송된 전경 및 배경 HOA 채널들의 총 수가 스케일러블 추출 유닛 (1012) 에 의해 알려질 때 (예를 들어, 전경 및 배경 HOA 채널들의 총 수가 신택스 엘리먼트들로서 시그널링될 때) 결정될 수도 있다.
이에 관하여, 스케일러블 추출 유닛 (1012) 은 층들의 수의 표시에 기초하여 비트스트림의 층들을 획득할 수도 있다. 스케일러블 추출 유닛 (1012) 은, 상술한 바와 같이, 비트스트림 (21) 에서 특정된 채널들의 수의 표시 (예를 들어, numHOATransportChannels) 를 획득할 수도 있으며, 층들의 수의 표시 및 채널들의 수의 표시에 기초하여 비트스트림 (21) 의 층들을 적어도 부분적으로 획득함으로써 층들을 획득할 수도 있다.
각각의 층을 통해 반복할 때, 스케일러블 추출 유닛 (1012) 은 NumFGchannels[i] 신택스 엘리먼트를 획득함으로써 i-번째 층에 대한 전경 채널들의 수를 먼저 결정할 수도 있다. 그 후, 스케일러블 추출 유닛 (1012) 은 NumAvailableTransportChannels 을 업데이트하고 ("인코딩된 nFG 신호들 (61)" 로서 또한 지칭될 수도 있는) 전경 HOA 채널들 (61) 의 NumFGchannels[i] 이 비트스트림으로부터 추출되었다는 것을 반영하기 위해 numAvailableTransportChannels 로부터 NumFGchannels[i] 를 감산할 수도 있다. 이러한 방식으로, 스케일러블 추출 유닛 (1012) 은 층들 중 적어도 하나에 대한 비트스트림 (21) 에서 특정된 전경 채널들의 수의 표시 (예를 들어, NumFGchannels) 를 획득할 수도 있으며, 전경 채널들의 수의 표시에 기초하여 비트스트림의 층들 중 적어도 하나에 대한 전경 채널들을 획득할 수도 있다.
유사하게, 스케일러블 추출 유닛 (1012) 은 NumBGchannels[i] 신택스 엘리먼트를 획득함으로써 i-번째 층에 대한 배경 채널들의 수를 결정할 수도 있다. 그 후, 스케일러블 추출 유닛 (1012) 은 ("인코딩된 주변 HOA 계수들 (59)" 로서 또한 지칭될 수도 있는) 배경 HOA 채널들 (59) 의 NumBGchannels[i] 이 비트스트림으로부터 추출되었다는 것을 반영하기 위해 numAvailableTransportChannels 로부터 NumBGchannels[i] 를 감산할 수도 있다. 이러한 방식으로, 스케일러블 추출 유닛 (1012) 은 층들 중 적어도 하나에 대한 비트스트림 (21) 에서 특정된 배경 채널들의 수의 표시 (예를 들어, NumBGchannels) 를 획득할 수도 있으며, 배경 채널들의 수의 표시에 기초하여 비트스트림의 층들 중 적어도 하나에 대한 배경 채널들을 획득할 수도 있다.
스케일러블 추출 유닛 (1012) 은 numAvailableTransports 의 함수로서 numAvailableTransportChannelsBits 를 획득함으로써 계속할 수도 있다. 상기 신택스 표에 따라, 스케일러블 추출 유닛 (1012) 은 NumFGchannels[i] 및 NumBGchannels [i] 를 결정하기 위해 numAvailableTransportChannelsBits 에 의해 특정된 비트들의 수를 분석할 수도 있다. numAvailableTransportChannelBits 가 변화한다는 것 (예를 들어, 각각의 반복 이후에 작아진다는 것) 을 고려하면, 이에 의해, NumFGchannels[i] 신택스 엘리먼트 및 NumBGchannels[i] 신택스 엘리먼트를 표현하기 위해 사용된 비트들의 수는 NumFGchannels[i] 신택스 엘리먼트 및 NumBGchannels [i] 신택스 엘리먼트를 시그널링하는데 있어서 오버헤드를 잠재적으로 감소시키는 가변 길이 코딩의 형태를 제공한다.
상기 언급한 바와 같이, 스케일러블 비트스트림 생성 유닛 (1000) 은 NumFGchannels 및 NumBGchannels 신택스 엘리먼트들 대신에 NumChannels 신택스 엘리먼트를 특정할 수도 있다. 이러한 경우에서, 스케일러블 추출 유닛 (1012) 은 상기 나타낸 제 2 HOADecoderConfig 신택스 표에 따라 동작하도록 구성될 수도 있다.
이에 관하여, 스케일러블 추출 유닛 (1012) 은, 표시가 비트스트림의 층들의 수가 이전 프레임에서 비트스트림의 층들의 수와 비교할 때 현재 프레임에서 변화되었다는 것을 나타낼 때, 이전 프레임의 층들 중 하나 이상에서 컴포넌트들의 수에 기초하여 현재 프레임에 대한 층들 중 하나 이상에서 컴포넌트들의 수의 표시를 획득할 수도 있다. 스케일러블 추출 유닛 (1012) 은 컴포넌트들의 수의 표시에 기초하여 현재 프레임에 대한 하나 이상의 층들에서 배경 컴포넌트들의 수의 표시를 더 획득할 수도 있다. 스케일러블 추출 유닛 (1012) 은 컴포넌트들의 수의 표시에 기초하여 현재 프레임에 대한 하나 이상의 층들에서 전경 컴포넌트들의 수의 표시를 또한 획득할 수도 있다.
전경 및 배경 채널들의 수의 표시가 프레임마다 변화될 수도 있는 층들의 수가 프레임마다 변화될 수도 있다는 것을 고려하면, 층들의 수가 변화되었다는 표시는 채널들의 수가 변화되었다는 것을 실질적으로 또한 나타낼 수도 있다. 그 결과, 층들의 수가 변화되었다는 표시는, 비트스트림 (21) 에서 하나 이상의 층들에서 특정된 채널들의 수가 이전 프레임의 비트스트림에서 하나 이상의 층들에서 특정된 채널들의 수와 비교할 때 현재 프레임에서 변화되었는지 여부의 표시를 스케일러블 추출 유닛 (1012) 이 획득하게 할 수도 있다. 이와 같이, 스케일러블 추출 유닛 (1012) 은 비트스트림에서 하나 이상의 층들에서 특정된 채널들의 수가 현재 프레임에서 변화되었는지 여부의 표시에 기초하여 채널들 중 하나를 획득할 수도 있다.
더욱이, 스케일러블 추출 유닛 (1012) 은, 표시가 비트스트림 (21) 의 하나 이상의 층들에서 특정된 채널들의 수가 이전 프레임에서 비트스트림의 하나 이상의 층들에서 특정된 채널들의 수와 비교할 때 현재 프레임에서 변화되지 않았다는 것을 나타낼 때, 이전 프레임에서 비트스트림 (21) 의 하나 이상의 층들에서 특정된 채널들의 수와 동일한 것으로서 현재 프레임에서 비트스트림 (21) 의 하나 이상의 층들에서 특정된 채널들의 수를 결정할 수도 있다.
또한, 스케일러블 추출 유닛은 (1012) 은, 표시가 비트스트림 (21) 의 하나 이상의 층들에서 특정된 채널들의 수가 이전 프레임에서 비트스트림의 하나 이상의 층들에서 특정된 채널들의 수와 비교할 때 현재 프레임에서 변화되지 않았다는 것을 나타낼 때, 현재 프레임에 대한 층들 중 하나 이상에서 채널들의 현재 수의 표시를 이전 프레임의 층들 중 하나 이상에서 채널들의 이전 수와 동일한 것으로 획득할 수도 있다.
(본 개시에서 "채널들" 로서 또한 지칭될 수도 있는) 층들 및 컴포넌트들의 수의 다양한 표시들의 시그널링을 잠재적으로 감소시킬 수도 있는 상술한 기술들을 인에이블하기 위해, 스케일러블 추출 유닛 (1012) 은 모든 i개 층들을 통해 반복하는 NumChannels_PrevFrame[i] 신택스 엘리먼트를 현재 프레임에 대한 표시들 (예를 들어, NumChannels[i] 신택스 엘리먼트) 로 설정할 수도 있다. 이것은 아래의 신택스로 표현된다:
대안으로, 상술한 신택스 (NumLayersPrevFrame=NumLayers 등) 는 생략될 수도 있으며, 상기 열거된 신택스 표 HOADecoderConfig(numHOATransportChannels) 는 아래의 표에 설명된 바와 같이 업데이트될 수도 있다:
또 다른 대안으로, 추출 유닛 (72) 은 상기 열거된 제 3 HOADecoderConfig 에 따라 동작할 수도 있다. 상기 열거된 제 3 HOADecoderConfig 신택스 표에 따르면, 스케일러블 추출 유닛 (1012) 은 스케일러블 비트스트림 (21) 으로부터, 비트스트림에서 하나 이상의 층들에서 측정된 채널들의 수의 표시를 획득하며, (음장의 배경 컴포넌트 또는 전경 컴포넌트로 지칭할 수도 있는) 채널들의 수의 표시에 기초하여 비트스트림에서 하나 이상의 층들에서 특정된 채널들을 획득하도록 구성될 수도 있다. 이들 및 다른 경우들에서, 스케일러블 추출 유닛 (1012) 은 채널들의 수를 나타내는 신택스 엘리먼트 (예를 들어, 상기 참조된 표에서 codedLayerCh) 를 획득하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 스케일러블 추출 (1012) 은 비트스트림에서 특정된 채널들의 총 수의 표시를 특정하도록 구성될 수도 있다. 스케일러블 추출 유닛 (1012) 은 하나 이상의 층들에서 특정된 채널들의 수의 표시 및 채널들의 총 수의 표시에 기초하여 하나 이상의 층들에서 특정된 채널들을 획득하도록 또한 구성될 수도 있다. 이들 및 다른 경우들에서, 스케일러블 추출 유닛 (1012) 은 채널들의 총 수를 나타내는 신택스 엘리먼트 (예를 들어, 상기 언급된 NumHOATransportChannels 신택스 엘리먼트) 를 획득하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 스케일러블 추출 유닛 (1012) 은 비트스트림에서 하나 이상의 층들에서 특정된 채널들 중 하나의 타입의 표시를 획득하도록 구성될 수도 있다. 스케일러블 추출 유닛 (1012) 은 층들의 수의 표시 및 채널들 중 하나의 타입의 표시에 기초하여 채널들 중 하나를 획득하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 스케일러블 추출 유닛 (1012) 은 비트스트림에서 하나 이상의 층들에서 특정된 채널들 중 하나의 타입의 표시를 획득하도록 구성될 수도 있고, 채널들 중 하나의 타입의 표시는 채널들 중 하나가 전경 채널이라는 것을 나타낸다. 스케일러블 추출 유닛 (1012) 은 층들의 수의 표시 및 채널들 중 하나의 타입이 전경 채널이라는 표시에 기초하여 채널들 중 하나를 획득하도록 구성될 수도 있다. 이들 경우들에서, 채널들 중 하나는 US 오디오 오브젝트 및 대응하는 V-벡터를 포함한다.
이들 및 다른 경우들에서, 스케일러블 추출 유닛 (1012) 은 비트스트림에서 하나 이상의 층들에서 특정된 채널들 중 하나의 타입의 표시를 획득하도록 구성될 수도 있고, 채널들 중 하나의 타입의 표시는 채널들 중 하나가 배경 채널이라는 것을 나타낸다. 이들 경우들에서, 스케일러블 추출 유닛 (1012) 은 층들의 수의 표시 및 채널들 중 하나의 타입이 배경 채널이라는 표시에 기초하여 채널들 중 하나를 획득하도록 또한 구성될 수도 있다. 이들 경우들에서, 채널들 중 하나는 배경 고차 앰비소닉 계수를 포함한다.
이들 및 다른 경우들에서, 스케일러블 추출 유닛 (1012) 은 채널들 중 하나의 타입을 나타내는 신택스 엘리먼트 (예를 들어, 도 30 에 관하여 상술한 ChannelType 신택스 엘리먼트) 를 획득하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 스케일러블 추출 유닛 (1012) 은 층들 중 하나가 획득된 이후에 비트스트림에 남아 있는 채널들의 수에 기초하여 채널들의 수의 표시를 획득하도록 구성될 수도 있다. 즉, HOALayerChBits 신택스 엘리먼트의 값은 반복문 (while loop) 동안 전반적으로 상기 신택스 표에서 설명된 바와 같이 remainingCh 신택스 엘리먼트의 함수로서 변화한다. 그 후, 스케일러블 추출 유닛 (1012) 은 변화하는 HOALayerChBits 신택스 엘리먼트에 기초하여 codedLayerCh 신택스 엘리먼트를 분석할 수도 있다.
4개의 배경 채널들 및 2개의 전경 채널들의 예로 돌아가서, 스케일러블 추출 유닛 (1012) 은 층들의 수가 2개, 즉, 도 6 의 예에서 베이스 층 (21A) 및 강화층 (21B) 이라는 표시를 수신할 수도 있다. 스케일러블 추출 유닛 (1012) 은 전경 채널들의 수가 (예를 들어, NumFGchannels[0] 로부터) 베이스 층 (21A) 에 대해 0개 및 (예를 들어, NumFGchannels[1] 로부터) 강화층 (21B) 에 대해 2개라는 표시를 획득할 수도 있다. 이러한 예에서, 스케일러블 추출 유닛 (1012) 은 배경 채널들의 수가 (예를 들어, NumBGchannels[0] 로부터) 베이스 층 (21A) 에 대해 4개 및 (예를 들어, NumBGchannels[1] 로부터) 강화층 (21B) 에 대해 0개라는 표시를 또한 획득할 수도 있다. 특정한 예에 관하여 설명하였지만, 배경 및 전경 채널들의 임의의 상이한 조합이 표시될 수도 있다. 그 후, 스케일러블 추출 유닛 (1012) 은 (측파대 정보로부터의 대응하는 V-벡터 정보 (57A 및 57B) 와 함께) 베이스 층 (21A) 으로부터 4개의 배경 채널들 (59A 내지 59D) 및 강화층 (21B) 으로부터 2개의 전경 채널들 (61A 및 61B) 을 추출할 수도 있다.
NumFGchannels 및 NumBGchannels 신택스 엘리먼트에 관하여 상술하였지만, 기술들은 상기 ChannelSideInfo 신택스 표로부터 ChannelType 신택스 엘리먼트를 사용하여 또한 수행될 수도 있다. 이에 관하여, NumFGchannels 및 NumBGchannels 는 채널들 중 하나의 타입의 표시를 또한 표현할 수도 있다. 다시 말해, NumBGchannels 는 채널들 중 하나의 타입이 배경 채널이라는 표시를 표현할 수도 있다. NumFGchannels 는 채널들 중 하나의 타입이 전경 채널이라는 표시를 표현할 수도 있다.
이와 같이, ChannelType 신택스 엘리먼트 또는 NumBGchannels 신택스 엘리먼트와 함께 NumFGchannels 신택스 엘리먼트가 사용되든지 (또는 잠재적으로, 양자 또는 일부 서브세트), 스케일러블 비트스트림 추출 유닛 (1012) 은 비트스트림에서 하나 이상의 층들에서 특정된 채널들 중 하나의 타입의 표시를 획득할 수도 있다. 스케일러블 비트스트림 추출 유닛 (1012) 은, 타입의 표시가 채널들 중 하나가 배경 채널이라는 것을 나타낼 때, 층들의 수의 표시 및 채널들 중 하나의 타입이 배경 채널이라는 표시에 기초하여 채널들 중 하나를 획득할 수도 있다. 스케일러블 비트스트림 추출 유닛 (1012) 은, 타입의 표시가 채널들 중 하나가 전경 채널이라는 것을 나타낼 때, 층들의 수의 표시 및 채널들 중 하나의 타입이 전경 채널이라는 표시에 기초하여 채널들 중 하나를 획득할 수도 있다.
V-벡터 재구성 유닛 (74) 은 인코딩된 전경 V[k] 벡터들 (57) 로부터 V-벡터들을 재구성하도록 구성된 유닛을 표현할 수도 있다. V-벡터 재구성 유닛 (74) 은 양자화 유닛 (52) 과 상반된 방식으로 동작할 수도 있다.
음향심리 디코딩 유닛 (80) 은 인코딩된 주변 HOA 계수들 (59) 및 인코딩된 nFG 신호들 (61) 을 디코딩하여 조정된 주변 HOA 오디오 신호들 (67') 및 (조정된 보간된 nFG 오디오 오브젝트들 (49') 로서 또한 지칭될 수도 있는) 조정된 보간된 nFG 신호들 (49") 를 생성하도록 도 3 의 예에 도시된 음향심리 오디오 코더 유닛 (40) 과 상반된 방식으로 동작할 수도 있다. 음향심리 디코딩 유닛 (80) 은 조정된 주변 HOA 오디오 신호들 (67') 및 조정된 보간된 nFG 신호들 (49") 을 역 이득 제어 유닛 (86) 에 패스할 수도 있다.
역 이득 제어 유닛 (86) 은 조정된 주변 HOA 오디오 신호들 (67') 및 조정된 보간된 nFG 신호들 (49") 각각에 관하여 역 이득 제어를 수행하도록 구성된 유닛을 표현할 수도 있고, 여기서, 이러한 역 이득 제어는 이득 제어 유닛 (62) 에 의해 수행된 이득 제어와 상반된다. 역 이득 제어 유닛 (86) 은 도 11 내지 도 13b 의 예들에 관하여 상기 논의한 측파대 정보에서 특정된 대응하는 HOAGCD 에 따라 역 이득 제어를 수행할 수도 있다. 역 이득 제어 유닛 (86) 은 비상관된 주변 HOA 오디오 신호들 (67) 을 (도 4 의 예에서 "재상관 유닛 (88)" 으로서 도시된) 재상관 유닛 (88) 으로 출력할 수도 있고, 보간된 nFG 오디오 신호 (49") 를 전경 공식화 유닛 (78) 으로 출력할 수도 있다.
재상관 유닛 (88) 은 비상관된 주변 HOA 오디오 신호들 (67) 의 배경 채널들 사이의 상관을 감소시켜 잡음 언마스킹 (noise unmasking) 을 감소시키거나 완화시키기 위해 본 개시의 기술들을 구현할 수도 있다. 재상관 유닛 (88) 이 선택된 재상관 변환으로서 UHJ 행렬 (예를 들어, 역 UHJ 행렬) 을 적용하는 예들에서, 재상관 유닛 (81) 은 데이터 프로세싱 동작들을 감소시킴으로써 압축 레이트들을 향상시키고 컴퓨팅 자원들을 보존할 수도 있다.
일부 예들에서, 스케일러블 비트스트림 (21) 은 비상관 변환이 인코딩 동안 적용되었다는 것을 나타내는 하나 이상의 신택스 엘리먼트를 포함할 수도 있다. 벡터-기반 비트스트림 (21) 에서 이러한 신택스 엘리먼트의 포함은 재상관 유닛 (88) 이 비상관된 주변 HOA 오디오 신호들 (67) 에 대해 상반된 비상관 (예를 들어, 상관 또는 재상관) 을 수행할 수 있게 할 수도 있다. 일부 예들에서, 신호 신택스 엘리먼트들은 UHJ 행렬 또는 모드 행렬과 같은 어느 비상관 변환이 적용되었는지 여부를 나타낼 수도 있어서, 재상관 유닛 (88) 이 비상관 HOA 오디오 신호들 (67) 에 적용할 적합한 재상관 변환을 선택할 수 있게 할 수도 있다.
재상관 유닛 (88) 은 에너지 보상된 주변 HOA 계수들 (47') 을 획득하기 위해 비상관된 주변 HOA 오디오 신호들 (67) 에 관하여 재상관을 수행할 수도 있다. 재상관 유닛 (88) 은 에너지 보상된 주변 HOA 계수들 (47') 을 페이드 유닛 (770) 에 출력할 수도 있다. 비상관을 수행하는 것으로 설명하지만, 일부 예들에서는, 비상관은 수행되지 않을 수도 있다. 이와 같이, 벡터-기반 재구성 유닛 (92) 은 재상관 유닛 (88) 을 수행하지 않을 수도 있거나 일부 예들에서는 재상관 유닛 (88) 을 포함하지 않을 수도 있다. 일부 예들에서 재상관 유닛 (88) 의 부재는 재상관 유닛 (88) 의 파선에 의해 표기된다.
공간-시간 보간 유닛 (76) 은 공간-시간 보간 유닛 (50) 에 관하여 상술한 바와 유사한 방식으로 동작할 수도 있다. 공간-시간 보간 유닛 (76) 은 감소된 전경 V[k] 벡터들 (55k) 을 수신할 수도 있고, 보간된 전경 V[k] 벡터들 (55k") 을 생성하기 위해 전경 V[k] 벡터들 (55k) 및 감소된 전경 V[k-1] 벡터들 (55k-1) 에 관하여 공간-시간 보간을 수행할 수도 있다. 공간-시간 보간 유닛 (76) 은 보간된 전경 V[k] 벡터들 (55k") 를 페이드 유닛 (770) 에 포워딩할 수도 있다.
추출 유닛 (72) 은 주변 HOA 계수들 중 하나가 페이드 유닛 (770) 으로 천이되는 때를 나타내는 신호 (757) 를 또한 출력할 수도 있고, 그 후, 이 페이드 유닛 (770) 은 SHCBG (47') (여기서, SHCBG (47') 는 "주변 HOA 채널들 (47')" 또는 "주변 HOA 계수들 (47')" 로서 또한 표기될 수도 있음) 및 보간된 전경 V[k] 벡터들 (55k") 의 엘리먼트들 중 어느 것이 페이드-인 (fade-in) 또는 페이드-아웃 (fade-out) 되는지 여부를 결정할 수도 있다. 일부 예들에서, 페이드 유닛 (770) 은 주변 HOA 계수들 (47') 및 보간된 전경 V[k] 벡터들 (55k") 각각에 관하여 반대로 동작할 수도 있다. 즉, 페이드 유닛 (770) 은 보간된 전경 V[k] 벡터들 (55k") 의 엘리먼트들 중 대응하는 하나에 관하여 페이드-인 또는 페이드 아웃 또는 페이드-인 및 페이드-아웃 양자를 수행하면서 주변 HOA 계수들 (47') 중 대응하는 하나에 관하여 페이드-인 또는 페이드 아웃 또는 페이드-인 및 페이드-아웃 양자를 수행할 수도 있다. 페이드 유닛 (770) 은 조정된 주변 HOA 계수들 (47") 을 HOA 계수 공식화 유닛 (82) 에 그리고 조정된 전경 V[k] 벡터들 (55k") 전경 공식화 유닛 (78) 에 출력할 수도 있다. 이에 관하여, 페이드 유닛 (770) 은 예를 들어, 주변 HOA 계수들 (47') 및 보간된 전경 V[k] 벡터들 (55k") 의 엘리먼트들의 형태로, HOA 계수들 또는 그것의 도함수들의 다양한 양태들에 관하여 페이드 동작을 수행하도록 구성된 유닛을 표현한다.
전경 공식화 유닛 (78) 은 전경 HOA 계수들 (65) 을 생성하기 위해 조정된 전경 V[k] 벡터들 (55k") 및 보간된 nFG 신호들 (49') 에 관하여 행렬곱을 수행하도록 구성된 유닛을 표현할 수도 있다. 이에 관하여, 전경 공식화 유닛 (78) 은 HOA 계수들 (11') 의 전경, 또는 다시 말해, 우세한 양태들을 재구성하기 위해 (보간된 nFG 신호들 (49') 을 표기하기 위한 다른 방식인) 오디오 오브젝트들 (49') 을 벡터들 (55k") 과 조합할 수도 있다. 전경 공식화 유닛 (78) 은 조정된 전경 V[k] 벡터들 (55k") 에 의해 보간된 nFG 신호들 (49') 의 행렬곱을 수행할 수도 있다.
HOA 계수 공식화 유닛 (82) 은 HOA 계수들 (11') 을 획득하도록 조정된 주변 HOA 계수들 (47") 에 전경 HOA 계수들 (65) 을 조합하도록 구성된 유닛을 표현할 수도 있다. 프라임 (prime) 표기법은 HOA 계수들 (11') 이 HOA 계수들 (11) 과 유사할 수도 있지만 동일하지 않을 수도 있다는 것을 반영한다. HOA 계수들 (11 및 11') 사이의 차이는 손실 송실 매체를 통한 송신, 양자화 또는 다른 손실 동작들으로 인한 손실로부터 발생할 수도 있다.
도 14a 및 도 14b 는 본 개시에 설명되는 기술들의 다양한 양태들을 수행하는데 있어서 오디오 인코딩 디바이스 (20) 의 예시적인 동작들을 예시하는 흐름도들이다. 도 14a 를 먼저 참조하면, 오디오 인코딩 디바이스 (20) 는 상술한 방식 (예를 들어, 선형 분해, 보간 등) HOA 계수들 (11) 의 현재 프레임에 대한 채널들을 획득할 수도 있다 (500). 채널들은 인코딩된 주변 HOA 계수들 (59), 인코딩된 nFG 신호들 (61) (및 코딩된 전경 V-벡터들 (57) 의 형태의 대응하는 측파대) 또는 인코딩된 주변 HOA 계수 (59) 및 인코딩된 nFG 신호들 (61) 및 (코딩된 전경 V-벡터들 (57) 의 형태의 대응하는 측파대) 양자를 포함할 수도 있다.
그 후, 오디오 인코딩 디바이스 (20) 의 비트스트림 생성 유닛 (42) 은 상술한 방식으로 스케일러블 비트스트림 (21) 에서 층들의 수의 표시를 특정할 수도 있다 (502). 비트스트림 생성 유닛 (42) 은 스케일러블 비트스트림 (21) 의 현재 층에서 채널들의 서브세트를 특정할 수도 있다 (504). 비트스트림 생성 유닛 (42) 은 현재 층에 대한 카운터를 유지할 수도 있고, 여기서, 카운터는 현재 층의 표시를 제공한다. 현재 층에서 채널들을 특정한 이후에, 비트스트림 생성 유닛 (42) 은 카운터를 증분할 수도 있다.
그 후, 비트스트림 생성 유닛 (42) 은 현재 층 (예를 들어, 카운터) 이 비트스트림에서 특정된 층들의 수 보다 큰지를 결정할 수도 있다 (506). 현재 층이 층들의 수보다 크지 않을 때 (506 에서 "아니오"), 비트스트림 생성 유닛 (42) 은 (카운터가 증분될 때 변화되는) 현재 층에서 채널들의 상이한 서브세트를 특정할 수도 있다 (504). 비트스트림 생성 유닛 (42) 은 현재 층이 층들의 수보다 클 때까지 (506에서 "예") 이러한 방식으로 계속할 수도 있다. 현재 층이 층들의 수보다 클 때 (506 에서 "예"), 비트스트림 생성 유닛은 현재 프레임이 이전 프레임이 되는 다음 프레임으로 진행할 수도 있고, 스케일러블 비트스트림 (21) 의 현재 프레임에 대한 채널들을 획득할 수도 있다 (500). 프로세스는 HOA 계수들 (11) 의 최종 프레임에 도달할 때까지 계속될 수도 있다 (500 내지 506). 상기 언급한 바와 같이, 일부 예들에서, 층들의 수의 표시는 (예를 들어 층들의 수가 이전 프레임으로부터 현재 프레임으로 변화되지 않았을 때) 명시적으로 표시되지 않고 스케일러블 비트스트림 (21) 에서 암시적으로 특정될 수도 있다.
다음으로 도 14b 를 참조하면, 오디오 인코딩 디바이스 (20) 는 상술한 방식 (예를 들어, 선형 분해, 보간 등) HOA 계수들 (11) 의 현재 프레임에 대한 채널들을 획득할 수도 있다 (510). 채널들은 인코딩된 주변 HOA 계수들 (59), 인코딩된 nFG 신호들 (61) (및 코딩된 전경 V-벡터들 (57) 의 형태의 대응하는 측파대) 또는 인코딩된 주변 HOA 계수 (59) 및 인코딩된 nFG 신호들 (61) 및 (코딩된 전경 V-벡터들 (57) 의 형태의 대응하는 측파대) 양자를 포함할 수도 있다.
그 후, 오디오 인코딩 디바이스 (20) 의 비트스트림 생성 유닛 (42) 은 상술한 방식으로 스케일러블 비트스트림 (21) 의 층에서 채널들의 수의 표시를 특정할 수도 있다 (512). 비트스트림 생성 유닛 (42) 은 스케일러블 비트스트림 (21) 의 현재 층에서 대응하는 채널들을 특정할 수도 있다 (514).
그 후, 비트스트림 생성 유닛 (42) 은 현재 층 (예를 들어, 카운터) 이 층들의 수보다 큰지를 결정할 수도 있다 (516). 즉, 도 14b 의 예에서, 층들의 수는 (스케일러블 비트스트림 (21) 에서 특정되기 보다는) 정적이거나 고정될 수도 있는 반면에, 층 마다 채널들의 수는, 채널들의 수가 정적이거나 고정될 수도 있고 시그널링되지 않을 수도 있는 도 14a 의 예와 달리 특정될 수도 있다. 비트스트림 생성 유닛 (42) 은 현재 층을 나타내는 카운터를 여전히 유지할 수도 있다.
(카운터에 의해 표시된 바와 같이) 현재 층이 층들의 수보다 크지 않을 때 (516 에서 "아니오"), 비트스트림 생성 유닛 (42) 은 (카운트의 증분으로 인해 변화되는) 현재 층에 대한 스케일러블 비트스트림 (21) 의 다른 층에서 채널들의 수의 다른 표시를 특정할 수도 있다 (512). 비트스트림 생성 유닛 (42) 은 비트스트림 (21) 의 추가의 층에서 채널들의 대응하는 수를 또한 특정할 수도 있다 (514). 비트스트림 생성 유닛 (42) 은 현재 층이 층들의 수보다 클 때까지 (516에서 "예") 이러한 방식으로 계속할 수도 있다. 현재 층이 층들의 수보다 클 때 (516 에서 "예"), 비트스트림 생성 유닛은 현재 프레임이 이전 프레임이 되는 다음으로 진행할 수도 있고 스케일러블 비트스트림 (21) 의 현재 프레임에 대한 채널들을 획득할 수도 있다 (510). 프로세스는 HOA 계수들 (11) 의 최종 프레임에 도달할 때까지 계속될 수도 있다 (510 내지 516).
상기 언급한 바와 같이, 일부 예들에서, 채널들의 수의 표시는 (예를 들어 층들의 수가 이전 프레임으로부터 현재 프레임으로 변화되지 않았을 때) 명시적으로 표시되지 않고 스케일러블 비트스트림 (21) 에서 암시적으로 특정될 수도 있다. 더욱이, 개별 프로세스들로서 설명되지만, 도 14a 및 도 14b 에 관하여 설명한 기술들은 상술한 방식과 조합하여 수행될 수도 있다.
도 15a 및 도 15b 는 본 개시에 설명되는 기술들의 다양한 양태들을 수행하는데 있어서 오디오 디코딩 디바이스 (24) 의 예시적인 동작들을 예시하는 흐름도들이다. 도 15a 를 먼저 참조하면, 오디오 디코딩 디바이스 (24) 는 스케일러블 비트스트림 (21) 으로부터 현재 프레임을 획득할 수도 있다 (520). 현재 프레임은, 각각이 하나 이상의 채널들을 포함할 수도 있는 하나 이상의 층들을 포함할 수도 있다. 채널들은 인코딩된 주변 HOA 계수들 (59), 인코딩된 nFG 신호들 (61) (및 코딩된 전경 V-벡터들 (57) 의 형태의 대응하는 측파대) 또는 인코딩된 주변 HOA 계수 (59) 및 인코딩된 nFG 신호들 (61) 및 (코딩된 전경 V-벡터들 (57) 의 형태의 대응하는 측파대) 양자를 포함할 수도 있다.
그 후, 오디오 디코딩 디바이스 (24) 의 추출 유닛 (72) 은 상술한 방식으로 스케일러블 비트스트림 (21) 의 현재 프레임에서 층들의 수의 표시를 획득할 수도 있다 (522). 추출 유닛 (72) 은 스케일러블 비트스트림 (21) 의 현재 층에서 채널들의 서브세트를 획득할 수도 있다 (524). 추출 유닛 (72) 은 현재 층에 대한 카운터를 유지할 수도 있고, 여기서, 카운터는 현재 층의 표시를 제공한다. 현재 층에서 채널들을 특정한 이후에, 추출 유닛 (72) 은 카운터를 증분할 수도 있다.
그 후, 추출 유닛 (72) 은 현재 층 (예를 들어, 카운터) 이 비트스트림에서 특정된 층들의 수 보다 큰지를 결정할 수도 있다 (526). 현재 층이 층들의 수보다 크지 않을 때 (526 에서 "아니오"), 비트스트림 생성 유닛 (72) 은 (카운터가 증분될 때 변화되는) 현재 층에서 채널들의 상이한 서브세트를 특정할 수도 있다 (524). 추출 유닛 (72) 은 현재 층이 층들의 수보다 클 때까지 (526에서 "예") 이러한 방식으로 계속할 수도 있다. 현재 층이 층들의 수보다 클 때 (526 에서 "예"), 추출 유닛 (72) 은 현재 프레임이 이전 프레임이 되는 다음 프레임으로 진행할 수도 있고, 스케일러블 비트스트림 (21) 의 현재 프레임을 획득할 수도 있다 (520). 프로세스는 스케일러블 비트스트림 (21) 의 최종 프레임에 도달할 때까지 계속될 수도 있다 (520 내지 526). 상기 언급한 바와 같이, 일부 예들에서, 층들의 수의 표시는 (예를 들어 층들의 수가 이전 프레임으로부터 현재 프레임으로 변화되지 않았을 때) 명시적으로 표시되지 않고 스케일러블 비트스트림 (21) 에서 암시적으로 특정될 수도 있다.
다음으로 도 15b 를 참조하면, 오디오 디코딩 디바이스 (24) 는 스케일러블 비트스트림 (21) 으로부터 현재 프레임을 획득할 수도 있다 (530). 현재 프레임은, 각각이 하나 이상의 채널들을 포함할 수도 있는 하나 이상의 층들을 포함할 수도 있다. 채널들은 인코딩된 주변 HOA 계수들 (59), 인코딩된 nFG 신호들 (61) (및 코딩된 전경 V-벡터들 (57) 의 형태의 대응하는 측파대) 또는 인코딩된 주변 HOA 계수 (59) 및 인코딩된 nFG 신호들 (61) 및 (코딩된 전경 V-벡터들 (57) 의 형태의 대응하는 측파대) 양자를 포함할 수도 있다.
그 후, 오디오 디코딩 디바이스 (24) 의 추출 유닛 (72) 은 상술한 방식으로 스케일러블 비트스트림 (21) 의 층에서 채널들의 수의 표시를 획득할 수도 있다 (532). 비트스트림 생성 유닛 (42) 은 스케일러블 비트스트림 (21) 의 현재 층으로부터 채널들의 대응하는 수를 획득할 수도 있다 (534).
그 후, 추출 유닛 (72) 은 현재 층 (예를 들어, 카운터) 이 층들의 수보다 큰지를 결정할 수도 있다 (536). 즉, 도 15b 의 예에서, 층들의 수는 (스케일러블 비트스트림 (21) 에서 특정되기 보다는) 정적이거나 고정될 수도 있는 반면에, 층 마다 채널들의 수는, 채널들의 수가 정적이거나 고정될 수도 있고 시그널링되지 않을 수도 있는 도 15a 의 예와 달리 특정될 수도 있다. 추출 유닛 (72) 은 현재 층을 나타내는 카운터를 여전히 유지할 수도 있다.
카운터에 의해 표시된 바와 같이) 현재 층이 층들의 수보다 크지 않을 때 (536 에서 "아니오"), 추출 유닛 (72) 은 (카운트의 증분으로 인해 변화되는) 현재 층에 대한 스케일러블 비트스트림 (21) 의 다른 층에서 채널들의 수의 다른 표시를 획득할 수도 있다 (532). 추출 유닛 (72) 은 비트스트림 (21) 의 추가의 층에서 채널들의 대응하는 수를 또한 특정할 수도 있다 (514). 추출 유닛 (72) 은 현재 층이 층들의 수보다 클 때까지 (516에서 "예") 이러한 방식으로 계속할 수도 있다. 현재 층이 층들의 수보다 클 때 (516 에서 "예"), 비트스트림 생성 유닛은 현재 프레임이 이전 프레임이 되는 다음 프레임으로 진행할 수도 있고, 스케일러블 비트스트림 (21) 의 현재 프레임에 대한 채널들을 획득할 수도 있다 (510). 프로세스는 HOA 계수들 (11) 의 최종 프레임에 도달할 때까지 계속될 수도 있다 (510 내지 516).
상기 언급한 바와 같이, 일부 예들에서, 채널들의 수의 표시는 (예를 들어 층들의 수가 이전 프레임으로부터 현재 프레임으로 변화되지 않았을 때) 명시적으로 표시되지 않고 스케일러블 비트스트림 (21) 에서 암시적으로 특정될 수도 있다. 더욱이, 개별 프로세스들로서 설명되지만, 도 15a 및 도 15b 에 관하여 설명한 기술들은 상술한 방식과 조합하여 수행될 수도 있다.
도 16 은 본 개시에 설명되는 기술들의 다양한 양태들에 따라 도 16 의 예에 도시된 비트스트림 생성 유닛 (42) 에 의해 수행될 때의 스케일러블 오디오 코딩을 예시하는 도면이다. 도 16 의 예에서, 도 2 및 도 3 의 예들에 도시된 오디오 인코딩 디바이스 (20) 와 같은 HOA 오디오 인코더는 ("HOA 신호 (11)" 로서 또한 지칭될 수도 있는) HOA 계수들 (11) 을 인코딩할 수도 있다. HOA 신호 (11) 는 24개의 채널들을 포함할 수도 있고, 각각의 채널은 1024개의 샘플들을 갖는다. 상기 언급한 바와 같이, 각각의 채널은 1024개의 샘플들을 포함하고, 이는 구면 기저 함수들 중 하나에 대응하는 1024개 HOA 계수들을 지칭할 수도 있다. 오디오 인코딩 디바이스 (20) 는 도 5 의 예에 도시된 비트스트림 생성 유닛 (42) 에 관하여 상술한 바와 같이, HOA 신호 (11) 로부터 ("배경 HOA 채널들 (59") 로서 또한 지칭될 수도 있는) 인코딩된 주변 HOA 계수들 (59) 을 획득하기 위해 다양한 동작들을 수행할 수도 있다.
도 16 의 예에 더 도시되어 있는 바와 같이, 오디오 인코딩 디바이스 (20) 는 HOA 신호 (11) 의 제 1 4개의 채널들로서 배경 HOA 채널들 (59) 을 획득한다. 배경 HOA 채널들 (59) 은 
로서 표기되고, 여기서, 1:4 는 HOA 신호 (11) 의 제 1 4개의 채널들이 음장의 배경 컴포넌트들을 표현하기 위해 선택되었다는 것을 반영한다. 이러한 채널 선택은 신택스 엘리먼트에서 B=4 로서 시그널링될 수도 있다. 그 후, 오디오 인코딩 디바이스 (20) 의 스케일러블 비트스트림 생성 유닛 (1000) 은 (2개 이상의 층들 중 제 1 층으로서 지칭될 수도 있는) 베이스 층 (21A) 에서 HOA 배경 채널들 (59) 을 특정할 수도 있다.
스케일러블 비트스트림 생성 유닛 (1000) 은 아래의 수학식에 따라 특정된 바와 같이 배경 채널들 (59) 및 이득 제어를 포함하도록 베이스 층 (21A) 을 생성할 수도 있다:
도 16 의 예에 더 도시되어 있는 바와 같이, 오디오 인코딩 디바이스 (20) 는 US 오디오 오브젝트들 및 대응하는 V-벡터로서 표현될 수도 있는 F 전경 HOA 채널들을 획득할 수도 있다. 예시의 목적을 위해, F = 2 가 가정된다. 따라서, 오디오 인코딩 디바이스 (20) 는 ("인코딩된 nFG 신호들 (61)" 로 또한 지칭될 수도 있는) 제 1 및 제 2 US 오디오 오브젝트들 (61) 및 ("코딩된 전경 V[k] 벡터들 (57)" 로 또한 지칭될 수도 있는) 제 1 및 제 2 V-벡터들 (57) 을 선택할 수도 있고, 여기서, 선택은 도 5 의 예에서 
및 
각각으로 표기된다. 그 후, 스케일러블 비트스트림 생성 유닛 (1000) 은 제 1 및 제 2 US 오디오 오브젝트들 (61) 및 제 1 및 제 2 V-벡터들 (57) 을 포함하도록 스케일러블 비트스트림 (21) 의 제 2 층 (21B) 을 생성할 수도 있다.
스케일러블 비트스트림 생성 유닛 (1000) 은 아래의 수학식에 따라 특정된 바와 같이 V-벡터들 (57) 와 함께 전경 HOA 채널들 (61) 및 이득 정보를 포함하도록 강화층 (21B) 을 또한 생성할 수도 있다:
스케일러블 비트스트림 (21') 으로부터 HOA 계수들 (11') 을 획득하기 위해, 도 2 및 도 3 의 예들에 도시된 오디오 디코딩 디바이스 (24) 는 도 6 의 예에 더욱 상세히 도시된 추출 유닛 (72) 을 인보크할 수도 있다. 추출 유닛 (72) 은 도 6 에 관하여 상술한 방식으로 인코딩된 주변 HOA 계수들 (59A 내지 59D), 인코딩된 nFG 신호들 (61A 및 61B), 및 코딩된 전경 V[k] 벡터들 (57A 및 57B) 을 추출할 수도 있다. 그 후, 추출 유닛 (72) 은 인코딩된 주변 HOA 계수들 (59A 내지 59D), 인코딩된 nFG 신호들 (61A 및 61B), 및 코딩된 전경 V[k] 벡터들 (57A 및 57B) 을 벡터-기반 디코딩 유닛 (92) 에 출력할 수도 있다.
그 후, 벡터-기반 디코딩 유닛 (92) 은 아래의 수학식에 따라 V-벡터들 (57) 에 의해 US 오디오 오브젝트들 (61) 을 승산할 수도 있다:
제 1 수학식은 F 에 관한 일반 동작의 수학적 표현을 제공한다. 제 2 수학식은 F 가 2 와 동일한 것으로 가정되는 예에서 수학적 표현을 제공한다. 이러한 승산의 결과는 전경 HOA 신호 (1020) 으로서 표기된다. 그 후, 벡터-기반 디코딩 유닛 (92) 은 (가장 낮은 4개의 계수들이 HOA 배경 채널들 (59) 로서 이미 선택되었다는 것을 고려하면) 상위 채널들을 선택하고, 여기서, 이들 상위 채널들은 
로서 표기된다. 다시 말해, 벡터-기반 디코딩 유닛 (92) 은 전경 HOA 신호 (1020) 로부터 HOA 전경 채널들 (65) 을 획득한다.
그 결과, 기술들은 다수의 코딩 컨텍스트들을 수용하고 음장의 배경 및 전경 컴포넌트들을 특정하는데 있어서 훨씬 더 많은 플렉시빌리티를 잠재적으로 제공하기 위해 (정적인 수의 층들을 요구하는 것과 반대로) 가변 계층화를 용이하게 할 수도 있다. 기술들은 도 17 내지 도 16 에 관하여 설명하는 바와 같은 다수의 다른 사용 경우들을 제공할 수도 있다. 이들 다양한 사용 경우들은 주어진 오디오 스트림 내에서 개별적으로 또는 함께 수행될 수도 있다. 더욱이, 스케일러블 오디오 인코딩 기술들 내에서 이들 컴포넌트들을 특정하는데 있어서 플렉시빌리티는 다수의 더 많은 사용 경우들 허용할 수도 있다. 다시 말해, 기술들은 후술하는 사용 경우들에 제한되어서는 안되고 배경 및 전경 컴포넌트들이 스케일러블 비트스트림의 하나 이상의 층들에서 시그널링될 수 있는 임의의 방식을 포함할 수도 있다.
도 17 은 베이스 층에서 특정된 4개의 인코딩된 주변 HOA 계수들을 갖는 2개의 층들이 존재하고 2개의 인코딩된 nFG 신호들이 강화층에서 특정된다는 것을 신택스 엘리먼트들이 나타내는 예의 개념도이다. 도 17 의 예는 도 5 의 예에 도시된 스케일러블 비트스트림 생성 유닛 (1000) 이 인코딩된 주변 HOA 계수들 (59A 내지 59D) 에 대한 측파대 HOA 이득 정정 데이터를 포함하는 베이스 층을 형성하기 위해 프레임을 세그먼트화할 수도 있을 때의 HOA 프레임을 도시한다. 스케일러블 비트스트림 생성 유닛 (1000) 은 2개의 코딩된 전경 V[k] 벡터들 (57) 및 인코딩된 주변 nFG 신호들 (61) 에 대한 HOA 이득 정정 데이터를 포함하는 강화층 (21) 을 형성하기 위해 HOA 프레임을 또한 세그먼트화할 수도 있다.
도 17 의 예에 더 도시되어 있는 바와 같이, 음향심리 오디오 인코딩 유닛 (40) 은 베이스 층 시간 인코더 (40A) 로서 지칭될 수도 있는 음향심리 오디오 인코더 (40A) 및 강화층 시간 인코더들 (40B) 로서 지칭될 수도 있는 음향심리 오디오 인코더들 (40B) 의 개별 예시들로 분할되는 것으로 도시되어 있다. 베이스 층 시간 인코더들 (40A) 은 베이스 층의 4개의 컴포넌트들을 프로세싱하는 음향심리 오디오 인코더들의 4개의 예시들을 표현한다. 강화층 시간 인코더들 (40B) 은 강화층의 2개의 컴포넌트들을 프로세싱하는 음향심리 오디오 인코더들의 2개의 예시들을 표현한다.
도 18 은 본 개시에 설명되는 스케일러블 오디오 코딩 기술들의 잠재적 버전들 중 제 2 버전을 수행하도록 구성될 때 도 3 의 비트스트림 생성 유닛 (42) 을 더욱 상세히 예시하는 도면이다. 이러한 예에서, 비트스트림 생성 유닛 (42) 은 도 5 의 예에 관하여 상술한 비트스트림 생성 유닛 (42) 과 실질적으로 유사하다. 그러나, 비트스트림 생성 유닛 (42) 은 2개의 층들 (21A 및 21B) 보다는 3개의 층들 (21A 내지 21C) 을 특정하기 위해 스케일러블 코딩 기술들의 제 2 버전을 수행한다. 스케일러블 비트스트림 생성 유닛 (1000) 은 2개의 인코딩된 주변 HOA 계수들 및 0개의 인코딩된 nFG 신호들이 베이스 층 (21A) 에서 특정된다는 표시들, 0개 인코딩된 주변 HOA 계수들 및 2개의 인코딩된 nFG 신호들이 제 1 강화층 (21B) 에서 특정된다는 표시들, 및 0개의 인코딩된 주변 HOA 계수들 및 2개의 인코딩된 nFG 신호들 (61) 이 제 2 강화층 (21C) 에서 특정된다는 표시들을 특정할 수도 있다. 그 후, 스케일러블 비트스트림 생성 유닛 (1000) 은 베이스 층 (21A) 에서 2개의 인코딩된 주변 HOA 계수들 (59A 및 59B), 제 1 강화층 (21B) 에서 대응하는 2개의 코딩된 전경 V[k] 벡터들 (57A 및 57B) 을 갖는 2개의 인코딩된 nFG 신호들 (61A 및 61B), 및 제 2 강화층 (21C) 에서 대응하는 2개의 코딩된 전경 V[k] 벡터들 (57C 및 57D) 을 갖는 2개의 인코딩된 nFG 신호들 (61C 및 61D) 을 특정할 수도 있다. 그 후, 스케일러블 비트스트림 생성 유닛 (1000) 은 이들 층들을 스케일러블 비트스트림 (21) 으로서 출력할 수도 있다.
도 19 는 본 개시에 설명되는 스케일러블 오디오 디코딩 기술들의 잠재적 버전들 중 제 2 버전을 수행하도록 구성될 때 도 3 의 추출 유닛 (72) 을 더욱 상세히 예시하는 도면이다. 이러한 예에서, 비트스트림 추출 유닛 (72) 은 도 6 의 예에 관하여 상술한 비트스트림 추출 유닛 (72) 과 실질적으로 유사하다. 그러나, 비트스트림 추출 유닛 (72) 은 2개의 층들 (21A 및 21B) 보다는 3개의 층들 (21A 내지 21C) 에 관하여 스케일러블 코딩 기술들의 제 2 버전을 수행한다. 스케일러블 비트스트림 추출 유닛 (1012) 은 2개의 인코딩된 주변 HOA 계수들 및 0개의 인코딩된 nFG 신호들이 베이스 층 (21A) 에서 특정된다는 표시들, 0개 인코딩된 주변 HOA 계수들 및 2개의 인코딩된 nFG 신호들이 제 1 강화층 (21B) 에서 특정된다는 표시들, 및 0개의 인코딩된 주변 HOA 계수들 및 2개의 인코딩된 nFG 신호들이 제 2 강화층 (21C) 에서 특정된다는 표시들을 획득할 수도 있다. 그 후, 스케일러블 비트스트림 추출 유닛 (1012) 은 베이스 층 (21A) 으로부터 2개의 인코딩된 주변 HOA 계수들 (59A 및 59B), 제 1 강화층 (21B) 으로부터 대응하는 2개의 코딩된 전경 V[k] 벡터들 (57A 및 57B) 을 갖는 2개의 인코딩된 nFG 신호들 (61A 및 61B), 및 제 2 강화층 (21C) 으로부터 대응하는 2개의 코딩된 전경 V[k] 벡터들 (57C 및 57D) 을 갖는 2개의 인코딩된 nFG 신호들 (61C 및 61D) 을 획득할 수도 있다. 스케일러블 비트스트림 추출 유닛 (1012) 은 인코딩된 주변 HOA 계수들 (59), 인코딩된 nFG 신호들 (61) 및 코딩된 전경 V[k] 벡터들 (57) 을 벡터-기반 디코딩 유닛 (92) 에 출력할 수도 있다.
도 20 은 도 18 의 비트스트림 생성 유닛 및 도 19 의 추출 유닛이 본 개시에 설명되는 기술들의 잠재적 버전들 중 제 2 버전을 수행할 수도 있는 제 2 사용 경우를 예시하는 도면이다. 예를 들어, 도 18 의 예에 도시된 비트스트림 생성 유닛 (42) 은 스케일러블 비트스트림 (21) 에서 특정된 층들의 수가 3 이라는 것을 나타내기 위해 (이해의 용이함을 위해 "NumberOfLayers" 로서 도시된) NumLayer 신택스 엘리먼트를 특정할 수도 있다. 비트스트림 생성 유닛 (42) 은 ("베이스 층" 으로서 또한 지칭되는) 제 1 층 (21A) 에서 특정되는 배경 채널들의 수가 2 이고 제 1 층 (21B) 에서 특정되는 전경 채널들의 수가 0 (즉, 도 20 의 예에서 B1 = 2, F1 = 0) 이라는 것을 더 특정할 수도 있다. 비트스트림 생성 유닛 (42) 은 ("강화층" 으로서 또한 지칭되는) 제 2 층 (21B) 에서 특정되는 배경 채널들의 수가 0 이고 제 2 층 (21B) 에서 특정되는 전경 채널들의 수가 2 (즉, 도 20 의 예에서 B2 = 0, F2 = 2) 이라는 것을 더 특정할 수도 있다. 비트스트림 생성 유닛 (42) 은 ("강화층" 으로서 또한 지칭되는) 제 2 층 (21C) 에서 특정되는 배경 채널들의 수가 0 이고 제 2 층 (21C) 에서 특정되는 전경 채널들의 수가 2 (즉, 도 20 의 예에서 B3 = 0, F3 = 2) 이라는 것을 더 특정할 수도 있다. 그러나, 오디오 인코딩 디바이스 (20) 는, 전경 및 배경 채널들의 총 수가 (예를 들어, totalNumBGchannels 및 totalNumFGchannels 과 같은 추가의 신택스 엘리먼트들에 의해) 디코더에서 이미 알려져 있을 때 반드시 제 3 층 배경 및 전경 채널 정보를 시그널링하지 않을 수도 있다.
비트스트림 생성 유닛 (42) 은 이들 Bi 및 Fi 값들을 NumBGchannels[i] 및 NumFGchannels[i] 로서 특정할 수도 있다. 상기 예에 대해, 오디오 인코딩 디바이스 (20) 은 NumBGchannels 신택스 엘리먼트를 {2, 0, 0} 으로서 그리고 NumFGchannels 신택스 엘리먼트를 {0, 2, 2} 로서 특정할 수도 있다. 비트스트림 생성 유닛 (42) 은 스케일러블 비트스트림 (21) 에서 배경 HOA 오디오 채널들 (59), 전경 HOA 채널들 (61) 및 V-벡터들 (57) 을 또한 특정할 수도 있다.
도 2 및 도 4 의 예들에 도시된 오디오 디코딩 디바이스 (24) 는 도 19 의 비트스트림 추출 유닛 (72) 에 관하여 상술한 바와 같이 (예를 들어, 상기 HOADecoderConfig 신택스 표에서 설명한 바와 같이) 비트스트림으로부터 이들 신택스 엘리먼트들을 분석하기 위해 오디오 인코딩 디바이스 (20) 와 상반된 방식으로 동작할 수도 있다. 오디오 디코딩 디바이스 (24) 는 도 19 의 비트스트림 추출 유닛 (72) 에 관하여 다시 상술한 바와 같이, 분석된 신택스 엘리먼트들에 따라 비트스트림 (21) 으로부터 대응하는 배경 HOA 오디오 채널들 (1002) 및 전경 HOA 채널들 (1010) 을 또한 분석할 수도 있다.
도 21 은 베이스 층에서 특정되는 2개의 인코딩된 주변 HOA 계수들을 갖는 3개의 층들이 존재하고, 2개의 인코딩된 nFG 신호들이 제 1 강화층에서 특정되며, 2개의 인코딩된 nFG 신호들이 제 2 강화층에서 특정된다는 것을 신택스 엘리먼트들이 나타내는 예의 개념도이다. 도 21 의 예는 도 18 의 예에 도시된 스케일러블 비트스트림 생성 유닛 (1000) 이 인코딩된 주변 HOA 계수들 (59A 내지 59D) 에 대한 측파대 HOA 이득 정정 데이터를 포함하는 베이스 층을 형성하기 위해 프레임을 세그먼트화할 수도 있을 때의 HOA 프레임을 도시한다. 스케일러블 비트스트림 생성 유닛 (1000) 은 2개의 코딩된 전경 V[k] 벡터들 (57) 및 인코딩된 주변 nFG 신호들 (61) 에 대한 HOA 이득 정정 데이터를 포함하는 강화층 (21B) 및 2개의 추가의 코딩된 전경 V[k] 벡터들 (57) 및 인코딩된 주변 nFG 신호들 (61) 에 대한 HOA 이득 정정 데이터를 포함하는 강화층 (21C) 을 형성하기 위해 HOA 프레임을 또한 세그먼트화할 수도 있다.
도 21 의 예에 더 도시되어 있는 바와 같이, 음향심리 오디오 인코딩 유닛 (40) 은 베이스 층 시간 인코더 (40A) 로서 지칭될 수도 있는 음향심리 오디오 인코더 (40A) 및 강화층 시간 인코더들 (40B) 로서 지칭될 수도 있는 음향심리 오디오 인코더들 (40B) 의 개별 예시들로 분할되는 것으로 도시되어 있다. 베이스 층 시간 인코더들 (40A) 은 베이스 층의 4개의 컴포넌트들을 프로세싱하는 음향심리 오디오 인코더들의 2개의 예시들을 표현한다. 강화층 시간 인코더들 (40B) 은 강화층의 2개의 컴포넌트들을 프로세싱하는 음향심리 오디오 인코더들의 4개의 예시들을 표현한다.
도 22 은 본 개시에 설명되는 스케일러블 오디오 코딩 기술들의 잠재적 버전들 중 제 3 버전을 수행하도록 구성될 때 도 3 의 비트스트림 생성 유닛 (42) 을 더욱 상세히 예시하는 도면이다. 이러한 예에서, 비트스트림 생성 유닛 (42) 은 도 18 의 예에 관하여 상술한 비트스트림 생성 유닛 (42) 과 실질적으로 유사하다. 그러나, 비트스트림 생성 유닛 (42) 은 2개의 층들 (21A 및 21B) 보다는 3개의 층들 (21A 내지 21C) 을 특정하기 위해 스케일러블 코딩 기술들의 제 3 버전을 수행한다. 더욱이, 스케일러블 비트스트림 생성 유닛 (1000) 은 0개의 인코딩된 주변 HOA 계수들 및 2개의 인코딩된 nFG 신호들이 베이스 층 (21A) 에서 특정된다는 표시들, 0개 인코딩된 주변 HOA 계수들 및 2개의 인코딩된 nFG 신호들이 제 1 강화층 (21B) 에서 특정된다는 표시들, 및 0개의 인코딩된 주변 HOA 계수들 및 2개의 인코딩된 nFG 신호들 (61) 이 제 2 강화층 (21C) 에서 특정된다는 표시들을 특정할 수도 있다. 그 후, 스케일러블 비트스트림 생성 유닛 (1000) 은 베이스 층 (21A) 에서 대응하는 2개의 코딩된 전경 V[k] 벡터들 (57A 및 57B) 을 갖는 2개의 인코딩된 nFG 신호들 (61A 및 61B), 제 1 강화층 (21B) 에서 대응하는 2개의 코딩된 전경 V[k] 벡터들 (57C 및 57D) 을 갖는 2개의 인코딩된 nFG 신호들 (61C 및 61D), 및 제 2 강화층 (21C) 에서 대응하는 2개의 코딩된 전경 V[k] 벡터들 (57E 및 57F) 을 갖는 2개의 인코딩된 nFG 신호들 (61E 및 61F) 을 특정할 수도 있다. 그 후, 스케일러블 비트스트림 생성 유닛 (1000) 은 이들 층들을 스케일러블 비트스트림 (21) 으로서 출력할 수도 있다.
도 23 은 본 개시에 설명되는 스케일러블 오디오 디코딩 기술들의 잠재적 버전들 중 제 3 버전을 수행하도록 구성될 때 도 4 의 추출 유닛 (72) 을 더욱 상세히 예시하는 도면이다. 이러한 예에서, 비트스트림 추출 유닛 (72) 은 도 19 의 예에 관하여 상술한 비트스트림 추출 유닛 (72) 과 실질적으로 유사하다. 그러나, 비트스트림 추출 유닛 (72) 은 2개의 층들 (21A 및 21B) 보다는 3개의 층들 (21A 내지 21C) 에 관하여 스케일러블 코딩 기술들의 제 3 버전을 수행한다. 더욱이, 스케일러블 비트스트림 추출 유닛 (1012) 은 0개의 인코딩된 주변 HOA 계수들 및 2개의 인코딩된 nFG 신호들이 베이스 층 (21A) 에서 특정된다는 표시들, 0개 인코딩된 주변 HOA 계수들 및 2개의 인코딩된 nFG 신호들이 제 1 강화층 (21B) 에서 특정된다는 표시들, 및 0개의 인코딩된 주변 HOA 계수들 및 2개의 인코딩된 nFG 신호들 (61) 이 제 2 강화층 (21C) 에서 특정된다는 표시들을 획득할 수도 있다. 그 후, 스케일러블 비트스트림 추출 유닛 (1012) 은 베이스 층 (21A) 으로부터 대응하는 2개의 코딩된 전경 V[k] 벡터들 (57A 및 57B) 을 갖는 2개의 인코딩된 nFG 신호들 (61A 및 61B), 제 1 강화층 (21B) 으로부터 대응하는 2개의 코딩된 전경 V[k] 벡터들 (57C 및 57D) 을 갖는 2개의 인코딩된 nFG 신호들 (61C 및 61D), 및 제 2 강화층 (21C) 으로부터 대응하는 2개의 코딩된 전경 V[k] 벡터들 (57E 및 57F) 을 갖는 2개의 인코딩된 nFG 신호들 (61E 및 61F) 을 획득할 수도 있다. 스케일러블 비트스트림 추출 유닛 (1012) 은 인코딩된 nFG 신호들 (61) 및 코딩된 전경 V[k] 벡터들 (57) 을 벡터-기반 디코딩 유닛 (92) 에 출력할 수도 있다.
도 24 은 본 개시에 설명되는 기술들에 따라 오디오 인코딩 디바이스가 멀티-층 비트스트림에서 다중층들을 특정할 수도 있는 제 3 사용 경우를 예시하는 도면이다. 예를 들어, 도 22 의 비트스트림 생성 유닛 (42) 은 비트스트림 (21) 에서 특정된 층들의 수가 3 이라는 것을 나타내기 위해 (이해의 용이함을 위해 "NumberOfLayers" 로서 도시된) NumLayer 신택스 엘리먼트를 특정할 수도 있다. 비트스트림 생성 유닛 (42) 은 ("베이스 층" 으로서 또한 지칭되는) 제 1 층에서 특정되는 배경 채널들의 수가 0 이고 제 1 층에서 특정되는 전경 채널들의 수가 2 (즉, 도 24 의 예에서 B1 = 0, F1 = 2) 이라는 것을 더 특정할 수도 있다. 다시 말해, 베이스 층은 주변 HOA 계수들의 전송만을 항상 허용하는 것이 아니라, 우세한 또는 다시 말해, 전경 HOA 오디오 신호들의 특정을 허용할 수도 있다.
이들 2개의 전경 오디오 채널들은 인코딩된 nFG 신호들 (61A/B) 및 코딩된 전경 V[k] 벡터들 (57A/B) 로서 표기되며, 아래의 수학식에 의해 수학적으로 표현될 수도 있다:
비트스트림 생성 디바이스 (42) 는 ("강화층" 으로서 또한 지칭될 수도 있는) 제 2 층에서 특정되는 배경 채널들의 수가 0 이고 제 2 층에서 특정되는 전경 채널들의 수가 2 (즉, 도 24 의 예에서, B2 = 0, F2 = 2) 라는 것을 더 특정할 수도 있다. 이들 2개의 전경 오디오 채널들은 인코딩된 nFG 신호들 (61C/D) 및 코딩된 전경 V[k] 벡터들 (57C/D) 로서 표기되며, 아래의 수학식에 의해 수학적으로 표현될 수도 있다:
또한, 비트스트림 생성 디바이스 (42) 는 ("강화층" 으로서 또한 지칭될 수도 있는) 제 3 층에서 특정되는 배경 채널들의 수가 0 이고 제 3 층에서 특정되는 전경 채널들의 수가 2 (즉, 도 24 의 예에서, B3 = 0, F3 = 2) 라는 것을 특정할 수도 있다. 이들 2개의 전경 오디오 채널들은 전경 오디오 채널들 (1024) 로서 표기되며, 아래의 수학식에 의해 수학적으로 표현될 수도 있다:
비트스트림 생성 유닛 (42) 은 이들 Bi 및 Fi 값들을 NumBGchannels[i] 및 NumFGchannels[i] 로서 특정할 수도 있다. 상기 예에 대해, 오디오 인코딩 디바이스 (20) 은 NumBGchannels 신택스 엘리먼트를 {0, 0, 0} 으로서 그리고 NumFGchannels 신택스 엘리먼트를 {2, 2, 2} 로서 특정할 수도 있다. 오디오 인코딩 디바이스 (20) 는 비트스트림 (21) 에서 전경 HOA 채널들 (1020 내지 1024) 을 또한 특정할 수도 있다.
도 2 및 도 4 의 예들에 도시된 오디오 디코딩 디바이스 (24) 는 (예를 들어, 상기 HOADecoderConfig 신택스 표에 설명된 바와 같이) 비트스트림으로부터 이들 신택스 엘리먼트들을, 도 23 의 비트스트림 유닛 (72) 에 관하여 상술한 바와 같이 분석하기 위해 오디오 인코딩 디바이스 (20) 와 상반되는 방식으로 동작할 수도 있다. 오디오 디코딩 디바이스 (24) 는 또한, 분석된 신택스 엘리먼트들에 따라 비트스트림으로부터 대응하는 전경 HOA 오디오 채널들 (1020 내지 1024) 을 비트스트림 추출 유닛 (72) 에 관하여 상술한 바와 같이 다시 분석할 수도 있고, 전경 HOA 오디오 채널들 (1020 내지 1024) 의 합산을 통해 HOA 계수들 (1026) 을 재구성할 수도 있다.
도 25 는 베이스 층에서 특정되는 2개의 인코딩된 nFG 신호들을 갖는 3개의 층들이 존재하고, 2개의 인코딩된 nFG 신호들이 제 1 강화층에서 특정되며, 2개의 인코딩된 nFG 신호들이 제 2 강화층에서 특정된다는 것을 신택스 엘리먼트들이 나타내는 예의 개념도이다. 도 25 의 예는 도 22 의 예에 도시된 스케일러블 비트스트림 생성 유닛 (1000) 이 인코딩된 nFG 신호들 (61A 및 61B) 에 대한 측파대 HOA 이득 정정 데이터 및 2개의 코딩된 전경 V[k] 벡터들 (57) 을 포함하는 베이스 층을 형성하기 위해 프레임을 세그먼트화할 수도 있을 때의 HOA 프레임을 도시한다. 스케일러블 비트스트림 생성 유닛 (1000) 은 2개의 코딩된 전경 V[k] 벡터들 (57) 및 인코딩된 주변 nFG 신호들 (61) 에 대한 HOA 이득 정정 데이터를 포함하는 강화층 (21B) 및 2개의 추가의 코딩된 전경 V[k] 벡터들 (57) 및 인코딩된 주변 nFG 신호들 (61) 에 대한 HOA 이득 정정 데이터를 포함하는 강화층 (21C) 을 형성하기 위해 HOA 프레임을 또한 세그먼트화할 수도 있다.
도 25 의 예에 더 도시되어 있는 바와 같이, 음향심리 오디오 인코딩 유닛 (40) 은 베이스 층 시간 인코더 (40A) 로서 지칭될 수도 있는 음향심리 오디오 인코더 (40A) 및 강화층 시간 인코더들 (40B) 로서 지칭될 수도 있는 음향심리 오디오 인코더들 (40B) 의 개별 예시들로 분할되는 것으로 도시되어 있다. 베이스 층 시간 인코더들 (40A) 은 베이스 층의 4개의 컴포넌트들을 프로세싱하는 음향심리 오디오 인코더들의 2개의 예시들을 표현한다. 강화층 시간 인코더들 (40B) 은 강화층의 2개의 컴포넌트들을 프로세싱하는 음향심리 오디오 인코더들의 4개의 예시들을 표현한다.
도 26 은 본 개시에 설명되는 기술들에 따라 오디오 인코딩 디바이스가 멀티-층 비트스트림에서 다중층들을 특정할 수도 있는 제 3 사용 경우를 예시하는 도면이다. 예를 들어, 도 2 및 도 3 의 예에 도시된 오디오 인코딩 디바이스 (20) 는 비트스트림 (21) 에서 특정된 층들의 수가 4 이라는 것을 나타내기 위해 (이해의 용이함을 위해 "NumberOfLayers" 로서 도시된) NumLayer 신택스 엘리먼트를 특정할 수도 있다. 오디오 인코딩 디바이스 (20) 는 ("베이스 층" 으로서 또한 지칭되는) 제 1 층에서 특정되는 배경 채널들의 수가 1 이고 제 1 층에서 특정되는 전경 채널들의 수가 0 (즉, 도 26 의 예에서 B1 = 0, F1 = 0) 이라는 것을 더 특정할 수도 있다.
오디오 인코딩 디바이스 (20) 는 ("제 1 강화층" 으로서 또한 지칭되는) 제 2 층에서 특정되는 배경 채널들의 수가 1 이고 제 2 층에서 특정되는 전경 채널들의 수가 0 (즉, 도 26 의 예에서 B2 = 1, F2 = 0) 이라는 것을 더 특정할 수도 있다. 오디오 인코딩 디바이스 (20) 는 ("제 2 강화층" 으로서 또한 지칭되는) 제 3 층에서 특정되는 배경 채널들의 수가 1 이고 제 3 층에서 특정되는 전경 채널들의 수가 0 (즉, 도 26 의 예에서 B3 = 1, F3 = 0) 이라는 것을 또한 특정할 수도 있다. 또한, 오디오 인코딩 디바이스 (20) 는 ("강화층" 으로서 또한 지칭되는) 제 4 층에서 특정되는 배경 채널들의 수가 1 이고 제 3 층에서 특정되는 전경 채널들의 수가 0 (즉, 도 26 의 예에서 B4 = 1, F4 = 0) 이라는 것을 특정할 수도 있다. 그러나, 오디오 인코딩 디바이스 (20) 는, 전경 및 배경 채널들의 총 수가 (예를 들어, totalNumBGchannels 및 totalNumFGchannels 과 같은 추가의 신택스 엘리먼트들에 의해) 디코더에서 이미 알려져 있을 때 반드시 제 4 층 배경 및 전경 채널 정보를 시그널링하지 않을 수도 있다.
오디오 인코딩 디바이스 (20) 는 이들 Bi 및 Fi 값들을 NumBGchannels[i] 및 NumFGchannels[i] 로서 특정할 수도 있다. 상기 예에 대해, 오디오 인코딩 디바이스 (20) 는 NumBGchannels 신택스 엘리먼트를 {1, 1, 1, 1} 로서 그리고 NumFGchannels 신택스 엘리먼트를 {0, 0, 0, 0} 으로서 특정할 수도 있다. 오디오 인코딩 디바이스 (20) 는 비트스트림 (21) 에서 배경 HOA 오디오 채널들 (1030) 을 또한 특정할 수도 있다. 이에 관하여, 기술들은 도 7a 내지 도 9b 의 예들에 관하여 상술한 바와 같이 비트스트림 (21) 의 베이스 및 강화층들에서 특정되기 이전에 비상관되었을 수도 있는 주변, 또는 다시 말해, 배경 HOA 채널들 (1030) 을 특정하도록 강화층들을 허용할 수도 있다. 그러나, 다시, 본 개시에 설명된 기술들은 비상관에 반드시 제한되지 않고 상술한 바와 같은 비상관에 관련된 비트스트림에서 신택스 엘리먼트들 또는 임의의 다른 표시들을 제공하지 않을 수도 있다.
도 2 및 도 4 의 예들에 도시된 오디오 디코딩 디바이스 (24) 는 (예를 들어, 상기 HOADecoderConfig 신택스 표에 설명된 바와 같이) 비트스트림으로부터 이들 신택스 엘리먼트들을 분석하기 위해 오디오 인코딩 디바이스 (20) 와 상반된 방식으로 동작할 수도 있다. 오디오 디코딩 디바이스 (24) 는 분석된 신택스 엘리먼트들에 따라 비트스트림 (21) 으로부터 대응하는 배경 HOA 오디오 채널들 (1030) 을 또한 분석할 수도 있다.
상기 언급한 바와 같이, 일부 경우들에서, 스케일러블 비트스트림 (21) 은 넌-스케일러블 비트스트림 (21) 을 따르는 다양한 층들을 포함할 수도 있다. 예를 들어, 스케일러블 비트스트림 (21) 은 넌-스케일러블 비트스트림 (21) 에 따르는 베이스 층을 포함할 수도 있다. 이들 경우들에서, 넌-스케일러블 비트스트림 (21) 은 스케일러블 비트스트림 (21) 의 서브-비트스트림을 표현할 수도 있고, 여기서, 이러한 넌-스케일러블 서브-비트스트림 (21) 은 (강화층들로서 지칭되는) 스케일러블 비트스트림 (21) 의 추가의 층들로 강화될 수도 있다.
도 27 및 도 28 은 본 개시에 설명되는 기술들의 다양한 양태들을 수행하도록 구성될 수도 있는 스케일러블 비트스트림 생성 유닛 (42) 및 스케일러블 비트스트림 추출 유닛 (72) 을 예시하는 블록도들이다. 도 27 의 예에서, 스케일러블 비트스트림 생성 유닛 (42) 은 도 3 의 예에 관하여 상술한 비트스트림 생성 유닛 (42) 의 예를 표현할 수도 있다. 스케일러블 비트스트림 생성 유닛 (42) 은 (스케일러블 코딩을 지원하지 않는 오디오 디코더들에 의해 디코딩될 신택스 및 능력에 관하여) 따르는 베이스 층 (21) 을 넌-스케일러블 비트스트림 (21) 에 출력할 수도 있다. 스케일러블 비트스트림 생성 유닛 (42) 은, 스케일러블 비트스트림 생성 유닛 (42) 이 넌-스케일러블 비트스트림 생성 유닛 (1002) 을 포함하지 않는다는 것을 제외하고는 상술한 비트스트림 생성 유닛들 (42) 중 임의의 것에 관하여 상술한 방식들로 동작할 수도 있다. 대신에, 스케일러블 비트스트림 생성 유닛 (42) 은 넌-스케일러블 비트스트림에 따르는 베이스 층을 출력하고 이와 같이, 개별 넌-스케일러블 비트스트림 생성 유닛 (1000) 을 요구하지 않는다. 도 28 의 예에서, 스케일러블 비트스트림 추출 유닛 (72) 은 스케일러블 비트스트림 생성 유닛 (42) 에 상반되게 동작할 수도 있다.
도 29 는 본 개시에 설명되는 기술들의 다양한 양태들에 따라 동작하도록 구성될 수도 있는 인코더 (900) 를 표현하는 개념도를 표현한다. 인코더 (900) 는 오디오 인코딩 디바이스 (20) 의 다른 예를 표현할 수도 있다. 인코더 (900) 는 공간 분해 유닛 (902), 비상관 유닛 (904), 및 시간 인코딩 유닛 (906) 을 포함할 수도 있다. 공간 분해 유닛 (902) 은 (상기 언급한 오디오 오브젝트들의 형태의) 벡터-기반 우세한 사운드들, 이들 벡터-기반 우세한 사운드들과 연관된 대응하는 V-벡터들, 및 수형 주변 HOA 계수들 (903) 을 출력하도록 구성된 유닛을 표현할 수도 있다. 공간 분해 유닛 (902) 은, 각각의 오디오 오브젝트가 음장 내에서 시간에 따라 이동함에 따라 V-벡터들이 오디오 오브젝트들 중 대응하는 하나의 방향 및 폭 양자를 설명한다는 점에서 방향 기반 분해와 다를 수도 있다.
공간 분해 유닛 (902) 은 도 3 의 예에 도시된 벡터-기반 합성 유닛 (27) 의 유닛들 (30 내지 38 및 44 내지 52) 을 포함할 수도 있고, 유닛 (30 내지 38 및 44 내지 52) 에 관하여 상술한 방식으로 일반적으로 동작할 수도 있다. 공간 분해 유닛 (902) 은 공간 분해 유닛 (902) 이 음향심리 인코딩을 수행하지 않을 수도 있거나 그렇지 않으면 음향심리 코더 유닛 (40) 을 포함하지 않을 수도 있고 비트스트림 생성 유닛 (42) 을 포함하지 않을 수도 있다는 점에서 벡터-기반 합성 유닛 (27) 과 다를 수도 있다. 더욱이, 스케일러블 오디오 인코딩 컨텍스트에서, 공간 분해 유닛 (902) 은 수평 주변 HOA 계수들 (903) 을 통과시킬 수도 있다 (이는 일부 예들에서, 이들 수평 HOA 계수들이 수정되지 않거나 그렇지 않으면 조정되지 않을 수도 있고 HOA 계수들 (901) 로부터 분석된다는 것을 의미한다).
수평 주변 HOA 계수들 (903) 은 음장의 수평 컴포넌트를 설명하는 (HOA 오디오 데이터 (901) 로서 또한 지칭될 수도 있는) HOA 계수들 (901) 중 임의의 것을 지칭할 수도 있다. 예를 들어, 수평 주변 HOA 계수들 (903) 은 0 의 차수 및 0 의 서브-차수를 갖는 구면 기저 함수와 연관된 HOA 계수들, 1 의 차수 및 네거티브 1 의 서브-차수를 갖는 구면 기저 함수에 대응하는 고차 앰비소닉 계수들, 및 1 의 차수 및 1 의 서브-차수를 갖는 구면 기저 함수에 대응하는 제 3 고차 앰비소닉 계수들을 포함할 수도 있다.
비상관 유닛 (904) 은 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 비상관된 표현 (905) 을 획득하기 위해 고차 앰비소닉 오디오 데이터 (903) (여기서, 앰비소닉 HOA 계수들 (903) 은 이러한 HOA 오디오 데이터의 일례임) 의 2개의 이상의 층들 중 제 1 층에 관하여 비상관을 수행하도록 구성된 유닛을 표현한다. 베이스 층 (903) 은 도 21 내지 도 26 에 관하여 상술한 제 1 층들, 베이스 층들 또는 베이스 서브-층들 중 임의의 것과 유사할 수도 있다. 비상관 유닛 (904) 은 상기 언급한 UHJ 행렬 또는 모드 행렬을 사용하여 비상관을 수행할 수도 있다. 비상관 유닛 (904) 은, 회전이 계수들의 수를 감소시키는 것보다는 제 1 층의 비상관된 표현을 획득하기 위해 수행된다는 것을 제외하고는, "TRANSFORMING SPHERICAL HARMONIC COEFFICIENTS" 이란 명칭으로 2014년 2월 27일 출원된 미국 출원 제 14/192,829 호에 설명된 바와 유사한 방식으로 회전과 같은 변환을 사용하여 비상관을 또한 수행할 수도 있다.
다시 말해, 비상관 유닛 (904) 은 (0 방위 각도 (azimuthal degrees) / 0 앙각 각도 (elevational degrees), 120 방위 각도 / 0 앙각 각도, 및 240 방위 각도 / 0 앙각 각도와 같은) 120 도 만큼 분리된 3개의 상이한 수평축들에 따라 주변 HOA 계수들 (903) 의 에너지를 정렬하기 위해 음장의 회전을 수행할 수도 있다. 이들 에너지들을 3개의 수평축들과 정렬함으로써, 비상관 유닛 (904) 이 공간 변환을 활용하여 3개의 비상관 오디오 채널들 (905) 을 효과적으로 렌더링할 수도 있도록 비상관 유닛 (904) 은 서로로부터의 에너지들을 비상관하는 것을 시도할 수도 있다. 비상관 유닛 (904) 은 0도, 120도, 및 240도의 방위 각도들에서 공간 오디오 신호들 (905) 을 계산하도록 이러한 공간 변환을 적용할 수도 있다.
0도, 120도, 및 240도의 방위 각도들에 관하여 설명하였지만, 기술들은 원의 360 방위 각도를 균등하게 또는 거의 균등하게 분할하는 임의의 3개의 방위 각도에 관하여 적용될 수도 있다. 예를 들어, 기술들은 60도, 180도, 및 300도의 방위 각도들에서 공간 오디오 신호들 (905) 을 계산하는 변환에 관하여 또한 수행될 수도 있다. 더욱이, 3개의 주변 HOA 계수들 (901) 에 관하여 설명하였지만, 기술들은 상술한 바를 포함하는 임의의 수평 HOA 계수들, 및 2 의 차수 및 2 의 서브-차수를 갖는 구면 기저 함수, 2 의 차수 및 네거티브 2 의 서브-차수를 갖는 구면 기저 함수, ... , X 의 차수 및 X 의 서브-차수를 갖는 구면 기저 함수, 및 X 의 차수 및 네거티브 X 의 서브-차수를 갖는 구면 기저 함수와 연관된 것들과 같은 임의의 다른 수평 HOA 계수들에 관하여 더욱 일반적으로 수행될 수도 있고, 여기서, X 는 3, 4, 5, 6 등을 포함하는 임의의 수를 표현할 수도 있다.
수평 HOA 계수들의 수가 증가함에 따라, 360도 원의 균등한 또는 거의 균등한 부분들의 수가 증가할 수도 있다. 예를 들어, 수평 HOA 계수들의 수가 5 로 증가할 때, 비상관 유닛 (904) 은 원을 (예를 들어, 대략 각각 72도의) 5개의 균등한 파티션들로 분할할 수도 있다. 다른 예로서, X 의 수평 HOA 계수들의 수는 각각의 파티션이 360도/X도를 갖는 X개의 균등한 파티션들을 발생시킬 수도 있다.
비상관 유닛 (904) 은, 수평 주변 HOA 계수들에 의해 표현된 음장을 회전시키는 양을 나타내는 회전 정보를 식별하기 위해, 음장 분석, 콘텐츠-특징 분석, 및/또는 공간 분석을 수행할 수도 있다. 이들 분석들 중 하나 이상에 기초하여, 비상관 유닛 (904) 은 회전 정보 (또는 회전 정보가 일례인 다른 변환 정보) 를 음장을 수평으로 회전시킬 각도의 수로서 식별할 수도 있으며, 음장을 회전시켜, 고차 앰비소닉 오디오 데이터의 베이스 층의 (더욱 일반적인 변환된 표현의 일례인) 회전된 표현을 유효하게 획득할 수도 있다.
그 후, 비상관 유닛 (904) 은 고차 앰비소닉 오디오 데이터의 (2개 이상의 층들 중 제 1 층 (903) 으로서 또한 지칭될 수도 있는) 베이스 층 (903) 의 회전된 표현에 공간 변환을 적용할 수도 있다. 공간 변환은 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 비상관된 표현을 획득하기 위해 구면 조화 도메인으로부터 공간 도메인으로 고차 앰비소닉 오디오 데이터의 2개의 이상의 층들 중 베이스 층의 회전된 표현을 변환할 수도 있다. 제 1 층의 비상관 표현은 상기 언급한 바와 같이, 0도, 120도, 및 240도의 3개의 대응하는 방위 각도들에서 렌더링된 공간 오디오 신호들 (905) 을 포함할 수도 있다. 그 후, 비상관 유닛 (904) 은 수평 주변 공간 오디오 신호들 (905) 을 시간 인코딩 유닛 (905) 으로 패스할 수도 있다.
시간 인코딩 유닛 (906) 은 음향심리 오디오 코딩을 수행하도록 구성된 유닛을 표현할 수도 있다. 시간 인코딩 유닛 (906) 은 2개의 예들을 제공하기 위해 AAC 인코더 또는 USAC (unified speed and audio coder) 를 표현할 수도 있다. 시간 인코딩 유닛 (906) 과 같은 시간 오디오 인코딩 유닛들은 5.1 스피커 셋업의 6개 채널들과 같은 비상관된 오디오 데이터에 관하여 일반적으로 동작할 수도 있고, 이들 6개의 채널들은 비상관된 채널들로 렌더링된다. 그러나, 수평 주변 HOA 계수들 (903) 은 본질적으로 가산적이고, 이에 의해, 특정한 양태에서 상관된다. 비상관의 일부 형태를 먼저 수행하지 않고 시간 인코딩 유닛 (906) 에 이들 수평 주변 HOA 계수들 (903) 을 직접적으로 제공하는 것은, 사운드들이 의도되지 않은 위치들에서 나타나는 공간 잡음 언마스킹을 발생시킬 수도 있다. 공간 잡음 언마스킹과 같은 이들 지각적인 아티팩트들은 상술한 변환-기반 (또는 더욱 구체적으로, 도 29 의 예에서 회전-기반) 비상관을 수행함으로써 감소될 수도 있다.
도 30은 도 27 의 예에 도시된 인코더 (900) 를 더욱 상세히 예시하는 도면이다. 도 30 의 예에서, 인코더 (900) 는 HOA 1차 수평-전용 베이스 층 (903) 을 인코딩하고 공간 분해 유닛 (902) 을 도시하는 않는 베이스 층 인코더 (900) 를 표현할 수도 있고, 이 이유는 이러한 유닛 (902) 이 이러한 통과 예에서는, 비상관 유닛 (904) 의 음장 분석 유닛 (910) 및 2차원 (2D) 회전 유닛 (912) 에 베이스 층 (903) 제공하는 것 이외에 의미 있는 동작들을 수행하지 않기 때문이다.
즉, 비상관 유닛 (904) 은 음장 분석 유닛 (910) 및 2D 회전 유닛 (912) 을 포함한다. 음장 분석 유닛 (910) 은 회전각 파라미터 (911) 를 획득하기 위해 더욱 상세히 상술한 음장 분석을 수행하도록 구성된 유닛을 표현한다. 회전각 파라미터 (911) 는 회전 정보의 형태로 변환 정보의 일례를 표현한다. 2D 회전 유닛 (912) 은 회전각 파라미터 (911) 에 기초하여 음장의 Z-축 주위에서 수평 회전을 수행하도록 구성된 유닛을 표현한다. 이러한 회전은, 회전이 단일축만을 수반하고, 이러한 예에서, 어떠한 앙각 회전도 포함하지 않는다는 점에서 2차원이다. 2D 회전 유닛 (912) 은 더욱 일반적인 역변환 정보의 예일 수도 있는 (일례로서, 역 회전각 파라미터 (913) 를 획득하기 위해 회전각 파라미터 (911) 를 인버팅함으로써) 역 회전 정보 (913) 를 획득할 수도 있다. 2D 회전 유닛 (912) 은, 인코더 (900) 가 비트스트림에서 역 회전각 파라미터 (913) 를 특정할 수도 있도록 역 회전각 파라미터 (913) 를 제공할 수도 있다.
다시 말해, 2D 회전 유닛 (912) 은, 우세한 에너지가 2D 공간 변환 모듈에서 사용된 공간 샘플링 포인트들 (0˚, 120˚, 240˚) 중 하나로부터 잠재적으로 도달하도록, 음장 분석에 기초하여, 2D 음장을 회전시킬 수도 있다. 일례로서, 2D 회전 유닛 (912) 은 아래의 회전 행렬을 적용할 수도 있다:
일부 예들에서, 2D 회전 유닛 (912) 은, 프레임 아티팩트들을 회피하기 위해, 평활 (보간) 함수를 적용하여 시변 회전 각도의 평활 천이를 보장할 수도 있다. 이러한 평활 함수는 선형 평활 함수를 포함할 수도 있다. 그러나, 비선형 평활 함수들을 포함하는 다른 평활 함수들이 사용될 수도 있다. 예를 들어, 2D 회전 유닛 (912) 은 스플라인 평활 함수를 사용할 수도 있다.
예시하기 위해, 음장 분석 유닛 (910) 모듈이 음장의 우세한 방향이 하나의 분석 프레임 내에서 70˚ 방위각에 있다는 것을 나타내면, 2D 회전 유닛 (912) 은 우세한 방향이 이제 0˚ 이도록 
만큼 음장을 평활하게 회전시킬 수도 있다. 다른 가능성으로서, 2D 회전 유닛 (912) 은 우세한 방향이 이제 120˚ 이도록 
만큼 음장을 회전시킬 수도 있다. 그 후, 2D 회전 유닛 (912) 은 디코더가 정확한 역 회전 동작을 적용할 수 있도록, 비트스트림 내의 추가의 측파대 파라미터로서 적용된 회전각 (913) 을 시그널링할 수도 있다.
도 30 의 예에 더 도시되어 있는 바와 같이, 비상관 유닛 (904) 은 2D 공간 변환 유닛 (914) 을 또한 포함한다. 2D 공간 변환 유닛 (914) 은 베이스 층의 회전된 표현을 구면 조화 도메인으로부터 공간 도메인으로 변환하여, 회전된 베이스 층 (915) 을 3개의 방위 각도들 (예를 들어, 0, 120 및 240) 로 효과적으로 렌더링하도록 구성된 유닛을 표현한다. 2D 공간 변환 유닛 (914) 은 HOA 계수 차수 
및 N3D 정규화를 가정하는 아래의 변환 행렬과 회전된 베이스 층 (915) 의 계수들을 승산할 수도 있다:
상술한 행렬은, 360˚ 의 원이 3개의 부분들로 균등하게 분할되도록 방위 각도들 (0˚, 120˚ 및 240˚) 에서 공간 오디오 신호들 (905) 을 계산한다. 상기 언급한 바와 같이, 각각의 부분이 120도를 커버하는 한은, 다른 분리들이 가능하고, 예를 들어, 60˚, 180˚ 및 300˚ 에서 공간 신호들을 계산한다.
이러한 방식으로, 기술들은 스케일러블 고차 앰비소닉 오디오 데이터 인코딩을 수행하도록 구성된 디바이스 (900) 을 제공할 수도 있다. 디바이스 (900) 는 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 비상관된 표현 (905) 을 획득하기 위해 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층 (903) 에 관하여 비상관을 수행하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층 (903) 은 1 이하의 차수를 갖는 하나 이상의 구면 기저 함수들에 대응하는 주변 고차 앰비소닉 계수들을 포함한다. 이들 및 다른 경우들에서, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층 (903) 은 음장의 수평 양태들을 설명하는 구면 기저 함수들에만 대응하는 주변 고차 앰비소닉 계수들을 포함한다. 이들 및 다른 경우들에서, 음장의 수평 양태들을 설명하는 구면 기저 함수들에만 대응하는 주변 고차 앰비소닉 계수들은, 0 의 차수 및 0 의 서브-차수를 갖는 구면 기저 함수에 대응하는 제 1 주변 고차 앰비소닉 계수들, 1 의 차수 및 네거티브 1 의 서브-차수를 갖는 구면 기저 함수에 대응하는 제 2 주변 고차 앰비소닉 계수들, 및 1 의 차수 및 1 의 서브-차수를 갖는 구면 기저 함수에 대응하는 제 3 주변 고차 앰비소닉 계수들를 포함할 수도 있다.
이들 및 다른 경우들에서, 디바이스 (900) 는 고차 앰비소닉 오디오 데이터의 제 1 층 (903) 에 관하여 (예를 들어, 2D 회전 유닛 (912) 에 의해) 변환을 수행하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (900) 는 고차 앰비소닉 오디오 데이터의 제 1 층 (903) 에 관하여 (예를 들어, 2D 회전 유닛 (912) 에 의해) 회전을 수행하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (900) 는 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 을 획득하기 위해 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층 (903) 에 관하여 (예를 들어, 2D 회전 유닛 (912) 에 의해) 변환을 적용하며, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 비상관된 표현 (905) 을 획득하기 위해 (예를 들어, 2D 공간 변환 유닛 (914) 에 의해) 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 을 구면 조화 도메인으로부터 공간 도메인으로 변환하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (900) 는 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 회전된 표현 (915) 을 획득하기 위해 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층 (903) 에 관하여 회전을 적용하며, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 비상관된 표현 (905) 을 획득하기 위해 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 회전된 표현 (915) 을 구면 조화 도메인으로부터 공간 도메인으로 변환하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (900) 는 변환 정보 (911) 를 획득하고, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 을 획득하기 위해 변환된 정보 (911) 에 기초하여 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층 (903) 에 관하여 변환을 적용하며, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 비상관된 표현 (905) 을 획득하기 위해 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 을 구면 조화 도메인으로부터 공간 도메인으로 변환하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (900) 는 회전 정보 (911) 를 획득하고, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 회전된 표현 (915) 을 획득하기 위해 회전 정보 (911) 에 기초하여 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층 (903) 에 관하여 회전을 적용하며, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 비상관된 표현 (905) 을 획득하기 위해 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 회전된 표현 (915) 을 구면 조화 도메인으로부터 공간 도메인으로 변환하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (900) 는 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 을 획득하기 위해 평활 함수를 적어도 부분적으로 사용하여 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층 (903) 에 관하여 변환을 적용하며, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 비상관된 표현 (905) 을 획득하기 위해 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 을 구면 조화 도메인으로부터 공간 도메인으로 변환하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (900) 는 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 회전된 표현 (915) 을 획득하기 위해 평활 함수를 적어도 부분적으로 사용하여 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층 (903) 에 관하여 회전을 적용하며, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 비상관된 표현을 획득하기 위해 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 회전된 표현 (915) 을 구면 조화 도메인으로부터 공간 도메인으로 변환하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스는 역 변환 또는 역 회전을 적용할 때 사용될 평활 함수의 표시를 특정하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (900) 는 도 3 에 관하여 상술한 바와 같이, V-벡터를 획득하기 위해 고차 앰비소닉 오디오 데이터에 선형 가역 변환을 적용하며, V-벡터를 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 2 층으로서 특정하도록 더 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (900) 는 1 의 차수 및 0 의 서브-차수를 갖는 구면 기저 함수와 연관된 고차 앰비소닉 계수들을 획득하며, 고차 앰비소닉 계수들을 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 2 층으로서 특정하도록 더 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (900) 는 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 비상관된 표현에 관하여 시간 인코딩을 수행하도록 더 구성될 수도 있다.
도 31 은 본 개시에 설명되는 기술들의 다양한 양태들에 따라 동작하도록 구성될 수도 있는 오디오 디코더 (920) 를 예시하는 블록도이다. 디코더 (920) 는 HOA 계수들을 재구성하는 것, 강화층들의 V-벡터들을 재구성하는 것, (시간 오디오 디코딩 유닛 (922) 에 의해 수행되는 바와 같은) 시간 오디오 디코딩을 수행하는 것 등과 관련하여 도 2 의 예에 도시된 오디오 디코딩 디바이스 (24) 의 다른 예를 표현할 수도 있다. 그러나, 디코더 (920) 는 디코더 (920) 가 비트스트림에서 특정되는 바와 같은 스케일러블 코딩된 고차 앰비소닉 오디오 데이터에 관하여 동작한다는 점에서 상이하다.
도 31 의 예에 도시되어 있는 바와 같이, 오디오 디코더 (920) 는 시간 디코딩 유닛 (922), 역 2D 공간 변환 유닛 (924), 베이스 층 렌더링 유닛 (928), 및 강화층 프로세싱 유닛 (930) 을 포함한다. 시간 디코딩 유닛 (922) 은 시간 인코딩 유닛 (906) 과 상반되는 방식으로 동작하도록 구성될 수도 있다. 역 2D 공간 변환 유닛 (924) 은 2D 공간 변환 유닛 (914) 과 상반되는 방식으로 동작하도록 구성된 유닛을 표현할 수도 있다.
다시 말해, 역 2D 공간 변환 유닛 (924) 은 ("회전된 베이스 층 (915)" 으로서 또한 지칭될 수도 있는) 회전된 수평 주변 HOA 계수들 (915) 을 획득하기 위해 공간 오디오 신호들 (905) 에 아래의 행렬을 적용하도록 구성될 수도 있다. 역 2D 공간 변환 유닛 (924) 은 상기 행렬과 유사하게, HOA 계수 차수 
및 N3D 정규화를 가정하는 아래의 변환 행렬을 사용하여 3개의 송신된 오디오 신호들 (905) 을 HOA 도메인으로 변환할 수도 있다:
상술한 행렬은 디코더에서 사용된 변환 행렬의 역이다.
역 2D 회전 유닛 (926) 은 2D 회전 유닛 (912) 에 관하여 상술한 바와 상반된 방식으로 동작하도록 구성될 수도 있다. 이에 관하여, 2D 회전 유닛 (912) 은 회전각 파라미터 (911) 대신에 역 회전각 파라미터 (913) 에 기초하여 상기 언급한 회전 행렬에 따라 회전을 수행할 수도 있다. 다시 말해, 역 회전 유닛 (926) 은, 시그널링된 회전 (
) 에 기초하여, HOA 계수 차수 
및 N3D 정규화를 다시 가정하는 아래의 행렬을 적용할 수도 있다:
역 2D 회전 유닛 (926) 은 비트스트림에서 시그널링될 수도 있거나 선험적으로 구성될 수도 있는 시변 회전 각도에 대한 평활한 천이를 보장하기 위해 디코더에서 사용된 동일한 평활 (보간) 함수를 사용할 수도 있다.
베이스 층 렌더링 유닛 (928) 은 베이스 층의 수평-전용 주변 HOA 계수들을 라우드스피커 피드들로 렌더링하도록 구성된 유닛을 표현할 수도 있다. 강화층 프로세싱 유닛 (930) 은 스피커 피드들을 렌더링하기 위해 (V-벡터들에 대응하는 오디오 오브젝트들에 따라 추가의 주변 HOA 계수들 및 V-벡터들에 관하여 상술한 디코딩을 많이 수반하는 개별 강화층 디코딩 경로를 통해 디코딩된) 임의의 수신된 강화층들로 베이스 층의 추가 프로세싱을 수행하도록 구성된 유닛을 표현할 수도 있다. 강화층 프로세싱 유닛 (930) 은 음장 내에서 현실적으로 잠재적으로 이동하는 사운드들을 갖는 더욱 몰입형 오디오 경험을 제공할 수도 있는 음장의 상위 해상도 표현을 제공하기 위해 베이스 층을 효과적으로 증강할 수도 있다. 베이스 층은 도 11 내지 도 13b 에 관하여 상술한 제 1 층들, 베이스 층들 또는 베이스 서브-층들 중 임의의 것과 유사할 수도 있다. 강화층들은 도 11 내지 도 13b 에 관하여 상술한 제 2 층들, 강화층들 또는 강화 서브-층들 중 임의의 것과 유사할 수도 있다.
이에 관하여, 기술들은 스케일러블 고차 앰비소닉 오디오 데이터 디코딩을 수행하도록 구성된 디바이스 (920) 를 제공한다. 디바이스는 고차 앰비소닉 오디오 데이터 (예를 들어, 공간 오디오 신호들 (905)) 의 2개 이상의 층들 중 제 1 층의 비상관된 표현을 획득하도록 구성될 수도 있고, 고차 앰비소닉 오디오 데이터는 음장을 설명한다. 제 1 층의 비상관된 표현은 고차 앰비소닉 오디오 데이터의 제 1 층에 관하여 비상관을 수행함으로써 비상관된다.
일부 경우들에서, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층은 1 이하의 차수를 갖는 하나 이상의 구면 기저 함수들에 대응하는 주변 고차 앰비소닉 계수들을 포함한다. 이들 및 다른 경우들에서, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층은 음장의 수평 양태들을 설명하는 구면 기저 함수들에만 대응하는 주변 고차 앰비소닉 계수들을 포함한다. 이들 및 다른 경우들에서, 음장의 수평 양태들을 설명하는 구면 기저 함수들에만 대응하는 주변 고차 앰비소닉 계수들은, 0 의 차수 및 0 의 서브-차수를 갖는 구면 기저 함수에 대응하는 제 1 주변 고차 앰비소닉 계수들, 1 의 차수 및 네거티브 1 의 서브-차수를 갖는 구면 기저 함수에 대응하는 제 2 주변 고차 앰비소닉 계수들, 및 1 의 차수 및 1 의 서브-차수를 갖는 구면 기저 함수에 대응하는 제 3 주변 고차 앰비소닉 계수들를 포함한다.
이들 및 다른 경우들에서, 제 1 층의 비상관된 표현은 인코더 (900) 에 관하여 상술한 바와 같이, 고차 앰비소닉 오디오 데이터의 제 1 층에 관하여 변환을 수행함으로써 비상관된다.
이들 및 다른 경우들에서, 디바이스 (920) 는 고차 앰비소닉 오디오 데이터의 제 1 층에 관하여 (예를 들어, 역 2D 회전 유닛 (926) 에 의해) 회전을 수행하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (920) 는 예를 들어, 역 2D 공간 변환 유닛 (924) 및 역 2D 회전 유닛 (926) 에 관하여 상술한 바와 같이 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층을 획득하기 위해 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 비상관된 표현을 재상관하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (920) 는 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 을 획득하기 위해 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 비상관된 표현 (905) 을 공간 도메인으로부터 구면 조화 도메인으로 변환하며, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층을 획득하기 위해 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 에 관하여 (예를 들어, 역 2D 회전 유닛 (926) 에 관하여 상술한 바와 같이) 역 변환을 적용하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (920) 는 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 을 획득하기 위해 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 비상관된 표현 (905) 을 공간 도메인으로부터 구면 조화 도메인으로 변환하며, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층을 획득하기 위해 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 에 관하여 역 회전을 적용하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (920) 는 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 을 획득하기 위해 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 비상관된 표현 (905) 을 공간 도메인으로부터 구면 조화 도메인으로 변환하며, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층을 획득하기 위해 변환 정보 (913) 에 기초하여 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 에 관하여 역 변환을 적용하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (920) 는 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 을 획득하기 위해 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 비상관된 표현 (905) 을 공간 도메인으로부터 구면 조화 도메인으로 변환하며, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층을 획득하기 위해 회전 정보 (913) 에 기초하여 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 에 관하여 역 회전을 적용하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (920) 는 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 을 획득하기 위해 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 비상관된 표현 (905) 을 공간 도메인으로부터 구면 조화 도메인으로 변환하며, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층을 획득하기 위해 평활 함수를 적어도 부분적으로 사용하여 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 에 관하여 역 변환을 적용하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (920) 는 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 을 획득하기 위해 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 비상관된 표현 (905) 을 공간 도메인으로부터 구면 조화 도메인으로 변환하며, 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층을 획득하기 위해 평활 함수를 적어도 부분적으로 사용하여 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 1 층의 변환된 표현 (915) 에 관하여 역 회전을 적용하도록 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스는 역 변환 또는 역 회전을 적용할 때 사용될 평활 함수의 표시를 획득하도록 더 구성될 수도 있다.
이들 및 다른 경우들에서, 디바이스 (920) 는 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 2 층의 표현을 획득하도록 더 구성될 수도 있고, 여기서, 제 2 층의 표현은 벡터-기반 우세한 오디오 데이터를 포함하고, 벡터-기반 우세한 오디오 데이터는 적어도 우세한 오디오 데이터 및 인코딩된 V-벡터를 포함하며, 인코딩된 V-벡터는 도 3 의 예에 관하여 상술한 바와 같이, 선형 가역 변환의 적용을 통해 고차 앰비소닉 오디오 데이터로부터 분해된다.
이들 및 다른 경우들에서, 디바이스 (920) 는 고차 앰비소닉 오디오 데이터의 2개 이상의 층들 중 제 2 층의 표현을 획득하도록 더 구성될 수도 있고, 여기서, 제 2 층의 표현은 1 의 차수 및 0 의 서브-차수를 갖는 구면 기저 함수와 연관된 고차 앰비소닉 계수들을 포함한다.
이러한 방식으로, 기술들은 실행될 때, 하나 이상의 프로세서로 하여금 아래의 조항들에 설명된 방법을 수행하게 하는 명령들이 저장된 비일시적 컴퓨터-판독가능 매체를 디바이스가 수행할 수 있게 할 수도 있거나, 수행하는 수단을 포함하는 장치를 제공할 수도 있다.
제 1A 항. 비트스트림을 생성하기 위해 고차 앰비소닉 오디오 신호를 인코딩하는 방법으로서, 비트스트림에서 층들의 수의 표시를 특정하는 단계, 및 층들의 표시된 수를 포함하는 비트스트림을 출력하는 단계를 포함하는, 방법.
제 2A 항. 제 1A 항에 있어서, 비트스트림에 포함된 채널들의 수의 표시를 특정하는 단계를 더 포함하는, 방법.
제 3A 항. 제 1A 항에 있어서, 층들의 수의 표시는 이전 프레임에 대한 비트스트림에서 층들의 수의 표시를 포함하고, 방법은 비트스트림에서, 비트스트림의 층들의 수가 이전 프레임에 대한 비트스트림의 층들의 수와 비교할 때 현재 프레임에 대해 변화되었는지 여부의 표시를 특정하는 단계, 및 현재 프레임에서 비트스트림의 층들의 표시된 수를 특정하는 단계를 더 포함하는, 방법.
제 4A 항. 제 3A 항에 있어서, 층들의 표시된 수를 특정하는 단계는, 표시가 이전 프레임에서 비트스트림의 층들의 수와 비교할 때 비트스트림의 층들의 수가 현재 프레임에서 변화되지 않았다는 것을 나타낼 때, 비트스트림에서, 이전 프레임의 층들 중 하나 이상에서 배경 컴포넌트들의 이전의 수와 동일하도록 현재 프레임에 대한 층들 중 하나 이상에서 배경 컴포넌트들의 현재 수의 표시를 특정하지 않고 층들의 표시된 수를 특정하는 단계를 포함하는, 방법.
제 5A 항. 제 1A 항에 있어서, 제 2 층과 조합될 때, 제 1 층이 고차 앰비소닉 오디오 신호의 상위 해상도 표현을 제공하도록 층들은 계층적인, 방법.
제 6A 항. 제 1A 항에 있어서, 비트스트림의 층들은 베이스 층 및 강화층을 포함하고, 방법은 고차 앰비소닉 오디오 신호의 배경 컴포넌트들의 비상관된 표현을 획득하기 위해 베이스 층의 하나 이상의 채널들에 관하여 비상관 변환을 적용하는 단계를 더 포함하는, 방법.
제 7A 항. 제 6A 항에 있어서, 비상관 변환은 UHJ 변환을 포함하는, 방법.
제 8A 항. 제 6A 항에 있어서, 비상관 변환은 모드 행렬 변환을 포함하는, 방법.
더욱이, 기술들은 실행될 때, 하나 이상의 프로세서로 하여금 아래의 조항들에 설명된 방법을 수행하게 하는 명령들이 저장된 비일시적 컴퓨터-판독가능 매체를 디바이스가 수행할 수 있게 할 수도 있거나, 수행하는 수단을 포함하는 장치를 제공할 수도 있다.
제 1B 항. 비트스트림을 생성하기 위해 고차 앰비소닉 오디오 신호를 인코딩하는 방법으로서, 비트스트림에서, 비트스트림의 하나 이상의 층들에서 특정된 채널들의 수의 표시를 특정하는 단계, 및 비트스트림의 하나 이상의 층들에서 채널들의 표시된 수를 특정하는 단계를 포함하는, 방법.
제 2B 항. 제 1B 항에 있어서, 비트스트림에서 특정된 채널들의 총 수의 표시를 특정하는 단계를 더 포함하고, 채널들의 표시된 수를 특정하는 단계는 비트스트림의 하나 이상의 층들에서 채널들의 표시된 총 수를 특정하는 단계를 포함하는, 방법.
제 3B 항. 제 1B 항에 있어서, 비트스트림에서 하나 이상의 층들에서 특정된 채널들 중 하나의 타입의 표시를 특정하는 단계를 더 포함하고, 채널들의 표시된 수를 특정하는 단계는 비트스트림의 하나 이상의 층들에서 채널들 중 하나의 표시된 타입의 표시된 수를 특정하는 단계를 포함하는, 방법.
제 4B 항. 제 1B 항에 있어서, 비트스트림에서 하나 이상의 층들에서 특정된 채널들 중 하나의 타입의 표시를 특정하는 단계를 더 포함하고, 채널들 중 하나의 타입의 표시는 채널들 중 하나가 전경 채널이라는 것을 나타내고, 채널들의 표시된 수를 특정하는 단계는 비트스트림의 하나 이상의 층들에서 전경 채널들을 특정하는 단계를 포함하는, 방법.
제 5B 항. 제 1B 항에 있어서, 비트스트림에서, 비트스트림에서 특정된 층들의 수의 표시를 특정하는 단계를 더 포함하는, 방법.
제 6B 항. 제 1B 항에 있어서, 비트스트림에서 하나 이상의 층들에서 특정된 채널들 중 하나의 타입의 표시를 특정하는 단계를 더 포함하고, 채널들 중 하나의 타입의 표시는 채널들 중 하나가 배경 채널이라는 것을 나타내고, 채널들의 표시된 수를 특정하는 단계는 비트스트림의 하나 이상의 층들에서 배경 채널들을 특정하는 단계를 포함하는, 방법.
제 7B 항. 제 6B 항에 있어서, 채널들 중 하나는 배경 고차 앰비소닉 계수를 포함하는, 방법.
제 1B 항. 제 1B 항에 있어서, 채널들의 수의 표시를 특정하는 단계는 층들 중 하나가 특정된 이후에 비트스트림에 남아 있는 채널들의 수에 기초하여 채널들의 수의 표시를 특정하는 단계를 포함하는, 방법.
이러한 방식으로, 기술들은 실행될 때, 하나 이상의 프로세서로 하여금 아래의 조항들에 설명된 방법을 수행하게 하는 명령들이 저장된 비일시적 컴퓨터-판독가능 매체를 디바이스가 수행할 수 있게 할 수도 있거나, 수행하는 수단을 포함하는 장치를 제공할 수도 있다.
제 1C 항. 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하는 방법으로서, 비트스트림으로부터, 비트스트림에서 특정된 층들의 수의 표시를 획득하는 단계, 및 층들의 수의 표시에 기초하여 비트스트림의 층들을 획득하는 단계를 포함하는, 방법.
제 2C 항. 제 1C 항에 있어서, 비트스트림에서 특정된 채널들의 수의 표시를 특정하는 단계를 더 포함하고, 층들을 획득하는 단계는 층들의 수의 표시 및 채널들의 수의 표시에 기초하여 비트스트림의 층들을 획득하는 단계를 포함하는, 방법.
제 3C 항. 제 1C 항에 있어서, 층들 중 적어도 하나에 대한 비트스트림에서 특정된 전경 채널들의 수의 표시를 획득하는 단계를 더 포함하고, 층들을 획득하는 단계는 전경 채널들의 수의 표시에 기초하여 비트스트림의 층들 중 적어도 하나에 대한 전경 채널들을 획득하는 단계를 포함하는, 방법.
제 4C 항. 제 1C 항에 있어서, 층들 중 적어도 하나에 대한 비트스트림에서 특정된 배경 채널들의 수의 표시를 획득하는 단계를 더 포함하고, 층들을 획득하는 단계는 배경 채널들의 수의 표시에 기초하여 비트스트림의 층들 중 적어도 하나에 대한 배경 채널들을 획득하는 단계를 포함하는, 방법.
제 5C 항. 제 1C 항에 있어서, 층들의 수의 표시는 층의 수가 2 이라는 것을 나타내고, 2개의 층들은 베이스 층 및 강화층을 포함하며, 층들을 획득하는 단계는 전경 채널들의 수가 베이스 층에 대해 0 그리고 강화층에 대해 2 이라는 표시를 획득하는 단계를 포함하는, 방법.
제 6C 항. 제 1C 항 또는 제 5C 항에 있어서, 층들의 수의 표시는 층의 수가 2 이라는 것을 나타내고, 2개의 층들은 베이스 층 및 강화층을 포함하며, 방법은 배경 채널들의 수가 베이스 층에 대해 4 그리고 강화층에 대해 0 이라는 표시를 획득하는 단계를 더 포함하는, 방법.
제 7 항. 제 1C 항에 있어서, 층들의 수의 표시는 층의 수가 3 이라는 것을 나타내고, 3개의 층들은 베이스 층, 제 1 강화층, 및 제 2 강화층을 포함하며, 방법은 전경 채널들의 수가 베이스 층에 대해 0, 제 1 강화층에 대해 2, 그리고 제 3 강화층에 대해 2 이라는 표시를 획득하는 단계를 더 포함하는, 방법.
제 8C 항. 제 1C 항 또는 7C 항에 있어서, 층들의 수의 표시는 층의 수가 3 이라는 것을 나타내고, 3개의 층들은 베이스 층, 제 1 강화층, 및 제 2 강화층을 포함하며, 방법은 배경 채널들의 수가 베이스 층에 대해 2, 제 1 강화층에 대해 2, 그리고 제 3 강화층에 대해 0 이라는 표시를 획득하는 단계를 더 포함하는, 방법.
제 9C 항. 제 1C 항에 있어서, 층들의 수의 표시는 층의 수가 3 이라는 것을 나타내고, 3개의 층들은 베이스 층, 제 1 강화층, 및 제 2 강화층을 포함하며, 방법은 전경 채널들의 수가 베이스 층에 대해 2, 제 1 강화층에 대해 2, 그리고 제 3 강화층에 대해 2 이라는 표시를 획득하는 단계를 더 포함하는, 방법.
제 10C 항. 제 1C 항 또는 9C 항에 있어서, 층들의 수의 표시는 층의 수가 3 이라는 것을 나타내고, 3개의 층들은 베이스 층, 제 1 강화층, 및 제 2 강화층을 포함하며, 방법은 배경 채널들의 수가 베이스 층에 대해 0, 제 1 강화층에 대해 0, 그리고 제 3 강화층에 대해 0 이라는 것을 나타내는 배경 신택스 엘리먼트를 획득하는 단계를 더 포함하는, 방법.
제 11C 항. 제 1C 항에 있어서, 층들의 수의 표시는 비트스트림의 이전 프레임에서 층들의 수의 표시를 포함하고, 방법은 비트스트림의 층들의 수가 이전 프레임에서 비트스트림의 층들의 수와 비교할 때 현재 프레임에서 변화되었는지 여부의 표시를 획득하는 단계, 및 비트스트림의 층들의 수가 현재 프레임에서 변화되었는지 여부의 표시에 기초하여 현재 프레임에서 비트스트림의 층들의 수를 획득하는 단계를 더 포함하는, 방법.
제 12C 항. 제 11C 항에 있어서, 표시가 비트스트림의 층들의 수가 이전 프레임에서 비트스트림의 층들의 수와 비교할 때 현재 프레임에서 변화되지 않았다는 것을 나타낼 때 이전 프레임에서 비트스트림의 층들의 수와 동일한 것으로서 현재 프레임에서 비트스트림의 층들의 수를 결정하는 단계를 더 포함하는, 방법.
제 13C 항. 제 11C 항에 있어서, 표시가 비트스트림의 층들의 수가 이전 프레임에서 비트스트림의 층들의 수와 비교할 때 현재 프레임에서 변화되지 않았다는 것을 나타낼 때, 이전 프레임의 층들 중 하나 이상에서 컴포넌트들의 이전 수와 동일한 것으로 현재 프레임에 대한 층들 중 하나 이상에서 컴포넌트들의 현재 수의 표시를 획득하는 단계를 더 포함하는, 방법.
제 14C 항. 제 1C 항에 있어서, 층들의 수의 표시는 3개의 층들이 비트스트림에서 특정된다는 것을 나타내고, 층들을 획득하는 단계는 스테레오 채널 재생을 제공하는 고차 앰비소닉 오디오 신호의 배경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 1 층을 획득하는 단계, 하나 이상의 수평 평면들상에 배열된 3개 이상의 스피커들에 의해 3차원 재생을 제공하는 고차 앰비소닉 오디오 신호의 배경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 2 층을 획득하는 단계, 및 고차 앰비소닉 오디오 신호의 전경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 3 층을 획득하는 단계를 포함하는, 방법.
제 15C 항. 제 1C 항에 있어서, 층들의 수의 표시는 3개의 층들이 비트스트림에서 특정된다는 것을 나타내고, 층들을 획득하는 단계는 모노 채널 재생을 제공하는 고차 앰비소닉 오디오 신호의 배경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 1 층을 획득하는 단계, 하나 이상의 수평 평면들상에 배열된 3개 이상의 스피커들에 의해 3차원 재생을 제공하는 고차 앰비소닉 오디오 신호의 배경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 2 층을 획득하는 단계, 및 고차 앰비소닉 오디오 신호의 전경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 3 층을 획득하는 단계를 포함하는, 방법.
제 16C 항. 제 1C 항에 있어서, 층들의 수의 표시는 3개의 층들이 비트스트림에서 특정된다는 것을 나타내고, 층들을 획득하는 단계는 스테레오 채널 재생을 제공하는 고차 앰비소닉 오디오 신호의 배경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 1 층을 획득하는 단계, 단일 수평 평면상에 배열된 3개 이상의 스피커들에 의해 멀티-채널 재생을 제공하는 고차 앰비소닉 오디오 신호의 배경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 2 층을 획득하는 단계, 2개 이상의 수평 평면들상에 배열된 3개 이상의 스피커들에 의해 3차원 재생을 제공하는 고차 앰비소닉 오디오 신호의 배경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 3 층을 획득하는 단계, 및 고차 앰비소닉 오디오 신호의 전경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 4 층을 획득하는 단계를 포함하는, 방법.
제 17C 항. 제 1C 항에 있어서, 층들의 수의 표시는 3개의 층들이 비트스트림에서 특정된다는 것을 나타내고, 층들을 획득하는 단계는 모노 채널 재생을 제공하는 고차 앰비소닉 오디오 신호의 배경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 1 층을 획득하는 단계, 단일 수평 평면상에 배열된 3개 이상의 스피커들에 의해 멀티-채널 재생을 제공하는 고차 앰비소닉 오디오 신호의 배경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 2 층을 획득하는 단계, 2개 이상의 수평 평면들상에 배열된 3개 이상의 스피커들에 의해 3차원 재생을 제공하는 고차 앰비소닉 오디오 신호의 배경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 3 층을 획득하는 단계, 및 고차 앰비소닉 오디오 신호의 전경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 4 층을 획득하는 단계를 포함하는, 방법.
제 18C 항. 제 1C 항에 있어서, 층들의 수의 표시는 2개의 층들이 비트스트림에서 특정된다는 것을 나타내고, 층들을 획득하는 단계는 스테레오 채널 재생을 제공하는 고차 앰비소닉 오디오 신호의 배경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 1 층을 획득하는 단계, 및 단일 수평 평면상에 배열된 3개 이상의 스피커들에 의해 수평 멀티-채널 재생을 제공하는 고차 앰비소닉 오디오 신호의 배경 컴포넌트들을 나타내는 비트스트림의 층들 중 제 2 층을 획득하는 단계를 포함하는, 방법.
제 19C 항. 제 1C 항에 있어서, 비트스트림에서 특정된 채널들의 수의 표시를 특정하는 단계를 더 포함하고, 층들을 획득하는 단계는 층들의 수의 표시 및 채널들의 수의 표시에 기초하여 비트스트림의 층들을 획득하는 단계를 포함하는, 방법.
제 20C 항. 제 1C 항에 있어서, 층들 중 적어도 하나에 대한 비트스트림에서 특정된 전경 채널들의 수의 표시를 획득하는 단계를 더 포함하고, 층들을 획득하는 단계는 전경 채널들의 수의 표시에 기초하여 비트스트림의 층들 중 적어도 하나에 대한 전경 채널들을 획득하는 단계를 포함하는, 방법.
제 21C 항. 제 1C 항에 있어서, 층들 중 적어도 하나에 대한 비트스트림에서 특정된 배경 채널들의 수의 표시를 획득하는 단계를 더 포함하고, 층들을 획득하는 단계는 배경 채널들의 수의 표시에 기초하여 비트스트림의 층들 중 적어도 하나에 대한 배경 채널들을 획득하는 단계를 포함하는, 방법.
제 22C 항. 제 1C 항에 있어서, 층들 중 적어도 하나가 획득된 이후에 비트스트림에 남아 있는 채널들의 수에 기초하여 층들 중 적어도 하나에 대한 비트스트림에서 특정된 전경 채널들의 수의 표시를 분석하는 단계를 더 포함하고, 층들을 획득하는 단계는 전경 채널들의 수의 표시에 기초하여 층들 중 적어도 하나의 전경 채널들을 획득하는 단계를 포함하는, 방법.
제 23C 항. 제 22C 항에 있어서, 층들 중 적어도 하나가 획득된 이후에 비트스트림에 남아 있는 채널들의 수는 신택스 엘리먼트에 의해 표현되는, 방법.
제 24C 항. 제 1C 항에 있어서, 층들 중 적어도 하나가 획득된 이후의 채널들의 수에 기초하여 층들 중 적어도 하나에 대한 비트스트림에서 특정된 배경 채널들의 수의 표시를 분석하는 단계를 더 포함하고, 배경 채널들을 획득하는 단계는 배경 채널들의 수의 표시에 기초하여 비트스트림으로부터 층들 중 적어도 하나에 대한 배경 채널들을 획득하는 단계를 포함하는, 방법.
제 25C 항. 제 24C 항에 있어서, 층들 중 적어도 하나가 획득된 이후에 비트스트림에 남아 있는 채널들의 수는 신택스 엘리먼트에 의해 표현되는, 방법.
제 26C 항. 제 1C 항에 있어서, 비트스트림의 층들은 베이스 층 및 강화층을 포함하고, 방법은 고차 앰비소닉 오디오 신호의 배경 컴포넌트들의 상관된 표현을 획득하기 위해 베이스 층의 하나 이상의 채널들에 관하여 상관 변환을 적용하는 단계를 더 포함하는, 방법.
제 27C 항. 제 26C 항에 있어서, 상관 변환은 역 UHJ 변환을 포함하는, 방법.
제 28C 항. 제 26C 항에 있어서, 상관 변환은 역 모드 행렬 변환을 포함하는, 방법.
제 29C 항. 제 1C 항에 있어서, 비트스트림의 층들 각각에 대한 채널들의 수는 고정되는, 방법.
더욱이, 기술들은 실행될 때, 하나 이상의 프로세서로 하여금 아래의 조항들에 설명된 방법을 수행하게 하는 명령들이 저장된 비일시적 컴퓨터-판독가능 매체를 디바이스가 수행할 수 있게 할 수도 있거나, 수행하는 수단을 포함하는 장치를 제공할 수도 있다.
제 1D 항. 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하는 방법으로서, 비트스트림으로부터, 비트스트림에서 하나 이상의 층들에서 특정된 채널들의 수의 표시를 획득하는 단계, 및 채널들의 수의 표시에 기초하여 비트스트림에서 하나 이상의 층들에서 특정된 채널들을 획득하는 단계를 포함하는, 방법.
제 2D 항. 제 1D 항에 있어서, 비트스트림에서 특정된 채널들의 총 수의 표시를 획득하는 단계를 더 포함하고, 채널들을 획득하는 단계는 하나 이상의 층들에서 특정된 채널들의 수의 표시 및 채널들의 총 수의 표시에 기초하여 하나 이상의 층들에서 특정된 채널들을 획득하는 단계를 포함하는, 방법.
제 3D 항. 제 1D 항에 있어서, 비트스트림에서 하나 이상의 층들에서 특정된 채널들 중 하나의 타입의 표시를 획득하는 단계를 더 포함하고, 채널들을 획득하는 단계는 채널들의 수의 표시 및 채널들 중 하나의 타입의 표시에 기초하여 채널들 중 하나를 획득하는 단계를 포함하는, 방법.
제 4D 항. 제 1D 항에 있어서, 비트스트림에서 하나 이상의 층들에서 특정된 채널들 중 하나의 타입의 표시를 획득하는 단계를 더 포함하고, 채널들 중 하나의 타입의 표시는 채널들 중 하나가 전경 채널이라는 것을 나타내고, 채널들을 획득하는 단계는 채널들의 수의 표시 및 채널들 중 하나의 타입이 전경 채널이라는 표시에 기초하여 채널들 중 하나를 획득하는 단계를 포함하는, 방법.
제 5D 항. 제 1D 항에 있어서, 비트스트림에서 특정된 채널들의 수의 표시를 획득하는 단계를 더 포함하고, 채널들을 획득하는 단계는 채널들의 수의 표시 및 층들의 수의 표시에 기초하여 채널들 중 하나를 획득하는 단계를 포함하는, 방법.
제 6D 항. 제 5D 항에 있어서, 층들의 수의 표시는 비트스트림의 이전 프레임에서 층들의 수의 표시를 포함하고, 방법은 비트스트림에서 하나 이상의 층들에서 특정된 채널들의 수가 이전 프레임의 비트스트림에서 하나 이상의 층들에서 특정된 채널들의 수와 비교할 때 현재 프레임에서 변화되었는지 여부의 표시를 획득하는 단계를 더 포함하고, 채널들을 획득하는 단계는 비트스트림에서 하나 이상의 층들에서 특정된 채널들의 수가 현재 프레임에서 변화되었는지 여부의 표시에 기초하여 채널들 중 하나를 획득하는 단계를 포함하는, 방법.
제 7D 항. 제 5D 항에 있어서, 표시가 비트스트림의 하나 이상의 층들에서 특정된 채널들의 수가 이전 프레임에서 비트스트림의 하나 이상의 층들에서 특정된 채널들의 수와 비교할 때 현재 프레임에서 변화되지 않았다는 것을 나타낼 때, 이전 프레임에서 비트스트림의 하나 이상의 층들에서 특정된 채널들의 수와 동일한 것으로서 현재 프레임에서 비트스트림의 하나 이상의 층들에서 특정된 채널들의 수를 결정하는 단계를 더 포함하는, 방법.
제 8D 항. 제 5D 항에 있어서, 하나 이상의 프로세서들은, 표시가 비트스트림의 하나 이상의 층들에서 특정된 채널들의 수가 이전 프레임에서 비트스트림의 하나 이상의 층들에서 특정된 채널들의 수와 비교할 때 현재 프레임에서 변화되지 않았다는 것을 나타낼 때, 이전 프레임의 층들 중 하나 이상에서 채널들의 이전 수와 동일한 것으로 현재 프레임에 대한 층들 중 하나 이상에서 채널들의 현재 수의 표시를 획득하도록 더 구성되는, 방법.
제 9D 항. 제 1D 항에 있어서, 비트스트림에서 하나 이상의 층들에서 특정된 채널들 중 하나의 타입의 표시를 획득하는 단계를 더 포함하고, 채널들 중 하나의 타입의 표시는 채널들 중 하나가 배경 채널이라는 것을 나타내고, 채널들을 획득하는 단계는 층들의 수의 표시 및 채널들 중 하나의 타입이 배경 채널이라는 표시에 기초하여 채널들 중 하나를 획득하는 단계를 포함하는, 방법.
제 10D 항. 제 9D 항에 있어서, 비트스트림에서 하나 이상의 층들에서 특정된 채널들 중 하나의 타입의 표시를 획득하는 단계를 더 포함하고, 채널들 중 하나의 타입의 표시는 채널들 중 하나가 배경 채널이라는 것을 나타내고, 채널들을 획득하는 단계는 층들의 수의 표시 및 채널들 중 하나의 타입이 배경 채널이라는 표시에 기초하여 채널들 중 하나를 획득하는 단계를 포함하는, 방법.
제 11D 항. 제 9D 항에 있어서, 채널들 중 하나는 배경 고차 앰비소닉 계수를 포함하는, 방법.
제 12D 항. 제 9D 항에 있어서, 채널들 중 하나의 타입의 표시를 획득하는 단계는 채널들 중 하나의 타입을 나타내는 신택스 엘리먼트를 획득하는 단계를 포함하는, 방법.
제 13D 항. 제 1D 항에 있어서, 채널들의 수의 표시를 획득하는 단계는 층들 중 하나가 획득된 이후에 비트스트림에 남아 있는 채널들의 수에 기초하여 채널들의 수의 표시를 획득하는 단계를 포함하는, 방법.
제 14D 항. 제 1D 항에 있어서, 층들은 베이스 층을 포함하는, 방법.
제 15D 항. 제 1D 항에 있어서, 층들은 베이스 층 및 하나 이상의 강화층들을 포함하는, 방법.
제 16D 항. 제 1D 항에 있어서, 하나 이상의 층들의 수는 고정되는, 방법.
상술한 기술들은 임의의 수의 상이한 컨텍스트들 및 오디오 에코시스템들에 관하여 수행될 수도 있다. 기술들이 예시적인 컨텍스트들에 제한되어야 하지만, 다수의 예시적인 컨텍스트들이 후술된다. 하나의 예시적인 오디오 에코시스템은, 오디오 콘텐츠, 영화 스튜디오들, 음악 스튜디오들, 게이밍 오디오 스튜디오들, 채널 기반 오디오 콘텐츠, 코딩 엔진들, 게임 오디오 스템들, 게임 오디오 코딩/렌더링 엔진들, 및 전달 시스템들을 포함할 수도 있다.
영화 스튜디오들, 음악 스튜디오들, 및 게이밍 오디오 스튜디오들은 오디오 콘텐츠를 수신할 수도 있다. 일부 예들에서, 오디오 콘텐츠는 취득의 출력을 표현할 수도 있다. 영화 스튜디오들은 예를 들어, 디지털 오디오 워크스테이션 (DAW) 을 사용함으로써 (예를 들어, 2.0, 5.1, 및 7.1 에서) 채널 기반 오디오 콘텐츠를 출력할 수도 있다. 음악 스튜디오들은 예를 들어, DAW 를 사용함으로써 (예를 들어, 2.0 및 5.1 에서) 채널 기반 오디오 콘텐츠를 출력할 수도 있다. 어느 경우나, 코딩 엔진들은 전달 시스템에 의한 출력을 위해 하나 이상의 코덱들 (예를 들어, AAC, AC3, Dolby True HD, Dolby Digital Plus, 및 DTS Master Audio) 에 기초하여 채널 기반 오디오 콘텐츠를 수신하고 인코딩할 수도 있다. 게이밍 오디오 스튜디오들은 예를 들어, DAW 를 사용함으로써 하나 이상의 게임 오디오 스템들을 출력할 수도 있다. 게임 오디오 코딩/렌더링 엔진들은 전달 시스템들에 의한 출력을 위해 오디오 스템들을 채널 기반 오디오 콘텐츠로 코딩하고 렌더링할 수도 있다. 기술들이 수행될 수도 있는 다른 예시적인 컨텍스트는, 방송 기록 오디오 오브젝트들, 전문 오디오 시스템들, 소비자 온-디바이스 캡처, HOA 오디오 포맷, 온-디바이스 렌더링, 소비자 오디오, TV, 및 액세서리들, 및 카 오디오 시스템들을 포함할 수도 있는 오디오 에코시스템을 포함한다.
방송 기록 오디오 오브젝트들, 전문 오디오 시스템들, 및 소비자 온-디바이스 캡처는 모두, HOA 오디오 포맷을 사용하여 그들의 출력을 코딩할 수도 있다. 이러한 방식으로, 오디오 콘텐츠는 온-디바이스 렌더링, 소비자 오디오, TV, 및 액세서리들, 및 카 오디오 시스템들을 사용하여 재생될 수도 있는 단일 표현으로 HOA 오디오 포맷을 사용하여 코딩될 수도 있다. 다시 말해, 오디오 콘텐츠의 단일 표현은 오디오 재생 시스템 (16) 과 같은 일반 오디오 재생 시스템에서 (즉, 5.1, 7.1 등과 같은 특정한 구성을 요구하는 것과 반대로) 재생될 수도 있다.
기술들이 수행될 수도 있는 컨텍스트들의 다른 예들은, 취득 엘리먼트들, 및 재생 엘리먼트들을 포함할 수도 있는 오디오 에코시스템을 포함한다. 취득 엘리먼트들은 유선 및/또는 무선 취득 디바이스들 (예를 들어, 아이겐 (Eigen) 마이크로폰들), 온-디바이스 서라운드 사운드 캡처, 및 모바일 디바이스들 (예를 들어, 스마트폰들 및 태블릿들) 을 포함할 수도 있다. 일부 예들에서, 유선 및/또는 무선 취득 디바이스들은 유선 및/또는 무선 통신 채널(들)을 통해 모바일 디바이스에 커플링될 수도 있다.
본 개시의 하나 이상의 기술들에 따르면, 모바일 디바이스는 음장을 취득하기 위해 사용될 수도 있다. 예를 들어, 모바일 디바이스는 유선 및/또는 무선 취득 디바이스 및/또는 온-디바이스 서라운드 사운드 캡처 (예를 들어, 모바일 디바이스에 집적된 복수의 마이크로폰들) 를 통해 음장을 취득할 수도 있다. 그 후, 모바일 디바이스는 취득된 음장을 재생 엘리먼트들 중 하나 이상에 의한 재생을 위해 HOA 계수들로 코딩할 수도 있다. 예를 들어, 모바일 디바이스의 사용자는 라이브 이벤트 (예를 들어, 미팅, 회의, 플레이, 콘서트 등) 를 기록할 수도 있고 (그것의 음장을 취득할 수도 있고), 기록을 HOA 계수들로 코딩할 수도 있다.
모바일 디바이스는 또한, HOA 코딩된 음장을 재생하기 위해 재생 엘리먼트들 중 하나 이상을 활용할 수도 있다. 예를 들어, 모바일 디바이스는 HOA 코딩된 음장을 디코딩할 수도 있으며, 재생 엘리먼트들 중 하나 이상으로 신호를 출력하여 재생 엘리먼트들 중 하나 이상으로 하여금 음장을 재생성하게 할 수도 있다. 일례로서, 모바일 디바이스는 신호를 하나 이상의 스피커들 (예를 들어, 스피커 어레이들, 사운드 바들 등) 에 출력하기 위해 무선 및/또는 무선 통신 채널들을 활용할 수도 있다. 다른 예로서, 모바일 디바이스는 신호를 하나 이상의 도킹 스테이션들 (docking stations) 및/또는 하나 이상의 도킹된 스피커들 (예를 들어, 스마트 카들 및/또는 홈들에서 사운드 시스템들) 에 출력하기 위해 도킹 솔루션들을 활용할 수도 있다. 다른 예로서, 모바일 디바이스는 신호를 헤드폰들의 세트에 출력하기 위해, 예를 들어, 현실적인 바이노럴 (binaural) 사운드를 생성하기 위해 헤드폰 렌더링을 활용할 수도 있다.
일부 예들에서, 특정한 모바일 디바이스가 3D 음장을 취득하고 추후에 동일한 3D 음장을 재생할 수도 있다. 일부 예들에서, 모바일 디바이스는 3D 음장을 취득할 수도 있고, 3D 음장을 HOA 로 인코딩할 수도 있으며, 인코딩된 3D 음장을 하나 이상의 다른 디바이스들 (예를 들어, 재생을 위한 다른 모바일 디바이스들 및/또는 다른 넌-모바일 디바이스) 에 송신할 수도 있다.
기술들이 수행될 수도 있는 또 다른 컨텍스트는, 오디오 콘텐츠, 게임 스튜디오들, 코딩된 오디오 콘텐츠, 렌더링 엔진들, 및 전달 시스템들을 포함할 수도 있는 오디오 에코시스템을 포함한다. 일부 예들에서, 게임 스튜디오들은 HOA 신호들의 편집을 지원할 수도 있는 하나 이상의 DAW들을 포함할 수도 있다. 예를 들어, 하나 이상의 DAW들은 하나 이상의 게임 오디오 시스템들과 동작(예를 들어, 작동) 하도록 구성될 수도 있는 HOA 플러그인들 (plugins) 및/또는 툴들을 포함할 수도 있다. 일부 예들에서, 게임 스튜디오들은 HOA 를 지원하는 새로운 스템 포맷을 출력할 수도 있다. 어느 경우나, 게임 스튜디오들은 전달 시스템들에 의한 재생을 위해 음장을 렌더링할 수도 있는 렌더링 엔진들에 코딩된 오디오 콘텐츠를 출력할 수도 있다.
기술들은 예시적인 오디오 취득 디바이스들에 관하여 또한 수행될 수도 있다. 예를 들어, 기술들은 3D 음장을 기록하도록 일괄적으로 구성되는 복수의 마이크로폰들을 포함할 수도 있는 아이겐 마이크로폰에 관하여 수행될 수도 있다. 일부 예들에서, 아이겐 마이크로폰의 복수의 마이크로폰들은 대략 4cm의 반경을 갖는 실질적으로 구형 볼의 표면상에 위치될 수도 있다. 일부 예들에서, 오디오 인코딩 디바이스 (20) 는 비트스트림 (21) 을 마이크로폰으로부터 직접 출력하도록 아이겐 마이크로폰으로 집적될 수도 있다.
다른 예시적인 오디오 취득 컨텍스트가 하나 이상의 아이겐 마이크로폰들과 같은 하나 이상의 마이크로폰들로부터 신호를 수신하도록 구성될 수도 있는 프로덕션 트럭 (production truck 을 포함할 수도 있다. 프로덕션 트럭은 도 3 의 오디오 인코더 (20) 와 같은 오디오 인코더를 또한 포함할 수도 있다.
일부 경우들에서, 모바일 디바이스는 3D 음장을 기록하도록 일괄적으로 구성되는 복수의 마이크로폰들을 포함한다. 다시 말해, 복수의 마이크로폰들은 X, Y, Z 다이버시티를 가질 수도 있다. 일부 예들에서, 모바일 디바이스는 모바일 디바이스의 하나 이상의 다른 마이크로폰들에 관하여 X, Y, Z 다이버시티를 제공하기 위해 회전될 수도 있는 마이크로폰을 포함할 수도 있다. 모바일 디바이스는 도 3 의 오디오 인코더 (20) 와 같은 오디오 인코더를 또한 포함할 수도 있다.
러기다이즈드 (ruggedized) 비디오 캡처 디바이스가 3D 음장을 기록하도록 더 구성될 수도 있다. 일부 예들에서, 러기다이즈드 비디오 캡처 디바이스는 활동에 참여한 사용자의 헬멧에 부착될 수도 있다. 예를 들어, 러기다이즈드 비디오 캡처 디바이스는 급류 래프팅하는 사용자의 헬멧에 부착될 수도 있다. 이러한 방식으로, 러기다이즈드 비디오 캡처 디바이스는 사용자 주위의 액션 (예를 들어, 사용자 뒤에서 충돌하는 물, 사용자 앞에서 말하는 다른 래프터 등) 을 표현하는 3D 음장을 캡처할 수도 있다.
기술들은 3D 음장을 기록하도록 구성될 수도 있는 액세서리 강화된 모바일 디바이스에 관하여 또한 수행될 수도 있다. 일부 예들에서, 모바일 디바이스는 하나 이상의 액세서리들의 추가로, 상기 논의한 모바일 디바이스들과 유사할 수도 있다. 예를 들어, 아이겐 마이크로폰은 액세서리 강화된 모바일 디바이스를 형성하기 위해 상기 언급한 모바일 디바이스에 부착될 수도 있다. 이러한 방식으로, 액세서리 강화된 모바일 디바이스는 액세서리 강화된 모바일 디바이스에 집적된 사운드 캡처 컴포넌트들을 단지 사용하는 것보다 3D 음장의 상위 품질 버전을 캡처할 수도 있다.
본 개시에 설명한 기술들이 다양한 양태들을 수행할 수도 있는 예시적인 오디오 재생 디바이스들이 아래에 더 논의된다. 본 개시의 하나 이상의 기술들에 따르면, 스피커들 및/또는 사운드 바들이 3D 음장을 여전히 재생하면서 임의의 구성으로 배열될 수도 있다. 더욱이, 일부 예들에서, 헤드폰 재생 디바이스들이 유선 또는 무선 연결을 통해 디코더 (24) 에 커플링될 수도 있다. 본 개시의 하나 이상의 기술들에 따르면, 음장의 단일의 일반적 표현이 스피커들, 사운드 바들, 및 헤드폰 재생 디바이스들의 임의의 조합에 대해 음장을 렌더링하기 위해 활용될 수도 있다.
다수의 상이한 예시적인 오디오 재생 환경들이 본 개시에 설명한 기술들의 다양한 양태들을 수행하는데 또한 적합할 수도 있다. 예를 들어, 5.1 스피커 재생 환경, 2.0 (예를 들어, 스테레오) 스피커 재생 환경, 풀 하이트 프런트 라우드스피커들을 갖는 9.1 스피커 재생 환경, 16.0 스피커 재생 환경, 자동 스피커 재생 환경, 및 이어 버드 (ear bud) 재생 환경을 갖는 모바일 디바이스가 본 개시에 설명한 기술들의 다양한 양태들을 수행하는 적합한 환경들일 수도 있다.
본 개시의 하나 이상의 기술들에 따르면, 음장의 단일의 일반적 표현이 상술한 재생 환경들 중 임의의 것에 대해 음장을 렌더링하기 위해 활용될 수도 있다. 추가로, 본 개시의 기술들은 렌더가 상술한 것 이외의 재생 환경들에 대해 재생을 위해 일반적 표현으로부터의 음장을 렌더링할 수 있게 한다. 예를 들어, 설계 고려사항들이 7.1 스피커 재생 환경에 따른 스피커들의 적절한 배치를 금지하는 경우에 (예를 들어, 우측 서라운드 스피커를 배치하는 것이 가능하지 않은 경우에), 본 개시의 기술들은 렌더가 재생이 6.1 스피커 재생 환경에 대해 달성될 수도 있도록 다른 6개 스피커들로 보상할 수 있게 한다.
더욱이 사용자는 헤드폰들을 착용하면서 스포츠 게임을 시청할 수도 있다. 본 개시의 하나 이상의 기술들에 따르면, 스포츠 게임의 3D 음장이 취득될 수도 있고 (예를 들어, 하나 이상의 아이겐 마이크로폰들이 야구장에 그리고/또는 야구장 주위에 배치될 수도 있고), 3D 음장에 대응하는 HOA 계수들이 획득되어 디코더에 송신될 수도 있고, 디코더는 HOA 계수들에 기초하여 3D 음장을 재구성하고, 재구성된 3D 음장을 렌더러에 출력할 수도 있고, 렌더러는 재생 환경의 타입 (예를 들어, 헤드폰들) 에 관한 표시를 획득하고, 헤드폰들로 하여금 스포츠 게임의 3D 음장의 표현을 출력하게 하는 신호들로 재구성된 3D 음장을 렌더링할 수도 있다.
상술한 다양한 경우들 각각에서, 오디오 인코딩 디바이스 (20) 가 방법을 수행할 수도 있거나 그렇지 않으면, 오디오 인코딩 디바이스 (20) 가 수행하도록 구성되는 방법의 각각의 단계를 수행할 수단을 포함할 수도 있다는 것을 이해해야 한다. 일부 경우들에서, 하나 이상의 프로세서들은 비일시적 컴퓨터-판독가능 저장 매체에 저장된 명령들에 의해 구성된 특수용 프로세서를 표현할 수도 있다. 다시 말해, 인코딩 예들의 세트들 각각에서 기술들의 다양한 양태들은, 실행될 때, 하나 이상의 프로세서들로 하여금, 오디오 인코딩 디바이스 (20) 가 수행하도록 구성되는 방법을 수행하게 하는 명령들이 저장된 비일시적 컴퓨터-판독가능 저장 매체를 제공할 수도 있다.
하나 이상의 예들에서, 설명한 기능들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어에서 구현된다면, 그 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상으로 저장 또는 전송될 수도 있고 하드웨어-기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터-판독가능 매체는 데이터 저장 매체와 같은 유형의 매체에 대응하는 컴퓨터-판독가능 저장 매체를 포함할 수도 있다. 데이터 저장 매체는 본 개시에 설명한 기술들의 구현을 위해 명령들, 코드 및/또는 데이터 구조들을 검색하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 컴퓨터 프로그램 제품이 컴퓨터-판독가능 매체를 포함할 수도 있다.
유사하게, 상술한 다양한 경우들 각각에서, 오디오 디코딩 디바이스 (24) 가 방법을 수행할 수도 있거나 그렇지 않으면 오디오 디코딩 디바이스 (24) 가 수행하도록 구성되는 방법의 각각의 단계를 수행할 수단을 포함할 수도 있다는 것을 이해해야 한다. 일부 경우들에서, 수단은 하나 이상의 프로세서들을 포함할 수도 있다. 일부 경우들에서, 하나 이상의 프로세서들은 비일시적 컴퓨터-판독가능 저장 매체에 저장된 명령들에 의해 구성된 특수용 프로세서를 표현할 수도 있다. 다시 말해, 인코딩 예들의 세트들 각각에서 기술들의 다양한 양태들은, 실행될 때, 하나 이상의 프로세서들로 하여금, 오디오 디코딩 디바이스 (24) 가 수행하도록 구성되는 방법을 수행하게 하는 명령들이 저장된 비일시적 컴퓨터-판독가능 저장 매체를 제공할 수도 있다.
한정이 아닌 예로서, 그러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 그러나, 컴퓨터-판독가능 저장 매체 및 데이터 저장 매체는 접속체들, 캐리어파들, 신호들, 또는 다른 일시적 매체를 포함하지 않지만, 대신 비일시적 유형의 저장 매체로 지향됨을 이해해야 한다. 본 명세서에서 사용되는 바와 같은 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루레이 디스크를 포함하며, 여기서, 디스크 (disk) 는 통상적으로 데이터를 자기적으로 재생하지만 디스크 (disc) 는 레이저들을 이용하여 데이터를 광학적으로 재생한다. 상기의 조합들이 또한, 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
명령들은 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적회로들 (ASIC들), 필드 프로그래밍가능 로직 어레이들 (FPGA들), 또는 다른 등가의 집적된 또는 별도의 로직 회로와 같은 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 본 명세서에서 사용되는 바와 같은 용어 "프로세서" 는 본 명세서에서 설명된 기술들의 구현에 적절한 전술한 구조 또는 임의의 다른 구조 중 임의의 구조를 지칭할 수도 있다. 부가적으로, 일부 양태들에 있어서, 본 명세서에서 설명된 기능은 인코딩 및 디코딩을 위해 구성되거나 또는 결합된 코덱에서 통합된 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공될 수도 있다. 또한, 그 기술들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
본 개시의 기술들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예를 들어, 칩 세트) 를 포함하여 매우 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들 또는 유닛들이 개시된 기술들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에서 설명되지만, 반드시 상이한 하드웨어 유닛들에 의한 실현을 요구하지는 않는다. 오히려, 상기 설명된 바와 같이, 다양한 유닛들은 적절한 소프트웨어 및/또는 펌웨어와 함께 상기 설명된 바와 같은 하나 이상의 프로세서들을 포함하여 코덱 하드웨어 유닛으로 결합되거나 상호작용하는 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.
기술들의 다양한 양태들이 설명되었다. 기술들의 이들 및 다른 양태들은 다음의 청구항들의 범위 내에 있다.
Claims (30)
- 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된 디바이스로서,
상기 비트스트림을 저장하도록 구성된 메모리; 및
상기 비트스트림으로부터, 상기 비트스트림에서 하나 이상의 층들에서 특정된 채널들의 수의 표시를 획득하며,
상기 채널들의 수의 상기 표시에 기초하여 상기 비트스트림에서 상기 하나 이상의 층들에서 특정된 상기 채널들을 획득하도록 구성되는
하나 이상의 프로세서들을 포함하는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된 디바이스. - 제 1 항에 있어서,
상기 하나 이상의 프로세서들은 상기 비트스트림에서 특정된 채널들의 총 수의 표시를 획득하도록 더 구성되며,
상기 하나 이상의 프로세서들은 상기 하나 이상의 층들에서 특정된 상기 채널들의 수의 상기 표시 및 상기 채널들의 총 수의 상기 표시에 기초하여 상기 하나 이상의 층들에서 특정된 상기 채널들을 획득하도록 구성되는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된 디바이스. - 제 1 항에 있어서,
상기 하나 이상의 프로세서들은 상기 비트스트림에서 상기 하나 이상의 층들에서 특정된 상기 채널들 중 하나의 채널의 타입의 표시를 획득하도록 더 구성되며,
상기 하나 이상의 프로세서들은 상기 채널들의 수의 상기 표시 및 상기 채널들 중 상기 하나의 채널의 상기 타입의 상기 표시에 기초하여 상기 채널들 중 상기 하나의 채널을 획득하도록 구성되는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된 디바이스. - 제 1 항에 있어서,
상기 하나 이상의 프로세서들은 상기 비트스트림에서 상기 하나 이상의 층들에서 특정된 상기 채널들 중 하나의 채널의 타입의 표시를 획득하도록 더 구성되고, 상기 채널들 중 상기 하나의 채널의 상기 타입의 상기 표시는 상기 채널들 중 상기 하나의 채널이 전경 채널이라는 것을 나타내며,
상기 하나 이상의 프로세서들은 상기 채널들의 수의 상기 표시 및 상기 채널들 중 상기 하나의 채널의 상기 타입이 상기 전경 채널이라는 표시에 기초하여 상기 채널들 중 상기 하나의 채널을 획득하도록 구성되는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된 디바이스. - 제 1 항에 있어서,
상기 하나 이상의 프로세서들은 상기 비트스트림에서 특정된 층들의 수의 표시를 획득하도록 더 구성되며,
상기 프로세서들은 상기 채널들의 수의 상기 표시 및 상기 층들의 수의 상기 표시에 기초하여 상기 채널들 중 상기 하나의 채널을 획득하도록 구성되는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된 디바이스. - 제 5 항에 있어서,
상기 층들의 수의 상기 표시는 상기 비트스트림의 이전 프레임에서 층들의 수의 표시를 포함하고,
상기 하나 이상의 프로세서들은, 상기 비트스트림에서 하나 이상의 층들에서 특정된 상기 채널들의 수가 상기 이전 프레임의 상기 비트스트림에서 하나 이상의 층들에서 특정된 채널들의 수와 비교할 때 현재 프레임에서 변화되었는지 여부의 표시를 획득하도록 더 구성되며,
상기 프로세서들은 상기 비트스트림에서 하나 이상의 층들에서 특정된 상기 채널들의 수가 상기 현재 프레임에서 변화되었는지 여부의 상기 표시에 기초하여 상기 채널들 중 상기 하나의 채널을 획득하도록 구성되는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된 디바이스. - 제 5 항에 있어서,
상기 하나 이상의 프로세서들은, 상기 표시가 상기 비트스트림의 상기 하나 이상의 층들에서 특정된 상기 채널들의 수가 이전 프레임에서 상기 비트스트림의 상기 하나 이상의 층들에서 특정된 상기 채널들의 수와 비교할 때 현재 프레임에서 변화되지 않았다는 것을 나타낼 때, 상기 현재 프레임에서 상기 비트스트림의 상기 하나 이상의 층들에서 특정된 상기 채널들의 수를 상기 이전 프레임에서 상기 비트스트림의 상기 하나 이상의 층들에서 특정된 상기 채널들의 수와 동일한 것으로서 결정하도록 더 구성되는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된 디바이스. - 제 5 항에 있어서,
상기 하나 이상의 프로세서들은, 상기 표시가 상기 비트스트림의 상기 하나 이상의 층들에서 특정된 상기 채널들의 수가 이전 프레임에서 상기 비트스트림의 상기 하나 이상의 층들에서 특정된 상기 채널들의 수와 비교할 때 현재 프레임에서 변화되지 않았다는 것을 나타낼 때, 상기 이전 프레임의 층들 중 하나 이상의 층들에서의 채널들의 이전 수와 동일한 것으로 상기 현재 프레임에 대한 층들 중 하나 이상의 층들에서의 채널들의 현재 수의 표시를 획득하도록 더 구성되는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된 디바이스. - 제 1 항에 있어서,
상기 고차 앰비소닉 오디오 신호에 기초하여 음장을 재생하도록 구성된 라우드스피커를 더 포함하는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된 디바이스. - 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하는 방법으로서,
상기 비트스트림으로부터, 상기 비트스트림에서 하나 이상의 층들에서 특정된 채널들의 수의 표시를 획득하는 단계; 및
상기 채널들의 수의 상기 표시에 기초하여 상기 비트스트림에서 상기 하나 이상의 층들에서 특정된 상기 채널들을 획득하는 단계를 포함하는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하는 방법. - 제 10 항에 있어서,
상기 비트스트림에서 상기 하나 이상의 층들에서 특정된 상기 채널들 중 하나의 채널의 타입의 표시를 획득하는 단계를 더 포함하고, 상기 채널들 중 상기 하나의 채널의 상기 타입의 상기 표시는 상기 채널들 중 상기 하나의 채널이 배경 채널이라는 것을 나타내고,
상기 채널들을 획득하는 단계는, 상기 층들의 수의 상기 표시 및 상기 채널들 중 상기 하나의 채널의 상기 타입이 상기 배경 채널이라는 상기 표시에 기초하여 상기 채널들 중 상기 하나의 채널을 획득하는 단계를 포함하는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하는 방법. - 제 11 항에 있어서,
상기 비트스트림에서 상기 하나 이상의 층들에서 특정된 상기 채널들 중 하나의 채널의 타입의 표시를 획득하는 단계를 더 포함하고, 상기 채널들 중 상기 하나의 채널의 상기 타입의 상기 표시는 상기 채널들 중 상기 하나의 채널이 배경 채널이라는 것을 나타내고,
상기 채널들을 획득하는 단계는, 상기 층들의 수의 상기 표시 및 상기 채널들 중 상기 하나의 채널의 상기 타입이 상기 배경 채널이라는 상기 표시에 기초하여 상기 채널들 중 상기 하나의 채널을 획득하는 단계를 포함하는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하는 방법. - 제 11 항에 있어서,
상기 채널들 중 상기 하나의 채널은 배경 고차 앰비소닉 계수를 포함하는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하는 방법. - 제 11 항에 있어서,
상기 채널들 중 상기 하나의 채널의 상기 타입의 상기 표시를 획득하는 단계는, 상기 채널들 중 상기 하나의 채널의 상기 타입을 나타내는 신택스 엘리먼트를 획득하는 단계를 포함하는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하는 방법. - 제 10 항에 있어서,
상기 채널들의 수의 상기 표시를 획득하는 단계는, 상기 층들 중 하나의 층이 획득된 후에 상기 비트스트림에 남아 있는 채널들의 수에 기초하여 상기 채널들의 수의 상기 표시를 획득하는 단계를 포함하는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하는 방법. - 제 10 항에 있어서,
상기 층들은 베이스 층을 포함하는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하는 방법. - 제 10 항에 있어서,
상기 층들은 베이스 층 및 하나 이상의 강화층들을 포함하는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하는 방법. - 제 10 항에 있어서,
상기 하나 이상의 층들의 수는 고정되는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하는 방법. - 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된 디바이스로서,
상기 비트스트림으로부터, 상기 비트스트림의 하나 이상의 층들에서 특정된 채널들의 수의 표시를 획득하는 수단; 및
상기 채널들의 수의 상기 표시에 기초하여 상기 비트스트림에서 상기 하나 이상의 층들에서 특정된 상기 채널들을 획득하는 수단을 포함하는, 고차 앰비소닉 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된 디바이스. - 명령들이 저장된 비일시적 컴퓨터-판독가능 저장 매체로서,
상기 명령들은 실행될 때, 하나 이상의 프로세서들로 하여금:
고차 앰비소닉 오디오 신호를 나타내는 비트스트림으로부터, 상기 비트스트림의 하나 이상의 층들에서 특정된 채널들의 수의 표시를 획득하게 하며; 그리고
상기 채널들의 수의 상기 표시에 기초하여 상기 비트스트림의 상기 하나 이상의 층들에서 특정된 상기 채널들을 획득하게 하는, 비일시적 컴퓨터-판독가능 저장 매체. - 비트스트림을 생성하기 위해 고차 앰비소닉 오디오 신호를 인코딩하도록 구성된 디바이스로서,
상기 비트스트림에서, 상기 비트스트림의 하나 이상의 층들에서 특정된 채널들의 수의 표시를 특정하고, 상기 비트스트림의 상기 하나 이상의 층들에서, 표시된 상기 채널들의 수를 특정하도록 구성된 하나 이상의 프로세서들; 및
상기 비트스트림을 저장하도록 구성된 메모리를 포함하는, 비트스트림을 생성하기 위해 고차 앰비소닉 오디오 신호를 인코딩하도록 구성된 디바이스. - 제 21 항에 있어서,
상기 하나 이상의 프로세서들은 상기 비트스트림에서 특정된 채널들의 총 수의 표시를 특정하도록 더 구성되며,
상기 하나 이상의 프로세서들은 상기 비트스트림의 상기 하나 이상의 층들에서, 표시된 상기 채널들의 총 수를 특정하도록 구성되는, 비트스트림을 생성하기 위해 고차 앰비소닉 오디오 신호를 인코딩하도록 구성된 디바이스. - 제 21 항에 있어서,
상기 하나 이상의 프로세서들은 상기 비트스트림에서 상기 하나 이상의 층들에서 특정된 상기 채널들 중 하나의 채널의 타입의 표시를 특정하도록 더 구성되며,
상기 하나 이상의 프로세서들은 상기 비트스트림의 상기 하나 이상의 층들에서 상기 채널들 중 상기 하나의 채널의 표시된 상기 타입의 표시된 상기 수를 특정하도록 구성되는, 비트스트림을 생성하기 위해 고차 앰비소닉 오디오 신호를 인코딩하도록 구성된 디바이스. - 제 21 항에 있어서,
상기 하나 이상의 프로세서들은 상기 비트스트림에서 상기 하나 이상의 층들에서 특정된 상기 채널들 중 하나의 채널의 타입의 표시를 특정하도록 더 구성되고, 상기 채널들 중 상기 하나의 채널의 상기 타입의 상기 표시는 상기 채널들 중 상기 하나의 채널이 전경 채널이라는 것을 나타내며,
상기 하나 이상의 프로세서들은 상기 비트스트림의 상기 하나 이상의 층들에서 상기 전경 채널을 특정하도록 구성되는, 비트스트림을 생성하기 위해 고차 앰비소닉 오디오 신호를 인코딩하도록 구성된 디바이스. - 제 21 항에 있어서,
상기 하나 이상의 프로세서들은, 상기 비트스트림에서, 상기 비트스트림에서 특정된 층들의 수의 표시를 특정하도록 더 구성되는, 비트스트림을 생성하기 위해 고차 앰비소닉 오디오 신호를 인코딩하도록 구성된 디바이스. - 제 21 항에 있어서,
상기 고차 앰비소닉 오디오 신호를 캡처하도록 구성된 마이크로폰을 더 포함하는, 비트스트림을 생성하기 위해 고차 앰비소닉 오디오 신호를 인코딩하도록 구성된 디바이스. - 비트스트림을 생성하기 위해 고차 앰비소닉 오디오 신호를 인코딩하는 방법으로서,
상기 비트스트림에서, 상기 비트스트림의 하나 이상의 층들에서 특정된 채널들의 수의 표시를 특정하는 단계; 및
상기 비트스트림의 상기 하나 이상의 층들에서, 표시된 상기 채널들의 수를 특정하는 단계를 포함하는, 비트스트림을 생성하기 위해 고차 앰비소닉 오디오 신호를 인코딩하는 방법. - 제 27 항에 있어서,
상기 비트스트림에서 상기 하나 이상의 층들에서 특정된 상기 채널들 중 하나의 채널의 타입의 표시를 특정하는 단계를 더 포함하고, 상기 채널들 중 상기 하나의 채널의 상기 타입의 상기 표시는 상기 채널들 중 상기 하나의 채널이 배경 채널이라는 것을 나타내고,
표시된 상기 채널들의 수를 특정하는 단계는, 상기 비트스트림의 상기 하나 이상의 층들에서 상기 배경 채널을 특정하는 단계를 포함하는, 비트스트림을 생성하기 위해 고차 앰비소닉 오디오 신호를 인코딩하는 방법. - 제 28 항에 있어서,
상기 채널들 중 상기 하나의 채널은 배경 고차 앰비소닉 계수를 포함하는, 비트스트림을 생성하기 위해 고차 앰비소닉 오디오 신호를 인코딩하는 방법. - 제 27 항에 있어서,
상기 채널들의 수의 상기 표시를 특정하는 단계는, 상기 층들 중 하나의 층이 특정된 후에 상기 비트스트림에 남아 있는 채널들의 수에 기초하여 상기 채널들의 수의 상기 표시를 특정하는 단계를 포함하는, 비트스트림을 생성하기 위해 고차 앰비소닉 오디오 신호를 인코딩하는 방법.
Applications Claiming Priority (19)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201462062584P | 2014-10-10 | 2014-10-10 | |
| US62/062,584 | 2014-10-10 | ||
| US201462084461P | 2014-11-25 | 2014-11-25 | |
| US62/084,461 | 2014-11-25 | ||
| US201462087209P | 2014-12-03 | 2014-12-03 | |
| US62/087,209 | 2014-12-03 | ||
| US201462088445P | 2014-12-05 | 2014-12-05 | |
| US62/088,445 | 2014-12-05 | ||
| US201562145960P | 2015-04-10 | 2015-04-10 | |
| US62/145,960 | 2015-04-10 | ||
| US201562175185P | 2015-06-12 | 2015-06-12 | |
| US62/175,185 | 2015-06-12 | ||
| US201562187799P | 2015-07-01 | 2015-07-01 | |
| US62/187,799 | 2015-07-01 | ||
| US201562209764P | 2015-08-25 | 2015-08-25 | |
| US62/209,764 | 2015-08-25 | ||
| US14/878,729 | 2015-10-08 | ||
| US14/878,729 US9984693B2 (en) | 2014-10-10 | 2015-10-08 | Signaling channels for scalable coding of higher order ambisonic audio data |
| PCT/US2015/054951 WO2016057926A1 (en) | 2014-10-10 | 2015-10-09 | Signaling channels for scalable coding of higher order ambisonic audio data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170067758A true KR20170067758A (ko) | 2017-06-16 |
| KR102053508B1 KR102053508B1 (ko) | 2019-12-06 |
Family
ID=54366497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177009443A KR102053508B1 (ko) | 2014-10-10 | 2015-10-09 | 고차 앰비소닉 오디오 데이터의 스케일러블 코딩을 위한 채널들의 시그널링 |
Country Status (13)
| Country | Link |
|---|---|
| US (1) | US9984693B2 (ko) |
| EP (1) | EP3204942B1 (ko) |
| JP (1) | JP6549225B2 (ko) |
| KR (1) | KR102053508B1 (ko) |
| CN (1) | CN106796796B (ko) |
| AU (1) | AU2015330759B2 (ko) |
| CA (1) | CA2961292C (ko) |
| CL (1) | CL2017000822A1 (ko) |
| CO (1) | CO2017003348A2 (ko) |
| ES (1) | ES2841419T3 (ko) |
| HU (1) | HUE051376T2 (ko) |
| SG (1) | SG11201701626RA (ko) |
| WO (1) | WO2016057926A1 (ko) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2922057A1 (en) | 2014-03-21 | 2015-09-23 | Thomson Licensing | Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal |
| TWI662543B (zh) * | 2014-03-24 | 2019-06-11 | 瑞典商杜比國際公司 | 應用動態範圍壓縮之方法和設備以及一種非暫態電腦可讀取儲存媒體 |
| US9536531B2 (en) * | 2014-08-01 | 2017-01-03 | Qualcomm Incorporated | Editing of higher-order ambisonic audio data |
| US10140996B2 (en) | 2014-10-10 | 2018-11-27 | Qualcomm Incorporated | Signaling layers for scalable coding of higher order ambisonic audio data |
| US10255032B2 (en) * | 2016-12-13 | 2019-04-09 | EVA Automation, Inc. | Wireless coordination of audio sources |
| US10405126B2 (en) * | 2017-06-30 | 2019-09-03 | Qualcomm Incorporated | Mixed-order ambisonics (MOA) audio data for computer-mediated reality systems |
| EP3776543B1 (en) | 2018-04-11 | 2022-08-31 | Dolby International AB | 6dof audio rendering |
| US20200402521A1 (en) * | 2019-06-24 | 2020-12-24 | Qualcomm Incorporated | Performing psychoacoustic audio coding based on operating conditions |
| CN110544484B (zh) * | 2019-09-23 | 2021-12-21 | 中科超影（北京）传媒科技有限公司 | 高阶Ambisonic音频编解码方法及装置 |
| US11430451B2 (en) * | 2019-09-26 | 2022-08-30 | Apple Inc. | Layered coding of audio with discrete objects |
| WO2022120011A1 (en) * | 2020-12-02 | 2022-06-09 | Dolby Laboratories Licensing Corporation | Rotation of sound components for orientation-dependent coding schemes |
| US20220383881A1 (en) * | 2021-05-27 | 2022-12-01 | Qualcomm Incorporated | Audio encoding based on link data |
| FR3136099A1 (fr) * | 2022-05-30 | 2023-12-01 | Orange | Codage audio spatialisé avec adaptation d’un traitement de décorrélation |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120070521A (ko) * | 2010-12-21 | 2012-06-29 | 톰슨 라이센싱 | 2차원 또는 3차원 음장의 앰비소닉스 표현의 연속 프레임을 인코딩 및 디코딩하는 방법 및 장치 |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020126759A1 (en) * | 2001-01-10 | 2002-09-12 | Wen-Hsiao Peng | Method and apparatus for providing prediction mode fine granularity scalability |
| KR100571824B1 (ko) * | 2003-11-26 | 2006-04-17 | 삼성전자주식회사 | 부가정보 삽입된 ｍｐｅｇ-4 오디오 ｂｓａｃ부호화/복호화 방법 및 장치 |
| SE0400998D0 (sv) * | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Method for representing multi-channel audio signals |
| US8423372B2 (en) * | 2004-08-26 | 2013-04-16 | Sisvel International S.A. | Processing of encoded signals |
| EP1881485A1 (en) | 2006-07-18 | 2008-01-23 | Deutsche Thomson-Brandt Gmbh | Audio bitstream data structure arrangement of a lossy encoded signal together with lossless encoded extension data for said signal |
| CN101170590B (zh) * | 2006-10-27 | 2011-04-27 | 华为技术有限公司 | 一种背景噪声的编码码流传输的方法、系统及装置 |
| CN101578864A (zh) * | 2006-12-22 | 2009-11-11 | 高通股份有限公司 | 增强层中的参考帧放置 |
| US8032359B2 (en) * | 2007-02-14 | 2011-10-04 | Mindspeed Technologies, Inc. | Embedded silence and background noise compression |
| US7885819B2 (en) * | 2007-06-29 | 2011-02-08 | Microsoft Corporation | Bitstream syntax for multi-process audio decoding |
| WO2009067741A1 (en) * | 2007-11-27 | 2009-06-04 | Acouity Pty Ltd | Bandwidth compression of parametric soundfield representations for transmission and storage |
| EP2154911A1 (en) * | 2008-08-13 | 2010-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | An apparatus for determining a spatial output multi-channel audio signal |
| WO2010070225A1 (fr) | 2008-12-15 | 2010-06-24 | France Telecom | Codage perfectionne de signaux audionumeriques multicanaux |
| CN101556799B (zh) * | 2009-05-14 | 2013-08-28 | 华为技术有限公司 | 一种音频解码方法和音频解码器 |
| US20100324915A1 (en) * | 2009-06-23 | 2010-12-23 | Electronic And Telecommunications Research Institute | Encoding and decoding apparatuses for high quality multi-channel audio codec |
| US9173048B2 (en) | 2011-08-23 | 2015-10-27 | Dolby Laboratories Licensing Corporation | Method and system for generating a matrix-encoded two-channel audio signal |
| WO2013078056A1 (en) | 2011-11-22 | 2013-05-30 | Dolby Laboratories Licensing Corporation | Method and system for generating an audio metadata quality score |
| EP2600343A1 (en) | 2011-12-02 | 2013-06-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for merging geometry - based spatial audio coding streams |
| EP2829083B1 (en) | 2012-03-23 | 2016-08-10 | Dolby Laboratories Licensing Corporation | System and method of speaker cluster design and rendering |
| US9288603B2 (en) * | 2012-07-15 | 2016-03-15 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding |
| EP2688066A1 (en) * | 2012-07-16 | 2014-01-22 | Thomson Licensing | Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction |
| US9516446B2 (en) * | 2012-07-20 | 2016-12-06 | Qualcomm Incorporated | Scalable downmix design for object-based surround codec with cluster analysis by synthesis |
| US9761229B2 (en) * | 2012-07-20 | 2017-09-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for audio object clustering |
| EP2898506B1 (en) | 2012-09-21 | 2018-01-17 | Dolby Laboratories Licensing Corporation | Layered approach to spatial audio coding |
| US9565314B2 (en) | 2012-09-27 | 2017-02-07 | Dolby Laboratories Licensing Corporation | Spatial multiplexing in a soundfield teleconferencing system |
| US20140355769A1 (en) | 2013-05-29 | 2014-12-04 | Qualcomm Incorporated | Energy preservation for decomposed representations of a sound field |
| US9922656B2 (en) | 2014-01-30 | 2018-03-20 | Qualcomm Incorporated | Transitioning of ambient higher-order ambisonic coefficients |
| EP2922057A1 (en) | 2014-03-21 | 2015-09-23 | Thomson Licensing | Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal |
| CN109410961B (zh) | 2014-03-21 | 2023-08-25 | 杜比国际公司 | 用于对压缩的hoa信号进行解码的方法、装置和存储介质 |
| CN111179950B (zh) | 2014-03-21 | 2022-02-15 | 杜比国际公司 | 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质 |
| US10140996B2 (en) | 2014-10-10 | 2018-11-27 | Qualcomm Incorporated | Signaling layers for scalable coding of higher order ambisonic audio data |
-
2015
- 2015-10-08 US US14/878,729 patent/US9984693B2/en active Active
- 2015-10-09 HU HUE15788498A patent/HUE051376T2/hu unknown
- 2015-10-09 EP EP15788498.2A patent/EP3204942B1/en active Active
- 2015-10-09 AU AU2015330759A patent/AU2015330759B2/en active Active
- 2015-10-09 SG SG11201701626RA patent/SG11201701626RA/en unknown
- 2015-10-09 ES ES15788498T patent/ES2841419T3/es active Active
- 2015-10-09 CA CA2961292A patent/CA2961292C/en active Active
- 2015-10-09 KR KR1020177009443A patent/KR102053508B1/ko active IP Right Grant
- 2015-10-09 WO PCT/US2015/054951 patent/WO2016057926A1/en active Application Filing
- 2015-10-09 CN CN201580054552.3A patent/CN106796796B/zh active Active
- 2015-10-09 JP JP2017518945A patent/JP6549225B2/ja active Active
-
2017
- 2017-04-04 CL CL2017000822A patent/CL2017000822A1/es unknown
- 2017-04-06 CO CONC2017/0003348A patent/CO2017003348A2/es unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120070521A (ko) * | 2010-12-21 | 2012-06-29 | 톰슨 라이센싱 | 2차원 또는 3차원 음장의 앰비소닉스 표현의 연속 프레임을 인코딩 및 디코딩하는 방법 및 장치 |
Non-Patent Citations (3)
| Title |
|---|
| Deep Sen, et al. RM1-HOA Working Draft Text. ISO/IEC JTC1/SC29/WG11 MPEG2014/M31827. 2014.01.11.* * |
| ISO/IEC DIS 23008-3. Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio. ISO/IEC JTC 1/SC 29/WG 11. 2014.07.25.* * |
| Johannes Boehm, et al. Scalable Decoding Mode for MPEG-H 3D Audio HOA. ISO/IEC JTC1/SC29/WG11 MPEG2014/M33195. 2014.03.26.* * |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2961292A1 (en) | 2016-04-14 |
| AU2015330759A1 (en) | 2017-03-23 |
| KR102053508B1 (ko) | 2019-12-06 |
| JP6549225B2 (ja) | 2019-07-24 |
| EP3204942A1 (en) | 2017-08-16 |
| BR112017007153A2 (pt) | 2017-12-19 |
| WO2016057926A1 (en) | 2016-04-14 |
| JP2017534910A (ja) | 2017-11-24 |
| CL2017000822A1 (es) | 2018-04-06 |
| US20160104494A1 (en) | 2016-04-14 |
| CN106796796A (zh) | 2017-05-31 |
| SG11201701626RA (en) | 2017-04-27 |
| AU2015330759B2 (en) | 2020-08-27 |
| CO2017003348A2 (es) | 2017-09-29 |
| US9984693B2 (en) | 2018-05-29 |
| CA2961292C (en) | 2022-03-15 |
| CN106796796B (zh) | 2021-06-18 |
| EP3204942B1 (en) | 2020-09-23 |
| ES2841419T3 (es) | 2021-07-08 |
| HUE051376T2 (hu) | 2021-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11138983B2 (en) | Signaling layers for scalable coding of higher order ambisonic audio data | |
| KR102053508B1 (ko) | 고차 앰비소닉 오디오 데이터의 스케일러블 코딩을 위한 채널들의 시그널링 | |
| US9838819B2 (en) | Reducing correlation between higher order ambisonic (HOA) background channels | |
| CN106575506B (zh) | 用于执行高阶立体混响音频数据的中间压缩的装置和方法 | |
| KR20170010367A (ko) | 고차 앰비소닉 신호들간의 크로스페이딩 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |