KR102593235B1 - 공간 오디오 파라미터의 양자화 - Google Patents
공간 오디오 파라미터의 양자화 Download PDFInfo
- Publication number
- KR102593235B1 KR102593235B1 KR1020207032046A KR20207032046A KR102593235B1 KR 102593235 B1 KR102593235 B1 KR 102593235B1 KR 1020207032046 A KR1020207032046 A KR 1020207032046A KR 20207032046 A KR20207032046 A KR 20207032046A KR 102593235 B1 KR102593235 B1 KR 102593235B1
- Authority
- KR
- South Korea
- Prior art keywords
- azimuth
- elevation
- indexed
- value
- component
- Prior art date
Links
- 238000013139 quantization Methods 0.000 title claims description 26
- 230000005236 sound signal Effects 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims description 40
- 239000013598 vector Substances 0.000 claims description 39
- 238000005259 measurement Methods 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 15
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000008867 communication pathway Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
- G10L19/035—Scalar quantisation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6011—Encoder aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/006—Systems employing more than two channels, e.g. quadraphonic in which a plurality of audio signals are transformed in a combination of audio signals and modulated signals, e.g. CD-4 systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
Abstract
고도 성분 및 방위각 성분을 갖는 방향 파라미터를 포함하는 적어도 하나의 공간 오디오 파라미터를 결정하는 특히 공간 오디오 신호 인코딩을 위한 장치가 개시된다. 방향 파라미터의 고도 성분 및 방위각 성분은 인덱스 값으로 변환된다.
Description
본 출원은 음장 관련 파라미터 인코딩을 위한 장치 및 방법에 관한 것이지만, 오디오 인코더 및 디코더의 시간-주파수 도메인 방향 관련 파라미터 인코딩에 국한되지 않는다.
파라메트릭 공간 오디오 처리(parametric spatial audio processing )는 사운드의 공간적 관점이 파라미터의 세트를 사용하여 설명되는 오디오 신호 처리의 분야이다. 예를 들어, 마이크로폰 어레이로부터 파라메트릭 공간 오디오의 캡처시, 마이크로폰 어레이로부터, 주파수 대역의 사운드 방향과 같은 파라미터의 세트와 주파수 대역에서 캡처된 사운드의 방향성 및 비방향성 부분 간의 비율을 추정하는 것이 일반적이고 효과적인 선택이다. 이들 파라미터는 마이크로폰 어레이의 위치에서 캡처된 사운드의 지각적 공간 특성을 잘 설명하는 것으로 알려져 있다. 이들 파라미터는 이에 따라 입체음향 헤드폰(headphone binaurally)을 위해, 라우드스피커(loudspeaker)를 위해 또는 앰비소닉스(Ambisonic)과 같은 다른 포맷으로 공간 사운드를 합성할 때 이용될 수 있다.
따라서, 주파수 대역의 방향 및 직접-대-총 에너지 비율(direct-to-total energy ratio)은 공간 오디오 캡처에 특히 효과적인 파라미터화(parameterization)이다.
주파수 대역에서 방향 파라미터와 주파수 대역에서 에너지 비율 파라미터(사운드의 방향성을 표시함)로 구성된 파라미터 세트는 또한 오디오 코덱에 대한 공간 메타데이터로서 이용될 수 있다. 예를 들어, 이들 신호는 마이크로폰-어레이에 의해 캡처된 오디오 신호로부터 추정될 수 있으며, 예를 들어 스테레오 신호가 공간 메타데이터와 함께 전달될 마이크로폰 어레이 신호로부터 생성될 수 있다. 스테레오 신호는 예를 들어 AAC 인코더로 인코딩될 수 있다. 디코더는 오디오 신호를 PCM 신호로 디코딩하고 (공간 메타데이터를 사용하여) 주파수 대역의 사운드를 처리하여 공간 출력, 예를 들어, 입체음향 출력을 획득할 수 있다.
앞서 언급한 해결책은 마이크로폰 어레이(예를 들어, 모바일 폰, VR 카메라, 독립형(stand-alone) 마이크로폰 어레이)에서 캡처된 공간 사운드를 인코딩하는 데 특히 적합하다. 그러나 그러한 인코더가 마이크로폰-어레이에 의해 캡처된 신호 이외의 다른 입력 유형, 예를 들어, 라우드스피커 신호, 오디오 객체 신호, 또는 앰비소닉 신호를 또한 갖는 것이 바람직할 수 있다.
공간 메타데이터 추출을 위한 1차 앰비소닉(first-order Ambisonic)(FOA) 입력을 분석하는 것은 방향성 오디오 코딩(Directional Audio Coding)(DirAC)) 및 고조파 평면파 확장(Harmonic planewave expansion)(Harpex)과 관련된 과학 문헌에서 완전하게 문서화되어 있다. 이것은 FOA 신호(더 정확하게는 그의 변형 신호인 B-포맷 신호)를 직접 제공하는 마이크로폰 어레이가 존재하고, 따라서 그러한 입력을 분석하는 것이 관련 분야에서 연구의 핵심이 되었기 때문이다.
인코더를 향한 추가 입력은 또한 5.1 또는 7.1 채널 서라운드 입력과 같은 다중-채널 라우드스피커 입력이다.
그러나 결과적인 방향의 고도(elevation), 방위각(azimuth)(및 발산(diffuseness))을 포함할 수 있는 메타데이터의 방향 성분과 관련하여, 각각의 고려된 시간/주파수 하위대역에 대해 방위각 및 고도 성분을 따라 따로따로 균일한 입도(granularity)를 구현하는 양자화 및/또는 인코딩은 (이러한 두 개의 파라미터가 메타데이터에 별도로 추가될 때) 양자화 및 인코딩 상태가 고르지 않게 분포될 수 있다. 예를 들어, 둘 모두에 대해 획일적인 접근 방식은 방향 구체(direction sphere))의 '극(pole)'에 더 가까이에서, 다시 말해 궤적 또는 참조 위치 바로 위 또는 아래에서 밀도가 더 높은 인코딩 체계를 초래한다.
제 1 양태에 따르면, 두 개 이상의 오디오 신호에 대해, 공간 오디오 재생을 제공하기 위한 적어도 하나의 공간 오디오 파라미터를 결정 - 적어도 하나의 공간 오디오 파라미터는 고도 성분(elevation component) 및 방위각 성분(azimuth component)을 갖는 방향 파라미터를 포함함 - 하는 단계, 및 방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하는 단계를 포함하는 공간 오디오 신호 인코딩을 위한 방법이 제공된다.
방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하는 단계는, 고도 성분을 제 1 인덱싱된 고도 값에 인덱싱하고 방위각 성분을 제 1 인덱싱된 고도 값에 의존하는 제 1 인덱싱된 방위각 값에 인덱싱하는 단계; 고도 성분을 적어도 제 2 인덱싱된 고도 값에 인덱싱하고 방위각 성분을 제 2 인덱싱된 고도 값에 의존하는 적어도 제 2 인덱싱된 방위각 값에 인덱싱하는 단계; 및 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값 또는 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값 중 하나를 인덱싱된 고도 성분 및 인덱싱된 방위각 성분으로서 선택하는 단계를 포함할 수 있다.
선택하는 단계는, 고도 성분 및 방위각 성분에 의해 주어진 구체 상의 지점과 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값에 의해 주어진 구체 상의 지점 사이의 제 1 거리를 결정하는 단계; 고도 및 방위각 성분에 의해 주어진 구체 상의 지점과 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값에 의해 주어진 구체 상의 지점 사이의 적어도 하나의 제 2 거리를 결정하는 단계; 및 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값 또는 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값 중 하나를 제 1 거리 및 제 2 거리의 최소값에 의존하는 인덱싱된 고도 성분 및 인덱싱된 방위각 성분으로서 선택하는 단계를 포함할 수 있다.
제 1 거리 및 제 2 거리는 각각 구체 상의 두 지점 사이에서 측정된 L2 표준 거리(norm distance)일 수 있다.
고도 성분 및 방위각 성분은 구체 그리드(spherical grid) 상의 지점에 인덱싱될 수 있으며, 여기서 구체 그리드는 구체의 형상으로 배열된 다수의 지점을 포함한다.
구체 그리드는 구체를 보다 작은 구체로 덮음으로써 형성될 수 있으며, 여기서 더 작은 구체는 구체 그리드의 지점을 정의한다.
고도 성분 및 방위각 성분은 각각 복수의 인덱싱된 고도 값 및 인덱싱된 방위각 값을 포함하는 코드북에 인덱싱될 수 있다.
코드북 내의 각각의 인덱싱된 고도 값은 다수의 인덱싱된 방위각 값과 연관될 수 있다.
인덱싱하는 단계는 인덱싱된 값으로 스칼라 양자화하는 단계를 포함할 수 있다.
고도 성분 및 방위각 성분은 방위각/고도 벡터의 성분일 수 있고, 여기서 방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하는 단계는, 방위각/고도 벡터와 복수의 방위각/고도 코드벡터를 포함하는 벡터 코드북으로부터의 제 1 방위각/고도 코드벡터 사이의 제 1 거리 측정치를 결정하고 방위각/고도 벡터와 벡터 코드북으로부터의 적어도 제 2 방위각/고도 코드벡터 사이의 적어도 제 2 거리 측정치를 결정하는 단계; 제 1 거리 측정치 및 적어도 제 2 거리 측정치로부터 최소 거리 측정치를 선택하는 단계; 및 인덱스 값을 최소 거리 측정치와 연관된 방위각/고도 코드벡터의 인덱스로서 할당하는 단계를 포함할 수 있다.
앞서와 같이, 제 1 거리와 제 2 거리는 각각 구체 상의 두 지점 사이에서 측정된 L2 표준 거리일 수 있다.
구체는 단일 구체일 수 있고, 단일 구체 상의 두 지점 사이의 L2 표준 거리는 의 형태일 수 있고, 여기서, 및 는 두 지점 중 제1지점과 제 2 지점에 대한 고도 값이고, 및 는 두 지점의 제 1 및 제 2 지점에 대한 방위각 값이다.
제 2 양태에 따르면, 두 개 이상의 오디오 신호에 대해, 공간 오디오 재생을 제공하기 위한 적어도 하나의 공간 오디오 파라미터를 결정 - 적어도 하나의 공간 오디오 파라미터는 고도 성분 및 방위각 성분을 갖는 방향 파라미터를 포함함 - 하기 위한 수단; 방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하기 위한 수단을 포함하는 공간 오디오 신호 인코딩을 위한 장치가 제공된다.
방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하기 위한 수단은 고도 성분을 제 1 인덱싱된 고도 값에 인덱싱하고 방위각 성분을 제 1 인덱싱된 고도 값에 의존하는 제 1 인덱싱된 방위각 값에 인덱싱하기 위한 수단; 고도 성분을 적어도 제 2 인덱싱된 고도 값에 인덱싱하고 방위각 성분을 제 2 인덱싱된 고도 값에 의존하는 적어도 제 2 인덱싱된 방위각 값에 인덱싱하기 위한 수단; 및 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값 또는 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값 중 하나를 인덱싱된 고도 성분 및 인덱싱된 방위각 성분으로서 선택하기 위한 수단을 포함할 수 있다.
선택하기 위한 수단은, 고도 성분 및 방위각 성분에 의해 주어진 구체 상의 지점과 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값에 의해 주어진 구체 상의 지점 사이의 제 1 거리를 결정하는 것; 고도 및 방위각 성분에 의해 주어진 구체 상의 지점과 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값에 의해 주어진 구체 상의 지점 사이의 적어도 하나의 제 2 거리를 결정하는 것; 및 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값 또는 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값 중 하나를 제 1 거리 및 제 2 거리의 최소값에 따라 인덱싱된 고도 성분 및 인덱싱된 방위각 성분으로서 선택하는 것을 포함할 수 있다.
제 1 거리 및 제 2 거리는 각각 구체 상의 두 지점 사이에서 측정된 L2 표준 거리일 수 있다.
고도 성분 및 방위각 성분은 구체 그리드 상의 지점에 인덱싱될 수 있으며, 여기서 구체 그리드는 구체의 형상으로 배열된 다수의 지점을 포함한다.
구체 그리드는 구체를 보다 작은 구체로 덮음으로써 형성될 수 있으며, 여기서 더 작은 구체는 구체 그리드의 지점을 정의한다.
고도 성분 및 방위각 성분은 각각 복수의 인덱싱된 고도 값 및 인덱싱된 방위각 값을 포함하는 코드북에 인덱싱될 수 있다.
코드북 내의 각각의 인덱싱된 고도 값은 다수의 인덱싱된 방위각 값과 연관될 수 있다.
인덱싱하기 위한 수단은 인덱싱된 값으로 스칼라 양자화하기 위한 수단을 포함할 수 있다.
고도 성분 및 방위각 성분은 방위각/고도 벡터의 성분일 수 있고, 여기서 방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하는 것은, 방위각/고도 벡터와 복수의 방위각/고도 코드벡터를 포함하는 벡터 코드북으로부터의 제 1 방위각/고도 코드벡터 사이의 제 1 거리 측정치를 결정하고 방위각/고도 벡터와 벡터 코드북으로부터의 적어도 제 2 방위각/고도 코드벡터 사이의 적어도 제 2 거리 측정치를 결정하는 것; 제 1 거리 측정치 및 적어도 제 2 거리 측정치로부터 최소 거리 측정치를 선택하는 것; 및 인덱스 값을 최소 거리 측정치와 연관된 방위각/고도 코드벡터의 인덱스로서 할당하는 것을 포함할 수 있다.
앞서와 같이, 제 1 거리와 제 2 거리는 각각 구체 상의 두 지점 사이에서 측정된 L2 표준 거리일 수 있다.
구체는 단일 구체일 수 있고, 단일 구체 상의 두 지점 사이의 L2 표준 거리는 의 형태일 수 있고, 여기서, 및 는 두 지점 중 제1지점과 제 2 지점에 대한 고도 값이고, 및 는 두 지점의 제 1 및 제 2 지점에 대한 방위각 값이다.
다른 양태에 따르면, 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치가 제공되며, 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서와 함께, 장치로 하여금, 둘 이상의 오디오 신호에 대해, 공간 오디오 재생을 제공하기 위한 적어도 하나의 공간 오디오 파라미터를 결정 - 적어도 하나의 공간 오디오는 고도 성분 및 방위각 성분을 갖는 방향 파라미터를 포함함 - 하고; 방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하도록 구성된다.
방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하도록 하는 장치는, 고도 성분을 제 1 인덱싱된 고도 값에 인덱싱하고 제 1 인덱싱된 고도 값에 따라 방위각 성분을 제 1 인덱싱된 방위각 값에 인덱싱하고, 고도 성분을 적어도 제 2 인덱싱된 고도 값에 인덱싱하고 제 2 인덱싱된 고도 값에 따라 방위각 성분을 적어도 제 2 인덱싱된 방위각 값에 인덱싱하고; 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값 또는 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값 중 하나를 인덱싱된 고도 성분 및 인덱싱된 방위각 성분으로서 선택하게 할 수 있다
선택하도록 하는 장치는, 고도 성분 및 방위각 성분에 의해 주어진 구체 상의 지점과 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값에 의해 주어진 구체 상의 지점 사이의 제 1 거리를 결정하게 하고; 고도 및 방위각 성분에 의해 주어진 구체 상의 지점과 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값에 의해 주어진 구체 상의 지점 사이의 적어도 하나의 제 2 거리를 결정하게 하고; 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값 또는 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값 중 하나를 제 1 거리 및 제 2 거리의 최소값에 따라 인덱싱된 고도 성분 및 인덱싱된 방위각 성분으로서 선택하게 할 수 있다.
제 1 거리 및 제 2 거리는 각각 구체 상의 두 지점 사이에서 측정된 L2 표준 거리일 수 있다.
고도 성분 및 방위각 성분은 구체 그리드 상의 지점에 인덱싱될 수 있으며, 여기서 구체 그리드는 구체의 형상으로 배열된 다수의 지점을 포함한다.
구체 그리드는 구체를 보다 작은 구체로 커버함으로써 형성될 수 있으며, 여기서 더 작은 구체는 구체 그리드의 지점을 정의한다.
고도 성분 및 방위각 성분은 각각 복수의 인덱싱된 고도 값 및 인덱싱된 방위각 값을 포함하는 코드북에 인덱싱될 수 있다.
코드북 내에서 각각의 인덱싱된 고도 값은 다수의 인덱싱된 방위각 값과 연관될 수 있다.
인덱싱하도록 하는 장치는 인덱싱된 값으로 스칼라 양자화하게 할 수 있다.
고도 성분 및 방위각 성분은 방위각/고도 벡터의 성분일 수 있고, 여기서 방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하도록 하는 장치는, 방위각/고도 벡터와 복수의 방위각/고도 코드벡터를 포함하는 벡터 코드북으로부터의 제 1 방위각/고도 코드벡터 사이의 제 1 거리 측정치를 결정하고 방위각/고도 벡터와 벡터 코드북으로부터의 적어도 제 2 방위각/고도 코드벡터 사이의 적어도 제 2 거리 측정치를 결정하게 하고; 제 1 거리 측정치 및 적어도 제 2 거리 측정치로부터 최소 거리 측정치를 선택하게 하고; 인덱스 값을 최소 거리 측정치와 연관된 방위각/고도 코드벡터의 인덱스로서 할당하게 할 수 있다.
앞서와 같이 제 1 거리와 제 2 거리는 각각 구체 상의 두 지점 사이에서 측정된 L2 표준 거리일 수 있다.
구체는 단일 구체일 수 있고, 단일 구체 상의 두 지점 사이의 L2 표준 거리는 의 형태일 수 있고, 여기서, 및 는 두 지점 중 제1지점과 제 2 지점에 대한 고도 값이고, 및 는 두 지점의 제 1 및 제 2 지점에 대한 방위각 값이다.
컴퓨터 프로그램은 컴퓨터로 하여금 위에서 설명한 바와 같은 방법을 수행하게 하는 프로그램 명령어를 포함한다.
매체에 저장된 컴퓨터 프로그램 제품은 장치로 하여금 본 명세서에 설명된 것과 같은 방법을 수행하게 할 수 있다.
전자 디바이스는 본 명세서에 설명된 것과 같은 장치를 포함할 수 있다.
칩세트는 본 명세서에 설명된 것과 같은 장치를 포함할 수 있다.
본 출원의 실시예는 최신 기술과 관련된 과제를 해결하는 것을 목표로 한다.
본 출원의 보다 양호한 이해를 위해, 이제 첨부된 도면에 대한 참조가 예를 통해 이루어질 것이다.
도 1은 일부 실시예를 구현하기에 적합한 장치의 시스템을 개략적으로 도시한다.
도 2는 일부 실시예에 따른 도 1에 도시된 바와 같은 분석 프로세서를 개략적으로 도시한다.
도 3a는 일부 실시예에 따른 도 1에 도시된 바와 같은 메타데이터 인코더/양자화기를 개략적으로 도시한다.
도 3b는 일부 실시예에 따라 도 1에 도시된 바와 같은 메타데이터 추출기를 개략적으로 도시한다.
도 3c 내지 도 3e는 일부 실시예에 따라 도 3a 및 도 3b에 도시된 바와 같은 메타데이터 인코더/양자화기 및 메타데이터 추출기에서 사용되는 예시적인 구체 위치 구성을 개략적으로 도시한다.
도 4는 일부 실시예에 따른 도 1에 도시된 바와 같은 시스템의 동작의 흐름도를 도시한다.
도 5는 일부 실시예에 따른 도 2에 도시된 바와 같은 분석 프로세서의 동작의 흐름도를 도시한다.
도 6은 입력 방향 파라미터에 기초하여 방향 인덱스를 생성하는 흐름도를 더 상세히 도시한다.
도 7은 방향 파라미터를 양자화하여 방향 인덱스를 획득하는 예시적인 동작의 흐름도를 도시한다.
도 8은 입력 방향 인덱스에 기초하여 양자화된 방향 파라미터를 생성하는 흐름도를 더 상세히 도시한다.
도 9는 방향 인덱스로부터 양자화된 방향 파라미터를 변환하는 예시적인 동작의 흐름도를 더 상세히 도시한다.
도 10은 도시된 장치를 구현하기에 적합한 예시적인 디바이스를 개략적으로 도시한다.
도 1은 일부 실시예를 구현하기에 적합한 장치의 시스템을 개략적으로 도시한다.
도 2는 일부 실시예에 따른 도 1에 도시된 바와 같은 분석 프로세서를 개략적으로 도시한다.
도 3a는 일부 실시예에 따른 도 1에 도시된 바와 같은 메타데이터 인코더/양자화기를 개략적으로 도시한다.
도 3b는 일부 실시예에 따라 도 1에 도시된 바와 같은 메타데이터 추출기를 개략적으로 도시한다.
도 3c 내지 도 3e는 일부 실시예에 따라 도 3a 및 도 3b에 도시된 바와 같은 메타데이터 인코더/양자화기 및 메타데이터 추출기에서 사용되는 예시적인 구체 위치 구성을 개략적으로 도시한다.
도 4는 일부 실시예에 따른 도 1에 도시된 바와 같은 시스템의 동작의 흐름도를 도시한다.
도 5는 일부 실시예에 따른 도 2에 도시된 바와 같은 분석 프로세서의 동작의 흐름도를 도시한다.
도 6은 입력 방향 파라미터에 기초하여 방향 인덱스를 생성하는 흐름도를 더 상세히 도시한다.
도 7은 방향 파라미터를 양자화하여 방향 인덱스를 획득하는 예시적인 동작의 흐름도를 도시한다.
도 8은 입력 방향 인덱스에 기초하여 양자화된 방향 파라미터를 생성하는 흐름도를 더 상세히 도시한다.
도 9는 방향 인덱스로부터 양자화된 방향 파라미터를 변환하는 예시적인 동작의 흐름도를 더 상세히 도시한다.
도 10은 도시된 장치를 구현하기에 적합한 예시적인 디바이스를 개략적으로 도시한다.
다음은 다중-채널 입력 포맷 오디오 신호에 대한 효과적인 공간 분석 도출된 메타데이터 파라미터를 제공하는 데 적합한 장치 및 가능한 메커니즘을 더 자세히 설명한다. 다음의 논의에서, 다중-채널 시스템은 다중-채널 마이크로폰 구현과 관련하여 논의된다. 그러나 위에서 논의된 바와 같이, 입력 포맷은 다중-채널 라우드스피커, 앰비소닉(FOA/HOA) 등과 같은 임의의 적합한 입력 포맷일 수 있다. 일부 실시예에서, 채널 위치는 마이크로폰의 위치를 기초로 하거나 가상 위치 또는 방향을 기초로 한다는 것을 이해해야 한다. 또한, 예시적인 시스템의 출력은 다중-채널 라우드스피커 배열이다. 그러나 출력은 라우드스피커 이외의 수단을 통해 사용자에게 렌더링될 수 있다는 것을 이해해야 한다. 또한, 다중-채널 라우드스피커 신호는 두 개 이상의 재생 오디오 신호로 일반화될 수 있다.
앞서 논의한 바와 같이, 주파수 대역에서 방향 및 직접-대-총 에너지 비율(또는 발산-비율, 절대 에너지, 또는 주어진 시간-주파수 간격에서 사운드의 방향성/비방향성을 나타내는 임의의 적합한 표현) 파라미터와 같은 공간 메타데이터 파라미터는 자연 음장(natural sound field)의 지각적 특성을 표현하는 데 특히 적합하다. 5.1 라우드스피커 믹스(loudspeaker mix)와 같은 합성 사운드 장면(synthetic sound scene)은 일반적으로 자연 음장에서 발생하는 사운드와 상이한 공간 사운드를 제공하는 오디오 효과 및 진폭 패닝 방법을 사용한다. 특히, 5.1 또는 7.1 믹스는 다수의 방향으로부터 재생되는 일관된 사운드(coherent sound)를 포함하도록 구성될 수 있다. 예를 들어, 전면에서 직접 인지되는 5.1 믹스의 일부 사운드는 중앙(채널) 라우드스피커에 의해 생성되지 않고, 예를 들어 왼쪽 및 오른쪽 전면(채널) 라우드스피커로부터 일관되게, 그리고 또한 중앙(채널)로부터도 잠재적으로 생성된다. 방향(들) 및 에너지 비율(들)과 같은 공간 메타데이터 파라미터는 그러한 공간적으로 일관된 특징을 정확하게 표현하지 않는다. 이와 같이, 일관성 파라미터와 같은 다른 메타데이터는 오디오 신호의 분석을 통해 결정되어 채널 간의 오디오 신호 관계를 표현할 수 있다.
위에서 표현한 바와 같이, 방향 정보를 메타데이터에 통합하는 예는 결정된 방위각 및 고도 값을 사용하는 것이다. 그러나 통상의 균일한 방위각 및 고도 샘플링은 균일하지 않은 방향 분포를 만들어 낸다.
따라서, 개념은 공간 메타데이터에 대한 방향 파라미터를 결정하고 방향의 더 균일한 분포를 정의하기 위해 방향의 분포에 기초한 실질적인 구체(sphere)에 기초하여 파라미터를 인덱싱하려는 시도이다.
그 다음에 제안된 메타데이터 인덱스는 다운믹스 신호(downmix signal)('채널')과 함께 사용되어, 예를 들어 몰입형 보이스 및 오디오 서비스((Immersive Voice and Audio Service)(IVAS) 코덱에 이용될 수 있는 파라메트릭 몰입형 포맷을 정의할 수 있다. 대안적으로 및 부가적으로, 구체 그리드 포맷(sphere grid format)은 코덱에서 방향을 양자화하기 위해 사용될 수 있다.
개념은 또한 음장 관련 파라미터화(주파수 대역에서 방향(들) 및 비율(들))에 기초하여 공간 오디오의 합성에 사용될 수 있는 양자화된 방향성 파라미터를 생성하는 그러한 인덱싱된 방향 파라미터의 디코딩을 논의한다.
도 1과 관련하여, 본 출원의 실시예를 구현하기 위한 예시적인 장치 및 시스템이 도시된다. 시스템(100)은 '분석' 부분(121)과 '합성' 부분(131)을 갖는 것으로 도시된다. '분석' 부분(121)은 다중-채널 라우드스피커 신호를 수신하는 것으로부터 메타데이터 및 다운믹스 신호의 인코딩까지의 부분이고, '합성' 부분(131)은 인코딩된 메타데이터 및 다운믹스 신호의 디코딩으로부터 재생성된 신호(예를 들어, 다중-채널 라우드스피커 형태)의 프리젠테이션(presentation)까지의 부분이다.
시스템(100) 및 '분석' 부분(121)으로의 입력은 다중-채널 신호(102)이다. 다음 예에서는 마이크로폰 채널 신호 입력이 설명되지만, 다른 실시예에서는 임의의 적합한 입력(또는 합성 다중-채널) 포맷이 구현될 수 있다.
다중-채널 신호는 다운믹서(103) 및 분석 프로세서(105)로 전달된다.
일부 실시예에서, 다운믹서(103)는 다중-채널 신호를 수신하고 신호를 결정된 수의 채널로 다운믹스하여 다운믹스 신호(104)를 출력하도록 구성된다. 예를 들어, 다운믹서(103)는 다중-채널 신호의 2 오디오 채널 다운믹스를 생성하도록 구성될 수 있다. 결정된 채널의 수는 임의의 적합한 채널의 수일 수 있다. 일부 실시예에서, 다운믹서(103)는 선택적이며 다중-채널 신호는 다운믹스 신호가 본 예에서와 동일한 방식으로 미처리된 채로 인코더(107)로 전달된다.
일부 실시예에서, 분석 프로세서(105)는 또한 다중-채널 신호를 수신하고 신호를 분석하여 다중-채널 신호와 연관된 메타데이터(106)를 생성하고 이에 따라 다운믹스 신호(104)와 연관된 메타데이터(106)를 생성하도록 구성된다. 분석 프로세서(105)는, 각각의 시간-주파수 분석 간격마다, 방향 파라미터(108), 에너지 비율 파라미터(110), 일관성 파라미터(112) 및 발산 파라미터(114)를 포함할 수 있는 메타데이터를 생성하도록 구성될 수 있다. 방향, 에너지 비율 및 발산 파라미터는 일부 실시예에서 공간 오디오 파라미터로 간주될 수 있다. 다시 말해, 공간 오디오 파라미터는 다중-채널 신호(또는 일반적으로 두 개 이상의 재생 오디오 신호)에 의해 생성된 음장을 특성화하는 것을 목표로 하는 파라미터를 포함한다. 일관성 파라미터는 다중-채널 신호 간의 관계를 특성화하는 것을 목표로 하는 신호 관계 오디오 파라미터(signal relationship audio parameter)로 간주될 수 있다.
일부 실시예에서, 생성된 파라미터는 주파수 대역마다 상이할 수 있다. 따라서, 예를 들어 대역(X)에서는 모든 파라미터가 생성되고 전송되는 반면, 대역(Y)에서는 파라미터 중 하나만 생성되고 전송되며, 더욱이 대역(Z)에서는 파라미터가 생성되거나 전송되지 않는다. 이에 대한 실제적인 예는, 최고 대역과 같은 일부 주파수 대역의 경우, 파라미터 중 일부가 지각을 이유로 요구되지 않은 경우가 그 예이다. 다운믹스 신호(104) 및 메타데이터(106)는 인코더(107)로 전달될 수 있다.
인코더(107)는 다운믹스(또는 다른 방식의) 신호(104)를 수신하고 이들 오디오 신호의 적합한 인코딩을 생성하도록 구성된 IVAS 스테레오 코어(109)를 포함할 수 있다. 인코더(107)는 일부 실시예에서 (메모리 및 적어도 하나의 프로세서에 저장된 적합한 소프트웨어를 실행하는) 컴퓨터이거나, 또는 대안적으로 예를 들어 FPGA 또는 ASIC를 이용하는 특정 디바이스일 수 있다. 인코딩은 임의의 적합한 방식을 사용하여 구현될 수 있다. 인코더(107)는 메타데이터를 수신하고 정보의 인코딩된 또는 압축된 형태를 출력하도록 구성된 메타데이터 인코더 또는 양자화기(109)를 더 포함할 수 있다. 일부 실시예에서, 인코더(107)는 또한 메타데이터를 단일의 데이터 스트림으로 인터리빙하거나, 멀티플렉싱하거나 또는 메타데이터를 도 1에서 파선으로 도시된 전송 전에 또는 저장 전에 인코딩된 다운믹스 신호 내에 삽입할 수 있다. 멀티플렉싱은 임의의 적합한 방식을 사용하여 구현될 수 있다.
디코더 측에서, 수신되거나 검색된 데이터(스트림)가 디코더/디멀티플렉서(133)에 의해 수신될 수 있다. 디코더/디멀티플렉서(133)는 인코딩된 스트림을 디멀티플렉싱하고 오디오 인코딩된 스트림을 다운 믹스 추출기(135)로 전달할 수 있으며, 다운믹스 추출기는 오디오 신호를 디코딩하여 다운믹스 신호를 획득하도록 구성된다. 유사하게 디코더/디멀티플렉서(133)는 인코딩된 메타데이터를 수신하고 메타데이터를 생성하도록 구성된 메타데이터 추출기(137)를 포함할 수 있다. 디코더/디멀티플렉서(133)는 일부 실시예에서 (메모리 및 적어도 하나의 프로세서에 저장된 적합한 소프트웨어를 실행하는) 컴퓨터이거나, 또는 대안적으로 예를 들어 FPGA 또는 ASIC를 이용하는 특정 디바이스일 수 있다.
디코딩된 메타데이터 및 다운믹스 오디오 신호는 합성 프로세서(139)로 전달될 수 있다.
시스템(100)의 '합성' 부분(131)은 다운믹스 및 메타데이터를 수신하고 다운믹스 신호 및 메타데이터에 기초하여 다중-채널 신호(110)(이들 신호는 다중-채널 라우드스피커 포맷 또는 일부 실시예에서는 사용 사례에 따라 입체음향 또는 앰비소닉 신호와 같은 임의의 적합한 출력 포맷일 수 있음)의 형태의 합성된 공간 오디오를 임의의 적합한 포맷으로 재생성하도록 구성된 합성 프로세서(139)를 추가로 도시한다.
도 4와 관련하여, 도 1에 도시된 개요의 예시적인 흐름도가 도시된다.
먼저 시스템(분석 부분)은 도 4에서 단계(401)로 도시된 바와 같이 다중-채널 오디오 신호를 수신하도록 구성된다.
그 다음에, 시스템(분석 부분)은 도 4에서 단계(403)로 도시된 바와 같이 다중-채널 신호의 다운믹스를 생성하도록 구성된다.
또한, 시스템(분석 부분)은 도 4에서 단계(405)로 도시된 바와 같이 신호를 분석하여 방향 파라미터, 에너지 비율 파라미터, 발산 파라미터 및 일관성 파라미터와 같은 메타데이터를 생성하도록 구성된다.
그 다음에, 시스템은 도 4에서 단계(407)로 도시된 바와 같이 다운믹스 신호 및 메타데이터를 저장/전송을 위해 인코딩하도록 구성된다.
이후에, 시스템은 도 4에서 단계(409)로 도시된 바와 같이 인코딩된 다운믹스 및 메타데이터를 저장/전송할 수 있다.
시스템은 도 4에서 단계(411)로 도시된 바와 같이 인코딩된 다운믹스 및 메타데이터를 검색/수신할 수 있다.
그 다음에, 시스템은 인코딩된 다운믹스 및 메타데이터 파라미터로부터 다운믹스 및 메타데이터를 추출하도록, 예를 들어, 도 4에서 단계(413)로 도시된 바와 같이 인코딩된 다운믹스 및 메타데이터 파라미터를 디멀티플렉싱 및 디코딩하도록 구성된다.
시스템(합성 부분)은 도 4에서 단계(415)로 도시된 바와 같이 다중-채널 오디오 신호의 추출된 다운믹스 및 메타데이터에 기초하여 출력 다중-채널 오디오 신호를 일관성 파라미터와 합성하도록 구성된다.
도 2와 관련하여, 일부 실시예에 따른 (도 1에 도시된 바와 같은) 예시적인 분석 프로세서(105)가 더 상세히 설명된다. 일부 실시예에서 분석 프로세서(105)는 시간-주파수 도메인 변환기(201)를 포함한다.
일부 실시예에서, 시간-주파수 도메인 변환기(201)는 다중-채널 신호(102)를 수신하고 입력 시간 도메인 신호를 적합한 시간-주파수 신호로 변환하기 위해 단시간 푸리에 변환(Short Time Fourier Transform(STFT))과 같은 주파수 도메인 변환에 적합한 시간을 적용하도록 구성된다. 이러한 시간-주파수 신호는 방향 분석기(203) 및 신호 분석기(205)로 전달될 수 있다.
따라서, 예를 들어 시간-주파수 신호(202)는 시간-주파수 도메인에서 다음과 같이 표현될 수 있고
,
여기서, b는 주파수 빈 인덱스(frequency bin index)이고 n은 프레임 인덱스(frame index)이고 i는 채널 인덱스(channel index)이다. 다른 표현으로 하자면, n은 원래의 시간-도메인 신호보다 샘플링 속도가 낮은 시간 인덱스로 간주될 수 있다. 이러한 주파수 빈은 하나 이상의 빈을 대역 인덱스(k = 0, ..., K-1)로 그룹화하는 하위대역으로 그룹화될 수 있다. 각각의 하위대역(k)은 가장 낮은 빈()과 가장 높은 빈()을 가지며, 하위대역은 로부터 까지의 모든 빈을 포함한다. 하위대역의 폭은 임의의 적합한 분포에 근접할 수 있다. 예를 들어, 등가 직사각형 대역폭(Equivalent rectangular bandwidth)(ERB) 스케일 또는 바크(Bark) 스케일.
일부 실시예에서, 분석 프로세서(105)는 방향 분석기(203)를 포함한다. 방향 분석기(203)는 시간-주파수 신호(202)를 수신하고 이들 신호에 기초하여 방향 파라미터(108)를 추정하도록 구성될 수 있다. 방향 파라미터는 임의의 오디오 기반 '방향' 결정에 기초하여 결정될 수 있다.
예를 들어, 일부 실시예에서, 방향 분석기(203)는 두 개 이상의 신호 입력으로 방향을 추정하도록 구성된다. 이것은 '방향'을 추정하는 가장 간단한 구성을 나타내며, 더 복잡한 처리는 더욱 많은 신호로 수행될 수 있다.
따라서, 방향 분석기(203)는 방위각() 및 고도()로 표시되는 각각의 주파수 대역 및 시간적 프레임에 대한 방위각을 제공하도록 구성될 수 있다. 방향 파라미터(108)는 또한 신호 분석기(205)로 전달될 수 있다.
일부 실시예에서, 방향 파라미터에 더하여 방향 분석기(203)는 에너지 비율 파라미터(110)를 결정하도록 구성된다. 에너지 비율은 한 방향으로부터 도착하는 것으로 간주될 수 있는 오디오 신호의 에너지의 결정으로 간주될 수 있다. 직접-대-총 에너지 비율()은 예를 들어 방향 추정의 안정성 측정치를 사용하거나, 또는 임의의 상관 측정치, 또는 임의의 다른 적합한 방법을 사용하여 추정되어 비율 파라미터를 획득할 수 있다.
추정된 방향(108) 파라미터는 출력(및 인코더로 전달)될 수 있다. 추정된 에너지 비율 파라미터(110)는 신호 분석기(205)로 전달될 수 있다.
일부 실시예에서, 분석 프로세서(105)는 신호 분석기(205)를 포함한다. 신호 분석기(205)는 방향 분석기(203)로부터 파라미터(예를 들어, 방위각() 및 고도()(108) 및 직접-대-총 에너지 비율()(110))을 수신하도록 구성된다. 신호 분석기(205)는 또한 시간-주파수 도메인 변환기(201)로부터 시간-주파수 신호()(202)를 수신하도록 구성될 수 있다. 이것들은 모두 시간-주파수 도메인에 있으며; b는 주파수 빈 인덱스, k는 주파수 대역 인덱스(각각의 대역은 잠재적으로 여러 빈(b)으로 구성됨), n은 시간 인덱스, 및 i는 채널이다.
여기서 방향 및 비율이 각각의 시간 인덱스(n)에 대해 표현되지만, 일부 실시예에서 파라미터는 여러 시간 인덱스에 걸쳐 결합될 수 있다. 표현된 바와 같이 주파수 축에 대해서도 동일하게 적용되며, 여러 주파수 빈(b)의 방향은 여러 주파수 빈(b)으로 구성된 대역(k)에서 하나의 방향 파라미터로 표현될 수 있다. 본 명세서에서 논의된 모든 공간 파라미터에 대해서도 동일하게 적용된다.
신호 분석기(205)는 다수의 신호 파라미터를 생성하도록 구성된다. 다음의 개시내용에서, 두 개의 파라미터, 즉 일관성 및 발산 파라미터가 있으며, 둘 모두 시간-주파수 영역에서 분석된다. 또한, 일부 실시예에서 신호 분석기(205)는 추정된 에너지 비율()을 수정하도록 구성된다. 신호 분석기(205)는 임의의 적합한 공지된 방법에 기초하여 일관성 및 발산 파라미터를 생성하도록 구성된다.
도 5와 관련하여, 분석 프로세서(105)의 동작을 요약하는 흐름도가 도시된다.
제 1 동작은 도 5에서 단계(501)로 도시된 바와 같이 시간 도메인 다중-채널(라우드스피커) 오디오 신호를 수신하는 동작이다.
그 다음은 시간 도메인을 주파수 도메인 변환(예를 들어, STFT)에 적용하여 도 5에서 단계(503)로 도시된 바와 같이 분석에 적합한 시간-주파수 도메인 신호를 생성하는 것이다.
그 다음에는 방향 분석을 적용하여 방향 및 에너지 비율 파라미터를 결정하는 것이 도 5에서 단계(505)로 도시된다.
다음으로, 분석을 적용하여 일관성 파라미터(예를 들어, 주변(surrounding) 및/또는 확산 일관성 파라미터(spread coherence parameter)) 및 발산 파라미터를 결정하는 것이 도 5에서 단계(507)로 도시된다. 일부 실시예에서, 에너지 비율은 또한 본 단계에서 결정된 일관성 파라미터에 기초하여 수정될 수 있다.
결정된 파라미터를 출력하는 것인 최종 동작은 도 5에서 단계(509)로 도시된다.
도 3a와 관련하여, 예시적인 메타데이터 인코더 및 구체적으로는 방향 메타데이터 인코더(300)가 일부 실시예에 따라 도시된다.
일부 실시예에서 방향 메타데이터 인코더(300)는 양자화 입력(302)을 포함한다. 인코딩 입력으로도 알려져 있을 수 있는 양자화 입력은 방향 파라미터가 결정되는 위치 또는 기준 위치 주위에 배열된 구체의 입도를 정의하도록 구성된다. 일부 실시예에서 양자화 입력은 미리 정의된 또는 고정된 값이다.
일부 실시예에서 방향 메타데이터 인코더(300)는 구체 포지셔너(303)를 포함한다. 구체 포지셔너는 양자화 입력 값에 기초하여 구체의 배열을 구성하도록 구성된다. 제안된 구체 그리드는 구체를 작은 구체로 덮고 작은 구체의 중심을 거의 등거리 방향의 그리드를 정의하는 지점으로서 고려하는 아이디어를 사용하여, 구체 그리드가 구체의 형태로 배열된 다수의 지점으로 구성되도록 한다.
본 명세서에 도시된 바와 같은 개념은 구체가 참조 위치에 대해 정의되는 개념이다. 구체는 일련의 원(또는 교차점)으로 시각화될 수 있고 각각의 원 교차점에 대해, 정의된 수의 (더 작은) 구체가 원의 원주에 위치한다. 이것은 예를 들어 도 3c 내지 도 3e와 관련하여 도시된다. 예를 들어, 도 3c는 예시적인 '적도 단면(equatorial cross-section)' 또는 '주 구체 반경(main sphere radius)'으로 정의된 반경을 갖는 제 1 주 원(370)을 도시한다. 또한 도 3c에는 각각의 더 작은 구체가 한 지점에서 주 구체 원주와 접촉하고 적어도 하나의 추가 지점에서 적어도 하나의 추가의 더 작은 구체 원주와 접촉하는 원주를 갖도록 위치하는 (원 단면으로 도시된) 더 작은 구체(371, 373, 375, 377 및 379)가 도시된다. 따라서, 도 3c에 도시된 바와 같이, 더 작은 구체(371)는 주 구체(370) 및 더 작은 구체(373)에 접촉하고, 더 작은 구체(373)는 주 구체(370) 및 더 작은 구체(371 및 375)에 접촉하며, 더 작은 구체(375)는 주 구체(370) 및 더 작은 구체(373 및 377)에 접촉하고, 더 작은 구체(377)는 주 구체(370) 및 더 작은 구체(375 및 379)에 접촉하고, 더 작은 구체(379)는 주 구체(370) 및 더 작은 구체(377)에 접촉한다.
도 3d는 예시적인 '열대 단면(tropical cross-section)’또는 추가 주 원(380) 및 각각의 더 작은 구체가 한 지점에서 주 구체(원) 원주에 접촉하고 적어도 하나의 추가 지점에서 적어도 하나의 더 작은 구체 원주에 접촉하는 원주를 갖도록 위치된 (원의 단면으로 도시된) 더 작은 구체(381, 383, 385)를 도시한다. 따라서, 도 3d에 도시된 바와 같이, 더 작은 구체(381)는 주 구체(380) 및 더 작은 구체(383)에 접촉하고, 더 작은 구체(383)는 주 구체(380) 및 더 작은 구체(381 및 385)에 접촉하고, 더 작은 구체(385)는 주 구체(380) 및 더 작은 구체(383)에 접촉한다.
도 3e는 예시적인 구체와 단면(370, 380) 및 단면(370)과 연관된 더 작은 구체(단면)(371), 단면(380)과 연관된 더 작은 구체(381)와 다른 더 작은 구체(392, 393, 394, 395, 397, 398)를 도시한다. 본 예에서, 방위각 값이 0에서 시작하는 원만이 그려져 있다.
따라서, 일부 실시예에서 구체 포지셔너(303)는 다음과 같은 연산을 수행하여 덮는 구체에 대응하는 방향을 정의하도록 구성된다:
입력: 양자화 입력('적도' 상의 지점의 수, n(0)=M)
출력: 원의 수, Nc 및 각각의 원상의 지점의 수, n(i), i=0, Nc-1
1. n(0)=M
2.
3. R(0)=1(적도에서 원의 반경)
4. =0(고도)
5. (더 작은 구체의 반경)
6.
7.
8.
9.
10. While
a. (이것은 일 때 유효함)
b.
c. (원(i) 상의 방위각의 입도)
d.
e. If i is odd
i. (원(i) 상의 제 1 방위각 값)
f. Else
i.
g. End if
h. i = i + 1
11. End while
12. Nc=i+1
단계(5)는 또한 로 대체될 수 있으며, 여기서, 계수(k)는 고도를 따라 있는 지점들의 분포를 제어한다. k=4의 경우, 고도 해상도는 약 1 도이다. 더 작은 k의 경우, 해상도는 그에 따라 더 작아진다.
원(i) 상의 각각의 지점에 대한 고도는 의 값으로 제공된다. 적도 위의 각각의 원마다, 적도 아래의 대응하는 원이 있다.
하나의 원상의 각각의 방향 지점은 방위각 값과 관련하여 오름차순으로 인덱싱될 수 있다. 각각의 원에서 제 1 지점의 인덱스는 각각의 원상의 지점의 수 로부터 추론될 수 있는 오프셋으로 제공된다. 오프셋을 획득하기 위하여, 고려된 원의 순서에 대해, 오프셋은 제 1 오프셋으로서 값(0)부터 시작하여, 주어진 순서에 대한 원상의 지점의 누적된 수로서 계산된다.
원의 하나의 가능한 순서는 적도에서부터 시작한 다음 적도 위의 제 1 원, 적도 아래의 제 1 원, 적도 위의 제 2 원 등으로 될 수 있다.
다른 옵션은 적도에서부터 시작하여 그 다음에 대략 45 도의 고도에 있는 적도 위의 원, 그 다음에 적도 아래의 대응하는 원, 그리고 그 다음에 나머지 원의 대안적인 순서이다. 이러한 방식은 라우드스피커의 위치 설정을 약간 더 간단하게 하기 위한 것이며, 제 1 원만 사용되어 정보를 전송하는 비트의 수를 줄일 수 있다.
다른 실시예에서 원의 다른 순서도 또한 가능하다.
일부 실시예에서, 구체 그리드는 또한 적도 대신에 자오선(0) 또는 임의의 다른 자오선을 고려함으로써 생성될 수 있다.
원의 수(Nc), 각각의 원의 포인트 수(n(i)), i =0, Nc-1, 및 인덱싱 순서를 결정한 구체 포지셔너는 이 정보를 EA 대 DI 변환기(305)에 전달하도록 구성될 수 있다.
일부 실시예에서 방향 메타데이터 인코더(300)는 방향 파라미터 입력(108)을 포함한다. 방향 파라미터 입력은 고도 및 방위각 값 을 정의할 수 있다.
(고도/방위각)(EA)로부터 방향 지수(D1)로 및 그 역의 변환 절차는 다음 단락에 제시되어 있다. 여기에서는 원의 대안적인 순서가 고려된다.
방향 메타데이터 인코더(300)는 고도-방위각 대 방향 인덱스(EA-DI) 변환기(305)를 포함한다. 일부 실시예에서 고도-방위각 대 방향 인덱스 변환기(305)는 방향 파라미터 입력(108) 및 구체 포지셔너 정보를 수신하고, 고도-방위각 값을 양자화함으로써 고도-방위각 값을 방향 파라미터 입력(108)으로부터 방향 인덱스로 변환하도록 구성된다.
도 6과 관련하여, 일부 실시예에 따른 방향 인덱스를 생성하는 예시적인 방법이 도시된다.
양자화 입력의 수신은 도 6에서 단계(601)로 도시된다.
그 다음에 방법은 도 6에서 단계(603)로 도시된 바와 같이 양자화 입력에 기초하여 구체 위치 설정을 결정할 수 있다.
또한, 방법은 도 6에서 단계(602)로 도시된 바와 같이 방향 파라미터를 수신하는 단계를 포함할 수 있다.
방향 파라미터 및 구체 위치 설정 정보를 수신한 후 방법은 도 6에서 단계(605)로 도시된 바와 같이 방향 파라미터를 구체 위치 설정 정보에 기초하여 방향 인덱스로 변환하는 단계를 포함할 수 있다.
다음으로 방법은 도 6에서 단계(607)로 도시된 바와 같이 방향 인덱스를 출력할 수 있다.
일부 실시예에서, 고도-방위각 대 방향 인덱스(EA-DI) 변환기(305)는 다음의 알고리즘에 따라 변환을 수행하도록 구성된다:
입력:
출력:
일부 실시예에서, 는 N개의 이산 엔트리를 갖는 인덱싱된 코드북의 형태를 취할 수 있으며, 각각의 엔트리()는 경우 고도 값에 대응한다. 또한, 코드북은 각각의 이산 고도 값()에 대해 이산 방위각 값()의 세트를 포함하며, 여기서 세트 내 방위각 값의 수는 고도()에 달려 있다. 다시 말해서, 각각의 고도 엔트리()마다, 의 경우 이산 방위각 값()의 수가 달라질 수 있으며, 여기서, 는 고도 값()과 연관된 방위각 값의 세트 내 방위각 값의 수가 고도 값()의 함수인 것을 나타낸다.
다른 실시예에서, 고도-방위 값의 인덱싱은 이산 고도 및 방위각 값을 저장하기 위한 위와 같은 코드북 구조를 사용하지 않을 수 있다. 대신에 선형 양자화가 사용될 수 있는데, 여기서, 구체 포지셔너에 의해 제공되는 것과 같은 원의 수(Nc) 및 입도(p)는 부터 까지 균일하게 분할하는 데 사용될 수 있다. 고도 범위 상의 위치는 원 인덱스를 제공하고, 방위각 이산 지점의 수 및 대응하는 오프셋(off(i))은 알려져 있다.
1. 원 인덱스(i) 를 발견
2. 원(i) 내의 방위각의 인덱스 발견: , 여기서,
3. 방향 인덱스는 이다.
EA-Dl 인덱싱 방법에 대한 설명은 위에서 설명한 코드북 구조에 기초하여 진행될 것이다. 그러나, 다음의 방법은 고도 범위가 스케일( 내지 )을 따라 분할되는 균일한 양자화 구조에 동일하게 적용될 수 있음을 이해해야 한다.
도 7과 관련하여, 고도-방위각을 방향 인덱스(EA-DI)로 변환하기 위한 도 6의 단계(605)의 예시적인 방법이 도시된다.
고도-방위각 값을 양자화하는 제 1 단계는 가장 가까운 코드북 엔트리()를 발견함으로써 고도 값()을 스칼라 양자화하여 제 1 양자화된 고도 값()을 제공하는 단계를 포함할 수 있다. 고도 값()은 다음으로 가장 가까운 코드북 엔트리를 발견함으로써 다시 스칼라 양자화될 수 있다. 이것은 어느 것이 에 더 가까운 지에 따라 코드북 엔트리( 또는 ) 중 어느 하나로서 주어질 수 있고 그럼으로써 제 2 양자화된 고도 값()을 생성한다.
고도() 값을 가장 가까운 인덱싱된 고도 값()에 스칼라 양자화하고 또한 다음으로 가장 가까운 인덱싱된 고도 값( 또는 )에 스칼라 양자화하는 처리 단계는 각각 처리 단계(701 및 703)로서 도시된다.
각각 양자화된 고도 값( 및 )에 대해, 대응하는 스칼라 양자화된 방위각 값이 발견될 수 있다. 다시 말해, 에 대응하는 제 1 스칼라 양자화된 방위각 값은 제 1 양자화된 고도 값()에 대해 인덱싱된 고도 값()와 연관된 방위각 값의 세트로부터 가장 가까운 방위각 값을 발견함으로써 결정될 수 있다. 제 1 양자화된 고도 값()에 대응하는 제 1 스칼라 양자화된 방위각 값은 로 표현될 수 있다. 마찬가지로, 에 대응하는 제 2 스칼라 양자화된 방위각 값이 또한 결정되고 로 표현될 수 있다. 이것은 방위각 값()을 재양자화함으로써 수행될 수 있지만, 이번에는 제 2 스칼라 양자화된 고도 값()의 인덱스와 연관된 방위각 값의 세트를 사용한다.
가장 가까운 인덱싱된 고도 값()에 대응하는 방위각 값()을 스칼라 양자화하고 또한 가장 가까운 인덱싱된 고도 값( 또는 )에 대응하는 방위각 값을 스칼라 양자화하는 처리 단계는 각각 처리 단계(705 및 707)로서 도시된다.
일단 제 1 고도-방위각 스칼라 양자화된 값의 쌍 및 제 2 고도-방위각 스칼라 양자화된 값의 쌍이 결정되면, 각각의 쌍마다 단일 구체에 대한 거리 측정치가 계산될 수 있다. 거리 측정치는 단일 구체 상의 두 지점 사이의 L2 표준 거리를 취함으로써 고려될 수 있으므로, 제 1 스칼라 양자화된 고도-방위각 쌍()의 경우, 거리()는 단일 구체 상의 제 1 스칼라 양자화된 고도-방위각 쌍()과 양자화되지 않은 고도 방위각 쌍() 사이의 거리로 계산된다. 마찬가지로, 제 2 스칼라 양자화된 고도-방위각 쌍()의 경우 거리()는 단일 구체 상의 제 2 스칼라 양자화된 고도-방위각 쌍()과 양자화되지 않은 고도-방위각 쌍() 사이의 거리로 계산된다.
실시예에서 단일 구체 상의 두 지점(x 및 y) 사이의 L2 표준 거리는 로부터 고려될 수 있다는 것을 인식해야 하며, 여기서 x 및 y는 3차원 공간의 구체 좌표이다. 고도-방위각 쌍()의 측면에서, 구체 좌표는 로서 표현될 수 있고, 고도- 방위각 쌍()에 대해 구체 좌표는 에 대응한다. 단일 구체를 고려함으로써, 반경 r=1이고, 거리()는 의 계산으로 줄어들 수 있으며, 여기서 거리()는 각도의 값에만 의존적임을 알 수 있다.
유사하게, 단일 구체 상의 제 2 스칼라 양자화된 고도-방위각 쌍()과 양자화되지 않은 고도-방위각 쌍() 사이의 거리()는 로서 표현될 수 있다.
제 1 스칼라 양자화된 고도-방위각 쌍()과 양자화되지 않은 고도-방위각 쌍() 사이의 거리를 발견하는 처리 단계는 도 7에서 (709)로 도시된다.
제 2 스칼라 양자화된 고도-방위각 쌍()과 양자화되지 않은 고도-방위각 쌍() 사이의 거리를 발견하는 처리 단계는 도 7에서 (711)로 도시된다.
마지막으로, 최소 거리 측정치를 갖는 스칼라 양자화된 고도-방위각 쌍은 고도-방위각()에 대한 양자화된 고도-방위각 값으로 선택된다. 선택된 양자화된 고도 및 방위각 쌍과 연관된 대응하는 인덱스는 방향 인덱스()를 형성한다.
최소 거리를 발견하는 처리 단계는 도 7에서 (713)으로 도시된다.
최소 거리에 따라 양자화된 고도-방위각()의 인덱스를 갖는 ()와 ()의 인덱스 사이에서 선택하는 처리 단계는 도 7에서 (715)로 도시된다.
위에서 구체 양자화 방식이 단일 구체의 관점에서 정의되었지만, 다른 실시예는 반경이 1과 같지 않은 일반 구체에 기초하여 위의 양자화 방식을 전개할 수 있음을 인식해야 한다. 이러한 실시예에서, 최소 거리를 발견하는 위의 단계는 제 1 스칼라 양자화된 고도-방위각 쌍 및 제 2 스칼라 양자화된 고도 쌍 둘 모두에 대응하는 최소 거리 계산이 독립적이거나 반경()이기 때문에 그대로 유지된다.
고도-방위각 쌍()에 대해 선택된 양자화된 값에 대응하는 방향 인덱스()를 발견하기 위한 위의 처리 단계가 고도 값()에 대한 제 1 및 제 2 스칼라 양자화된 값을 사용하는 바람직한 실시예의 관점에서 설명되었다는 것을 유의해야 한다. 그러나 다른 실시예는 고도()에 대해 두 개 이상의 다른 스칼라 양자화된 값을 사용하는 입장으로부터 시작할 수 있다. 이러한 실시예에서 고도 값()에 가장 가까운 코드북 엔트리는 진행되는 계산이 기초하는 양자화된 고도 값으로서 선택될 수 있다. 따라서, 이러한 실시예에서, 대응하는 수의 거리 측정치에 대해, 고도-방위각()에 대한 양자화된 고도-방위각 값으로서 선택되는 최소 거리를 생성하는 스칼라 양자화된 고도-방위각 쌍과 비교하는 최종 비교가 있을 것이다.
위에 설명한 바와 같은 인덱싱의 동작은 파라미터의 특정 값에 양자화된 값을 할당하고, 그 다음에 인덱스를 이용하여 양자화된 파라미터 값을 참조 또는 조회하는 데 사용하는 과정을 의미할 수 있음을 인식해야 한다. 양자화된 파라미터 값을 나타내는 인덱스는 인코딩된 비트 스트림의 일부로서 저장되거나 전송될 수 있다.
단일 구체 상의 두 지점 사이의 거리에 기초한 위의 왜곡 측정치는 벡터 성분으로서 고도 및 방위각 값을 사용하는 임의의 방향 성분 양자화 방식에서 사용될 수 있다는 것을 또한 인식해야 한다. 이를 위해 다른 실시예에서 고도/방위각 벡터는 복수의 고도/방위각 코드벡터를 포함하는 벡터 코드북을 사용하여 양자화될 수 있다. 벡터 코드북은 최소 거리 측정치를 갖는 고도/방위각 코드벡터가 고도/방위각 벡터에 가장 가까운 코드벡터인 것으로 선택되는 가장 가까운 이웃 검색 루틴을 사용하여 검색될 수 있다. 본 실시예에서, 방향 인덱스는 가장 가까운 고도/방위각 코드벡터의 인덱스인 것으로 결정된다. 벡터 코드북의 가장 가까운 이웃 검색 루틴에 사용되는 거리 측정치는 구체 그리드의 경우에 대해 위에서 설명한 것처럼 구체 상의 두 지점(x 및 y) 사이의 L2 표준 거리와 동일하게 될 수 있다는 것을 유의해야 한다. 즉 고도-방위각 쌍()에 대해 구체 좌표는 로 표현될 수 있고, 고도/방위각 코드벡터()에 대해, 구체 좌표는 에 대응한다. 그러므로 고도/방위각 벡터와 벡터 코드북으로부터의 고도/방위각 코드벡터 사이의 거리 측정치는 또한 단일 구체에 대한 의 계산으로 줄어들 수 있다. 방향 인덱스()(306)가 출력될 수 있다.
도 3b와 관련하여, 일부 실시예에 따라 예시적인 메타데이터 추출기(137) 및 구체적으로는 방향 메타데이터 추출기(350)가 도시된다.
방향 메타데이터 추출기(350)는 일부 실시예에서 양자화 입력(352)을 포함한다. 이것은 일부 실시예에서 메타데이터 인코더로부터 전달되거나, 그렇지 않으면 인코더와 합의된다. 양자화 입력은 기준 위치 또는 장소 주위에 배열된 구체의 입도를 정의하도록 구성된다.
방향 메타데이터 추출기(350)는 일부 실시예에서 방향 인덱스 입력(351)을 포함한다. 이것은 인코더로부터 수신되거나 임의의 적합한 수단에 의해 검색될 수 있다.
방향 메타데이터 추출기(350)는 일부 실시예에서 구체 포지셔너(353)를 포함한다. 구체 포지셔너(353)는 입력으로서 양자화 입력을 수신하고 인코더에서 생성된 것과 동일한 방식으로 구체 배열을 생성하도록 구성된다. 일부 실시예에서, 양자화 입력 및 구체 포지셔너(353)는 선택적이며, 구체의 배열 정보는 추출기에서 생성되는 것이 아니라 인코더로부터 전달된다.
방향 메타데이터 추출기(350)는 고도-방위각(DI-EA) 변환기(355)에 대한 방향 인덱스를 포함한다. 고도-방위각 변환기(355)에 대한 방향 인덱스는 방향 인덱스 및 또한 구체 위치 정보를 수신하고 근사적인 또는 양자화된 고도-방위각 출력을 생성하도록 구성된다. 일부 실시예에서 변환은 다음의 알고리즘에 따라 수행된다.
입력:
출력: ()
1. 이도록, 원 인덱스(i)를 발견
2. 반구체에서 원 인덱스를 계산:
3.
4.
다른 실시예에서, 방향 인덱스()는 각각의 코드북으로부터 양자화된 고도 값() 및 양자화된 방위각 값()을 획득하기 위해 고도 인덱스 및 방위각 인덱스로 디코딩될 수 있다.
도 8과 관련하여, 일부 실시예에 따른 방향 파라미터를 추출(또는 양자화된 방향 파라미터를 생성)하기 위한 예시적인 방법이 도시된다.
양자화 입력의 수신은 도 8에서 단계(801)로 도시된다.
그 다음에 방법은 도 8에서 단계(803)로 도시된 바와 같이 양자화 입력에 기초하여 구체 위치 설정을 결정할 수 있다.
또한 방법은 도 8에서 단계(802)로 도시된 바와 같은 방향 인덱스를 수신하는 단계를 포함할 수 있다.
방향 인덱스 및 구체 위치 설정 정보를 수신한 후에, 방법은 도 8에서 단계(805)로 도시된 바와 같이 구체 위치 설정 정보에 기초하여 방향 인덱스를 양자화된 방향 파라미터의 형태의 방향 파라미터로 변환하는 단계를 포함할 수 있다.
그 다음에 방법은 도 8에서 단계(807)로 도시된 바와 같이 양자화된 방향 파라미터를 출력할 수 있다.
도 9와 관련하여, 일부 실시예에 따라, 도 8에서 단계(805)로 도시된 바와 같이, 방향 인덱스를 양자화된 고도-방위각(DI-EA) 파라미터로 변환하는 예시적인 방법이 도시된다.
일부 실시예에서, 방법은 도 9에서 단계(901)로 도시된 바와 같이 이도록 원 인덱스 값(i)을 발견하는 단계를 포함한다.
원 인덱스를 결정한 후에, 다음 연산은 도 9에서 단계(903)로 도시된 바와 같이 구체 위치 설정 정보로부터 반구체의 원 인덱스를 계산하는 것이다.
그 다음에 양자화된 고도는 도 9에서 단계(905)로 도시된 바와 같이 원 인덱스에 기초하여 결정된다.
양자화된 고도를 결정한 후에, 양자화된 방위각은 도 9에서 단계(907)로 도시된 바와 같이 원 인덱스 및 고도 정보에 기초하여 결정된다.
본 문서의 전체에 걸쳐 반복되지는 않지만, 공간 오디오 처리는 전형적으로 그리고 이러한 맥락 둘 모두에서 주파수 대역에서 발생한다는 것을 이해해야 한다. 이러한 대역은 예를 들어 시간-주파수 변환의 주파수 빈 또는 여러 빈을 결합한 주파수 대역일 수 있다. 바크 주파수 해상도와 같은 인간 청력의 속성에 근접하도록 조합될 수 있다. 다시 말해, 경우에 따라, 여러 주파수 빈(b) 및/또는 시간 인덱스(n)를 결합하는 시간-주파수 영역에서 오디오를 측정 및 처리할 수 있다. 단순화를 위해, 이러한 측면은 위의 모든 방정식으로 표현되지 않았다. 많은 시간-주파수 샘플이 결합된 경우, 전형적으로 한 방향과 같은 파라미터의 한 세트는 대응하는 시간-주파수 영역에 대해 추정되고, 그 영역 내의 모든 시간-주파수 샘플은 그러한 한 방향 파라미터와 같은 그러한 파라미터의 세트에 따라 합성된다.
적용된 필터 뱅크의 주파수 해상도와 상이한 파라미터 분석을 위한 주파수 해상도의 사용은 공간 오디오 처리 시스템에서 전형적인 접근 방식이다.
도 10과 관련하여, 분석 또는 합성 디바이스로서 사용될 수 있는 예시적인 전자 디바이스가 도시된다. 디바이스는 임의의 적합한 전자 디바이스 또는 장치일 수 있다. 예를 들어, 일부 실시예에서, 디바이스(1400)는 모바일 디바이스, 사용자 장비, 태블릿 컴퓨터, 컴퓨터, 오디오 재생 장치 등이다
일부 실시예에서, 디바이스(1400)는 적어도 하나의 프로세서 또는 중앙 처리 유닛(1407)을 포함한다. 프로세서(1407)는 본 명세서에 설명된 방법과 같은 다양한 프로그램 코드를 실행하도록 구성될 수 있다.
일부 실시예에서, 디바이스(1400)는 메모리(1411)를 포함한다. 일부 실시예에서, 적어도 하나의 프로세서(1407)는 메모리(1411)에 결합된다. 메모리(1411)는 임의의 적합한 저장 수단일 수 있다. 일부 실시예에서, 메모리(1411)는 프로세서(1407)에 따라 구현 가능한 프로그램 코드를 저장하기 위한 프로그램 코드 섹션을 포함한다. 또한, 일부 실시예에서, 메모리(1411)는 데이터, 예를 들어 본 명세서에 설명된 실시예에 따라 처리되거나 처리될 데이터를 저장하기 위한 저장된 데이터 섹션을 더 포함할 수 있다. 프로그램 코드 섹션 내에 저장된 구현된 프로그램 코드 및 저장된 데이터 섹션 내에 저장된 데이터는 메모리-프로세서 결합을 통해 필요할 때마다 프로세서(1407)에 의해 검색될 수 있다.
일부 실시예에서, 디바이스(1400)는 사용자 인터페이스(1405)를 포함한다. 사용자 인터페이스(1405)는 일부 실시예에서 프로세서(1407)에 결합될 수 있다. 일부 실시예에서 프로세서(1407)는 사용자 인터페이스(1405)의 동작을 제어하고 사용자 인터페이스(1405)로부터 입력을 수신할 수 있다. 일부 실시예에서, 사용자 인터페이스(1405)는 사용자가 예를 들어 키패드를 통해 디바이스(1400)에 커맨드를 입력할 수 있게 할 수 있다. 일부 실시예에서, 사용자 인터페이스(1405)는 사용자가 디바이스(1400)로부터 정보를 획득할 수 있게 할 수 있다. 예를 들어, 사용자 인터페이스(1405)는 디바이스(1400)로부터 사용자에게 정보를 표시하도록 구성된 디스플레이를 포함할 수 있다. 사용자 인터페이스(1405)는 일부 실시예에서 정보가 디바이스(1400)에 입력될 수 있게 하고 또한 디바이스(1400)의 사용자에게 정보를 디스플레이할 수 있는 터치 스크린 또는 터치 인터페이스를 포함할 수 있다. 일부 실시예에서, 사용자 인터페이스(1405)는 본 명세서에 설명된 위치 결정기와 통신하기 위한 사용자 인터페이스일 수 있다.
일부 실시예에서, 디바이스(1400)는 입력/출력 포트(1409)를 포함한다. 입력/출력 포트(1409)는 일부 실시예에서 송수신기를 포함한다. 이러한 실시예에서 송수신기는 프로세서(1407)에 결합될 수 있고, 예를 들어 무선 통신 네트워크를 통해 다른 장치 또는 전자 디바이스와의 통신을 가능하게 하도록 구성될 수 있다. 송수신기 또는 임의의 적합한 송수신기 또는 송신기 및/또는 수신기 수단은 일부 실시예에서 유선 또는 유선 결합을 통해 다른 전자 디바이스 또는 장치와 통신하도록 구성될 수 있다.
송수신기는 임의의 적합한 알려진 통신 프로토콜에 의해 추가 장치와 통신할 수 있다. 예를 들어, 일부 실시예에서 송수신기 또는 송수신기 수단은 적합한 범용 모바일 통신 시스템(universal mobile telecommunications system)(UMTS) 프로토콜, 예를 들어 IEEE 802.X와 같은 무선 근거리 통신망(Wireless Local Area Network)(WLAN) 프로토콜, 블루투스 또는 적외선 데이터 통신 경로(infrared data communication pathway)(IRDA)와 같은 적합한 단거리 무선 주파수 통신 프로토콜을 사용할 수 있다.
송수신기 입력/출력 포트(1409)는 신호를 수신하도록 구성될 수 있고 일부 실시예에서 적합한 코드를 실행하는 프로세서(1407)를 사용하여 본 명세서에 설명된 바와 같은 파라미터를 결정한다. 또한, 디바이스는 합성 디바이스로 전송될 적합한 다운믹스 신호 및 파라미터 출력을 생성할 수 있다.
일부 실시예에서, 디바이스(1400)는 합성 디바이스의 적어도 일부로서 사용될 수 있다. 이와 같이 입력/출력 포트(1409)는 다운믹스 신호를 수신 및 일부 실시예에서는 본 명세서에 설명된 바와 같은 캡처 디바이스 또는 처리 디바이스에서 결정된 파라미터를 수신하고, 적합한 코드를 실행하는 프로세서(1407)를 사용함으로써 출력되는 적합한 오디오 신호 포맷을 생성하도록 구성될 수 있다. 입력/출력 포트(1409)는 예를 들어 다중-채널 스피커 시스템 및/또는 헤드폰 또는 이와 유사한 것과 같은 임의의 적합한 오디오 출력에 연결될 수 있다.
일반적으로, 본 발명의 다양한 실시예는 하드웨어 또는 특수 목적 회로, 소프트웨어, 로직 또는 이들의 임의의 조합으로 구현될 수 있다. 예를 들어, 일부 양태는 하드웨어로 구현될 수 있는 반면, 다른 양태는 제어기, 마이크로프로세서 또는 다른 컴퓨팅 디바이스에 의해 실행될 수 있는 펌웨어 또는 소프트웨어로 구현될 수 있지만, 본 발명은 이것으로 제한되지 않는다. 본 발명의 다양한 양태가 블록도, 흐름도로서 또는 일부 다른 그림이 포함된 표현을 사용하여 예시되고 설명될 수 있지만, 본 명세서에 설명된 이러한 블록, 장치, 시스템, 기술 또는 방법은 비제한적인 예로서, 하드웨어, 소프트웨어, 펌웨어, 특수 목적 회로 또는 로직, 범용 하드웨어 또는 제어기 또는 다른 컴퓨팅 디바이스 또는 이들의 일부 조합으로 구현될 수 있다.
본 발명의 실시예는 프로세서 엔티티에서와 같은 모바일 디바이스의 데이터 프로세서에 의해 실행 가능한 컴퓨터 소프트웨어에 의해 구현될 수 있거나, 또는 하드웨어에 의해, 또는 소프트웨어와 하드웨어의 조합에 의해 구현될 수 있다. 또한, 이와 관련하여, 도면에서와 같이 로직 흐름의 임의의 블록은 프로그램 단계, 또는 상호 연결된 로직 회로, 블록과 기능, 또는 프로그램 단계와 로직 회로의 조합, 블록과 기능을 나타낼 수 있음을 유의해야 한다. 소프트웨어는 메모리 칩과 같은 물리적 매체, 또는 프로세서 내에서 구현된 메모리 블록, 하드 디스크 또는 플로피 디스크와 같은 자기 매체, 및 예를 들어 DVD 및 그 데이터 변형 CD와 같은 광학 매체에 저장될 수 있다.
메모리는 로컬 기술 환경에 적합한 임의의 유형일 수 있으며 반도체 기반 메모리 디바이스, 자기 메모리 디바이스 및 시스템, 광학 메모리 디바이스 및 시스템, 고정 메모리 및 이동식 메모리와 같은 임의의 적합한 데이터 저장 기술을 사용하여 구현될 수 있다. 데이터 프로세서는 로컬 기술 환경에 적합한 임의의 유형일 수 있으며, 비제한적인 예로서, 범용 컴퓨터, 특수 목적 컴퓨터, 마이크로프로세서, 디지털 신호 프로세서(digital signal processor)(DSP), 주문형 집적 회로(application specific integrated circuit)(ASIC), 게이트 레벨 회로 및 멀티 코어 프로세서 아키텍처에 기초한 프로세서 중 하나 이상을 포함할 수 있다.
본 발명의 실시예는 집적 회로 모듈과 같은 다양한 구성 요소에서 실행될 수 있다. 집적 회로의 설계는 대체로 고도로 자동화된 프로세스이다. 로직 레벨 설계를 반도체 기판 상에 식각되어 형성될 준비된 반도체 회로 설계로 변환을 위한 복잡하고 강력한 소프트웨어 도구가 사용될 수 있다.
프로그램은 자동으로 전도체를 라우팅하고, 잘 설정된 설계의 규칙과 미리 저장된 설계 모듈의 라이브러리를 사용하여 반도체 칩 상에 컴포넌트를 배치할 수 있다. 반도체 회로에 대한 설계가 완료되면, 표준화된 전자 포맷(예를 들어, Opus, GDSII 등)의 그 결과로 생성된 설계가 반도체 제조 시설 또는 제조를 위해 '팹(fab)'으로 전달될 수 있다.
전술한 설명은 예시적이고 비제한적인 예로서 본 발명의 예시적인 실시예의 완전하고 유익한 설명을 제공하였다. 그러나 첨부된 도면 및 첨부된 청구 범위와 관련하여 판독할 때, 관련 기술분야의 통상의 기술자에게는 전술한 설명에 비추어 다양한 수정 및 적응이 명백할 것이다. 그러나 본 발명의 교시에 대한 그러한 모든 수정 및 유사한 수정은 첨부된 청구 범위에 정의된 바와 같이 여전히 본 발명의 범위에 속할 것이다.
Claims (24)
- 공간 오디오 신호 인코딩을 위한 방법으로서,
두 개 이상의 오디오 신호에 대해, 공간 오디오 재생을 제공하기 위한 적어도 하나의 공간 오디오 파라미터 - 상기 적어도 하나의 공간 오디오 파라미터는 고도 성분(elevation component) 및 방위각 성분(azimuth component)을 갖는 방향 파라미터를 포함함 - 를 결정하는 단계;
인덱싱된 고도 값 및 인덱싱된 방위각 값을 포함하는 코드북을 사용하여, 제 1 인덱싱된 고도 값 및 제 1 양자화된 방위각 값을 제공하기 위해 상기 고도 성분 및 상기 방위각 성분에 대해 제 1 스칼라 양자화를 수행 - 상기 코드북의 각각의 단일 인덱싱된 고도 값은 복수의 인덱싱된 방위각 값들과 연관되고, 상기 제 1 인덱싱된 고도 값은 제 1 복수의 인덱싱된 방위각 값들과 연관되며, 상기 제 1 양자화된 방위각 값은 상기 제 1 인덱싱된 고도 값과 관련된 상기 제 1 복수의 인덱싱된 방위각 값들로부터 도출됨 - 하는 단계;
상기 코드북을 사용하여, 제 2 인덱싱된 고도 값 및 제 2 인덱싱된 방위각 값을 제공하기 위해 상기 고도 성분 및 상기 방위각 성분에 대해 제 2 스칼라 양자화를 수행 - 상기 고도 성분의 상기 제 2 스칼라 양자화는 인덱스가 상기 코드북으로부터 상기 제 1 인덱싱된 고도 값의 인덱스 다음에 있는 인덱싱된 고도 값으로 제한되고, 상기 제 2 인덱싱된 고도 값은 제 2 복수의 인덱싱된 방위각 값들과 연관되며, 제 2 양자화된 방위각 값은 상기 제 2 복수의 인덱싱된 방위각 값들로부터 도출됨 - 하는 단계; 및
상기 제 1 인덱싱된 고도 값 및 상기 제 1 인덱싱된 방위각 값 또는 상기 제 2 인덱싱된 고도 값 및 상기 제 2 인덱싱된 방위각 값 중 하나를 양자화된 고도 성분 및 양자화된 방위각 성분으로서 선택하는 단계를 포함하는,
방법. - 삭제
- 제 1 항에 있어서,
상기 제 1 인덱싱된 고도 값 및 상기 제 1 인덱싱된 방위각 값 또는 상기 제 2 인덱싱된 고도 값 및 상기 제 2 인덱싱된 방위각 값 중 하나를 양자화된 고도 성분 및 양자화된 방위각 성분으로서 선택하는 단계는,
상기 고도 성분 및 상기 방위각 성분에 의해 주어진 구체(sphere) 상의 지점과 상기 제 1 인덱싱된 고도 값 및 상기 제 1 인덱싱된 방위각 값에 의해 주어진 상기 구체 상의 지점 사이의 제 1 거리를 결정하는 단계와,
상기 고도 성분 및 상기 방위각 성분에 의해 주어진 상기 구체 상의 지점과 상기 제 2 인덱싱된 고도 값 및 상기 제 2 인덱싱된 방위각 값에 의해 주어진 상기 구체 상의 지점 사이의 제 2 거리를 결정하는 단계와,
상기 제 1 인덱싱된 고도 값 및 상기 제 1 인덱싱된 방위각 값 또는 상기 제 2 인덱싱된 고도 값 및 상기 제 2 인덱싱된 방위각 값 중 하나를 상기 제 1 거리 및 상기 제 2 거리의 최소 값에 의존하는 상기 양자화된 고도 성분 및 상기 양자화된 방위각 성분으로서 선택하는 단계를 포함하는,
방법. - 제 3 항에 있어서,
상기 제 1 거리 및 상기 제 2 거리는 각각 상기 구체 상의 두 지점 사이에서 측정된 L2 표준 거리인,
방법. - 제 1 항, 제 3 항 및 제 4 항 중 어느 한 항에 있어서,
상기 고도 성분 및 상기 방위각 성분은 구체 그리드(spherical grid) 상의 지점에 인덱싱되고, 상기 구체 그리드는 구체의 형상으로 배열된 다수의 지점을 포함하는,
방법. - 제 5 항에 있어서,
상기 구체 그리드는 상기 구체를 보다 작은 구체로 덮음으로써 형성되고, 상기 보다 작은 구체는 상기 구체 그리드의 상기 지점을 정의하는,
방법. - 삭제
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 고도 성분 및 상기 방위각 성분은 방위각/고도 벡터의 성분들이고,
상기 방향 파라미터의 상기 고도 성분 및 상기 방위각 성분을 인덱스 값으로 변환하는 단계는,
상기 방위각/고도 벡터와 복수의 방위각/고도 코드벡터를 포함하는 벡터 코드북으로부터의 제 1 방위각/고도 코드벡터 사이의 제 1 거리 측정치를 결정하고, 상기 방위각/고도 벡터와 상기 벡터 코드북으로부터의 적어도 제 2 방위각/고도 코드벡터 사이의 적어도 제 2 거리 측정치를 결정하는 단계와,
상기 제 1 거리 측정치 및 상기 적어도 제 2 거리 측정치로부터 최소 거리 측정치를 선택하는 단계와,
상기 인덱스 값을 상기 최소 거리 측정치와 연관된 상기 방위각/고도 코드벡터의 인덱스로서 할당하는 단계를 포함하는,
방법. - 제 10 항에 있어서,
상기 제 1 거리 및 상기 제 2 거리는 각각 구체 상의 두 지점 사이에서 측정된 L2 표준 거리인,
방법. - 제 4 항 또는 제 11 항에 있어서,
상기 구체는 단일 구체이고, 상기 단일 구체 상의 두 지점 사이의 L2 표준 거리는 의 형태이고, 및 는 상기 두 지점의 제 1 지점 및 제 2 지점에 대한 고도 값이고, 및 는 상기 두 지점의 상기 제 1 지점 및 상기 제 2 지점에 대한 방위각 값인,
방법. - 공간 오디오 신호 인코딩을 위한 장치로서,
두 개 이상의 오디오 신호에 대해, 공간 오디오 재생을 제공하기 위한 적어도 하나의 공간 오디오 파라미터 - 상기 적어도 하나의 공간 오디오 파라미터는 고도 성분 및 방위각 성분을 갖는 방향 파라미터를 포함함 - 를 결정하기 위한 수단;
인덱싱된 고도 값 및 인덱싱된 방위각 값을 포함하는 코드북을 사용하여, 제 1 인덱싱된 고도 값 및 제 1 양자화된 방위각 값을 제공하기 위해 상기 고도 성분 및 상기 방위각 성분에 대해 제 1 스칼라 양자화를 수행 - 상기 코드북의 각각의 단일 인덱싱된 고도 값은 복수의 인덱싱된 방위각 값들과 연관되고, 상기 제 1 인덱싱된 고도 값은 제 1 복수의 인덱싱된 방위각 값들과 연관되며, 상기 제 1 양자화된 방위각 값은 상기 제 1 인덱싱된 고도 값과 관련된 상기 제 1 복수의 인덱싱된 방위각 값들로부터 도출됨 - 하는 수단;
상기 코드북을 사용하여, 제 2 인덱싱된 고도 값 및 제 2 인덱싱된 방위각 값을 제공하기 위해 상기 고도 성분에 대해 제 2 스칼라 양자화를 수행 - 상기 고도 성분의 상기 제 2 스칼라 양자화는 인덱스가 상기 코드북으로부터 상기 제 1 인덱싱된 고도 값의 인덱스 다음에 있는 인덱싱된 고도 값으로 제한되고, 상기 제 2 인덱싱된 고도 값은 제 2 복수의 인덱싱된 방위각 값들과 연관되며, 제 2 양자화된 방위각 값은 상기 제 2 복수의 인덱싱된 방위각 값들로부터 도출됨 - 하는 수단; 및
상기 제 1 인덱싱된 고도 값 및 상기 제 1 인덱싱된 방위각 값 또는 상기 제 2 인덱싱된 고도 값 및 상기 제 2 인덱싱된 방위각 값 중 하나를 양자화된 고도 성분 및 양자화된 방위각 성분으로서 선택하는 수단을 포함하는,
장치. - 삭제
- 제 13 항에 있어서,
상기 제 1 인덱싱된 고도 값 및 상기 제 1 인덱싱된 방위각 값 또는 상기 제 2 인덱싱된 고도 값 및 상기 제 2 인덱싱된 방위각 값 중 하나를 양자화된 고도 성분 및 양자화된 방위각 성분으로서 선택하기 위한 수단은,
상기 고도 성분 및 상기 방위각 성분에 의해 주어진 구체 상의 지점과 상기 제 1 인덱싱된 고도 값 및 상기 제 1 인덱싱된 방위각 값에 의해 주어진 상기 구체 상의 지점 사이의 제 1 거리를 결정하기 위한 수단과,
상기 고도 성분 및 상기 방위각 성분에 의해 주어진 상기 구체 상의 지점과 상기 제 2 인덱싱된 고도 값 및 상기 제 2 인덱싱된 방위각 값에 의해 주어진 상기 구체 상의 지점 사이의 제 2 거리를 결정하기 위한 수단과,
상기 제 1 인덱싱된 고도 값 및 상기 제 1 인덱싱된 방위각 값 또는 상기 제 2 인덱싱된 고도 값 및 상기 제 2 인덱싱된 방위각 값 중 하나를 상기 제 1 거리 및 상기 제 2 거리의 최소값에 의존하는 상기 양자화된 고도 성분 및 상기 양자화된 방위각 성분으로서 선택하기 위한 수단을 포함하는,
장치. - 제 15 항에 있어서,
상기 제 1 거리 및 상기 제 2 거리는 각각 상기 구체 상의 두 지점 사이에서 측정된 L2 표준 거리인,
장치. - 제 13 항, 제 15 항 및 제 16 항 중 어느 한 항에 있어서,
상기 고도 성분 및 상기 방위각 성분은 구체 그리드 상의 지점에 인덱싱되고, 상기 구체 그리드는 구체의 형상으로 배열된 다수의 지점을 포함하는,
장치. - 제 17 항에 있어서,
상기 구체 그리드는 상기 구체를 보다 작은 구체로 덮음으로써 형성되고, 상기 보다 작은 구체는 상기 구체 그리드의 지점을 정의하는,
장치. - 삭제
- 삭제
- 삭제
- 제 13 항에 있어서,
상기 고도 성분 및 상기 방위각 성분은 방위각/고도 벡터의 성분들이고,
상기 방향 파라미터의 상기 고도 성분 및 상기 방위각 성분을 인덱스 값으로 변환하기 위한 수단은,
상기 방위각/고도 벡터와 복수의 방위각/고도 코드벡터를 포함하는 벡터 코드북으로부터의 제 1 방위각/고도 코드벡터 사이의 제 1 거리 측정치를 결정하고, 상기 방위각/고도 벡터와 상기 벡터 코드북으로부터의 적어도 제 2 방위각/고도 코드벡터 사이의 적어도 제 2 거리 측정치를 결정하기 위한 수단과,
상기 제 1 거리 측정치 및 상기 적어도 제 2 거리 측정치로부터 최소 거리 측정치를 선택하는 수단과,
상기 인덱스 값을 상기 최소 거리 측정치와 연관된 상기 방위각/고도 코드벡터의 인덱스로서 할당하기 위한 수단을 포함하는,
장치. - 제 22 항에 있어서,
상기 제 1 거리와 상기 제 2 거리는 각각 구체 상의 두 지점 사이에서 측정된 L2 표준 거리인,
장치. - 제 16 항 또는 제 23 항에 있어서,
상기 구체는 단일 구체이고, 상기 단일 구체 상의 두 지점 사이의 L2 표준 거리는 의 형태이고, 및 는 상기 두 지점의 제 1 지점 및 제 2 지점에 대한 고도 값이고, 및 는 상기 두 지점의 상기 제 1 및 상기 제 2 지점에 대한 방위각 값인,
장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB1805833.9A GB2572761A (en) | 2018-04-09 | 2018-04-09 | Quantization of spatial audio parameters |
| GB1805833.9 | 2018-04-09 | ||
| PCT/FI2019/050264 WO2019197713A1 (en) | 2018-04-09 | 2019-04-02 | Quantization of spatial audio parameters |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200140874A KR20200140874A (ko) | 2020-12-16 |
| KR102593235B1 true KR102593235B1 (ko) | 2023-10-23 |
Family
ID=62202862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207032046A KR102593235B1 (ko) | 2018-04-09 | 2019-04-02 | 공간 오디오 파라미터의 양자화 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11475904B2 (ko) |
| EP (1) | EP3776545B1 (ko) |
| KR (1) | KR102593235B1 (ko) |
| CN (1) | CN112219237A (ko) |
| GB (1) | GB2572761A (ko) |
| WO (1) | WO2019197713A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI3874492T3 (fi) * | 2018-10-31 | 2024-01-08 | Nokia Technologies Oy | Spatiaalisten äänten parametrikoodauksen ja siihen liittyvän dekoodauksen määrittäminen |
| GB2598773A (en) * | 2020-09-14 | 2022-03-16 | Nokia Technologies Oy | Quantizing spatial audio parameters |
| GB2624874A (en) | 2022-11-29 | 2024-06-05 | Nokia Technologies Oy | Parametric spatial audio encoding |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017062159A1 (en) * | 2015-10-08 | 2017-04-13 | Qualcomm Incorporated | Quantization of spatial vectors |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4224618A (en) * | 1978-12-11 | 1980-09-23 | Sperry Corporation | Radar system with a multiplicity of antenna beams for elevation coverage |
| US6192336B1 (en) * | 1996-09-30 | 2001-02-20 | Apple Computer, Inc. | Method and system for searching for an optimal codevector |
| US8374365B2 (en) * | 2006-05-17 | 2013-02-12 | Creative Technology Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
| US7933770B2 (en) | 2006-07-14 | 2011-04-26 | Siemens Audiologische Technik Gmbh | Method and device for coding audio data based on vector quantisation |
| WO2009067741A1 (en) | 2007-11-27 | 2009-06-04 | Acouity Pty Ltd | Bandwidth compression of parametric soundfield representations for transmission and storage |
| WO2014068167A1 (en) * | 2012-10-30 | 2014-05-08 | Nokia Corporation | A method and apparatus for resilient vector quantization |
| WO2014080074A1 (en) * | 2012-11-20 | 2014-05-30 | Nokia Corporation | Spatial audio enhancement apparatus |
| US9384741B2 (en) * | 2013-05-29 | 2016-07-05 | Qualcomm Incorporated | Binauralization of rotated higher order ambisonics |
| CN104244164A (zh) * | 2013-06-18 | 2014-12-24 | 杜比实验室特许公司 | 生成环绕立体声声场 |
| EP2860728A1 (en) * | 2013-10-09 | 2015-04-15 | Thomson Licensing | Method and apparatus for encoding and for decoding directional side information |
| US9774854B2 (en) * | 2014-02-27 | 2017-09-26 | Telefonaktiebolaget L M Ericsson (Publ) | Method and apparatus for pyramid vector quantization indexing and de-indexing of audio/video sample vectors |
| US20150332682A1 (en) * | 2014-05-16 | 2015-11-19 | Qualcomm Incorporated | Spatial relation coding for higher order ambisonic coefficients |
| CN106471822B (zh) * | 2014-06-27 | 2019-10-25 | 杜比国际公司 | 针对hoa数据帧表示的压缩确定表示非差分增益值所需的最小整数比特数的设备 |
| GB2542579A (en) * | 2015-09-22 | 2017-03-29 | Gregory Stanier James | Spatial audio generator |
| FR3048808A1 (fr) * | 2016-03-10 | 2017-09-15 | Orange | Codage et decodage optimise d'informations de spatialisation pour le codage et le decodage parametrique d'un signal audio multicanal |
| US9800990B1 (en) * | 2016-06-10 | 2017-10-24 | C Matter Limited | Selecting a location to localize binaural sound |
| WO2017218973A1 (en) * | 2016-06-17 | 2017-12-21 | Edward Stein | Distance panning using near / far-field rendering |
| EP3494647B1 (en) * | 2016-08-10 | 2023-04-26 | Huawei Technologies Co., Ltd. | Unit-norm codebook design and quantization |
| PL3707706T3 (pl) * | 2017-11-10 | 2021-11-22 | Nokia Technologies Oy | Określanie kodowania przestrzennego parametrów dźwięku i związane z tym dekodowanie |
| CN111656441B (zh) | 2017-11-17 | 2023-10-03 | 弗劳恩霍夫应用研究促进协会 | 编码或解码定向音频编码参数的装置和方法 |
| WO2019129350A1 (en) | 2017-12-28 | 2019-07-04 | Nokia Technologies Oy | Determination of spatial audio parameter encoding and associated decoding |
| GB2586214A (en) * | 2019-07-31 | 2021-02-17 | Nokia Technologies Oy | Quantization of spatial audio direction parameters |
-
2018
- 2018-04-09 GB GB1805833.9A patent/GB2572761A/en not_active Withdrawn
-
2019
- 2019-04-02 EP EP19785175.1A patent/EP3776545B1/en active Active
- 2019-04-02 CN CN201980037571.3A patent/CN112219237A/zh active Pending
- 2019-04-02 KR KR1020207032046A patent/KR102593235B1/ko active IP Right Grant
- 2019-04-02 WO PCT/FI2019/050264 patent/WO2019197713A1/en unknown
- 2019-04-02 US US17/043,024 patent/US11475904B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017062159A1 (en) * | 2015-10-08 | 2017-04-13 | Qualcomm Incorporated | Quantization of spatial vectors |
Non-Patent Citations (3)
| Title |
|---|
| Bertrand Fatus. Parametric Coding for Spatial Audio. Master’s Thesis, KTH, Stockholm, Sweden. 2015.12. |
| On spatial metadata for IVAS spatial audio input format, https://www.3gpp.org/ftp/TSG_SA/WG4_CODEC/TSGS4_98/Docs/S4-180462.zip, 2018.04.03.* |
| Proposal for MASA format, https://www.3gpp.org/ftp/TSG_SA/WG4_CODEC/TSGS4_102_Bruges/Docs/S4-190121.zip, 2019.01. |
Also Published As
| Publication number | Publication date |
|---|---|
| GB2572761A (en) | 2019-10-16 |
| WO2019197713A1 (en) | 2019-10-17 |
| KR20200140874A (ko) | 2020-12-16 |
| EP3776545A1 (en) | 2021-02-17 |
| GB201805833D0 (en) | 2018-05-23 |
| US20210020185A1 (en) | 2021-01-21 |
| CN112219237A (zh) | 2021-01-12 |
| US11475904B2 (en) | 2022-10-18 |
| EP3776545B1 (en) | 2024-04-17 |
| EP3776545A4 (en) | 2022-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3861548B1 (en) | Selection of quantisation schemes for spatial audio parameter encoding | |
| CN111316353B (zh) | 确定空间音频参数编码和相关联的解码 | |
| CN111542877B (zh) | 空间音频参数编码和相关联的解码的确定 | |
| JP7213364B2 (ja) | 空間オーディオパラメータの符号化及び対応する復号の決定 | |
| JP7405962B2 (ja) | 空間オーディオパラメータ符号化および関連する復号化の決定 | |
| KR102593235B1 (ko) | 공간 오디오 파라미터의 양자화 | |
| WO2020016479A1 (en) | Sparse quantization of spatial audio parameters | |
| CA3212985A1 (en) | Combining spatial audio streams | |
| WO2020260756A1 (en) | Determination of spatial audio parameter encoding and associated decoding | |
| KR20230135665A (ko) | 공간 오디오 파라미터 인코딩 및 관련 디코딩 결정 | |
| JPWO2020089510A5 (ko) | ||
| CA3237983A1 (en) | Spatial audio parameter decoding | |
| CA3208666A1 (en) | Transforming spatial audio parameters |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |