KR102005298B1 - 고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스 - Google Patents
고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스 Download PDFInfo
- Publication number
- KR102005298B1 KR102005298B1 KR1020167026390A KR20167026390A KR102005298B1 KR 102005298 B1 KR102005298 B1 KR 102005298B1 KR 1020167026390 A KR1020167026390 A KR 1020167026390A KR 20167026390 A KR20167026390 A KR 20167026390A KR 102005298 B1 KR102005298 B1 KR 102005298B1
- Authority
- KR
- South Korea
- Prior art keywords
- hoa
- gain
- drc
- matrix
- signal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000006835 compression Effects 0.000 title claims abstract description 19
- 238000007906 compression Methods 0.000 title claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 82
- 238000009877 rendering Methods 0.000 claims description 37
- 230000001131 transforming effect Effects 0.000 claims description 17
- 230000009466 transformation Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 7
- 229910052709 silver Inorganic materials 0.000 description 7
- 239000004332 silver Substances 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 208000001613 Gambling Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004134 energy conservation Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 101710159080 Aconitate hydratase A Proteins 0.000 description 1
- 101710159078 Aconitate hydratase B Proteins 0.000 description 1
- 241001306293 Ophrys insectifera Species 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Theoretical Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Stereophonic System (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Nuclear Medicine (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
Abstract
DRC(Dynamic Range Control)가 HOA(Higher Order Ambisonics) 기반 신호들에 단순히 적용될 수 없다. HOA 신호에 대해 DRC를 수행하는 방법은 HOA 신호를 공간 영역으로 변환하는 단계, 변환된 HOA 신호를 분석하는 단계, 및 상기 분석하는 단계의 결과들로부터, 동적 압축을 위해 사용가능한 이득 인자들을 획득하는 단계를 포함한다. 이득 인자들이 HOA 신호와 함께 전송될 수 있다. DRC를 적용할 때, HOA 신호가 공간 영역으로 변환되고, 이득 인자들이 추출되며 공간 영역에서 변환된 HOA 신호와 곱해지고, 여기서 이득 보상된 변환된 HOA 신호가 획득된다. 이득 보상된 변환된 HOA 신호는 다시 HOA 영역으로 변환되고, 여기서 이득 보상된 HOA 신호가 획득된다.
Description
본 발명은 앰비소닉스 신호에, 그리고 상세하게는 HOA(Higher Order Ambisonics: 고차 앰비소닉스) 신호에 DRC(Dynamic Range Compression: 동적 범위 압축)를 수행하는 방법 및 디바이스에 관한 것이다.
DRC(Dynamic Range Compression)의 목적은 오디오 신호의 동적 범위를 감소시키는 데 있다. 시변 이득 인자(time-varying gain factor)가 오디오 신호에 적용된다. 전형적으로, 이 이득 인자는 이득을 제어하기 위해 사용되는 신호의 진폭 엔벨로프(amplitude envelope)에 의존한다. 매핑은 일반적으로 비선형이다. 큰 진폭은 보다 작은 진폭에 매핑되는 반면, 희미한 소리는 종종 증폭된다. 시나리오들은 잡음이 많은 환경, 늦은 밤의 청취, 소형 스피커 또는 모바일 헤드폰 청취이다.
오디오를 스트리밍하거나 방송하는 것에 대한 통상의 개념은 전송 이전에 DRC 이득을 발생시키고 수신 및 디코딩 이후에 이 이득을 적용하는 것이다. DRC를 사용하는 것의 원리 - 즉, DRC가 오디오 신호에 보통 어떻게 적용되는지 - 는 도 1의 a)에 도시되어 있다. 보통 신호 엔벨로프인 신호 레벨이 검출되고, 관련된 시변 이득(gDRC)이 계산된다. 이득은 오디오 신호의 진폭을 변경하는 데 사용된다. 도 1의 b)는 인코딩/디코딩을 위해 DRC를 사용하는 것의 원리를 나타내고, 여기서 이득 인자들을 코딩된 오디오 신호와 함께 전송된다. 디코더측에서, 디코딩된 오디오 신호의 동적 범위를 감소시키기 위해 디코딩된 오디오 신호에 이득이 적용된다.
3D 오디오의 경우, 상이한 공간 위치들을 나타내는 스피커 채널들에 상이한 이득들이 적용될 수 있다. 정합하는 이득 세트를 발생시킬 수 있기 위해, 이 위치들을 그러면 송신측에서 알고 있을 필요가 있다. 이것이 보통 이상화된 조건에 대해서만 가능한 반면, 현실의 경우에는 스피커들의 개수 및 그의 배치가 많은 방식으로 변한다. 이것은 규격들로부터보다는 실제의 고려사항들로부터 더 많은 영향을 받는다. HOA(Higher Order Ambisonics)는 유연한 렌더링을 가능하게 하는 오디오 포맷이다. HOA 신호는 소리 레벨(sound level)들을 직접 표현하지 않는 계수 채널(coefficient channel)들로 이루어져 있다. 따라서, DRC가 HOA 기반 신호에는 간단히 적용될 수 없다.
본 발명은 적어도 DRC가 HOA 신호에 어떻게 적용될 수 있는지의 문제를 해결한다. 하나 이상의 이득 계수들을 획득하기 위해 HOA 신호가 분석된다. 일 실시예에서, 적어도 2 개의 이득 계수들이 획득되고, HOA 신호의 분석은 공간 영역(spatial domain)으로의 변환(iDSHT)을 포함한다. 하나 이상의 이득 계수들이 원래의 HOA 신호와 함께 전송된다. 모든 이득 계수들이 같은지를 표시하기 위해 특수 표시가 전송될 수 있다. 소위 단순화된 모드(simplified mode)에서는 이러한 반면, 비단순화된 모드(non-simplified mode)에서는 적어도 2 개의 상이한 이득 계수들이 사용된다. 디코더에서, 하나 이상의 이득들이 HOA 신호에 적용될 수 있다(그렇지만 꼭 그럴 필요는 없음). 사용자는 하나 이상의 이득들을 적용할지 여부를 선택할 수 있다. 단순화된 모드의 장점은, 단지 하나의 이득 인자가 사용되기 때문에, 상당히 더 적은 계산을 필요로 하고, 이득 인자가 HOA 영역(HOA domain)에서 HOA 신호의 계수 채널들에 직접 적용될 수 있기 때문에, 따라서 공간 영역으로의 변환과 HOA 영역으로의 차후의 변환이 생략될 수 있다는 것이다. 단순화된 모드에서는, 이득 인자가 HOA 신호의 0차 계수 채널만의 분석에 의해 획득된다.
본 발명의 일 실시예에 따르면, HOA 신호에 대해 DRC를 수행하는 방법은 (역 DSHT(inverse DSHT)에 의해) HOA 신호를 공간 영역으로 변환하는 단계, 변환된 HOA 신호를 분석하는 단계 및 상기 분석하는 단계의 결과들로부터, 동적 범위 압축을 위해 사용가능한 이득 인자들을 획득하는 단계를 포함한다. 추가의 단계들에서, 획득된 이득 인자들이 변환된 HOA 신호와 (공간 영역에서) 곱해지고, 여기서 이득 압축된(gain compressed) 변환된 HOA 신호가 획득된다. 마지막으로, 이득 압축된 변환된 HOA 신호가 (DSHT에 의해) 다시 HOA 영역, 즉 계수 영역(coefficient domain)으로 변환되고, 여기서 이득 압축된 HOA 신호가 획득된다.
게다가, 본 발명의 일 실시예에 따르면, 단순화된 모드에서 HOA 신호에 대해 DRC를 수행하는 방법은 HOA 신호를 분석하는 단계 및 상기 분석하는 단계의 결과들로부터, 동적 범위 압축을 위해 사용가능한 이득 인자를 획득하는 단계를 포함한다. 추가의 단계들에서, 표시의 평가 시에, 획득된 이득 인자가 (HOA 영역에서) HOA 신호의 계수 채널들과 곱해지고, 여기서 이득 압축된 HOA 신호가 획득된다. 또한 표시의 평가 시에, HOA 신호의 변환이 생략될 수 있는 것으로 결정될 수 있다. 단순화된 모드 - 즉, 단지 하나의 이득 인자가 사용된다는 것 - 를 표시하는 표시가 암시적으로 - 예컨대, 하드웨어 또는 다른 제한들로 인해 단순화된 모드만이 사용될 수 있는 경우 - 또는 명시적으로 - 예컨대, 단순화된 모드 또는 비단순화된 모드 중 어느 하나의 사용자 선택 시에 - 설정될 수 있다.
게다가, 본 발명의 일 실시예에 따르면, HOA 신호에 DRC 이득 인자들을 적용하는 방법은 HOA 신호, 표시 및 이득 인자들을 수신하는 단계, 표시가 비단순화된 모드를 나타내는 것으로 결정하는 단계, (역 DSHT를 사용하여) HOA 신호를 공간 영역으로 변환하는 단계 - 변환된 HOA 신호가 획득됨 -, 이득 인자들을 변환된 HOA 신호와 곱하는 단계 - 동적 범위 압축된(dynamic range compressed) 변환된 HOA 신호가 획득됨 -, 및 동적 범위 압축된 변환된 HOA 신호를 (DSHT를 사용하여) 다시 HOA 영역(즉, 계수 영역)으로 변환하는 단계 - 동적 범위 압축된 HOA 신호가 획득됨 - 를 포함한다. 이득 인자들이 HOA 신호와 함께 또는 별개로 수신될 수 있다. 게다가, 본 발명의 일 실시예에 따르면, HOA 신호에 DRC 이득 인자를 적용하는 방법은 HOA 신호, 표시 및 이득 인자를 수신하는 단계, 표시가 단순화된 모드를 나타내는 것으로 결정하는 단계, 및 상기 결정 시에, 이득 인자를 HOA 신호와 곱하는 단계 - 동적 범위 압축된 HOA 신호가 획득됨 - 를 포함한다. 이득 인자들이 HOA 신호와 함께 또는 별개로 수신될 수 있다.
HOA 신호에 DRC 이득 인자들을 적용하는 디바이스가 청구항 11에 개시되어 있다.
일 실시예에서, 본 발명은 컴퓨터로 하여금, 앞서 기술된 바와 같은 단계들을 포함하는, DRC 이득 인자들을 HOA 신호에 적용하는 방법을 수행하게 하는 실행가능 명령어들을 가지는 컴퓨터 판독가능 매체를 제공한다.
일 실시예에서, 본 발명은 컴퓨터로 하여금, 앞서 기술된 바와 같은 단계들을 포함하는, HOA 신호에 대해 DRC를 수행하는 방법을 수행하게 하는 실행가능 명령어들을 가지는 컴퓨터 판독가능 매체를 제공한다.
본 발명의 유리한 실시예들이 종속 청구항들, 이하의 설명 및 도면들에 개시되어 있다.
본 발명의 예시적인 실시예들이 첨부 도면을 참조하여 기술된다.
도 1은 오디오에 적용되는 DRC의 일반 원리를 나타낸 도면;
도 2는 본 발명에 따른, HOA 기반 신호에 DRC를 적용하는 일반적인 접근법을 나타낸 도면;
도 3은 N=1 내지 N=6에 대한 구면 스피커 그리드(spherical speaker grid)를 나타낸 도면;
도 4는 HOA에 대한 DRC 이득들을 생성하는 것을 나타낸 도면;
도 5는 HOA 신호에 DRC를 적용하는 것을 나타낸 도면;
도 6은 디코더측에서의 동적 범위 압축 처리를 나타낸 도면;
도 7은 렌더링 단계와 결합되는 QMF 영역에서의 HOA에 대한 DRC를 나타낸 도면;
도 8은 단일의 DRC 이득 그룹의 간단한 경우에 대해 렌더링 단계와 결합되는 QMF 영역에서의 HOA에 대한 DRC를 나타낸 도면.
도 1은 오디오에 적용되는 DRC의 일반 원리를 나타낸 도면;
도 2는 본 발명에 따른, HOA 기반 신호에 DRC를 적용하는 일반적인 접근법을 나타낸 도면;
도 3은 N=1 내지 N=6에 대한 구면 스피커 그리드(spherical speaker grid)를 나타낸 도면;
도 4는 HOA에 대한 DRC 이득들을 생성하는 것을 나타낸 도면;
도 5는 HOA 신호에 DRC를 적용하는 것을 나타낸 도면;
도 6은 디코더측에서의 동적 범위 압축 처리를 나타낸 도면;
도 7은 렌더링 단계와 결합되는 QMF 영역에서의 HOA에 대한 DRC를 나타낸 도면;
도 8은 단일의 DRC 이득 그룹의 간단한 경우에 대해 렌더링 단계와 결합되는 QMF 영역에서의 HOA에 대한 DRC를 나타낸 도면.
본 발명은 DRC가 HOA에 어떻게 적용될 수 있는지를 기술한다. 이것이 종래에는 용이하지 않았는데 그 이유는 HOA가 음장 디스크립션(sound field description)이기 때문이다. 도 2는 접근법의 원리를 나타낸 것이다. 인코딩측 또는 전송측에서는, 도 2의 a)에 도시된 바와 같이, HOA 신호들이 분석되고, DRC 이득들 g가 HOA 신호의 분석으로부터 계산되며, DRC 이득들이 코딩되고 HOA 콘텐츠의 코딩된 표현과 함께 전송된다. 이것은 다중화된 비트스트림 또는 2 개 이상의 개별 비트스트림들일 수 있다.
디코딩측 또는 수신측에서는, 도 2의 b)에 도시된 바와 같이, 이득들 g가 이러한 비트스트림 또는 비트스트림들로부터 추출된다. 디코더에서 비트스트림 또는 비트스트림들을 디코딩한 후에, 이득들 g가 이하에서 기술되는 바와 같이 HOA 신호에 적용된다. 이것에 의해, 이득들이 HOA 신호에 적용된다 - 즉, 일반적으로, 동적 범위 감소된 HOA 신호가 획득된다 -. 마지막으로, 동적 범위 조절된 HOA 신호가 HOA 렌더러에서 렌더링된다.
이하에서, 사용되는 가정들 및 정의들이 설명된다.
가정들은 HOA 렌더러가 에너지 보존(energy preserving)적 - 즉, N3D 정규화된 구면 조화함수(Spherical Harmonics)가 사용되고, HOA 표현 내부에 코딩된 단일 방향 신호의 에너지가 렌더링 후에 유지됨 - 이라는 것이다. 이 에너지 보존 HOA 렌더링을 어떻게 달성하는지는, 예컨대, WO2015/007889A(PD130040)에 기술되어 있다.
사용되는 용어들의 정의들은 다음과 같다.
는 τ 개의 HOA 샘플들의 블록인 를 나타내고, 여기서 벡터 는 앰비소닉스 계수들을 ACN 순서로 포함한다(벡터 인덱스 o = n2 + n + m + 1이고, 여기서 n은 계수 위수 인덱스(coefficient order index)이고 m은 계수 차수 인덱스(coefficient degree index)임). N은 HOA 절단 차수(HOA truncation order)를 나타낸다. b에서의 고차 계수들의 개수는 (N + 1)2이다. 하나의 데이터 블록에 대한 샘플 인덱스는 t이다. τ는 보통 하나의 샘플부터 64 개의 샘플 또는 그 이상까지의 범위에 있을 수 있다.
는 공간 영역에서 HOA 샘플들의 블록을 L 개의 스피커 채널의 블록으로 렌더링하는 에너지 보존 렌더링 행렬을 나타내고: W = DB이고, 여기서 이다. 이것은 도 2의 b)에서의 HOA 렌더러의 가정된 절차(HOA 렌더링)이다.
는 구면 상에 아주 규칙적인 방식으로 - 모든 이웃하는 위치들이 동일한 거리를 공유하는 방식으로 - 배치되는 LL = (N + 1)2 개의 채널들에 관련된 렌더링 행렬을 나타낸다. D L은 양호 조건(well-conditioned)이고, 그의 역 D L -1이 존재한다. 이와 같이, 둘 다는 한 쌍의 변환 행렬(DSHT - Discrete Spherical Harmonics Transform)을 정의한다:
W L = D L B, B = D L -1 W L
g는 LL = (N + 1)2 개의 이득 DRC 값들의 벡터이다. 이득 값들은 τ 개의 샘플들의 블록에 적용되는 것으로 가정되고, 블록 간에 매끄러운(smooth) 것으로 가정된다. 전송을 위해, 동일한 값들을 공유하는 이득 값들이 이득 그룹들로 결합될 수 있다. 단지 하나의 이득 그룹이 사용되면, 이것은, 여기서 g1에 의해 표시되는, 단일의 DRC 이득 값이 모든 스피커 채널 τ 개 샘플들에 적용된다는 것을 의미한다.
모든 HOA 절단 차수 N에 대해, 이상적인 LL = (N + 1)2 가상 스피커 그리드 및 관련된 렌더링 행렬 D L이 정의된다. 가상 스피커 위치들은 가상 청취자를 둘러싸는 공간 영역들을 샘플링한다. N=1 내지 6에 대한 그리드들은 도 3에 도시되어 있고, 여기서 스피커에 관련된 영역들은 음영 처리된 셀이다. 하나의 샘플링 위치는 항상 중앙 스피커 위치(방위각(azimuth) = 0, 경사각(inclination) = π/2; 방위각이 청취 위치에 관련된 정면 방향(frontal direction)으로부터 측정된다는 것에 유의할 것)에 관련되어 있다. DRC 이득들이 생성될 때 인코더측에서는 샘플링 위치 D L, D L -1을 알고 있다. 디코더측에서는, 이득 값들을 적용하기 위해 D L 및 D L -1을 알고 있을 필요가 있다.
HOA에 대한 DRC 이득들의 생성은 다음과 같이 행해진다.
HOA 신호가 W L = D L B에 의해 공간 영역으로 변환된다. 최대 LL = (N + 1)2 개의 DRC 이득들 이 이 신호들을 분석하는 것에 의해 생성된다. 콘텐츠가 HOA와 AO(Audio Object: 오디오 객체)의 조합이면, 예컨대, 대화 트랙과 같은 AO 신호들이 사이드 체이닝(side chaining)을 위해 사용될 수 있다. 이것이 도 4의 b)에 도시되어 있다. 상이한 공간 영역들에 관련된 상이한 DRC 이득 값들을 생성할 때, 이 이득들이 디코더측에서의 공간 이미지 안정성(spatial image stability)에 영향을 주지 않도록 주의를 기울일 필요가 있다. 이것을 피하기 위해, 가장 간단한 경우(소위 단순화된 모드)에, 단일의 이득이 L 개의 채널들 모두에 할당될 수 있다. 이것은 모든 공간 신호들 W를 분석하는 것에 의해 또는 0차 HOA 계수 샘플 블록 을 분석하는 것에 의해 행해질 수 있고, 공간 영역으로의 변환이 필요하지 않다(도 4의 a)). 후자는 W의 다운믹스 신호(downmix signal)를 분석하는 것과 동일하다. 추가 상세가 이하에서 주어진다.
도 4에서, HOA에 대한 DRC 이득들을 생성하는 것이 도시되어 있다. 도 4의 a)는 (단일의 이득 그룹에 대한) 단일의 이득 g1이 0차 HOA 성분 으로부터(임의로 AO들로부터의 사이드 체이닝에 의해) 어떻게 도출될 수 있는지를 나타낸다. 0차 HOA 성분 은 DRC 분석 블록(41s)에서 분석되고, 단일의 이득 g1이 도출된다. 단일의 이득 g1이 DRC 이득 인코더(42s)에서 별도로 인코딩된다. 인코딩된 이득은 이어서 인코더(43)에서 HOA 신호 B와 함께 인코딩되고, 인코더(43)는 인코딩된 비트스트림을 출력한다. 임의로, 추가의 신호들(44)이 인코딩에 포함될 수 있다. 도 4의 b)는 2 개 이상의 DRC 이득들이 어떻게 HOA 표현을 공간 영역으로 변환(40)하는 것에 의해 생성되는지를 나타낸다. 변환된 HOA 신호 W L은 이어서 DRC 분석 블록(41)에서 분석되고 이득 값들 g가 추출되어 DRC 이득 인코더(42)에서 인코딩된다. 또한 여기서, 인코딩된 이득이 인코더(43)에서 HOA 신호 B와 함께 인코딩되고, 임의로 추가 신호들(44)이 인코딩에 포함될 수 있다. 일 예로서, 후방으로부터의 소리(예컨대, 배경음(background sound))는 전방 및 측면 방향으로부터 나오는 소리보다 더 많은 감쇠를 받을 수 있다. 이것은 이 예에 대해 g 내의 (N + 1)2 개의 이득 값들이 2 개의 이득 그룹 내에서 전송될 수 있게 할 것이다. 임의로, 또한 여기서 오디오 객체 파형 및 그의 방향 정보에 의한 사이드 체이닝을 사용하는 것이 가능하다. 사이드 체이닝은 신호에 대한 DRC 이득들이 다른 신호로부터 획득된다는 것을 의미한다. 이것은 HOA 신호의 전력을 감소시킨다. 동일한 공간 소스 영역을 AO 전경음(foreground sound)과 공유하는 HOA 믹스(mix) 내의 산만하게 하는 소리(distracting sound)는 공간적으로 떨어져 있는 소리보다 더 큰 감쇠 이득을 받을 수 있다.
이득 값들이 수신기측 또는 디코더측으로 전송된다.
τ 개의 샘플들의 블록에 관련된 가변 개수의(1 내지 LL = (N + 1)2 개의) 이득 값들이 전송된다. 이득 값들이 전송을 위해 채널 그룹들에 할당될 수 있다. 일 실시예에서, 전송 데이터를 최소화하기 위해 동일한 이득들 모두가 하나의 채널 그룹에 결합된다. 단일의 이득이 전송되는 경우, 그 이득은 LL 개의 채널들 모두에 관련되어 있다. 채널 그룹 이득 값들 와 그들의 개수가 전송된다. 채널 그룹들의 용도가 시그널링되고, 따라서 수신기 또는 디코더는 이득 값들을 올바르게 적용할 수 있다.
이득 값들은 다음과 같이 적용된다.
수신기/디코더는 전송되는 코딩된 이득 값들의 개수를 결정하고, 관련된 정보를 디코딩(51)하며, 이득들을 LL = (N + 1)2 개의 채널들에 할당(52 내지 55)할 수 있다. 단지 하나의 이득 값(하나의 채널 그룹)이 전송되는 경우, 도 5의 a)에 도시된 바와 같이, 그 이득 값은 HOA 신호에 직접 적용(52)될 수 있다(B DRC=g1 B). 이것은 디코딩이 훨씬 더 간단하고 상당히 더 적은 처리를 필요로 하기 때문에 장점이 있다. 그 이유는 행렬 연산이 필요하지 않고; 그 대신에 이득 값들이 직접 적용(52) - 예컨대, HOA 계수들과 곱해짐 - 될 수 있기 때문이다. 추가 상세에 대해서는, 이하를 참조하기 바란다.
2 개 이상의 이득들이 전송되는 경우, 채널 그룹 이득들이 각각 L 개의 채널 이득들 g = [g1, ..., gL]에 할당된다.
규칙적인 가상 스피커 그리드에 대해, DRC 이득들이 적용된 스피커 신호들이 하기의 식에 의해 계산된다.
그 결과 얻어지는 수정된 HOA 표현이 이어서 하기의 식에 의해 계산된다.
도 5의 b)에 도시된 바와 같이, 이것이 단순화될 수 있다. HOA 신호를 공간 영역으로 변환하고, 이득들을 적용하며 그 결과를 다시 HOA 영역으로 변환하는 대신에, 이득 벡터가 하기의 식에 의해 HOA 영역으로 변환(53)되고:
이것은 (N + 1)2 < τ에 대해 필요한 계산 작업의 면에서 보다 효율적이다. 즉, 이 해결책은 디코딩이 훨씬 더 간단하고 상당히 더 적은 처리를 필요로 하기 때문에 종래의 해결책들보다 장점이 있다. 그 이유는 행렬 연산이 필요하지 않고; 그 대신에 이득 값들이 직접 적용 - 예컨대, 이득 할당 블록(54)에서 HOA 계수들과 곱해짐 - 될 수 있기 때문이다.
일 실시예에서, 이득 행렬을 적용하는 훨씬 더 효율적인 방식은 하나의 단계에서 렌더러 행렬 수정 블록(57)에서 렌더러 행렬을 에 의해 조작하고 DRC를 적용하며 HOA 신호를 렌더링하는 것이다: . 이것이 도 5의 c)에 도시되어 있다. 이것은 L < τ인 경우에 유익하다.
요약하면, 도 5는 DRC를 HOA 신호들에 적용하는 다양한 실시예들을 나타낸 것이다. 도 5의 a)에서, 단일의 채널 그룹 이득이 전송되고 디코딩(51)되며 HOA 계수들에 직접 적용(52)된다. 이어서, HOA 계수들이 보통의 렌더링 행렬을 사용하여 렌더링(56)된다.
도 5의 b)에서, 하나 초과의 채널 그룹 이득들이 전송되고 디코딩(51)된다. 디코딩의 결과, (N + 1)2 개의 이득 값들의 이득 벡터 g가 얻어진다. 이득 행렬 G가 생성되고 HOA 샘플들의 블록에 적용(54)된다. 이들이 이어서 보통의 렌더링 행렬을 사용하여 렌더링(56)된다.
도 5의 c)에서, 디코딩된 이득 행렬/이득 값을 HOA 신호에 직접 적용하는 대신에, 그것이 렌더러의 행렬에 직접 적용된다. 이것은 렌더러 행렬 수정 블록(57)에서 수행되고, 이는 DRC 블록 크기 τ가 출력 채널들의 개수 L보다 더 클 경우 계산적으로 유익하다. 이 경우에, HOA 샘플들이 보통의 렌더링 행렬을 사용하여 렌더링(57)된다.
이하에서, DRC에 대한 이상적인 DSHT(Discrete Spherical Harmonics Transform) 행렬의 계산이 기술된다. 이러한 DSHT 행렬은 특히 DRC에서의 사용을 위해 최적화되어 있고, 다른 목적, 예컨대, 데이터 레이트 압축을 위해 사용되는 DSHT 행렬과 상이하다.
이상적 구면 레이아웃에 관련된 이상적인 렌더링 및 인코딩 행렬 D L 및 D L -1에 대한 요구사항들이 이하에서 도출된다. 마지막으로, 이 요구사항들은 다음과 같다:
(1) 렌더링 행렬 D L이 가역적(invertible)이어야만 한다 - 즉, D L -1이 존재해야 한다 -;
(2) 공간 영역에서의 진폭들의 합이 공간-HOA 영역 변환 후에 0차 HOA 계수들로서 반영되어야만 하고, 공간 영역으로의 차후의 변환 후에 보존되어야만 한다(진폭 요구사항); 그리고
(3) HOA 영역으로 그리고 다시 공간 영역으로 변환할 때 공간 신호의 에너지가 보존되어야만 한다(에너지 보존 요구사항).
이상적인 렌더링 레이아웃에 대해서도, 요구사항 2 및 요구사항 3이 서로 모순되는 것처럼 보인다. 종래 기술로부터 공지된 것과 같은, DSHT 변환 행렬을 도출하기 위해 간단한 접근법을 사용할 때, 요구사항 2와 요구사항 3 중 단지 하나 또는 다른 하나가 오차 없이 충족될 수 있다. 요구사항 2와 요구사항 3 중 하나의 요구사항을 오차 없이 충족시키는 것의 결과로서, 다른 요구사항에 대해 오차가 3dB를 초과하게 된다. 이것은 보통 가청 아티팩트(audible artifact)를 유발한다. 이 문제점을 극복하는 방법이 이하에서 기술된다.
첫째, L = (N + 1)2를 갖는 이상적인 구면 레이아웃이 선택된다. (가상) 스피커 위치들의 L 개의 방향들이 에 의해 주어지고, 관련된 모드 행렬이 으로서 표시된다. 각각의 은 방향 의 구면 조화함수들을 포함하는 모드 벡터(mode vector)이다. 구면 레이아웃 위치들에 관련된 L 개의 구적법 이득(quadrature gain)들은 벡터 에 모여 있다. 이 구적법 이득들은 이러한 위치들 주위의 구면 면적을 평가하고, 모두 합산하면 1의 반경을 갖는 구의 표면에 관련된 4π의 값으로 된다.
유의할 점은 나중의 정규화 단계(이하 참조)로 인해 L로 나누는 것이 생략될 수 있다는 것이다.
셋째, 프로토타입 행렬이 정규화되고:
여기서 k는 행렬 노름 유형(matrix norm type)을 나타낸다. 2 개의 행렬 노름 유형이 똑같이 양호한 성능을 나타낸다. k = 1 노름 또는 Frobenius 노름 중 어느 하나가 사용되어야만 한다. 이 행렬은 요구사항 3(에너지 보존)을 충족시킨다.
넷째, 마지막 단계에서 요구사항 2를 충족시키기 위해 진폭 오차가 치환된다:
행 벡터 e가 에 의해 계산되고, 여기서 [1,0,0,...,0]은 1의 값을 갖는 첫 번째 요소를 제외하고는 (N + 1)2 개의 모두 영인 요소들의 행 벡터이다. 은 의 행 벡터들의 합을 나타낸다. 렌더링 행렬 D L이 이제 진폭 오차를 치환하는 것에 의해 도출되고:
이하에서, DRC에 대한 상세한 요구사항들이 설명된다.
첫째, g1의 값을 갖는 LL 개의 똑같은 이득들이 공간 영역에서 적용되는 것은 이득 g1을 HOA 계수들에 적용하는 것과 같다:
이것은 요구사항 D L -1 D L = I - 이는 L = (N + 1)2이고 D L -1이 존재해야 한다(자명함(trivial))는 것을 의미함 - 으로 된다.
둘째, 공간 영역에서 합 신호를 분석하는 것은 0차 HOA 성분을 분석하는 것과 같다. DRC 분석기는 신호의 에너지는 물론 그의 진폭을 사용한다. 이와 같이, 합 신호는 진폭 및 에너지에 관련되어 있다.
HOA의 신호 모델 은 S 개의 방향 신호들의 행렬이고; 은 방향들 에 관련된 N3D 모드 행렬이다. 모드 벡터 는 구면 조화함수로부터 구성된다. N3D 표기법에서, 0차 성분 은 방향과 무관하다.
이것은 에 대해 로 된다. 후자의 요구사항이 VBAP와 같은 패닝에서 때때로 사용되는 진폭들의 합 요구사항과 비교될 수 있다. 경험적으로, 이것이 매우 대칭적인 구면 스피커 설정에 대한 양호한 근사에서 에 의해 달성될 수 있다는 것을 알 수 있는데, 그 이유는 거기서 이기 때문이다. 진폭 요구사항이 이어서 필요한 정확도 내에 도달할 수 있다.
이것은 또한 합 신호에 대한 에너지 요구사항이 충족될 수 있도록 보장한다:
이것은 요구사항 으로 되고, 그에 부가하여, 신호 모델로부터, 재인코딩된 0차 신호가 진폭 및 에너지를 유지하기 위해 D L -1의 상단 행이 [1,1,1,1,..] - 즉, "1" 요소들을 갖는 길이 L의 벡터 - 일 필요가 있는 것으로 결론내릴 수 있다.
셋째, 에너지 보존이 선행 조건이다: 신호 의 에너지가 HOA로의 변환 및 스피커에 대한 공간 렌더링 후에 신호의 방향 에 관계없이 보존되어야만 한다. 이것은 로 된다. 이것은 D L을 회전 행렬 및 대각 이득 행렬 로부터 모델링하는 것에 의해 달성될 수 있다(방향 에의 의존성이 명확성을 위해 제거되었음):
요구사항 VV T = 1이 L ≥ (N + 1)2에 대해 달성될 수 있고 L < (N + 1)2에 대해서는 근사화될 수 있을 뿐이다.
일 예로서, (HOA 차수 N=1 내지 N=3에 대한) 이상적인 구면 위치들을 갖는 경우가 이하(표 1 내지 표 3)에서 기술된다. 추가의 HOA 차수(N=4 내지 N=6)에 대한 이상적인 구면 위치들이 이하(표 4 내지 표 6)에서 추가로 기술된다. 이하에서 언급되는 위치들 모두가 [1]에서 발표된 수정된 위치들로부터 도출된다. 이 위치들 및 관련된 구적법 이득들/입체 구적법 이득(cubature gain)들을 도출하는 방법은 [2]에서 발표되었다. 이 표들에서, 방위각이 청취 위치에 관련된 정면 방향으로부터 반시계 방향으로 측정되고, 경사각이 z-축으로부터 측정되며 0의 경사각은 청취 위치 위쪽이다.
N=1 위치들
a)
b)
표 1: a) HOA 차수 N=1에 대한 가상 스피커들의 구면 위치들, 및 b) 그 결과 얻어진 공간 변환(DSHT)에 대한 렌더링 행렬
N=2 위치들
a)
b)
표 2: a) HOA 차수 N=2에 대한 가상 스피커들의 구면 위치들, 및 b) 그 결과 얻어진 공간 변환(DSHT)에 대한 렌더링 행렬
N=3 위치들
표 3 a): HOA 차수 N=3에 대한 가상 스피커들의 구면 위치들
b)
표 3 b): 그 결과 얻어진 공간 변환(DSHT)에 대한 렌더링 행렬
수치 구적법(numerical quadrature)이라는 용어는 종종 구적법으로 축약되고, 특히 1차원 적분(integral)에 적용될 때, 사실상 수치 적분(numerical integration)에 대한 동의어이다. 1 초과의 차원에 걸친 수치 적분이 본원에서 입체 구적법(cubature)이라고 불리운다.
앞서 기술된 바와 같이, DRC 이득을 HOA 신호에 적용하는 전형적인 응용 시나리오가 도 5에 도시되어 있다. 예컨대, HOA + 오디오 객체와 같은, 믹싱된 콘텐츠 응용 분야에 대해, DRC 이득 적용이 유연한 렌더링을 위해 적어도 2 개의 방식으로 실현될 수 있다.
도 6은 디코더측에서의 DRC(Dynamic Range Compression) 처리를 예로서 나타낸 것이다. 도 6의 a)에서, DRC가 렌더링 및 믹싱 이전에 적용된다. 도 6의 b)에서, DRC가 스피커 신호에 - 즉, 렌더링 및 믹싱 이후에 - 적용된다.
도 6의 a)에서, DRC 이득들이 오디오 객체들과 HOA에 개별적으로 적용된다: DRC 이득들이 오디오 객체 DRC 블록(610)에서 오디오 객체들에 적용되고, DRC 이득들이 HOA DRC 블록(615)에서 HOA에 적용된다. 여기서 HOA DRC 블록(615)의 실현은 도 5에서의 것들 중 하나와 일치한다. 도 6의 b)에서, 렌더링된 HOA와 렌더링된 오디오 객체 신호의 혼합 신호의 모든 채널들에 단일의 이득이 적용된다. 여기서 공간 엠퍼시스(emphasis) 및 감쇠가 가능하지 않다. 관련된 DRC 이득이 렌더링된 믹스의 합 신호를 분석하는 것에 의해 생성될 수 없는데, 그 이유는 소비자 사이트의 스피커 레이아웃이 방송 또는 콘텐츠 생성 사이트에서의 생성 시에 알려져 있지 않기 때문이다. DRC 이득이 를 분석하여 도출될 수 있으며 여기서 y m은 0차 HOA 신호 b w와 S 개의 오디오 객체들 x S의 모노 다운믹스(mono downmix)의 믹스이다:
이하에서, 개시된 해결책의 추가 상세가 기술된다.
HOA 콘텐츠에 대한 DRC
DRC가 렌더링 이전에 HOA 신호에 적용되거나, 렌더링과 결합될 수 있다. HOA에 대한 DRC가 시간 영역에서 또는 QMF 필터 뱅크 영역에서 적용될 수 있다.
N은 HOA 차수이다.
DRC 이득들이 하기의 식에 따라 HOA 신호들에 적용되고:
여기서 c는 HOA 계수들 의 일회성 샘플의 벡터이고, 및 그의 역 D L -1은 DRC를 위해 최적화된 DSHT(Discrete Spherical Harmonics Transform)에 관련된 행렬이다.
일 실시예에서, 렌더링 단계를 포함시키고 스피커 신호들을 에 의해 직접 계산하는 것이 샘플당 (N + 1)4 개의 연산들에 의해 계산 부하를 감소시키는 데 유리할 수 있고, 여기서 D는 렌더링 행렬이고 (D D L -1)은 미리 계산될 수 있다.
모든 이득들 이, 단순화된 모드에서와 같이, g drc 의 동일한 값을 가지는 경우, 단일의 이득 그룹이 코더 DRC 이득들을 전송하는 데 사용되었다. 이 경우는 DRC 디코더에 의해 플래깅될 수 있는데, 그 이유는 이 경우에 공간 필터에서의 계산이 필요하지 않고, 따라서 계산이 하기의 식으로 단순화되기 때문이다:
이상에서는 DRC 이득 값들을 어떻게 획득하고 적용해야 하는지를 기술한다. 이하에서, DRC에 대한 DSHT 행렬들의 계산이 기술된다.
표 1 내지 표 4로부터의 HOA 차수 N에 의해 인덱싱되어 있는, 구면 위치들 (단, 임) 및 관련된 구적법(입체 구적법) 이득들 의 세트가 선택된다. 이 위치들에 관련된 모드 행렬 가 앞서 기술된 바와 같이 계산된다. 즉, 모드 행렬 는 에 따른 모드 벡터들을 포함하고, 각각의 은 미리 정의된 방향 (단, 임)의 구면 조화함수를 포함하는 모드 벡터이다. 미리 정의된 방향은, (예로서 1≤N≤6에 대한) 표 1 내지 표 6에 따라, HOA 차수 N에 의존한다. 제1 프로토타입 행렬이 에 의해 계산된다(후속하는 정규화로 인해 (N+1)2으로 나누는 것이 생략될 수 있다). 콤팩트한 특이값 분해가 수행되고 , 새로운 프로토타입 행렬이 에 의해 계산된다. 이 행렬은 에 의해 정규화된다. 행 벡터 e가 에 의해 계산되고, 여기서 [1,0,0,...,0]은 1의 값을 갖는 첫 번째 요소를 제외하고는 (N + 1)2 개의 모두 영인 요소들의 행 벡터이다. 는 의 행들의 합을 나타낸다. 최적화된 DSHT 행렬 D DSHT가 이제 에 의해 도출된다. -e가 e 대신에 사용되는 경우, 본 발명이 약간 더 나쁘지만 여전히 사용가능한 결과들을 제공한다는 것을 알았다.
QMF 필터 뱅크 영역에서의 DRC에 대해, 이하가 적용된다.
DRC 디코더는 (N + 1)2 개의 공간 채널들에 대한 모든 시간 주파수 타일 n, m에 대해 이득 값 gch(n, m)을 제공한다. 시간 슬롯 n 및 주파수 대역 m에 대한 이득들이 에 배열되어 있다.
다중 대역 DRC(multiband DRC)가 QMF 필터 뱅크 영역에서 적용된다. 처리 단계들이 도 7에 도시되어 있다. 재구성된 HOA 신호들이 (역 DSHT)에 의해 공간 영역으로 변환되고: W DSHT = D DSHT C, 여기서 는 τ 개의 HOA 샘플들의 블록이며, 는 QMF 필터 뱅크의 입력 시간 세분성(input time granularity)과 일치하는 공간 샘플들의 블록이다. 이어서, QMF 분석 필터 뱅크가 적용된다. 이 시간 주파수 타일 (n, m)마다의 공간 채널들의 벡터를 나타낸다고 하자. 이어서, DRC 이득들이 적용된다: .
계산 복잡도를 최소화하기 위해, DSHT와 스피커 채널들에 대한 렌더링이 결합되고: , 여기서 D는 HOA 렌더링 행렬을 나타낸다. QMF 신호들은 이어서 추가 처리를 위해 믹서에 피드될 수 있다.
도 7은 렌더링 단계와 결합되는 QMF 영역에서의 HOA에 대한 DRC를 나타낸다.
DRC에 대한 단일의 이득 그룹만이 사용되면, 이것은 DRC 디코더에 의해 플래깅되어야만 하는데, 그 이유는 다시 말하지만 계산 단순화가 가능하기 때문이다. 이 경우에, 벡터 g(n, m)에서의 이득들 모두가 gDRC(n, m)의 동일한 값을 공유한다. QMF 필터 뱅크는 HOA 신호에 직접 적용될 수 있고, 이득 gDRC(n, m)은 필터 뱅크 영역에서 곱해질 수 있다.
도 8은 단일의 DRC 이득 그룹의 간단한 경우에 대한 계산 단순화를 갖는, 렌더링 단계와 결합된 QMF 영역(QMF(Quadrature Mirror Filter)의 필터 영역)에서의 HOA에 대한 DRC를 나타낸다.
이상의 내용을 고려하면 명백하게 되는 바와 같이, 일 실시예에서, 본 발명은 동적 범위 압축 이득 인자들을 HOA 신호에 적용하는 방법에 관한 것이고, 본 방법은 HOA 신호 및 하나 이상의 이득 인자들을 수신하는 단계, HOA 신호를 공간 영역으로 변환하는 단계(40) - iDSHT가 가상 스피커들의 구면 위치들로부터 획득된 변환 행렬 및 구적법 이득들(q)과 함께 사용되고, 변환된 HOA 신호가 획득됨 -, 이득 인자들을 변환된 HOA 신호와 곱하는 단계 - 동적 범위 압축된 변환된 HOA 신호가 획득됨 -, 및 동적 범위 압축된 변환된 HOA 신호를 DSHT(Discrete Spherical Harmonics Transform)를 사용하여 다시 계수 영역인 HOA 영역으로 변환하는 단계 - 동적 범위 압축된 HOA 신호가 획득됨 - 를 포함한다.
게다가, 변환 행렬은 에 따라 계산되고, 여기서 은 의 정규화된 버전이고, U,V는 으로부터 획득되며, 는 가상 스피커들의 사용된 구면 위치들에 관련된 구면 조화함수의 전치 모드 행렬(transposed mode matrix)이고, e T는 의 전치된 버전(transposed version)이다.
게다가, 일 실시예에서, 본 발명은 DRC 이득 인자들을 HOA 신호에 적용하는 디바이스에 관한 것이고, 본 디바이스는 HOA 신호 및 하나 이상의 이득 인자들을 수신하는 것, HOA 신호를 공간 영역으로 변환하는 것(40) - iDSHT가 가상 스피커들의 구면 위치들로부터 획득된 변환 행렬 및 구적법 이득들(q)과 함께 사용되고, 변환된 HOA 신호가 획득됨 -, 이득 인자들을 변환된 HOA 신호와 곱하는 것 - 동적 범위 압축된 변환된 HOA 신호가 획득됨 -, 및 동적 범위 압축된 변환된 HOA 신호를 DSHT(Discrete Spherical Harmonics Transform)를 사용하여 다시 계수 영역인 HOA 영역으로 변환하는 것 - 동적 범위 압축된 HOA 신호가 획득됨 - 을 위해 구성된 프로세서 또는 하나 이상의 처리 요소들을 포함한다. 게다가, 변환 행렬은 에 따라 계산되고, 여기서 은 의 정규화된 버전이고, U,V는 으로부터 획득되며, 는 가상 스피커들의 사용된 구면 위치들에 관련된 구면 조화함수의 전치 모드 행렬이고, e T는 의 전치된 버전이다.
게다가, 일 실시예에서, 본 발명은, 컴퓨터 상에서 실행될 때, 컴퓨터로 하여금 동적 범위 압축 이득 인자들을 HOA(Higher Order Ambisonics) 신호에 적용하는 방법을 수행하게 하는 컴퓨터 실행가능 명령어들을 가지는 컴퓨터 판독가능 저장 매체에 관한 것이고, 본 방법은 HOA 신호 및 하나 이상의 이득 인자들을 수신하는 단계, HOA 신호를 공간 영역으로 변환하는 단계(40) - iDSHT가 가상 스피커들의 구면 위치들로부터 획득된 변환 행렬 및 구적법 이득들(q)과 함께 사용되고, 변환된 HOA 신호가 획득됨 -, 이득 인자들을 변환된 HOA 신호와 곱하는 단계 - 동적 범위 압축된 변환된 HOA 신호가 획득됨 -, 및 동적 범위 압축된 변환된 HOA 신호를 DSHT(Discrete Spherical Harmonics Transform)를 사용하여 다시 계수 영역인 HOA 영역으로 변환하는 단계 - 동적 범위 압축된 HOA 신호가 획득됨 - 를 포함한다. 게다가, 변환 행렬은 에 따라 계산되고, 여기서 은 의 정규화된 버전이고, U,V는 으로부터 획득되며, 는 가상 스피커들의 사용된 구면 위치들에 관련된 구면 조화함수의 전치 모드 행렬이고, e T는 의 전치된 버전이다.
게다가, 일 실시예에서, 본 발명은 HOA 신호에 대해 DRC를 수행하는 방법에 관한 것이고, 본 방법은 모드를 설정하거나 결정하는 단계 - 모드는 단순화된 모드 또는 비단순화된 모드 중 어느 하나임 -, 비단순화된 모드에서는, HOA 신호를 공간 영역으로 변환하는 단계 - 역 DSHT가 사용됨 -, 비단순화된 모드에서는, 변환된 HOA 신호를 분석하고, 단순화된 모드에서는, HOA 신호를 분석하는 단계, 상기 분석하는 단계의 결과들로부터, 동적 범위 압축을 위해 사용가능한 하나 이상의 이득 인자들을 획득하는 단계 - 단순화된 모드에서는 단지 하나의 이득 인자가 획득되고 비단순화된 모드에서는 2 개 이상의 상이한 이득 인자들이 획득됨 -, 단순화된 모드에서는 획득된 이득 인자를 HOA 신호와 곱하는 단계 - 이득 압축된 HOA 신호가 획득됨 -, 비단순화된 모드에서는 획득된 이득 인자들을 변환된 HOA 신호와 곱하는 단계 - 이득 압축된 변환된 HOA 신호가 획득됨 -, 및 이득 압축된 변환된 HOA 신호를 다시 HOA 영역으로 변환하는 단계 - 이득 압축된 HOA 신호가 획득됨 - 를 포함한다.
일 실시예에서, 본 방법은 단순화된 모드 또는 비단순화된 모드 중 어느 하나를 나타내는 표시를 수신하는 단계, 상기 표시가 비단순화된 모드를 나타내는 경우 비단순화된 모드를 선택하는 단계, 및 상기 표시가 단순화된 모드를 나타내는 경우 단순화된 모드를 선택하는 단계를 추가로 포함하고, 여기서 HOA 신호를 공간 영역으로 변환하는 단계 및 동적 범위 압축된 변환된 HOA 신호를 다시 HOA 영역으로 변환하는 단계는 비단순화된 모드에서만 수행되고, 여기서 단순화된 모드에서는, 단지 하나의 이득 인자가 HOA 신호와 곱해진다.
일 실시예에서, 본 방법은 단순화된 모드에서는 HOA 신호를 분석하고, 비단순화된 모드에서는 변환된 HOA 신호를 분석하는 단계, 이어서 상기 분석하는 단계의 결과들로부터, 동적 범위 압축을 위해 사용가능한 하나 이상의 이득 인자들을 획득하는 단계 - 비단순화된 모드에서는 2 개 이상의 상이한 이득 인자들이 획득되고 단순화된 모드에서는 단지 하나의 이득 인자가 획득됨 - 를 추가로 포함하고, 여기서 단순화된 모드에서는 이득 압축된 HOA 신호가 획득된 이득 인자를 HOA 신호와 곱하는 상기 단계에 의해 획득되고, 여기서 비단순화된 모드에서는 상기 이득 압축된 변환된 HOA 신호가 획득된 2 개 이상의 이득 인자들을 변환된 HOA 신호와 곱하는 단계에 의해 획득되며, 여기서 비단순화된 모드에서는 HOA 신호를 공간 영역으로 변환하는 상기 단계가 역 DSHT를 사용한다.
일 실시예에서, HOA 신호는 주파수 서브대역들로 분할되고, 이득 인자(들)가 획득되고 각각의 주파수 서브대역에, 서브대역마다 개개의 이득들을 사용해, 개별적으로 적용된다. 일 실시예에서, HOA 신호(또는 변환된 HOA 신호)를 분석하는 단계, 하나 이상의 이득 인자들을 획득하는 단계, 획득된 이득 인자(들)를 HOA 신호(또는 변환된 HOA 신호)와 곱하는 단계, 및 이득 압축된 변환된 HOA 신호를 다시 HOA 영역으로 변환하는 단계가 각각의 주파수 서브대역에, 서브대역마다 개개의 이득들을 사용해, 개별적으로 적용된다. 유의할 점은, HOA 신호를 주파수 서브대역들로 분할하는 것과 HOA 신호를 공간 영역으로 변환하는 것의 순차적 순서가 바뀔 수 있고, 그리고/또는 서브대역들을 합성하는 것과 이득 압축된 변환된 HOA 신호들을 다시 HOA 영역으로 변환하는 것의 순차적 순서가 바뀔 수 있으며, 서로 무관하다는 것이다.
일 실시예에서, 본 방법은, 이득 인자들을 곱하는 단계 이전에, 변환된 HOA 신호를 획득된 이득 인자들 및 이 이득 인자들의 개수와 함께 전송하는 단계를 추가로 포함한다.
일 실시예에서, 변환 행렬은 모드 행렬 및 대응하는 구적법 이득들로부터 계산되고, 여기서 모드 행렬 는 에 따른 모드 벡터들을 포함하고, 각각의 은 미리 정의된 방향 (단, 임)의 구면 조화함수를 포함하는 모드 벡터이다. 미리 정의된 방향은 HOA 차수 N에 의존한다.
일 실시예에서, HOA 신호 B는 변환된 HOA 신호 W DSHT를 획득하기 위해 공간 영역으로 변환되고, 변환된 HOA 신호 W DSHT는 W DSHT = diag(g) D L B에 따라 샘플 단위로 이득 값들 diag(g)와 곱해지며, 본 방법은 변환된 HOA 신호를 에 따라 상이한 제2 공간 영역으로 변환하는 추가 단계를 포함하고, 여기서 는 초기화 페이즈에서 에 따라 미리 계산되며, 여기서 D는 HOA 신호를 상이한 제2 공간 영역으로 변환하는 렌더링 행렬이다.
일 실시예에서, 적어도 (N + 1)2 < τ(단, N은 HOA 차수이고 τ는 DRC 블록 크기임)인 경우, 본 방법은 G = D L -1 diag(g) D L(단, G는 이득 행렬이고 DL은 상기 DSHT를 정의하는 DSHT 행렬임)에 따라 이득 벡터를 HOA 영역으로 변환하는 단계(53), 및 B DRC = GB에 따라 이득 행렬 G를 HOA 신호 B의 HOA 계수들에 적용하는 단계 - DRC 압축된 HOA 신호 B DRC가 획득됨 - 를 추가로 포함한다.
일 실시예에서, 적어도 L < τ(단, L은 출력 채널들의 개수이고 τ는 DRC 블록 크기임)인 경우, 본 방법은 에 따라 이득 행렬 G를 렌더러 행렬 D에 적용하는 단계 - 동적 범위 압축된 렌더러 행렬 가 획득됨 -, 및 동적 범위 압축된 렌더러 행렬을 사용해 HOA 신호를 렌더링하는 단계를 추가로 포함한다.
일 실시예에서, 본 발명은 DRC 이득 인자들을 HOA 신호에 적용하는 방법에 관한 것이고, 본 방법은 HOA 신호를 표시 및 하나 이상의 이득 인자들과 함께 수신하는 단계 - 표시는 단순화된 모드 또는 비단순화된 모드 중 어느 하나를 나타내고, 표시가 단순화된 모드를 나타내는 경우 단지 하나의 이득 인자가 수신됨 -, 상기 표시에 따라 단순화된 모드 또는 비단순화된 모드 중 어느 하나를 선택하는 단계, 단순화된 모드에서는, 이득 인자를 HOA 신호와 곱하고 - 동적 범위 압축된 변환된 HOA 신호가 획득됨 -, 비단순화된 모드에서는, HOA 신호를 공간 영역으로 변환하는 단계 - 변환된 HOA 신호가 획득됨 -, 이득 인자들을 변환된 HOA 신호들과 곱하는 단계 - 동적 범위 압축된 변환된 HOA 신호들이 획득됨 -, 및 동적 범위 압축된 변환된 HOA 신호들을 다시 HOA 영역으로 변환하는 단계 - 동적 범위 압축된 HOA 신호가 획득됨 - 를 포함한다.
게다가, 일 실시예에서, 본 발명은 HOA 신호에 대해 DRC를 수행하는 디바이스에 관한 것이고, 본 디바이스는 모드를 설정하거나 결정하는 것 - 모드는 단순화된 모드 또는 비단순화된 모드 중 어느 하나임 -, 비단순화된 모드에서는, HOA 신호를 공간 영역으로 변환하는 것 - 역 DSHT가 사용됨 -, 비단순화된 모드에서는 변환된 HOA 신호를 분석하는 반면, 단순화된 모드에서는 HOA 신호를 분석하는 것, 상기 분석하는 것의 결과들로부터, 동적 범위 압축을 위해 사용가능한 하나 이상의 이득 인자들을 획득하는 것 - 단순화된 모드에서는 단지 하나의 이득 인자가 획득되고 비단순화된 모드에서는 2 개 이상의 상이한 이득 인자들이 획득됨 -, 단순화된 모드에서는 획득된 이득 인자를 HOA 신호와 곱하고 - 이득 압축된 HOA 신호가 획득됨 -, 비단순화된 모드에서는 획득된 이득 인자들을 변환된 HOA 신호와 곱하는 것 - 이득 압축된 변환된 HOA 신호가 획득됨 -, 및 이득 압축된 변환된 HOA 신호를 다시 HOA 영역으로 변환하는 것 - 이득 압축된 HOA 신호가 획득됨 - 을 위해 구성된 프로세서 또는 하나 이상의 처리 요소들을 포함한다.
비단순화된 모드에만 대한 일 실시예에서, HOA 신호에 대해 DRC를 수행하는 디바이스는 HOA 신호를 공간 영역으로 변환하는 것, 변환된 HOA 신호를 분석하는 것, 상기 분석하는 것의 결과들로부터, 동적 범위 압축을 위해 사용가능한 이득 인자들을 획득하는 것, 획득된 인자들을 변환된 HOA 신호들과 곱하는 것 - 이득 압축된 변환된 HOA 신호들이 획득됨 -, 및 이득 압축된 변환된 HOA 신호들을 다시 HOA 영역으로 변환하는 것 - 이득 압축된 HOA 신호들이 획득됨 - 을 위해 구성된 프로세서 또는 하나 이상의 처리 요소들을 포함한다. 일 실시예에서, 디바이스는, 획득된 이득 인자 또는 이득 인자들을 곱하기 전에, HOA 신호를 획득된 이득 인자 또는 이득 인자들과 함께 전송하는 전송 유닛을 추가로 포함한다.
여기서 또한 유의할 점은, HOA 신호를 주파수 서브대역들로 분할하는 것과 HOA 신호를 공간 영역으로 변환하는 것의 순차적 순서가 바뀔 수 있고, 서브대역들을 합성하는 것과 이득 압축된 변환된 HOA 신호들을 다시 HOA 영역으로 변환하는 것의 순차적 순서가 바뀔 수 있으며, 서로 무관하다는 것이다.
게다가, 일 실시예에서, 본 발명은 DRC 이득 인자들을 HOA 신호에 적용하는 디바이스에 관한 것이고, 본 디바이스는 HOA 신호를 표시 및 하나 이상의 이득 인자들과 함께 수신하는 것 - 표시는 단순화된 모드 또는 비단순화된 모드 중 어느 하나를 나타내고, 표시가 단순화된 모드를 나타내는 경우 단지 하나의 이득 인자가 수신됨 -, 상기 표시에 따라, 디바이스를 단순화된 모드 또는 비단순화된 모드 중 어느 하나로 설정하는 것, 단순화된 모드에서는, 이득 인자를 HOA 신호와 곱하고 - 동적 범위 압축된 변환된 HOA 신호가 획득됨 -; 비단순화된 모드에서는, HOA 신호를 공간 영역으로 변환하는 것 - 변환된 HOA 신호가 획득됨 -, 이득 인자들을 변환된 HOA 신호들과 곱하는 것 - 동적 범위 압축된 변환된 HOA 신호들이 획득됨 -, 및 동적 범위 압축된 변환된 HOA 신호들을 다시 HOA 영역으로 변환하는 것 - 동적 범위 압축된 HOA 신호가 획득됨 - 을 위해 구성된 프로세서 또는 하나 이상의 처리 요소들을 포함한다.
일 실시예에서, 디바이스는, 획득된 인자들을 곱하기 전에, HOA 신호를 획득된 이득 인자들과 함께 전송하는 전송 유닛을 추가로 포함한다. 일 실시예에서, HOA 신호는 주파수 서브대역들로 분할되고, 변환된 HOA 신호를 분석하는 것, 이득 인자들을 획득하는 것, 획득된 인자들을 변환된 HOA 신호들과 곱하는 것 및 이득 압축된 변환된 HOA 신호들을 다시 HOA 영역으로 변환하는 것이 각각의 주파수 서브대역에, 서브대역마다 개개의 이득들을 사용해, 개별적으로 적용된다.
DRC 이득 인자들을 HOA 신호에 적용하는 디바이스의 일 실시예에서, HOA 신호는 복수의 주파수 서브대역들로 분할되고, 하나 이상의 이득 인자들을 획득하는 것, 획득된 이득 인자들을 HOA 신호 또는 변환된 HOA 신호와 곱하는 것, 및 비단순화된 모드에서 이득 압축된 변환된 HOA 신호들을 다시 HOA 영역으로 변환하는 것이 각각의 주파수 서브대역에, 서브대역마다 개개의 이득들을 사용해, 개별적으로 적용된다.
게다가, 비단순화된 모드만이 사용되는 일 실시예에서, 본 발명은 DRC 이득 인자들을 HOA 신호에 적용하는 디바이스에 관한 것이고, 본 디바이스는 HOA 신호를 이득 인자들과 함께 수신하는 것, (iDSHT를 사용하여) HOA 신호를 공간 영역으로 변환하는 것 - 변환된 HOA 신호가 획득됨 -, 이득 인자들을 변환된 HOA 신호와 곱하는 것 - 동적 범위 압축된 변환된 HOA 신호가 획득됨 -, 및 동적 범위 압축된 변환된 HOA 신호를 (DSHT를 사용하여) 다시 HOA 영역(즉, 계수 영역)으로 변환하는 것 - 동적 범위 압축된 HOA 신호가 획득됨 - 을 위해 구성된 프로세서 또는 하나 이상의 처리 요소들을 포함한다.
이하의 표 4 내지 표 6은 차수 N(단, N=4, 5 또는 6임)의 HOA에 대한 가상 스피커들의 구면 위치들을 열거한다.
본 발명의 바람직한 실시예들에 적용되는 바와 같은 본 발명의 기본적인 새로운 특징들이 도시되고, 기술되며, 언급되어 있지만, 기술되는 장치 및 방법에서의, 개시된 디바이스들의 형태 및 상세에서의, 그리고 그들의 동작에서의 다양한 생략 및 치환 및 변경이 본 발명의 사상을 벗어남이 없이 본 기술 분야의 통상의 기술자에 의해 행해질 수 있다는 것을 알 것이다. 동일한 결과들을 달성하기 위해 실질적으로 동일한 기능을 실질적으로 동일한 방식으로 수행하는 그 요소들의 모든 조합들이 본 발명의 범주 내에 있는 것으로 명백히 의도되어 있다. 하나의 기술된 실시예로부터 다른 것으로의 요소들의 치환이 완전히 의도되어 있으며 생각되고 있다.
본 발명이 순전히 예로서 기술되어 있고 본 발명의 범주를 벗어남이 없이 상세의 수정이 행해질 수 있다는 것을 잘 알 것이다. 설명 및 (적절한 경우) 청구범위 및 도면에 개시된 각각의 특징이 독립적으로 또는 임의의 적절한 조합으로 제공될 수 있다.
특징들이, 적절한 경우, 하드웨어, 소프트웨어, 또는 이 둘의 조합으로 구현될 수 있다.
참조 문헌:
[1] "Integration nodes for the sphere", Jorg Fliege 2010, online accessed 2010-10-05 http://www.mathematik.uni-dortmund.de/lsx/research/projects/fliege/nodes/nodes.html
[2] "A two-stage approach for computing cubature formulae for the sphere", Jorg Fliege and Ulrike Maier, Technical report, Fachbereich Mathematik, Universitat Dortmund, 1999
N=4 위치들
표 4: HOA 차수 N=4에 대한 가상 스피커들의 구면 위치들
N=5 위치들
표 5: HOA 차수 N=5에 대한 가상 스피커들의 구면 위치들
N=6 위치들
표 6: HOA 차수 N=6에 대한 가상 스피커들의 구면 위치들
Claims (21)
- 동적 범위 압축(Dynamic Range Compression: DRC)을 위한 방법으로서,
DRC를 QMF 필터 뱅크 영역(QMF-filter bank domain)에서 적용하는 단계;
HOA(Higher Order Ambisonics, 고차 앰비소닉스) 오디오 표현 및 시간 주파수 타일 (n, m)에 대응하는 이득 값 을 수신하는 단계 - 상기 n은 시간 슬롯의 번호를 나타내고, 상기 m은 주파수 대역의 번호를 나타냄 -; 및
상기 이득 값 및 DSHT(Discrete Spherical Harmonics Transform) 행렬을 상기 HOA 오디오 표현에 적용하는 단계
를 포함하고,
상기 이득 값은,
에 기초하여 적용되고, 는 상기 시간 주파수 타일 (n, m)에 대한 공간 채널들의 벡터이고, 상기 벡터 는 상기 DSHT 행렬의 상기 HOA 오디오 표현에의 적용에 기초하여 결정되는, 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
단순화된 모드의 표시를 수신하고, 상기 단순화된 모드의 표시에 기초하여 상기 HOA 오디오 표현을 상기 이득 값에 대응하는 하나의 이득 인자와만 곱하는 단계
를 더 포함하는 방법. - 제1항에 있어서,
상기 HOA 오디오 표현은 주파수 서브대역들로 분할되고 상기 이득 값은 각각의 서브대역에 개별적으로 적용되는 방법. - 제1항에 있어서, 적어도 (N + 1)2 < τ(단, N은 HOA 차수이고 τ는 DRC 블록 크기임)인 경우, 상기 방법은
G = D L -1 diag(g) D L(단, G는 이득 행렬이고 D L은 DSHT를 정의하는 DSHT 행렬임)에 따라 이득 벡터를 HOA 영역으로 변환하는 단계; 및
B DRC = GB에 따라 상기 이득 행렬 G를 상기 HOA 오디오 표현 B의 HOA 계수들에 적용하는 단계 - DRC 압축된 HOA 신호 B DRC가 획득됨 - 를 더 포함하는 방법. - 동적 범위 압축(DRC)을 위한 장치로서,
HOA 오디오 표현 및 시간 주파수 타일 (n, m)에 대응하는 이득 값 을 획득하도록 구성되는 수신기 - 상기 n은 시간 슬롯의 번호를 나타내고, 상기 m은 주파수 대역의 번호를 나타냄 -; 및
상기 이득 값 및 DSHT(Discrete Spherical Harmonics Transform) 행렬을 상기 HOA 오디오 표현에 적용함으로써 DRC를 QMF 필터 뱅크 영역에서 적용하도록 구성되는 오디오 디코더
를 포함하고,
상기 이득 값은,
에 기초하여 적용되고, 는 상기 시간 주파수 타일 (n, m)에 대한 공간 채널들의 벡터이고, 상기 벡터 는 상기 DSHT 행렬의 상기 HOA 오디오 표현에의 적용에 기초하여 결정되는, 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 제10항에 있어서, 상기 오디오 디코더는 단순화된 모드의 표시를 수신하고, 상기 단순화된 모드의 표시에 기초하여 상기 HOA 오디오 표현을 상기 이득 값에 대응하는 하나의 이득 인자와만 곱하도록 더 구성되는, 장치.
- 제10항에 있어서, 상기 HOA 오디오 표현은 주파수 서브대역들로 분할되고 상기 이득 값은 각각의 서브대역에 개별적으로 적용되는, 장치.
- 제10항에 있어서, 적어도 (N + 1)2 < τ(단, N은 HOA 차수이고 τ는 DRC 블록 크기임)인 경우, 상기 오디오 디코더는,
G = D L -1 diag(g) D L(단, G는 이득 행렬이고 D L은 DSHT를 정의하는 DSHT 행렬임)에 따라 이득 벡터를 HOA 영역으로 변환하고,
B DRC = GB에 따라 상기 이득 행렬 G를 상기 HOA 오디오 표현 B의 HOA 계수들에 적용하도록 - DRC 압축된 HOA 신호 B DRC가 획득됨 - 더 구성되는, 장치. - 삭제
- 삭제
- 삭제
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14305423.7 | 2014-03-24 | ||
EP14305423 | 2014-03-24 | ||
EP14305559.8A EP2934025A1 (en) | 2014-04-15 | 2014-04-15 | Method and device for applying dynamic range compression to a higher order ambisonics signal |
EP14305559.8 | 2014-04-15 | ||
PCT/EP2015/056206 WO2015144674A1 (en) | 2014-03-24 | 2015-03-24 | Method and device for applying dynamic range compression to a higher order ambisonics signal |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020197021732A Division KR102201027B1 (ko) | 2014-03-24 | 2015-03-24 | 고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160138054A KR20160138054A (ko) | 2016-12-02 |
KR102005298B1 true KR102005298B1 (ko) | 2019-07-30 |
Family
ID=52727138
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020227044220A KR102596944B1 (ko) | 2014-03-24 | 2015-03-24 | 고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스 |
KR1020197021732A KR102201027B1 (ko) | 2014-03-24 | 2015-03-24 | 고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스 |
KR1020167026390A KR102005298B1 (ko) | 2014-03-24 | 2015-03-24 | 고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스 |
KR1020237037213A KR20230156153A (ko) | 2014-03-24 | 2015-03-24 | 고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스 |
KR1020217000212A KR102479741B1 (ko) | 2014-03-24 | 2015-03-24 | 고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020227044220A KR102596944B1 (ko) | 2014-03-24 | 2015-03-24 | 고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스 |
KR1020197021732A KR102201027B1 (ko) | 2014-03-24 | 2015-03-24 | 고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020237037213A KR20230156153A (ko) | 2014-03-24 | 2015-03-24 | 고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스 |
KR1020217000212A KR102479741B1 (ko) | 2014-03-24 | 2015-03-24 | 고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스 |
Country Status (13)
Country | Link |
---|---|
US (7) | US9936321B2 (ko) |
EP (3) | EP4273857A3 (ko) |
JP (6) | JP6246948B2 (ko) |
KR (5) | KR102596944B1 (ko) |
CN (8) | CN109285553B (ko) |
AU (4) | AU2015238448B2 (ko) |
BR (5) | BR122020014764B1 (ko) |
CA (3) | CA3155815A1 (ko) |
HK (2) | HK1258770A1 (ko) |
RU (2) | RU2658888C2 (ko) |
TW (7) | TWI833562B (ko) |
UA (1) | UA119765C2 (ko) |
WO (1) | WO2015144674A1 (ko) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9607624B2 (en) | 2013-03-29 | 2017-03-28 | Apple Inc. | Metadata driven dynamic range control |
US9934788B2 (en) | 2016-08-01 | 2018-04-03 | Bose Corporation | Reducing codec noise in acoustic devices |
TWI594231B (zh) * | 2016-12-23 | 2017-08-01 | 瑞軒科技股份有限公司 | 分頻壓縮電路,音訊處理方法以及音訊處理系統 |
EP3624116B1 (en) * | 2017-04-13 | 2022-05-04 | Sony Group Corporation | Signal processing device, method, and program |
US10999693B2 (en) * | 2018-06-25 | 2021-05-04 | Qualcomm Incorporated | Rendering different portions of audio data using different renderers |
Family Cites Families (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2012A (en) * | 1841-03-18 | Machine foe | ||
DE3640752A1 (de) | 1986-11-28 | 1988-06-09 | Akzo Gmbh | Anionische polyurethane |
US5956674A (en) * | 1995-12-01 | 1999-09-21 | Digital Theater Systems, Inc. | Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels |
US6311155B1 (en) * | 2000-02-04 | 2001-10-30 | Hearing Enhancement Company Llc | Use of voice-to-remaining audio (VRA) in consumer applications |
AU1241901A (en) * | 1999-11-24 | 2001-06-04 | Biotronics Technologies, Inc. | Devices and methods for detecting analytes using electrosensor having capture reagent |
US6959275B2 (en) * | 2000-05-30 | 2005-10-25 | D.S.P.C. Technologies Ltd. | System and method for enhancing the intelligibility of received speech in a noise environment |
US20040010329A1 (en) * | 2002-07-09 | 2004-01-15 | Silicon Integrated Systems Corp. | Method for reducing buffer requirements in a digital audio decoder |
US6975773B1 (en) * | 2002-07-30 | 2005-12-13 | Qualcomm, Incorporated | Parameter selection in data compression and decompression |
HUP0301368A3 (en) * | 2003-05-20 | 2005-09-28 | Amt Advanced Multimedia Techno | Method and equipment for compressing motion picture data |
JP2007506986A (ja) * | 2003-09-17 | 2007-03-22 | 北京阜国数字技術有限公司 | マルチ解像度ベクトル量子化のオーディオcodec方法及びその装置 |
EP1873753A1 (en) * | 2004-04-01 | 2008-01-02 | Beijing Media Works Co., Ltd | Enhanced audio encoding/decoding device and method |
CN1677491A (zh) * | 2004-04-01 | 2005-10-05 | 北京宫羽数字技术有限责任公司 | 一种增强音频编解码装置及方法 |
CN1677490A (zh) * | 2004-04-01 | 2005-10-05 | 北京宫羽数字技术有限责任公司 | 一种增强音频编解码装置及方法 |
CN1677493A (zh) * | 2004-04-01 | 2005-10-05 | 北京宫羽数字技术有限责任公司 | 一种增强音频编解码装置及方法 |
US7565018B2 (en) * | 2005-08-12 | 2009-07-21 | Microsoft Corporation | Adaptive coding and decoding of wide-range coefficients |
KR20070020771A (ko) * | 2005-08-16 | 2007-02-22 | 삼성전자주식회사 | 다중주파수 이동통신시스템에서 단말의 순방향 전송률 변화정보를 이용한 송수신 방법 및 장치 |
US20070177654A1 (en) * | 2006-01-31 | 2007-08-02 | Vladimir Levitine | Detecting signal carriers of multiple types of signals in radio frequency input for amplification |
PL2002429T3 (pl) * | 2006-04-04 | 2013-03-29 | Dolby Laboratories Licensing Corp | Kontrola słyszalnej charakterystyki głośności sygnału audio |
US8027479B2 (en) * | 2006-06-02 | 2011-09-27 | Coding Technologies Ab | Binaural multi-channel decoder in the context of non-energy conserving upmix rules |
ES2359752T3 (es) * | 2006-09-25 | 2011-05-26 | Dolby Laboratories Licensing Corporation | Resolución espacial mejorada del campo sonoro para sistemas de reproducción de audio multicanal mediante derivación de señales con términos angulares de orden superior. |
US8798776B2 (en) * | 2008-09-30 | 2014-08-05 | Dolby International Ab | Transcoding of audio metadata |
MX2011011399A (es) * | 2008-10-17 | 2012-06-27 | Univ Friedrich Alexander Er | Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto. |
RU2468451C1 (ru) | 2008-10-29 | 2012-11-27 | Долби Интернэшнл Аб | Защита от ограничения сигнала с использованием заранее существующих метаданных коэффициента усиления аудиосигнала |
WO2010076460A1 (fr) * | 2008-12-15 | 2010-07-08 | France Telecom | Codage perfectionne de signaux audionumériques multicanaux |
WO2010075377A1 (en) * | 2008-12-24 | 2010-07-01 | Dolby Laboratories Licensing Corporation | Audio signal loudness determination and modification in the frequency domain |
JP5190968B2 (ja) * | 2009-09-01 | 2013-04-24 | 独立行政法人産業技術総合研究所 | 動画像の圧縮方法及び圧縮装置 |
GB2473266A (en) * | 2009-09-07 | 2011-03-09 | Nokia Corp | An improved filter bank |
TWI447709B (zh) | 2010-02-11 | 2014-08-01 | Dolby Lab Licensing Corp | 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法 |
CA3045686C (en) * | 2010-04-09 | 2020-07-14 | Dolby International Ab | Audio upmixer operable in prediction or non-prediction mode |
EP2450880A1 (en) * | 2010-11-05 | 2012-05-09 | Thomson Licensing | Data structure for Higher Order Ambisonics audio data |
EP2469741A1 (en) * | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
US20120307889A1 (en) * | 2011-06-01 | 2012-12-06 | Sharp Laboratories Of America, Inc. | Video decoder with dynamic range adjustments |
EP2541547A1 (en) * | 2011-06-30 | 2013-01-02 | Thomson Licensing | Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation |
KR102185941B1 (ko) * | 2011-07-01 | 2020-12-03 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 적응형 오디오 신호 생성, 코딩 및 렌더링을 위한 시스템 및 방법 |
US8996296B2 (en) * | 2011-12-15 | 2015-03-31 | Qualcomm Incorporated | Navigational soundscaping |
EP2665208A1 (en) * | 2012-05-14 | 2013-11-20 | Thomson Licensing | Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation |
US20130315402A1 (en) * | 2012-05-24 | 2013-11-28 | Qualcomm Incorporated | Three-dimensional sound compression and over-the-air transmission during a call |
US9332373B2 (en) * | 2012-05-31 | 2016-05-03 | Dts, Inc. | Audio depth dynamic range enhancement |
EP2688066A1 (en) * | 2012-07-16 | 2014-01-22 | Thomson Licensing | Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction |
CN104584588B (zh) * | 2012-07-16 | 2017-03-29 | 杜比国际公司 | 用于渲染音频声场表示以供音频回放的方法和设备 |
CN104471641B (zh) * | 2012-07-19 | 2017-09-12 | 杜比国际公司 | 用于改善对多声道音频信号的呈现的方法和设备 |
EP2690621A1 (en) * | 2012-07-26 | 2014-01-29 | Thomson Licensing | Method and Apparatus for downmixing MPEG SAOC-like encoded audio signals at receiver side in a manner different from the manner of downmixing at encoder side |
TWI673707B (zh) | 2013-07-19 | 2019-10-01 | 瑞典商杜比國際公司 | 將以L<sub>1</sub>個頻道為基礎之輸入聲音訊號產生至L<sub>2</sub>個揚聲器頻道之方法及裝置,以及得到一能量保留混音矩陣之方法及裝置,用以將以輸入頻道為基礎之聲音訊號混音以用於L<sub>1</sub>個聲音頻道至L<sub>2</sub>個揚聲器頻道 |
US9984693B2 (en) * | 2014-10-10 | 2018-05-29 | Qualcomm Incorporated | Signaling channels for scalable coding of higher order ambisonic audio data |
US11019449B2 (en) * | 2018-10-06 | 2021-05-25 | Qualcomm Incorporated | Six degrees of freedom and three degrees of freedom backward compatibility |
TWD224672S (zh) | 2021-06-18 | 2023-04-11 | 大陸商台達電子企業管理(上海)有限公司 | 雙輸入電源供應器 |
-
2015
- 2015-03-24 TW TW112102828A patent/TWI833562B/zh active
- 2015-03-24 CN CN201811253713.3A patent/CN109285553B/zh active Active
- 2015-03-24 EP EP23192252.7A patent/EP4273857A3/en active Pending
- 2015-03-24 TW TW109126543A patent/TWI718979B/zh active
- 2015-03-24 CA CA3155815A patent/CA3155815A1/en active Pending
- 2015-03-24 BR BR122020014764-4A patent/BR122020014764B1/pt active IP Right Grant
- 2015-03-24 TW TW111107641A patent/TWI794032B/zh active
- 2015-03-24 RU RU2016141386A patent/RU2658888C2/ru active
- 2015-03-24 WO PCT/EP2015/056206 patent/WO2015144674A1/en active Application Filing
- 2015-03-24 CN CN201580015764.0A patent/CN106165451B/zh active Active
- 2015-03-24 EP EP15711759.9A patent/EP3123746B1/en active Active
- 2015-03-24 KR KR1020227044220A patent/KR102596944B1/ko active IP Right Grant
- 2015-03-24 US US15/127,775 patent/US9936321B2/en active Active
- 2015-03-24 KR KR1020197021732A patent/KR102201027B1/ko active IP Right Grant
- 2015-03-24 CN CN202311083155.1A patent/CN117153172A/zh active Pending
- 2015-03-24 BR BR122018005665-7A patent/BR122018005665B1/pt active IP Right Grant
- 2015-03-24 BR BR112016022008-0A patent/BR112016022008B1/pt active IP Right Grant
- 2015-03-24 UA UAA201610606A patent/UA119765C2/uk unknown
- 2015-03-24 CN CN201811253716.7A patent/CN109087653B/zh active Active
- 2015-03-24 CA CA2946916A patent/CA2946916C/en active Active
- 2015-03-24 CN CN202311083699.8A patent/CN117133298A/zh active Pending
- 2015-03-24 JP JP2016558102A patent/JP6246948B2/ja active Active
- 2015-03-24 RU RU2018118336A patent/RU2760232C2/ru active
- 2015-03-24 AU AU2015238448A patent/AU2015238448B2/en active Active
- 2015-03-24 EP EP18173707.3A patent/EP3451706B1/en active Active
- 2015-03-24 CA CA3153913A patent/CA3153913C/en active Active
- 2015-03-24 BR BR122020020719-1A patent/BR122020020719B1/pt active IP Right Grant
- 2015-03-24 TW TW109101396A patent/TWI711034B/zh active
- 2015-03-24 KR KR1020167026390A patent/KR102005298B1/ko active IP Right Grant
- 2015-03-24 KR KR1020237037213A patent/KR20230156153A/ko active Application Filing
- 2015-03-24 CN CN201811253730.7A patent/CN109036441B/zh active Active
- 2015-03-24 CN CN201811253717.1A patent/CN109087654B/zh active Active
- 2015-03-24 CN CN201811253721.8A patent/CN108962266B/zh active Active
- 2015-03-24 KR KR1020217000212A patent/KR102479741B1/ko active IP Right Grant
- 2015-03-24 TW TW108105179A patent/TWI695371B/zh active
- 2015-03-24 TW TW110102935A patent/TWI760084B/zh active
- 2015-03-24 TW TW104109277A patent/TWI662543B/zh active
- 2015-03-24 BR BR122020020730-2A patent/BR122020020730B1/pt active IP Right Grant
-
2017
- 2017-11-15 JP JP2017219647A patent/JP6545235B2/ja active Active
-
2018
- 2018-02-07 US US15/891,326 patent/US10362424B2/en active Active
-
2019
- 2019-01-22 HK HK19101101.3A patent/HK1258770A1/zh unknown
- 2019-01-30 HK HK19101671.3A patent/HK1259306A1/zh unknown
- 2019-06-18 JP JP2019112767A patent/JP6762405B2/ja active Active
- 2019-06-28 US US16/457,135 patent/US10567899B2/en active Active
- 2019-07-16 AU AU2019205998A patent/AU2019205998B2/en active Active
- 2019-10-22 US US16/660,626 patent/US10638244B2/en active Active
-
2020
- 2020-04-23 US US16/857,093 patent/US10893372B2/en active Active
- 2020-09-08 JP JP2020150380A patent/JP7101219B2/ja active Active
-
2021
- 2021-01-08 US US17/144,325 patent/US11838738B2/en active Active
- 2021-07-07 AU AU2021204754A patent/AU2021204754B2/en active Active
-
2022
- 2022-07-04 JP JP2022107586A patent/JP7333855B2/ja active Active
-
2023
- 2023-03-29 AU AU2023201911A patent/AU2023201911A1/en active Pending
- 2023-08-15 JP JP2023132200A patent/JP2023144032A/ja active Pending
- 2023-11-09 US US18/505,494 patent/US20240098436A1/en active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7333855B2 (ja) | 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置 | |
EP2934025A1 (en) | Method and device for applying dynamic range compression to a higher order ambisonics signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
A107 | Divisional application of patent | ||
GRNT | Written decision to grant |