KR20170026367A - Hoa 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치 - Google Patents
Hoa 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR20170026367A KR20170026367A KR1020167035546A KR20167035546A KR20170026367A KR 20170026367 A KR20170026367 A KR 20170026367A KR 1020167035546 A KR1020167035546 A KR 1020167035546A KR 20167035546 A KR20167035546 A KR 20167035546A KR 20170026367 A KR20170026367 A KR 20170026367A
- Authority
- KR
- South Korea
- Prior art keywords
- sub
- subband
- band
- active
- directions
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Abstract
HOA(Higher Order Ambisonics) 신호들의 인코딩은 통상적으로 높은 데이터 레이트로 이어진다. 데이터 레이트 감소를 위해, 입력 HOA 신호의 프레임들의 방향 정보를 인코딩하기 위한 방법(100)은, 전역 방향 인덱스들을 갖는 미리정의된 전역 방향들 중에서 활성 후보 방향들(MDIR(k))을 결정하는 단계(s101), 입력 HOA 신호를 주파수 부대역들()로 분할하는 단계(s102), 각각의 주파수 부대역에 대해 활성 후보 방향들 중에서 활성 부대역 방향들을 결정하는 단계(s103), 부대역마다 각각의 방향에 상대적 방향 인덱스를 할당하는 단계(s104), 프레임에 대한 방향 정보 ―방향 정보는, 활성 후보 방향들(MDIRk)), 각각의 부대역 및 각각의 활성 후보 방향에 대해 활성 후보 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트, 및 각각의 주파수 부대역에 대해 제2 세트의 부대역 방향들 중의 활성 부대역 방향들의 상대적 방향 인덱스들을 포함함―를 조립하는 단계(s105), 및 조립된 방향 정보를 전송하는 단계(s106)를 포함한다.
Description
본 발명은, HOA(Higher Order Ambisonics) 신호 표현의 부대역들 내의 우세 방향 신호(dominant directional signal)들의 방향들을 인코딩하는 방법, HOA 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들을 디코딩하는 방법, HOA 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들을 인코딩하기 위한 장치, 및 HOA 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들을 디코딩하기 위한 장치에 관한 것이다.
HOA(Higher Order Ambisonics)는 음장 합성(WFS; wave field synthesis)이나 "22.2"로서 알려진 것과 유사한 채널 기반 접근법과 같은 기타의 기술들 중에서 3차원 사운드를 표현할 수 있는 한 가능성을 제공한다. 채널 기반 방법과는 대조적으로, HOA 표현은 특정한 확성기 셋업과는 독립적이라는 이점을 제공한다. 이러한 융통성은 특정한 확성기 셋업에 관한 HOA 표현의 재생에 요구되는 디코딩 프로세스를 댓가로 나오는 것이다. 요구되는 확성기의 수가 대개는 매우 큰 WFS 접근 방식에 비해, HOA는 단지 수 개의 확성기만으로 구성된 셋업으로 렌더링될 수 있다. HOA의 추가 이점은, 헤드폰으로의 쌍이성 렌더링(binaural rendering)을 위한 임의의 수정없이 동일한 표현이 역시 사용될 수 있다는 것이다.
HOA는, 소위, 절삭된 구면 고조파(SH; Spherical Harmonics) 확장에 의한 복합 고조 평면파 진폭의 공간 밀도의 표현에 기초한다. 각각의 확장 계수는 시간 영역 함수로 등가적으로 표현될 수 있는 각주파수(angular frequency)의 함수이다. 따라서, 일반성을 잃지 않고, 완전한 HOA 음장 표현은 실제로 O개의 시간 영역 함수들로 구성되는 것으로 이해될 수 있으며, 여기서, O는 확장 계수의 개수를 나타낸다. 이들 시간 영역 함수는 이하에서는 등가적으로 HOA 계수 시퀀스 또는 HOA 채널이라고 지칭될 것이다.
확장의 최대 차수 이 증가함에 따라 HOA 표현의 공간 해상도가 향상된다. 불행히도, 확장 계수의 개수 는 차수 N에 따라 2차식으로(quadratically) 증가한다, 특히, 이다. 차수 를 이용한 전형적인 HOA 표현은 개의 HOA (확장) 계수들을 요구한다. 상기 고려사항들에 따라, 원하는 단일-채널 샘플링 레이트 및 샘플 당 비트수 가 주어지면, HOA 표현의 전송을 위한 총 비트 레이트는 에 의해 결정된다. 결과적으로, 예를 들어, 샘플링 레이트 와 샘플당 비트를 이용하여 차수 의 HOA 표현을 전송하는 것은, 의 비트 레이트를 야기하고, 이것은, 예를 들어, 스트리밍 등의 많은 실제 응용에 대해 매우 높다. 따라서, HOA 표현의 압축이 매우 바람직하다.
HOA 음장 표현의 압축에 대한 다양한 접근법이 [4, 5, 6]에서 제안되었다. 이들 접근법들은, 음장 분석을 수행하고 주어진 HOA 표현을 방향 성분 및 잔여 환경 성분으로 분해한다는 공통점을 갖고 있다. 한편, 최종 압축된 표현은, 환경 HOA 성분의 관련 계수 시퀀스 뿐만 아니라 소위 방향 및 벡터-기반 신호의 인지 코딩(perceptual coding)으로부터 생기는 다수의 양자화된 신호를 포함한다. 또 한편으로는, 이것은, 압축된 버전으로부터의 HOA 표현의 재구성에 필요한 양자화된 신호와 관련된 추가적인 부가 정보를 포함한다.
접근법들 [4, 5, 6]에 대한 양자화된 신호의 합리적인 최소 개수는 8이다. 따라서, 각각의 개개의 인지 코더에 대해 32 kbit/s의 데이터 레이트를 가정할 때, 이들 방법들 중 하나에서의 데이터 레이트는 통상적으로 256 kbit/s보다 낮지 않다. 예를 들어, 모바일 디바이스로의 오디오 스트리밍과 유사한 소정의 응용의 경우, 이러한 총 데이터 레이트가 너무 높을 수 있다. 따라서, 명백하게 더 낮은 데이터 레이트, 예를 들어, 128 kbit/s를 해결하기 위한 HOA 압축 방법에 대한 요구가 존재한다.
압축된 HOA 표현으로부터 방향 정보를 인코딩하기 위한 방법 및 장치, 및 압축된 HOA 표현으로부터 방향 정보를 디코딩하기 위한 방법 및 장치가 개시된다. 또한, 음장의 HOA(Higher Order Ambisonics) 표현의 낮은 비트-레이트 압축 및 압축해제를 위한 실시예가 개시된다. 음장의 HOA 표현을 위한 낮은 비트 레이트 압축 방법의 한 주요 양태는, HOA 표현을 복수의 주파수 부대역들로 분해하고, 각각의 주파수 부대역 내의 계수들을, 절삭된 HOA 표현과 다수의 예측된 방향 부대역 신호들에 기초하는 표현의 조합으로 근사화하는 것이다.
절삭된 HOA 표현은 작은 개수의 선택된 계수 시퀀스들을 포함하고, 여기서 선택은 시간에 따라 변하는 것이 허용된다. 예를 들어, 모든 프레임마다 새로운 선택이 이루어진다. 절삭된 HOA 표현을 나타내는 선택된 계수 시퀀스들은 인지 코딩되고 최종 압축된 HOA 표현의 일부이다. 한 실시예에서, 코딩 효율을 증가시키고 렌더링시 노이즈 언마스킹(unmasking) 효과를 감소시키기 위해, 선택된 계수 시퀀스들은 인지 코딩 이전에 무상관화(de-correlate)된다. 부분적 무상관화는 미리정의된 개수의 선택된 HOA 계수 시퀀스들에 공간 변환을 적용함으로써 달성된다. 압축해제의 경우, 무상관화는 재상관화에 의해 역전된다. 이러한 부분적인 무상관화의 큰 이점은 압축해제시 무상관화를 되돌리기 위해 추가적인 부가 정보가 필요하지 않다는 것이다.
근사화된 HOA 표현의 다른 성분은 대응하는 방향들을 갖는 다수의 방향 부대역 신호들에 의해 표현된다. 이들은 절삭된 HOA 표현의 계수 시퀀스들로부터의 예측을 포함하는 파라미터 표현에 의해 코딩된다. 실시예에서, 각각의 방향 부대역 신호는 절삭된 HOA 표현의 계수 시퀀스들의 스케일링된 합에 의해 예측(또는 표현)되고, 여기서, 스케일링은 일반적으로 복소값이다. 압축해제를 위한 방향 부대역 신호들의 HOA 표현을 재합성할 수 있기 위하여, 압축된 표현은 복소값 예측 스케일링 계수들의 양자화된 버전들 뿐만 아니라 방향들의 양자화된 버전들을 포함한다.
한 실시예에서, 압축된 HOA 표현으로부터 방향 정보를 디코딩하기 위한 방법은, 압축된 HOA 표현의 각각의 프레임에 대해, 압축된 HOA 표현으로부터 후보 방향들 ―각각의 후보 방향은, 적어도 하나의 부대역에서의 잠재적 부대역 신호 소스 방향임―의 세트, 각각의 주파수 부대역 및 최대 임계치 DSB개까지의 잠재적 부대역 신호 소스 방향들 각각에 대해 잠재적 부대역 신호 소스 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트, 및 활성 부대역 방향들의 상대적 방향 인덱스들과 각각의 활성 부대역 방향에 대한 방향 부대역 신호 정보를 추출하는 단계; 각각의 주파수 부대역 방향에 대해 상대적 방향 인덱스들을 절대적 방향 인덱스들로 변환 ―상기 비트가 각각의 주파수 부대역에 대해 상기 후보 방향이 활성 부대역 방향이라고 나타낸다면, 각각의 상대적 방향 인덱스는 상기 후보 방향들 세트 내의 인덱스로서 사용됨― 하는 단계; 및 상기 방향 부대역 신호 정보로부터 방향 부대역 신호들을 예측 ―상기 절대적 방향 인덱스들에 따라 방향 부대역 신호들에 방향들이 할당됨― 하는 단계를 포함한다.
실시예에서, 입력 HOA 신호의 프레임들에 대한 방향 정보를 인코딩하기 위한 방법은, 입력 HOA 신호로부터 사운드 소스들의 방향들인 제1 세트의 활성 후보 방향들 ―활성 후보 방향들은 미리정의된 세트의 Q개의 전역 방향들 중에서 결정되고, 각각의 전역 방향은 전역 방향 인덱스를 가짐―을 결정하는 단계; 상기 입력 HOA 신호를 복수의 주파수 부대역들로 분할하는 단계; 상기 제1 세트의 활성 후보 방향들 중에서, 상기 주파수 부대역들 각각에 대해, 제2 세트의 DSB(DSB <Q)개까지의 활성 부대역 방향들을 결정하는 단계; 주파수 부대역마다 각각의 방향에 상대적 방향 인덱스 ―방향 인덱스는 범위 [1,...,NoOfGlobalDirs(k)]에 있음― 를 할당하는 단계; 현재 프레임에 대한 방향 정보를 조립하는 단계, 조립된 방향 정보를 전송하는 단계를 포함한다. 방향 정보는, 활성 후보 방향들, 각각의 주파수 부대역 및 각각의 활성 후보 방향에 대해 활성 후보 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트, 및 각각의 주파수 부대역에 대해 제2 세트의 부대역 방향들 중의 활성 부대역 방향들의 상대적 방향 인덱스들을 포함한다.
한 실시예에서, 컴퓨터 판독가능한 매체에는, 컴퓨터에서 실행될 때 컴퓨터로 하여금 방향 정보를 인코딩하기 위한 상기 방법 및 방향 정보를 디코딩하기 위한 상기 방법 중 적어도 하나를 수행하게 하는 실행가능한 명령어들이 저장되어 있다.
한 실시예에서, 방향 정보를 프레임별 인코딩(및 이로써 압축) 및/또는 디코딩(및 이로써 압축해제)하기 위한 장치는, 프로세서와, 이 프로세서에서 실행될 때 방향 정보를 인코딩하기 위한 전술된 방법의 단계들 및/또는 방향 정보를 디코딩하기 위한 전술된 방법의 단계들을 수행하는 소프트웨어 프로그램을 위한 메모리를 포함한다.
한 실시예에서, 압축된 HOA 표현으로부터 방향 정보를 디코딩하기 위한 장치는, 압축된 HOA 표현으로부터 후보 방향들 ―각각의 후보 방향은, 적어도 하나의 부대역에서의 잠재적 부대역 신호 소스 방향임―의 세트, 각각의 주파수 부대역 및 DSB개까지의 잠재적 부대역 신호 소스 방향들 각각에 대해, 상기 잠재적 부대역 신호 소스 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트, 및 활성 부대역 방향들의 상대적 방향 인덱스들과 각각의 활성 부대역 방향에 대한 방향 부대역 신호 정보를 추출하도록 구성된 추출 모듈; 각각의 주파수 부대역 방향에 대해 상대적 방향 인덱스들을 절대적 방향 인덱스들로 변환 ―상기 비트가 각각의 주파수 부대역에 대해 상기 후보 방향이 활성 부대역 방향이라고 나타낸다면, 각각의 상대적 방향 인덱스는 상기 후보 방향들 세트 내의 인덱스로서 사용됨― 하도록 구성된 변환 모듈; 및 상기 방향 부대역 신호 정보로부터 방향 부대역 신호들을 예측 ―상기 절대적 방향 인덱스들에 따라 방향 부대역 신호들에 방향들이 할당됨― 하도록 구성된 예측 모듈을 포함한다.
한 실시예에서, 방향 정보를 인코딩하기 위한 장치는, 적어도, 활성 후보 결정 모듈, 분석 필터 뱅크 모듈, 부대역 방향 결정 모듈, 상대적 방향 인덱스 할당 모듈, 방향 정보 조립 모듈, 및 팩킹 모듈을 포함한다.
활성 후보 결정 모듈은 입력 HOA 신호로부터 사운드 소스들의 방향들인 제1 세트의 활성 후보 방향들 MDIR(k)을 결정하도록 구성되고, 여기서, 활성 후보 방향들은, 미리정의된 세트의 Q개의 전역 방향들 중에서 결정되고, 각각의 전역 방향은 전역 방향 인덱스를 갖는다. 분석 필터 뱅크 모듈은 입력 HOA 신호를 복수의 주파수 부대역들로 분할하도록 구성된다. 부대역 방향 결정 모듈은, 제1 세트의 활성 후보 방향들 중에서, 주파수 부대역들 각각에 대해 제2 세트의 DSB(DSB <Q)개까지의 활성 부대역 방향들을 결정하도록 구성된다. 상대적 방향 인덱스 할당 모듈은 주파수 부대역마다 각각의 방향에 상대적 방향 인덱스(범위 [1,...,NoOfGlobalDirs(k)] 내에 있음)를 할당하도록 구성된다. 방향 정보 조립 모듈은 현재 프레임에 대한 방향 정보를 조립하도록 구성된다. 방향 정보는, 활성 후보 방향들 MDIR(k), 각각의 주파수 부대역 및 각각의 활성 후보 방향에 대해 활성 후보 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트, 및 각각의 주파수 부대역에 대해 제2 세트의 부대역 방향들 중의 활성 부대역 방향들의 상대적 방향 인덱스들을 포함한다. 팩킹 모듈은 조립된 방향 정보를 전송하도록 구성된다.
개시된 방향 정보의 인코딩의 이점은 데이터 레이트 감소이다. 추가 이점은 각각의 주파수 대역에 대한 감소된 및 그에 따른 더 빠른 검색이다.
본 발명의 추가적인 목적, 피쳐 및 이점들은, 첨부된 도면들과 연계한 이하의 설명과 첨부된 청구항들의 고려로부터 명백해질 것이다.
본 발명의 예시적 실시형태들이 첨부된 도면을 참조하여 설명되며, 여기서,
도 1은 공간 HOA 인코더의 아키텍쳐이다,
도 2는 방향 추정 블록의 아키텍쳐이다,
도 3은 인지 부가 정보 소스 인코더이다,
도 4는 인지 부가 정보 소스 디코더이다,
도 5는 공간 HOA 디코더의 아키텍쳐이다,
도 6은 구면 좌표계이다,
도 7은 방향 추정 처리 블록이다,
도 8은, 절삭된 HOA 표현의 방향, 궤적 인덱스 세트 및 계수들이다,
도 9는 인코딩 방법의 플로차트이다,
도 10은 디코딩 방법의 플로차트이다,
도 11은 방향 정보를 인코딩하기 위한 장치이다,
도 12는 방향 정보를 디코딩하기 위한 장치이다,
도 13은 방향 인덱싱이다.
도 1은 공간 HOA 인코더의 아키텍쳐이다,
도 2는 방향 추정 블록의 아키텍쳐이다,
도 3은 인지 부가 정보 소스 인코더이다,
도 4는 인지 부가 정보 소스 디코더이다,
도 5는 공간 HOA 디코더의 아키텍쳐이다,
도 6은 구면 좌표계이다,
도 7은 방향 추정 처리 블록이다,
도 8은, 절삭된 HOA 표현의 방향, 궤적 인덱스 세트 및 계수들이다,
도 9는 인코딩 방법의 플로차트이다,
도 10은 디코딩 방법의 플로차트이다,
도 11은 방향 정보를 인코딩하기 위한 장치이다,
도 12는 방향 정보를 디코딩하기 위한 장치이다,
도 13은 방향 인덱싱이다.
음장의 HOA 표현들을 위한 제안된 낮은-비트 레이트 압축 방법의 한 주요한 사상은, 2개의 부분들: 절삭된 HOA 표현과 다수의 예측된 방향 부대역 신호들에 기초한 표현의 조합에 의해, 원래의 HOA 표현을 프레임별로 및 부대역별로, 즉, 각각의 HOA 프레임의 개개의 주파수 부대역 내에서 근사화하는 것이다. HOA 기본에 대한 요약이 이하에서 더 제공된다.
근사화된 HOA 표현의 제1 부분은, 작은 개수의 선택된 계수 시퀀스들로 구성된 절삭된 HOA 버전이며, 여기서, 선택은 시간에 따라(예를 들어, 프레임별로) 달라지는 것이 허용된다. 그 다음, 절삭된 HOA 버전을 나타내는 선택된 계수 시퀀스들은 인지 코딩되고 최종 압축된 HOA 표현의 일부이다. 코딩 효율을 증가시키고 렌더링시 노이즈 언마스킹(unmasking) 효과를 감소시키기 위하여, 인지 코딩 이전에 선택된 계수 시퀀스들을 무상관화하는 것이 유익하다. 부분적인 무상관화는, 미리정의된 개수의 선택된 HOA 계수 시퀀스들에 공간 변환을 적용함으로써 달성되며, 이것은 주어진 개수의 가상 확성기 신호들로의 렌더링을 의미한다. 이러한 부분적인 무상관화의 큰 이점은 압축해제시 무상관화를 되돌리기 위해 추가적인 부가 정보가 필요하지 않다는 것이다.
근사화된 HOA 표현의 제2 부분은 대응하는 방향들을 갖는 다수의 방향 부대역 신호들에 의해 표현된다. 그러나, 이들은 통상적으로 코딩되지 않는다. 대신에, 이들은, 제1 부분, 즉, 절삭된 HOA 표현의 계수 시퀀스들로부터의 예측에 의한 파라미터 표현으로서 코딩된다. 특히, 실시예에서, 각각의 방향 부대역 신호는 절삭된 HOA 표현의 계수 시퀀스들의 스케일링된 합에 의해 예측되고, 여기서, 스케일링은 선형이고 일반적으로 복소값이다. 양쪽 부분들은 함께 HOA 신호의 압축된 표현을 형성하고, 그에 따라, 낮은 비트 레이트를 달성한다. 압축해제를 위한 방향 부대역 신호들의 HOA 표현을 재합성할 수 있기 위하여, 압축된 표현은 복소값 예측 스케일링 계수들의 양자화된 버전들 뿐만 아니라 방향들의 양자화된 버전들을 포함한다.
이 맥락에서 특히 중요한 양태들은, 방향 및 복소값 예측 스케일링 계수의 계산, 및 이들을 효율적으로 코딩하는 방법이다.
낮은 비트 레이트 HOA 압축
제안된 낮은 비트 레이트 HOA 압축의 경우, 낮은 비트 레이트 HOA 압축기는, 공간 HOA 인코딩부와, 인지 및 소스 인코딩부로 세분될 수 있다. 공간적 HOA 인코딩부의 예시적인 아키텍처가 도 1에 도시되어 있고, 인지 및 소스 인코딩부분 예시적인 아키텍처가 도 3에 도시되어 있다. 공간적 HOA 인코더(10)는 개의 신호들을 포함하는 제1 압축된 HOA 표현을 그 HOA 표현을 생성하는 방법을 기술하는 부가 정보와 함께 제공한다. 인지 및 부가 정보 소스 코더(30)에서, 이들 개 신호들은 인지 코더(31)에서 인지 인코딩되고, 부가 정보는 부가 정보 소스 코더(32)에서 소스 인코딩(예를 들어, 엔트로피 코딩)된다. 부가 정보 소스 코더(32)는 코딩된 부가 정보 를 제공한다. 그 다음, 인지 코더(31) 및 부가 정보 소스 코더(32)에 의해 제공된 2개의 코딩된 표현은 멀티플렉서(33)에서 멀티플렉싱되어 낮은 비트 레이트의 압축된 HOA 데이터 스트림 를 획득한다.
공간 HOA 인코딩
도 1에 도시된 공간 HOA 인코더는 프레임별 처리를 수행한다. 프레임들은, 개의 시간-연속적인 HOA 계수 시퀀스들의 부분들로서 정의된다. 예를 들어, 인코딩될 입력 HOA 표현의 번째 프레임 는 시간-연속적인 HOA 계수 시퀀스들의 벡터 c(t)(수학식 46 참조)에 관해 다음과 같이 정의된다:
절삭된 HOA 표현의 계산
도 1에 도시 된 바와 같이, 절삭된 HOA 표현을 계산하는 제1 단계는 원래의 HOA 프레임 로부터 절삭된 버전 을 계산하는 단계(11)를 포함한다. 이 맥락에서의 절삭이란, 입력 HOA 표현의 개의 계수 시퀀스들 중에서 개의 특정한 계수 시퀀스들의 선택 및 모든 다른 계수 시퀀스들을 제로로 설정하는 것을 의미한다. 계수 시퀀스들의 선택을 위한 다양한 솔루션이 [4,5,6]에서 알려져 있고, 예를 들어, 인간의 인지와 관련하여 최대의 파워(power) 또는 가장 높은 관련성을 갖는 것들이 해당된다. 선택된 계수 시퀀스들은 절삭된 HOA 버전을 나타낸다. 선택된 계수 시퀀스들의 인덱스들을 포함하는 데이터 세트 가 생성된다. 그 다음, 이하에서 더 설명되는 바와 같이, 절삭된 HOA 버전 은 부분적으로 무상관화되고(12), 부분적으로 무상관화된 절삭된 HOA 버전 은, 선택된 계수 시퀀스가 이용가능한 개의 전송 채널에 할당되는 채널 할당 (13)을 거칠 것이다. 이하에서 더 설명되는 바와 같이, 이들 계수 시퀀스들은 인지 인코딩되고(30) 최종적으로 압축된 표현의 일부가 된다. 채널 할당 후에 인지 인코딩을 위한 평활 신호들을 얻기 위해, k 번째 프레임에서 선택되지만 (k+1) 번째 프레임에서 선택되지 않는 계수 시퀀스들이 결정된다. 한 프레임에서 선택되고 다음 프레임에서 선택되지 않는 이들 계수 시퀀스들은 페이드 아웃(fade out)된다. 그들의 인덱스들은, 의 서브세트인, 데이터 세트 에 포함된다. 마찬가지로 k 번째 프레임에서 선택되지만 (k-1) 번째 프레임에서 선택되지 않은 계수 시퀀스들은 페이드 인(fade in)된다. 그들의 인덱스들은, 역시 의 서브세트인, 세트 에 포함된다. 페이딩을 위해, (이하의 수학식 39에서 도입되는 것과 같은) 윈도우 함수 , 이 이용될 수 있다.
계수 시퀀스의 선택 기준에는 수 개의 가능성이 있다. 예를 들어, 하나의 유익한 해결책은 대부분의 신호 전력을 나타내는 계수 시퀀스들을 선택하는 것이다. 또 다른 유익한 해결책은 인간의 인지와 관련하여 가장 관련성이 큰 계수 시퀀스들을 선택하는 것이다. 후자의 경우에, 관련성은, 예를 들면, 상이하게 절삭된 표현을 가상 확성기 신호로 렌더링하고, 원래의 HOA 표현에 대응하는 이들 신호와 확성기 신호 간의 에러를 결정하고, 사운드 마스킹 효과를 고려하여 최종적으로 에러의 관련성을 해석함으로써, 결정될 수 있다.
한 실시예에서, 세트 내의 인덱스를 선택하기 위한 합리적인 전략은, 항상 제1 인덱스들, 을 선택하는 것으로, 여기서 이고 은 절삭된 HOA 표현의 주어진 최소 전체 차수를 나타낸다. 그 다음, 위에서 언급된 기준 중 하나에 따라 세트 {OMIN+1, ..., OMAX}에서 나머지 개의 인덱스들을 선택한다, 여기서, 이고 는 선택을 위해 고려되는 HOA 계수 시퀀스들의 최대 차수를 나타낸다. 는 샘플당 전송가능한 계수들의 최대 개수로서 계수들의 총 개수 보다 작거나 같다는 점에 유의한다. 이 전략에 따르면, 절삭 처리 블록(11)은 또한 소위 할당 벡터 를 제공하고, 그 요소들 , 은 하기에 따라 설정된다
여기서, n()은, 나중에 i번째 전송 신호 에 할당되는, 추가로 선택된 HOA 계수 시퀀스 의 HOA 계수 시퀀스 인덱스를 나타낸다. 의 정의는 이하의 수학식 10에서 주어진다. 의 처음 개의 행들은 디폴트로 HOA 계수 시퀀스들 을 포함하고, 의 그 다음 (또는, 이면, )개의 행들 중에는, 그 인덱스들이 할당 벡터 에 저장되어 있는 프레임별로 변하는 HOA 계수 시퀀스들을 포함하는 개의 행들이 있다. 마지막으로, 의 나머지 행들은 제로를 포함한다. 결과적으로, 이하에서 설명되는 바와 같이, 이용가능한 개의 전송 신호들의 처음(또는, 수학식 10에서와 같이, 마지막) 개는 디폴트로 HOA 계수 시퀀스들 에 할당되고, 나머지 개의 전송 신호들은, 그 인덱스들이 할당 벡터 에 저장되어 있는 프레임별로 변화하는 HOA 계수 시퀀스들에 할당된다.
부분적 무상관화
제2 단계에서, 후속 인지 인코딩의 효율성을 증가시키고, 렌더링시에 선택된 HOA 계수 시퀀스를 행렬화한 후에 발생하는 코딩 노이즈 언마스킹을 피하기 위하여, 선택된 HOA 계수 시퀀스들의 부분적 무상관화(12)가 실행된다. 예시적인 부분 무상관화(12)는 처음 개의 선택된 HOA 계수 시퀀스들에 공간 변환을 적용함으로써 달성되며, 이것은 개의 가상 확성기 신호들로의 렌더링을 의미한다. 각각의 가상 확성기 위치는 도 6에 도시된 구면 좌표계에 의해 표현되며, 여기서 각각의 위치는 단위 구면 상에 놓여 있다고 가정된다. 즉, 반경 1을 갖는다. 따라서, 위치는 방향 로 등가적으로 표현될 수 있고, 여기서, 이며, 및 는, 각각 경사각과 방위각을 나타낸다(구 좌표계의 정의에 대해서는 아래를 더 참조). 이들 방향은 가능한한 균일하게 단위 구면 상에 분산되어야 한다(예를 들어, 특정한 방향의 계산에 관한 [2] 참조). HOA는 일반적으로 에 의존하여 방향을 정의하기 때문에, 실제로 을 의미하며, 여기서는, 가 기재된다는 점에 유의한다.
이하에서는, 모든 가상 확성기 신호들의 프레임이 다음과 같이 표기된다
여기서,
이 표기를 이용하여, 렌더링 프로세스는 다음과 같은 행렬 곱셈에 의해 공식화될 수 있다,
채널 할당
중간 표현 의 프레임을 계산한 후, 그 개개의 신호 ,는, 인지 인코딩을 위한 전송 신호들 , 를 제공하기 위해 이용가능한 I개의 채널들에 할당된다(13). 할당(13)의 한 목적은, 연속된 프레임들 사이에서 선택이 변경되는 경우에 발생할 수 있는, 인지 인코딩될 신호들의 불연속성을 회피하는 것이다. 할당은 다음과 같이 표현될 수 있다,
이득 제어
전송 신호들 각각은 최종적으로 이득 제어 유닛(14)에 의해 처리되며, 여기서, 신호 이득은 인지 인코더에 적합한 값 범위를 달성하도록 매끄럽게 수정된다. 이득 수정은 연속적인 블록들 사이에서의 심각한 이득 변화를 피하기 위해 일종의 룩-어헤드(look-ahead)를 요구하며, 그에 따라, 한 프레임의 지연을 도입한다. 각각의 전송 신호 프레임 에 대해, 이득 제어 유닛(14)은 지연된 프레임 을 수신하거나 생성한다. 이득 제어 후의 수정된 신호 프레임은, , 로 표기된다. 또한, 공간 디코더에서 이루어진 임의의 변경을 되돌릴 수 있기 위하여, 이득 제어 부가 정보가 제공된다. 이득 제어 부가 정보는 지수 및 예외 플래그 , 를 포함한다. 이득 제어의 더 상세한 설명을 위해, 예를 들어, [9], Sect.C.5.2.5 또는 [3]을 참조한다. 따라서, 절삭된 HOA 버전(19)은 이득 제어된 신호 프레임들 및 이득 제어 부가 정보 , , 를 포함한다.
분석 필터 뱅크
전술된 바와 같이, 근사화된 HOA 표현은, 2개의 부분, 즉, 절삭된 HOA 버전(19), 및 절삭된 HOA 표현의 계수 시퀀스들로부터 예측되는 대응하는 방향들을 갖는 방향 부대역 신호들에 의해 표현되는 성분으로 구성된다. 따라서, 제2 부분의 파라미터 표현을 계산하기 위해, 원래의 HOA 표현 , 의 개개의 계수 시퀀스의 각각의 프레임은, 먼저, 개개의 부대역 신호들 의 프레임들로 분해된다. 이것은 하나 이상의 분석 필터 뱅크(15)에서 이루어진다. 각각의 부대역 , 에 대해, 개개의 HOA 계수 시퀀스들의 부대역 신호들의 프레임들은 하기의 부대역 HOA 표현으로 집합될 수 있다,
분석 필터 뱅크(15)는 방향 부대역 신호 계산을 위해 방향 추정 처리 블록(16) 및 하나 이상의 계산 블록(17)에 부대역 HOA 표현을 제공한다.
원칙적으로, 임의 유형의 필터(즉, 임의의 복소값 필터 뱅크, 예를 들어, QMF, FFT)가 분석 필터 뱅크(15)에서 이용될 수 있다. 분석 및 대응하는 합성 필터 뱅크의 연속적인 적용이 완벽한 재구성 속성으로 알려진 지연 신원(delay identity)을 제공할 것이 요구되지는 않는다. HOA 계수 시퀀스들 와는 대조적으로, 그들의 부대역 표현 은 일반적으로 복소값이라는 점에 유의한다. 또한, 부대역 신호들 은 원래의 시간 영역 신호들과 비교해 볼 때 일반적으로 시간적으로 데시메이트(decimate)된다. 결과적으로, 프레임들 내의 샘플수는 일반적으로, L인, 시간 영역 신호 프레임들 내의 샘플수보다 분명히 작다.
한 실시예에서, 인간 청각 시스템의 속성에 맞게 처리를 더 양호하게 적응시키기 위해, 2개 이상의 부대역 신호가 부대역 신호 그룹들로 결합된다. 각각의 그룹의 대역폭들은, 예를 들어, 그 부대역 신호들의 개수에 의해 널리 공지된 바크 스케일(Bark scale)로 적합화될 수 있다. 즉, 더 높은 주파수에서 특히, 2개 이상의 그룹들이 하나로 결합될 수 있다. 이 경우, 각각의 부대역 그룹은, 추출된 파라미터의 수가 단일의 부대역의 경우와 동일한 HOA 계수 시퀀스들의 세트 로 구성된다는 점에 유의한다. 한 실시예에서, 그룹화는, 분석 필터 뱅크 블록(15)에 통합될 수 있는 하나 이상의 부대역 신호 그룹화 유닛(명시 적으로 도시되지 않음)에서 수행된다.
방향 추정
방향 추정 처리 블록(16)은, 입력 HOA 표현을 분석하고 각각의 주파수 부대역 , 에 대해, 즉, 음장에 주요한 기여를 하는 부대역 일반 평면파의 방향들의 함수 세트 를 계산한다. 이 맥락에서, "주요한 기여"라는 용어는 예를 들어 다른 방향들로부터 입사하는 부대역 일반 평면파의 신호 전력보다 높은 신호 전력을 지칭한다. 이것은 또한, 인간의 인지의 측면에서의 높은 관련성을 지칭할 수도 있다. 부대역 그룹화가 이용되는 경우, 의 계산을 위해, 단일의 부대역 대신에 부대역 그룹이 이용될 수 있다는 점에 유의한다.
압축해제 동안에, 예측된 방향 부대역 신호들 내의 아티팩트는, 연속하는 프레임들 사이의 추정된 방향들과 예측 계수들의 변화로 인해 발생할 수 있다. 이러한 아티팩트를 피하기 위하여, 인코딩 동안 방향 부대역 신호들의 방향 추정 및 예측은 연결된 긴 프레임에 관해 수행된다. 연결된 긴 프레임은 현재 프레임과 그 선행물로 구성된다. 압축해제를 위해, 이들 긴 프레임들에 관해 추정된 양은 예측된 방향 부대역 신호들과의 중첩 가산 처리를 수행하는데 이용된다.
방향 추정을 위한 직접적인 접근법은 각 부대역을 별개로 처리하는 것이다. 한 실시예에서, 방향 탐색을 위해, 예를 들어, [7]에서 제안된 기술이 적용될 수 있다. 이 접근법은, 각각의 개개의 부대역에 대해, 방향 추정의 부드러운 시간적 궤적을 제공하고 급격한 방향 변화나 시작을 포착할 수 있다. 그러나, 이 공지된 접근법에는 2가지 단점이 있다.
첫 째, 각각의 부대역에서의 독립적인 방향 추정은, 전체-대역 일반 평면파의 존재시에(예를 들어, 소정 방향의 일시적인 드럼 박동), 개개의 하위 방향들에서의 추정 오류가 하나의 단일 방향으로부터의 원하는 전체-대역 버전으로 합해지지 않는 상이한 방향들로부터의 부대역 일반 평면파들로 이어질 수 있다는 바람직하지 않는 효과를 초래할 수 있다. 특히 소정 방향들로부터의 일시적인 신호들이 흐려진다.
둘 째, 낮은 비트 레이트 압축을 얻으려는 의도를 고려할 때, 부가 정보로부터 생기는 총 비트 레이트를 반드시 염두에 두어야 한다. 이하에서, 한 예는, 이러한 단순 접근 방식에 대한 비트 레이트가 다소 높다는 것을 보여줄 것이다. 예시적으로, 부대역의 개수 는 10인 것으로 가정되고 (각각의 세트 내의 요소들의 개수에 대응하는) 각각의 부대역의 방향들의 개수는 4인 것으로 가정된다. 또한, [9]에서 제안된 바와 같이, 각각의 부대역에 대해 개의 잠재적인 방향 후보들의 그리드 상에서 탐색을 수행하는 것으로 가정된다. 이것은 단일 방향의 단순 코딩을 위해 비트를 요구한다. 초당 약 50 프레임의 프레임 레이트를 가정하면, 결과적인 전체 데이터 레이트는, 방향들의 코딩된 표현에 대해서만 다음과 같다.
초당 25 프레임의 프레임 속도를 가정하더라도, 10 kbit/s의 결과적인 데이터 레이트는 여전히 다소 높다.
한 개선으로서, 한 실시예에서, 방향 추정 블록(20)에서 다음과 같은 방향 추정을 위한 방법이 이용된다. 개괄적인 사상은 도 2에 도시되어 있다.
제1 단계에서, 전체-대역 방향 추정 블록(21)은, 연결된 긴 프레임을 이용하여, 개의 테스트 방향들 , 로 구성된 방향 그리드상에서, 예비 전체-대역 방향 추정 또는 탐색을 수행한다,
프레임당 방향 후보들의 최대 개수에 대한 전형적인 값은 이다. 방향 추정은, 예를 들어, 방향들의 베이지안 추론을 위한 간단한 소스 이동 모델로 입력 HOA 표현의 방향 파워 분포로부터 얻은 정보를 결합하는 사상의 [7]에서 제안된 방법에 의해 달성될 수 있다.
제2 단계에서, 방향 탐색은, 부대역(또는 부대역 그룹)마다 부대역 방향 추정 블록(22)에 의해 각각의 개개의 부대역에 대해 수행된다. 그러나, 부대역에 대한이 이러한 방향 탐색은 개의 테스트 방향들로 구성되는 초기의 전체 방향 그리드를 고려할 필요가 없고, 단지 각 부대역에 대한 개의 방향들만을 포함하는 후보 세트 만을 고려할 필요가 있다. 로 표기되는, 번째 부대역, 에 대한 방향들의 수는, 통상적으로 보다 작은, , 예를 들어, 보다 크지 않다. 전체-대역 방향 탐색과 마찬가지로, 부대역 관련 방향 탐색은 또한, 현재 및 이전 프레임들로 구성된, 부대역 신호들의 긴 연결된 프레임들에 관해 수행된다,
원칙적으로, 전체-대역 관련 방향 탐색의 경우와 동일한 베이지안 추론 방법이 부대역 관련 방향 탐색에 적용될 수 있다.
특정한 사운드 소스의 방향은 시간에 따라 변할 수도 있다(그러나, 변할 필요는 없다). 특정한 사운드 소스의 시간적 시퀀스는 여기서는 "궤적(trajectory)"이라고 부른다. 각각의 부대역 관련 방향, 또는 궤적은, 각각, 명확한 인덱스를 가지며, 이것은 상이한 궤적들을 혼합하는 것을 방지하고 연속적인 방향 부대역 신호를 제공한다. 이것은 후술되는 방향 부대역 신호들의 예측에 중요하다. 특히, 이것은 이하에서 더 정의되는 연속적인 예측 계수 행렬들 간의 시간 의존성을 활용하는 것을 허용한다. 따라서, 번째 부대역에 대한 방향 추정은 튜플 세트 를 제공한다. 각각의 튜플은, 한편으로는, 개개의 (활성) 방향 궤적을 식별하는 인덱스 로 구성되고, 다른 한편으로는, 각각의 추정된 방향 으로 구성된다, 즉,
정의에 따르면, 부대역 방향 탐색은, 전술된 바와 같이, 현재 프레임의 방향 후보들 중에서만 수행되기 때문에, 세트 는 각각의 에 대한 의 서브세트이다. 이것은, 각각의 인덱스가 개의 후보 방향들 대신에 , 중에서 하나의 방향을 정의하기 때문에, 방향들에 관한 부가 정보의 더 효율적인 코딩을 허용한다. 인덱스 d는 궤적을 생성하기 위한 후속 프레임에서의 방향들을 추적하는데 이용된다.
도 2에 도시되고 전술된 바와 같이, 한 실시예에서 방향 추정 처리 블록(16)은 전체-대역 방향 추정 블록(21)을 갖는 방향 추정 블록(20)을 포함하고, 각각의 부대역 또는 부대역 그룹에 대해, 부대역 방향 추정 블록(22)을 포함한다. 이것은, 도 7에 도시된 바와 같이, 전술된 긴 프레임들을 방향 추정 블록(20)에 제공하는 긴 프레임 생성 블록(23)을 더 포함 할 수 있다. 긴 프레임 생성 블록(23)은, 예를 들어, 하나 이상의 메모리를 이용하여, 각각이 L개의 샘플들의 길이를 갖는 2개의 연속적인 입력 프레임들로부터 긴 프레임을 생성한다. 긴 프레임은, 여기서는 "―"와 2개의 인덱스, k-1 및 k를 가짐으로써 표시된다. 다른 실시예에서, 긴 프레임 생성 블록(23)은 도 1에 도시된 인코더에서 별개의 블록이거나, 다른 블록들에 포함될 수도 있다.
방향 부대역 신호들의 계산
도 1로 돌아와서, 분석 필터 뱅크(15)에 의해 제공된 부대역 HOA 표현 프레임들 , 은 또한 하나 이상의 방향 부대역 신호 계산 블록(17)에 입력된다. 방향 부대역 신호 계산 블록(17)에서, 모든 개의 잠재적인 방향 부대역 신호들 , 의 긴 프레임들은 행렬 에서 다음과 같이 배열된다,
나머지 긴 신호 프레임들 , 즉 인덱스 를 갖는 것들은 행렬 내에 수집된다. 그 내부에 포함된 활성 방향 부대역 신호들을 계산하는 한 가능성은 그들의 HOA 표현과 원래의 입력 부대역 HOA 표현 간의 오차를 최소화하는 것이다. 그 해는 다음과 같이 주어진다
여기서, 는 Moore-Penrose 의사 역행렬을 나타내고, 는 세트 내의 방향 추정치들에 대한 모드 행렬을 나타낸다. 부대역 그룹들의 경우에, 방향 부대역 신호들의 세트 는 그룹의 모든 HOA 표현들 에 의한 한 행렬 의 곱셈으로부터 계산된다는 점에 유의한다. 긴 프레임은 전술된 것과 유사하게 하나 이상의 추가적인 긴 프레임 생성 블록에 의해 생성될 수 있다는 점에 유의한다. 유사하게, 긴 프레임은 긴 프레임 분해 블록에서 정규 길이의 프레임들로 분해될 수 있다. 한 실시예에서, 방향 부대역의 계산을 위한 블록(17)은 그 출력에서 방향 부대역 예측 블록(18)을 향한 긴 프레임들 을 제공한다.
방향 부대역 신호들의 예측
전술된 바와 같이, 근사적인 HOA 표현은 부분적으로 활성 방향 부대역 신호들에 의해 표현되지만, 통상적으로 코딩되지 않는다. 대신에, 현재 설명되는 실시예들에서, 코딩된 표현의 전송을 위한 총 데이터 레이트를 낮게 유지하기 위해 파라미터 표현이 사용된다. 파라미터 표현에서, 각각의 활성 방향 부대역 신호, 즉, 인덱스 를 갖는 것들은, 절삭된 부대역 HOA 표현 및 의 계수 시퀀스들의 가중 합에 의해 예측되고, 여기서, 이고, 가중치는 일반적으로 복소값이다.
여기서, 는 부대역 에 대한 모든 가중 인자들(또는, 등가적으로, 예측 계수들)을 갖는 행렬이다. 예측 행렬 의 계산은 하나 이상의 방향 부대역 예측 블록(18)에서 수행된다. 한 실시예에서, 도 1에 도시된 바와 같이, 부대역당 하나의 방향 부대역 예측 블록(18)이 이용된다. 다른 실시예에서, 단일의 방향 부대역 예측 블록(18)이 복수의 또는 모든 부대역에 대해 이용된다. 부대역 그룹의 경우, 각각의 그룹에 대해 하나의 행렬 이 계산된다; 그러나, 이것은 그룹의 각각의 HOA 표현 으로 개별적으로 곱해져, 그룹마다 행렬 세트를 생성한다. 구성당 인덱스 를 가진 것들을 제외한 의 모든 행들이 0라는 점에 유의한다. 이것은 활성 방향 부대역 신호만이 예측된다는 것을 의미한다. 또한, 인덱스 를 가진 것들을 제외한 의 모든 열도 0이다. 이것은, 예측을 위해, HOA 압축해제 동안 예측을 위해 전송되고 이용가능한 HOA 계수 시퀀스들만이 고려된다는 것을 의미한다.
첫째, 원래의 절삭된 부대역 HOA 표현 은 일반적으로 HOA 압축해제에서 이용가능하지 않을 것이다. 대신에, 그 인지 디코딩된 버전 이 이용가능할 것이고 방향 부대역 신호의 예측에 사용될 것이다.
낮은 비트 레이트에서, 스펙트럼의 더 낮은 주파수와 중간 주파수가 통상적으로 코딩되는, 전형적인 오디오 코덱(AAC 또는 USAC 등)은 스펙트럼 대역 복제(SBR; spectral band replication)를 이용하는 반면, 높은 주파수 성분(예를 들어, 5kHz에서 시작)은 고주파 엔빌로프에 대한 여분의 부가 정보를 이용하여 더 낮은 주파수 및 중간 주파수로부터 복제된다.
그 때문에, 인각 디코딩 이후에 절삭된 HOA 성분 의 재구성된 부대역 계수 시퀀스의 크기는 원래의 것 과 유사하다. 그러나 이것은 위상의 경우에는 해당되지 않는다. 따라서, 고주파수 부대역들에 대해, 복소값 예측 계수들을 이용함으로써 예측에 대한 임의의 위상 관계를 활용하는 것은 의미가 없다. 대신에, 실수값 예측 계수만을 이용하는 것이 더 합리적이다. 특히, 번째 부대역이 SBR에 대한 시작 주파수를 포함하도록 인덱스 을 정의하면, 예측 계수의 타입을 다음과 같이 설정하는 것이 유리하다 :
다시 말해, 한 실시예에서, 더 낮은 부대역들에 대한 예측 계수들은 복소값인 반면, 더 높은 부대역들에 대한 예측 계수들은 실수값이다.
둘째, 한 실시예에서, 행렬 의 계산의 전략은 그 유형에 적합화된다. 특히, SBR에 의해 영향을 받지 않는 저주파 부대역들 , 에 대해, 와 그 예측된 버전 사이의 에러의 유클리드 놈(Euclidean norm)을 최소화함으로써 의 비제로 요소들을 결정하는 것이 가능하다. 인지 코더(31)는 (도시되지 않은) 을 정의하고 제공한다. 이러한 방식으로, 관련 신호들의 위상 관계가 예측을 위해 명시적으로 활용된다. 부대역 그룹들에 대해, 그룹의 모든 방향 신호들에 대한 예측 에러의 유클리드 놈은 최소화되어야한다(즉, 최소 제곱 예측 에러).
SBR에 의해 영향받는 고주파수 부대역들 , 의 경우, 절삭된 HOA 성분 의 재구성된 부대역 계수 시퀀스들의 위상들은 원래의 부대역 계수 시퀀스들의 것과 가장 기초적인 것조차 유사하다고 가정될 수 없기 때문에, 앞서 언급된 기준은 합리적이지 않다.
이 경우, 한 가지 해결책은, 예측에 대해, 위상을 무시하고, 대신에 신호 전력에만 집중하는 것이다. 예측 계수의 결정에 대한 합리적인 기준은 다음과 같은 에러를 최소화하는 것이다
여기서 연산 은 행렬에 요소별로 적용되는 것으로 가정된다. 다시 말하면, 예측 계수는, 절삭된 HOA 성분의 모든 가중 부대역 또는 부대역 그룹 계수 시퀀스들의 전력들의 합이 방향 부대역 신호들의 전력에 가장 가깝도록 선택된다. 이 경우, 이 최적화 문제를 해결하고 예측 행렬 의 예측 계수를 얻기 위해 비음수 행렬 인수분해 (Nonnegative Matrix Factorization; NMF) 기법(예를 들어, [8]을 참조)이 이용될 수 있다. 그 다음, 이들 행렬들은 인지 및 소스 인코딩 스테이지(30)에 제공된다.
인지 및 소스 인코딩
전술된 공간적 HOA 코딩 후에, (k-1)번째 프레임에 대한 결과적인 이득 조정된 전송 신호들 , 이 코딩되어 코딩된 표현 을 획득한다. 이것은 도 3에 도시된 인지 및 소스 인코딩 스테이지(30)에서 인지 코더(31)에 의해 수행된다. 또한, 세트들 , , 에 포함된 정보, 예측 계수 행렬들 , , 이득 제어 파라미터들 및 , , 및 할당 벡터 는 효율적인 저장 또는 전송을 위한 리던던시를 제거하기 위해 소스 인코딩된다. 이것은 부가 정보 소스 코더(32)에서 수행된다. 결과적인 코딩된 표현 은 코딩된 전송 신호 표현 , 과 함께 멀티플렉서(33)에서 멀티플렉싱되어 최종 코딩된 프레임 을 제공한다.
원칙적으로, 이득 제어 파라미터들의 소스 코딩 및 할당은 [9]와 유사하게 실행될 수 있으므로, 본 설명은, 이하에서 상세히 설명되는 방향 및 예측 파라미터의 코딩에만 집중한다.
방향의 코딩
개개의 부대역 방향의 코딩을 위해, 상기 설명에 따른 부적합 감소는 선택될 개개의 부대역 방향을 제약하는데 활용될 수 있다. 이미 언급한 바와 같이, 이러한 개개의 부대역 방향은 모든 가능한 테스트 방향들 , 중에서가 아니라 전체-대역 HOA 표현의 각각의 프레임에 관해 결정된 소수의 후보 중에서 선택된다. 예시적으로, 부대역 방향들의 소스 코딩을 위한 한 가능한 방법이 이하의 알고리즘 1에 요약되어 있다.
로 표시된 이 세트의 요소들의 개수는 방향의 코딩된 표현의 첫 번째 부분이다. 는 정의에 의해 의 서브셋이기 때문에, 는 비트로 코딩될 수 있다. 추가 설명을 명료화하기 위해, 세트 의 방향들은 , 로 표기된다, 즉,
제2 단계에서, 세트 의 방향들은, 여기서는 그리드라고 하는, 가능한 테스트 방향들 의 인덱스들 을 이용하여 코딩된다. 각각의 방향 , 에 대해, 각각의 그리드 인덱스는 비트의 크기를 갖는 배열 요소 로 코딩된다. 모든 코딩된 전체-대역 방향들을 나타내는 전체 배열 은 개의 요소들로 구성된다.
제3 단계에서, 각각의 부대역 또는 부대역 그룹 , 에 대해, d번째 방향 부대역 신호()가 활성인지의 여부, 즉,인지에 대한 정보는 배열 요소 로 코딩된다. 총 배열 은 개의 요소들로 구성된다. 이면, 각각의 부대역 방향 은, 개의 요소들로 구성된 배열 로의 각각의 전체-대역 방향 의 인덱스 에 의해 코딩된다.
이 방향 인코딩 방법의 효율성을 보이기 위해, 상기 예에 따른 방향들의 코딩된 표현에 대한 최대 데이터 레이트가 계산된다: 개의 부대역, 부대역당 개의 방향들, 개의 잠재적 테스트 방향들, 및 초당 25프레임의 프레임 레이트가 가정된다. 종래의 코딩 방법에서, 요구되는 데이터 레이트는 10 kbit/s였다. 한 실시예에 따른 개선된 코딩 방법에서는, 전체-대역 방향의 개수가 인 것으로 가정하면, GlobalDirGridIndices 를 코딩하기 위해 프레임당 비트가, 를 코딩하기 위해 비트가, 및 를 코딩하기 위해 비트가 필요하다. 그 결과, 데이터 레이트는 240 비트/프레임*25 프레임/s= 6 kbit/s이고, 이것은 10 kbit/s보다 분명히 작다. 전체-대역 방향들의 더 큰 수의 에 대해서도, 7 kbit/s의 데이터 레이트만으로 충분하다.
도 13은, 알고리즘 1에서와 같이, 방향 인덱스를 도시한다. 세트 MDIR(k)는 D(k)개의 전체-대역 후보 방향들을 가지며, 여기서, D(k) ≤ D이고 D는 미리정의된 값이다. MDIR(k)의 서브셋인 세트 MDIR(k)는 NoOfGlobalDirs(k)개의 실제로 이용된 방향들을 가진다. GlobalDirIndices는 (예를 들어, 소위 900개의 방향들의 그리드라고 하는) 전체-대역 방향들의 인덱스들을 저장하는 배열이다. bSubBandDirIsActive는, DSB개까지의 궤적들(또는 방향들) 각각에 대해, "활성"또는 "비활성"을 나타내는 비트를 저장한다. RelDirIndices는 bSubBandDirIsActive 인덱스들이 "활성"을 나타내고, 각각 log2(NoOfGlobalDirs(k)) 비트를 갖는, 궤적들/방향들에 대한 GlobalDirIndices의 인덱스들을 저장한다.
예측 계수 행렬의 코딩
예측 계수 행렬의 코딩에 대해, 방향 궤적들 및 결과적으로 방향 부대역 신호의 평활성으로 인해 연속적인 프레임들의 예측 계수들 사이에는 높은 상관관계가 있다는 사실이 활용될 수 있다. 또한, 각각의 예측 계수 행렬 에 대한 프레임당 개의 잠재적 비제로-요소들의 비교적 많은 수가 존재하며, 여기서, 는 세트 내의 요소들의 개수를 나타낸다. 전체적으로, 어떠한 부대역 그룹도 이용되지 않는다면 프레임당 코딩될 개의 행렬이 존재한다. 부대역 그룹들이 이용된다면, 대응적으로, 프레임당 코딩될 보다 적은 개수의 행렬이 존재한다.
한 실시예에서, 각각의 예측 계수에 대한 비트수를 낮게 유지하기 위하여, 각각의 복소값 예측 계수는 그 크기와 각도에 의해 표현되고, 그 다음, 각도와 크기는 연속적인 프레임들간에 차분적으로 및 행렬 의 각각의 특정한 요소에 대해 독립적으로 코딩된다. 크기가 구간 내에 있다고 가정하면, 크기 차이는 구간 내에 있다. 복소수들의 각도들의 차이는 구간 내에 있다고 가정될 수 있다. 크기와 각도 차이 양쪽 모두의 양자화를 위해, 각각의 구간은, 예를 들어, 동일한 크기의 개의 부구간들로 세분될 수 있다. 직접적인 코딩은 각각의 크기 및 각도 차이에 대해 개의 비트를 필요로 한다.
또한, 연속적인 프레임들의 예측 계수들 사이의 전술된 상관관계로 인해, 개별 차이들의 발생 확률은 고도로 불균일하게 분포된다는 것이 실험적으로 밝혀졌다. 특히, 각도뿐만 아니라 크기에서의 작은 차이가 더 큰 쪽보다 훨씬 더 자주 발생한다. 따라서, 예를 들어, 허프만 코딩과 같은, 코딩될 개개의 값의 선험적 확률에 기초한 코딩 방법은, 예측 계수당 평균 비트 수를 상당히 감소시키는데 활용될 수 있다. 다시 말해서, 실수부 및 허수부 대신에, 예측 행렬 에서 값의 크기 및 위상을 차분적으로 인코딩하는 것이 대개 유리하다는 것이 발견되었다. 그러나 실수부 및 허수부의 이용이 허용되는 상황이 나타날 수 있습니다.
한 실시예에서, 특별한 액세스 프레임들은 비차분적으로 코딩된 행렬 계수들을 포함하는 소정의 구간에서(애플리케이션에 특유함, 예를 들어, 초당 1회) 전송된다. 이것은, 디코더가 이들 특별한 액세스 프레임들로부터의 차분 디코딩을 재시작하는 것을 허용하므로, 디코딩을위한 무작위 진입을 가능하게 한다.
이하에서는, 위에서 구성된 바와 같은 낮은 비트 레이트 압축된 HOA 표현의 압축해제가 설명된다. 또한 압축해제는 프레임별로 동작한다.
원칙적으로, 실시예에 따르면, 낮은 비트 레이트 HOA 디코더는, 역순으로 배열된, 전술된 낮은 비트 레이트 HOA 인코더 컴포넌트들의 대응부들을 포함한다. 특히, 낮은 비트 레이트 HOA 디코더는 도 4에 도시된 바와 같은 인지 및 소스 디코딩 부분, 및 도 6에 도시된 바와 같은 공간 HOA 디코딩 부분으로 세분될 수 있다.
인지 및 소스 디코딩
도 4는, 한 실시예에서의, 인지 및 부가 정보 소스 디코더(40)를 도시한다. 인지 및 부가 정보 소스 디코더(40)에서, 낮은 비트 레이트 압축된 HOA 비트 스트림 는 디멀티플렉서에서 먼저 디멀티플렉싱되어(s41), 개의 신호들 , 의 인지 코딩된 표현과, 그 HOA 표현을 생성하는 방법을 기술하는 부가 정보 가 된다. 그 다음, 인지 디코더(42) 내의 개의 신호들의 인지 디코딩(s42) 및 부가 정보 디코더(43) (예를 들어, 엔트로피 디코더) 내의 부가 정보의 디코딩(s43)이 수행된다.
부가 정보 소스 디코더(43)는, 코딩된 부가 정보 를, 튜플 세트 , , 각각의 부대역 또는 부대역 그룹 fj (j=1, ..., F)에 대한 예측 계수 행렬들 , 이득 보정 지수 및 이득 보정 예외 플래그 , 및 할당 벡터 로 디코딩한다.
그 다음, 각각의 부대역 또는 부대역 그룹 , 에 대해, 개의 요소들로 구성된 배열 이 추출되며, 여기서, 번째 요소 는 번째 부대역 방향이 활성인지의 여부를 나타낸다. 또한, 활성 부대역 방향들의 총 개수 가 계산된다.
마지막으로, 튜플 세트 가 각각의 부대역 또는 부대역 그룹 , 에 대해 계산된다. 이것은 개개의 (활성) 부대역 방향 궤적을 식별하는 인덱스들 , 및 각각의 추정된 방향들 로 구성된다.
그 다음, 각각의 부대역 또는 부대역 그룹 , 에 대한 예측 계수 행렬들 이 코딩된 프레임 으로부터 재구성된다. 한 실시예에서, 재구성은 부대역 또는 부대역 그룹 마다 다음과 같은 단계들을 포함한다 :
먼저, 각각의 행렬 계수의 각도 및 크기 차이가 엔트로피 디코딩에 의해 얻어진다. 그 다음 엔트로피 디코딩된 각도 및 크기 차이가 코딩에 사용된 비트수 에 따라 실제 값 범위로 재조정된다. 마지막으로, 현재 예측 계수 행렬 은, 재구성된 각도 및 크기 차이를 최신 계수 행렬 의 계수들, 즉, 이전 프레임의 계수 행렬에 더함으로써 생성된다.
따라서, 이전 행렬 은 현재 행렬 의 디코딩을 위해 알려져야만 한다. 한 실시예에서, 랜덤 액세스를 가능하게 하기 위해, 이들 프레임으로부터의 차분 디코딩을 재시작하기 위해 비차분적으로 코딩된 행렬 계수들을 포함하는 특별한 액세스 프레임이 소정 구간들에서 수신된다.
인지 및 부가 정보 소스 디코더(40)는, 인지 디코딩된 신호들 ,, 튜플 세트들 , , 예측 계수 행렬들 , 이득 보정 지수들 , 이득 보정 예외 플래그들 , 및 할당 벡터 를 후속 공간 HOA 디코더(50)에 출력한다.
공간 HOA 디코딩
도 5는 한 실시예에서의 예시적인 공간 HOA 디코더(50)를 도시한다. 공간 HOA 디코더(50)는, 개의 신호들 , 및 부가 정보 디코더 (43)에 의해 제공된 전술된 부가 정보로부터 재구성된 HOA 표현을 생성한다. 공간 HOA 디코더(50) 내의 개개의 처리 유닛들이 이하에서 상세하게 설명된다.
역 이득 제어
공간적 HOA 디코더(50)에서, 인지 디코딩된 신호들 , 은, 연관된 이득 보정 지수 및 이득 보정 예외 플래그 와 함께, 하나 이상의 역 이득 제어 처리 블록(51)에 먼저 입력된다. 역 이득 제어 처리 블록들은 이득 보정된 신호 프레임들 를 제공한다. 한 실시예에서, 개의 신호들 각각은, 도 5에서와 같이, 별개의 역 이득 제어 처리 블록(51)에 공급되어, 번째 역 이득 제어 처리 블록이 이득 보정된 신호 프레임 을 제공하게 한다. 역 이득 제어에 대한 더 상세한 설명은, 예를 들어, [9], 11.4.2.1 절로부터 찾을 수 있다.
절삭된 HOA 재구성
절삭된 HOA 재구성 블록(52)에서, 개의 이득 보정된 신호 프레임들 은 할당 벡터 에 의해 제공된 정보에 따라 HOA 계수 시퀀스 행렬에 재분배(즉, 재할당)되어, 절삭된 HOA 표현 이 재구성되게 한다. 할당 벡터 는 개의 성분들을 포함하고, 이들 성분들은, 각각의 전송 채널에 대해, 자신이 원래의 HOA 성분의 어느 계수 시퀀스를 포함하는지를 나타낸다. 또한, 할당 벡터의 요소들은, 번째 프레임에 대한 모든 수신된 계수 시퀀스들의 원래의 HOA 성분을 참조하는 인덱스 세트 를 형성한다
이것은, 앞서 언급된 바와 같이, 수학식 26에서 인, 할당 벡터의 i 번째 요소는, 디코딩된 중간 표현 행렬 의 n 번째 라인의 가 i 번째 계수 로 대체됨을 나타낸다는 것을 의미한다.
여기서 모드 행렬 은 수학식 6에서 정의된 바와 같다. 모드 행렬은 각각의 또는 에 대해 미리정의된 주어진 방향에 의존하며, 따라서 인코더 및 디코더 양쪽 모두에서 독립적으로 구성될 수 있다. 또한 (또는 )은 규약에 의해 미리정의된다.
분석 필터 뱅크
예측된 방향 부대역 신호들에 의해 표현되는 제2 HOA 성분을 더 계산하기 위해, 압축해제된 절삭된 HOA 표현 의 개개의 계수 시퀀스 의 각각의 프레임 , 은 먼저 하나 이상의 분석 필터 뱅크(53)에서 개개의 부대역 신호들 , 의 프레임들로 분해된다. 각각의 부대역 , 에 대해, 개개의 HOA 계수 시퀀스들의 부대역 신호들의 프레임들은 다음과 같은 부대역 HOA 표현 으로 집합될 수 있다.
HOA 공간 디코딩 스테이지에서 적용되는 하나 이상의 분석 필터 뱅크(53)는 HOA 공간 인코딩 스테이지에서의 하나 이상의 분석 필터 뱅크(15)와 동일하고, 부대역 그룹에 대해서는 HOA 공간 인코딩 스테이지로부터의 그룹화가 적용된다. 따라서, 한 실시예에서, 그룹화 정보가 인코딩된 신호에 포함된다. 그룹화 정보에 대한 더 많은 상세사항은 이하에서 제공된다.
한 실시예에서, HOA 압축 스테이지(상기 수학식 4 부근을 참조)에서의 절삭된 HOA 표현의 계산에 대해 최대 차수 가 고려되며, HOA 압축기 및 압축해제기의 분석 필터 뱅크(15, 53)의 적용은 인덱스들 을 갖는 HOA 계수 시퀀스들 만으로 제한된다. 그러면, 인덱스들 을 갖는 부대역 신호 프레임들 은 0으로 설정될 수 있다.
방향 부대역 HOA 표현의 합성
각각의 부대역 또는 부대역 그룹에 대해, 방향 부대역 또는 부대역 그룹 HOA 표현 은 하나 이상의 방향 부대역 합성 블록(54)에서 합성된다. 한 실시예에서, 연속적인 프레임들 간의 방향 및 예측 계수의 변화로 인한 아티팩트를 피하기 위해, 방향 부대역 HOA 표현의 계산은 중첩 가산(overlap add)의 개념에 기초한다. 따라서, 한 실시예에서, 번째 부대역, 에 관련된 활성 지향성 부대역 신호의 HOA 표현 은 페이드 아웃 된 성분 및 페이드 인 된 성분의 합으로서 계산된다:
제1 단계에서, 2개의 개개의 성분들을 계산하기 위해, 프레임들 에 대한 예측 계수 행렬들 및 번째 프레임에 대한 절삭된 부대역 HOA 표현 과 관련된 모든 방향 부대역 신호들 의 순간 프레임은 다음과 같이 계산된다
여기서, 는 방향 에 관한 (수학식 7의 모드 벡터로서의) 모드 벡터를 나타낸다. 각각의 부대역 그룹에 대해, 수학식 32는 그룹의 모든 신호에 대해 수행되고, 여기서, 행렬 는 각각의 그룹에 대해 고정된다.
활성 방향 부대역 신호들의 HOA 표현의 성분들에서 페이딩 아웃되고 페이딩 인된 샘플 값들은 결국 다음과 같이 결정된다
여기서, 하기 벡터는
중첩 가산 윈도우 함수를 나타낸다. 윈도우 함수의 예는 주기적 Hann 윈도우에 의해 주어지고, 그 요소들은 다음과 같이 정의된다
부대역 HOA 조성(composition)
각각의 부대역 또는 부대역 그룹 , 에 대해, 디코딩된 부대 역 HOA 표현 의 계수 시퀀스들 , 은, 이전에 전송된 경우에는 절삭된 HOA 표현 의 계수 시퀀스의 것으로 설정되고, 그 외의 경우에는 방향 부대역 합성 블록(54)들 중 하나에 의해 제공되는 방향 HOA 성분 의 것으로 설정된다, 즉,
이 부대역 조성은 하나 이상의 부대역 조성 블록(55)에 의해 수행된다. 실시예에서, 각각의 부대역 또는 부대역 그룹에 대해 별개의 부대역 조성 블록(55)이 이용되므로, 하나 이상의 방향 부대역 합성 블록(54)들 각각에 대해 이용된다. 한 실시예에서, 방향 부대역 합성 블록(54) 및 그 대응하는 부대역 조성 블록(55)은 단일의 블록으로 통합된다.
합성 필터 뱅크
최종 단계에서, 디코딩된 HOA 표현은 모든 디코딩 된 부대역 HOA 표현들 로부터 합성된다. 압축해제된 HOA 표현 의 개개의 시간 영역 계수 시퀀스들 은, 압축해제된 HOA 표현 을 최종적으로 출력하는 하나 이상의 합성 필터 뱅크(56)에 의해 대응하는 부대역 계수 시퀀스들 , 로부터 합성된다.
합성된 시간 영역 계수 시퀀스는 일반적으로 분석 및 합성 필터 뱅크(53, 56)의 연속적인 적용으로 인해 지연을 갖는다는 점에 유의한다.
도 8은, 예시적으로, 단일 주파수 부대역 f1에 대해, 활성 방향 후보들의 세트, 이들의 선택된 궤적들 및 대응하는 튜플 세트를 도시한다. 프레임 k에서, 4개의 방향이 주파수 부대역 f1에서 활성이다. 방향들은 각각의 궤적 T1, T2, T3 및 T5에 속한다. 이전의 프레임 k-2 및 k-1에서는, 상이한 방향들이 활성이었다, 즉, 각각 T1, T2, T6 및 T1-T4. 프레임 k에서의 활성 방향 세트 MDIR(k)는 전체 대역과 관련되며, 수 개의 활성 방향 후보들을 포함한다, 예를 들어, MDIR(k) = {Ω3, Ω8, Ω52, Ω101, Ω229, Ω446, Ω581}이다. 각각의 방향은 임의의 방식으로, 예를 들어, 2개의 각도로 또는 미리정의된 표의 인덱스로서, 표현될 수 있다. 활성 전체-대역 방향들의 세트로부터, 부대역 내에서 실제로 활성인 방향들 및 그들의 대응하는 궤적들은, 튜플 세트들 MDIR(k, fj), j = 1,...,F에서 각각의 주파수 부대역에 대해 개별적으로 수집된다. 예를 들어, 프레임 k의 제1 주파수 부대역에서, 활성 방향들은 Ω3, Ω52, Ω229 및 Ω581이고, 이들의 연관된 궤적은 각각 T3, T1, T2 및 T5이다. 제2 주파수 부대역 f2에서, 활성 방향은 전형적으로 Ω52 및 Ω229뿐이고, 그들의 연관된 궤적은 각각 T1 및 T2이다.
다음은, 예시적인 세트 IC,ACT(k) = {1,2,4,6}의 계수 시퀀스들에 대응하는, 예시적인 절삭된 HOA 표현 CT(k)의 계수 행렬의 일부이다:
IC,ACT(k)에 따라, 행 1, 2, 4 및 6의 계수들만 0으로 설정되지 않는다(그럼에도 불구하고, 이들은 신호에 따라, 0 일 수 있다). 행렬 CT(k)의 각각의 열은 샘플을 참조하고, 행렬의 각각의 행은 계수 시퀀스이다. 압축은, 모든 계수 시퀀스가 인코딩되고 전송되는 것이 아니라, 일부 선택된 계수 시퀀스, 즉, 인덱스가 각각 IC,ACT(k) 및 할당 벡터 에 포함된 계수 시퀀스만 인코딩되고 전송된다는 것을 포함한다. 디코더에서, 계수들은 압축해제되고 재구성된 절삭된 HOA 표현의 정확한 행렬 행들에 위치한다. 행들에 관한 정보는 할당 벡터 로부터 얻어지며, 이 할당 벡터는 각각의 전송된 계수 시퀀스에 이용되는 전송 채널을 추가로 제공한다. 나머지 계수 시퀀스들은 0으로 채워지고, 수신된 부가 정보에 따라 수신된 (일반적으로 0이 아닌) 계수들로부터 나중에 예측된다, 예를 들어, 예측 행렬.
부대역 그룹화
한 실시예에서, 이용된 부대역들은 사람의 청각의 음향심리학적 특성에 적합화된 상이한 대역폭들을 가진다. 대안으로서, 분석 필터 뱅크(53)로부터의 다수의 부대역들이 결합되어 상이한 대역폭들을 갖는 부대역들을 갖춘 적합화된 필터 뱅크를 형성한다. 분석 필터 뱅크(53)로부터의 인접한 부대역들의 그룹은 동일한 파라미터들을 이용하여 처리된다. 결합된 부대역들의 그룹들이 이용된다면, 인코더 측에서 적용되는 대응하는 부대역 구성은 디코더측에 알려져야 한다. 실시예에서, 구성 정보가 전송되고 디코더에 의해 그 합성 필터 뱅크를 셋업하기 위해 이용된다. 실시예에서, 구성 정보는 복수의 미리정의된 알려진 구성들 (예를 들어, 리스트) 중 하나에 대한 식별자를 포함한다.
또 다른 실시예에서, 부대역 구성을 정의하기 위해 필요한 비트수를 감소시키는 다음과 같은 융통성있는 해결책이 이용된다. 부대역 구성의 효율적인 인코딩을 위해, 처음의, 끝에서 두 번째의, 및 마지막 부대역 그룹의 데이터는 다른 부대역 그룹들과는 상이하게 취급된다. 또한, 부대역 그룹 대역폭 차이 값들은 인코딩에서 이용된다. 원칙적으로, 부대역 그룹화 정보 코딩 방법은 오디오 신호의 하나 이상의 프레임들에 대해 유효한 부대역 그룹들에 대한 부대역 구성 데이터를 코딩하는데 적합하며, 여기서, 각각의 부대역 그룹은 하나 이상의 인접한 원래의 부대역들의 조합이고 원래의 부대역들의 수는 미리 정의되어 있다. 실시예에서, 후속 부대역 그룹의 대역폭은 현재 부대역 그룹의 대역폭보다 크거나 같다. 이 방법은 NSB-1을 나타내는 고정된 비트수를 갖는 다수의 NSB개의 부대역 그룹을 코딩하는 단계를 포함하고, NSB > 1이면, 제1 부대역 그룹 g1에 대해 BSB[1]-1을 나타내는 단항 코드를 갖는 대역폭 값 BSB[1]을 코딩한다.NSB=3이면, 고정된 비트수를 갖는 대역폭 차이 값 이 제2 부대역 그룹 g2에 대해 코딩된다. NSB > 3이면, 대응하는 개수의 대역폭 차이 값들 이 단항 코드를 갖는 부대역 그룹들 에 대해 코딩되고, 고정된 수의 비트를 갖는 대역폭 차이 값 이 마지막 부대역 그룹 에 대해 코딩된다. 부대역 그룹에 대한 대역폭 값은 인접한 원래의 부대역들의 수로서 표현된다. 마지막 부대역 그룹 에 대해, 어떠한 대응하는 값도 코딩된 부대역 구성 데이터에 포함될 필요가 없다.
이하에서는, HOA(Higher Order Ambisonics)의 일부 기본적인 피쳐들이 설명된다.
HOA(Higher Order Ambisonics)는 사운드 소스가 없는 것으로 가정되는 관심대상의 컴팩트 영역 내의 음장에 대한 설명에 기초한다. 이 경우, 관심대상 영역 내의 시간 t와 위치 x에서의 음압 의 시공간적 거동은 균질 파동 방정식에 의해 물리적으로 완전히 결정된다. 이하에서는, 도 6에 도시된 구면 좌표계를 가정한다. 이 좌표계에서, x축은 정면 위치를 가리키고 y축은 좌측을 가리키며 z축은 상부를 가리킨다. 공간에서의 위치 는, 반경 r>0(즉, 좌표 원점까지의 거리), 극축 z(!)으로부터 측정된 경사각 , 및 x축으로부터의 x-y 평면에서 반시계 방향으로 측정된 방위각 으로 나타낸다. 또한, 는 전치(transposition)를 나타낸다.
수학식 42에서, 는 사운드의 속도를 나타내고 는 에 의해 각주파수 와 관련된 각파수(angular wave number)를 나타낸다. 또한, 는 제1 종 구면 베셀 함수를 나타내고, 는, 위에서 정의된 차수 및 도수 의 실수값 구면 고조파를 나타낸다. 확장 계수 는 각파수 에만 의존한다. 음압은 공간적으로 대역-제한된다는 것이 묵시적으로 가정된다는 점에 유의한다. 따라서, 급수는, HOA 표현의 차수라고 불리는 상한 에서 차수 인덱스 에 관하여 절삭된다.
음장이 상이한 각주파수들 의 무한 개수의 고조파 평면파들의 중첩으로 표현되고 각도 튜플 에 의해 명시된 모든 가능한 방향들에서 도달하면, 각각의 평면파 복소 진폭 함수 는 다음과 같은 구면 고조파 확장에 의해 나타낼 수 있다[10]
여기서, 는 샘플링 기간을 나타낸다. 의 요소들은 여기서는 이산-시간 HOA 계수 시퀀스라 부르며, 항상 실수값인 것으로 보일 수 있다. 이 속성은 또한 명백히 연속-시간 버전 에 대해서도 유효하다.
실수값 구면 고조파의 정의
여기서,
한 실시예에서, (복소값 필터 뱅크로부터 획득되는) HOA 신호 표현의 부대역 또는 부대역 그룹 내의 우세 방향 신호들의 방향들의 프레임별 결정 및 효율적인 인코딩을 위한 방법은,
각각의 현재 프레임 k에 대해: HOA 신호에서 전체 대역 방향 후보들의 세트 MDIR(k), 상기 세트 MDIR(k) 내의 요소들의 수 NoOfGlobalDirs(k) 및 상기 요소들의 수를 인코딩하는데 요구되는 수 D(k)=log2(NoOfGlobalDirs(k))를 결정 ―각각의 전체 대역 방향 후보는, 미리정의된 전체 세트의 Q개의 가능한 방향들에 관련된 전역 지수 q()를 가짐― 하는 단계, 현재 프레임 k의 각각의 부대역 또는 부대역 그룹 j에 대해, 세트 MDIR(k) 내의 전체 대역 방향 후보들 중 어느 방향들이 활성 부대역 방향으로서 발생하는지를 결정하는 단계, 임의의 부대역 또는 부대역 그룹들에서 활성 부대역 방향으로서 발생하는 이용된 전체 대역 방향 후보들의 세트 MFB(k)(모두는 HOA 신호에서 전체 대역 방향 후보들의 세트 MDIR(k) 내에 포함됨) 및 이용된 전체 대역 방향 후보들의 세트 MFB(k) 내의 요소들의 수 NoOfGlobalDirs(k)를 결정하는 단계, 및 현재 프레임 k의 각각의 부대역 또는 부대역 그룹 j에 대해: 세트 MDIR(k) 내의 전체 대역 방향 후보들 중에서 d()개까지의 방향들 중 어느 방향들이 활성 부대역 방향인지를 결정하고, 활성 부대역 방향들 각각에 대해 궤적 및 궤적 인덱스를 결정하고, 궤적 인덱스를 각각의 활성 부대역 방향에 할당하며, 현재의 부대역 또는 부대역 그룹 j 내의 활성 부대역 방향들 각각을 D(k) 비트를 갖는 상대 인덱스에 의해 인코딩하는 단계를 포함한다.
한 실시예에서, 컴퓨터 판독가능한 매체에는, 컴퓨터에서 실행될 때 컴퓨터로 하여금 우세 방향 신호들의 방향들의 프레임별 결정과 효율적인 인코딩을 위해 상기 개시된 방법을 수행하게 하는 실행가능한 명령어들이 저장되어 있다.
또한, 한 실시예에서, HOA 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 디코딩을 위한 방법은,
디코딩될 HOA 신호 표현에 대한 최대 개수의 방향들 D의 인덱스들을 수신하고, 부대역당 활성 방향 신호들의 인덱스들을 수신하며, 디코딩될 HOA 신호 표현의 최대 개수의 방향들 D의 방향들을 재구성하고, 디코딩될 HOA 신호 표현의 재구성된 방향들 D 및 부대역당 활성 방향 신호들의 인덱스들로부터 부대역당 활성 방향들을 재구성하고, 부대역들의 방향 신호들을 예측하는 단계를 포함하고, 여기서, 부대역의 현재 프레임에서 방향 신호를 예측하는 것은, 부대역의 선행하는 프레임의 방향 신호를 결정하는 것을 포함하고, 여기서, 방향 신호의 인덱스가 선행 프레임에서 제로이고 현재 프레임에서 비제로이면 새로운 방향 신호가 생성되고, 방향 신호의 인덱스가 선행 프레임에서 비제로이고 현재 프레임에서 제로이면 이전 방향 신호는 취소되고, 방향 신호의 인덱스가 제1 방향으로부터 제2 방향으로 변하면 방향 신호의 방향은 제1 방향으로부터 제2 방향으로 이동된다.
한 실시예에서, 도 1 및 도 3에 도시되고 상기에서 논의된 바와 같이, 주어진 개수의 계수 시퀀스 ―각각의 계수 시퀀스는 인덱스를 가짐― 를 갖는 입력 HOA 신호의 프레임들을 인코딩하기 위한 장치는, 적어도 하나의 하드웨어 프로세서 및 적어도 하나의 소프트웨어 컴포넌트를 유형적으로 구현하는 비일시적, 유형의 컴퓨터 판독가능한 저장 매체를 포함하고, 적어도 하나의 소프트웨어 컴포넌트는 적어도 하나의 하드웨어 프로세서에서 실행될 때,
감소된 개수의 비제로 계수 시퀀스들을 갖는 절삭된 HOA 표현 을 계산하고(11), 절삭된 HOA 표현에 포함된 활성 계수 시퀀스들 IC,ACT(k)의 인덱스 세트를 결정하며(11), 입력 HOA 신호로부터 제1 세트의 후보 방향 MDIR(k)을 추정하고(16); 입력 HOA 신호를 복수의 주파수 부대역들 로 분할 ―여기서, 주파수 부대역들의 계수 시퀀스들 이 획득됨― 하며(15), 주파수 부대역들 각각에 대해 제2 세트의 방향들 MDIR(k,f1), ..., MDIR(k,fF) ―제2 세트의 방향들의 각각의 요소는 제1 및 제2 인덱스를 갖는 인덱스들의 튜플이고, 제2 인덱스는 현재의 주파수 부대역에 대한 활성 방향의 인덱스이며, 제1 인덱스는 활성 방향의 궤적 인덱스이고, 각각의 활성 방향은 또한 입력 HOA 신호의 제1 세트의 후보 방향들 MDIR(k)에 포함됨― 을 추정하고(16), 주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 제2 세트의 방향들 MDIR(k,f1), ..., MDIR(k,fF)에 따라 주파수 부대역의 계수 시퀀스들 로부터 방향 부대역 신호들 을 계산하며(17),
주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 활성 계수 채널들 IC,ACT(k)의 인덱스들의 세트를 이용하여 주파수 부대역의 계수 시퀀스들 로부터 방향 부대역 신호들 을 예측하기 위해 구성된 예측 행렬 A(k,f1),...,A(k,fF)을 계산하고(18), 제1 세트의 후보 방향들 MDIR(k), 제2 세트의 방향들 MDIR(k,f1),..., MDIR(k,fF), 예측 행렬들 A(k,f1),...,A(k,fF), 및 절삭된 HOA 표현 을 인코딩하게 한다.
한 실시예에서, 도 4 및 도 5에 도시되고 상기에서 논의된 바와 같이, 압축된 HOA 표현을 디코딩하기 위한 장치는, 적어도 하나의 하드웨어 프로세서, 및 적어도 하나의 소프트웨어 컴포넌트를 구현하는 비일시적, 유형의, 컴퓨터 판독가능한 저장 매체를 포함하고, 적어도 하나의 소프트웨어 컴포넌트는, 적어도 하나의 하드웨어 프로세서에서 실행될 때, 압축된 HOA 표현으로부터, 복수의 절삭된 HOA 계수 시퀀스들 , 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스를 나타내거나 포함하는 할당 벡터 , 부대역 관련 방향 정보 MDIR(k+1,f1), ...,MDIR(k+1,fF), 복수의 예측 행렬 A(k+1,f1),...,A(k+1,fF), 및 이득 제어 부가 정보 를 추출하고(s41, s42, s43);
방향 부대역 합성 블록(54)에서, 주파수 부대역 표현들 각각에 대해, 재구성된 절삭된 HOA 표현의 각각의 주파수 부대역 표현 , 부대역 관련 방향 정보 MDIR(k+1,f1), ...,MDIR(k+1,fF), 및 예측 행렬 A(k+1,f1),...,A(k+1,fF)로부터 예측된 방향 HOA 표현 을 합성하며(s54),
부대역 조성 블록(55)에서, F개의 주파수 부대역들 각각에 대해, 계수 시퀀스가 할당 벡터 에 포함되는 인덱스 n을 갖는 경우 절삭된 HOA 표현 의 계수 시퀀스들로부터 획득되고 그렇지 않으면 방향 부대역 합성 블록(54)들 중 하나에 의해 제공된 예측된 방향 HOA 성분 의 계수 시퀀스들로부터 획득되는 계수 시퀀스들 , 을 갖는 디코딩된 부대역 HOA 표현 을 조성하고(s55), 합성 필터 뱅크(56)에서, 디코딩된 HOA 표현 을 획득하기 위해 디코딩된 부대역 HOA 표현들 을 합성(s56)하게 한다.
도 9는 한 실시예에서의 디코딩 방법의 플로차트를 도시한다. 압축된 HOA 표현으로부터 방향 정보를 디코딩하기 위한 방법(90)은, 압축된 HOA 표현의 각각의 프레임에 대해,
압축된 HOA 표현으로부터 후보 방향들 ―각각의 후보 방향은, 적어도 하나의 부대역에서의 잠재적 부대역 신호 소스 방향임―의 세트 MFB(k), 각각의 주파수 부대역에 대해 및 DSB개까지의 잠재적 부대역 신호 소스 방향들 각각에 대해 잠재적 부대역 신호 소스 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타는 비트 bSubBandDirIsActive(k,fj), 및 활성 부대역 방향들의 상대적 방향 인덱스들 RelDirIndices(k,fj)과 각각의 활성 부대역 방향에 대한 방향 부대역 신호 정보를 추출하는 단계(s91-s93);
각각의 주파수 부대역 방향에 대해 상대적 방향 인덱스들 RelDirIndices(k,fj)을 절대적 방향 인덱스들로 변환 ―상기 비트 bSubBandDirIsActive(k,fj)가 각각의 주파수 부대역에 대해 상기 후보 방향이 활성 부대역 방향이라고 나타낸다면, 각각의 상대적 방향 인덱스는 상기 후보 방향들의 세트 MFB(k) 내의 인덱스로서 사용됨― 하는 단계(s60); 및 상기 방향 부대역 신호 정보로부터 방향 부대역 신호들을 예측 ―상기 절대적 방향 인덱스들에 따라 방향 부대역 신호들에 방향들이 할당됨― 하는 단계(s70)를 포함한다.
한 실시예에서, 현재 프레임에서 방향 부대역 신호를 예측하는 단계(s70)는 선행 프레임의 부대역의 방향 부대역 신호들을 결정하는 단계를 포함하며, 여기서, 방향 부대역 신호의 인덱스가 선행 프레임에서 제로이고 현재 프레임에서 비제로이면, 새로운 방향 부대역 신호가 생성되고, 방향 신호의 인덱스가 선행 프레임에서 비제로이고 현재 프레임에서 제로이면 이전의 방향 부대역 신호는 취소되고, 방향 부대역 신호의 인덱스가 제1 방향으로부터 제2 방향으로 변하면 방향 부대역 신호의 방향은 제1 방향으로부터 제2 방향으로 이동된다.
실시예에서, 적어도 하나의 부대역은 2개 이상의 주파수 부대역으로 이루어진 부대역 그룹이다.
실시예에서, 방향 부대역 신호 정보는 적어도 복수의 절삭된 HOA 계수 시퀀스들 , 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스를 나타내거나 포함하는 할당 벡터 , 및 복수의 예측 행렬 A(k+1,f1),...,A(k+1,fF)을 포함한다. 실시예에서, 이 방법은, 복수의 절삭된 HOA 계수 시퀀스들 및 할당 벡터 로부터 절삭된 HOA 표현 을 재구성하는 단계(s51, s52); 분석 필터 뱅크(53)에서 재구성된 절삭된 HOA 표현 을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현들 로 분해하는 단계(s53)를 포함하고, 여기서, 방향 부대역 신호를 예측하는 상기 단계는 상기 주파수 부대역 표현들 및 복수의 예측 행렬 A(k+1,f1),...,A(k+1,fF)를 이용한다.
실시예에서, 추출하는 단계는, 인지 코딩된 부분 및 인코딩된 부가 정보 부분을 획득하기 위해 압축된 HOA 표현을 디멀티플렉싱하는 단계(s91)를 포함하고, 인지 코딩된 부분은 절삭된 HOA 계수 시퀀스들 을 포함하고, 인코딩된 부가 정보 부분은 활성 후보 방향들의 세트 MDIR(k), 활성 부대역 방향들의 상대적 방향 인덱스들 RelDirIndices(k,fj), 상기 할당 벡터 , 상기 예측 행렬들 A(k+1,f1),...,A(k+1,fF) , 및 각각의 주파수 부대역과 각각의 활성 후보 방향에 대해 활성 후보 방향이 활성 부대역 방향이라는 것을 나타내는 상기 비트 bSubBandDirIsActive(k,fj)를 포함한다.
실시예에서, 이 방법은 인지 디코더(42)에서 추출된 절삭된 HOA 계수 시퀀스들 을 인지 디코딩(s92)하여 절삭된 HOA 계수 시퀀스들 을 획득하는 단계를 더 포함한다. 실시예에서, 이 방법은, 부가 정보 소스 디코더(43)에서 인코딩된 부가 정보 부분을 디코딩(s93)하여 부대역 관련 방향 정보MDIR(k+1,f1), ...,MDIR(k+1,fF), 예측 행렬 A(k+1,f1),...,A(k+1,fF), 이득 제어 부가 정보 및 할당 벡터 를 획득하는 단계를 더 포함한다.
실시예에서, 이 방법은, 방향 부대역 합성 블록(54)에서, 주파수 부대역 표현들 각각에 대해, 재구성된 절삭된 HOA 표현의 각각의 주파수 부대역 표현 , 부대역 관련 방향 정보 MDIR(k+1,f1), ...,MDIR(k+1,fF) 및 예측 행렬 A(k+1,f1),...,A(k+1,fF)로부터, 예측된 방향 HOA 표현 을 합성하는 단계(s54); 부대역 조성 블록들(55)에서, F개의 주파수 부대역들 각각에 대해, 계수 시퀀스가 할당 벡터 에 포함되는 인덱스 n을 갖는 경우 절삭된 HOA 표현 의 계수 시퀀스들로부터 획득되고 그렇지 않으면 방향 부대역 합성 블록(54)들 중 하나에 의해 제공된 예측된 방향 HOA 성분 의 계수 시퀀스들로부터 획득되는 계수 시퀀스들 , 을 갖는 디코딩된 부대역 HOA 표현 을 조성하는 단계(s55); 및 합성 필터 뱅크(56)에서, 디코딩된 HOA 표현을 획득하기 위해 디코딩된 부대역 HOA 표현들 을 합성하는 단계(s56)를 더 포함한다. 실시예에서, 방향 부대역 신호 정보는 활성 방향들의 세트 MDIR(k)와 제1 및 제2 인덱스를 갖는 인덱스들의 튜플들을 포함하는 튜플 세트 MDIR(k+1,f1), ...,MDIR(k+1,fF)를 포함하고, 제2 인덱스는 현재의 주파수 부대역에 대한 활성 방향들의 세트 MDIR(k) 내의 활성 방향의 인덱스이며, 제1 인덱스는 활성 방향의 궤적 인덱스이고, 궤적은 특정한 사운드 소스의 방향들의 시간적 시퀀스이다.
한 실시예에서, 방향 정보를 디코딩하기 위한 장치는 프로세서와 메모리를 포함하고, 메모리는, 실행될 때 상기 장치로 하여금 제1 항의 단계들을 수행하게 하는 명령어들을 저장한다.
도 10은 한 실시예에서의 인코딩 방법의 플로차트를 도시한다.
입력 HOA 신호의 프레임들에 대한 방향 정보를 인코딩하기 위한 방법(100)은,
입력 HOA 신호로부터 사운드 소스들의 방향들인 제1 세트의 활성 후보 방향들 MDIR(k)을 결정 ―활성 후보 방향들은 Q개의 전역 방향들의 미리정의된 세트 중에서 결정되고, 각각의 전역 방향은 전역 방향 인덱스를 가짐― 하는 단계(s101); 상기 입력 HOA 신호를 복수의 주파수 부대역들 로 분할하는 단계(s102); 상기 제1 세트의 활성 후보 방향들 MDIR(k) 중에서, 주파수 부대역들 각각에 대해, 제2 세트의 DSB(DSB <Q)개까지의 활성 부대역 방향들을 결정하는 단계(s103); 주파수 부대역마다 각각의 방향에 상대적 방향 인덱스 ―방향 인덱스는 범위 [1,...,NoOfGlobalDirs(k)]에 있음― 를 할당하는 단계(s104); 현재 프레임에 대한 방향 정보를 조립하는 단계(s105); 및 조립된 방향 정보를 전송하는 단계(s106)를 포함한다.
방향 정보는, 활성 후보 방향들 MDIR(k), 각각의 주파수 부대역 및 각각의 활성 후보 방향에 대해 활성 후보 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트 bSubBandDirIsActive(k,fj), 및 각각의 주파수 부대역에 대해 제2 세트의 부대역 방향들 중의 활성 부대역 방향들의 상대적 방향 인덱스들 RelDirIndices(k,fj)을 포함한다.
한 실시예에서, 이 방법은 입력 HOA 신호로부터 절삭된 HOA 표현 CT(k) 및 방향 부대역 신호들 을 조성하는 단계(s107)를 더 포함하며, 절삭된 HOA 표현은 하나 이상의 계수 시퀀스들이 0으로 설정되는 HOA 신호이고, 여기서, 방향 정보는 방향 부대역 신호가 가리키는 방향을 제공하고, 상기 전송하는 단계는 절삭된 HOA 표현 CT(k)) 및 방향 부대역 신호들 을 정의하는 정보를 전송하는 단계를 더 포함한다.
한 실시예에서, 방향 부대역 신호들 을 정의하는 정보는 예측 행렬들 A(k,f1),..., A(k,fF)을 포함한다. 한 실시예에서, 이 방법은, 제1 세트의 활성 후보 방향들 중에서, 주파수 부대역들 중 적어도 하나에서 이용되는 이용된 후보 방향들 세트 MFB(k), 및 이용된 후보 방향들 세트의 요소들의 개수 NoOfGlobalDirs(k)를 결정 ―방향 정보를 조립하는 상기 단계(s105)에서의 활성 후보 방향들이 상기 이용된 후보 방향들임― 하는 단계(s105a); 및 상기 이용된 후보 방향들을 그들의 전역 인덱스에 의해 인코딩하고(s105b) 요소들의 개수를 log2(D) 비트로 인코딩 ―D는 미리정의된 최대 개수의 (전체-대역) 후보 방향들임― 하는 단계를 더 포함한다. 도 10b)는 이들 후자의 실시예들의 조합을 도시한다.
한 실시예에서, 이 방법은 활성 부대역 방향의 궤적을 결정하는 단계(s104a)를 더 포함하고, 여기서, 활성 부대역 방향은 주파수 부대역에 대한 사운드 소스의 방향이고, 궤적은 특정 사운드 소스의 방향들의 시간적 시퀀스이며, 현재 프레임의 현재 주파수 부대역의 활성 부대역 방향들은 선행 프레임의 동일한 주파수 부대역의 활성 부대역 방향들과 비교되고, 동일하거나 이웃한 활성 부대역 방향들은 동일한 궤적에 속하는 것으로 결정된다.
한 실시예에서, 부대역마다 각각의 방향에 할당된(s104) 방향 인덱스는 궤적 인덱스이고, 이 방법은, 궤적 인덱스를 각각의 결정된 궤적에 할당하는 단계(s104b); 각각의 주파수 부대역에 대한 인덱스들의 튜플들을 포함하는 튜플 세트 MDIR(k,f1),..., MDIR(k,fF)를 생성하는 단계(s104c)를 더 포함하며, 여기서, 상기 인덱스들의 각각의 튜플은 현재 주파수 부대역에 대한 활성 부대역 방향의 인덱스와, 활성 부대역 방향에 대해 결정된 궤적의 궤적 인덱스를 포함한다. 도 10c)는 이들 후자의 실시예들의 조합을 도시한다. 한 실시예에서, 2개 이상의 주파수 부대역으로 이루어진 적어도 하나의 그룹이 생성되고, 적어도 하나의 그룹은 단일 주파수 부대역 대신에 이용되고 단일 주파수 부대역과 동일한 방식으로 취급된다.
한 실시예에서, 인코딩하기 위한 장치는 프로세서와 메모리를 포함하고, 메모리는, 실행될 때 상기 장치로 하여금 청구항 7의 단계들을 수행하게 하는 명령어들을 저장한다.
도 11은, 한 실시예에서, 입력 HOA 신호의 프레임들에 대한 방향 정보를 인코딩하기 위한 장치를 도시하고, 이 장치는, 입력 HOA 신호로부터 사운드 소스들의 방향들인 제1 세트의 활성 후보 방향들 MDIR(k)을 결정 ―활성 후보 방향들은 Q개의 전역 방향들의 미리정의된 세트 중에서 결정되고, 각각의 전역 방향은 전역 방향 인덱스를 가짐― 하도록(s101) 구성된 활성 후보 결정 모듈(101); 입력 HOA 신호를 복수의 주파수 부대역들 로 분할하도록(s102) 구성된 (분석 필터 뱅크(15)를 갖춘) 분석 필터 뱅크 모듈(102); 제1 세트의 활성 후보 방향들 MDIR(k) 중에서, 주파수 부대역들 각각에 대해, 제2 세트의 DSB(DSB <Q)개까지의 활성 부대역 방향들을 결정하도록(s103) 구성된 부대역 방향 결정 모듈(103); 주파수 부대역마다 각각의 방향에 상대적 방향 인덱스 ―방향 인덱스는 범위 [1,...,NoOfGlobalDirs(k)]에 있음― 를 할당하도록(s104) 구성된 상대적 방향 인덱스 할당 모듈(104); 현재 프레임에 대한 방향 정보를 조립하도록(s105) 구성된 방향 정보 조립 모듈(105); 및 조립된 방향 정보를 팩킹 및 저장 또는 전송)하도록(s106) 구성된 방향 정보 조립 모듈(106)을 포함한다. 방향 정보는, 활성 후보 방향들 MDIR(k), 각각의 주파수 부대역 및 각각의 활성 후보 방향에 대해 활성 후보 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트 bSubBandDirIsActive(k,fj), 및 각각의 주파수 부대역에 대해 제2 세트의 부대역 방향들 중의 활성 부대역 방향들의 상대적 방향 인덱스들 RelDirIndices(k,fj)을 포함한다. 모듈들(101-106)은, 예를 들어, 각각의 소프트웨어에 의해 구성될 수 있는 하나 이상의 하드웨어 프로세서를 이용함으로써 구현될 수 있다.
한 실시예에서, 이 장치는, 제1 세트의 활성 후보 방향들 중에서, 주파수 부대역들 중 적어도 하나에서 이용되는 이용된 후보 방향들 세트 MFB(k)를 결정하고, 이용된 후보 방향들 세트의 요소들의 개수를 결정 ―방향 정보 조립 모듈(105)이 조립하는 상기 방향 정보에 포함된 활성 후보 방향들이 상기 이용된 후보 방향들임― 하도록 구성된 이용된 후보 방향 결정 모듈(105a); 및 상기 이용된 후보 방향들을 그들의 전역 인덱스에 의해 인코딩하고 요소들의 개수를 log2(D) 비트로 인코딩 ―D는 미리정의된 최대 개수의 전체-대역 후보 방향들(즉, 전체 대역에 대한)임― 하도록 구성된 인코더(105b)를 더 포함한다.
한 실시예에서, 이 장치는, 활성 부대역 방향의 궤적을 결정하도록 구성된 궤적 결정 모듈(104a)을 더 포함하고, 여기서, 활성 부대역 방향은 주파수 부대역에 대한 사운드 소스의 방향이고, 궤적은 특정 사운드 소스의 방향들의 시간적 시퀀스이며, 하나 이상의 방향 비교기는, 현재 프레임의 현재 주파수 부대역의 활성 부대역 방향들을 선행 프레임의 동일한 주파수 부대역의 활성 부대역 방향들과 비교하며, 여기서, 동일하거나 이웃한 활성 부대역 방향들은 동일한 궤적에 속하는 것으로 결정된다.
한 실시예에서, 상대적 방향 인덱스 할당 모듈(104)이 부대역마다 각각의 방향에 할당하는 방향 인덱스는 궤적 인덱스이고, 상대적 방향 인덱스 할당 모듈(104)은, 궤적 인덱스를 각각의 결정된 궤적에 할당하도록 구성된 궤적 인덱스 할당 모듈(104b), 및 각각의 주파수 부대역에 대한 인덱스들의 튜플들을 포함하는 튜플 세트 MDIR(k,f1),..., MDIR(k,fF)를 생성하도록 구성된 튜플 세트 생성기(104c)를 더 포함하며, 여기서, 인덱스들의 각각의 튜플은 현재 주파수 부대역에 대한 활성 부대역 방향의 인덱스와, 활성 부대역 방향에 대해 결정된 궤적의 궤적 인덱스를 포함한다.
한 실시예에서, 이 장치는, 2개 이상의 주파수 부대역으로 이루어진 적어도 하나의 그룹을 생성하도록 구성된 적어도 하나의 그룹화 모듈을 더 포함하고, 여기서, 적어도 하나의 그룹은 단일 주파수 부대역 대신에 사용되고 단일 주파수 부대역과 동일한 방식으로 처리된다.
도 12는, 한 실시예에서, HOA 신호의 프레임들에 대한 방향 정보를 획득하기 위해 압축된 HOA 표현으로부터 방향 정보를 디코딩하기 위한 장치를 도시한다. 이 장치는, 압축된 HOA 표현으로부터 후보 방향들 ―각각의 후보 방향은, 적어도 하나의 부대역 내의 잠재적 부대역 신호 소스 방향임―의 세트 MFB(k), 각각의 주파수 부대역에 대해 및 최대 DSB개까지의 잠재적 부대역 신호 소스 방향들 각각에 대해 잠재적 부대역 신호 소스 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트 bSubBandDirIsActive(k,fj), 및 활성 부대역 방향들의 상대적 방향 인덱스들 RelDirIndices(k,fj)과 각각의 활성 부대역 방향에 대한 방향 부대역 신호 정보를 추출하도록 구성된 추출 모듈(40); 각각의 주파수 부대역 방향에 대해 상대적 방향 인덱스들 RelDirIndices(k,fj)을 절대적 방향 인덱스들로 변환 ―상기 비트 bSubBandDirIsActive(k,fj)가 각각의 주파수 부대역에 대해 상기 후보 방향이 활성 부대역 방향이라고 나타낸다면, 각각의 상대적 방향 인덱스는 상기 후보 방향들 세트 MFB(k) 내의 인덱스로서 사용됨― 하도록 구성된 변환 모듈(60); 및 상기 방향 부대역 신호 정보로부터 방향 부대역 신호들을 예측 ―방향들은 상기 절대적 방향 인덱스들에 따라 방향 부대역 신호들에 할당― 하도록 구성된 예측 모듈(70)을 포함한다. 모듈들(40,60, 70)은, 예를 들어, 각각의 소프트웨어에 의해 구성될 수 있는 하나 이상의 하드웨어 프로세서를 이용함으로써 구현될 수 있다.
한 실시예에서, 주어진 개수의 계수 시퀀스들을 갖는 입력 HOA 신호의 프레임들을 인코딩(및 그에 의해 압축)하기 위한 방법은, 절삭된 HOA 표현에 포함될 활성 계수 시퀀스들 IC,ACT(k)의 인덱스 세트를 결정하고, 감소된 개수의 비제로 계수 시퀀스들(즉, 입력 HOA 신호보다 적은 수의 비제로 계수 시퀀스들 및 그에 따라 더 많은 수의 제로 계수 시퀀스들)을 갖는 절삭된 HOA 표현 CT(k)을 계산하며, 입력 HOA 신호로부터 제1 세트의 후보 방향들 MDIR(k)을 추정하고, 입력 HOA 신호를 복수의 주파수 부대역들로 분할 ―여기서, 주파수 부대역들의 계수 시퀀스들 이 획득됨― 하며, 주파수 부대역들 각각에 대해 제2 세트의 방향들 MDIR(k,f1), ..., MDIR(k,fF) ―제2 세트의 방향들의 각각의 요소는 제1 및 제2 인덱스를 갖는 인덱스들의 튜플이고, 제2 인덱스는 현재의 주파수 부대역에 대한 활성 방향이며, 제1 인덱스는 활성 방향의 궤적 인덱스이고, 각각의 활성 방향은 또한 입력 HOA 신호의 제1 세트의 후보 방향들 MDIR(k)에 포함됨(즉, 제2 세트의 방향들의 활성 부대역 방향들은 제1 세트의 전체 대역 방향들의 서브셋임)― 을 추정하고, 주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 제2 세트의 방향들 MDIR(k,f1), ..., MDIR(k,fF)에 따라 주파수 부대역의 계수들 로부터 방향 부대역 신호들 을 계산하며,
주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 활성 계수 시퀀스들 IC,ACT(k)의 인덱스 세트를 이용하여 주파수 부대역의 계수들 로부터 방향 부대역 신호들 을 예측하기 위해 구성된 예측 행렬 A(k,f1),...,A(k,fF)을 계산하고, 제1 세트의 후보 방향들 MDIR(k), 제2 세트의 방향들 MDIR(k,f1),..., MDIR(k,fF), 예측 행렬들 A(k,f1),...,A(k,fF), 및 절삭된 HOA 표현 을 인코딩하는 단계들을 포함한다.
제2 세트의 방향들은 주파수 부대역들에 관련된다. 제1 세트의 후보 방향들은 전체 주파수 대역과 관련된다. 유익하게는, 주파수 부대역들 각각에 대해 제2 세트의 방향들을 추정하는 단계에서, 주파수 부대역의 방향들 MDIR(k,f1),..., MDIR(k,fF)은, 제2 세트의 부대역 방향들은 제1 세트의 전체 대역 방향들의 서브셋이기 때문에, 전체 대역 HOA 신호의 방향들 MDIR(k) 중에서만 탐색될 필요가 있다. 한 실시예에서, 각각의 튜플 내의 제1 및 제2 인덱스의 순차적 순서는 스왑된다, 즉, 제1 인덱스는 현재 주파수 부대역에 대한 활성 방향의 인덱스이고, 제2 인덱스는 활성 방향의 궤적 인덱스이다.
완전한 HOA 신호는 복수의 계수 시퀀스 또는 계수 채널을 포함한다. 이들 계수 시퀀스들 중 하나 이상이 제로로 설정되는 HOA 신호는 여기서는 절삭된 HOA 표현이라고 불린다. 절삭된 HOA 표현을 계산하거나 생성하는 것은, 일반적으로, 활성인, 그에 따라 제로로 설정되지 않는 계수 시퀀스들의 선택과, 활성이 아닌 계수 시퀀스들을 제로로 설정하는 것을 포함한다. 이 선택은, 다양한 기준에 따라, 예를 들어, 제로로 설정되지 않을 계수 시퀀스로서 최대 에너지를 포함하는 것들을, 또는 인지적으로 가장 관련있는 것들을 선택하거나, 계수 시퀀스들을 임의로 선택함으로써, 이루어질 수 있다. HOA 신호를 주파수 부대역들로 분할하는 것은, 예를 들어, 직교 거울 필터(QMF)를 포함하는 분석 필터 뱅크에 의해 수행될 수 있다.
한 실시예에서, 절삭된 HOA 표현 을 인코딩하는 것은, 절삭된 HOA 채널 시퀀스들의 부분적 무상관화, 전송 채널들에 (상관된 또는 무상관된) 절삭된 HOA 채널 시퀀스들 y1(k),..., yI(k)을 할당하기 위한 채널 할당, 전송 채널들 각각에 대한 이득 제어를 수행 ―여기서, 각각의 전송 채널에 대한 이득 제어 부가 정보 , 가 생성됨― 하는 것, 지각 인코더에서 이득 제어된 절삭된 HOA 채널 시퀀스들 z1(k),..., zI(k)을 인코딩하는 것, 부가 정보 소스 코더에서, 이득 제어 정보 , , 제1 세트의 후보 방향 MDIR(k), 제2 세트의 방향들 MDIR(k,f1),..., MDIR(k,fF) 및 예측 행렬들 A(k,f1),...,A(k,fF)을 인코딩하는 것, 및 인지 인코더와 부가 정보 소스 코더의 출력들을 멀티플렉싱하여 인코딩된 HOA 신호 프레임 을 획득하는 것을 포함한다.
또한, 한 실시예에서, 압축된 HOA 표현으로부터 디코딩(및 그에 의해 압축해제)하기 위한 방법은, 압축된 HOA 표현으로부터, 복수의 절삭된 HOA 계수 시퀀스들 , 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스를 나타내는(또는 포함하는) 할당 벡터 , 부대역 관련 방향 정보 MDIR(k+1,f1), ...,MDIR(k+1,fF), 복수의 예측 행렬 A(k+1,f1),...,A(k+1,fF), 및 이득 제어 부가 정보 를 추출하는 단계; 복수의 절삭된 HOA 계수 시퀀스 , 이득 제어 부가 정보 , 및 할당 벡터 로부터, 절삭된 HOA 표현 을 재구성하는 단계, 분석 필터 뱅크에서, 재구성된 절삭된 HOA 표현 을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현들 로 분해하는 단계,
방향 부대역 합성 블록에서, 주파수 부대역 표현들 각각에 대해, 재구성된 절삭된 HOA 표현의 각각의 주파수 부대역 표현 , 부대역 관련 방향 정보 MDIR(k+1,f1), ...,MDIR(k+1,fF), 및 예측 행렬 A(k+1,f1),...,A(k+1,fF)로부터, 예측된 방향 HOA 표현 을 합성하는 단계),
부대역 조성 블록에서, F개의 주파수 부대역들 각각에 대해, 계수 시퀀스가 할당 벡터 에 포함되는(의 요소인) 인덱스 n을 갖는 경우 절삭된 HOA 표현 의 계수 시퀀스들로부터 획득되고 그렇지 않으면 방향 부대역 합성 블록들 중 하나에 의해 제공된 예측된 방향 HOA 성분 의 계수 시퀀스들로부터 획득되는 계수 시퀀스들 , 을 갖는 디코딩된 부대역 HOA 표현 을 조성하고, 합성 필터 뱅크에서, 디코딩된 HOA 표현 을 획득하기 위해 디코딩된 부대역 HOA 표현들 을 합성하는 단계를 포함한다. 한 실시예에서, 추출하는 단계는 인지 코딩된 부분 및 인코딩된 부가 정보 부분을 획득하기 위해 압축된 HOA 표현을 디멀티플렉싱하는 단계를 포함한다. 한 실시예에서, 인지 코딩된 부분은 인지 인코딩된 절삭된 HOA 계수 시퀀스들 을 포함하고, 추출하는 단계는 인지 인코딩된 절삭된 HOA 계수 시퀀스들 을 인지 디코더에서 디코딩하여 절삭된 HOA 계수 시퀀스들 을 획득하는 단계를 포함한다. 한 실시예에서, 추출하는 단계는, 인코딩된 부가 정보 부분을 부가 정보 소스 디코더에서 디코딩하여 부대역 관련 방향들의 세트의 MDIR(k+1,f1), ...,MDIR(k+1,fF), 예측 행렬들 A(k+1,f1),...,A(k+1,fF), 이득 제어 부가 정보 및 할당 벡터 를 획득하는 단계를 포함한다.
또한, 한 실시예에서, HOA 신호를 디코딩하기 위한 장치는, 압축된 HOA 표현으로부터, 복수의 절삭된 HOA 계수 시퀀스들 , 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스를 나타내거나 포함하는 할당 벡터 , 부대역 관련 방향 정보 MDIR(k+1,f1), ...,MDIR(k+1,fF), 복수의 예측 행렬 A(k+1,f1),...,A(k+1,fF), 및 이득 제어 부가 정보 를 추출하도록 구성된 추출 모듈; 복수의 절삭된 HOA 계수 시퀀스 , 이득 제어 부가 정보 , 및 할당 벡터 로부터, 절삭된 HOA 표현 을 재구성하도록 구성된 재구성 모듈; 및 재구성된 절삭된 HOA 표현 을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현들 로 분해하도록 구성된 분석 필터 뱅크 모듈(53);
주파수 부대역 표현들 각각에 대해, 재구성된 절삭된 HOA 표현의 각각의 주파수 부대역 표현 , 부대역 관련 방향 정보 MDIR(k+1,f1), ...,MDIR(k+1,fF) 및 예측 행렬 A(k+1,f1),...,A(k+1,fF)로부터, 예측된 방향 HOA 표현 을 합성하도록 구성된 적어도 하나의 방향 부대역 조성 모듈(54); F개의 주파수 부대역들 각각에 대해, 계수 시퀀스가 할당 벡터 에 포함되는 인덱스 n을 갖는 경우 절삭된 HOA 표현 의 계수 시퀀스들로부터 획득되고 그렇지 않으면 방향 부대역 조성 모듈(54)들 중 하나에 의해 제공된 예측된 방향 HOA 성분 의 계수 시퀀스들로부터 획득되는 계수 시퀀스들 , 을 갖는 디코딩된 부대역 HOA 표현 을 조성하도록 구성된 적어도 하나의 부대역 조성 모듈(55); 및 디코딩된 HOA 표현 을 획득하기 위해 디코딩된 부대역 HOA 표현들 을 합성하도록 구성된 합성 필터 뱅크 모듈(56)을 포함한다.
부대역들은 일반적으로 복소값 필터 뱅크로부터 획득된다. 할당 벡터의 한 목적은, 전송된/수신된, 그에 따라 절삭된 HOA 표현에 포함되는 계수 시퀀스들의 시퀀스 인덱스들을 표시하여, 이들 계수 시퀀스들의 최종 HOA 신호로의 할당을 가능케하는 것이다. 바꾸어 말하면, 할당 벡터는, 절삭된 HOA 표현의 계수 시퀀스들 각각에 대해, 최종 HOA 신호의 어느 계수 시퀀스에 대응하는지를 나타낸다. 예를 들어, 절삭된 HOA 표현이 4개의 계수 시퀀스를 포함하고 최종 HOA 신호가 9개의 계수 시퀀스를 갖는다면, 할당 벡터는 (원칙적으로) [1,2,5,7]이 될 수 있으며, 따라서, 절삭된 HOA 표현의 제1, 제2, 제3, 및 제4 계수 시퀀스는, 실제로 최종 HOA 신호의 제1, 제2, 제5 및 제7 계수 시퀀스이다.
한 실시예에서, 현재 프레임에서 방향 부대역 신호를 예측하도록 구성된 예측 모듈은 또한, 선행 프레임의 부대역의 방향 부대역 신호들을 결정하고, 방향 부대역 신호의 인덱스가 선행 프레임에서 제로이고 현재 프레임에서 비제로이면 새로운 방향 부대역 신호를 생성하고, 방향 신호의 인덱스가 선행 프레임에서 비제로이고 현재 프레임에서 제로이면 이전의 방향 부대역 신호를 취소하고, 방향 부대역 신호의 인덱스가 제1 방향으로부터 제2 방향으로 변하면 방향 부대역 신호의 방향을 제1 방향으로부터 제2 방향으로 이동시키도록 구성된된다. 한 실시예에서, 적어도 하나의 부대역은 2개 이상의 주파수 부대역으로 이루어진 부대역 그룹이다. 한 실시예에서, 방향 부대역 신호 정보는, 적어도 복수의 절삭된 HOA 계수 시퀀스, 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스들을 나타내거나 포함하는 할당 벡터, 및 복수의 예측 행렬을 포함하고, 상기 장치는 또한, 복수의 절삭된 HOA 계수 시퀀스들과 할당 벡터로부터 절삭된 HOA 표현을 재구성하도록 구성된 절삭된 HOA 표현 재구성 모듈, 및 재구성된 절삭된 HOA 표현을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현으로 분해하도록 구성된 하나 이상의 분석 필터 뱅크를 포함하며, 여기서, 예측 모듈은 상기 방향 부대역 신호들의 예측에 대해 상기 주파수 부대역 표현들 및 복수의 예측 행렬을 이용한다. 한 실시예에서, 추출 모듈은 또한, 지각 코딩된 부분 및 인코딩된 부가 정보 부분을 획득하기 위해 압축된 HOA 표현을 디멀티플렉싱하도록 구성되고, 여기서, 인지 코딩된 부분은 절삭된 HOA 계수 시퀀스를 포함하며, 인코딩된 부가 정보 부분은, 활성 후보 방향들의 세트 MDIR(k), 활성 부대역 방향들의 상대적 방향 인덱스들, 상기 할당 벡터, 상기 예측 행렬들, 및 각각의 주파수 부대역과 각각의 활성 후보 방향에 대해 활성 후보 방향이 활성 부대역 방향인지를 나타내는 상기 비트들을 포함한다.
한 실시예에서, 방향 부대역 신호 정보는 활성 방향들의 세트와 제1 및 제2 인덱스를 갖는 인덱스들의 튜플들을 포함하는 튜플 세트를 포함하고, 제2 인덱스는 현재의 주파수 부대역에 대한 활성 방향들의 세트 내의 활성 방향의 인덱스이며, 제1 인덱스는 활성 방향의 궤적 인덱스이고, 궤적은 특정한 사운드 소스의 방향들의 시간적 시퀀스이다.
한 실시예에서, 컴퓨터 판독가능한 매체에는, 컴퓨터에서 실행될 때 컴퓨터로 하여금 입력 HOA 신호의 방향 정보를 인코딩하기 위한 방법을 수행하게 하는 실행가능한 명령어들이 저장되어 있고, 이 방법은,
입력 HOA 신호로부터 사운드 소스들의 방향들인 제1 세트의 활성 후보 방향들 MDIR(k)을 결정 ―활성 후보 방향들은 Q개의 전역 방향들의 미리정의된 세트 중에서 결정되고, 각각의 전역 방향은 전역 방향 인덱스를 가짐― 하는 단계; 입력 HOA 신호를 복수의 주파수 부대역들로 분할하는 단계; 상기 제1 세트의 활성 후보 방향들 MDIR(k) 중에서, 상기 주파수 부대역들 각각에 대해, 제2 세트의 DSB(DSB <Q)개까지의 활성 부대역 방향들을 결정하는 단계; 주파수 부대역마다 각각의 방향에 상대적 방향 인덱스 ―방향 인덱스는 범위 [1,...,NoOfGlobalDirs(k)]에 있음― 를 할당하는 단계; 현재 프레임에 대한 방향 정보 ―방향 정보는 활성 후보 방향들 MDIR(k), 각각의 주파수 부대역 및 각각의 활성 후보 방향에 대해 활성 후보 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트, 및 각각의 주파수 부대역에 대해 제2 세트의 부대역 방향들 중의 활성 부대역 방향들의 상대적 방향 인덱스들을 포함함― 를 조립하고, 조립된 방향 정보를 전송하는 단계를 포함한다. 상기 개시된 인코딩 방법과 유사하게 추가 실시예들이 도출될 수 있다.
한 실시예에서, 컴퓨터 판독가능한 매체에는, 컴퓨터에서 실행될 때 컴퓨터로 하여금 압축된 HOA 표현으로부터 방향 정보를 디코딩하기 위한 방법을 수행하게 하는 실행가능한 명령어들이 저장되어 있고, 이 방법은, 압축된 HOA 표현의 각각의 프레임에 대해,
압축된 HOA 표현으로부터 후보 방향들 ―각각의 후보 방향은, 적어도 하나의 부대역 내의 잠재적 부대역 신호 소스 방향임―의 세트 MFB(k), 각각의 주파수 부대역에 대해 및 DSB개까지의 잠재적 부대역 신호 소스 방향들 각각에 대해 잠재적 부대역 신호 소스 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트 bSubBandDirIsActive(k,fj), 및 활성 부대역 방향들의 상대적 방향 인덱스들과 각각의 활성 부대역 방향에 대한 방향 부대역 신호 정보를 추출하는 단계; 각각의 주파수 부대역 방향에 대해 상대적 방향 인덱스들을 절대적 방향 인덱스들로 변환 ―상기 비트가 각각의 주파수 부대역에 대해 상기 후보 방향이 활성 부대역 방향이라고 나타낸다면, 각각의 상대적 방향 인덱스는 후보 방향들 세트 MFB(k) 내의 인덱스로서 사용됨― 하는 단계; 및 상기 방향 부대역 신호 정보로부터 방향 부대역 신호들을 예측 ―상기 절대적 방향 인덱스들에 따라 방향 부대역 신호들에 방향들이 할당― 하는 단계를 포함한다. 상기 개시된 디코딩 방법과 유사하게 추가 실시예들이 도출될 수 있다.
바람직한 실시예에 적용된 본 발명의 근본적인 신규한 특징들이 도시되고, 설명되고, 지목되었지만, 설명된 장치 및 방법에서, 개시된 장치의 형태와 세부사항에서 및 그들의 동작에서, 다양한 생략과 대체 및 변경이 본 발명의 사상으로부터 벗어나지 않고 당업자에 의해 이루어질 수 있다는 점을 이해할 것이다. 동일한 결과를 얻기 위해 실질적으로 동일한 기능을 실질적으로 동일한 방식으로 수행하는 요소들의 모든 조합들도 본 발명의 범위 내에 있음을 명시적으로 의도한다. 하나의 설명된 실시예로부터 또 다른 실시예로의 요소들의 대체도 역시 충분히 의도되고 고려되었다. 본 발명의 순수히 예를 통해 설명되었고, 본 발명의 범위로부터 벗어나지 않고 상세사항의 수정이 이루어질 수 있다는 점을 이해할 것이다. 상세한 설명과 (적절한 경우에는) 청구항 및 도면에 개시된 각 특징은 독립적으로 또는 임의의 적절한 조합으로 제공될 수 있다. 특징들은, 적절하다면, 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수도 있다. 접속은, 적용가능하다면, 무선 접속 또는 유선으로서 구현될 수 있고, 반드시 직접적 또는 전용 접속일 필요는 없다. 한 실시예에서, 추출 모듈, 이득 제어 유닛, 부대역 신호 그룹화 유닛, 처리 유닛 및 기타의 것들과 같은, 앞서 언급된 모듈들 또는 유닛들 각각은, 적어도 부분적으로, 적어도 하나의 실리콘 컴포넌트를 이용함으로써 하드웨어로 구현된다.
[참조문헌]
Claims (25)
- 압축된 HOA(Higher Order Ambisonics) 표현으로부터 방향 정보를 디코딩하기 위한 방법(90)으로서, 상기 압축된 HOA 표현의 각각의 프레임에 대해,
- 상기 압축된 HOA 표현으로부터 후보 방향들 ―각각의 후보 방향은, 적어도 하나의 부대역(subband)에서의 잠재적 부대역 신호 소스 방향임―의 세트(MFB(k)), 각각의 주파수 부대역 및 DSB개까지의 잠재적 부대역 신호 소스 방향들 각각에 대해 상기 잠재적 부대역 신호 소스 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트(bSubBandDirIsActive(k,fj)), 및 활성 부대역 방향들의 상대적 방향 인덱스들(RelDirIndices(k,fj))과 각각의 활성 부대역 방향에 대한 방향 부대역 신호 정보를 추출하는 단계(s91-s93);
- 각각의 주파수 부대역 방향에 대해 상기 상대적 방향 인덱스들(RelDirIndices(k,fj))을 절대적 방향 인덱스들로 변환 ―상기 비트(bSubBandDirIsActive(k,fj))가 각각의 주파수 부대역에 대해 상기 후보 방향이 활성 부대역 방향이라고 나타낸다면, 각각의 상대적 방향 인덱스는 상기 후보 방향들의 세트(MFB(k)) 내의 인덱스로서 사용됨― 하는 단계(s60); 및
- 상기 방향 부대역 신호 정보로부터 방향 부대역 신호들을 예측 ―상기 절대적 방향 인덱스들에 따라 상기 방향 부대역 신호들에 방향들이 할당됨― 하는 단계(s70)
를 포함하는 방법. - 제1항에 있어서, 현재 프레임에서 방향 부대역 신호를 예측하는 상기 단계(s70)는, 선행 프레임의 부대역의 방향 부대역 신호들을 결정하는 단계를 포함하고,
상기 방향 부대역 신호의 인덱스가 상기 선행 프레임에서 제로였고 상기 현재 프레임에서 비제로이면, 새로운 방향 부대역 신호가 생성되고,
상기 방향 신호의 인덱스가 상기 선행 프레임에서 비제로였고 상기 현재 프레임에서 제로이면 이전의 방향 부대역 신호는 취소되고,
상기 방향 부대역 신호의 인덱스가 제1 방향으로부터 제2 방향으로 변하면 방향 부대역 신호의 방향은 상기 제1 방향으로부터 상기 제2 방향으로 이동되는, 방법. - 제1항 또는 제2항에 있어서, 적어도 하나의 부대역은 2개 이상의 주파수 부대역으로 이루어진 부대역 그룹인, 방법.
- 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 방향 부대역 신호 정보는, 적어도, 복수의 절삭된 HOA 계수 시퀀스들(), 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스들을 나타내거나 포함하는 할당 벡터(), 및 복수의 예측 행렬(A(k+1,f1),...,A(k+1,fF))을 포함하고, 상기 방법은,
- 상기 복수의 절삭된 HOA 계수 시퀀스들() 및 상기 할당 벡터()로부터 절삭된 HOA 표현()을 재구성하는 단계(s51, s52); 및
- 분석 필터 뱅크(53)에서, 상기 재구성된 절삭된 HOA 표현()을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현들()로 분해하는 단계(s53)
를 더 포함하고,
방향 부대역 신호들을 예측하는 상기 단계는, 상기 주파수 부대역 표현들() 및 상기 복수의 예측 행렬들(A(k+1,f1),...,A(k+1,fF))을 이용하는, 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 추출하는 단계는, 인지 코딩된 부분 및 인코딩된 부가 정보 부분을 획득하기 위해 상기 압축된 HOA 표현을 디멀티플렉싱하는 단계(s91)를 포함하고, 상기 인지 코딩된 부분은 절삭된 HOA 계수 시퀀스들()을 포함하고, 상기 인코딩된 부가 정보 부분은 활성 후보 방향들의 세트(MDIR(k)), 활성 부대역 방향들의 상대적 방향 인덱스들(RelDirIndices(k,fj)), 상기 할당 벡터(), 상기 예측 행렬들(A(k+1,f1),...,A(k+1,fF)), 및 각각의 주파수 부대역과 각각의 활성 후보 방향에 대해 상기 활성 후보 방향이 활성 부대역 방향이라는 것을 나타내는 상기 비트들(bSubBandDirIsActive(k,fj))을 포함하는, 방법.
- 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 방향 부대역 신호 정보는, 활성 방향들의 세트(MDIR(k))와 제1 및 제2 인덱스를 갖는 인덱스들의 튜플(tuple)들을 포함하는 튜플 세트(MDIR(k+1,f1), ...,MDIR(k+1,fF))를 포함하고, 상기 제2 인덱스는 현재의 주파수 부대역에 대한 상기 활성 방향들의 세트(MDIR(k)) 내의 활성 방향의 인덱스이며, 상기 제1 인덱스는 상기 활성 방향의 궤적 인덱스이고, 궤적은 특정한 사운드 소스의 방향들의 시간적 시퀀스인, 방법.
- 입력 HOA(Higher Order Ambisonics) 신호의 프레임들에 대한 방향 정보를 인코딩하기 위한 방법(100)으로서,
- 상기 입력 HOA 신호로부터 사운드 소스들의 방향들인 제1 세트의 활성 후보 방향들(MDIR(k)) ―상기 활성 후보 방향들은, 미리정의된 세트의 Q개의 전역 방향들 중에서 결정되고, 각각의 전역 방향은 전역 방향 인덱스를 가짐― 을 결정하는 단계(s101);
- 상기 입력 HOA 신호를 복수의 주파수 부대역()으로 분할하는 단계(s102);
- 상기 제1 세트의 활성 후보 방향들(MDIR(k)) 중에서, 상기 주파수 부대역들 각각에 대해, 제2 세트의 DSB(DSB < Q)개까지의 활성 부대역 방향들을 결정하는 단계(s103);
- 주파수 부대역마다 각각의 방향에 상대적 방향 인덱스 ―상기 방향 인덱스는 범위 [1,...,NoOfGlobalDirs(k)] 내에 있음― 를 할당하는 단계(s104);
- 현재 프레임에 대한 방향 정보 ―상기 방향 정보는, 상기 활성 후보 방향들(MDIR(k)), 각각의 주파수 부대역 및 각각의 활성 후보 방향에 대해 상기 활성 후보 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트 (bSubBandDirIsActive(k,fj)), 및 각각의 주파수 부대역에 대해 상기 제2 세트의 부대역 방향들 중의 활성 부대역 방향들의 상대적 방향 인덱스들(RelDirIndices(k,fj))을 포함함― 를 조립하는 단계(s105); 및
- 상기 조립된 방향 정보를 전송하는 단계(s106)
를 포함하는, 방법. - 제7항 내지 제9항 중 어느 한 항에 있어서,
- 상기 제1 세트의 활성 후보 방향들 중에서, 상기 주파수 부대역들 중 적어도 하나에서 이용되는 이용된 후보 방향들의 세트(MFB(k)), 및 상기 이용된 후보 방향들의 세트의 요소들의 개수(NoOfGlobalDirs(k))를 결정 ―방향 정보를 조립하는 상기 단계(s105)에서의 상기 활성 후보 방향들이 상기 이용된 후보 방향들임― 하는 단계(s105a); 및
- 상기 이용된 후보 방향들을 그들의 전역 방향 인덱스에 의해 인코딩하고(s105b) 상기 요소들의 개수를 log2(D) 비트들 ―D는 후보 방향들의 미리정의된 최대 개수임(전체-대역)― 로 인코딩하는 단계
를 더 포함하는 방법. - 제7항 내지 제10항 중 어느 한 항에 있어서, 활성 부대역 방향의 궤적을 결정하는 단계(s104a)를 더 포함하고, 활성 부대역 방향은 주파수 부대역에 대한 사운드 소스의 방향이고, 궤적은 특정 사운드 소스의 방향들의 시간적 시퀀스이며, 현재 프레임의 현재 주파수 부대역의 활성 부대역 방향들은 선행 프레임의 동일한 주파수 부대역의 활성 부대역 방향들과 비교되고, 동일하거나 이웃한 활성 부대역 방향들은 동일한 궤적에 속하는 것으로 결정되는, 방법.
- 제11항에 있어서, 부대역마다 각각의 방향에 할당된(s104) 상기 방향 인덱스는 궤적 인덱스이고,
- 궤적 인덱스를 각각의 결정된 궤적에 할당하는 단계(s104b); 및
- 각각의 주파수 부대역에 대한 인덱스들의 튜플들을 포함하는 튜플 세트(MDIR(k,f1),..., MDIR(k,fF))를 생성하는 단계(s104c)를 더 포함하며, 인덱스들의 각각의 튜플은, 현재 주파수 부대역에 대한 활성 부대역 방향의 인덱스와 상기 활성 부대역 방향에 대해 결정된 궤적의 궤적 인덱스를 포함하는, 방법. - 제7항 내지 제12항 중 어느 한 항에 있어서, 2개 이상의 주파수 부대역으로 이루어진 적어도 하나의 그룹이 생성되고, 상기 적어도 하나의 그룹은 단일 주파수 부대역 대신에 이용되고 단일 주파수 부대역과 동일한 방식으로 취급되는, 방법.
- 압축된 HOA(Higher Order Ambisonics) 표현으로부터 방향 정보를 디코딩하기 위한 장치로서,
- 상기 압축된 HOA 표현으로부터 후보 방향들 ―각각의 후보 방향은, 적어도 하나의 부대역에서의 잠재적 부대역 신호 소스 방향임―의 세트(MFB(k)), 각각의 주파수 부대역 및 최대 (DSB개)까지의 잠재적 부대역 신호 소스 방향들 각각에 대해 상기 잠재적 부대역 신호 소스 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트(bSubBandDirIsActive(k,fj)), 및 활성 부대역 방향들의 상대적 방향 인덱스들(RelDirIndices(k,fj))과 각각의 활성 부대역 방향에 대한 방향 부대역 신호 정보를 추출하도록 구성된 추출 모듈(40);
- 각각의 주파수 부대역 방향에 대해 상기 상대적 방향 인덱스들(RelDirIndices(k,fj))을 절대적 방향 인덱스들로 변환 ―상기 비트(bSubBandDirIsActive(k,fj))가 각각의 주파수 부대역에 대해 상기 후보 방향이 활성 부대역 방향이라고 나타낸다면, 각각의 상대적 방향 인덱스는 상기 후보 방향들의 세트(MFB(k)) 내의 인덱스로서 사용됨― 하도록 구성된 변환 모듈(60); 및
- 상기 방향 부대역 신호 정보로부터 방향 부대역 신호들을 예측 ―상기 절대적 방향 인덱스들에 따라 상기 방향 부대역 신호들에 방향들이 할당됨― 하도록 구성된 예측 모듈(70)
을 포함하는 장치. - 제14항에 있어서, 현재 프레임에서 방향 부대역 신호를 예측하도록 구성된 상기 예측 모듈(70)은 또한,
- 선행 프레임의 부대역의 방향 부대역 신호를 결정하고;
- 상기 방향 부대역 신호의 인덱스가 상기 선행 프레임에서 제로였고 상기 현재 프레임에서 비제로이면, 새로운 방향 부대역 신호를 생성하고,
- 상기 방향 신호의 인덱스가 상기 선행 프레임에서 비제로였고 상기 현재 프레임에서 제로이면 이전의 방향 부대역 신호를 취소하고,
- 상기 방향 부대역 신호의 인덱스가 제1 방향으로부터 제2 방향으로 변하면 방향 부대역 신호의 방향을 상기 제1 방향으로부터 상기 제2 방향으로 이동시키도록 구성된, 장치. - 제14항 또는 제15항에 있어서, 적어도 하나의 부대역은 2개 이상의 주파수 부대역으로 이루어진 부대역 그룹인, 장치.
- 제14항 내지 제16항 중 어느 한 항에 있어서, 상기 방향 부대역 신호 정보는, 적어도 복수의 절삭된 HOA 계수 시퀀스들(), 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스들을 나타내거나 포함하는 할당 벡터(), 및 복수의 예측 행렬(A(k+1,f1),...,A(k+1,fF))을 포함하고, 상기 장치는,
- 상기 복수의 절삭된 HOA 계수 시퀀스들() 및 상기 할당 벡터()로부터 절삭된 HOA 표현()을 재구성하도록 구성된 절삭된 HOA 표현 재구성 모듈; 및
- 상기 재구성된 절삭된 HOA 표현()을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현들()로 분해하도록 구성된 하나 이상의 분석 필터 뱅크(53)
를 더 포함하고,
상기 예측 모듈(70)은, 방향 부대역 신호들의 상기 예측을 위해 상기 주파수 부대역 표현들() 및 상기 복수의 예측 행렬들(A(k+1,f1),...,A(k+1,fF))을 이용하는, 장치. - 제14항 내지 제17항 중 어느 한 항에 있어서, 상기 추출 모듈(40)은 또한, 인지 코딩된 부분 및 인코딩된 부가 정보 부분을 획득하기 위해 상기 압축된 HOA 표현을 디멀티플렉싱하도록 구성되고, 상기 인지 코딩된 부분은 절삭된 HOA 계수 시퀀스들()을 포함하고, 상기 인코딩된 부가 정보 부분은, 상기 활성 후보 방향들의 세트(MDIR(k)), 활성 부대역 방향들의 상대적 방향 인덱스들(RelDirIndices(k,fj)), 상기 할당 벡터(), 상기 예측 행렬들(A(k+1,f1),...,A(k+1,fF)), 및 각각의 주파수 부대역과 각각의 활성 후보 방향에 대해 상기 활성 후보 방향이 활성 부대역 방향이라는 것을 나타내는 상기 비트들(bSubBandDirIsActive(k,fj))을 포함하는, 장치.
- 제14항 내지 제18항 중 어느 한 항에 있어서, 상기 방향 부대역 신호 정보는, 활성 방향들의 세트(MDIR(k))와 제1 및 제2 인덱스를 갖는 인덱스들의 튜플(tuple)들을 포함하는 튜플 세트(MDIR(k+1,f1), ...,MDIR(k+1,fF))를 포함하고, 상기 제2 인덱스는 현재의 주파수 부대역에 대한 상기 활성 방향들의 세트(MDIR(k)) 내의 활성 방향의 인덱스이며, 상기 제1 인덱스는 상기 활성 방향의 궤적 인덱스이고, 궤적은 특정한 사운드 소스의 방향들의 시간적 시퀀스인, 장치.
- 입력 HOA(Higher Order Ambisonics) 신호의 프레임들에 대한 방향 정보를 인코딩하기 위한 장치로서,
- 상기 입력 HOA 신호로부터 사운드 소스들의 방향들인 제1 세트의 활성 후보 방향들(MDIR(k))을 결정(s101) ―상기 활성 후보 방향들은 미리정의된 세트의 Q개의 전역 방향들 중에서 결정되고, 각각의 전역 방향은 전역 방향 인덱스를 가짐― 하도록 구성된 활성 후보 결정 모듈(101);
- 상기 입력 HOA 신호를 복수의 주파수 부대역들()로 분할(s102)하도록 구성된 분석 필터 뱅크 모듈(102);
- 상기 제1 세트의 활성 후보 방향들(MDIR(k)) 중에서, 상기 주파수 부대역들 각각에 대해, 제2 세트의 DSB(DSB < Q)개까지의 활성 부대역 방향들을 결정(s103)하도록 구성된 부대역 방향 결정 모듈(103);
- 주파수 부대역마다 각각의 방향에 상대적 방향 인덱스 ―상기 방향 인덱스는 범위 [1,...,NoOfGlobalDirs(k)] 내에 있음― 를 할당(s104)하도록 구성된 상대적 방향 인덱스 할당 모듈(104);
- 현재 프레임에 대한 방향 정보 ―상기 방향 정보는, 상기 활성 후보 방향들(MDIR(k)), 각각의 주파수 부대역 및 각각의 활성 후보 방향에 대해 상기 활성 후보 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트 (bSubBandDirIsActive(k,fj)), 및 각각의 주파수 부대역에 대해 제2 세트의 부대역 방향들 중의 활성 부대역 방향들의 상대적 방향 인덱스들(RelDirIndices(k,fj))을 포함함― 를 조립(s105)하도록 구성된 방향 정보 조립 모듈(105); 및
- 상기 조립된 방향 정보를 전송(s106)하도록 구성된 팩킹 모듈(106)
을 포함하는, 장치. - 제20항 또는 제21항에 있어서,
- 상기 제1 세트의 활성 후보 방향들 중에서, 상기 주파수 부대역들 중 적어도 하나에서 이용되는 이용된 후보 방향들의 세트(MFB(k)), 및 상기 이용된 후보 방향들 세트의 요소들의 개수(NoOfGlobalDirs(k))를 결정 ―상기 방향 정보 조립 모듈(105)이 조립하는 상기 방향 정보에 포함된 상기 활성 후보 방향들이 상기 이용된 후보 방향들임― 하도록 구성된 이용된 후보 방향 결정 모듈(105a); 및
- 상기 이용된 후보 방향들을 그들의 전역 방향 인덱스에 의해 인코딩하고 상기 요소들의 개수를 log2(D) 비트들 ―D는 전체 대역에 대한 후보 방향들의 미리정의된 최대 개수임―로 인코딩하도록 구성된 인코더(105b)
를 더 포함하는 장치. - 제20항 내지 제22항 중 어느 한 항에 있어서, 활성 부대역 방향의 궤적을 결정하도록 구성된 궤적 결정 모듈(104a)을 더 포함하고, 상기 활성 부대역 방향은 주파수 부대역에 대한 사운드 소스의 방향이고, 궤적은 특정 사운드 소스의 방향들의 시간적 시퀀스이며, 하나 이상의 방향 비교기는, 현재 프레임의 현재 주파수 부대역의 활성 부대역 방향들을 선행 프레임의 동일한 주파수 부대역의 활성 부대역 방향들과 비교하며, 동일하거나 이웃한 활성 부대역 방향들은 동일한 궤적에 속하는 것으로 결정되는, 장치.
- 제23항에 있어서, 상기 상대적 방향 인덱스 할당 모듈(104)이 부대역마다 각각의 방향에 할당하는 방향 인덱스는 궤적 인덱스이고, 상기 상대적 방향 인덱스 할당 모듈(104)은,
- 궤적 인덱스를 각각의 결정된 궤적에 할당하도록 구성된 궤적 인덱스 할당 모듈(104b), 및
- 각각의 주파수 부대역에 대한 인덱스들의 튜플들을 포함하는 튜플 세트(MDIR(k,f1),..., MDIR(k,fF))를 생성하도록 구성된 튜플 세트 생성기(104c)를 더 포함하며,
인덱스들의 각각의 튜플은 현재 주파수 부대역에 대한 활성 부대역 방향의 인덱스와 상기 활성 부대역 방향에 대해 결정된 궤적의 궤적 인덱스를 포함하는, 장치. - 제20항 내지 제24항 중 어느 한 항에 있어서, 2개 이상의 주파수 부대역으로 이루어진 적어도 하나의 그룹을 생성하도록 구성된 적어도 하나의 그룹화 모듈을 더 포함하고, 상기 적어도 하나의 그룹은 단일 주파수 부대역 대신에 이용되고 단일 주파수 부대역과 동일한 방식으로 처리되는, 장치.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14306077.0 | 2014-07-02 | ||
EP14306077 | 2014-07-02 | ||
EP14194182.3A EP2963948A1 (en) | 2014-07-02 | 2014-11-20 | Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a HOA signal representation |
EP14194182.3 | 2014-11-20 | ||
PCT/EP2015/065082 WO2016001352A1 (en) | 2014-07-02 | 2015-07-02 | Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a hoa signal representation |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170026367A true KR20170026367A (ko) | 2017-03-08 |
KR102327149B1 KR102327149B1 (ko) | 2021-11-16 |
Family
ID=51220511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020167035546A KR102327149B1 (ko) | 2014-07-02 | 2015-07-02 | Hoa 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치 |
Country Status (8)
Country | Link |
---|---|
US (1) | US10194257B2 (ko) |
EP (2) | EP2963948A1 (ko) |
JP (1) | JP6585094B2 (ko) |
KR (1) | KR102327149B1 (ko) |
CN (1) | CN106463130B (ko) |
BR (1) | BR112016029148A2 (ko) |
TW (1) | TW201606751A (ko) |
WO (1) | WO2016001352A1 (ko) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102363275B1 (ko) * | 2014-07-02 | 2022-02-16 | 돌비 인터네셔널 에이비 | Hoa 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치 |
EP3281194B1 (en) * | 2015-04-10 | 2019-05-01 | Dolby International AB | Method for performing audio restauration, and apparatus for performing audio restauration |
CN107945810B (zh) * | 2016-10-13 | 2021-12-14 | 杭州米谟科技有限公司 | 用于编码和解码hoa或多声道数据的方法和装置 |
EP3622509B1 (en) | 2017-05-09 | 2021-03-24 | Dolby Laboratories Licensing Corporation | Processing of a multi-channel spatial audio format input signal |
CN107610710B (zh) * | 2017-09-29 | 2021-01-01 | 武汉大学 | 一种面向多音频对象的音频编码及解码方法 |
CN110476960B (zh) * | 2019-09-19 | 2021-06-15 | 河北省农林科学院植物保护研究所 | 噻虫胺薄膜缓释型种子处理悬浮剂及其制备方法与应用 |
CN115376527A (zh) * | 2021-05-17 | 2022-11-22 | 华为技术有限公司 | 三维音频信号编码方法、装置和编码器 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2665208A1 (en) * | 2012-05-14 | 2013-11-20 | Thomson Licensing | Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation |
EP2743922A1 (en) * | 2012-12-12 | 2014-06-18 | Thomson Licensing | Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100546198C (zh) * | 2006-10-20 | 2009-09-30 | 宁波大学 | 一种数字音乐作品认证信息的嵌入方法 |
TWI529703B (zh) * | 2010-02-11 | 2016-04-11 | 杜比實驗室特許公司 | 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法 |
EP2469741A1 (en) * | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
KR101572034B1 (ko) * | 2011-05-19 | 2015-11-26 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 파라메트릭 오디오 코딩 방식들의 포렌식 검출 |
US9288603B2 (en) * | 2012-07-15 | 2016-03-15 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding |
EP2738962A1 (en) | 2012-11-29 | 2014-06-04 | Thomson Licensing | Method and apparatus for determining dominant sound source directions in a higher order ambisonics representation of a sound field |
EP2800401A1 (en) | 2013-04-29 | 2014-11-05 | Thomson Licensing | Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation |
EP2824661A1 (en) | 2013-07-11 | 2015-01-14 | Thomson Licensing | Method and Apparatus for generating from a coefficient domain representation of HOA signals a mixed spatial/coefficient domain representation of said HOA signals |
KR102363275B1 (ko) * | 2014-07-02 | 2022-02-16 | 돌비 인터네셔널 에이비 | Hoa 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치 |
-
2014
- 2014-11-20 EP EP14194182.3A patent/EP2963948A1/en not_active Withdrawn
-
2015
- 2015-07-01 TW TW104121237A patent/TW201606751A/zh unknown
- 2015-07-02 KR KR1020167035546A patent/KR102327149B1/ko active IP Right Grant
- 2015-07-02 JP JP2016573819A patent/JP6585094B2/ja active Active
- 2015-07-02 WO PCT/EP2015/065082 patent/WO2016001352A1/en active Application Filing
- 2015-07-02 CN CN201580033032.4A patent/CN106463130B/zh active Active
- 2015-07-02 EP EP15733460.8A patent/EP3165006B1/en active Active
- 2015-07-02 BR BR112016029148A patent/BR112016029148A2/pt not_active Application Discontinuation
- 2015-07-02 US US15/320,071 patent/US10194257B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2665208A1 (en) * | 2012-05-14 | 2013-11-20 | Thomson Licensing | Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation |
EP2743922A1 (en) * | 2012-12-12 | 2014-06-18 | Thomson Licensing | Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field |
Also Published As
Publication number | Publication date |
---|---|
EP3165006B1 (en) | 2018-09-26 |
CN106463130B (zh) | 2020-12-08 |
CN106463130A (zh) | 2017-02-22 |
US20170156016A1 (en) | 2017-06-01 |
BR112016029148A2 (pt) | 2017-08-22 |
JP6585094B2 (ja) | 2019-10-02 |
EP3165006A1 (en) | 2017-05-10 |
JP2017520024A (ja) | 2017-07-20 |
EP2963948A1 (en) | 2016-01-06 |
KR102327149B1 (ko) | 2021-11-16 |
WO2016001352A1 (en) | 2016-01-07 |
TW201606751A (zh) | 2016-02-16 |
US10194257B2 (en) | 2019-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102460820B1 (ko) | Hoa 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치 | |
JP6542269B2 (ja) | 圧縮hoa表現をデコードする方法および装置ならびに圧縮hoa表現をエンコードする方法および装置 | |
KR102327149B1 (ko) | Hoa 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치 | |
KR102433192B1 (ko) | 압축된 hoa 표현을 디코딩하기 위한 방법 및 장치와 압축된 hoa 표현을 인코딩하기 위한 방법 및 장치 | |
KR102363275B1 (ko) | Hoa 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |