KR20170023829A - Ｈｏａ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치 - Google Patents

Ｈｏａ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20170023829A
KR20170023829A KR1020167035530A KR20167035530A KR20170023829A KR 20170023829 A KR20170023829 A KR 20170023829A KR 1020167035530 A KR1020167035530 A KR 1020167035530A KR 20167035530 A KR20167035530 A KR 20167035530A KR 20170023829 A KR20170023829 A KR 20170023829A
Authority
KR
South Korea
Prior art keywords
sub
subband
band
active
directions
Prior art date
Application number
KR1020167035530A
Other languages
English (en)
Other versions
KR102460820B1 (ko
Inventor
알렉산더 크뢰거
스벤 코돈
Original Assignee
돌비 인터네셔널 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 인터네셔널 에이비 filed Critical 돌비 인터네셔널 에이비
Publication of KR20170023829A publication Critical patent/KR20170023829A/ko
Application granted granted Critical
Publication of KR102460820B1 publication Critical patent/KR102460820B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Abstract

HOA(Higher Order Ambisonics) 신호들의 인코딩은 통상적으로 높은 데이터 레이트로 이어진다. 데이터 레이트 감소를 위해, 입력 HOA 신호의 프레임들의 방향 정보를 인코딩하기 위한 방법(100)은, 전역 방향 인덱스들을 갖는 미리정의된 전역 방향들 중에서 활성 후보 방향들(I)을 결정하는 단계(s101), 입력 HOA 신호를 주파수 부대역들(II)로 분할하는 단계(s102), 각각의 주파수 부대역에 대해 활성 후보 방향들 중에서 활성 부대역 방향들을 결정하는 단계(s103), 부대역마다 각각의 방향에 상대적 방향 인덱스를 할당하는 단계(s104), 프레임에 대한 방향 정보 ―방향 정보는, 활성 후보 방향들(I)), 각각의 부대역 및 각각의 활성 후보 방향에 대해 활성 후보 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트, 및 각각의 주파수 부대역에 대해 제2 세트의 부대역 방향들 중의 활성 부대역 방향들의 상대적 방향 인덱스들을 포함함―를 조립하는 단계(s105), 및 조립된 방향 정보를 전송하는 단계(s106)를 포함한다.

Description

ＨＯＡ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치{METHOD AND APPARATUS FOR ENCODING/DECODING OF DIRECTIONS OF DOMINANT DIRECTIONAL SIGNALS WITHIN SUBBANDS OF A HOA SIGNAL REPRESENTATION}
본 발명은, HOA(Higher Order Ambisonics) 신호 표현의 부대역들 내의 우세 방향 신호(dominant directional signal)들의 방향들을 인코딩하는 방법, HOA 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들을 디코딩하는 방법, HOA 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들을 인코딩하기 위한 장치, 및 HOA 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들을 디코딩하기 위한 장치에 관한 것이다.
HOA(Higher Order Ambisonics)는 음장 합성(WFS; wave field synthesis)이나 "22.2"로서 알려진 것과 유사한 채널 기반 접근법과 같은 기타의 기술들 중에서 3차원 사운드를 표현할 수 있는 한 가능성을 제공한다. 채널 기반 방법과는 대조적으로, HOA 표현은 특정한 확성기 셋업과는 독립적이라는 이점을 제공한다. 이러한 융통성은 특정한 확성기 셋업에 관한 HOA 표현의 재생에 요구되는 디코딩 프로세스를 댓가로 나오는 것이다. 요구되는 확성기의 수가 대개는 매우 큰 WFS 접근 방식에 비해, HOA는 단지 수 개의 확성기만으로 구성된 셋업으로 렌더링될 수 있다. HOA의 추가 이점은, 헤드폰으로의 쌍이성 렌더링(binaural rendering)을 위한 임의의 수정없이 동일한 표현이 역시 사용될 수 있다는 것이다.
HOA는, 소위, 절삭된 구면 고조파(SH; Spherical Harmonics) 확장에 의한 복합 고조 평면파 진폭의 공간 밀도의 표현에 기초한다. 각각의 확장 계수는 시간 영역 함수로 등가적으로 표현될 수 있는 각주파수(angular frequency)의 함수이다. 따라서, 일반성을 잃지 않고, 완전한 HOA 음장 표현은 실제로 O개의 시간 영역 함수들로 구성되는 것으로 이해될 수 있으며, 여기서, O는 확장 계수의 개수를 나타낸다. 이들 시간 영역 함수는 이하에서는 등가적으로 HOA 계수 시퀀스 또는 HOA 채널이라고 지칭될 것이다.
확장의 최대 차수
Figure pct00001
이 증가함에 따라 HOA 표현의 공간 해상도가 향상된다. 불행히도, 확장 계수의 개수
Figure pct00002
는 차수 N에 따라 2차식으로(quadratically) 증가한다, 특히,
Figure pct00003
이다. 차수
Figure pct00004
를 이용한 전형적인 HOA 표현은
Figure pct00005
개의 HOA (확장) 계수들을 요구한다. 상기 고려사항들에 따라, 원하는 단일-채널 샘플링 레이트
Figure pct00006
및 샘플 당 비트수
Figure pct00007
가 주어지면, HOA 표현의 전송을 위한 총 비트 레이트는
Figure pct00008
에 의해 결정된다. 결과적으로, 예를 들어, 샘플링 레이트
Figure pct00009
와 샘플당
Figure pct00010
비트를 이용하여 차수
Figure pct00011
의 HOA 표현을 전송하는 것은,
Figure pct00012
의 비트 레이트를 야기하고, 이것은, 예를 들어, 스트리밍 등의 많은 실제 응용에 대해 매우 높다. 따라서, HOA 표현의 압축이 매우 바람직하다.
HOA 음장 표현의 압축에 대한 다양한 접근법이 [4, 5, 6]에서 제안되었다. 이들 접근법들은, 음장 분석을 수행하고 주어진 HOA 표현을 방향 성분 및 잔여 환경 성분으로 분해한다는 공통점을 갖고 있다. 한편, 최종 압축된 표현은, 환경 HOA 성분의 관련 계수 시퀀스 뿐만 아니라 소위 방향 및 벡터-기반 신호의 인지 코딩(perceptual coding)으로부터 생기는 다수의 양자화된 신호를 포함한다. 또 한편으로는, 이것은, 압축된 버전으로부터의 HOA 표현의 재구성에 필요한 양자화된 신호와 관련된 추가적인 부가 정보를 포함한다.
접근법들 [4, 5, 6]에 대한 양자화된 신호의 합리적인 최소 개수는 8이다. 따라서, 각각의 개개의 인지 코더에 대해 32 kbit/s의 데이터 레이트를 가정할 때, 이들 방법들 중 하나에서의 데이터 레이트는 통상적으로 256 kbit/s보다 낮지 않다. 예를 들어, 모바일 디바이스로의 오디오 스트리밍과 유사한 소정의 응용의 경우, 이러한 총 데이터 레이트가 너무 높을 수 있다. 따라서, 명백하게 더 낮은 데이터 레이트, 예를 들어, 128 kbit/s를 해결하기 위한 HOA 압축 방법에 대한 요구가 존재한다.
압축된 HOA 표현으로부터 방향 정보를 인코딩하기 위한 방법 및 장치, 및 압축된 HOA 표현으로부터 방향 정보를 디코딩하기 위한 방법 및 장치가 개시된다. 또한, 음장의 HOA(Higher Order Ambisonics) 표현의 낮은 비트-레이트 압축 및 압축해제를 위한 실시예가 개시된다. 음장의 HOA 표현을 위한 낮은 비트 레이트 압축 방법의 한 주요 양태는, HOA 표현을 복수의 주파수 부대역들로 분해하고, 각각의 주파수 부대역 내의 계수들을, 절삭된 HOA 표현과 다수의 예측된 방향 부대역 신호들에 기초하는 표현의 조합으로 근사화하는 것이다.
절삭된 HOA 표현은 작은 개수의 선택된 계수 시퀀스들을 포함하고, 여기서 선택은 시간에 따라 변하는 것이 허용된다. 예를 들어, 모든 프레임마다 새로운 선택이 이루어진다. 절삭된 HOA 표현을 나타내는 선택된 계수 시퀀스들은 인지 코딩되고 최종 압축된 HOA 표현의 일부이다. 한 실시예에서, 코딩 효율을 증가시키고 렌더링시 노이즈 언마스킹(unmasking) 효과를 감소시키기 위해, 선택된 계수 시퀀스들은 인지 코딩 이전에 무상관화(de-correlate)된다. 부분적 무상관화는 미리정의된 개수의 선택된 HOA 계수 시퀀스들에 공간 변환을 적용함으로써 달성된다. 압축해제의 경우, 무상관화는 재상관화에 의해 역전된다. 이러한 부분적인 무상관화의 큰 이점은 압축해제시 무상관화를 되돌리기 위해 추가적인 부가 정보가 필요하지 않다는 것이다.
근사화된 HOA 표현의 다른 성분은 대응하는 방향들을 갖는 다수의 방향 부대역 신호들에 의해 표현된다. 이들은 절삭된 HOA 표현의 계수 시퀀스들로부터의 예측을 포함하는 파라미터 표현에 의해 코딩된다. 실시예에서, 각각의 방향 부대역 신호는 절삭된 HOA 표현의 계수 시퀀스들의 스케일링된 합에 의해 예측(또는 표현)되고, 여기서, 스케일링은 일반적으로 복소값이다. 압축해제를 위한 방향 부대역 신호들의 HOA 표현을 재합성할 수 있기 위하여, 압축된 표현은 복소값 예측 스케일링 계수들의 양자화된 버전들 뿐만 아니라 방향들의 양자화된 버전들을 포함한다.
한 실시예에서, 압축된 HOA 표현으로부터 방향 정보를 디코딩하기 위한 방법은, 압축된 HOA 표현의 각각의 프레임에 대해, 압축된 HOA 표현으로부터 후보 방향들 ―각각의 후보 방향은, 적어도 하나의 부대역에서의 잠재적 부대역 신호 소스 방향임―의 세트, 각각의 주파수 부대역 및 최대 임계치 DSB개까지의 잠재적 부대역 신호 소스 방향들 각각에 대해 잠재적 부대역 신호 소스 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트, 및 활성 부대역 방향들의 상대적 방향 인덱스들과 각각의 활성 부대역 방향에 대한 방향 부대역 신호 정보를 추출하는 단계; 각각의 주파수 부대역 방향에 대해 상대적 방향 인덱스들을 절대적 방향 인덱스들로 변환 ―상기 비트가 각각의 주파수 부대역에 대해 상기 후보 방향이 활성 부대역 방향이라고 나타낸다면, 각각의 상대적 방향 인덱스는 상기 후보 방향들 세트 내의 인덱스로서 사용됨― 하는 단계; 및 상기 방향 부대역 신호 정보로부터 방향 부대역 신호들을 예측 ―상기 절대적 방향 인덱스들에 따라 방향 부대역 신호들에 방향들이 할당됨― 하는 단계를 포함한다.
실시예에서, 입력 HOA 신호의 프레임들에 대한 방향 정보를 인코딩하기 위한 방법은, 입력 HOA 신호로부터 사운드 소스들의 방향들인 제1 세트의 활성 후보 방향들 ―활성 후보 방향들은 미리정의된 세트의 Q개의 전역 방향들 중에서 결정되고, 각각의 전역 방향은 전역 방향 인덱스를 가짐―을 결정하는 단계; 상기 입력 HOA 신호를 복수의 주파수 부대역들로 분할하는 단계; 상기 제1 세트의 활성 후보 방향들 중에서, 상기 주파수 부대역들 각각에 대해, 제2 세트의 DSB(DSB <Q)개까지의 활성 부대역 방향들을 결정하는 단계; 주파수 부대역마다 각각의 방향에 상대적 방향 인덱스 ―방향 인덱스는 범위 [1,...,NoOfGlobalDirs(k)]에 있음― 를 할당하는 단계; 현재 프레임에 대한 방향 정보를 조립하는 단계, 조립된 방향 정보를 전송하는 단계를 포함한다. 방향 정보는, 활성 후보 방향들, 각각의 주파수 부대역 및 각각의 활성 후보 방향에 대해 활성 후보 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트, 및 각각의 주파수 부대역에 대해 제2 세트의 부대역 방향들 중의 활성 부대역 방향들의 상대적 방향 인덱스들을 포함한다.
한 실시예에서, 컴퓨터 판독가능한 매체에는, 컴퓨터에서 실행될 때 컴퓨터로 하여금 방향 정보를 인코딩하기 위한 상기 방법 및 방향 정보를 디코딩하기 위한 상기 방법 중 적어도 하나를 수행하게 하는 실행가능한 명령어들이 저장되어 있다.
한 실시예에서, 방향 정보를 프레임별 인코딩(및 이로써 압축) 및/또는 디코딩(및 이로써 압축해제)하기 위한 장치는, 프로세서와, 이 프로세서에서 실행될 때 방향 정보를 인코딩하기 위한 전술된 방법의 단계들 및/또는 방향 정보를 디코딩하기 위한 전술된 방법의 단계들을 수행하는 소프트웨어 프로그램을 위한 메모리를 포함한다.
한 실시예에서, 압축된 HOA 표현으로부터 방향 정보를 디코딩하기 위한 장치는, 압축된 HOA 표현으로부터 후보 방향들 ―각각의 후보 방향은, 적어도 하나의 부대역에서의 잠재적 부대역 신호 소스 방향임―의 세트, 각각의 주파수 부대역 및 DSB개까지의 잠재적 부대역 신호 소스 방향들 각각에 대해, 상기 잠재적 부대역 신호 소스 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트, 및 활성 부대역 방향들의 상대적 방향 인덱스들과 각각의 활성 부대역 방향에 대한 방향 부대역 신호 정보를 추출하도록 구성된 추출 모듈; 각각의 주파수 부대역 방향에 대해 상대적 방향 인덱스들을 절대적 방향 인덱스들로 변환 ―상기 비트가 각각의 주파수 부대역에 대해 상기 후보 방향이 활성 부대역 방향이라고 나타낸다면, 각각의 상대적 방향 인덱스는 상기 후보 방향들 세트 내의 인덱스로서 사용됨― 하도록 구성된 변환 모듈; 및 상기 방향 부대역 신호 정보로부터 방향 부대역 신호들을 예측 ―상기 절대적 방향 인덱스들에 따라 방향 부대역 신호들에 방향들이 할당됨― 하도록 구성된 예측 모듈을 포함한다.
한 실시예에서, 방향 정보를 인코딩하기 위한 장치는, 적어도, 활성 후보 결정 모듈, 분석 필터 뱅크 모듈, 부대역 방향 결정 모듈, 상대적 방향 인덱스 할당 모듈, 방향 정보 조립 모듈, 및 팩킹 모듈을 포함한다.
활성 후보 결정 모듈은 입력 HOA 신호로부터 사운드 소스들의 방향들인 제1 세트의 활성 후보 방향들 MDIR(k)을 결정하도록 구성되고, 여기서, 활성 후보 방향들은, 미리정의된 세트의 Q개의 전역 방향들 중에서 결정되고, 각각의 전역 방향은 전역 방향 인덱스를 갖는다. 분석 필터 뱅크 모듈은 입력 HOA 신호를 복수의 주파수 부대역들로 분할하도록 구성된다. 부대역 방향 결정 모듈은, 제1 세트의 활성 후보 방향들 중에서, 주파수 부대역들 각각에 대해 제2 세트의 DSB(DSB <Q)개까지의 활성 부대역 방향들을 결정하도록 구성된다. 상대적 방향 인덱스 할당 모듈은 주파수 부대역마다 각각의 방향에 상대적 방향 인덱스(범위 [1,...,NoOfGlobalDirs(k)] 내에 있음)를 할당하도록 구성된다. 방향 정보 조립 모듈은 현재 프레임에 대한 방향 정보를 조립하도록 구성된다. 방향 정보는, 활성 후보 방향들 MDIR(k), 각각의 주파수 부대역 및 각각의 활성 후보 방향에 대해 활성 후보 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트, 및 각각의 주파수 부대역에 대해 제2 세트의 부대역 방향들 중의 활성 부대역 방향들의 상대적 방향 인덱스들을 포함한다. 팩킹 모듈은 조립된 방향 정보를 전송하도록 구성된다.
개시된 방향 정보의 인코딩의 이점은 데이터 레이트 감소이다. 추가 이점은 각각의 주파수 대역에 대한 감소된 및 그에 따른 더 빠른 검색이다.
본 발명의 추가적인 목적, 피쳐 및 이점들은, 첨부된 도면들과 연계한 이하의 설명과 첨부된 청구항들의 고려로부터 명백해질 것이다.
본 발명의 예시적 실시형태들이 첨부된 도면을 참조하여 설명되며, 여기서,
도 1은 공간 HOA 인코더의 아키텍쳐이다,
도 2는 방향 추정 블록의 아키텍쳐이다,
도 3은 인지 부가 정보 소스 인코더이다,
도 4는 인지 부가 정보 소스 디코더이다,
도 5는 공간 HOA 디코더의 아키텍쳐이다,
도 6은 구면 좌표계이다,
도 7은 방향 추정 처리 블록이다,
도 8은, 절삭된 HOA 표현의 방향, 궤적 인덱스 세트 및 계수들이다,
도 9는 인코딩 방법의 플로차트이다,
도 10은 디코딩 방법의 플로차트이다,
도 11은 방향 정보를 인코딩하기 위한 장치이다,
도 12는 방향 정보를 디코딩하기 위한 장치이다,
도 13은 방향 인덱싱이다.
음장의 HOA 표현들을 위한 제안된 낮은-비트 레이트 압축 방법의 한 주요한 사상은, 2개의 부분들: 절삭된 HOA 표현과 다수의 예측된 방향 부대역 신호들에 기초한 표현의 조합에 의해, 원래의 HOA 표현을 프레임별로 및 부대역별로, 즉, 각각의 HOA 프레임의 개개의 주파수 부대역 내에서 근사화하는 것이다. HOA 기본에 대한 요약이 이하에서 더 제공된다.
근사화된 HOA 표현의 제1 부분은, 작은 개수의 선택된 계수 시퀀스들로 구성된 절삭된 HOA 버전이며, 여기서, 선택은 시간에 따라(예를 들어, 프레임별로) 달라지는 것이 허용된다. 그 다음, 절삭된 HOA 버전을 나타내는 선택된 계수 시퀀스들은 인지 코딩되고 최종 압축된 HOA 표현의 일부이다. 코딩 효율을 증가시키고 렌더링시 노이즈 언마스킹(unmasking) 효과를 감소시키기 위하여, 인지 코딩 이전에 선택된 계수 시퀀스들을 무상관화하는 것이 유익하다. 부분적인 무상관화는, 미리정의된 개수의 선택된 HOA 계수 시퀀스들에 공간 변환을 적용함으로써 달성되며, 이것은 주어진 개수의 가상 확성기 신호들로의 렌더링을 의미한다. 이러한 부분적인 무상관화의 큰 이점은 압축해제시 무상관화를 되돌리기 위해 추가적인 부가 정보가 필요하지 않다는 것이다.
근사화된 HOA 표현의 제2 부분은 대응하는 방향들을 갖는 다수의 방향 부대역 신호들에 의해 표현된다. 그러나, 이들은 통상적으로 코딩되지 않는다. 대신에, 이들은, 제1 부분, 즉, 절삭된 HOA 표현의 계수 시퀀스들로부터의 예측에 의한 파라미터 표현으로서 코딩된다. 특히, 실시예에서, 각각의 방향 부대역 신호는 절삭된 HOA 표현의 계수 시퀀스들의 스케일링된 합에 의해 예측되고, 여기서, 스케일링은 선형이고 일반적으로 복소값이다. 양쪽 부분들은 함께 HOA 신호의 압축된 표현을 형성하고, 그에 따라, 낮은 비트 레이트를 달성한다. 압축해제를 위한 방향 부대역 신호들의 HOA 표현을 재합성할 수 있기 위하여, 압축된 표현은 복소값 예측 스케일링 계수들의 양자화된 버전들 뿐만 아니라 방향들의 양자화된 버전들을 포함한다.
이 맥락에서 특히 중요한 양태들은, 방향 및 복소값 예측 스케일링 계수의 계산, 및 이들을 효율적으로 코딩하는 방법이다.
낮은 비트 레이트 HOA 압축
제안된 낮은 비트 레이트 HOA 압축의 경우, 낮은 비트 레이트 HOA 압축기는, 공간 HOA 인코딩부와, 인지 및 소스 인코딩부로 세분될 수 있다. 공간적 HOA 인코딩부의 예시적인 아키텍처가 도 1에 도시되어 있고, 인지 및 소스 인코딩부분 예시적인 아키텍처가 도 3에 도시되어 있다. 공간적 HOA 인코더(10)는
Figure pct00013
개의 신호들을 포함하는 제1 압축된 HOA 표현을 그 HOA 표현을 생성하는 방법을 기술하는 부가 정보와 함께 제공한다. 인지 및 부가 정보 소스 코더(30)에서, 이들
Figure pct00014
개 신호들은 인지 코더(31)에서 인지 인코딩되고, 부가 정보는 부가 정보 소스 코더(32)에서 소스 인코딩(예를 들어, 엔트로피 코딩)된다. 부가 정보 소스 코더(32)는 코딩된 부가 정보
Figure pct00015
를 제공한다. 그 다음, 인지 코더(31) 및 부가 정보 소스 코더(32)에 의해 제공된 2개의 코딩된 표현은 멀티플렉서(33)에서 멀티플렉싱되어 낮은 비트 레이트의 압축된 HOA 데이터 스트림
Figure pct00016
를 획득한다.
공간 HOA 인코딩
도 1에 도시된 공간 HOA 인코더는 프레임별 처리를 수행한다. 프레임들은,
Figure pct00017
개의 시간-연속적인 HOA 계수 시퀀스들의 부분들로서 정의된다. 예를 들어, 인코딩될 입력 HOA 표현의
Figure pct00018
번째 프레임
Figure pct00019
는 시간-연속적인 HOA 계수 시퀀스들의 벡터 c(t)(수학식 46 참조)에 관해 다음과 같이 정의된다:
Figure pct00020
여기서,
Figure pct00021
는 프레임 인덱스를 나타내고,
Figure pct00022
은 프레임 길이(샘플 단위)를 나타내며,
Figure pct00023
은 HOA 계수 시퀀스들의 개수를 나타내고,
Figure pct00024
는 샘플링 기간을 나타낸다.
절삭된 HOA 표현의 계산
도 1에 도시 된 바와 같이, 절삭된 HOA 표현을 계산하는 제1 단계는 원래의 HOA 프레임
Figure pct00025
로부터 절삭된 버전
Figure pct00026
을 계산하는 단계(11)를 포함한다. 이 맥락에서의 절삭이란, 입력 HOA 표현의
Figure pct00027
개의 계수 시퀀스들 중에서
Figure pct00028
개의 특정한 계수 시퀀스들의 선택 및 모든 다른 계수 시퀀스들을 제로로 설정하는 것을 의미한다. 계수 시퀀스들의 선택을 위한 다양한 솔루션이 [4,5,6]에서 알려져 있고, 예를 들어, 인간의 인지와 관련하여 최대의 파워(power) 또는 가장 높은 관련성을 갖는 것들이 해당된다. 선택된 계수 시퀀스들은 절삭된 HOA 버전을 나타낸다. 선택된 계수 시퀀스들의 인덱스들을 포함하는 데이터 세트
Figure pct00029
가 생성된다. 그 다음, 이하에서 더 설명되는 바와 같이, 절삭된 HOA 버전
Figure pct00030
은 부분적으로 무상관화되고(12), 부분적으로 무상관화된 절삭된 HOA 버전
Figure pct00031
은, 선택된 계수 시퀀스가 이용가능한
Figure pct00032
개의 전송 채널에 할당되는 채널 할당 (13)을 거칠 것이다. 이하에서 더 설명되는 바와 같이, 이들 계수 시퀀스들은 인지 인코딩되고(30) 최종적으로 압축된 표현의 일부가 된다. 채널 할당 후에 인지 인코딩을 위한 평활 신호들을 얻기 위해, k 번째 프레임에서 선택되지만 (k+1) 번째 프레임에서 선택되지 않는 계수 시퀀스들이 결정된다. 한 프레임에서 선택되고 다음 프레임에서 선택되지 않는 이들 계수 시퀀스들은 페이드 아웃(fade out)된다. 그들의 인덱스들은,
Figure pct00033
의 서브세트인, 데이터 세트
Figure pct00034
에 포함된다. 마찬가지로 k 번째 프레임에서 선택되지만 (k-1) 번째 프레임에서 선택되지 않은 계수 시퀀스들은 페이드 인(fade in)된다. 그들의 인덱스들은, 역시
Figure pct00035
의 서브세트인, 세트
Figure pct00036
에 포함된다. 페이딩을 위해, (이하의 수학식 39에서 도입되는 것과 같은) 윈도우 함수
Figure pct00037
,
Figure pct00038
이 이용될 수 있다.
결론적으로, 다음과 같이, 절삭된 버전
Figure pct00039
의 HOA 프레임 k가 각각의
Figure pct00040
개의 개개의 계수 시퀀스 프레임들의 L개의 샘플로 구성된다면,
Figure pct00041
이 절삭은 계수 시퀀스 인덱스들
Figure pct00042
과 샘플 인덱스들
Figure pct00043
에 대해 다음과 같이 표현할 수 있다:
Figure pct00044
계수 시퀀스의 선택 기준에는 수 개의 가능성이 있다. 예를 들어, 하나의 유익한 해결책은 대부분의 신호 전력을 나타내는 계수 시퀀스들을 선택하는 것이다. 또 다른 유익한 해결책은 인간의 인지와 관련하여 가장 관련성이 큰 계수 시퀀스들을 선택하는 것이다. 후자의 경우에, 관련성은, 예를 들면, 상이하게 절삭된 표현을 가상 확성기 신호로 렌더링하고, 원래의 HOA 표현에 대응하는 이들 신호와 확성기 신호 간의 에러를 결정하고, 사운드 마스킹 효과를 고려하여 최종적으로 에러의 관련성을 해석함으로써, 결정될 수 있다.
한 실시예에서, 세트
Figure pct00045
내의 인덱스를 선택하기 위한 합리적인 전략은, 항상 제1
Figure pct00046
인덱스들,
Figure pct00047
을 선택하는 것으로, 여기서
Figure pct00048
이고
Figure pct00049
은 절삭된 HOA 표현의 주어진 최소 전체 차수를 나타낸다. 그 다음, 위에서 언급된 기준 중 하나에 따라 세트 {OMIN+1, ..., OMAX}에서 나머지
Figure pct00050
개의 인덱스들을 선택한다, 여기서,
Figure pct00051
이고
Figure pct00052
는 선택을 위해 고려되는 HOA 계수 시퀀스들의 최대 차수를 나타낸다.
Figure pct00053
는 샘플당 전송가능한 계수들의 최대 개수로서 계수들의 총 개수
Figure pct00054
보다 작거나 같다는 점에 유의한다. 이 전략에 따르면, 절삭 처리 블록(11)은 또한 소위 할당 벡터
Figure pct00055
를 제공하고, 그 요소들
Figure pct00056
,
Figure pct00057
은 하기에 따라 설정된다
Figure pct00058
여기서, n(
Figure pct00059
)은, 나중에 i번째 전송 신호
Figure pct00060
에 할당되는, 추가로 선택된 HOA 계수 시퀀스
Figure pct00061
의 HOA 계수 시퀀스 인덱스를 나타낸다.
Figure pct00062
의 정의는 이하의 수학식 10에서 주어진다.
Figure pct00063
의 처음
Figure pct00064
개의 행들은 디폴트로 HOA 계수 시퀀스들
Figure pct00065
을 포함하고,
Figure pct00066
의 그 다음
Figure pct00067
(또는,
Figure pct00068
이면,
Figure pct00069
)개의 행들 중에는, 그 인덱스들이 할당 벡터
Figure pct00070
에 저장되어 있는 프레임별로 변하는 HOA 계수 시퀀스들을 포함하는
Figure pct00071
개의 행들이 있다. 마지막으로,
Figure pct00072
의 나머지 행들은 제로를 포함한다. 결과적으로, 이하에서 설명되는 바와 같이, 이용가능한
Figure pct00073
개의 전송 신호들의 처음(또는, 수학식 10에서와 같이, 마지막)
Figure pct00074
개는 디폴트로 HOA 계수 시퀀스들
Figure pct00075
에 할당되고, 나머지
Figure pct00076
개의 전송 신호들은, 그 인덱스들이 할당 벡터
Figure pct00077
에 저장되어 있는 프레임별로 변화하는 HOA 계수 시퀀스들에 할당된다.
부분적 무상관화
제2 단계에서, 후속 인지 인코딩의 효율성을 증가시키고, 렌더링시에 선택된 HOA 계수 시퀀스를 행렬화한 후에 발생하는 코딩 노이즈 언마스킹을 피하기 위하여, 선택된 HOA 계수 시퀀스들의 부분적 무상관화(12)가 실행된다. 예시적인 부분 무상관화(12)는 처음
Figure pct00078
개의 선택된 HOA 계수 시퀀스들에 공간 변환을 적용함으로써 달성되며, 이것은
Figure pct00079
개의 가상 확성기 신호들로의 렌더링을 의미한다. 각각의 가상 확성기 위치는 도 6에 도시된 구면 좌표계에 의해 표현되며, 여기서 각각의 위치는 단위 구면 상에 놓여 있다고 가정된다. 즉, 반경 1을 갖는다. 따라서, 위치는 방향
Figure pct00080
로 등가적으로 표현될 수 있고, 여기서,
Figure pct00081
이며,
Figure pct00082
및
Figure pct00083
는, 각각 경사각과 방위각을 나타낸다(구 좌표계의 정의에 대해서는 아래를 더 참조). 이들 방향은 가능한한 균일하게 단위 구면 상에 분산되어야 한다(예를 들어, 특정한 방향의 계산에 관한 [2] 참조). HOA는 일반적으로
Figure pct00084
에 의존하여 방향을 정의하기 때문에, 실제로
Figure pct00085
을 의미하며, 여기서는,
Figure pct00086
가 기재된다는 점에 유의한다.
이하에서는, 모든 가상 확성기 신호들의 프레임이 다음과 같이 표기된다
Figure pct00087
여기서,
Figure pct00088
는 j번째 가상 확성기의 k번째 프레임을 나타낸다. 또한,
Figure pct00089
은 가상 방향들
Figure pct00090
에 관한 모드 행렬(mode matrix)을 나타낸다. 모드 행렬은 다음과 같이 정의된다,
Figure pct00091
여기서,
Figure pct00092
상기 식은 가상 방향
Figure pct00093
에 관한 모드 벡터를 나타낸다. 그 요소들
Figure pct00094
각각은 이하에서 정의된 실수값 구면 고조파 함수를 나타낸다(수학식 48 참조).
이 표기를 이용하여, 렌더링 프로세스는 다음과 같은 행렬 곱셈에 의해 공식화될 수 있다,
Figure pct00095
따라서, 부분적 무상관화(12)의 출력인 중간 표현
Figure pct00096
의 신호들은 다음과 같이 주어진다,
Figure pct00097
채널 할당
중간 표현
Figure pct00098
의 프레임을 계산한 후, 그 개개의 신호
Figure pct00099
,
Figure pct00100
는, 인지 인코딩을 위한 전송 신호들
Figure pct00101
,
Figure pct00102
를 제공하기 위해 이용가능한 I개의 채널들에 할당된다(13). 할당(13)의 한 목적은, 연속된 프레임들 사이에서 선택이 변경되는 경우에 발생할 수 있는, 인지 인코딩될 신호들의 불연속성을 회피하는 것이다. 할당은 다음과 같이 표현될 수 있다,
Figure pct00103
이득 제어
전송 신호들
Figure pct00104
각각은 최종적으로 이득 제어 유닛(14)에 의해 처리되며, 여기서, 신호 이득은 인지 인코더에 적합한 값 범위를 달성하도록 매끄럽게 수정된다. 이득 수정은 연속적인 블록들 사이에서의 심각한 이득 변화를 피하기 위해 일종의 룩-어헤드(look-ahead)를 요구하며, 그에 따라, 한 프레임의 지연을 도입한다. 각각의 전송 신호 프레임
Figure pct00105
에 대해, 이득 제어 유닛(14)은 지연된 프레임
Figure pct00106
을 수신하거나 생성한다. 이득 제어 후의 수정된 신호 프레임은,
Figure pct00107
,
Figure pct00108
로 표기된다. 또한, 공간 디코더에서 이루어진 임의의 변경을 되돌릴 수 있기 위하여, 이득 제어 부가 정보가 제공된다. 이득 제어 부가 정보는 지수
Figure pct00109
및 예외 플래그
Figure pct00110
,
Figure pct00111
를 포함한다. 이득 제어의 더 상세한 설명을 위해, 예를 들어, [9], Sect.C.5.2.5 또는 [3]을 참조한다. 따라서, 절삭된 HOA 버전(19)은 이득 제어된 신호 프레임들
Figure pct00112
및 이득 제어 부가 정보
Figure pct00113
,
Figure pct00114
,
Figure pct00115
를 포함한다.
분석 필터 뱅크
전술된 바와 같이, 근사화된 HOA 표현은, 2개의 부분, 즉, 절삭된 HOA 버전(19), 및 절삭된 HOA 표현의 계수 시퀀스들로부터 예측되는 대응하는 방향들을 갖는 방향 부대역 신호들에 의해 표현되는 성분으로 구성된다. 따라서, 제2 부분의 파라미터 표현을 계산하기 위해, 원래의 HOA 표현
Figure pct00116
,
Figure pct00117
의 개개의 계수 시퀀스의 각각의 프레임은, 먼저, 개개의 부대역 신호들
Figure pct00118
의 프레임들로 분해된다. 이것은 하나 이상의 분석 필터 뱅크(15)에서 이루어진다. 각각의 부대역
Figure pct00119
,
Figure pct00120
에 대해, 개개의 HOA 계수 시퀀스들의 부대역 신호들의 프레임들은 하기의 부대역 HOA 표현으로 집합될 수 있다,
Figure pct00121
분석 필터 뱅크(15)는 방향 부대역 신호 계산을 위해 방향 추정 처리 블록(16) 및 하나 이상의 계산 블록(17)에 부대역 HOA 표현을 제공한다.
원칙적으로, 임의 유형의 필터(즉, 임의의 복소값 필터 뱅크, 예를 들어, QMF, FFT)가 분석 필터 뱅크(15)에서 이용될 수 있다. 분석 및 대응하는 합성 필터 뱅크의 연속적인 적용이 완벽한 재구성 속성으로 알려진 지연 신원(delay identity)을 제공할 것이 요구되지는 않는다. HOA 계수 시퀀스들
Figure pct00122
와는 대조적으로, 그들의 부대역 표현
Figure pct00123
은 일반적으로 복소값이라는 점에 유의한다. 또한, 부대역 신호들
Figure pct00124
은 원래의 시간 영역 신호들과 비교해 볼 때 일반적으로 시간적으로 데시메이트(decimate)된다. 결과적으로, 프레임들
Figure pct00125
내의 샘플수는 일반적으로, L인, 시간 영역 신호 프레임들
Figure pct00126
내의 샘플수보다 분명히 작다.
한 실시예에서, 인간 청각 시스템의 속성에 맞게 처리를 더 양호하게 적응시키기 위해, 2개 이상의 부대역 신호가 부대역 신호 그룹들로 결합된다. 각각의 그룹의 대역폭들은, 예를 들어, 그 부대역 신호들의 개수에 의해 널리 공지된 바크 스케일(Bark scale)로 적합화될 수 있다. 즉, 더 높은 주파수에서 특히, 2개 이상의 그룹들이 하나로 결합될 수 있다. 이 경우, 각각의 부대역 그룹은, 추출된 파라미터의 수가 단일의 부대역의 경우와 동일한 HOA 계수 시퀀스들의 세트
Figure pct00127
로 구성된다는 점에 유의한다. 한 실시예에서, 그룹화는, 분석 필터 뱅크 블록(15)에 통합될 수 있는 하나 이상의 부대역 신호 그룹화 유닛(명시 적으로 도시되지 않음)에서 수행된다.
방향 추정
방향 추정 처리 블록(16)은, 입력 HOA 표현을 분석하고 각각의 주파수 부대역
Figure pct00128
,
Figure pct00129
에 대해, 즉, 음장에 주요한 기여를 하는 부대역 일반 평면파의 방향들의 함수 세트
Figure pct00130
를 계산한다. 이 맥락에서, "주요한 기여"라는 용어는 예를 들어 다른 방향들로부터 입사하는 부대역 일반 평면파의 신호 전력보다 높은 신호 전력을 지칭한다. 이것은 또한, 인간의 인지의 측면에서의 높은 관련성을 지칭할 수도 있다. 부대역 그룹화가 이용되는 경우,
Figure pct00131
의 계산을 위해, 단일의 부대역 대신에 부대역 그룹이 이용될 수 있다는 점에 유의한다.
압축해제 동안에, 예측된 방향 부대역 신호들 내의 아티팩트는, 연속하는 프레임들 사이의 추정된 방향들과 예측 계수들의 변화로 인해 발생할 수 있다. 이러한 아티팩트를 피하기 위하여, 인코딩 동안 방향 부대역 신호들의 방향 추정 및 예측은 연결된 긴 프레임에 관해 수행된다. 연결된 긴 프레임은 현재 프레임과 그 선행물로 구성된다. 압축해제를 위해, 이들 긴 프레임들에 관해 추정된 양은 예측된 방향 부대역 신호들과의 중첩 가산 처리를 수행하는데 이용된다.
방향 추정을 위한 직접적인 접근법은 각 부대역을 별개로 처리하는 것이다. 한 실시예에서, 방향 탐색을 위해, 예를 들어, [7]에서 제안된 기술이 적용될 수 있다. 이 접근법은, 각각의 개개의 부대역에 대해, 방향 추정의 부드러운 시간적 궤적을 제공하고 급격한 방향 변화나 시작을 포착할 수 있다. 그러나, 이 공지된 접근법에는 2가지 단점이 있다.
첫 째, 각각의 부대역에서의 독립적인 방향 추정은, 전체-대역 일반 평면파의 존재시에(예를 들어, 소정 방향의 일시적인 드럼 박동), 개개의 하위 방향들에서의 추정 오류가 하나의 단일 방향으로부터의 원하는 전체-대역 버전으로 합해지지 않는 상이한 방향들로부터의 부대역 일반 평면파들로 이어질 수 있다는 바람직하지 않는 효과를 초래할 수 있다. 특히 소정 방향들로부터의 일시적인 신호들이 흐려진다.
둘 째, 낮은 비트 레이트 압축을 얻으려는 의도를 고려할 때, 부가 정보로부터 생기는 총 비트 레이트를 반드시 염두에 두어야 한다. 이하에서, 한 예는, 이러한 단순 접근 방식에 대한 비트 레이트가 다소 높다는 것을 보여줄 것이다. 예시적으로, 부대역의 개수
Figure pct00132
는 10인 것으로 가정되고 (각각의 세트
Figure pct00133
내의 요소들의 개수에 대응하는) 각각의 부대역의 방향들의 개수는 4인 것으로 가정된다. 또한, [9]에서 제안된 바와 같이, 각각의 부대역에 대해
Figure pct00134
개의 잠재적인 방향 후보들의 그리드 상에서 탐색을 수행하는 것으로 가정된다. 이것은 단일 방향의 단순 코딩을 위해
Figure pct00135
비트를 요구한다. 초당 약 50 프레임의 프레임 레이트를 가정하면, 결과적인 전체 데이터 레이트는, 방향들의 코딩된 표현에 대해서만 다음과 같다.
Figure pct00136
초당 25 프레임의 프레임 속도를 가정하더라도, 10 kbit/s의 결과적인 데이터 레이트는 여전히 다소 높다.
한 개선으로서, 한 실시예에서, 방향 추정 블록(20)에서 다음과 같은 방향 추정을 위한 방법이 이용된다. 개괄적인 사상은 도 2에 도시되어 있다.
제1 단계에서, 전체-대역 방향 추정 블록(21)은, 연결된 긴 프레임을 이용하여,
Figure pct00137
개의 테스트 방향들
Figure pct00138
,
Figure pct00139
로 구성된 방향 그리드상에서, 예비 전체-대역 방향 추정 또는 탐색을 수행한다,
Figure pct00140
여기서,
Figure pct00141
와
Figure pct00142
은 전체-대역의 원래의 HOA 표현의 현재 및 이전 입력 프레임들이다. 이 방향 탐색은, 세트
Figure pct00143
에 포함되는, 다수의
Figure pct00144
개의 방향 후보들
Figure pct00145
,
Figure pct00146
을 제공한다, 즉,
Figure pct00147
프레임당 방향 후보들의 최대 개수에 대한 전형적인 값은
Figure pct00148
이다. 방향 추정은, 예를 들어, 방향들의 베이지안 추론을 위한 간단한 소스 이동 모델로 입력 HOA 표현의 방향 파워 분포로부터 얻은 정보를 결합하는 사상의 [7]에서 제안된 방법에 의해 달성될 수 있다.
제2 단계에서, 방향 탐색은, 부대역(또는 부대역 그룹)마다 부대역 방향 추정 블록(22)에 의해 각각의 개개의 부대역에 대해 수행된다. 그러나, 부대역에 대한이 이러한 방향 탐색은
Figure pct00149
개의 테스트 방향들로 구성되는 초기의 전체 방향 그리드를 고려할 필요가 없고, 단지 각 부대역에 대한
Figure pct00150
개의 방향들만을 포함하는 후보 세트
Figure pct00151
만을 고려할 필요가 있다.
Figure pct00152
로 표기되는,
Figure pct00153
번째 부대역,
Figure pct00154
에 대한 방향들의 수는, 통상적으로
Figure pct00155
보다 작은,
Figure pct00156
, 예를 들어,
Figure pct00157
보다 크지 않다. 전체-대역 방향 탐색과 마찬가지로, 부대역 관련 방향 탐색은 또한, 현재 및 이전 프레임들로 구성된, 부대역 신호들의 긴 연결된 프레임들에 관해 수행된다,
Figure pct00158
원칙적으로, 전체-대역 관련 방향 탐색의 경우와 동일한 베이지안 추론 방법이 부대역 관련 방향 탐색에 적용될 수 있다.
특정한 사운드 소스의 방향은 시간에 따라 변할 수도 있다(그러나, 변할 필요는 없다). 특정한 사운드 소스의 시간적 시퀀스는 여기서는 "궤적(trajectory)"이라고 부른다. 각각의 부대역 관련 방향, 또는 궤적은, 각각, 명확한 인덱스를 가지며, 이것은 상이한 궤적들을 혼합하는 것을 방지하고 연속적인 방향 부대역 신호를 제공한다. 이것은 후술되는 방향 부대역 신호들의 예측에 중요하다. 특히, 이것은 이하에서 더 정의되는 연속적인 예측 계수 행렬들
Figure pct00159
간의 시간 의존성을 활용하는 것을 허용한다. 따라서,
Figure pct00160
번째 부대역에 대한 방향 추정은 튜플 세트
Figure pct00161
를 제공한다. 각각의 튜플은, 한편으로는, 개개의 (활성) 방향 궤적을 식별하는 인덱스
Figure pct00162
로 구성되고, 다른 한편으로는, 각각의 추정된 방향
Figure pct00163
으로 구성된다, 즉,
Figure pct00164
정의에 따르면, 부대역 방향 탐색은, 전술된 바와 같이, 현재 프레임의 방향 후보들
Figure pct00165
중에서만 수행되기 때문에, 세트
Figure pct00166
는 각각의
Figure pct00167
에 대한
Figure pct00168
의 서브세트이다. 이것은, 각각의 인덱스가
Figure pct00169
개의 후보 방향들 대신에
Figure pct00170
,
Figure pct00171
중에서 하나의 방향을 정의하기 때문에, 방향들에 관한 부가 정보의 더 효율적인 코딩을 허용한다. 인덱스 d는 궤적을 생성하기 위한 후속 프레임에서의 방향들을 추적하는데 이용된다.
도 2에 도시되고 전술된 바와 같이, 한 실시예에서 방향 추정 처리 블록(16)은 전체-대역 방향 추정 블록(21)을 갖는 방향 추정 블록(20)을 포함하고, 각각의 부대역 또는 부대역 그룹에 대해, 부대역 방향 추정 블록(22)을 포함한다. 이것은, 도 7에 도시된 바와 같이, 전술된 긴 프레임들을 방향 추정 블록(20)에 제공하는 긴 프레임 생성 블록(23)을 더 포함 할 수 있다. 긴 프레임 생성 블록(23)은, 예를 들어, 하나 이상의 메모리를 이용하여, 각각이 L개의 샘플들의 길이를 갖는 2개의 연속적인 입력 프레임들로부터 긴 프레임을 생성한다. 긴 프레임은, 여기서는 "―"와 2개의 인덱스, k-1 및 k를 가짐으로써 표시된다. 다른 실시예에서, 긴 프레임 생성 블록(23)은 도 1에 도시된 인코더에서 별개의 블록이거나, 다른 블록들에 포함될 수도 있다.
방향 부대역 신호들의 계산
도 1로 돌아와서, 분석 필터 뱅크(15)에 의해 제공된 부대역 HOA 표현 프레임들
Figure pct00172
,
Figure pct00173
은 또한 하나 이상의 방향 부대역 신호 계산 블록(17)에 입력된다. 방향 부대역 신호 계산 블록(17)에서, 모든
Figure pct00174
개의 잠재적인 방향 부대역 신호들
Figure pct00175
,
Figure pct00176
의 긴 프레임들은 행렬
Figure pct00177
에서 다음과 같이 배열된다,
Figure pct00178
또한, 비활성 방향 부대역 신호들의 프레임들, 즉 그 인덱스
Figure pct00179
가 세트
Figure pct00180
내에 포함되지 않은 긴 신호 프레임들
Figure pct00181
은 0으로 설정된다.
나머지 긴 신호 프레임들
Figure pct00182
, 즉 인덱스
Figure pct00183
를 갖는 것들은 행렬
Figure pct00184
내에 수집된다. 그 내부에 포함된 활성 방향 부대역 신호들을 계산하는 한 가능성은 그들의 HOA 표현과 원래의 입력 부대역 HOA 표현 간의 오차를 최소화하는 것이다. 그 해는 다음과 같이 주어진다
Figure pct00185
여기서,
Figure pct00186
는 Moore-Penrose 의사 역행렬을 나타내고,
Figure pct00187
는 세트
Figure pct00188
내의 방향 추정치들에 대한 모드 행렬을 나타낸다. 부대역 그룹들의 경우에, 방향 부대역 신호들의 세트
Figure pct00189
는 그룹의 모든 HOA 표현들
Figure pct00190
에 의한 한 행렬
Figure pct00191
의 곱셈으로부터 계산된다는 점에 유의한다. 긴 프레임은 전술된 것과 유사하게 하나 이상의 추가적인 긴 프레임 생성 블록에 의해 생성될 수 있다는 점에 유의한다. 유사하게, 긴 프레임은 긴 프레임 분해 블록에서 정규 길이의 프레임들로 분해될 수 있다. 한 실시예에서, 방향 부대역의 계산을 위한 블록(17)은 그 출력에서 방향 부대역 예측 블록(18)을 향한 긴 프레임들
Figure pct00192
을 제공한다.
방향 부대역 신호들의 예측
전술된 바와 같이, 근사적인 HOA 표현은 부분적으로 활성 방향 부대역 신호들에 의해 표현되지만, 통상적으로 코딩되지 않는다. 대신에, 현재 설명되는 실시예들에서, 코딩된 표현의 전송을 위한 총 데이터 레이트를 낮게 유지하기 위해 파라미터 표현이 사용된다. 파라미터 표현에서, 각각의 활성 방향 부대역 신호,
Figure pct00193
즉, 인덱스
Figure pct00194
를 갖는 것들은, 절삭된 부대역 HOA 표현
Figure pct00195
및
Figure pct00196
의 계수 시퀀스들의 가중 합에 의해 예측되고, 여기서,
Figure pct00197
이고, 가중치는 일반적으로 복소값이다.
따라서,
Figure pct00198
가
Figure pct00199
의 예측된 버전을 표현한다고 가정하면, 예측은 다음과 같은 행렬 곱셈에 의해 표현된다
Figure pct00200
여기서,
Figure pct00201
는 부대역
Figure pct00202
에 대한 모든 가중 인자들(또는, 등가적으로, 예측 계수들)을 갖는 행렬이다. 예측 행렬
Figure pct00203
의 계산은 하나 이상의 방향 부대역 예측 블록(18)에서 수행된다. 한 실시예에서, 도 1에 도시된 바와 같이, 부대역당 하나의 방향 부대역 예측 블록(18)이 이용된다. 다른 실시예에서, 단일의 방향 부대역 예측 블록(18)이 복수의 또는 모든 부대역에 대해 이용된다. 부대역 그룹의 경우, 각각의 그룹에 대해 하나의 행렬
Figure pct00204
이 계산된다; 그러나, 이것은 그룹의 각각의 HOA 표현
Figure pct00205
으로 개별적으로 곱해져, 그룹마다 행렬 세트
Figure pct00206
를 생성한다. 구성당 인덱스
Figure pct00207
를 가진 것들을 제외한
Figure pct00208
의 모든 행들이 0라는 점에 유의한다. 이것은 활성 방향 부대역 신호만이 예측된다는 것을 의미한다. 또한, 인덱스
Figure pct00209
를 가진 것들을 제외한
Figure pct00210
의 모든 열도 0이다. 이것은, 예측을 위해, HOA 압축해제 동안 예측을 위해 전송되고 이용가능한 HOA 계수 시퀀스들만이 고려된다는 것을 의미한다.
다음 양태들은 예측 행렬
Figure pct00211
의 계산을 위해 반드시 고려되어야 한다.
첫째, 원래의 절삭된 부대역 HOA 표현
Figure pct00212
은 일반적으로 HOA 압축해제에서 이용가능하지 않을 것이다. 대신에, 그 인지 디코딩된 버전
Figure pct00213
이 이용가능할 것이고 방향 부대역 신호의 예측에 사용될 것이다.
낮은 비트 레이트에서, 스펙트럼의 더 낮은 주파수와 중간 주파수가 통상적으로 코딩되는, 전형적인 오디오 코덱(AAC 또는 USAC 등)은 스펙트럼 대역 복제(SBR; pectral band replication)를 이용하는 반면, 높은 주파수 성분(예를 들어, 5kHz에서 시작)은 고주파 엔빌로프에 대한 여분의 부가 정보를 이용하여 더 낮은 주파수 및 중간 주파수로부터 복제된다.
그 때문에, 인각 디코딩 이후에 절삭된 HOA 성분
Figure pct00214
의 재구성된 부대역 계수 시퀀스의 크기는 원래의 것
Figure pct00215
과 유사하다. 그러나 이것은 위상의 경우에는 해당되지 않는다. 따라서, 고주파수 부대역들에 대해, 복소값 예측 계수들을 이용함으로써 예측에 대한 임의의 위상 관계를 활용하는 것은 의미가 없다. 대신에, 실수값 예측 계수만을 이용하는 것이 더 합리적이다. 특히,
Figure pct00216
번째 부대역이 SBR에 대한 시작 주파수를 포함하도록 인덱스
Figure pct00217
을 정의하면, 예측 계수의 타입을 다음과 같이 설정하는 것이 유리하다 :
Figure pct00218
다시 말해, 한 실시예에서, 더 낮은 부대역들에 대한 예측 계수들은 복소값인 반면, 더 높은 부대역들에 대한 예측 계수들은 실수값이다.
둘째, 한 실시예에서, 행렬
Figure pct00219
의 계산의 전략은 그 유형에 적합화된다. 특히, SBR에 의해 영향을 받지 않는 저주파 부대역들
Figure pct00220
,
Figure pct00221
에 대해,
Figure pct00222
와 그 예측된 버전
Figure pct00223
사이의 에러의 유클리드 놈(Euclidean norm)을 최소화함으로써
Figure pct00224
의 비제로 요소들을 결정하는 것이 가능하다. 인지 코더(31)는 (도시되지 않은)
Figure pct00225
을 정의하고 제공한다. 이러한 방식으로, 관련 신호들의 위상 관계가 예측을 위해 명시적으로 활용된다. 부대역 그룹들에 대해, 그룹의 모든 방향 신호들에 대한 예측 에러의 유클리드 놈은 최소화되어야한다(즉, 최소 제곱 예측 에러).
SBR에 의해 영향받는 고주파수 부대역들
Figure pct00226
,
Figure pct00227
의 경우, 절삭된 HOA 성분
Figure pct00228
의 재구성된 부대역 계수 시퀀스들의 위상들은 원래의 부대역 계수 시퀀스들의 것과 가장 기초적인 것조차 유사하다고 가정될 수 없기 때문에, 앞서 언급된 기준은 합리적이지 않다.
이 경우, 한 가지 해결책은, 예측에 대해, 위상을 무시하고, 대신에 신호 전력에만 집중하는 것이다. 예측 계수의 결정에 대한 합리적인 기준은 다음과 같은 에러를 최소화하는 것이다
Figure pct00229
여기서 연산
Figure pct00230
은 행렬에 요소별로 적용되는 것으로 가정된다. 다시 말하면, 예측 계수는, 절삭된 HOA 성분의 모든 가중 부대역 또는 부대역 그룹 계수 시퀀스들의 전력들의 합이 방향 부대역 신호들의 전력에 가장 가깝도록 선택된다. 이 경우, 이 최적화 문제를 해결하고 예측 행렬
Figure pct00231
의 예측 계수를 얻기 위해 비음수 행렬 인수분해 (Nonnegative Matrix Factorization; NMF) 기법(예를 들어, [8]을 참조)이 이용될 수 있다. 그 다음, 이들 행렬들은 인지 및 소스 인코딩 스테이지(30)에 제공된다.
인지 및 소스 인코딩
전술된 공간적 HOA 코딩 후에, (k-1)번째 프레임에 대한 결과적인 이득 조정된 전송 신호들
Figure pct00232
,
Figure pct00233
이 코딩되어 코딩된 표현
Figure pct00234
을 획득한다. 이것은 도 3에 도시된 인지 및 소스 인코딩 스테이지(30)에서 인지 코더(31)에 의해 수행된다. 또한, 세트들
Figure pct00235
,
Figure pct00236
,
Figure pct00237
에 포함된 정보, 예측 계수 행렬들
Figure pct00238
,
Figure pct00239
, 이득 제어 파라미터들
Figure pct00240
및
Figure pct00241
,
Figure pct00242
, 및 할당 벡터
Figure pct00243
는 효율적인 저장 또는 전송을 위한 리던던시를 제거하기 위해 소스 인코딩된다. 이것은 부가 정보 소스 코더(32)에서 수행된다. 결과적인 코딩된 표현
Figure pct00244
은 코딩된 전송 신호 표현
Figure pct00245
,
Figure pct00246
과 함께 멀티플렉서(33)에서 멀티플렉싱되어 최종 코딩된 프레임
Figure pct00247
을 제공한다.
원칙적으로, 이득 제어 파라미터들의 소스 코딩 및 할당은 [9]와 유사하게 실행될 수 있으므로, 본 설명은, 이하에서 상세히 설명되는 방향 및 예측 파라미터의 코딩에만 집중한다.
방향의 코딩
개개의 부대역 방향의 코딩을 위해, 상기 설명에 따른 부적합 감소는 선택될 개개의 부대역 방향을 제약하는데 활용될 수 있다. 이미 언급한 바와 같이, 이러한 개개의 부대역 방향은 모든 가능한 테스트 방향들
Figure pct00248
,
Figure pct00249
중에서가 아니라 전체-대역 HOA 표현의 각각의 프레임에 관해 결정된 소수의 후보 중에서 선택된다. 예시적으로, 부대역 방향들의 소스 코딩을 위한 한 가능한 방법이 이하의 알고리즘 1에 요약되어 있다.
알고리즘 1의 제1 단계에서, 실제로 부대역 방향들로서 발생하는 모든 전체-대역 방향 후보들의 세트
Figure pct00250
가 결정된다, 즉,
Figure pct00251
Figure pct00252
로 표시된 이 세트의 요소들의 개수는 방향의 코딩된 표현의 첫 번째 부분이다.
Figure pct00253
는 정의에 의해
Figure pct00254
의 서브셋이기 때문에,
Figure pct00255
는
Figure pct00256
비트로 코딩될 수 있다. 추가 설명을 명료화하기 위해, 세트
Figure pct00257
의 방향들은
Figure pct00258
,
Figure pct00259
로 표기된다, 즉,
Figure pct00260
Figure pct00261
제2 단계에서, 세트
Figure pct00262
의 방향들은, 여기서는 그리드라고 하는, 가능한 테스트 방향들
Figure pct00263
의 인덱스들
Figure pct00264
을 이용하여 코딩된다. 각각의 방향
Figure pct00265
,
Figure pct00266
에 대해, 각각의 그리드 인덱스는
Figure pct00267
비트의 크기를 갖는 배열 요소
Figure pct00268
로 코딩된다. 모든 코딩된 전체-대역 방향들을 나타내는 전체 배열
Figure pct00269
은
Figure pct00270
개의 요소들로 구성된다.
제3 단계에서, 각각의 부대역 또는 부대역 그룹
Figure pct00271
,
Figure pct00272
에 대해, d번째 방향 부대역 신호(
Figure pct00273
)가 활성인지의 여부, 즉,
Figure pct00274
인지에 대한 정보는 배열 요소
Figure pct00275
로 코딩된다. 총 배열
Figure pct00276
은
Figure pct00277
개의 요소들로 구성된다.
Figure pct00278
이면, 각각의 부대역 방향
Figure pct00279
은,
Figure pct00280
개의 요소들로 구성된 배열
Figure pct00281
로의 각각의 전체-대역 방향
Figure pct00282
의 인덱스
Figure pct00283
에 의해 코딩된다.
이 방향 인코딩 방법의 효율성을 보이기 위해, 상기 예에 따른 방향들의 코딩된 표현에 대한 최대 데이터 레이트가 계산된다:
Figure pct00284
개의 부대역, 부대역당
Figure pct00285
개의 방향들,
Figure pct00286
개의 잠재적 테스트 방향들, 및 초당 25프레임의 프레임 레이트가 가정된다. 종래의 코딩 방법에서, 요구되는 데이터 레이트는 10 kbit/s였다. 한 실시예에 따른 개선된 코딩 방법에서는, 전체-대역 방향의 개수가
Figure pct00287
인 것으로 가정하면, GlobalDirGridIndices
Figure pct00288
를 코딩하기 위해 프레임당
Figure pct00289
비트가,
Figure pct00290
를 코딩하기 위해
Figure pct00291
비트가, 및
Figure pct00292
를 코딩하기 위해
Figure pct00293
비트가 필요하다. 그 결과, 데이터 레이트는 240 비트/프레임*25 프레임/s= 6 kbit/s이고, 이것은 10 kbit/s보다 분명히 작다. 전체-대역 방향들의 더 큰 수의
Figure pct00294
에 대해서도, 7 kbit/s의 데이터 레이트만으로 충분하다.
도 13은, 알고리즘 1에서와 같이, 방향 인덱스를 도시한다. 세트 MDIR(k)는 D(k)개의 전체-대역 후보 방향들을 가지며, 여기서, D(k) ≤ D이고 D는 미리정의된 값이다. MDIR(k)의 서브셋인 세트 MDIR(k)는 NoOfGlobalDirs(k)개의 실제로 이용된 방향들을 가진다. GlobalDirIndices는 (예를 들어, 소위 900개의 방향들의 그리드라고 하는) 전체-대역 방향들의 인덱스들을 저장하는 배열이다. bSubBandDirIsActive는, DSB개까지의 궤적들(또는 방향들) 각각에 대해, "활성"또는 "비활성"을 나타내는 비트를 저장한다. RelDirIndices는 bSubBandDirIsActive 인덱스들이 "활성"을 나타내고, 각각 log2(NoOfGlobalDirs(k)) 비트를 가진, 궤적들/방향들에 대한 GlobalDirIndices의 인덱스들을 저장한다.
예측 계수 행렬의 코딩
예측 계수 행렬의 코딩에 대해, 방향 궤적들 및 결과적으로 방향 부대역 신호의 평활성으로 인해 연속적인 프레임들의 예측 계수들 사이에는 높은 상관관계가 있다는 사실이 활용될 수 있다. 또한, 각각의 예측 계수 행렬
Figure pct00295
에 대한 프레임당
Figure pct00296
개의 잠재적 비제로-요소들의 비교적 많은 수가 존재하며, 여기서,
Figure pct00297
는 세트
Figure pct00298
내의 요소들의 개수를 나타낸다. 전체적으로, 어떠한 부대역 그룹도 이용되지 않는다면 프레임당 코딩될
Figure pct00299
개의 행렬이 존재한다. 부대역 그룹들이 이용된다면, 대응적으로, 프레임당 코딩될
Figure pct00300
보다 적은 개수의 행렬이 존재한다.
한 실시예에서, 각각의 예측 계수에 대한 비트수를 낮게 유지하기 위하여, 각각의 복소값 예측 계수는 그 크기와 각도에 의해 표현되고, 그 다음, 각도와 크기는 연속적인 프레임들간에 차분적으로 및 행렬
Figure pct00301
의 각각의 특정한 요소에 대해 독립적으로 코딩된다. 크기가 구간
Figure pct00302
내에 있다고 가정하면, 크기 차이는 구간
Figure pct00303
내에 있다. 복소수들의 각도들의 차이는 구간
Figure pct00304
내에 있다고 가정될 수 있다. 크기와 각도 차이 양쪽 모두의 양자화를 위해, 각각의 구간은, 예를 들어, 동일한 크기의
Figure pct00305
개의 부구간들로 세분될 수 있다. 직접적인 코딩은 각각의 크기 및 각도 차이에 대해
Figure pct00306
개의 비트를 필요로 한다.
또한, 연속적인 프레임들의 예측 계수들 사이의 전술된 상관관계로 인해, 개별 차이들의 발생 확률은 고도로 불균일하게 분포된다는 것이 실험적으로 밝혀졌다. 특히, 각도뿐만 아니라 크기에서의 작은 차이가 더 큰 쪽보다 훨씬 더 자주 발생한다. 따라서, 예를 들어, 허프만 코딩과 같은, 코딩될 개개의 값의 선험적 확률에 기초한 코딩 방법은, 예측 계수당 평균 비트 수를 상당히 감소시키는데 활용될 수 있다. 다시 말해서, 실수부 및 허수부 대신에, 예측 행렬
Figure pct00307
에서 값의 크기 및 위상을 차분적으로 인코딩하는 것이 대개 유리하다는 것이 발견되었다. 그러나 실수부 및 허수부의 이용이 허용되는 상황이 나타날 수 있습니다.
한 실시예에서, 특별한 액세스 프레임들은 비차분적으로 코딩된 행렬 계수들을 포함하는 소정의 구간에서(애플리케이션에 특유함, 예를 들어, 초당 1회) 전송된다. 이것은, 디코더가 이들 특별한 액세스 프레임들로부터의 차분 디코딩을 재시작하는 것을 허용하므로, 디코딩을위한 무작위 진입을 가능하게 한다.
이하에서는, 위에서 구성된 바와 같은 낮은 비트 레이트 압축된 HOA 표현의 압축해제가 설명된다. 또한 압축해제는 프레임별로 동작한다.
원칙적으로, 실시예에 따르면, 낮은 비트 레이트 HOA 디코더는, 역순으로 배열된, 전술된 낮은 비트 레이트 HOA 인코더 컴포넌트들의 대응부들을 포함한다. 특히, 낮은 비트 레이트 HOA 디코더는 도 4에 도시된 바와 같은 인지 및 소스 디코딩 부분, 및 도 6에 도시된 바와 같은 공간 HOA 디코딩 부분으로 세분될 수 있다.
인지 및 소스 디코딩
도 4는, 한 실시예에서의, 인지 및 부가 정보 소스 디코더(40)를 도시한다. 인지 및 부가 정보 소스 디코더(40)에서, 낮은 비트 레이트 압축된 HOA 비트 스트림
Figure pct00308
는 디멀티플렉서에서 먼저 디멀티플렉싱되어(s41),
Figure pct00309
개의 신호들
Figure pct00310
,
Figure pct00311
의 인지 코딩된 표현과, 그 HOA 표현을 생성하는 방법을 기술하는 부가 정보
Figure pct00312
가 된다. 그 다음, 인지 디코더(42) 내의
Figure pct00313
개의 신호들의 인지 디코딩(s42) 및 부가 정보 디코더(43) (예를 들어, 엔트로피 디코더) 내의 부가 정보의 디코딩(s43)이 수행된다.
인지 디코더(42)는
Figure pct00314
개의 신호들
Figure pct00315
,
Figure pct00316
을 인지 디코딩된 신호들
Figure pct00317
,
Figure pct00318
로 디코딩한다.
부가 정보 소스 디코더(43)는, 코딩된 부가 정보
Figure pct00319
를, 튜플 세트
Figure pct00320
,
Figure pct00321
, 각각의 부대역 또는 부대역 그룹 fj (j=1, ..., F)에 대한 예측 계수 행렬들
Figure pct00322
, 이득 보정 지수
Figure pct00323
및 이득 보정 예외 플래그
Figure pct00324
, 및 할당 벡터
Figure pct00325
로 디코딩한다.
알고리즘 2는 코딩된 부가 정보
Figure pct00326
로부터 튜플 세트
Figure pct00327
,
Figure pct00328
를 생성하는 방법을 예시적으로 요약한다. 부대역 방향들의 디코딩이 이하에서 상세하게 설명된다.
먼저, 코딩된 부가 정보
Figure pct00329
로부터 전체-대역 방향들의 개수
Figure pct00330
가 추출된다. 전술된 바와 같이, 이들은 또한 부대역 방향들로서 이용된다. 이것은
Figure pct00331
비트로 코딩된다.
제2 단계에서,
Figure pct00332
개의 요소들로 구성된 배열
Figure pct00333
이 추출되고 각각의 요소는
Figure pct00334
비트들로 코딩된다. 이 배열은 전체-대역 방향들
Figure pct00335
,
Figure pct00336
을 나타내는 그리드 인덱스를 포함하되,
Figure pct00337
그 다음, 각각의 부대역 또는 부대역 그룹
Figure pct00338
,
Figure pct00339
에 대해,
Figure pct00340
개의 요소들로 구성된 배열
Figure pct00341
이 추출되며, 여기서,
Figure pct00342
번째 요소
Figure pct00343
는
Figure pct00344
번째 부대역 방향이 활성인지의 여부를 나타낸다. 또한, 활성 부대역 방향들의 총 개수
Figure pct00345
가 계산된다.
마지막으로, 튜플 세트
Figure pct00346
가 각각의 부대역 또는 부대역 그룹
Figure pct00347
,
Figure pct00348
에 대해 계산된다. 이것은 개개의 (활성) 부대역 방향 궤적을 식별하는 인덱스들
Figure pct00349
, 및 각각의 추정된 방향들
Figure pct00350
로 구성된다.
Figure pct00351
그 다음, 각각의 부대역 또는 부대역 그룹
Figure pct00352
,
Figure pct00353
에 대한 예측 계수 행렬들
Figure pct00354
이 코딩된 프레임
Figure pct00355
으로부터 재구성된다. 한 실시예에서, 재구성은 부대역 또는 부대역 그룹
Figure pct00356
마다 다음과 같은 단계들을 포함한다 :
먼저, 각각의 행렬 계수의 각도 및 크기 차이가 엔트로피 디코딩에 의해 얻어진다. 그 다음 엔트로피 디코딩된 각도 및 크기 차이가 코딩에 사용된 비트수
Figure pct00357
에 따라 실제 값 범위로 재조정된다. 마지막으로, 현재 예측 계수 행렬
Figure pct00358
은, 재구성된 각도 및 크기 차이를 최신 계수 행렬
Figure pct00359
의 계수들, 즉, 이전 프레임의 계수 행렬에 더함으로써 생성된다.
따라서, 이전 행렬
Figure pct00360
은 현재 행렬
Figure pct00361
의 디코딩을 위해 알려져야만 한다. 한 실시예에서, 랜덤 액세스를 가능하게 하기 위해, 이들 프레임으로부터의 차분 디코딩을 재시작하기 위해 비차분적으로 코딩된 행렬 계수들을 포함하는 특별한 액세스 프레임이 소정 구간들에서 수신된다.
인지 및 부가 정보 소스 디코더(40)는, 인지 디코딩된 신호들
Figure pct00362
,
Figure pct00363
, 튜플 세트들
Figure pct00364
,
Figure pct00365
, 예측 계수 행렬들
Figure pct00366
, 이득 보정 지수들
Figure pct00367
, 이득 보정 예외 플래그들
Figure pct00368
, 및 할당 벡터
Figure pct00369
를 후속 공간 HOA 디코더(50)에 출력한다.
공간 HOA 디코딩
도 5는 한 실시예에서의 예시적인 공간 HOA 디코더(50)를 도시한다. 공간 HOA 디코더(50)는,
Figure pct00370
개의 신호들
Figure pct00371
,
Figure pct00372
및 부가 정보 디코더 (43)에 의해 제공된 전술된 부가 정보로부터 재구성된 HOA 표현을 생성한다. 공간 HOA 디코더(50) 내의 개개의 처리 유닛들이 이하에서 상세하게 설명된다.
역 이득 제어
공간적 HOA 디코더(50)에서, 인지 디코딩된 신호들
Figure pct00373
,
Figure pct00374
은, 연관된 이득 보정 지수
Figure pct00375
및 이득 보정 예외 플래그
Figure pct00376
와 함께, 하나 이상의 역 이득 제어 처리 블록(51)에 먼저 입력된다. 역 이득 제어 처리 블록들은 이득 보정된 신호 프레임들
Figure pct00377
를 제공한다. 한 실시예에서,
Figure pct00378
개의 신호들
Figure pct00379
각각은, 도 5에서와 같이, 별개의 역 이득 제어 처리 블록(51)에 공급되어,
Figure pct00380
번째 역 이득 제어 처리 블록이 이득 보정된 신호 프레임
Figure pct00381
을 제공하게 한다. 역 이득 제어에 대한 더 상세한 설명은, 예를 들어, [9], 11.4.2.1 절로부터 찾을 수 있다.
절삭된 HOA 재구성
절삭된 HOA 재구성 블록(52)에서,
Figure pct00382
개의 이득 보정된 신호 프레임들
Figure pct00383
은 할당 벡터
Figure pct00384
에 의해 제공된 정보에 따라 HOA 계수 시퀀스 행렬에 재분배(즉, 재할당)되어, 절삭된 HOA 표현
Figure pct00385
이 재구성되게 한다. 할당 벡터
Figure pct00386
는
Figure pct00387
개의 성분들을 포함하고, 이들 성분들은, 각각의 전송 채널에 대해, 자신이 원래의 HOA 성분의 어느 계수 시퀀스를 포함하는지를 나타낸다. 또한, 할당 벡터의 요소들은,
Figure pct00388
번째 프레임에 대한 모든 수신된 계수 시퀀스들의 원래의 HOA 성분을 참조하는 인덱스 세트
Figure pct00389
를 형성한다
Figure pct00390
절삭된 HOA 표현
Figure pct00391
의 재구성은 다음과 같은 단계들을 포함한다 :
먼저, 하기와 같은 디코딩된 중간 표현의 개개의 성분들
Figure pct00392
,
Figure pct00393
은,
Figure pct00394
할당 벡터 내의 정보에 따라, 0으로 설정되거나 이득 보정된 신호 프레임들
Figure pct00395
의 대응하는 성분에 의해 대체된다, 즉,
Figure pct00396
이것은, 앞서 언급된 바와 같이, 수학식 26에서
Figure pct00397
인, 할당 벡터의 i 번째 요소는, 디코딩된 중간 표현 행렬
Figure pct00398
의 n 번째 라인의
Figure pct00399
가 i 번째 계수
Figure pct00400
로 대체됨을 나타낸다는 것을 의미한다.
두 번째,
Figure pct00401
내의 처음
Figure pct00402
개의 신호들의 재상관은 이들에게 역 공간 변환을 적용함으로써 실행되며, 다음과 같은 프레임을 제공한다
Figure pct00403
여기서 모드 행렬
Figure pct00404
은 수학식 6에서 정의된 바와 같다. 모드 행렬은 각각의
Figure pct00405
또는
Figure pct00406
에 대해 미리정의된 주어진 방향에 의존하며, 따라서 인코더 및 디코더 양쪽 모두에서 독립적으로 구성될 수 있다. 또한
Figure pct00407
(또는
Figure pct00408
)은 규약에 의해 미리정의된다.
마지막으로, 재구성된 절삭된 HOA 표현
Figure pct00409
은, 하기 수학식에 따라 재상관된 신호들
Figure pct00410
과 중간 표현의 신호들
Figure pct00411
,
Figure pct00412
로부터 생성된다
Figure pct00413
분석 필터 뱅크
예측된 방향 부대역 신호들에 의해 표현되는 제2 HOA 성분을 더 계산하기 위해, 압축해제된 절삭된 HOA 표현
Figure pct00414
의 개개의 계수 시퀀스
Figure pct00415
의 각각의 프레임
Figure pct00416
,
Figure pct00417
은 먼저 하나 이상의 분석 필터 뱅크(53)에서 개개의 부대역 신호들
Figure pct00418
,
Figure pct00419
의 프레임들로 분해된다. 각각의 부대역
Figure pct00420
,
Figure pct00421
에 대해, 개개의 HOA 계수 시퀀스들의 부대역 신호들의 프레임들은 다음과 같은 부대역 HOA 표현
Figure pct00422
으로 집합될 수 있다.
Figure pct00423
HOA 공간 디코딩 스테이지에서 적용되는 하나 이상의 분석 필터 뱅크(53)는 HOA 공간 인코딩 스테이지에서의 하나 이상의 분석 필터 뱅크(15)와 동일하고, 부대역 그룹에 대해서는 HOA 공간 인코딩 스테이지로부터의 그룹화가 적용된다. 따라서, 한 실시예에서, 그룹화 정보가 인코딩된 신호에 포함된다. 그룹화 정보에 대한 더 많은 상세사항은 이하에서 제공된다.
한 실시예에서, HOA 압축 스테이지(상기 수학식 4 부근을 참조)에서의 절삭된 HOA 표현의 계산에 대해 최대 차수
Figure pct00424
가 고려되며, HOA 압축기 및 압축해제기의 분석 필터 뱅크(15, 53)의 적용은 인덱스들
Figure pct00425
을 갖는 HOA 계수 시퀀스들
Figure pct00426
만으로 제한된다. 그러면, 인덱스들
Figure pct00427
을 갖는 부대역 신호 프레임들
Figure pct00428
은 0으로 설정될 수 있다.
방향 부대역 HOA 표현의 합성
각각의 부대역 또는 부대역 그룹에 대해, 방향 부대역 또는 부대역 그룹 HOA 표현
Figure pct00429
은 하나 이상의 방향 부대역 합성 블록(54)에서 합성된다. 한 실시예에서, 연속적인 프레임들 간의 방향 및 예측 계수의 변화로 인한 아티팩트를 피하기 위해, 방향 부대역 HOA 표현의 계산은 중첩 가산(overlap add)의 개념에 기초한다. 따라서, 한 실시예에서,
Figure pct00430
번째 부대역,
Figure pct00431
에 관련된 활성 지향성 부대역 신호의 HOA 표현
Figure pct00432
은 페이드 아웃 된 성분 및 페이드 인 된 성분의 합으로서 계산된다:
Figure pct00433
제1 단계에서, 2개의 개개의 성분들을 계산하기 위해, 프레임들
Figure pct00434
에 대한 예측 계수 행렬들
Figure pct00435
및
Figure pct00436
번째 프레임에 대한 절삭된 부대역 HOA 표현
Figure pct00437
과 관련된 모든 방향 부대역 신호들
Figure pct00438
의 순간 프레임은 다음과 같이 계산된다
Figure pct00439
부대역 그룹들에 대해, 각각의 그룹
Figure pct00440
의 HOA 표현들은 고정된 행렬
Figure pct00441
에 의해 곱해져 그 그룹의 부대역 신호들
Figure pct00442
을 생성한다.
제2 단계에서, 방향
Figure pct00443
에 대한 방향 부대역 신호
Figure pct00444
의 순시적 부대역 HOA 표현
Figure pct00445
,
Figure pct00446
,
Figure pct00447
이 다음과 같이 얻어진다
Figure pct00448
여기서,
Figure pct00449
는 방향
Figure pct00450
에 관한 (수학식 7의 모드 벡터로서의) 모드 벡터를 나타낸다. 각각의 부대역 그룹에 대해, 수학식 32는 그룹의 모든 신호에 대해 수행되고, 여기서, 행렬
Figure pct00451
는 각각의 그룹에 대해 고정된다.
행렬들
Figure pct00452
,
Figure pct00453
, 및
Figure pct00454
은 그들의 샘플들로 다음과 같이 구성된다고 가정하자
Figure pct00455
Figure pct00456
Figure pct00457
활성 방향 부대역 신호들의 HOA 표현의 성분들에서 페이딩 아웃되고 페이딩 인된 샘플 값들은 결국 다음과 같이 결정된다
Figure pct00458
Figure pct00459
여기서, 하기 벡터는
Figure pct00460
중첩 가산 윈도우 함수를 나타낸다. 윈도우 함수의 예는 주기적 Hann 윈도우에 의해 주어지고, 그 요소들은 다음과 같이 정의된다
Figure pct00461
부대역 HOA 조성(composition)
각각의 부대역 또는 부대역 그룹
Figure pct00462
,
Figure pct00463
에 대해, 디코딩된 부대 역 HOA 표현
Figure pct00464
의 계수 시퀀스들
Figure pct00465
,
Figure pct00466
은, 이전에 전송된 경우에는 절삭된 HOA 표현
Figure pct00467
의 계수 시퀀스의 것으로 설정되고, 그 외의 경우에는 방향 부대역 합성 블록(54)들 중 하나에 의해 제공되는 방향 HOA 성분
Figure pct00468
의 것으로 설정된다, 즉,
Figure pct00469
이 부대역 조성은 하나 이상의 부대역 조성 블록(55)에 의해 수행된다. 실시예에서, 각각의 부대역 또는 부대역 그룹에 대해 별개의 부대역 조성 블록(55)이 이용되므로, 하나 이상의 방향 부대역 합성 블록(54)들 각각에 대해 이용된다. 한 실시예에서, 방향 부대역 합성 블록(54) 및 그 대응하는 부대역 조성 블록(55)은 단일의 블록으로 통합된다.
합성 필터 뱅크
최종 단계에서, 디코딩된 HOA 표현은 모든 디코딩 된 부대역 HOA 표현들
Figure pct00470
로부터 합성된다. 압축해제된 HOA 표현
Figure pct00471
의 개개의 시간 영역 계수 시퀀스들
Figure pct00472
은, 압축해제된 HOA 표현
Figure pct00473
을 최종적으로 출력하는 하나 이상의 합성 필터 뱅크(56)에 의해 대응하는 부대역 계수 시퀀스들
Figure pct00474
,
Figure pct00475
로부터 합성된다.
합성된 시간 영역 계수 시퀀스는 일반적으로 분석 및 합성 필터 뱅크(53, 56)의 연속적인 적용으로 인해 지연을 갖는다는 점에 유의한다.
도 8은, 예시적으로, 단일 주파수 부대역 f1에 대해, 활성 방향 후보들의 세트, 이들의 선택된 궤적들 및 대응하는 튜플 세트를 도시한다. 프레임 k에서, 4개의 방향이 주파수 부대역 f1에서 활성이다. 방향들은 각각의 궤적 T1, T2, T3 및 T5에 속한다. 이전의 프레임 k-2 및 k-1에서는, 상이한 방향들이 활성이었다, 즉, 각각 T1, T2, T6 및 T1-T4. 프레임 k에서의 활성 방향 세트 MDIR(k)는 전체 대역과 관련되며, 수 개의 활성 방향 후보들을 포함한다, 예를 들어, MDIR(k) = {Ω3, Ω8, Ω52, Ω101, Ω229, Ω446, Ω581}이다. 각각의 방향은 임의의 방식으로, 예를 들어, 2개의 각도로 또는 미리정의된 표의 인덱스로서, 표현될 수 있다. 활성 전체-대역 방향들의 세트로부터, 부대역 내에서 실제로 활성인 방향들 및 그들의 대응하는 궤적들은, 튜플 세트들 MDIR(k, fj), j = 1,...,F에서 각각의 주파수 부대역에 대해 개별적으로 수집된다. 예를 들어, 프레임 k의 제1 주파수 부대역에서, 활성 방향들은 Ω3, Ω52, Ω229 및 Ω581이고, 이들의 연관된 궤적은 각각 T3, T1, T2 및 T5이다. 제2 주파수 부대역 f2에서, 활성 방향은 전형적으로 Ω52 및 Ω229뿐이고, 그들의 연관된 궤적은 각각 T1 및 T2이다.
다음은, 예시적인 세트 IC,ACT(k) = {1,2,4,6}의 계수 시퀀스들에 대응하는, 예시적인 절삭된 HOA 표현 CT(k)의 계수 행렬의 일부이다:
Figure pct00476
IC,ACT(k)에 따라, 행 1, 2, 4 및 6의 계수들만 0으로 설정되지 않는다(그럼에도 불구하고, 이들은 신호에 따라, 0 일 수 있다). 행렬 CT(k)의 각각의 열은 샘플을 참조하고, 행렬의 각각의 행은 계수 시퀀스이다. 압축은, 모든 계수 시퀀스가 인코딩되고 전송되는 것이 아니라, 일부 선택된 계수 시퀀스, 즉, 인덱스가 각각 IC,ACT(k) 및 할당 벡터
Figure pct00477
에 포함된 계수 시퀀스만 인코딩되고 전송된다는 것을 포함한다. 디코더에서, 계수들은 압축해제되고 재구성된 절삭된 HOA 표현의 정확한 행렬 행들에 위치한다. 행들에 관한 정보는 할당 벡터
Figure pct00478
로부터 얻어지며, 이 할당 벡터는 각각의 전송된 계수 시퀀스에 이용되는 전송 채널을 추가로 제공한다. 나머지 계수 시퀀스들은 0으로 채워지고, 수신된 부가 정보에 따라 수신된 (일반적으로 0이 아닌) 계수들로부터 나중에 예측된다, 예를 들어, 예측 행렬.
부대역 그룹화
한 실시예에서, 이용된 부대역들은 사람의 청각의 음향심리학적 특성에 적합화된 상이한 대역폭들을 가진다. 대안으로서, 분석 필터 뱅크(53)로부터의 다수의 부대역들이 결합되어 상이한 대역폭들을 갖는 부대역들을 갖춘 적합화된 필터 뱅크를 형성한다. 분석 필터 뱅크(53)로부터의 인접한 부대역들의 그룹은 동일한 파라미터들을 이용하여 처리된다. 결합된 부대역들의 그룹들이 이용된다면, 인코더 측에서 적용되는 대응하는 부대역 구성은 디코더측에 알려져야 한다. 실시예에서, 구성 정보가 전송되고 디코더에 의해 그 합성 필터 뱅크를 셋업하기 위해 이용된다. 실시예에서, 구성 정보는 복수의 미리정의된 알려진 구성들 (예를 들어, 리스트) 중 하나에 대한 식별자를 포함한다.
또 다른 실시예에서, 부대역 구성을 정의하기 위해 필요한 비트수를 감소시키는 다음과 같은 융통성있는 해결책이 이용된다. 부대역 구성의 효율적인 인코딩을 위해, 처음의, 끝에서 두 번째의, 및 마지막 부대역 그룹의 데이터는 다른 부대역 그룹들과는 상이하게 취급된다. 또한, 부대역 그룹 대역폭 차이 값들은 인코딩에서 이용된다. 원칙적으로, 부대역 그룹화 정보 코딩 방법은 오디오 신호의 하나 이상의 프레임들에 대해 유효한 부대역 그룹들에 대한 부대역 구성 데이터를 코딩하는데 적합하며, 여기서, 각각의 부대역 그룹은 하나 이상의 인접한 원래의 부대역들의 조합이고 원래의 부대역들의 수는 미리 정의되어 있다. 실시예에서, 후속 부대역 그룹의 대역폭은 현재 부대역 그룹의 대역폭보다 크거나 같다. 이 방법은 NSB-1을 나타내는 고정된 비트수를 갖는 다수의 NSB개의 부대역 그룹을 코딩하는 단계를 포함하고, NSB > 1이면, 제1 부대역 그룹 g1에 대해 BSB[1]-1을 나타내는 단항 코드를 갖는 대역폭 값 BSB[1]을 코딩한다.NSB=3이면, 고정된 비트수를 갖는 대역폭 차이 값
Figure pct00479
이 제2 부대역 그룹 g2에 대해 코딩된다. NSB > 3이면, 대응하는 개수의 대역폭 차이 값들
Figure pct00480
이 단항 코드를 갖는 부대역 그룹들
Figure pct00481
에 대해 코딩되고, 고정된 수의 비트를 갖는 대역폭 차이 값
Figure pct00482
이 마지막 부대역 그룹
Figure pct00483
에 대해 코딩된다. 부대역 그룹에 대한 대역폭 값은 인접한 원래의 부대역들의 수로서 표현된다. 마지막 부대역 그룹
Figure pct00484
에 대해, 어떠한 대응하는 값도 코딩된 부대역 구성 데이터에 포함될 필요가 없다.
이하에서는, HOA(Higher Order Ambisonics)의 일부 기본적인 피쳐들이 설명된다.
HOA(Higher Order Ambisonics)는 사운드 소스가 없는 것으로 가정되는 관심대상의 컴팩트 영역 내의 음장에 대한 설명에 기초한다. 이 경우, 관심대상 영역 내의 시간 t와 위치 x에서의 음압
Figure pct00485
의 시공간적 거동은 균질 파동 방정식에 의해 물리적으로 완전히 결정된다. 이하에서는, 도 6에 도시된 구면 좌표계를 가정한다. 이 좌표계에서, x축은 정면 위치를 가리키고 y축은 좌측을 가리키며 z축은 상부를 가리킨다. 공간에서의 위치
Figure pct00486
는, 반경 r>0(즉, 좌표 원점까지의 거리), 극축 z(!)으로부터 측정된 경사각
Figure pct00487
, 및 x축으로부터의 x-y 평면에서 반시계 방향으로 측정된 방위각
Figure pct00488
으로 나타낸다. 또한,
Figure pct00489
는 전치(transposition)를 나타낸다.
그 다음,
Figure pct00490
로 표기된 시간에 관한 음압의 푸리에 변환, 즉,
Figure pct00491
상기 수학식(여기서,
Figure pct00492
는 각주파수를 나타내고
Figure pct00493
는 허수 단위를 나타냄)은 하기 수학식에 따라 구면 고조파 급수로 확장될 수 있다는 것이 나타내어질 수 있다[11].
Figure pct00494
수학식 42에서,
Figure pct00495
는 사운드의 속도를 나타내고
Figure pct00496
는
Figure pct00497
에 의해 각주파수
Figure pct00498
와 관련된 각파수(angular wave number)를 나타낸다. 또한,
Figure pct00499
는 제1 종 구면 베셀 함수를 나타내고,
Figure pct00500
는, 위에서 정의된 차수
Figure pct00501
및 도수
Figure pct00502
의 실수값 구면 고조파를 나타낸다. 확장 계수
Figure pct00503
는 각파수
Figure pct00504
에만 의존한다. 음압은 공간적으로 대역-제한된다는 것이 묵시적으로 가정된다는 점에 유의한다. 따라서, 급수는, HOA 표현의 차수라고 불리는 상한
Figure pct00505
에서 차수 인덱스
Figure pct00506
에 관하여 절삭된다.
음장이 상이한 각주파수들
Figure pct00507
의 무한 개수의 고조파 평면파들의 중첩으로 표현되고 각도 튜플
Figure pct00508
에 의해 명시된 모든 가능한 방향들에서 도달하면, 각각의 평면파 복소 진폭 함수
Figure pct00509
는 다음과 같은 구면 고조파 확장에 의해 나타낼 수 있다[10]
Figure pct00510
여기서, 확장 계수들
Figure pct00511
은 확장 계수들
Figure pct00512
과 하기 수학식에 의해 관련된다
Figure pct00513
개개의 계수들
Figure pct00514
이 각주파수
Figure pct00515
의 함수인 것으로 가정하면, (
Figure pct00516
으로 표기되는) 역 푸리에 변환의 적용은 각각의 차수
Figure pct00517
및 도수
Figure pct00518
에 대해 하기의 시간 영역 함수들을 제공한다
Figure pct00519
이들 시간 영역 함수들은 여기서는 연속-시간 HOA 계수 시퀀스라 부르며, 하기의 단일의 벡터
Figure pct00520
로 집합될 수 있다
Figure pct00521
벡터
Figure pct00522
내에서의 HOA 계수 시퀀스
Figure pct00523
의 위치 인덱스는
Figure pct00524
으로 주어진다.
벡터
Figure pct00525
내의 요소들의 전체 개수는
Figure pct00526
으로 주어진다.
최종 Ambisonics 포멧은 하기의 같은 샘플링 주파수
Figure pct00527
를 이용한
Figure pct00528
의 샘플링된 버전을 제공한다
Figure pct00529
여기서,
Figure pct00530
는 샘플링 기간을 나타낸다.
Figure pct00531
의 요소들은 여기서는 이산-시간 HOA 계수 시퀀스라 부르며, 항상 실수값인 것으로 보일 수 있다. 이 속성은 또한 명백히 연속-시간 버전
Figure pct00532
에 대해서도 유효하다.
실수값 구면 고조파의 정의
실수값 구면 고조파
Figure pct00533
(SN3D 정규화 [1, Ch.3.1]을 가정)는 다음과 같이 주어진다
Figure pct00534
여기서,
Figure pct00535
연관된 르쟝드르 함수
Figure pct00536
는 르쟝드르 다항식
Figure pct00537
과 함께 다음과 같이 정의되며,
Figure pct00538
[11]에서와 달리, Condon-Shortley 위상 항
Figure pct00539
이 없다.
한 실시예에서, (복소값 필터 뱅크로부터 획득되는) HOA 신호 표현의 부대역 또는 부대역 그룹 내의 우세 방향 신호들의 방향들의 프레임별 결정 및 효율적인 인코딩을 위한 방법은,
각각의 현재 프레임에 대해: HOA 신호에서 전체 대역 방향 후보들의 세트 MDIR(k), 상기 세트 MDIR(k) 내의 요소들의 수 NoOfGlobalDirs(k) 및 상기 요소들의 수를 인코딩하는데 요구되는 수 D(k)=log2(NoOfGlobalDirs(k))를 결정 ―각각의 전체 대역 방향 후보는, 미리정의된 전체 세트의 Q개의 가능한 방향들에 관련된 전역 지수 q(
Figure pct00540
)를 가짐― 하는 단계, 현재 프레임 k의 각각의 부대역 또는 부대역 그룹 j에 대해, 세트 MDIR(k) 내의 전체 대역 방향 후보들 중 어느 방향들이 활성 부대역 방향으로서 발생하는지를 결정하는 단계, 임의의 부대역 또는 부대역 그룹들에서 활성 부대역 방향으로서 발생하는 이용된 전체 대역 방향 후보들의 세트 MFB(k)(모두는 HOA 신호에서 전체 대역 방향 후보들의 세트 MDIR(k) 내에 포함됨) 및 이용된 전체 대역 방향 후보들의 세트 MFB(k) 내의 요소들의 수 NoOfGlobalDirs(k)를 결정하는 단계, 및 현재 프레임 k의 각각의 부대역 또는 부대역 그룹 j에 대해: 세트 MDIR(k) 내의 전체 대역 방향 후보들 중에서 d(
Figure pct00541
)개까지의 방향들 중 어느 방향들이 활성 부대역 방향인지를 결정하고, 활성 부대역 방향들 각각에 대해 궤적 및 궤적 인덱스를 결정하고, 궤적 인덱스를 각각의 활성 부대역 방향에 할당하며, 현재의 부대역 또는 부대역 그룹 j 내의 활성 부대역 방향들 각각을 D(k) 비트를 갖는 상대 인덱스에 의해 인코딩하는 단계를 포함한다.
한 실시예에서, 컴퓨터 판독가능한 매체에는, 컴퓨터에서 실행될 때 컴퓨터로 하여금 우세 방향 신호들의 방향들의 프레임별 결정과 효율적인 인코딩을 위해 상기 개시된 방법을 수행하게 하는 실행가능한 명령어들이 저장되어 있다.
또한, 한 실시예에서, HOA 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 디코딩을 위한 방법은,
디코딩될 HOA 신호 표현에 대한 최대 개수의 방향들 D의 인덱스들을 수신하고, 부대역당 활성 방향 신호들의 인덱스들을 수신하며, 디코딩될 HOA 신호 표현의 최대 개수의 방향들 D의 방향들을 재구성하고, 디코딩될 HOA 신호 표현의 재구성된 방향들 D 및 부대역당 활성 방향 신호들의 인덱스들로부터 부대역당 활성 방향들을 재구성하고, 부대역들의 방향 신호들을 예측하는 단계를 포함하고, 여기서, 부대역의 현재 프레임에서 방향 신호를 예측하는 것은, 부대역의 선행하는 프레임의 방향 신호를 결정하는 것을 포함하고, 여기서, 방향 신호의 인덱스가 선행 프레임에서 제로이고 현재 프레임에서 비제로이면 새로운 방향 신호가 생성되고, 방향 신호의 인덱스가 선행 프레임에서 비제로이고 현재 프레임에서 제로이면 이전 방향 신호는 취소되고, 방향 신호의 인덱스가 제1 방향으로부터 제2 방향으로 변하면 방향 신호의 방향은 제1 방향으로부터 제2 방향으로 이동된다.
한 실시예에서, 도 1 및 도 3에 도시되고 상기에서 논의된 바와 같이, 주어진 개수의 계수 시퀀스 ―각각의 계수 시퀀스는 인덱스를 가짐― 를 갖는 입력 HOA 신호의 프레임들을 인코딩하기 위한 장치는, 적어도 하나의 하드웨어 프로세서 및 적어도 하나의 소프트웨어 컴포넌트를 유형적으로 구현하는 비일시적, 유형의 컴퓨터 판독가능한 저장 매체를 포함하고, 적어도 하나의 소프트웨어 컴포넌트는 적어도 하나의 하드웨어 프로세서에서 실행될 때,
감소된 개수의 비제로 계수 시퀀스들을 갖는 절삭된 HOA 표현
Figure pct00542
을 계산하고(11), 절삭된 HOA 표현에 포함된 활성 계수 시퀀스들 IC,ACT(k)의 인덱스 세트를 결정하며(11), 입력 HOA 신호로부터 제1 세트의 후보 방향 MDIR(k)을 추정하고(16); 입력 HOA 신호를 복수의 주파수 부대역들
Figure pct00543
로 분할 ―여기서, 주파수 부대역들의 계수 시퀀스들
Figure pct00544
이 획득됨― 하며(15), 주파수 부대역들 각각에 대해 제2 세트의 방향들 MDIR(k,f1), ..., MDIR(k,fF) ―제2 세트의 방향들의 각각의 요소는 제1 및 제2 인덱스를 갖는 인덱스들의 튜플이고, 제2 인덱스는 현재의 주파수 부대역에 대한 활성 방향의 인덱스이며, 제1 인덱스는 활성 방향의 궤적 인덱스이고, 각각의 활성 방향은 또한 입력 HOA 신호의 제1 세트의 후보 방향들 MDIR(k)에 포함됨― 을 추정하고(16), 주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 제2 세트의 방향들 MDIR(k,f1), ..., MDIR(k,fF)에 따라 주파수 부대역의 계수 시퀀스들
Figure pct00545
로부터 방향 부대역 신호들
Figure pct00546
을 계산하며(17),
주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 활성 계수 채널들 IC,ACT(k)의 인덱스들의 세트를 이용하여 주파수 부대역의 계수 시퀀스들
Figure pct00547
로부터 방향 부대역 신호들
Figure pct00548
을 예측하기 위해 구성된 예측 행렬 A(k,f1),...,A(k,fF)을 계산하고(18), 제1 세트의 후보 방향들 MDIR(k), 제2 세트의 방향들 MDIR(k,f1),..., MDIR(k,fF), 예측 행렬들 A(k,f1),...,A(k,fF), 및 절삭된 HOA 표현
Figure pct00549
을 인코딩하게 한다.
한 실시예에서, 도 4 및 도 5에 도시되고 상기에서 논의된 바와 같이, 압축된 HOA 표현을 디코딩하기 위한 장치는, 적어도 하나의 하드웨어 프로세서, 및 적어도 하나의 소프트웨어 컴포넌트를 구현하는 비일시적, 유형의, 컴퓨터 판독가능한 저장 매체를 포함하고, 적어도 하나의 소프트웨어 컴포넌트는, 적어도 하나의 하드웨어 프로세서에서 실행될 때, 압축된 HOA 표현으로부터, 복수의 절삭된 HOA 계수 시퀀스들
Figure pct00550
, 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스를 나타내거나 포함하는 할당 벡터
Figure pct00551
, 부대역 관련 방향 정보 MDIR(k+1,f1), ...,MDIR(k+1,fF), 복수의 예측 행렬 A(k+1,f1),...,A(k+1,fF), 및 이득 제어 부가 정보
Figure pct00552
를 추출하고(s41, s42, s43);
복수의 절삭된 HOA 계수 시퀀스
Figure pct00553
, 이득 제어 부가 정보
Figure pct00554
, 및 할당 벡터
Figure pct00555
로부터, 절삭된 HOA 표현
Figure pct00556
을 재구성하며(s51, s52),
분석 필터 뱅크(53)에서, 재구성된 절삭된 HOA 표현
Figure pct00557
을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현들
Figure pct00558
로 분해하고,
방향 부대역 합성 블록(54)에서, 주파수 부대역 표현들 각각에 대해, 재구성된 절삭된 HOA 표현의 각각의 주파수 부대역 표현
Figure pct00559
, 부대역 관련 방향 정보 MDIR(k+1,f1), ...,MDIR(k+1,fF), 및 예측 행렬 A(k+1,f1),...,A(k+1,fF)로부터 예측된 방향 HOA 표현
Figure pct00560
을 합성하며(s54),
부대역 조성 블록(55)에서, F개의 주파수 부대역들 각각에 대해, 계수 시퀀스가 할당 벡터
Figure pct00561
에 포함되는 인덱스 n을 갖는 경우 절삭된 HOA 표현
Figure pct00562
의 계수 시퀀스들로부터 획득되고 그렇지 않으면 방향 부대역 합성 블록(54)들 중 하나에 의해 제공된 예측된 방향 HOA 성분
Figure pct00563
의 계수 시퀀스들로부터 획득되는 계수 시퀀스들
Figure pct00564
,
Figure pct00565
을 갖는 디코딩된 부대역 HOA 표현
Figure pct00566
을 조성하고(s55), 합성 필터 뱅크(56)에서, 디코딩된 HOA 표현
Figure pct00567
을 획득하기 위해 디코딩된 부대역 HOA 표현들
Figure pct00568
을 합성(s56)하게 한다.
도 9는 한 실시예에서의 디코딩 방법의 플로차트를 도시한다. 압축된 HOA 표현으로부터 방향 정보를 디코딩하기 위한 방법(90)은, 압축된 HOA 표현의 각각의 프레임에 대해,
압축된 HOA 표현으로부터 후보 방향들 ―각각의 후보 방향은, 적어도 하나의 부대역에서의 잠재적 부대역 신호 소스 방향임―의 세트 MFB(k), 각각의 주파수 부대역에 대해 및 DSB개까지의 잠재적 부대역 신호 소스 방향들 각각에 대해 잠재적 부대역 신호 소스 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타는 비트 bSubBandDirIsActive(k,fj), 및 활성 부대역 방향들의 상대적 방향 인덱스들 RelDirIndices(k,fj)과 각각의 활성 부대역 방향에 대한 방향 부대역 신호 정보를 추출하는 단계(s91-s93);
각각의 주파수 부대역 방향에 대해 상대적 방향 인덱스들 RelDirIndices(k,fj)을 절대적 방향 인덱스들로 변환 ―상기 비트 bSubBandDirIsActive(k,fj)가 각각의 주파수 부대역에 대해 상기 후보 방향이 활성 부대역 방향이라고 나타낸다면, 각각의 상대적 방향 인덱스는 상기 후보 방향들의 세트 MFB(k) 내의 인덱스로서 사용됨― 하는 단계(s60); 및 상기 방향 부대역 신호 정보로부터 방향 부대역 신호들을 예측 ―상기 절대적 방향 인덱스들에 따라 방향 부대역 신호들에 방향들이 할당됨― 하는 단계(s70)를 포함한다.
한 실시예에서, 현재 프레임에서 방향 부대역 신호를 예측하는 단계(s70)는 선행 프레임의 부대역의 방향 부대역 신호들을 결정하는 단계를 포함하며, 여기서, 방향 부대역 신호의 인덱스가 선행 프레임에서 제로이고 현재 프레임에서 비제로이면, 새로운 방향 부대역 신호가 생성되고, 방향 신호의 인덱스가 선행 프레임에서 비제로이고 현재 프레임에서 제로이면 이전의 방향 부대역 신호는 취소되고, 방향 부대역 신호의 인덱스가 제1 방향으로부터 제2 방향으로 변하면 방향 부대역 신호의 방향은 제1 방향으로부터 제2 방향으로 이동된다.
실시예에서, 적어도 하나의 부대역은 2개 이상의 주파수 부대역으로 이루어진 부대역 그룹이다.
실시예에서, 방향 부대역 신호 정보는 적어도 복수의 절삭된 HOA 계수 시퀀스들
Figure pct00569
, 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스를 나타내거나 포함하는 할당 벡터
Figure pct00570
, 및 복수의 예측 행렬 A(k+1,f1),...,A(k+1,fF)을 포함한다. 실시예에서, 이 방법은, 복수의 절삭된 HOA 계수 시퀀스들
Figure pct00571
및 할당 벡터
Figure pct00572
로부터 절삭된 HOA 표현
Figure pct00573
을 재구성하는 단계(s51, s52); 분석 필터 뱅크(53)에서 재구성된 절삭된 HOA 표현
Figure pct00574
을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현들
Figure pct00575
로 분해하는 단계(s53)를 포함하고, 여기서, 방향 부대역 신호를 예측하는 상기 단계는 상기 주파수 부대역 표현들
Figure pct00576
및 복수의 예측 행렬 A(k+1,f1),...,A(k+1,fF)를 이용한다.
실시예에서, 추출하는 단계는, 인지 코딩된 부분 및 인코딩된 부가 정보 부분을 획득하기 위해 압축된 HOA 표현을 디멀티플렉싱하는 단계(s91)를 포함하고, 인지 코딩된 부분은 절삭된 HOA 계수 시퀀스들
Figure pct00577
을 포함하고, 인코딩된 부가 정보 부분은 활성 후보 방향들의 세트 MDIR(k), 활성 부대역 방향들의 상대적 방향 인덱스들 RelDirIndices(k,fj), 상기 할당 벡터
Figure pct00578
, 상기 예측 행렬들 A(k+1,f1),...,A(k+1,fF) , 및 각각의 주파수 부대역과 각각의 활성 후보 방향에 대해 활성 후보 방향이 활성 부대역 방향이라는 것을 나타내는 상기 비트 bSubBandDirIsActive(k,fj)를 포함한다.
실시예에서, 이 방법은 인지 디코더(42)에서 추출된 절삭된 HOA 계수 시퀀스들
Figure pct00579
을 인지 디코딩(s92)하여 절삭된 HOA 계수 시퀀스들
Figure pct00580
을 획득하는 단계를 더 포함한다. 실시예에서, 이 방법은, 부가 정보 소스 디코더(43)에서 인코딩된 부가 정보 부분을 디코딩(s93)하여 부대역 관련 방향 정보MDIR(k+1,f1), ...,MDIR(k+1,fF), 예측 행렬 A(k+1,f1),...,A(k+1,fF), 이득 제어 부가 정보
Figure pct00581
및 할당 벡터
Figure pct00582
를 획득하는 단계를 더 포함한다.
실시예에서, 추출하는 단계는, 이득 제어 부가 정보
Figure pct00583
를 추출하는 단계를 포함하고, 이득 제어 부가 정보는 절삭된 HOA 표현을 재구성(s51, s52)하는데 있어서 이용된다.
실시예에서, 이 방법은, 방향 부대역 합성 블록(54)에서, 주파수 부대역 표현들 각각에 대해, 재구성된 절삭된 HOA 표현의 각각의 주파수 부대역 표현
Figure pct00584
, 부대역 관련 방향 정보 MDIR(k+1,f1), ...,MDIR(k+1,fF) 및 예측 행렬 A(k+1,f1),...,A(k+1,fF)로부터, 예측된 방향 HOA 표현
Figure pct00585
을 합성하는 단계(s54); 부대역 조성 블록들(55)에서, F개의 주파수 부대역들 각각에 대해, 계수 시퀀스가 할당 벡터
Figure pct00586
에 포함되는 인덱스 n을 갖는 경우 절삭된 HOA 표현
Figure pct00587
의 계수 시퀀스들로부터 획득되고 그렇지 않으면 방향 부대역 합성 블록(54)들 중 하나에 의해 제공된 예측된 방향 HOA 성분
Figure pct00588
의 계수 시퀀스들로부터 획득되는 계수 시퀀스들
Figure pct00589
,
Figure pct00590
을 갖는 디코딩된 부대역 HOA 표현
Figure pct00591
을 조성하는 단계(s55); 및 합성 필터 뱅크(56)에서, 디코딩된 HOA 표현을 획득하기 위해 디코딩된 부대역 HOA 표현들
Figure pct00592
을 합성하는 단계(s56)를 더 포함한다. 실시예에서, 방향 부대역 신호 정보는 활성 방향들의 세트 MDIR(k)와 제1 및 제2 인덱스를 갖는 인덱스들의 튜플들을 포함하는 튜플 세트 MDIR(k+1,f1), ...,MDIR(k+1,fF)를 포함하고, 제2 인덱스는 현재의 주파수 부대역에 대한 활성 방향들의 세트 MDIR(k) 내의 활성 방향의 인덱스이며, 제1 인덱스는 활성 방향의 궤적 인덱스이고, 궤적은 특정한 사운드 소스의 방향들의 시간적 시퀀스이다.
한 실시예에서, 방향 정보를 디코딩하기 위한 장치는 프로세서와 메모리를 포함하고, 메모리는, 실행될 때 상기 장치로 하여금 청구항 1의 단계들을 수행하게 하는 명령어들을 저장한다.
도 10은 한 실시예에서의 인코딩 방법의 플로차트를 도시한다.
입력 HOA 신호의 프레임들에 대한 방향 정보를 인코딩하기 위한 방법(100)은,
입력 HOA 신호로부터 사운드 소스들의 방향들인 제1 세트의 활성 후보 방향들 MDIR(k)을 결정 ―활성 후보 방향들은 Q개의 전역 방향들의 미리정의된 세트 중에서 결정되고, 각각의 전역 방향은 전역 방향 인덱스를 가짐― 하는 단계(s101); 상기 입력 HOA 신호를 복수의 주파수 부대역들
Figure pct00593
로 분할하는 단계(s102); 상기 제1 세트의 활성 후보 방향들 MDIR(k) 중에서, 주파수 부대역들 각각에 대해, 제2 세트의 DSB(DSB <Q)개까지의 활성 부대역 방향들을 결정하는 단계(s103); 주파수 부대역마다 각각의 방향에 상대적 방향 인덱스 ―방향 인덱스는 범위 [1,...,NoOfGlobalDirs(k)]에 있음― 를 할당하는 단계(s104); 현재 프레임에 대한 방향 정보를 조립하는 단계(s105); 및 조립된 방향 정보를 전송하는 단계(s106)를 포함한다.
방향 정보는, 활성 후보 방향들 MDIR(k), 각각의 주파수 부대역 및 각각의 활성 후보 방향에 대해 활성 후보 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트 bSubBandDirIsActive(k,fj), 및 각각의 주파수 부대역에 대해 제2 세트의 부대역 방향들 중의 활성 부대역 방향들의 상대적 방향 인덱스들 RelDirIndices(k,fj)을 포함한다.
한 실시예에서, 이 방법은 입력 HOA 신호로부터 절삭된 HOA 표현 CT(k) 및 방향 부대역 신호들
Figure pct00594
을 조성하는 단계(s107)를 더 포함하며, 절삭된 HOA 표현은 하나 이상의 계수 시퀀스들이 0으로 설정되는 HOA 신호이고, 여기서, 방향 정보는 방향 부대역 신호가 가리키는 방향을 제공하고, 상기 전송하는 단계는 절삭된 HOA 표현 CT(k)) 및 방향 부대역 신호들
Figure pct00595
을 정의하는 정보를 전송하는 단계를 더 포함한다.
한 실시예에서, 방향 부대역 신호들
Figure pct00596
을 정의하는 정보는 예측 행렬들 A(k,f1),..., A(k,fF)을 포함한다. 한 실시예에서, 이 방법은, 제1 세트의 활성 후보 방향들 중에서, 주파수 부대역들 중 적어도 하나에서 이용되는 이용된 후보 방향들 세트 MFB(k), 및 이용된 후보 방향들 세트의 요소들의 개수 NoOfGlobalDirs(k)를 결정 ―방향 정보를 조립하는 상기 단계(s105)에서의 활성 후보 방향들이 상기 이용된 후보 방향들임― 하는 단계(s105a); 및 상기 이용된 후보 방향들을 그들의 전역 인덱스에 의해 인코딩하고(s105b) 요소들의 개수를 log2(D) 비트로 인코딩 ―D는 미리정의된 최대 개수의 (전체-대역) 후보 방향들임― 하는 단계를 더 포함한다. 도 10b)는 이들 후자의 실시예들의 조합을 도시한다.
한 실시예에서, 이 방법은 활성 부대역 방향의 궤적을 결정하는 단계(s104a)를 더 포함하고, 여기서, 활성 부대역 방향은 주파수 부대역에 대한 사운드 소스의 방향이고, 궤적은 특정 사운드 소스의 방향들의 시간적 시퀀스이며, 현재 프레임의 현재 주파수 부대역의 활성 부대역 방향들은 선행 프레임의 동일한 주파수 부대역의 활성 부대역 방향들과 비교되고, 동일하거나 이웃한 활성 부대역 방향들은 동일한 궤적에 속하는 것으로 결정된다.
한 실시예에서, 부대역마다 각각의 방향에 할당된(s104) 방향 인덱스는 궤적 인덱스이고, 이 방법은, 궤적 인덱스를 각각의 결정된 궤적에 할당하는 단계(s104b); 각각의 주파수 부대역에 대한 인덱스들의 튜플들을 포함하는 튜플 세트 MDIR(k,f1),..., MDIR(k,fF)를 생성하는 단계(s104c)를 더 포함하며, 여기서, 상기 인덱스들의 각각의 튜플은 현재 주파수 부대역에 대한 활성 부대역 방향의 인덱스와, 활성 부대역 방향에 대해 결정된 궤적의 궤적 인덱스를 포함한다. 도 10c)는 이들 후자의 실시예들의 조합을 도시한다. 한 실시예에서, 2개 이상의 주파수 부대역으로 이루어진 적어도 하나의 그룹이 생성되고, 적어도 하나의 그룹은 단일 주파수 부대역 대신에 이용되고 단일 주파수 부대역과 동일한 방식으로 취급된다.
한 실시예에서, 인코딩하기 위한 장치는 프로세서와 메모리를 포함하고, 메모리는, 실행될 때 상기 장치로 하여금 청구항 6의 단계들을 수행하게 하는 명령어들을 저장한다.
도 11은, 한 실시예에서, 입력 HOA 신호의 프레임들에 대한 방향 정보를 인코딩하기 위한 장치를 도시하고, 이 장치는, 입력 HOA 신호로부터 사운드 소스들의 방향들인 제1 세트의 활성 후보 방향들 MDIR(k)을 결정 ―활성 후보 방향들은 Q개의 전역 방향들의 미리정의된 세트 중에서 결정되고, 각각의 전역 방향은 전역 방향 인덱스를 가짐― 하도록(s101) 구성된 활성 후보 결정 모듈(101); 입력 HOA 신호를 복수의 주파수 부대역들
Figure pct00597
로 분할하도록(s102) 구성된 (분석 필터 뱅크(15)를 갖춘) 분석 필터 뱅크 모듈(102); 제1 세트의 활성 후보 방향들 MDIR(k) 중에서, 주파수 부대역들 각각에 대해, 제2 세트의 DSB(DSB <Q)개까지의 활성 부대역 방향들을 결정하도록(s103) 구성된 부대역 방향 결정 모듈(103); 주파수 부대역마다 각각의 방향에 상대적 방향 인덱스 ―방향 인덱스는 범위 [1,...,NoOfGlobalDirs(k)]에 있음― 를 할당하도록(s104) 구성된 상대적 방향 인덱스 할당 모듈(104); 현재 프레임에 대한 방향 정보를 조립하도록(s105) 구성된 방향 정보 조립 모듈(105); 및 조립된 방향 정보를 팩킹 및 저장 또는 전송)하도록(s106) 구성된 방향 정보 조립 모듈(106)을 포함한다. 방향 정보는, 활성 후보 방향들 MDIR(k), 각각의 주파수 부대역 및 각각의 활성 후보 방향에 대해 활성 후보 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트 bSubBandDirIsActive(k,fj), 및 각각의 주파수 부대역에 대해 제2 세트의 부대역 방향들 중의 활성 부대역 방향들의 상대적 방향 인덱스들 RelDirIndices(k,fj)을 포함한다. 모듈들(101-106)은, 예를 들어, 각각의 소프트웨어에 의해 구성될 수 있는 하나 이상의 하드웨어 프로세서를 이용함으로써 구현될 수 있다.
한 실시예에서, 이 장치는, 제1 세트의 활성 후보 방향들 중에서, 주파수 부대역들 중 적어도 하나에서 이용되는 이용된 후보 방향들 세트 MFB(k)를 결정하고, 이용된 후보 방향들 세트의 요소들의 개수를 결정 ―방향 정보 조립 모듈(105)이 조립하는 상기 방향 정보에 포함된 활성 후보 방향들이 상기 이용된 후보 방향들임― 하도록 구성된 이용된 후보 방향 결정 모듈(105a); 및 상기 이용된 후보 방향들을 그들의 전역 인덱스에 의해 인코딩하고 요소들의 개수를 log2(D) 비트로 인코딩 ―D는 미리정의된 최대 개수의 전체-대역 후보 방향들(즉, 전체 대역에 대한)임― 하도록 구성된 인코더(105b)를 더 포함한다.
한 실시예에서, 이 장치는, 활성 부대역 방향의 궤적을 결정하도록 구성된 궤적 결정 모듈(104a)을 더 포함하고, 여기서, 활성 부대역 방향은 주파수 부대역에 대한 사운드 소스의 방향이고, 궤적은 특정 사운드 소스의 방향들의 시간적 시퀀스이며, 하나 이상의 방향 비교기는, 현재 프레임의 현재 주파수 부대역의 활성 부대역 방향들을 선행 프레임의 동일한 주파수 부대역의 활성 부대역 방향들과 비교하며, 여기서, 동일하거나 이웃한 활성 부대역 방향들은 동일한 궤적에 속하는 것으로 결정된다.
한 실시예에서, 상대적 방향 인덱스 할당 모듈(104)이 부대역마다 각각의 방향에 할당하는 방향 인덱스는 궤적 인덱스이고, 상대적 방향 인덱스 할당 모듈(104)은, 궤적 인덱스를 각각의 결정된 궤적에 할당하도록 구성된 궤적 인덱스 할당 모듈(104b), 및 각각의 주파수 부대역에 대한 인덱스들의 튜플들을 포함하는 튜플 세트 MDIR(k,f1),..., MDIR(k,fF)를 생성하도록 구성된 튜플 세트 생성기(104c)를 더 포함하며, 여기서, 인덱스들의 각각의 튜플은 현재 주파수 부대역에 대한 활성 부대역 방향의 인덱스와, 활성 부대역 방향에 대해 결정된 궤적의 궤적 인덱스를 포함한다.
한 실시예에서, 이 장치는, 2개 이상의 주파수 부대역으로 이루어진 적어도 하나의 그룹을 생성하도록 구성된 적어도 하나의 그룹화 모듈을 더 포함하고, 여기서, 적어도 하나의 그룹은 단일 주파수 부대역 대신에 사용되고 단일 주파수 부대역과 동일한 방식으로 처리된다.
도 12는, 한 실시예에서, HOA 신호의 프레임들에 대한 방향 정보를 획득하기 위해 압축된 HOA 표현으로부터 방향 정보를 디코딩하기 위한 장치를 도시한다. 이 장치는, 압축된 HOA 표현으로부터 후보 방향들 ―각각의 후보 방향은, 적어도 하나의 부대역 내의 잠재적 부대역 신호 소스 방향임―의 세트 MFB(k), 각각의 주파수 부대역에 대해 및 최대 DSB개까지의 잠재적 부대역 신호 소스 방향들 각각에 대해 잠재적 부대역 신호 소스 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트 bSubBandDirIsActive(k,fj), 및 활성 부대역 방향들의 상대적 방향 인덱스들 RelDirIndices(k,fj)과 각각의 활성 부대역 방향에 대한 방향 부대역 신호 정보를 추출하도록 구성된 추출 모듈(40); 각각의 주파수 부대역 방향에 대해 상대적 방향 인덱스들 RelDirIndices(k,fj)을 절대적 방향 인덱스들로 변환 ―상기 비트 bSubBandDirIsActive(k,fj)가 각각의 주파수 부대역에 대해 상기 후보 방향이 활성 부대역 방향이라고 나타낸다면, 각각의 상대적 방향 인덱스는 상기 후보 방향들 세트 MFB(k) 내의 인덱스로서 사용됨― 하도록 구성된 변환 모듈(60); 및 상기 방향 부대역 신호 정보로부터 방향 부대역 신호들을 예측 ―방향들은 상기 절대적 방향 인덱스들에 따라 방향 부대역 신호들에 할당― 하도록 구성된 예측 모듈(70)을 포함한다. 모듈들(40,60, 70)은, 예를 들어, 각각의 소프트웨어에 의해 구성될 수 있는 하나 이상의 하드웨어 프로세서를 이용함으로써 구현될 수 있다.
한 실시예에서, 주어진 개수의 계수 시퀀스들을 갖는 입력 HOA 신호의 프레임들을 인코딩(및 그에 의해 압축)하기 위한 방법은, 절삭된 HOA 표현에 포함될 활성 계수 시퀀스들 IC,ACT(k)의 인덱스 세트를 결정하고, 감소된 개수의 비제로 계수 시퀀스들(즉, 입력 HOA 신호보다 적은 수의 비제로 계수 시퀀스들 및 그에 따라 더 많은 수의 제로 계수 시퀀스들)을 갖는 절삭된 HOA 표현 CT(k)을 계산하며, 입력 HOA 신호로부터 제1 세트의 후보 방향들 MDIR(k)을 추정하고, 입력 HOA 신호를 복수의 주파수 부대역들로 분할 ―여기서, 주파수 부대역들의 계수 시퀀스들
Figure pct00598
이 획득됨― 하며, 주파수 부대역들 각각에 대해 제2 세트의 방향들 MDIR(k,f1), ..., MDIR(k,fF) ―제2 세트의 방향들의 각각의 요소는 제1 및 제2 인덱스를 갖는 인덱스들의 튜플이고, 제2 인덱스는 현재의 주파수 부대역에 대한 활성 방향이며, 제1 인덱스는 활성 방향의 궤적 인덱스이고, 각각의 활성 방향은 또한 입력 HOA 신호의 제1 세트의 후보 방향들 MDIR(k)에 포함됨(즉, 제2 세트의 방향들의 활성 부대역 방향들은 제1 세트의 전체 대역 방향들의 서브셋임)― 을 추정하고, 주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 제2 세트의 방향들 MDIR(k,f1), ..., MDIR(k,fF)에 따라 주파수 부대역의 계수들
Figure pct00599
로부터 방향 부대역 신호들
Figure pct00600
을 계산하며,
주파수 부대역들 각각에 대해, 각각의 주파수 부대역의 활성 계수 시퀀스들 IC,ACT(k)의 인덱스 세트를 이용하여 주파수 부대역의 계수들
Figure pct00601
로부터 방향 부대역 신호들
Figure pct00602
을 예측하기 위해 구성된 예측 행렬 A(k,f1),...,A(k,fF)을 계산하고, 제1 세트의 후보 방향들 MDIR(k), 제2 세트의 방향들 MDIR(k,f1),..., MDIR(k,fF), 예측 행렬들 A(k,f1),...,A(k,fF), 및 절삭된 HOA 표현
Figure pct00603
을 인코딩하는 단계들을 포함한다.
제2 세트의 방향들은 주파수 부대역들에 관련된다. 제1 세트의 후보 방향들은 전체 주파수 대역과 관련된다. 유익하게는, 주파수 부대역들 각각에 대해 제2 세트의 방향들을 추정하는 단계에서, 주파수 부대역의 방향들 MDIR(k,f1),..., MDIR(k,fF)은, 제2 세트의 부대역 방향들은 제1 세트의 전체 대역 방향들의 서브셋이기 때문에, 전체 대역 HOA 신호의 방향들 MDIR(k) 중에서만 탐색될 필요가 있다. 한 실시예에서, 각각의 튜플 내의 제1 및 제2 인덱스의 순차적 순서는 스왑된다, 즉, 제1 인덱스는 현재 주파수 부대역에 대한 활성 방향의 인덱스이고, 제2 인덱스는 활성 방향의 궤적 인덱스이다.
완전한 HOA 신호는 복수의 계수 시퀀스 또는 계수 채널을 포함한다. 이들 계수 시퀀스들 중 하나 이상이 제로로 설정되는 HOA 신호는 여기서는 절삭된 HOA 표현이라고 불린다. 절삭된 HOA 표현을 계산하거나 생성하는 것은, 일반적으로, 활성인, 그에 따라 제로로 설정되지 않는 계수 시퀀스들의 선택과, 활성이 아닌 계수 시퀀스들을 제로로 설정하는 것을 포함한다. 이 선택은, 다양한 기준에 따라, 예를 들어, 제로로 설정되지 않을 계수 시퀀스로서 최대 에너지를 포함하는 것들을, 또는 인지적으로 가장 관련있는 것들을 선택하거나, 계수 시퀀스들을 임의로 선택함으로써, 이루어질 수 있다. HOA 신호를 주파수 부대역들로 분할하는 것은, 예를 들어, 직교 거울 필터(QMF)를 포함하는 분석 필터 뱅크에 의해 수행될 수 있다.
한 실시예에서, 절삭된 HOA 표현
Figure pct00604
을 인코딩하는 것은, 절삭된 HOA 채널 시퀀스들의 부분적 무상관화, 전송 채널들에 (상관된 또는 무상관된) 절삭된 HOA 채널 시퀀스들 y1(k),..., yI(k)을 할당하기 위한 채널 할당, 전송 채널들 각각에 대한 이득 제어를 수행 ―여기서, 각각의 전송 채널에 대한 이득 제어 부가 정보
Figure pct00605
,
Figure pct00606
가 생성됨― 하는 것, 지각 인코더에서 이득 제어된 절삭된 HOA 채널 시퀀스들 z1(k),..., zI(k)을 인코딩하는 것, 부가 정보 소스 코더에서, 이득 제어 정보
Figure pct00607
,
Figure pct00608
, 제1 세트의 후보 방향 MDIR(k), 제2 세트의 방향들 MDIR(k,f1),..., MDIR(k,fF) 및 예측 행렬들 A(k,f1),...,A(k,fF)을 인코딩하는 것, 및 인지 인코더와 부가 정보 소스 코더의 출력들을 멀티플렉싱하여 인코딩된 HOA 신호 프레임
Figure pct00609
을 획득하는 것을 포함한다.
또한, 한 실시예에서, 압축된 HOA 표현으로부터 디코딩(및 그에 의해 압축해제)하기 위한 방법은, 압축된 HOA 표현으로부터, 복수의 절삭된 HOA 계수 시퀀스들
Figure pct00610
, 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스를 나타내는(또는 포함하는) 할당 벡터
Figure pct00611
, 부대역 관련 방향 정보 MDIR(k+1,f1), ...,MDIR(k+1,fF), 복수의 예측 행렬 A(k+1,f1),...,A(k+1,fF), 및 이득 제어 부가 정보
Figure pct00612
를 추출하는 단계; 복수의 절삭된 HOA 계수 시퀀스
Figure pct00613
, 이득 제어 부가 정보
Figure pct00614
, 및 할당 벡터
Figure pct00615
로부터, 절삭된 HOA 표현
Figure pct00616
을 재구성하는 단계, 분석 필터 뱅크에서, 재구성된 절삭된 HOA 표현
Figure pct00617
을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현들
Figure pct00618
로 분해하는 단계,
방향 부대역 합성 블록에서, 주파수 부대역 표현들 각각에 대해, 재구성된 절삭된 HOA 표현의 각각의 주파수 부대역 표현
Figure pct00619
, 부대역 관련 방향 정보 MDIR(k+1,f1), ...,MDIR(k+1,fF), 및 예측 행렬 A(k+1,f1),...,A(k+1,fF)로부터, 예측된 방향 HOA 표현
Figure pct00620
을 합성하는 단계),
부대역 조성 블록에서, F개의 주파수 부대역들 각각에 대해, 계수 시퀀스가 할당 벡터
Figure pct00621
에 포함되는(의 요소인) 인덱스 n을 갖는 경우 절삭된 HOA 표현
Figure pct00622
의 계수 시퀀스들로부터 획득되고 그렇지 않으면 방향 부대역 합성 블록들 중 하나에 의해 제공된 예측된 방향 HOA 성분
Figure pct00623
의 계수 시퀀스들로부터 획득되는 계수 시퀀스들
Figure pct00624
,
Figure pct00625
을 갖는 디코딩된 부대역 HOA 표현
Figure pct00626
을 조성하고, 합성 필터 뱅크에서, 디코딩된 HOA 표현
Figure pct00627
을 획득하기 위해 디코딩된 부대역 HOA 표현들
Figure pct00628
을 합성하는 단계를 포함한다. 한 실시예에서, 추출하는 단계는 인지 코딩된 부분 및 인코딩된 부가 정보 부분을 획득하기 위해 압축된 HOA 표현을 디멀티플렉싱하는 단계를 포함한다. 한 실시예에서, 인지 코딩된 부분은 인지 인코딩된 절삭된 HOA 계수 시퀀스들
Figure pct00629
을 포함하고, 추출하는 단계는 인지 인코딩된 절삭된 HOA 계수 시퀀스들
Figure pct00630
을 인지 디코더에서 디코딩하여 절삭된 HOA 계수 시퀀스들
Figure pct00631
을 획득하는 단계를 포함한다. 한 실시예에서, 추출하는 단계는, 인코딩된 부가 정보 부분을 부가 정보 소스 디코더에서 디코딩하여 부대역 관련 방향들의 세트의 MDIR(k+1,f1), ...,MDIR(k+1,fF), 예측 행렬들 A(k+1,f1),...,A(k+1,fF), 이득 제어 부가 정보
Figure pct00632
Figure pct00633
및 할당 벡터
Figure pct00634
를 획득하는 단계를 포함한다.
또한, 한 실시예에서, HOA 신호를 디코딩하기 위한 장치는, 압축된 HOA 표현으로부터, 복수의 절삭된 HOA 계수 시퀀스들
Figure pct00635
, 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스를 나타내거나 포함하는 할당 벡터
Figure pct00636
, 부대역 관련 방향 정보 MDIR(k+1,f1), ...,MDIR(k+1,fF), 복수의 예측 행렬 A(k+1,f1),...,A(k+1,fF), 및 이득 제어 부가 정보
Figure pct00637
를 추출하도록 구성된 추출 모듈; 복수의 절삭된 HOA 계수 시퀀스
Figure pct00638
, 이득 제어 부가 정보
Figure pct00639
, 및 할당 벡터
Figure pct00640
로부터, 절삭된 HOA 표현
Figure pct00641
을 재구성하도록 구성된 재구성 모듈; 및 재구성된 절삭된 HOA 표현
Figure pct00642
을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현들
Figure pct00643
로 분해하도록 구성된 분석 필터 뱅크 모듈(53);
주파수 부대역 표현들 각각에 대해, 재구성된 절삭된 HOA 표현의 각각의 주파수 부대역 표현
Figure pct00644
, 부대역 관련 방향 정보 MDIR(k+1,f1), ...,MDIR(k+1,fF) 및 예측 행렬 A(k+1,f1),...,A(k+1,fF)로부터, 예측된 방향 HOA 표현
Figure pct00645
을 합성하도록 구성된 적어도 하나의 방향 부대역 조성 모듈(54); F개의 주파수 부대역들 각각에 대해, 계수 시퀀스가 할당 벡터
Figure pct00646
에 포함되는 인덱스 n을 갖는 경우 절삭된 HOA 표현
Figure pct00647
의 계수 시퀀스들로부터 획득되고 그렇지 않으면 방향 부대역 조성 모듈(54)들 중 하나에 의해 제공된 예측된 방향 HOA 성분
Figure pct00648
의 계수 시퀀스들로부터 획득되는 계수 시퀀스들
Figure pct00649
,
Figure pct00650
을 갖는 디코딩된 부대역 HOA 표현
Figure pct00651
을 조성하도록 구성된 적어도 하나의 부대역 조성 모듈(55); 및 디코딩된 HOA 표현
Figure pct00652
을 획득하기 위해 디코딩된 부대역 HOA 표현들
Figure pct00653
을 합성하도록 구성된 합성 필터 뱅크 모듈(56)을 포함한다.
부대역들은 일반적으로 복소값 필터 뱅크로부터 획득된다. 할당 벡터의 한 목적은, 전송된/수신된, 그에 따라 절삭된 HOA 표현에 포함되는 계수 시퀀스들의 시퀀스 인덱스들을 표시하여, 이들 계수 시퀀스들의 최종 HOA 신호로의 할당을 가능케하는 것이다. 바꾸어 말하면, 할당 벡터는, 절삭된 HOA 표현의 계수 시퀀스들 각각에 대해, 최종 HOA 신호의 어느 계수 시퀀스에 대응하는지를 나타낸다. 예를 들어, 절삭된 HOA 표현이 4개의 계수 시퀀스를 포함하고 최종 HOA 신호가 9개의 계수 시퀀스를 갖는다면, 할당 벡터는 (원칙적으로) [1,2,5,7]이 될 수 있으며, 따라서, 절삭된 HOA 표현의 제1, 제2, 제3, 및 제4 계수 시퀀스는, 실제로 최종 HOA 신호의 제1, 제2, 제5 및 제7 계수 시퀀스이다.
한 실시예에서, 현재 프레임에서 방향 부대역 신호를 예측하도록 구성된 예측 모듈은 또한, 선행 프레임의 부대역의 방향 부대역 신호들을 결정하고, 방향 부대역 신호의 인덱스가 선행 프레임에서 제로이고 현재 프레임에서 비제로이면 새로운 방향 부대역 신호를 생성하고, 방향 신호의 인덱스가 선행 프레임에서 비제로이고 현재 프레임에서 제로이면 이전의 방향 부대역 신호를 취소하고, 방향 부대역 신호의 인덱스가 제1 방향으로부터 제2 방향으로 변하면 방향 부대역 신호의 방향을 제1 방향으로부터 제2 방향으로 이동시키도록 구성된된다. 한 실시예에서, 적어도 하나의 부대역은 2개 이상의 주파수 부대역으로 이루어진 부대역 그룹이다. 한 실시예에서, 방향 부대역 신호 정보는, 적어도 복수의 절삭된 HOA 계수 시퀀스, 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스들을 나타내거나 포함하는 할당 벡터, 및 복수의 예측 행렬을 포함하고, 상기 장치는 또한, 복수의 절삭된 HOA 계수 시퀀스들과 할당 벡터로부터 절삭된 HOA 표현을 재구성하도록 구성된 절삭된 HOA 표현 재구성 모듈, 및 재구성된 절삭된 HOA 표현을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현으로 분해하도록 구성된 하나 이상의 분석 필터 뱅크를 포함하며, 여기서, 예측 모듈은 상기 방향 부대역 신호들의 예측에 대해 상기 주파수 부대역 표현들 및 복수의 예측 행렬을 이용한다. 한 실시예에서, 추출 모듈은 또한, 지각 코딩된 부분 및 인코딩된 부가 정보 부분을 획득하기 위해 압축된 HOA 표현을 디멀티플렉싱하도록 구성되고, 여기서, 인지 코딩된 부분은 절삭된 HOA 계수 시퀀스를 포함하며, 인코딩된 부가 정보 부분은, 활성 후보 방향들의 세트 MDIR(k), 활성 부대역 방향들의 상대적 방향 인덱스들, 상기 할당 벡터, 상기 예측 행렬들, 및 각각의 주파수 부대역과 각각의 활성 후보 방향에 대해 활성 후보 방향이 활성 부대역 방향인지를 나타내는 상기 비트들을 포함한다.
한 실시예에서, 방향 부대역 신호 정보는 활성 방향들의 세트와 제1 및 제2 인덱스를 갖는 인덱스들의 튜플들을 포함하는 튜플 세트를 포함하고, 제2 인덱스는 현재의 주파수 부대역에 대한 활성 방향들의 세트 내의 활성 방향의 인덱스이며, 제1 인덱스는 활성 방향의 궤적 인덱스이고, 궤적은 특정한 사운드 소스의 방향들의 시간적 시퀀스이다.
한 실시예에서, 컴퓨터 판독가능한 매체에는, 컴퓨터에서 실행될 때 컴퓨터로 하여금 입력 HOA 신호의 방향 정보를 인코딩하기 위한 방법을 수행하게 하는 실행가능한 명령어들이 저장되어 있고, 이 방법은,
입력 HOA 신호로부터 사운드 소스들의 방향들인 제1 세트의 활성 후보 방향들 MDIR(k)을 결정 ―활성 후보 방향들은 Q개의 전역 방향들의 미리정의된 세트 중에서 결정되고, 각각의 전역 방향은 전역 방향 인덱스를 가짐― 하는 단계; 입력 HOA 신호를 복수의 주파수 부대역들로 분할하는 단계; 상기 제1 세트의 활성 후보 방향들 MDIR(k) 중에서, 상기 주파수 부대역들 각각에 대해, 제2 세트의 DSB(DSB <Q)개까지의 활성 부대역 방향들을 결정하는 단계; 주파수 부대역마다 각각의 방향에 상대적 방향 인덱스 ―방향 인덱스는 범위 [1,...,NoOfGlobalDirs(k)]에 있음― 를 할당하는 단계; 현재 프레임에 대한 방향 정보 ―방향 정보는 활성 후보 방향들 MDIR(k), 각각의 주파수 부대역 및 각각의 활성 후보 방향에 대해 활성 후보 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트, 및 각각의 주파수 부대역에 대해 제2 세트의 부대역 방향들 중의 활성 부대역 방향들의 상대적 방향 인덱스들을 포함함― 를 조립하고, 조립된 방향 정보를 전송하는 단계를 포함한다. 상기 개시된 인코딩 방법과 유사하게 추가 실시예들이 도출될 수 있다.
한 실시예에서, 컴퓨터 판독가능한 매체에는, 컴퓨터에서 실행될 때 컴퓨터로 하여금 압축된 HOA 표현으로부터 방향 정보를 디코딩하기 위한 방법을 수행하게 하는 실행가능한 명령어들이 저장되어 있고, 이 방법은, 압축된 HOA 표현의 각각의 프레임에 대해,
압축된 HOA 표현으로부터 후보 방향들 ―각각의 후보 방향은, 적어도 하나의 부대역 내의 잠재적 부대역 신호 소스 방향임―의 세트 MFB(k), 각각의 주파수 부대역에 대해 및 DSB개까지의 잠재적 부대역 신호 소스 방향들 각각에 대해 잠재적 부대역 신호 소스 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트 bSubBandDirIsActive(k,fj), 및 활성 부대역 방향들의 상대적 방향 인덱스들과 각각의 활성 부대역 방향에 대한 방향 부대역 신호 정보를 추출하는 단계; 각각의 주파수 부대역 방향에 대해 상대적 방향 인덱스들을 절대적 방향 인덱스들로 변환 ―상기 비트가 각각의 주파수 부대역에 대해 상기 후보 방향이 활성 부대역 방향이라고 나타낸다면, 각각의 상대적 방향 인덱스는 후보 방향들 세트 MFB(k) 내의 인덱스로서 사용됨― 하는 단계; 및 상기 방향 부대역 신호 정보로부터 방향 부대역 신호들을 예측 ―상기 절대적 방향 인덱스들에 따라 방향 부대역 신호들에 방향들이 할당― 하는 단계를 포함한다. 상기 개시된 디코딩 방법과 유사하게 추가 실시예들이 도출될 수 있다.
바람직한 실시예에 적용된 본 발명의 근본적인 신규한 특징들이 도시되고, 설명되고, 지목되었지만, 설명된 장치 및 방법에서, 개시된 장치의 형태와 세부사항에서 및 그들의 동작에서, 다양한 생략과 대체 및 변경이 본 발명의 사상으로부터 벗어나지 않고 당업자에 의해 이루어질 수 있다는 점을 이해할 것이다. 동일한 결과를 얻기 위해 실질적으로 동일한 기능을 실질적으로 동일한 방식으로 수행하는 요소들의 모든 조합들도 본 발명의 범위 내에 있음을 명시적으로 의도한다. 하나의 설명된 실시예로부터 또 다른 실시예로의 요소들의 대체도 역시 충분히 의도되고 고려되었다. 본 발명의 순수히 예를 통해 설명되었고, 본 발명의 범위로부터 벗어나지 않고 상세사항의 수정이 이루어질 수 있다는 점을 이해할 것이다. 상세한 설명과 (적절한 경우에는) 청구항 및 도면에 개시된 각 특징은 독립적으로 또는 임의의 적절한 조합으로 제공될 수 있다. 특징들은, 적절하다면, 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수도 있다. 접속은, 적용가능하다면, 무선 접속 또는 유선으로서 구현될 수 있고, 반드시 직접적 또는 전용 접속일 필요는 없다. 한 실시예에서, 추출 모듈, 이득 제어 유닛, 부대역 신호 그룹화 유닛, 처리 유닛 및 기타의 것들과 같은, 앞서 언급된 모듈들 또는 유닛들 각각은, 적어도 부분적으로, 적어도 하나의 실리콘 컴포넌트를 이용함으로써 하드웨어로 구현된다.
[참조문헌]
Figure pct00654

Claims (22)

  1. 압축된 HOA(Higher Order Ambisonics) 표현으로부터 방향 정보를 디코딩하기 위한 방법(90)으로서, 상기 압축된 HOA 표현의 각각의 프레임에 대해,
    - 상기 압축된 HOA 표현으로부터 후보 방향들 ―각각의 후보 방향은, 적어도 하나의 부대역(subband)에서의 잠재적 부대역 신호 소스 방향임―의 세트(MFB(k)), 각각의 주파수 부대역 및 DSB개까지의 잠재적 부대역 신호 소스 방향들 각각에 대해 상기 잠재적 부대역 신호 소스 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트(bSubBandDirIsActive(k,fj)), 및 활성 부대역 방향들의 상대적 방향 인덱스들(RelDirIndices(k,fj))과 각각의 활성 부대역 방향에 대한 방향 부대역 신호 정보를 추출하는 단계(s91-s93) ―적어도 하나의 부대역은 2개 이상의 주파수 부대역으로 이루어진 부대역 그룹임―;
    - 각각의 주파수 부대역 방향에 대해 상기 상대적 방향 인덱스들(RelDirIndices(k,fj))을 절대적 방향 인덱스들로 변환 ―상기 비트(bSubBandDirIsActive(k,fj))가 각각의 주파수 부대역에 대해 상기 후보 방향이 활성 부대역 방향이라고 나타낸다면, 각각의 상대적 방향 인덱스는 상기 후보 방향들의 세트(MFB(k)) 내의 인덱스로서 사용됨― 하는 단계(s60); 및
    - 상기 방향 부대역 신호 정보로부터 방향 부대역 신호들을 예측 ―상기 절대적 방향 인덱스들에 따라 상기 방향 부대역 신호들에 방향들이 할당됨― 하는 단계(s70)
    를 포함하는 방법.
  2. 제1항에 있어서, 현재 프레임에서 방향 부대역 신호를 예측하는 상기 단계(s70)는, 선행 프레임의 부대역의 방향 부대역 신호들을 결정하는 단계를 포함하고,
    상기 방향 부대역 신호의 인덱스가 상기 선행 프레임에서 제로였고 상기 현재 프레임에서 비제로이면, 새로운 방향 부대역 신호가 생성되고,
    상기 방향 신호의 인덱스가 상기 선행 프레임에서 비제로였고 상기 현재 프레임에서 제로이면 이전의 방향 부대역 신호는 취소되고,
    상기 방향 부대역 신호의 인덱스가 제1 방향으로부터 제2 방향으로 변하면 방향 부대역 신호의 방향은 상기 제1 방향으로부터 상기 제2 방향으로 이동되는, 방법.
  3. 제1항 또는 제2항에 있어서, 상기 방향 부대역 신호 정보는, 적어도, 복수의 절삭된 HOA 계수 시퀀스들(
    Figure pct00655
    ), 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스들을 나타내거나 포함하는 할당 벡터(
    Figure pct00656
    ), 및 복수의 예측 행렬(A(k+1,f1),...,A(k+1,fF))을 포함하고, 상기 방법은,
    - 상기 복수의 절삭된 HOA 계수 시퀀스들(
    Figure pct00657
    ) 및 상기 할당 벡터(
    Figure pct00658
    )로부터 절삭된 HOA 표현(
    Figure pct00659
    )을 재구성하는 단계(s51, s52); 및
    - 분석 필터 뱅크(53)에서, 상기 재구성된 절삭된 HOA 표현(
    Figure pct00660
    )을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현들(
    Figure pct00661
    )로 분해하는 단계(s53)
    를 더 포함하고,
    방향 부대역 신호들을 예측하는 상기 단계는, 상기 주파수 부대역 표현들(
    Figure pct00662
    ) 및 상기 복수의 예측 행렬들(A(k+1,f1),...,A(k+1,fF))을 이용하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 추출하는 단계는, 인지 코딩된 부분 및 인코딩된 부가 정보 부분을 획득하기 위해 상기 압축된 HOA 표현을 디멀티플렉싱하는 단계(s91)를 포함하고, 상기 인지 코딩된 부분은 절삭된 HOA 계수 시퀀스들(
    Figure pct00663
    )을 포함하고, 상기 인코딩된 부가 정보 부분은 활성 후보 방향들의 세트(MDIR(k)), 활성 부대역 방향들의 상대적 방향 인덱스들(RelDirIndices(k,fj)), 상기 할당 벡터(
    Figure pct00664
    ), 상기 예측 행렬들(A(k+1,f1),...,A(k+1,fF)), 및 각각의 주파수 부대역과 각각의 활성 후보 방향에 대해 상기 활성 후보 방향이 활성 부대역 방향이라는 것을 나타내는 상기 비트들(bSubBandDirIsActive(k,fj))을 포함하는, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 방향 부대역 신호 정보는, 활성 방향들의 세트(MDIR(k))와 제1 및 제2 인덱스를 갖는 인덱스들의 튜플(tuple)들을 포함하는 튜플 세트(MDIR(k+1,f1), ...,MDIR(k+1,fF))를 포함하고, 상기 제2 인덱스는 현재의 주파수 부대역에 대한 상기 활성 방향들의 세트(MDIR(k)) 내의 활성 방향의 인덱스이며, 상기 제1 인덱스는 상기 활성 방향의 궤적 인덱스이고, 궤적은 특정한 사운드 소스의 방향들의 시간적 시퀀스인, 방법.
  6. 입력 HOA(Higher Order Ambisonics) 신호의 프레임들에 대한 방향 정보를 인코딩하기 위한 방법(100)으로서,
    - 상기 입력 HOA 신호로부터 사운드 소스들의 방향들인 제1 세트의 활성 후보 방향들(MDIR(k)) ―상기 활성 후보 방향들은, 미리정의된 세트의 Q개의 전역 방향들 중에서 결정되고, 각각의 전역 방향은 전역 방향 인덱스를 가짐― 을 결정하는 단계(s101);
    - 상기 입력 HOA 신호를 복수의 주파수 부대역(
    Figure pct00665
    )으로 분할하는 단계(s102) ―2개 이상의 주파수 부대역으로 이루어진 적어도 하나의 그룹이 생성되고, 상기 적어도 하나의 그룹은 단일 주파수 부대역 대신에 이용되고 단일 주파수 부대역과 동일한 방식으로 취급됨―;
    - 상기 제1 세트의 활성 후보 방향들(MDIR(k)) 중에서, 상기 주파수 부대역들 각각에 대해, 제2 세트의 DSB(DSB < Q)개까지의 활성 부대역 방향들을 결정하는 단계(s103);
    - 주파수 부대역마다 각각의 방향에 상대적 방향 인덱스 ―상기 방향 인덱스는 범위 [1,...,NoOfGlobalDirs(k)] 내에 있음― 를 할당하는 단계(s104);
    - 현재 프레임에 대한 방향 정보 ―상기 방향 정보는, 상기 활성 후보 방향들(MDIR(k)), 각각의 주파수 부대역 및 각각의 활성 후보 방향에 대해 상기 활성 후보 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트 (bSubBandDirIsActive(k,fj)), 및 각각의 주파수 부대역에 대해 상기 제2 세트의 부대역 방향들 중의 활성 부대역 방향들의 상대적 방향 인덱스들(RelDirIndices(k,fj))을 포함함― 를 조립하는 단계(s105); 및
    - 상기 조립된 방향 정보를 전송하는 단계(s106)
    를 포함하는, 방법.
  7. 제6항에 있어서, 상기 입력 HOA 신호로부터 절삭된 HOA 표현(CT(k)) 및 방향 부대역 신호들(
    Figure pct00666
    )을 조성하는 단계(s107)를 더 포함하며, 상기 절삭된 HOA 표현은 하나 이상의 계수 시퀀스들이 0으로 설정되는 HOA 신호이고, 상기 방향 정보는 상기 방향 부대역 신호가 가리키는 방향들을 제공하고, 상기 전송하는 단계는 상기 절삭된 HOA 표현(CT(k)) 및 상기 방향 부대역 신호들(
    Figure pct00667
    )을 정의하는 정보를 전송하는 단계를 더 포함하는, 방법.
  8. 제7항에 있어서, 상기 방향 부대역 신호들(
    Figure pct00668
    )을 정의하는 상기 정보는 예측 행렬들(A(k,f1),...,A(k,fF))을 포함하는, 방법.
  9. 제6항 내지 제8항 중 어느 한 항에 있어서,
    - 상기 제1 세트의 활성 후보 방향들 중에서, 상기 주파수 부대역들 중 적어도 하나에서 이용되는 이용된 후보 방향들의 세트(MFB(k)), 및 상기 이용된 후보 방향들의 세트의 요소들의 개수(NoOfGlobalDirs(k))를 결정 ―방향 정보를 조립하는 상기 단계(s105)에서의 상기 활성 후보 방향들이 상기 이용된 후보 방향들임― 하는 단계(s105a); 및
    - 상기 이용된 후보 방향들을 그들의 전역 방향 인덱스에 의해 인코딩하고(s105b) 상기 요소들의 개수를 log2(D) 비트들 ―D는 전체 대역 후보 방향들의 미리정의된 최대 개수임― 로 인코딩하는 단계
    를 더 포함하는 방법.
  10. 제6항 내지 제9항 중 어느 한 항에 있어서, 활성 부대역 방향의 궤적을 결정하는 단계(s104a)를 더 포함하고, 활성 부대역 방향은 주파수 부대역에 대한 사운드 소스의 방향이고, 궤적은 특정 사운드 소스의 방향들의 시간적 시퀀스이며, 현재 프레임의 현재 주파수 부대역의 활성 부대역 방향들은 선행 프레임의 동일한 주파수 부대역의 활성 부대역 방향들과 비교되고, 동일하거나 이웃한 활성 부대역 방향들은 동일한 궤적에 속하는 것으로 결정되는, 방법.
  11. 제10항에 있어서, 부대역마다 각각의 방향에 할당된(s104) 상기 방향 인덱스는 궤적 인덱스이고,
    - 궤적 인덱스를 각각의 결정된 궤적에 할당하는 단계(s104b); 및
    - 각각의 주파수 부대역에 대한 인덱스들의 튜플들을 포함하는 튜플 세트(MDIR(k,f1),..., MDIR(k,fF))를 생성하는 단계(s104c)를 더 포함하며, 인덱스들의 각각의 튜플은, 현재 주파수 부대역에 대한 활성 부대역 방향의 인덱스와 상기 활성 부대역 방향에 대해 결정된 궤적의 궤적 인덱스를 포함하는, 방법.
  12. 압축된 HOA(Higher Order Ambisonics) 표현으로부터 방향 정보를 디코딩하기 위한 장치로서,
    - 상기 압축된 HOA 표현으로부터 후보 방향들 ―각각의 후보 방향은, 적어도 하나의 부대역에서의 잠재적 부대역 신호 소스 방향임―의 세트(MFB(k)), 각각의 주파수 부대역 및 최대 (DSB개)까지의 잠재적 부대역 신호 소스 방향들 각각에 대해 상기 잠재적 부대역 신호 소스 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트(bSubBandDirIsActive(k,fj)), 및 활성 부대역 방향들의 상대적 방향 인덱스들(RelDirIndices(k,fj))과 각각의 활성 부대역 방향에 대한 방향 부대역 신호 정보를 추출하도록 구성된 추출 모듈(40) ―적어도 하나의 부대역은 2개 이상의 주파수 부대역으로 이루어진 부대역 그룹이고, 상기 적어도 하나의 그룹은 단일 주파수 부대역 대신에 이용되고 단일 주파수 부대역과 동일한 방식으로 취급됨―;
    - 각각의 주파수 부대역 방향에 대해 상기 상대적 방향 인덱스들(RelDirIndices(k,fj))을 절대적 방향 인덱스들로 변환 ―상기 비트(bSubBandDirIsActive(k,fj))가 각각의 주파수 부대역에 대해 상기 후보 방향이 활성 부대역 방향이라고 나타낸다면, 각각의 상대적 방향 인덱스는 상기 후보 방향들의 세트(MFB(k)) 내의 인덱스로서 사용됨― 하도록 구성된 변환 모듈(60); 및
    - 상기 방향 부대역 신호 정보로부터 방향 부대역 신호들을 예측 ―상기 절대적 방향 인덱스들에 따라 상기 방향 부대역 신호들에 방향들이 할당됨― 하도록 구성된 예측 모듈(70)
    을 포함하는 장치.
  13. 제12항에 있어서, 현재 프레임에서 방향 부대역 신호를 예측하도록 구성된 상기 예측 모듈(70)은 또한,
    - 선행 프레임의 부대역의 방향 부대역 신호를 결정하고;
    - 상기 방향 부대역 신호의 인덱스가 상기 선행 프레임에서 제로였고 상기 현재 프레임에서 비제로이면, 새로운 방향 부대역 신호를 생성하고,
    - 상기 방향 신호의 인덱스가 상기 선행 프레임에서 비제로였고 상기 현재 프레임에서 제로이면 이전의 방향 부대역 신호를 취소하고,
    - 상기 방향 부대역 신호의 인덱스가 제1 방향으로부터 제2 방향으로 변하면 방향 부대역 신호의 방향을 상기 제1 방향으로부터 상기 제2 방향으로 이동시키도록 구성된, 장치.
  14. 제12항 또는 제13항에 있어서, 상기 방향 부대역 신호 정보는, 적어도 복수의 절삭된 HOA 계수 시퀀스들(
    Figure pct00669
    ), 상기 절삭된 HOA 계수 시퀀스들의 시퀀스 인덱스들을 나타내거나 포함하는 할당 벡터(
    Figure pct00670
    ), 및 복수의 예측 행렬(A(k+1,f1),...,A(k+1,fF))을 포함하고, 상기 장치는,
    - 상기 복수의 절삭된 HOA 계수 시퀀스들(
    Figure pct00671
    ) 및 상기 할당 벡터(
    Figure pct00672
    )로부터 절삭된 HOA 표현(
    Figure pct00673
    )을 재구성하도록 구성된 절삭된 HOA 표현 재구성 모듈; 및
    - 상기 재구성된 절삭된 HOA 표현(
    Figure pct00674
    )을 복수의 F개의 주파수 부대역에 대한 주파수 부대역 표현들(
    Figure pct00675
    )로 분해하도록 구성된 하나 이상의 분석 필터 뱅크(53)
    를 더 포함하고,
    상기 예측 모듈(70)은, 방향 부대역 신호들의 상기 예측을 위해 상기 주파수 부대역 표현들(
    Figure pct00676
    ) 및 상기 복수의 예측 행렬들(A(k+1,f1),...,A(k+1,fF))을 이용하는, 장치.
  15. 제12항 내지 제14항 중 어느 한 항에 있어서, 상기 추출 모듈(40)은 또한, 인지 코딩된 부분 및 인코딩된 부가 정보 부분을 획득하기 위해 상기 압축된 HOA 표현을 디멀티플렉싱하도록 구성되고, 상기 인지 코딩된 부분은 절삭된 HOA 계수 시퀀스들(
    Figure pct00677
    )을 포함하고, 상기 인코딩된 부가 정보 부분은, 상기 활성 후보 방향들의 세트(MDIR(k)), 활성 부대역 방향들의 상대적 방향 인덱스들(RelDirIndices(k,fj)), 상기 할당 벡터(
    Figure pct00678
    ), 상기 예측 행렬들(A(k+1,f1),...,A(k+1,fF)), 및 각각의 주파수 부대역과 각각의 활성 후보 방향에 대해 상기 활성 후보 방향이 활성 부대역 방향이라는 것을 나타내는 상기 비트들(bSubBandDirIsActive(k,fj))을 포함하는, 장치.
  16. 제12항 내지 제15항 중 어느 한 항에 있어서, 상기 방향 부대역 신호 정보는, 활성 방향들의 세트(MDIR(k))와 제1 및 제2 인덱스를 갖는 인덱스들의 튜플(tuple)들을 포함하는 튜플 세트(MDIR(k+1,f1), ...,MDIR(k+1,fF))를 포함하고, 상기 제2 인덱스는 현재의 주파수 부대역에 대한 상기 활성 방향들의 세트(MDIR(k)) 내의 활성 방향의 인덱스이며, 상기 제1 인덱스는 상기 활성 방향의 궤적 인덱스이고, 궤적은 특정한 사운드 소스의 방향들의 시간적 시퀀스인, 장치.
  17. 입력 HOA(Higher Order Ambisonics) 신호의 프레임들에 대한 방향 정보를 인코딩하기 위한 장치로서,
    - 상기 입력 HOA 신호로부터 사운드 소스들의 방향들인 제1 세트의 활성 후보 방향들(MDIR(k))을 결정(s101) ―상기 활성 후보 방향들은 미리정의된 세트의 Q개의 전역 방향들 중에서 결정되고, 각각의 전역 방향은 전역 방향 인덱스를 가짐― 하도록 구성된 활성 후보 결정 모듈(101);
    - 상기 입력 HOA 신호를 복수의 주파수 부대역들(
    Figure pct00679
    )로 분할(s102)하도록 구성된 분석 필터 뱅크 모듈(102) ―2개 이상의 주파수 부대역으로 이루어진 적어도 하나의 그룹이 생성되고, 상기 적어도 하나의 그룹은 단일 주파수 부대역 대신에 이용되고 단일 주파수 부대역과 동일한 방식으로 취급됨―;
    - 상기 제1 세트의 활성 후보 방향들(MDIR(k)) 중에서, 상기 주파수 부대역들 각각에 대해, 제2 세트의 DSB(DSB < Q)개까지의 활성 부대역 방향들을 결정(s103)하도록 구성된 부대역 방향 결정 모듈(103);
    - 주파수 부대역마다 각각의 방향에 상대적 방향 인덱스 ―상기 방향 인덱스는 범위 [1,...,NoOfGlobalDirs(k)] 내에 있음― 를 할당(s104)하도록 구성된 상대적 방향 인덱스 할당 모듈(104);
    - 현재 프레임에 대한 방향 정보 ―상기 방향 정보는, 상기 활성 후보 방향들(MDIR(k)), 각각의 주파수 부대역 및 각각의 활성 후보 방향에 대해 상기 활성 후보 방향이 각각의 주파수 부대역에 대한 활성 부대역 방향인지의 여부를 나타내는 비트 (bSubBandDirIsActive(k,fj)), 및 각각의 주파수 부대역에 대해 제2 세트의 부대역 방향들 중의 활성 부대역 방향들의 상대적 방향 인덱스들(RelDirIndices(k,fj))을 포함함― 를 조립(s105)하도록 구성된 방향 정보 조립 모듈(105); 및
    - 상기 조립된 방향 정보를 전송(s106)하도록 구성된 팩킹 모듈(106)
    을 포함하는, 장치.
  18. 제17항에 있어서, 상기 방향 부대역 신호들(
    Figure pct00680
    )을 정의하는 상기 정보는 예측 행렬들(A(k,f1),...,A(k,fF))을 포함하는, 장치.
  19. 제17항 또는 제18항에 있어서,
    - 상기 제1 세트의 활성 후보 방향들 중에서, 상기 주파수 부대역들 중 적어도 하나에서 이용되는 이용된 후보 방향들의 세트(MFB(k)), 및 상기 이용된 후보 방향들 세트의 요소들의 개수(NoOfGlobalDirs(k))를 결정 ―상기 방향 정보 조립 모듈(105)이 조립하는 상기 방향 정보에 포함된 상기 활성 후보 방향들이 상기 이용된 후보 방향들임― 하도록 구성된 이용된 후보 방향 결정 모듈(105a); 및
    - 상기 이용된 후보 방향들을 그들의 전역 방향 인덱스에 의해 인코딩하고 상기 요소들의 개수를 log2(D) 비트들 ―D는 전체 대역에 대한 후보 방향들의 미리정의된 최대 개수임―로 인코딩하도록 구성된 인코더(105b)
    를 더 포함하는 장치.
  20. 제17항 내지 제19항 중 어느 한 항에 있어서, 활성 부대역 방향의 궤적을 결정하도록 구성된 궤적 결정 모듈(104a)을 더 포함하고, 상기 활성 부대역 방향은 주파수 부대역에 대한 사운드 소스의 방향이고, 궤적은 특정 사운드 소스의 방향들의 시간적 시퀀스이며, 하나 이상의 방향 비교기는, 현재 프레임의 현재 주파수 부대역의 활성 부대역 방향들을 선행 프레임의 동일한 주파수 부대역의 활성 부대역 방향들과 비교하며, 동일하거나 이웃한 활성 부대역 방향들은 동일한 궤적에 속하는 것으로 결정되는, 장치.
  21. 제20항에 있어서, 상기 상대적 방향 인덱스 할당 모듈(104)이 부대역마다 각각의 방향에 할당하는 방향 인덱스는 궤적 인덱스이고, 상기 상대적 방향 인덱스 할당 모듈(104)은,
    - 궤적 인덱스를 각각의 결정된 궤적에 할당하도록 구성된 궤적 인덱스 할당 모듈(104b), 및
    - 각각의 주파수 부대역에 대한 인덱스들의 튜플들을 포함하는 튜플 세트(MDIR(k,f1),..., MDIR(k,fF))를 생성하도록 구성된 튜플 세트 생성기(104c)를 더 포함하며,
    인덱스들의 각각의 튜플은 현재 주파수 부대역에 대한 활성 부대역 방향의 인덱스와 상기 활성 부대역 방향에 대해 결정된 궤적의 궤적 인덱스를 포함하는, 장치.
  22. 제17항 내지 제21항 중 어느 한 항에 있어서, 2개 이상의 주파수 부대역으로 이루어진 상기 적어도 하나의 그룹을 생성하도록 구성된 적어도 하나의 그룹화 모듈을 더 포함하고, 상기 적어도 하나의 그룹은 단일 주파수 부대역 대신에 이용되고 단일 주파수 부대역과 동일한 방식으로 처리되는, 장치.
KR1020167035530A 2014-07-02 2015-07-02 Ｈｏａ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치 KR102460820B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP14306079 2014-07-02
EP14306079.6 2014-07-02
EP14194185 2014-11-20
EP14194185.6 2014-11-20
PCT/EP2015/065085 WO2016001355A1 (en) 2014-07-02 2015-07-02 Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a hoa signal representation

Publications (2)

Publication Number Publication Date
KR20170023829A true KR20170023829A (ko) 2017-03-06
KR102460820B1 KR102460820B1 (ko) 2022-10-31

Family

ID=53489982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167035530A KR102460820B1 (ko) 2014-07-02 2015-07-02 Ｈｏａ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US10403292B2 (ko)
EP (1) EP3164867A1 (ko)
JP (1) JP2017523454A (ko)
KR (1) KR102460820B1 (ko)
CN (1) CN106471579B (ko)
WO (1) WO2016001355A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170023827A (ko) * 2014-07-02 2017-03-06 돌비 인터네셔널 에이비 Ｈｏａ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치
KR20170028886A (ko) * 2014-07-02 2017-03-14 돌비 인터네셔널 에이비 압축된 ｈｏａ 표현을 디코딩하기 위한 방법 및 장치와 압축된 ｈｏａ 표현을 인코딩하기 위한 방법 및 장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2993665A1 (en) 2014-09-02 2016-03-09 Thomson Licensing Method and apparatus for coding or decoding subband configuration data for subband groups
US10255032B2 (en) * 2016-12-13 2019-04-09 EVA Automation, Inc. Wireless coordination of audio sources
JP2019213109A (ja) * 2018-06-07 2019-12-12 日本電信電話株式会社 音場信号推定装置、音場信号推定方法、プログラム
FR3112016B1 (fr) * 2020-06-30 2023-04-14 Fond B Com Procédé de conversion d’un premier ensemble de signaux représentatifs d’un champ sonore en un second ensemble de signaux et dispositif électronique associé
US20230360655A1 (en) * 2020-09-25 2023-11-09 Apple Inc. Higher order ambisonics encoding and decoding
EP4152321A1 (en) * 2021-09-16 2023-03-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for narrowband direction-of-arrival estimation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120070521A (ko) * 2010-12-21 2012-06-29 톰슨 라이센싱 2차원 또는 3차원 음장의 앰비소닉스 표현의 연속 프레임을 인코딩 및 디코딩하는 방법 및 장치
EP2738962A1 (en) * 2012-11-29 2014-06-04 Thomson Licensing Method and apparatus for determining dominant sound source directions in a higher order ambisonics representation of a sound field
EP2743922A1 (en) * 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field
KR20170028886A (ko) * 2014-07-02 2017-03-14 돌비 인터네셔널 에이비 압축된 ｈｏａ 표현을 디코딩하기 위한 방법 및 장치와 압축된 ｈｏａ 표현을 인코딩하기 위한 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6441764B1 (en) * 1999-05-06 2002-08-27 Massachusetts Institute Of Technology Hybrid analog/digital signal coding
CN1677490A (zh) * 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
EP1696673A1 (en) * 2004-09-01 2006-08-30 Mitsubishi Electric Information Technology Centre Europe B.V. Intra-frame prediction for high-pass temporal-filtered frames in wavelet video coding
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
EP2637427A1 (en) * 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
EP2665208A1 (en) * 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
US9288603B2 (en) 2012-07-15 2016-03-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding
EP2800401A1 (en) 2013-04-29 2014-11-05 Thomson Licensing Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation
EP2824661A1 (en) 2013-07-11 2015-01-14 Thomson Licensing Method and Apparatus for generating from a coefficient domain representation of HOA signals a mixed spatial/coefficient domain representation of said HOA signals

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120070521A (ko) * 2010-12-21 2012-06-29 톰슨 라이센싱 2차원 또는 3차원 음장의 앰비소닉스 표현의 연속 프레임을 인코딩 및 디코딩하는 방법 및 장치
EP2738962A1 (en) * 2012-11-29 2014-06-04 Thomson Licensing Method and apparatus for determining dominant sound source directions in a higher order ambisonics representation of a sound field
EP2743922A1 (en) * 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field
KR20170028886A (ko) * 2014-07-02 2017-03-14 돌비 인터네셔널 에이비 압축된 ｈｏａ 표현을 디코딩하기 위한 방법 및 장치와 압축된 ｈｏａ 표현을 인코딩하기 위한 방법 및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep Sen, et al. RM1-HOA Working Draft Text. ISO/IEC JTC1/SC29/WG11 MPEG2014/M31827. 2014.01.11. *
Johannes Boehm, et al. Detailed Technical Description of 3D Audio Phase 2 Reference Model 0 for HOA technologies. ISO/IEC JTC1/SC29/WG11 MPEG2014/M35057. 2014.10.19. *
WD1-HOA Text of MPEG-H 3D Audio. ISO/IEC JTC1/SC29/WG11 N14264. 2014.02.21. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170023827A (ko) * 2014-07-02 2017-03-06 돌비 인터네셔널 에이비 Ｈｏａ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치
KR20170028886A (ko) * 2014-07-02 2017-03-14 돌비 인터네셔널 에이비 압축된 ｈｏａ 표현을 디코딩하기 위한 방법 및 장치와 압축된 ｈｏａ 표현을 인코딩하기 위한 방법 및 장치

Also Published As

Publication number Publication date
EP3164867A1 (en) 2017-05-10
WO2016001355A1 (en) 2016-01-07
CN106471579A (zh) 2017-03-01
KR102460820B1 (ko) 2022-10-31
US10403292B2 (en) 2019-09-03
JP2017523454A (ja) 2017-08-17
US20180182402A1 (en) 2018-06-28
CN106471579B (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
KR102460820B1 (ko) Ｈｏａ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치
JP6542269B2 (ja) 圧縮ｈｏａ表現をデコードする方法および装置ならびに圧縮ｈｏａ表現をエンコードする方法および装置
KR102327149B1 (ko) Ｈｏａ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치
KR102433192B1 (ko) 압축된 ｈｏａ 표현을 디코딩하기 위한 방법 및 장치와 압축된 ｈｏａ 표현을 인코딩하기 위한 방법 및 장치
KR102363275B1 (ko) Ｈｏａ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant