KR20210034685A

KR20210034685A - 고차 앰비소닉스 표현을 압축 및 압축해제하기 위한 방법 및 장치

Info

Publication number: KR20210034685A
Application number: KR1020217008387A
Authority: KR
Inventors: 알렉산더 크루거; 스벤 코르돈
Original assignee: 돌비 인터네셔널 에이비
Priority date: 2013-04-29
Filing date: 2014-04-24
Publication date: 2021-03-30
Also published as: CA2907595A1; EP2800401A1; US20200304931A1; EP3232687A1; CN107180639B; EP2992689B1; RU2015150988A; CN107146627B; CA3110057C; US20170318406A1; US20160088415A1; KR102232486B1; US20220225044A1; CN105144752B; RU2018133016A; MX2022012186A; JP2021060614A; JP2022058929A; US10999688B2; EP3926984A1

Abstract

고차 앰비소닉스는 특정 스피커 셋업과 무관한 3차원 음향을 표현한다. 그러나, HOA 표현의 전송은 매우 높은 비트 레이트를 야기한다. 그러므로 고정된 수의 채널을 이용한 압축이 이용되고, 방향 및 주변 신호 성분들이 상이하게 처리된다. 주변 HOA 성분은 최소 수의 HOA 계수 시퀀스에 의해 표현된다. 나머지 채널들은 어느 것이 최적의 지각 품질을 야기할지에 따라서, 방향 신호들 또는 주변 HOA 성분의 추가 계수 시퀀스들을 포함한다. 이 처리는 프레임 단위로 변할 수 있다.

Description

고차 앰비소닉스 표현을 압축 및 압축해제하기 위한 방법 및 장치{METHOD AND APPARATUS FOR COMPRESSING AND DECOMPRESSING A HIGHER ORDER AMBISONICS REPRESENTATION}

본 발명은 방향 및 주변 신호 성분들을 상이하게 처리하는 것에 의해 고차 앰비소닉스 표현(Higher Order Ambisonics representation)을 압축 및 압축해제하기 위한 방법 및 장치에 관한 것이다.

고차 앰비소닉스(Higher Order Ambisonics, HOA)는 22.2 같은 채널 기반 방법들 또는 파면 음장 합성(wave field synthesis, WFS) 같은 여러 기법 중에서 3차원 음향을 표현하는 하나의 가능성을 제공한다. 그러나, 채널 기반 방법들과 대조적으로, HOA 표현은 특정 스피커 셋업(loudspeaker set-up)과 무관하다는 이점을 제공한다. 그러나, 이러한 융통성은 특정 스피커 셋업에서 HOA 표현의 재생을 위해 요구되는 디코딩 프로세스를 희생으로 한다. 필요한 스피커의 수가 일반적으로 매우 많은 WFS 방법과 비교하여, HOA는 소수의 스피커만으로 이루어진 셋업들로 렌더링될 수도 있다. HOA의 추가 이점은 동일한 표현이 또한 헤드폰으로의 바이노럴 렌더링(binaural rendering)을 위한 어떠한 수정 없이도 이용될 수 있다는 점이다.

HOA는 절단 구면 조화 함수(SH) 전개(truncated Spherical Harmonics (SH) expansion)에 의한 복소 조화 평면파 진폭들(complex harmonic plane wave amplitudes)의 공간 밀도의 표현에 기초한다. 각각의 전개 계수(expansion coefficient)는 각주파수의 함수이고, 이는 시간 영역 함수로 균등하게 표현될 수 있다. 따라서, 일반성을 잃지 않고, 완전한 HOA 음장 표현은 실제로는 O개 시간 영역 함수로 이루어지는 것으로 가정될 수 있고, 여기서 O은 전개 계수들의 수를 나타낸다. 이들 시간 영역 함수는 HOA 계수 시퀀스들로서 또는 HOA 채널들로서 균등하게 언급될 것이다.

HOA 표현의 공간 분해능은 전개의 증가하는 최대 차(order) N에 따라 향상된다. 유감스럽게도, 전개 계수들의 수 O는 차 N에 따라 2차식으로 증가하고, 특히 O = (N + 1)²이다. 예를 들어, 차 N = 4를 이용하는 전형적인 HOA 표현들은 O = 25개 HOA (전개) 계수를 필요로 한다. 이전에 이루어진 고려 사항들에 따르면, HOA 표현의 전송을 위한 총 비트 레이트는, 원하는 단일 채널 샘플링 레이트 fs 및 샘플당 비트의 수 N_b를 가정할 때, O·fs·N_b에 의해 결정된다. 그 결과, 샘플당 N_b = 16 비트를 이용하여 fs = 48kHz의 샘플링 레이트로 차 N = 4의 HOA 표현을 전송하는 것은 19.2 MBits/s의 비트 레이트를 야기하고, 이는 많은 실제 응용들에서, 예컨대, 스트리밍에서 매우 높은 것이다.

HOA 음장 표현들의 압축이 특허 출원들 EP 12306569.0 및 EP 12305537.8에서 제안되었다. 예컨대 [E. Hellerud, I. Burnett, A. Solvang and U.P. Svensson, "Encoding Higher Order Ambisonics with AAC", 124th AES Convention, Amsterdam, 2008]에서 수행되는 바와 같이, HOA 계수 시퀀스들의 각각을 개별적으로 지각 코딩하는 대신에, 특히 음장 분석을 수행하고 주어진 HOA 표현을 방향 및 잔여 주변 성분으로 분해하는 것에 의해, 지각 코딩될 신호의 수를 줄이는 것이 시도되고 있다. 방향 성분은 일반적으로 일반 평면파 함수들로 간주될 수 있는 소수의 지배적 방향 신호들에 의해 표현되는 것으로 생각된다. 잔여 주변 HOA 성분의 차는 감소되는데, 그 이유는 지배적 방향 신호들의 추출 후에, 저차 HOA 계수들은 가장 관련 있는 정보를 나르고 있다고 추정되기 때문이다.

종합해서, 그러한 연산에 의해 지각 코딩될 HOA 계수 시퀀스들의 초기 수 (N + l)²는 고정된 수인 D개 지배적 방향 신호들 및 절단된 차(truncated order) N_RED < N을 가진 잔여 주변 HOA 성분을 나타내는 (N_RED + l)²개 HOA 계수 시퀀스들로 감소되고, 그것으로 인해 코딩될 신호의 수는 고정된다(즉, D + (N_RED + l)²). 특히, 이 수는 시간 프레임 k에서 활성인 지배적 방향 음원들의 실제로 검출된 수 D_ACT(k) ≤ D와 무관하다. 이것은 활성인 지배적 방향 음원들의 실제로 검출된 수 D_ACT(k)가 방향 신호들의 최대 허용 수 D보다 작은, 시간 프레임 k에서, 지각 코딩될 지배적 방향 신호들의 일부 또는 심지어 전부가 0임을 의미한다. 결국, 이것은 이들 채널이 음장의 관련 있는 정보를 캡처하기 위해 전혀 사용되지 않는다는 것을 의미한다.

이러한 맥락에서, EP 12306569.0 및 EP 12305537.8 처리들에서의 추가로 가능한 약점은 각 시간 프레임에서 활성인 지배적 방향 신호들의 양의 결정을 위한 기준인데, 그 이유는 음장의 연속적 지각 코딩에 관하여 활성인 지배적 방향 신호들의 최적의 양을 결정하는 것이 시도되지 않기 때문이다. 예를 들어, EP 12305537.8에서는 지배적 음원들의 양이 간단한 전력 기준을 이용하여, 즉 가장 큰 고유치(eigenvalue)들에 속하는 계수간 상관 행렬(inter-coefficients correlation matrix)의 부분 공간(subspace)의 차원을 결정하는 것에 의해 추정된다. EP 12306569.0에서는 지배적 방향 음원들의 증분 검출이 제안되는데, 여기서는 각각의 방향으로부터의 평면파 함수의 전력이 제1 방향 신호에 관하여 충분히 높은 경우 방향 음원이 지배적인 것으로 생각된다. EP 12306569.0 및 EP 12305537.8에서와 같이 전력 기반 기준을 이용하는 것은 음장의 지각 코딩에 관하여 차선인 방향 주변 분해(directional-ambient decomposition)로 이어질 수 있다.

본 발명에 의해 해결되어야 할 과제는 미리 결정된 감수된 수의 채널들에, 주변 HOA 성분에 대한 방향 신호들 및 계수들을 할당하는 방법을 현재 HOA 오디오 신호 콘텐츠에 대해 결정함으로써 HOA 압축을 개선하는 것이다. 이 과제는 청구항 1 및 청구항 3에 개시된 방법들에 의해 해결된다. 이들 방법을 이용하는 장치들이 청구항 2 및 청구항 4에 개시된다.

본 발명은 EP 12306569.0에서 제안된 압축 처리를 2개의 양태에서 개선한다. 첫째, 지각 코딩될 주어진 수의 채널들에 의해 제공된 대역폭이 더 양호하게 활용된다. 지배적 음원 신호들이 검출되지 않는 시간 프레임들에서, 지배적 방향 신호들을 위해 원래 예약된 채널들은 주변 성분에 관한 추가 정보를, 잔여 주변 HOA 성분의 추가 HOA 계수 시퀀스들의 형태로 캡처하는 데 이용된다. 둘째, 주어진 HOA 음장 표현을 지각 코딩하기 위해 주어진 수의 채널을 활용할 목적을 염두에 두고, HOA 표현으로부터 추출될 방향 신호들의 양의 결정을 위한 기준이 그 목적에 관하여 적응된다. 방향 신호들의 수는 디코딩되고 재구성된 HOA 표현이 최저의 지각 가능 오차를 제공하도록 결정된다. 그 기준은 방향 신호를 추출하고 잔여 주변 HOA 성분을 기술하기 위해 HOA 계수 시퀀스를 덜 이용하는 것으로부터 생기는, 또는 방향 신호를 추출하지 않고 대신에 잔여 주변 HOA 성분을 기술하기 위해 추가 HOA 계수 시퀀스를 이용하는 것으로부터 생기는 모델링 오차들을 비교한다. 그 기준은 또한 양쪽 경우에 대해 잔여 주변 HOA 성분의 HOA 계수 시퀀스들 및 방향 신호들의 지각 코딩에 의해 도입된 양자화 잡음의 공간 전력 분포를 고려한다.

전술한 처리를 구현하기 위하여, HOA 압축을 시작하기 전에, 신호들(채널들)의 총수 I가 명시되고 그것과 비교하여 O개 HOA 계수 시퀀스들의 원래 수가 감소된다. 주변 HOA 성분은 최소 수 O_RED의 HOA 계수 시퀀스들에 의해 표현되는 것으로 가정된다. 일부 경우에, 그 최소 수는 0일 수 있다. 나머지 D = I - O_RED개 채널은 방향 신호 추출 처리가 무엇이 지각적으로 더 의미 있는 것으로 결정하는지에 따라서, 주변 HOA 성분의 추가 계수 시퀀스들 또는 방향 신호들을 포함하는 것으로 생각된다. 방향 신호들 또는 주변 HOA 성분 계수 시퀀스들을 나머지 D개 채널에 할당하는 것은 프레임 단위로(on frame-by-frame basis) 변할 수 있는 것으로 가정된다. 수신기 측에서 음장의 재구성을 위해, 할당에 관한 정보가 추가 사이드 정보로서 전송된다.

원칙적으로, 본 발명의 압축 방법은 고정된 수의 지각 인코딩을 이용하여, 고차 앰비소닉스(Higher Order Ambisonics)(HOA) 계수 시퀀스들의 입력 시간 프레임들을 가진, 음장의 HOA 표현을 압축하는 데 적합하고, 상기 방법은 프레임 단위로 수행되는 다음과 같은 단계들:

- 현재 프레임에 대해, 지배적 방향들의 세트 및 검출된 방향 신호들의 인덱스들의 대응하는 데이터 세트를 추정하는 단계;

- 상기 현재 프레임의 HOA 계수 시퀀스들을 지배적 방향 추정치들의 상기 세트에 포함된 각각의 방향들을 갖고 상기 방향 신호들의 인덱스들의 각각의 데이터 세트를 가진 비고정된 수의 방향 신호들로 분해하고 - 상기 비고정된 수는 상기 고정된 수보다 작음 -,

감소된 수의 HOA 계수 시퀀스들 및 상기 감소된 수의 잔여 주변 HOA 계수 시퀀스들의 인덱스들의 대응하는 데이터 세트에 의해 표현되는 잔여 주변 HOA 성분으로 분해하는 단계 - 상기 감소된 수는 상기 고정된 수와 상기 비고정된 수 간의 차이에 대응함 -;

- 상기 방향 신호들 및 상기 잔여 주변 HOA 성분의 HOA 계수 시퀀스들을 상기 고정된 수에 대응하는 수의 채널들에 할당하는 단계 - 상기 할당을 위해 상기 방향 신호들의 인덱스들의 상기 데이터 세트와 상기 감소된 수의 잔여 주변 HOA 계수 시퀀스들의 인덱스들의 상기 데이터 세트가 이용됨 -;

- 인코딩된 압축 프레임을 제공하기 위해 관련된 프레임의 상기 채널들을 지각 인코딩하는 단계를 포함한다.

원칙적으로 본 발명의 압축 장치는 고정된 수의 지각 인코딩을 이용하여, 고차 앰비소닉스(HOA) 계수 시퀀스들의 입력 시간 프레임들을 가진, 음장의 HOA 표현을 압축하는 데 적합하고, 상기 장치는 프레임 단위의 처리를 수행하고, 다음과 같은 수단들:

- 현재 프레임에 대해, 지배적 방향들의 세트 및 검출된 방향 신호들의 인덱스들의 대응하는 데이터 세트를 추정하도록 적응된 수단;

감소된 수의 HOA 계수 시퀀스들 및 상기 감소된 수의 잔여 주변 HOA 계수 시퀀스들의 인덱스들의 대응하는 데이터 세트에 의해 표현되는 잔여 주변 HOA 성분으로 분해하도록 적응된 수단 - 상기 감소된 수는 상기 고정된 수와 상기 비고정된 수 간의 차이에 대응함 -;

- 상기 방향 신호들 및 상기 잔여 주변 HOA 성분의 HOA 계수 시퀀스들을 상기 고정된 수에 대응하는 수의 채널들에 할당하도록 적응된 수단 - 상기 할당을 위해 상기 방향 신호들의 인덱스들의 상기 데이터 세트와 상기 감소된 수의 잔여 주변 HOA 계수 시퀀스들의 인덱스들의 상기 데이터 세트가 이용됨 -;

- 인코딩된 압축 프레임을 제공하기 위해 관련된 프레임의 상기 채널들을 지각 인코딩하도록 적응된 수단을 포함한다.

원칙적으로, 본 발명의 압축해제 방법은 상기 압축 방법에 따라 압축된 고차 앰비소닉스 표현을 압축해제하는 데 적합하고, 상기 압축해제는:

- 채널들의 지각 디코딩된 프레임을 제공하기 위해 현재 인코딩된 압축 프레임을 지각 디코딩하는 단계;

- 방향 신호들의 대응하는 프레임과 잔여 주변 HOA 성분의 대응하는 프레임을 재현하기 위해, 검출된 방향 신호들의 인덱스들의 상기 데이터 세트와 선택된 주변 HOA 계수 시퀀스들의 인덱스들의 상기 데이터 세트를 이용하여, 채널들의 상기 지각 디코딩된 프레임을 재분배하는 단계;

- 검출된 방향 신호들의 인덱스들의 상기 데이터 세트와 지배적 방향 추정치들의 상기 세트를 이용하여, 방향 신호들의 상기 프레임으로부터 그리고 잔여 주변 HOA 성분의 상기 프레임으로부터 HOA 표현의 현재 압축해제된 프레임을 재구성하는 단계를 포함하고,

균일하게 분포된 방향들에 관한 방향 신호들이 상기 방향 신호들로부터 예측되고, 그 후 상기 현재 압축해제된 프레임이 방향 신호들의 상기 프레임, 상기 예측된 신호들 및 상기 잔여 주변 HOA 성분으로부터 재구성된다.

원칙적으로 본 발명의 압축해제 장치는 상기 압축 방법에 따라 압축된 고차 앰비소닉스 표현을 압축해제하는 데 적합하고, 상기 장치는:

- 채널들의 지각 디코딩된 프레임을 제공하기 위해 현재 인코딩된 압축 프레임을 지각 디코딩하도록 적응된 수단;

- 방향 신호들의 대응하는 프레임과 잔여 주변 HOA 성분의 대응하는 프레임을 재현하기 위해, 검출된 방향 신호들의 인덱스들의 상기 데이터 세트와 선택된 주변 HOA 계수 시퀀스들의 인덱스들의 상기 데이터 세트를 이용하여, 채널들의 상기 지각 디코딩된 프레임을 재분배하도록 적응된 수단;

- 방향 신호들의 상기 프레임, 상기 잔여 주변 HOA 성분의 프레임, 검출된 방향 신호들의 인덱스들의 상기 데이터 세트, 및 상기 지배적 방향 추정치들의 세트로부터 HOA 표현의 현재 압축해제된 프레임을 재구성하도록 적응된 수단을 포함하고,

본 발명의 유리한 추가 실시예들은 각각의 종속 청구항들에 개시되어 있다.

본 발명의 예시적인 실시예들이 다음과 같은 첨부 도면들에 관련하여 기술된다:
도 1은 HOA 압축을 위한 블록도이고;
도 2는 지배적 음원 방향들의 추정을 도시한 도면이고;
도 3은 HOA 압축해제를 위한 블록도이고;
도 4는 구면 좌표계를 도시한 도면이고;
도 5는 상이한 앰비소닉스 차(order)들 N에 대한 그리고 각도들

에 대한 정규화된 분산 함수

를 도시한 도면이다.

A. 개선된 HOA 압축

EP 12306569.0에 기초하는, 본 발명에 따른 압축 처리가 도 1에 도시되어 있는데, 여기서 EP 12306569.0과 비교하여 수정된 또는 새로 도입된 신호 처리 블록들에는 굵은 박스가 제공되고, 여기서 본원에서의

(그와 같은 방향 추정치들) 및

는 각각 EP 12306569.0에서의

(방향 추정치들의 행렬) 및

에 대응한다. HOA 압축을 위해 길이 L의 HOA 계수 시퀀스들의 비중첩(non-overlapping) 입력 프레임들 C(k)에 대한 프레임 단위(frame-wise) 처리가 이용되고, 여기서 k는 프레임 인덱스를 표시한다. 프레임들은 수학식 45에 명시된 HOA 계수 시퀀스들에 관하여 다음과 같이 정의되고,

여기서 T_S는 샘플링 기간을 나타낸다.

도 1에서 제1 단계 또는 스테이지 11/12는 옵션이고, HOA 계수 시퀀스들의 비중첩 k번째 및 (k-1)번째 프레임들을 다음과 같이 긴 프레임

로 연결(concatenate)하는 것으로 이루어지고,

이 긴 프레임은 인접한 긴 프레임과 50% 중첩되고 이 긴 프레임은 지배적 음원 방향들의 추정을 위해 연속하여 이용된다.

에 대한 표기법과 유사하게, 각각의 양이 긴 중첩 프레임들을 언급한다는 것을 나타내기 위해 이하의 설명에서는 물결표(tilde) 기호가 사용된다. 단계/스테이지 11/12가 존재하지 않으면, 물결표 기호는 어떤 특정한 의미도 없다.

원칙적으로, 지배적 음원들의 추정 단계 또는 스테이지 13은 EP 13305156.5에서 제안된 바와 같이 수행되지만, 중요한 수정이 있다. 이 수정은 검출될 방향들의 양의 결정, 즉, 몇 개의 방향 신호가 HOA 표현으로부터 추출되는 것으로 추정되는지와 관련된다. 이것은 주변 HOA 성분의 더 나은 근사치를 위해 대신에 추가 HOA 계수 시퀀스들을 이용하는 것보다 지각적으로 더 관련 있는 경우에만 방향 신호들을 추출하는 동기를 가지고 달성된다. 이 기법에 대한 상세한 설명은 섹션 A.2에서 주어진다.

추정은 검출된 방향 신호들의 인덱스들의 데이터 세트

뿐만 아니라 대응하는 방향 추정치들의 세트

를 제공한다. D는 HOA 압축을 시작하기 전에 설정되어야 하는 방향 신호들의 최대수를 표시한다.

단계 또는 스테이지 14에서, HOA 계수 시퀀스들의 현재 (긴) 프레임

는 (EP 13305156.5에서 제안된 바와 같이) 세트

에 포함된 방향들에 속하는 다수의 방향 신호들 X_DIR(k-2), 및 잔여 주변 HOA 성분 C_AMB(k-2)로 분해된다. 2개의 프레임의 지연은 평활한 신호들을 얻기 위해 중첩 가산 처리(overlap-add processing)의 결과로서 도입된다. X_DIR(k-2)는 총 D개 채널을 포함하고 있지만, 그 중 활성 방향 신호들에 대응하는 것들만 0이 아닌 것으로 가정된다. 이러한 채널들을 명시하는 인덱스들은 데이터 세트

에서 출력되는 것으로 가정된다. 추가로, 단계/스테이지 14에서의 분해(decomposition)는 방향 신호들로부터의 원래 HOA 표현(original HOA representation)의 부분들을 예측하기 위해 압축해제 측(decompression side)에서 이용되는 일부 파라미터들

를 제공한다(더 구체적인 내용에 대해서는 EP 13305156.5 참조). 단계 또는 스테이지 15에서, 주변 HOA 성분 C_AMB(k-2)의 계수들의 수는 O_RED + D - N_DIR,ACT(k-2)개의 0이 아닌 HOA 계수 시퀀스들만을 포함하도록 지능적으로 감소되고, 여기서

는 데이터 세트

의 카디널리티(cardinality), 즉, 프레임 k-2 내의 활성 방향 신호들의 수를 나타낸다. 주변 HOA 성분은 항상 HOA 계수 시퀀스들의 최소 수 O_RED에 의해 표현되는 것으로 가정되므로, 이 문제는 실제로는 가능한 O - O_RED개 중 나머지 D - N_DIR,ACT(k-2)개 HOA 계수 시퀀스들의 선택으로 축소될 수 있다. 평활한 감소된 주변 HOA 표현을 얻기 위하여, 이 선택은, 이전 프레임 k-3에서 취해진 선택과 비교하여, 가능한 한 적은 변화들이 발생하도록, 달성된다.

특히, 다음 3가지 경우가 구별되어야 한다:

a) N_DIR,ACT(k-2) = N_DIR,ACT(k-3): 이 경우 프레임 k-3에서와 동일한 HOA 계수 시퀀스들이 선택되는 것으로 가정된다.

b) N_DIR,ACT(k-2) < N_DIR,ACT(k-3): 이 경우, 마지막 프레임 k-3에서보다 더 많은 HOA 계수 시퀀스가 현재 프레임에서 주변 HOA 성분을 표현하기 위해 사용될 수 있다. k-3에서 선택된 HOA 계수 시퀀스들은 현재 프레임에서도 선택되는 것으로 가정된다. 추가 HOA 계수 시퀀스들은 상이한 기준들에 따라 선택될 수 있다. 예를 들어, 최고 평균 전력을 가진 C_AMB(k-2) 내의 HOA 계수 시퀀스들을 선택하는 것, 또는 HOA 계수 시퀀스들을 그들의 지각적 중요성에 관하여 선택하는 것.

c) N_DIR,ACT(k-2) > N_DIR,ACT(k-3): 이 경우, 마지막 프레임 k-3에서보다 적은 HOA 계수 시퀀스들이 현재 프레임에서 주변 HOA 성분을 표현하기 위해 사용될 수 있다. 여기서 응답되어야 할 질문은 이전에 선택된 HOA 계수 시퀀스들 중 어느 것이 비활성화되어야 하는지이다. 합리적인 솔루션은 프레임 k-3에서 신호 할당 단계 또는 스테이지 16에서 채널들

에 할당된 시퀀스들을 비활성화하는 것이다.

추가의 HOA 계수 시퀀스들이 활성화되거나 비활성화될 때 프레임 경계들에서의 불연속성들을 피하기 위해, 각각의 신호들을 평활하게 페이드인 또는 페이드아웃하는 것이 유리하다.

감소된 수인 O_RED + N_DIR,ACT(k-2)개의 0이 아닌 계수 시퀀스들을 가진 최종 주변 HOA 표현은 C_AMB,RED(k-2)에 의해 표시된다. 선택된 주변 HOA 계수 시퀀스들의 인덱스들은 데이터 세트

에서 출력된다.

단계/스테이지 16에서, X_DIR(k-2)에 포함된 활성 방향 신호들 및 C_AMB,RED(k-2)에 포함된 HOA 계수 시퀀스들은 개별 지각 인코딩을 위해 I개 채널의 프레임 Y(k-2)에 할당된다. 신호 할당을 더 상세히 기술하기 위해, 프레임들 X_DIR(k-2), Y(k-2) 및 C_ABM,RED(k-2)는 다음과 같이 개별 신호들 x_DIR,d(k-2), d ∈ {1,...,D}, y_i(k-2), i ∈ {1,...,I} 및 C_AMB,RED,o(K-2), o ∈ {1,...,O}로 이루어지는 것으로 가정된다:

연속적인 지각 코딩을 위한 연속 신호들을 획득하기 위하여 활성 방향 신호들은 그들의 채널 인덱스들을 유지하도록 할당된다. 이것은 다음 식에 의해 표현될 수 있다.

주변 성분의 HOA 계수 시퀀스들은 최소 수인 O_RED개 계수 시퀀스들이 항상 Y(k-2)의 마지막 O_RED개 신호들에 포함되도록 할당되는데, 즉, 다음 식과 같다.

주변 성분의 추가 D - N_DIR,ACT(k-2)개 HOA 계수 시퀀스들에 대해 그것들이 이전 프레임에서도 선택되었는지 여부가 구별되어야 한다:

a) 그것들이 이전 프레임에서도 전송되도록 선택되었다면, 즉, 각각의 인덱스들이 데이터 세트

에도 포함된다면, Y(k-2) 내의 신호들에 대한 이들 계수 시퀀스의 할당은 이전 프레임에서와 동일하다. 이 동작은 평활한 신호들 y_i(k-2)를 보장하고, 이는 단계 또는 스테이지 17에서의 연속적 지각 코딩을 위해 유리하다.

b) 그렇지 않고, 일부 계수 시퀀스들이 새로이 선택되었다면, 즉, 그들의 인덱스들이 데이터 세트

에는 포함되지만

에는 포함되지 않는다면, 그것들은 먼저 그것들의 인덱스들에 관하여 오름차순으로 배열되고 이 순서로 아직 방향 신호들에 의해 점유되지 않은 Y(k-2)의 채널들

에 할당된다.

이 특정한 할당은, HOA 압축 프로세스 동안, 신호 재분배 및 구성은 어느 주변 HOA 계수 시퀀스가 Y(k-2)의 어느 채널에 포함되어 있는지에 관한 지식 없이도 수행될 수 있다는 이점을 제공한다. 대신에, 할당은 HOA 압축해제 동안에 데이터 세트들

및

에 관한 지식만으로 재구성될 수 있다.

유리하게도, 이러한 할당 동작은 또한 할당 벡터

를 제공하고, 그것의 원소들

(

)는 주변 성분의 추가적인 D - N_DIR,ACT(k-2)개 HOA 계수 시퀀스들 각각의 인덱스들을 표시한다. 다르게 말하여, 할당 벡터

의 원소들은 주변 HOA 성분의 추가 O - O_RED개 HOA 계수 시퀀스들 중 어느 것이 비활성 방향 신호들을 가진 D - N_DIR,ACT(k-2)개 채널에 할당되는지에 관한 정보를 제공한다. 이 벡터는 추가로 전송될 수 있지만, HOA 압축해제(섹션 B 참조)를 위해 수행되는 재분배 절차의 초기화를 허용하기 위하여, 프레임 레이트에 의해서보다 덜 빈번하게 전송될 수 있다. 지각 코딩 단계/스테이지 17은 프레임 Y(k-2)의 I개 채널들을 인코딩하고, 인코딩된 프레임

를 출력한다.

단계/스테이지 16으로부터 벡터

가 전송되지 않는 프레임들에 대하여, 압축해제 측에서는 벡터

대신에 데이터 파라미터 세트들

및

가 재분배의 수행을 위해 이용된다.

A.1 지배적 음원 방향들의 추정

도 1의 지배적 음원 방향들에 대한 추정 단계/스테이지 13이 도 2에 보다 상세히 도시되어 있다. 그것은 본질적으로 EP 13305156.5의 것에 따라 수행되지만, 결정적인 차이가 있는데, 이는 주어진 HOA 표현으로부터 추출될 방향 신호들의 수에 대응하는, 지배적 음원들의 양(the amount of dominant sound sources)을 결정하는 방법이다. 이 수는 주변 HOA 성분을 더 잘 모델링하기 위해 주어진 HOA 표현이 더 많은 방향 신호를 이용하는 것에 의해 표현되는지 또는 대신에 더 많은 HOA 계수 시퀀스들을 이용하는 것에 의해 표현되는지를 제어하기 위해 이용되기 때문에 중요하다.

지배적 음원 방향들의 추정은 단계 또는 스테이지 21에서 입력 HOA 계수 시퀀스들의 긴 프레임

를 이용한, 지배적 음원 방향들의 예비 검색으로 시작된다. 예비 방향 추정치들

(1 ≤ d ≤ D)와 함께, 개별 음원들에 의해 생성되는 것으로 추정되는, 대응하는 방향 신호들

및 HOA 음장 성분들

가 EP 13305156.5에 기술된 바와 같이 계산된다. 단계 또는 스테이지 22에서, 이들 양은 추출될 방향 신호들의 수

를 결정하기 위해 입력 HOA 계수 시퀀스들의 프레임

와 함께 사용된다. 그 결과, 방향 추정치들

(

), 대응하는 방향 신호들

, 및 HOA 음장 성분들

는 버려진다. 대신에, 그 후 방향 추정치들

(

)만이 이전에 발견된 음원들에 할당된다.

단계 또는 스테이지 23에서, 결과로서의 방향 궤도들은 음원 이동 모델에 따라 평활화되고, 음원들 중 어느 것들이 활성인 것으로 추정되는지가 결정된다(EP 13305156.5 참조). 마지막 동작은 활성 방향 음원들의 인덱스들의 세트

및 대응하는 방향 추정치들의 세트

를 제공한다.

A.2 추출된 방향 신호들의 수의 결정

단계/스테이지 22에서 방향 신호들의 수를 결정하기 위해, 지각적으로 가장 관련 있는 음장 정보를 캡처하기 위해 이용될 주어진 총량 I개 채널이 있는 상황을 가정한다. 그러므로 전체 HOA 압축/압축해제 양에 대해 현재 HOA 표현은 주변 HOA 성분의 더 나은 모델링을 위해 더 많은 방향 신호들을 이용하는 것에 의해 더 잘 표현되는지 또는 더 많은 HOA 계수 시퀀스들을 이용하는 것에 의해 더 잘 표현되는지에 대한 질문이 동기가 되어, 추출될 방향 신호들의 수가 결정된다. 단계/스테이지 22에서 추출될 방향 음원들의 수의 결정에 대한 기준 - 그 기준은 인간의 지각과 관련된다 - 을 도출하기 위해, HOA 압축은 특히 다음과 같은 2개의 동작에 의해 달성된다는 것이 고려된다:

- 주변 HOA 성분을 표현하기 위한 HOA 계수 시퀀스들의 감소(이는 관련된 채널의 수의 감소를 의미한다);

- 방향 신호들의 그리고 주변 HOA 성분을 표현하기 위한 HOA 계수 시퀀스들의 지각 인코딩.

추출된 방향 신호들의 수 M(0 ≤ M ≤ D)에 따라서, 제1 동작은 다음과 같은 근사치를 야기하고,

여기서

는 M개의 개별적으로 고려되는 음원에 의해 생성되는 것으로 추정되는, HOA 음장 성분들

(1 ≤ d ≤ M)로 이루어지는 방향 성분의 HOA 표현을 표시하고,

는 I-M개의 0이 아닌 HOA 계수 시퀀스들만을 가진 주변 성분의 HOA 표현을 표시한다.

두 번째 동작으로부터의 근사치는 다음 식에 의해 표현될 수 있고,

여기서

및

는 각각 지각 디코딩 후의 구성된 방향 및 주변 HOA 성분들을 표시한다.

기준의 공식화

추출될 방향 신호들의 수

는 총 근사치 오차(total approximation error)

가 되도록 선택되고,

는 인간의 지각에 관하여 가능한 한 덜 유의미하다. 이를 보장하기 위해, 개별 바크 스케일 임계 대역들(Bark scale critical bands)에 대한 총 오차의 방향 전력 분포(directional power distribution)는 미리 정의된 수 Q의 테스트 방향

(q = 1, ..., Q)에서 고려되고, 그 방향들은 단위 구(unit sphere)에서 거의 균일하게 분포된다. 보다 구체적으로는, b번째 임계 대역(b = 1, ..., B)에 대한 방향 전력 분포는 다음의 벡터

에 의해 표현되고, 그것의 성분들

는 방향

, b번째 바크 스케일 임계 대역 및 k번째 프레임과 관련된 총 오차

의 전력을 표시한다. 총 오차

의 방향 전력 분포

는 원래 HOA 표현

때문에 다음과 같은 방향 지각 마스킹 전력 분포

와 비교된다. 다음으로, 각각의 테스트 방향

및 임계 대역 b에 대해 총 오차의 지각 레벨

가 계산된다. 그것은 여기서 아래 식

에 따라서 본질적으로 총 오차

의 방향 전력과 방향 마스킹 전력의 비로서 정의된다.

오차 전력이 마스킹 임계치보다 아래인 동안은 지각 레벨이 0인 것을 보증하도록, '1'의 차감과 연속적 최대 동작이 수행된다.

마지막으로, 추출될 방향 신호들의 수

가 모든 임계 대역에 대한 오차 지각 레벨의 최대의 모든 테스트 방향에 대한 평균을 최소화하도록 선택될 수 있는데, 즉, 다음 식과 같다.

대안적으로, 수학식 15에서의 평균화 연산으로 최대치를 대체하는 것이 가능하다는 점에 유의한다.

방향 지각 마스킹 전력 분포의 계산

원래 HOA 표현

로 인한 방향 지각 마스킹 전력 분포

의 계산을 위해, 후자는 테스트 방향들

(q = 1, ..., Q)로부터 충돌하는 일반 평면파

에 의해 표현되기 위하여 공간 영역으로 변환된다. 일반 평면파 신호들

를 다음과 같이 행렬

에 배열할 때,

공간 영역으로의 변환은 다음 연산에 의해 표현되고,

여기서

는 테스트 방향

(q = 1, ..., Q)에 관한 모드 행렬로서, 다음 식에 의해 정의되고,

여기서, 아래 식과 같다.

원래 HOA 표현

로 인한, 방향 지각 마스킹 전력 분포

의 원소들

는 개별 임계 대역들 b에 대한 일반 평면파 함수들

의 마스킹 전력들에 대응한다.

방향 전력 분포의 계산

이하에서는 방향 전력 분포

의 계산을 위한 2개의 대안이 제시된다:

a. 하나의 가능성은 섹션 A.2의 처음에 언급한 2개의 동작을 수행함으로써 원하는 HOA 표현

의 근사치

를 실제로 계산하는 것이다. 그 후 총 근사치 오차

가 수학식 11에 따라 계산된다. 다음으로, 총 근사치 오차

는 테스트 방향들

(q = 1, ..., Q)로부터 충돌하는 일반 평면파

에 의해 표현되기 위하여 공간 영역으로 변환된다. 일반 평면파 신호들을 다음과 같이 행렬

에 배열할 때,

공간 영역으로의 변환은 다음 연산에 의해 표현된다.

총 근사치 오차

의 방향 전력 분포

의 원소들

는 개별 임계 대역들 b 내의, 일반 평면파 함수들

(q = 1, ..., Q)의 전력들을 계산함으로써 구해진다.

b. 대안의 솔루션은

대신에 근사치

만을 계산하는 것이다. 이 방법은 개별 신호들의 복잡한 지각 코딩이 직접 수행될 필요가 없다는 이점을 제공한다. 대신에, 개별 바크 스케일 임계 대역들 내의 지각 양자화 오차(perceptual quantisation error)의 전력들을 아는 것으로 충분하다. 이를 위해, 수학식 11에서 정의된 총 근사치 오차는 다음과 같은 3개의 근사치 오차의 합으로서 표현될 수 있다:

이들은 서로 독립적인 것으로 가정될 수 있다. 이러한 독립성 때문에, 총 오차

의 방향 전력 분포는 3개의 개별 오차

,

및

의 방향 전력 분포들의 합으로 표현될 수 있다.

다음은 개별 바크 스케일 임계 대역들에 대한 3개의 오차의 방향 전력 분포들을 계산하는 방법을 설명한다:

a. 오차

의 방향 전력 분포를 계산하기 위해, 그것은 먼저 다음 수학식에 의해 공간 영역으로 변환되고,

여기서 근사치 오차

는 따라서 테스트 방향들

(q = 1, ..., Q)로부터 충돌하는 일반 평면파들

에 의해 표현되고, 이들은 다음 수학식에 따라 행렬

로 배열된다.

그 결과, 근사치 오차

의 방향 전력 분포

의 원소들

는 개별 임계 대역들 b 내의, 일반 평면파 함수들

(q = 1, ..., Q)의 전력들을 계산하는 것에 의해 구해진다.

b. 오차

의 방향 전력 분포

를 계산하기 위해, 이 오차는 방향 신호들

(1 ≤ d ≤ M)을 지각 코딩하는 것에 의해 방향 HOA 성분

에 도입된다는 것을 염두에 두어야 한다. 또한, 방향 HOA 성분은 수학식 8에 의해 주어진다는 것을 고려해야 한다. 그 후 간략화를 위해 HOA 성분

는 O개 일반 평면파 함수들

에 의해 공간 영역에서 동등하게 표현되고, 그 평면파 함수들은 다음과 같이 방향 신호

로부터 단순 스케일링에 의해 생성되는데, 즉, 다음 식과 같다.

여기서,

(o = 1, ..., O)는 스케일링 파라미터들을 표시한다. 각각의 평면파 방향들

(o = 1, ..., O)는 단위 구에서 균일하게 분포되고

가 방향 추정치

에 대응하도록 회전되는 것으로 가정된다. 따라서, 스케일링 파라미터들

는 '1'이다.

를 회전된 방향들

(o = 1, ..., Q)에 관하여 모드 행렬인 것으로 정의하고 모든 스케일링 파라미터들

를 다음 수학식에 따른 벡터에 배열할 때,

HOA 성분

는 다음과 같이 표현될 수 있다.

그 결과, 다음과 같은 진정한 방향 HOA 성분

에 의해 지각 디코딩된 방향 신호들

(d = 1, ..., M)로부터 구성된 것 사이의 오차

(수학식 23 참조)는 다음과 같은 지각 코딩 오차들

에 관하여 개별 방향 신호들에서 다음 수학식에 의해 표현될 수 있다.

테스트 방향들

(q = 1, ..., Q)에 관하여 공간 영역에서의 오차

의 표현은 다음에 의해 주어진다.

벡터

의 원소들을

(q = 1, ..., Q)에 의해 표시하고, 개별 지각 코딩 오차들

(d = 1, ..., M)을 서로 독립적인 것으로 가정하면, 수학식 35로부터 지각 코딩 오차

의 방향 전력 분포

의 원소들

는 다음 수학식에 의해 계산될 수 있는 것으로 귀결된다.

는 방향 신호

내의 b번째 임계 대역 내의 지각 양자화 오차의 전력을 나타내는 것으로 추정된다. 이 전력은 방향 신호

의 지각 마스킹 전력에 대응하는 것으로 가정될 수 있다.

c. 주변 HOA 성분의 HOA 계수 시퀀스들의 지각 코딩으로부터 발생하는 오차

의 방향 전력 분포

를 계산하기 위해, 각각의 HOA 계수 시퀀스는 독립적으로 코딩되는 것으로 가정된다. 따라서, 각각의 바크 스케일 임계 대역 내의 개별 HOA 계수 시퀀스들에 도입된 오차들은 비상관되는 것으로 가정될 수 있다. 이것은 각각의 바크 스케일 임계 대역에 관한 오차

의 계수간 상관 행렬이 대각인 것을 의미하는데, 즉, 다음 식과 같다.

원소들

(o = 1, ..., O)는

내의 o번째 코딩된 HOA 계수 시퀀스에서 b번째 임계 대역 내의 지각 양자화 오차의 전력을 나타내는 것으로 가정된다. 그것들은 o번째 HOA 계수 시퀀스

의 지각 마스킹 전력에 대응하는 것으로 가정될 수 있다. 지각 코딩 오차

의 방향 전력 분포는 따라서 다음에 의해 계산된다.

B. 개선된 HOA 압축해제

대응하는 HOA 압축해제 처리가 도 3에 도시되어 있고, 다음과 같은 단계들 또는 스테이지들을 포함한다.

단계 또는 스테이지 31에서는

내의 I개 디코딩된 신호들을 획득하기 위하여

에 포함된 I개 신호들의 지각 디코딩이 수행된다.

신호 재분배 단계 또는 스테이지 32에서는, 방향 신호들의 프레임

및 주변 HOA 성분의 프레임

를 재현하기 위하여

내의 지각 디코딩된 신호들이 재분배된다. 신호들을 재분배하는 방법에 관한 정보는, 인덱스 데이터 세트들

및

를 이용하여, HOA 압축을 위해 수행된 할당 동작을 재현하는 것에 의해 획득된다. 이것은 재귀적 절차이므로(섹션 A 참조), 추가로 전송된 할당 벡터

는, 예컨대, 전송이 실패하는 경우에, 재분배 절차의 초기화를 가능하게 하기 위해 사용될 수 있다.

구성 단계 또는 스테이지 33에서는, 원하는 총 HOA 표현의 현재 프레임

이 EP 12306569.0의 도 2b 및 도 4와 관련하여 기술된 처리에 따라서, 방향 신호들의 프레임

, 활성 방향 신호 인덱스들의 세트

와 함께 대응하는 방향들의 세트

, 방향 신호들로부터의 HOA 표현의 부분들을 예측하기 위한 파라미터들

, 및 감소된 주변 HOA 성분의 HOA 계수 시퀀스들의 프레임

를 이용하여 재구성된다.

는 EP 12306569.0에서의 성분

에 대응하고,

및

는 EP 12306569.0에서의

에 대응하고, 여기서 활성 방향 신호 인덱스들은

의 행렬 원소들에 마킹된다. 즉, 균일하게 분포된 방향들에 관한 방향 신호들이 그러한 예측을 위해 수신된 파라미터들

를 이용하여 방향 신호들

로부터 예측되고, 그 후 현재 압축해제된 프레임

는 방향 신호들

의 프레임, 예측된 부분들 및 감소된 주변 HOA 성분

로부터 재구성된다.

C. 고차 앰비소닉스의 기본

고차 앰비소닉스(HOA)는 음원들이 없는 것으로 가정되는, 작은 관심 영역 내의 음장의 기술에 기초한다. 그 경우 관심 영역 내의 시간 t와 위치 x에서의 음압 p(t,x)의 시공간 거동은 동차 파동 방정식(homogeneous wave equation)에 의해 물리적으로 완전히 결정된다. 이하에서 도 4에 도시된 것과 같은 구면 좌표계가 가정된다. 사용된 좌표계에서 x 축은 정면 위치를 가리키고, y 축은 좌측을 가리키고, z 축은 상부를 가리킨다. 공간에서의 위치

는 반경 r > 0(즉, 좌표 원점까지의 거리), 극축 z로부터 측정된 경사각

및 x 축으로부터 x-y 평면에서 반시계방향으로 측정된 방위각

에 의해 표현된다. 또한,

는 전치(transposition)를 표시한다.

에 의해 표시된 시간에 관한 음압의 푸리에 변환, 즉

- 여기서

는 각주파수를 표시하고, i는 허수 단위를 나타냄 - 는 다음 식

에 따라 구면 조화 함수들의 급수(a series of Spherical Harmonics)로 전개될 수 있다는 것을 알 수 있다(문헌 [E.G. Williams, "Fourier Acoustics", volume 93 of Applied Mathematical Sciences, Academic Press, 1999] 참조).

수학식 40에서, c_s는 음속을 표시하고 k는 각파수(angular wave number)를 표시하고, 이것은

에 의해 각주파수

와 관련된다. 또한,

는 제1종의 구면 베셀 함수(spherical Bessel functions of the first kind)를 표시하고

는 아래 섹션 C.1에서 정의되는 차(order) n과 차수(degree) m의 실수 값 구면 조화 함수를 표시한다. 전개 계수들

는 각파수 k에만 종속하고 있다. 전술한 내용에서 음압은 공간적으로 대역 제한된다는 것이 암묵적으로 가정되었다. 따라서 구면 조화 함수들의 급수는 HOA 표현의 차라고 불리는, 상한 N에서의 차 인덱스 n에 관하여 절단된다.

음장이 각 튜플(angle tuple)

에 의해 명시된 모든 가능한 방향으로부터 도착하는 상이한 각주파수들

의 무한한 수의 조화 평면파의 중첩에 의해 표현된다면, 각각의 평면파 복소 진폭 함수

는 다음과 같은 구면 조화 함수 전개

에 의해 표현될 수 있고, 여기서 전개 계수들

는

에 의해 전개 계수들

와 관련된다는 것을 알 수 있다(문헌 [B. Rafaely, "Plane-wave Decomposition of the Sound Field on a Sphere by Spherical Convolution", Journal of the Acoustical Society of America, vol.4 (116), pages 2149-2157, 2004] 참조).

개별 계수들

이 각주파수

의 함수들인 것으로 가정하면, 역 푸리에 변환(

에 의해 표시됨)의 적용은 각각의 차 n과 차수 m에 대해 다음과 같은 시간 영역 함수들

을 제공하여, 이것들은 단일 벡터 c(t)에서

에 의해 모아질 수 있다.

벡터 c(t) 내의 시간 영역 함수

의 위치 인덱스는 n(n + 1) + 1 + m에 의해 주어진다. 벡터 c(t) 내의 원소들의 전체 수는 O = (N + 1)²에 의해 주어진다.

최종 앰비소닉스 포맷은 샘플링 주파수 fs를 이용하여 c(t)의 샘플링된 버전을 다음과 같이 제공하고,

여기서

는 샘플링 주기를 표시한다.

의 원소들은 여기서 앰비소닉스 계수들이라고 지칭된다. 시간 영역 신호들

와 따라서 앰비소닉스 계수들은 실수 값이다.

C.1 실수 값 구면 조화 함수의 정의

실수 값 구면 조화 함수

는

에 의해 주어지고, 여기서, 다음 식과 같다.

관련된 르장드르 함수(Legendre functions) P_n,m(x)는 르장드르 다항식 P_n(x)으로, 그리고 위에 언급한 윌리암스 논문에서와 달리, Condon-Shortley 위상 항

이 없이 다음과 같이 정의된다.

C.2 고차 앰비소닉스의 공간 분해능

방향

로부터 도착하는 일반 평면파 함수 x(t)는 HOA에서 다음에 의해 표현된다.

평면파 진폭들의 대응하는 공간 밀도

는 다음에 의해 주어진다.

수학식 51로부터 그것은 일반 평면파 함수 x(t)의 그리고 공간 분산 함수

의 곱이라는 것을 알 수 있으며, 공간 분산 함수는 다음과 같은 속성

을 갖는

와

사이의 각도

에만 종속하는 것으로 보여질 수 있다.

예상되는 바와 같이, 무한차(infinite order)의 한계에서, 즉,

에서, 공간 분산 함수는 디랙 델타(Dirac delta)

로 변하는데, 즉, 다음 식과 같다.

그러나, 유한차(finite order) N의 경우에, 방향

으로부터의 일반 평면파의 기여는 이웃 방향들로 스미어(smear)되고, 여기서 블러링의 정도는 차(order)가 증가함에 따라 감소한다. N의 상이한 값들에 대한 정규화된 함수

의 그래프가 도 5에 도시되어 있다.

임의의 방향

에 대하여 평면파 진폭들의 공간 밀도의 시간 영역 거동은 임의의 다른 방향에서의 그것의 거동의 배수라는 점이 지적되어야 한다. 특히, 일부 고정된 방향들

및

에 대한 함수들

및

는 시간 t에 관하여 서로 크게 상관된다.

C.3 구면 조화 함수 변환

평면파 진폭들의 공간 밀도가 단위 구에서 거의 균일하게 분포되어 있는 O개의 공간 방향

(1 ≤ o ≤ O)에서 이산화(discretise)되어 있다면, O개 방향 신호

가 얻어진다. 이러한 신호들을 수학식 50을 이용하여

로서 벡터로 모은다면, 이 벡터는 수학식 44에서 정의된 연속적인 앰비소닉스 표현

로부터

로서 단순 행렬 곱셈에 의해 계산될 수 있다는 것을 입증할 수 있으며, 여기서

는 공동 전치(transposition) 및 공액(conjugation)을 나타내고,

는

에 의해 정의된 모드 행렬을 표시하고, 여기서, 다음 식과 같다.

방향들

는 단위 구에서 거의 균일하게 분포되기 때문에, 모드 행렬은 일반적으로 가역적이다. 따라서, 연속적 앰비소닉스 표현은 방향 신호들

로부터 다음에 의해 계산될 수 있다.

양쪽 수학식들은 앰비소닉스 표현과 공간 영역 간의 변환 및 역변환을 구성한다. 이러한 변환들은 여기서 구면 조화 함수 변환 및 역 구면 조화 함수 변환이라고 불린다.

방향들

는 단위 구에서 거의 균일하게 분포되므로, 다음과 같은 근사화

가 이용 가능하고, 이는 수학식 55에서

대신에

의 사용을 정당화한다는 점에 유의하여야 한다.

유리하게도, 언급한 모든 관계들은 이산 시간 영역에 대해서도 유효하다.

본 발명의 처리는 단일 프로세서 또는 전자 회로에 의해, 또는 병렬로 동작하고/하거나 본 발명의 처리의 상이한 부분들에서 동작하는 여러 프로세스들 또는 전자 회로들에 의해 수행될 수 있다.

Claims

제1 수의 지각 인코딩(perceptual encodings)을 이용하여, 고차 앰비소닉스(Higher Order Ambisonics)(HOA) 계수 시퀀스들의 입력 시간 프레임들을 가진, 음장(sound field)의 HOA 표현을 압축하기 위한 방법으로서,
상기 방법은 프레임 단위로 수행되는 다음의 단계들:
현재 프레임에 대해, 지배적 방향들의 세트 및 검출된 방향 신호들의 인덱스들의 대응하는 데이터 세트를 추정하는 단계;
상기 현재 프레임의 HOA 계수 시퀀스들로부터, 지배적 방향 추정치들(dominant direction estimates)의 상기 세트에 포함된 각각의 방향들을 갖고 상기 방향 신호들의 인덱스들의 각각의 지연된 데이터 세트를 가진 제2 수의 방향 신호들과, 감소된 수의 HOA 계수 시퀀스들 및 상기 감소된 수의 주변 HOA 계수 시퀀스들(ambient HOA coefficient sequences)의 인덱스들의 대응하는 데이터 세트에 의해 표현되는 주변 HOA 성분을 분리하는 단계 - 상기 감소된 수는 상기 제1 수와 상기 제2 수 간의 차이에 대응함 -;
상기 방향 신호들 및 상기 주변 HOA 성분의 HOA 계수 시퀀스들을 상기 제1 수에 대응하는 수의 채널들의 프레임에 할당하는 단계 - 상기 할당을 위해, 상기 방향 신호들의 인덱스들의 상기 지연된 데이터 세트와 상기 감소된 수의 주변 HOA 계수 시퀀스들의 인덱스들의 상기 데이터 세트가 이용됨 -; 및
인코딩된 압축 프레임을 제공하기 위해 상기 할당된 프레임의 상기 채널들을 지각 인코딩하는 단계
를 포함하는 방법.
제1항에 있어서, 상기 제2 수의 방향 신호들은 다음과 같도록 지각적으로 관련된 기준에 따라 결정되며:
대응하여 압축해제된 HOA 표현이 상기 압축을 위한 고정된 주어진 수의 채널들로 달성될 수 있는 최저 지각 가능 오차를 제공하고, 상기 기준은 다음의 오차들:
상이한 수들의 상기 방향 신호들 및 상기 주변 HOA 성분에 대한 상이한 수들의 HOA 계수 시퀀스들을 이용하는 것으로부터 생기는 모델링 오차들;
상기 방향 신호들의 지각 코딩에 의해 도입된 양자화 잡음;
상기 주변 HOA 성분의 개별 HOA 계수 시퀀스들을 코딩하는 것에 의해 도입된 양자화 잡음
을 고려하고;
상기 모델링 오차들, 상기 방향 신호들의 지각 코딩에 의해 도입된 양자화 잡음, 및 상기 주변 HOA 성분의 개별 HOA 계수 시퀀스들을 코딩하는 것에 의해 도입된 양자화 잡음으로부터 기인하는 총 오차는, 그것의 지각 가능성(perceptibility)에 관하여 다수의 테스트 방향 및 다수의 임계 대역에 대해 고려되고;
상기 제2 수의 방향 신호들은 상기 최저 지각 가능 오차를 달성하기 위해 평균 지각 가능 오차 또는 최대 지각 가능 오차를 최소화하도록 선택되는 방법.
제1항에 있어서, 상기 주변 HOA 성분을 표현하기 위한 감소된 수의 HOA 계수 시퀀스들의 선택은 다음의 3가지 경우를 구별하는 기준에 따라 수행되며:
상기 현재 프레임에 대한 HOA 계수 시퀀스들의 수가 이전 프레임에 대한 것과 동일한 경우, 상기 이전 프레임에서와 동일한 HOA 계수 시퀀스들이 선택되고;
상기 현재 프레임에 대한 HOA 계수 시퀀스들의 수가 상기 이전 프레임에 대한 것보다 작은 경우, 방향 신호에 의해 점유되는 상기 현재 프레임에 있는 채널에 할당된 상기 이전 프레임에 있던 상기 이전 프레임으로부터의 HOA 계수 시퀀스들은 비활성화되고;
상기 현재 프레임에 대한 HOA 계수 시퀀스들의 수가 상기 이전 프레임에 대한 것보다 큰 경우, 상기 이전 프레임에서 선택된 HOA 계수 시퀀스들이 상기 현재 프레임에서도 선택되고, 이들 추가 HOA 계수 시퀀스들은 그들의 지각적 중요성에 따라 또는 최고 평균 전력에 따라 선택될 수 있는 방법.
제2항에 있어서, 상기 할당은 다음과 같이 수행되는데:
상기 지각 코딩을 위한 연속적인 신호들을 획득하기 위해, 활성 방향 신호들이 그들의 채널 인덱스들을 유지하도록 주어진 채널들에 할당되고;
상기 주변 HOA 성분의 HOA 계수 시퀀스들은 최소 수(O_RED)의 그러한 계수 시퀀스들이 대응하는 수(O_RED)의 마지막 채널들에 항상 포함되도록 할당되고;
상기 주변 HOA 성분의 추가 HOA 계수 시퀀스들을 할당하기 위해, 그것들이 이전 프레임에서도 선택되었는지가 결정되고:
그렇다면, 지각 인코딩될 채널들로의 이들 HOA 계수 시퀀스들의 할당은 상기 이전 프레임에 대해서와 동일하고;
그렇지 않다면 그리고 HOA 계수 시퀀스들이 새로이 선택된다면, HOA 계수 시퀀스들은 먼저 그들의 인덱스들에 관하여 오름차순으로 배열되고, 이 순서로 아직 방향 신호들에 의해 점유되지 않은 지각 인코딩될 채널들에 할당되는 방법.
제1항에 있어서, O_RED는 상기 주변 HOA 성분을 표현하는 HOA 계수 시퀀스들의 수이고, 상기 할당을 기술하는 파라미터들은 상기 주변 HOA 성분을 표현하기 위해 수 O_RED개의 HOA 계수 시퀀스들에 더하여 사용되는 추가 수의 HOA 계수 시퀀스들에 대응하는 길이를 가진 비트 어레이에 배열되고, 상기 비트 어레이 내의 각각의 o번째 비트는 (O_RED + o)번째 추가 HOA 계수 시퀀스가 상기 주변 HOA 성분을 표현하기 위해 사용되는지를 나타내는 방법.
제1항에 있어서, 상기 할당을 기술하는 파라미터들은 비활성 방향 신호들의 수에 대응하는 길이를 가진 할당 벡터에 배열되고, 상기 벡터의 원소들은 상기 주변 HOA 성분의 추가 HOA 계수 시퀀스들 중 어느 것이 비활성 방향 신호들을 가진 채널들에 할당되는지를 나타내고 있는 방법.
제1항에 있어서, 상기 현재 프레임의 HOA 계수 시퀀스들의 상기 분리는 추가로 상기 방향 신호들로부터 원래 HOA 표현의 부분들을 예측하기 위해 압축해제 측에서 이용될 수 있는 파라미터들을 제공하는 방법.
제4항에 있어서, 상기 할당은 할당 벡터를 제공하고, 상기 벡터의 원소들은 상기 주변 HOA 성분에 대한 추가 HOA 계수 시퀀스들 중 어느 것이 비활성 방향 신호들을 가진 채널들에 할당되는지에 관한 정보를 표현하고 있는 방법.
제1 수의 지각 인코딩을 이용하여, 고차 앰비소닉스(HOA) 계수 시퀀스들의 입력 시간 프레임들을 가진, 음장의 HOA 표현을 압축하기 위한 장치로서,
상기 장치는 프레임 단위의 처리를 수행하고,
현재 프레임에 대해, 지배적 방향들의 세트 및 검출된 방향 신호들의 인덱스들의 대응하는 데이터 세트를 추정하기 위한 추정기;
상기 현재 프레임의 HOA 계수 시퀀스들로부터, 지배적 방향 추정치들의 상기 세트에 포함된 각각의 방향들을 갖고 상기 방향 신호들의 인덱스들의 각각의 지연된 데이터 세트를 가진 제2 수의 방향 신호들과, 감소된 수의 HOA 계수 시퀀스들 및 상기 감소된 수의 주변 HOA 계수 시퀀스들의 인덱스들의 대응하는 데이터 세트에 의해 표현되는 주변 HOA 성분을 분리하기 위한 분리기 - 상기 감소된 수는 상기 제1 수와 상기 제2 수 간의 차이에 대응함 -;
상기 방향 신호들 및 상기 주변 HOA 성분의 HOA 계수 시퀀스들을 상기 제1 수에 대응하는 수의 채널들의 프레임에 할당함으로써, 압축해제 측에서 대응하는 재분배를 위해 이용될 수 있는, 상기 할당을 기술하는 선택된 주변 HOA 계수 시퀀스들의 인덱스들의 파라미터들을 획득하기 위한 할당기 - 상기 할당을 위해, 상기 방향 신호들의 인덱스들의 상기 지연된 데이터 세트와 상기 감소된 수의 주변 HOA 계수 시퀀스들의 인덱스들의 상기 데이터 세트가 이용됨 -; 및
인코딩된 압축 프레임을 제공하기 위해 상기 할당된 프레임의 상기 채널들을 지각 인코딩하는 인코더
를 포함하는 장치.
제9항에 있어서, 상기 제2 수의 방향 신호들은 다음과 같도록 지각적으로 관련된 기준에 따라 결정되며:
대응하여 압축해제된 HOA 표현이 상기 압축을 위한 고정된 주어진 수의 채널들로 달성될 수 있는 최저 지각 가능 오차를 제공하고, 상기 기준은 다음의 오차들:
상이한 수들의 상기 방향 신호들 및 상기 주변 HOA 성분에 대한 상이한 수들의 HOA 계수 시퀀스들을 이용하는 것으로부터 생기는 모델링 오차들;
상기 방향 신호들의 지각 코딩에 의해 도입된 양자화 잡음;
상기 주변 HOA 성분의 개별 HOA 계수 시퀀스들을 코딩하는 것에 의해 도입된 양자화 잡음
을 고려하고;
상기 모델링 오차들, 상기 방향 신호들의 지각 코딩에 의해 도입된 양자화 잡음, 및 상기 주변 HOA 성분의 개별 HOA 계수 시퀀스들을 코딩하는 것에 의해 도입된 양자화 잡음으로부터 기인하는 총 오차는, 그것의 지각 가능성에 관하여 다수의 테스트 방향 및 다수의 임계 대역에 대해 고려되고;
상기 제2 수의 방향 신호들은 상기 최저 지각 가능 오차를 달성하기 위해 평균 지각 가능 오차 또는 최대 지각 가능 오차를 최소화하도록 선택되는 장치.
제9항에 있어서, 상기 주변 HOA 성분을 표현하기 위한 감소된 수의 HOA 계수 시퀀스들의 선택은 다음의 3가지 경우를 구별하는 기준에 따라 수행되며:
상기 현재 프레임에 대한 HOA 계수 시퀀스들의 수가 이전 프레임에 대한 것과 동일한 경우, 상기 이전 프레임에서와 동일한 HOA 계수 시퀀스들이 선택되고;
상기 현재 프레임에 대한 HOA 계수 시퀀스들의 수가 상기 이전 프레임에 대한 것보다 작은 경우, 방향 신호에 의해 점유되는 상기 현재 프레임에 있는 채널에 할당된 상기 이전 프레임에 있던 상기 이전 프레임으로부터의 HOA 계수 시퀀스들은 비활성화되고;
상기 현재 프레임에 대한 HOA 계수 시퀀스들의 수가 상기 이전 프레임에 대한 것보다 큰 경우, 상기 이전 프레임에서 선택된 HOA 계수 시퀀스들이 상기 현재 프레임에서도 선택되고, 이들 추가 HOA 계수 시퀀스들은 그들의 지각적 중요성에 따라 또는 최고 평균 전력에 따라 선택될 수 있는 장치.
제10항에 있어서, 상기 할당은 다음과 같이 수행되는데:
상기 지각 코딩을 위한 연속적인 신호들을 획득하기 위해, 활성 방향 신호들이 그들의 채널 인덱스들을 유지하도록 주어진 채널들에 할당되고;
상기 주변 HOA 성분의 HOA 계수 시퀀스들은 최소 수(O_RED)의 그러한 계수 시퀀스들이 대응하는 수(O_RED)의 마지막 채널들에 항상 포함되도록 할당되고;
상기 주변 HOA 성분의 추가 HOA 계수 시퀀스들을 할당하기 위해, 그것들이 이전 프레임에서도 선택되었는지가 결정되고:
그렇다면, 지각 인코딩될 채널들로의 이들 HOA 계수 시퀀스들의 할당은 상기 이전 프레임에 대해서와 동일하고;
그렇지 않다면 그리고 HOA 계수 시퀀스들이 새로이 선택된다면, HOA 계수 시퀀스들은 먼저 그들의 인덱스들에 관하여 오름차순으로 배열되고, 이 순서로 아직 방향 신호들에 의해 점유되지 않은 지각 인코딩될 채널들에 할당되는 장치.
제9항에 있어서, O_RED는 상기 주변 HOA 성분을 표현하는 HOA 계수 시퀀스들의 수이고, 상기 할당을 기술하는 파라미터들은 상기 주변 HOA 성분을 표현하기 위해 수 O_RED개의 HOA 계수 시퀀스들에 더하여 사용되는 추가 수의 HOA 계수 시퀀스들에 대응하는 길이를 가진 비트 어레이에 배열되고, 상기 비트 어레이 내의 각각의 o번째 비트는 (O_RED + o)번째 추가 HOA 계수 시퀀스가 상기 주변 HOA 성분을 표현하기 위해 사용되는지를 나타내는 장치.
제9항에 있어서, 상기 할당을 기술하는 파라미터들은 비활성 방향 신호들의 수에 대응하는 길이를 가진 할당 벡터에 배열되고, 상기 벡터의 원소들은 상기 주변 HOA 성분의 추가 HOA 계수 시퀀스들 중 어느 것이 비활성 방향 신호들을 가진 채널들에 할당되는지를 나타내고 있는 장치.
제9항에 있어서, 상기 현재 프레임의 HOA 계수 시퀀스들의 상기 분리는 추가로 상기 방향 신호들로부터 원래 HOA 표현의 부분들을 예측하기 위해 압축해제 측에서 이용될 수 있는 파라미터들을 제공하는 장치.
제12항에 있어서, 상기 할당은 할당 벡터를 제공하고, 상기 벡터의 원소들은 상기 주변 HOA 성분에 대한 추가 HOA 계수 시퀀스들 중 어느 것이 비활성 방향 신호들을 가진 채널들에 할당되는지에 관한 정보를 표현하고 있는 장치.
압축된 고차 앰비소닉스(HOA) 표현을 압축해제하기 위한 방법으로서,
채널들의 디코딩된 프레임을 제공하기 위해 현재 인코딩된 압축 프레임을 디코딩하는 단계;
주변 HOA 성분의 대응하는 재현된 프레임을 재현하기 위해서 방향 신호들의 인덱스들의 데이터 세트 및 상기 주변 HOA 성분의 가능하게 포함된 계수 시퀀스의 인덱스를 적어도 나타내는 할당 벡터에 기초하여 채널들의 상기 디코딩된 프레임을 재분배하는 단계; 및
검출된 방향 신호들의 인덱스들의 데이터 세트와 지배적 방향 추정치들의 세트에 기초하여, 방향 신호들의 재현된 프레임과 상기 주변 HOA 성분의 재현된 프레임으로부터 상기 HOA 표현의 현재 압축해제된 프레임을 재구성하는 단계
를 포함하는 방법.
압축된 고차 앰비소닉스(HOA) 표현을 압축해제하기 위한 장치로서,
채널들의 디코딩된 프레임을 제공하기 위해 현재 인코딩된 압축 프레임을 디코딩하기 위한 디코더;
주변 HOA 성분의 대응하는 재현된 프레임을 재현하기 위해서 방향 신호들의 인덱스들의 데이터 세트 및 상기 주변 HOA 성분의 가능하게 포함된 계수 시퀀스의 인덱스를 적어도 나타내는 할당 벡터에 기초하여 채널들의 상기 디코딩된 프레임을 재분배하기 위한 재분배기; 및
검출된 방향 신호들의 인덱스들의 데이터 세트와 지배적 방향 추정치들의 세트에 기초하여, 방향 신호들의 재현된 프레임과 상기 주변 HOA 성분의 재현된 프레임으로부터 상기 HOA 표현의 현재 압축해제된 프레임을 재구성하기 위한 재구성기
를 포함하는 장치.