KR102012988B1

KR102012988B1 - 고차 앰비소닉스 표현 내에 포함된 사운드 오브젝트들의 상대적인 위치들을 변경하는 방법 및 장치

Info

Publication number: KR102012988B1
Application number: KR1020147002760A
Authority: KR
Inventors: 피터 작스; 요한-마르쿠스 바트케
Original assignee: 인터디지탈 매디슨 페이튼트 홀딩스
Priority date: 2011-06-30
Filing date: 2012-06-15
Publication date: 2019-08-21
Also published as: KR20140051927A; BR112013032878A2; US9338574B2; HUE051678T2; JP2014523172A; CN103635964B; EP2727109A1; EP2541547A1; BR112013032878B1; EP2727109B1; US20140133660A1; AU2012278094A1; AU2012278094B2; WO2013000740A1; TW201301911A; CN103635964A; JP5921678B2; TWI526088B; DK2727109T3

Abstract

고차 앰비소닉스(HOA)는 2D 및 3D 양자에 있어서 우수한 공간 레졸루션을 갖는 복잡한 오디오 장면들의 포착, 조작, 레코딩, 전송 및 재생을 용이하게 하는 공간 사운드 필드들의 표현이다. 사운드 필드는 푸리에-베셀 급수에 의해 공간에서의 레퍼런스 포인트에서 및 그 레퍼런스 포인트 주위에서 근사화된다. 본 발명은 고차 앰비소닉스 표현으로서 포착 또는 생성되었던 사운드 필드 정보의 재생 및/또는 공간 콘텐츠를 변경하기 위한 공간 워핑(12, 13, 14; 16)을 사용한다. 2D 및 3D 사운드 필드들에 대해, 상이한 워핑 특성들이 가능하다. 워핑은 장면 분석 또는 분해를 수행하지 않고 공간 도메인에서 수행된다. 소정의 차수를 갖는 입력 HOA 계수들이 규칙적으로 위치된 (가상) 확성기들의 가중치들 또는 입력 신호들로 디코딩된다.

Description

고차 앰비소닉스 표현 내에 포함된 사운드 오브젝트들의 상대적인 위치들을 변경하는 방법 및 장치{METHOD AND APPARATUS FOR CHANGING THE RELATIVE POSITIONS OF SOUND OBJECTS CONTAINED WITHIN A HIGHER-ORDER AMBISONICS REPRESENTATION}

본 발명은 오디오 장면의 2차원 또는 3차원 고차 앰비소닉스 표현(Higher-Order Ambisonics representation) 내에 포함된 사운드 오브젝트들의 상대적인 위치들을 변경하는 방법 및 장치에 관한 것이다.

고차 앰비소닉스(Higher-Order Ambisonics; HOA)는 2D 및 3D 양자에 있어서 우수한 공간 레졸루션(spatial resolution)을 갖는 복잡한 오디오 장면들의 포착, 조작, 레코딩, 전송 및 재생을 용이하게 하는 공간 사운드 필드들의 표현이다. 사운드 필드는 푸리에-베셀 급수(Fourier-Bessel series)에 의해 공간에서의 레퍼런스 포인트에서 및 그 레퍼런스 포인트 주위에서 근사화된다.

HOA 기술들로 포착된 오디오 장면의 공간 배열을 조작하기 위해 오직 제한된 수의 기술들만이 존재한다. 대체로, 2가지 방식들이 존재한다: 즉,

A) 예를 들어, DirAC를 통해 오디오 장면을 별도의 사운드 오브젝트들 및 관련 위치 정보로 분해하고, 조작된 위치 파라미터들로 새로운 장면을 합성하는 것. 그 단점은, 복잡하고 에러-유발 장면 분해가 필수적이라는 점이다.

B) HOA 표현의 콘텐츠가 HOA 벡터들의 선형 변환을 통해 변경될 수 있음. 여기서는, 오직 회전, 미러링, 및 전/후방 방향들의 강조만이 제안되었다. 이들 공지된 변환 기반 변경 기술들 모두는 장면 내의 오브젝트들의 상대적인 포지셔닝을 고정되게 유지한다.

장면의 콘텐츠를 조작 또는 변경하기 위해, HOA 사운드 필드들의 회전 및 미러링 및 특정 방향들의 우세를 변경하는 것을 포함한 공간 워핑(space warping)이 제안되었다.

본 발명에 의해 해결될 과제는 장면의 합성을 분석할 필요없이 HOA 기반 오디오 장면 내에 포함된 사운드 오브젝트들의 상대적인 위치들의 변경을 용이하게 하는 것이다. 이러한 과제는 청구항 제1항에 개시된 방법에 의해 해결된다. 이 방법을 활용하는 장치가 청구항 제2항에 개시된다.

본 발명은 고차 앰비소닉스 표현으로서 포착 또는 생성되었던 사운드 필드 정보의 재생 및/또는 공간 콘텐츠를 변경하기 위한 공간 워핑을 사용한다. HOA 도메인에서의 공간 워핑은 다중 단계 접근법 또는 더 계산적으로 효율적인 단일 단계의 선형 매트릭스 승산 양자를 표현한다. 2D 및 3D 사운드 필드들에 대해, 상이한 워핑 특성들이 가능하다.

워핑은 장면 분석 또는 분해를 수행하지 않고 공간 도메인에서 수행된다. 소정의 차수를 갖는 입력 HOA 계수들이 규칙적으로 위치된 (가상) 확성기들의 가중치들 또는 입력 신호들로 디코딩된다.

본 발명의 공간 워핑 프로세싱은 수개의 이점들을 갖는다.

- 파라미터화에 있어서의 수개의 자유도들 때문에 매우 유연함;

- 매우 효율적인 방식으로, 즉, 비교적 낮은 복잡도로 구현될 수 있음;

- 임의의 장면 분석 또는 분해를 요구하지 않음.

대체로, 본 발명의 방법은 오디오 장면의 2차원 또는 3차원 고차 앰비소닉스(HOA) 표현 내에 포함된 사운드 오브젝트들의 상대적인 위치들을 변경하는데 적절하며, 여기서, 디멘젼(O _in)을 갖는 입력 벡터(A _in)는 입력 신호의 푸리에 급수의 계수들을 결정하고, 디멘젼(O _out)을 갖는 출력 벡터(A _out)는 대응하여 변경된 출력 신호의 푸리에 급수의 계수들을 결정하며, 상기 방법은,

-

를 계산함으로써 모드 매트릭스(Ψ₁)의 역(Ψ₁ ^-1)을 이용하여 규칙적으로 위치된 확성기 위치들에 대한 공간 도메인에 있어서의 입력 신호들(s _in)로 입력 HOA 계수들의 상기 입력 벡터(A _in)를 디코딩하는 단계; 및

- A _out = Ψ₂ s _in을 계산함으로써 적응된 출력 HOA 계수들의 상기 출력 벡터(A _out)로 상기 입력 신호들(s _in)을 공간 도메인에서 워핑 및 인코딩하는 단계를 포함하고, 여기서, 모드 매트릭스(Ψ₂)의 모드 벡터들은, 오리지널 확성기 위치들의 각도들이 상기 출력 벡터(A _out)에 있어서의 타깃 확성기 위치들의 타깃 각도들로 일대일 매핑되는 워핑 함수(f(ø))에 따라 변경된다.

대체로, 본 발명의 장치는 오디오 장면의 2차원 또는 3차원 고차 앰비소닉스(HOA) 표현 내에 포함된 사운드 오브젝트들의 상대적인 위치들을 변경하는데 적절하며, 여기서, 디멘젼(O _in)을 갖는 입력 벡터(A _in)는 입력 신호의 푸리에 급수의 계수들을 결정하고, 디멘젼(O _out)을 갖는 출력 벡터(A _out)는 대응하여 변경된 출력 신호의 푸리에 급수의 계수들을 결정하며, 상기 장치는,

-

을 계산함으로써 모드 매트릭스(Ψ₁)의 역(Ψ₁ ^-1)을 이용하여 규칙적으로 위치된 확성기 위치들에 대한 공간 도메인에 있어서의 입력 신호들(s _in)로 입력 HOA 계수들의 상기 입력 벡터(A _in)를 디코딩하도록 구성된 수단; 및

- A _out = Ψ₂ s _in을 계산함으로써 적응된 출력 HOA 계수들의 상기 출력 벡터(A _out)로 상기 입력 신호들(s _in)을 공간 도메인에서 워핑 및 인코딩하도록 구성된 수단을 포함하고, 여기서, 모드 매트릭스(Ψ₂)의 모드 벡터들은, 오리지널 확성기 위치들의 각도들이 상기 출력 벡터(A _out)에 있어서의 타깃 확성기 위치들의 타깃 각도들로 일대일 매핑되는 워핑 함수(f(ø))에 따라 변경된다.

본 발명의 유리한 부가적인 실시예들이 각각의 종속 청구항들에 개시된다.

본 발명의 예시적인 실시예들이 첨부 도면들을 참조하여 설명된다.
도 1은 공간 도메인에 있어서의 워핑의 원리를 도시한다.
도 2는 N_in = 3, N_out = 12를 갖는 공간 워핑, 및 a = -0.4를 갖는 워핑 함수

의 예를 도시한다.
도 3은 상이한 워핑 함수들 및 '내부' 차수들(N_warp)에 대한 매트릭스 왜곡들을 도시한다.

하기에서, 이해를 위해, 공간 워핑의 본 발명의 어플리케이션이 2차원 셋업에 대해 설명되고, HOA 표현은 순환 고조파들에 의존하며, 표현된 사운드 필드는 오직 평면 음파들만을 포함한다고 가정된다. 그 후, 그 설명은 구면 고조파들에 기초하여 3차원 케이스들로 확장된다.

표기법

앰비소닉스 이론에 있어서, 공간 내 특정 포인트에서의 그리고 특정 포인트 주위에서의 사운드 필드는 절단형 푸리에-베셀 급수(truncated Fourier-Bessel series)에 의해 기술된다. 일반적으로, 레퍼런스 포인트는 선택된 좌표 시스템의 원점에 있는 것으로 가정된다.

구면 좌표를 이용한 3차원 어플리케이션에 있어서, 모든 정의된 인덱스들(n = 0, 1, ..., N 및 m = -n, ..., n)에 대한 계수들(A_n ^m)을 갖는 푸리에 급수는 원점으로부터의 방위각(ø), 경사(θ) 및 거리(r)에서의 사운드 필드의 압력을 기술하며:

이며, 여기서, k는 파수이고

는 θ 및 ø에 의해 정의된 방향에 대한 구면 고조파와 엄격히 관련된 푸리에-베셀 급수의 커널 함수이다. 편의를 위해, 하기에서, HOA 계수들(A_n ^m)은 정의 A_n ^m = C_n ^m j_n(kr)로 사용된다. 특정 차수(N)에 있어서, 푸리에-베셀 급수에서의 계수들의 개수는 0 = (N + 1)²이다.

원형 좌표를 사용한 2차원 어플리케이션에 있어서, 커널 함수들은 오직 방위각(ø)에만 의존한다. m≠n인 모든 계수들은 제로의 값을 갖고 생략될 수 있다. 따라서, HOA 계수들의 개수는 오직 0 = 2N + 1로 감소된다. 더욱이, 경사(θ=π/2)는 고정된다. 2D 케이스에 대해 그리고 사운드 오브젝트들의 원 상의 완전히 균일한 분포에 대해, 즉,

에 있어서, Ψ 내의 모드 벡터들은 널리 공지된 이산 푸리에 변환(discrete Fourier transform; DFT)의 커널 함수들과 동일함을 유의한다.

앰비소닉스 계수들(A_n ^m)의 상이한 정의들을 또한 유도하는 커널 함수들의 정의를 위해, 상이한 관례들이 존재한다. 하지만, 정확한 정의는, 본 어플리케이션에서 기술되는 공간 워핑 기술들의 기본 명세 및 특성들에 대해 역할을 하지 않는다.

HOA '신호'는 각각의 시간 인스턴트(time instant)에 대한 앰비소닉스 계수들의 벡터(A)를 포함한다. 2차원 - 즉, 원형 - 설정에 있어서, 계수 벡터의 통상의 합성 및 순서화(ordering)는

이다.

3차원 구면 설정에 있어서, 계수들의 통상의 순서화는 상이하다:

HOA 표현들의 인코딩은 선형 방식으로 거동하고, 따라서, 다중의 별도의 사운드 오브젝트들에 대한 HOA 계수들은 결과적인 사운드 필드의 HOA 계수들을 도출하기 위해 합산될 수 있다.

플레인 인코딩(Plain encoding)

수개의 방향들로부터의 다중의 사운드 오브젝트들의 플레인 인코딩은 벡터 대수로 간단히 달성될 수 있다. '인코딩'은 동일한 시간 인스턴트(l)에서의 개별 사운드 오브젝트들(i=0...M-1)의 압력 기여도들(s_i(k,l)) 플러스 음파들이 좌표 시스템의 원점에 도달하고 있는 방향들(ø_i 및 θ_i)에 관한 정보로부터, 시간 인스턴트(l) 및 파수(k)에서의 HOA 계수들의 벡터(A(k,l))를 도출하기 위한 단계를 의미한다.

수학식(2)에서 정의된 바와 같이 HOA 벡터들의 2차원 셋업 및 합성이 가정되면, 모드 매트릭스(Ψ)는 모드 벡터들(

)로부터 구성된다. Ψ의 i번째 컬럼은 i번째 사운드 오브젝트의 방향(ø_i)에 따른 모드 벡터를 포함한다.

상기 정의된 바와 같이, HOA 표현의 인코딩은, 입력 신호들(사운드 오브젝트들)이 공간적으로 분포하기 때문에 공간-주파수 변환으로서 해석될 수 있다.

매트릭스(Ψ)에 의한 이러한 변환은, 오직 사운드 오브젝트들의 개수가 HOA 계수들의 개수와 동일하면, 즉, M= 0이면 그리고 방향들(ø_i)이 단위원 주위로 합리적으로 확산된다면, 정보 손실없이 반전될 수 있다. 수학적인 용어들에 있어서, 가역성의 조건들은 모드 매트릭스(Ψ)가 정방형 (O x 0)이고 역전가능이어야 한다는 것이다.

플레인 디코딩(Plain decoding)

디코딩에 의해, 입력 HOA 계수들에 의해 기술된 바와 같은 원하는 사운드 필드를 정확하게 재생하기 위해 적용되어야 하는 실제의 또는 가상의 확성기들의 드라이버 신호들이 도출된다. 그러한 디코딩은 확성기들의 개수(M) 및 위치들에 의존한다. 다음의 3가지 중요한 케이스들이 구별되어야 한다(주: 이들 케이스들은, 이들이 기하학적으로 합리적인 방식으로 셋업된다고 가정하면, '합성기들의 개수'를 통해 정의된다는 관점에서 단순화된다. 더 정확하게는, 타깃된 확성기 셋업의 모드 매트릭스의 랭크를 통해 정의가 수행되어야 한다). 하기에 나타낸 예시적인 디코딩 룰들에 있어서, 모드 매칭 디코딩 원리가 적용되지만, 3가지 시나리오들에 대해 상이한 디코딩 룰들을 유도할 수 있는 다른 디코딩 원리들이 활용될 수 있다.

과도 결정된 케이스(Overdetermined case): 확성기들의 개수는 HOA 계수들의 개수보다 크며, 즉, M > 0 이다. 이 케이스에 있어서, 디코딩 문제에 대한 어떠한 고유한 솔루션도 존재하지 않지만, 모든 잠재적인 솔루션들의 M차원 공간의 M-O차원 하위공간(sub-space)에 위치되는 다양한 허용가능한 솔루션들이 존재한다. 통상적으로, 특정 확성기 셋업의 모드 매트릭스(Ψ)의 의사 역(pseudo inverse)이 확성기 신호들(s)을 결정하기 위해 사용된다:

이러한 솔루션은 최소의 총 재생 전력(s ^T s)을 갖는 확성기 신호들을 전달한다(예를 들어, L.L.Scharf, "Statistical Signal Processing. Detection, Estimation, and Time Series Analysis", Addison-Wesley Publishing Company, Reading, Massachusetts, 1990 참조). (2D 케이스에서 용이하게 달성가능한) 확성기들의 정규의 셋업들에 있어서, 매트릭스 연산 (ΨΨ^T)^-1은 아이덴터티 매트릭스(identity matrix)를 산출하고, 수학식(6)으로부터의 디코딩 룰은 s = Ψ^T A로 단순화한다.

결정된 케이스(Determined case): 확성기들의 개수는 HOA 계수들의 개수와 동일하다. 디코딩 문제에 대한 정확히 하나의 고유한 솔루션이 존재하고, 이는 모드 매트릭스(Ψ)의 역(Ψ^-1)에 의해 정의된다:

미결정된 케이스(Underdetermined case): 확성기들의 개수(M)는 HOA 계수들의 개수(O)보다 작다. 따라서, 사운드 필드를 디코딩하는 수학적 문제는 미결정적이고 어떠한 고유의 정확한 솔루션도 존재하지 않는다. 대신, 수치 최적화는, 원하는 사운드 필드를 가장 가능성 있게 일치시키는 확성기 신호들을 결정하기 위해 사용되어야 한다.

정규화는 예를 들어, 식:

에 의해 안정적인 솔루션을 도출하기 위해 적용될 수 있으며, 여기서, I는 아이덴터티 매트릭스를 나타내고, 스칼라 팩터 λ는 정규화의 양을 정의한다. 일 예로서, λ는 ΨΨ^T의 고유값의 평균으로 설정될 수 있다.

결과적인 빔 패턴들은, 일반적으로 이러한 접근법으로 획득된 빔 패턴들이 과도하게 지향성이고 다수의 사운드 정보가 적게 표현(underrepresented)될 것이기 때문에 차선일 수도 있다.

상기 설명된 모든 디코더 예들에 있어서, 확성기들이 평면파들을 방출한다는 가정이 행해졌다. 실제 확성기들은 디코딩 룰이 주의해야 하는 상이한 재생 특성들을 갖는다.

기본적인 워핑

본 발명의 공간 워핑의 원리가 도 1a에 도시된다. 워핑은 공간 도메인에서 수행된다. 따라서, 먼저, 차수(N_in) 및 디멘젼(O _in)을 갖는 입력 HOA 계수들(A _in)이 규칙적으로 위치된 (가상) 확성기들의 가중치들 또는 입력 신호들(s _in)로 단계/스테이지(12)에서 디코딩된다. 이러한 디코딩 단계에 있어서, 결정된 디코더, 즉, 가상 확성기들의 개수(O _warp)가 HOA 계수들의 개수(O _in) 이상인 디코더를 적용하는 것이 유리하다. 후자의 케이스(HOA 계수들보다 많은 확성기들)에 있어서, HOA 계수들의 벡터(A _in)의 차수 또는 디멘젼은 더 높은 차수들에 대한 제로 계수들을 단계/스테이지(11)에서 부가함으로써 용이하게 확장될 수 있다. 하기에서, 타깃 벡터(s _in)의 디멘젼은 O _warp로 표기될 것이다.

디코딩 룰은

이다.

확성기 신호들의 가상 위치들은 규칙적이어야 하며, 예를 들어, 2차원 케이스에 대해

이다. 이에 의해, 모드 매트릭스(Ψ₁)가 디코딩 매트릭스(Ψ₁ ^-1)를 결정하기 위해 잘 조절되는 것이 보장된다.

다음으로, 가상 확성기들의 위치들이 원하는 워핑 특성들에 따라 '워프' 프로세싱 시 변경된다. 그 워프 프로세싱은 단계/스테이지(14)에서 모드 매트릭스(Ψ₂)를 사용하여 타깃 벡터(s _in)(또는 각각 s _out)를 인코딩하는 것과 결합되어, 디멘젼(O _warp)을 갖거나 또는 하기에서 설명되는 추가 프로세싱 단계 이후 디멘젼(O _out)을 갖는 워핑된 HOA 계수들의 벡터(A _out)를 발생시킨다. 대체로, 워핑 특성은 소스 각도들의 타깃 각도들로의 일대일 매핑에 의해 완전히 정의될 수 있으며, 즉, 각각의 소스 각도(ø_in = 0...2π 및 가능하게는 θ_in =0...2π)에 대해, 타깃 각도가 정의되며, 이에 의해, 2D 케이스에 대해,

이고, 3D 케이스에 대해,

이다.

이해를 위해, 이러한 (가상) 재-배향(re-orientation)은 확성기들을 새로운 위치들로 물리적으로 이동시키는 것과 비교될 수 있다.

이러한 절차에 의해 생성될 하나의 문제는 특정 각도들에서의 인접 확성기들 간의 거리가 워핑 함수(f(ø))의 기울기에 따라 변경된다는 것이다(이는 하기에서 2D 케이스에 대해 설명됨): f(ø)의 기울기가 1보다 크면, 워핑된 사운드 필드에서의 동일 각도 공간은 오리지널 사운드 필드에서보다 더 적은 '확성기들'에 의해 점유될 것이고 그 역도 성립할 것이다. 즉, 확성기들의 밀도(D_s)는

에 따라 거동한다.

결국, 이는 공간 워핑이 청취자 주위의 사운드 밸런스를 변경함을 의미한다. 확성기 밀도가 증가된, 즉, D_s(ø) > 1인 영역들은 더 우세하게 될 것이고, D_s(ø) < 1인 영역들은 덜 우세하게 될 것이다.

옵션으로서, 어플리케이션의 요건들에 의존하여, 확성기 밀도의 전술한 변경은 가중 단계/스테이지(13)에 있어서 이득 함수(g(ø))를 가상 확성기 출력 신호들(s _in)에 적용하여 신호(s _out)를 발생시킴으로써 대응(counter)될 수 있다. 대체로, 임의의 가중 함수(g(ø))가 특정될 수 있다. 하나의 특별한 유리한 변형예가 워핑 함수(f(ø))의 도함수에 비례하도록 경험적으로 결정되었다.

이러한 특정 가중 함수를 사용하여, 적절히 높은 내부 차수 및 출력 차수의 가정 하에서(하기 'HOA 차수들을 설정하는 법' 섹션 참조), 특정 워핑 각도에서의 패닝 함수(f(ø))의 진폭은 오리지널 각도(ø)에서의 오리지널 패닝 함수와 동일하게 유지된다. 이에 의해, 개구 각도 당 동질적 사운드 밸런스(진폭)(homogeneous sound balance (amplitude) per opening angle)가 획득된다.

상기 예시적인 가중 함수 이외에, 다른 가중 함수들이, 예를 들어, 개구 각도 당 동일한 전력을 획득하기 위해 사용될 수 있다.

마지막으로, 단계/스테이지(14)에 있어서, 가중된 가상 확성기 신호들은 Ψ₂ s _out을 수행함으로써 모드 매트릭스(Ψ₂)로 다시 워핑 및 인코딩된다. Ψ₂는 워핑 함수(f(ø))에 따라 Ψ₁과는 상이한 모드 벡터들을 포함한다. 그 결과는 워핑된 사운드 필드의 0 _warp 디멘젼의 HOA 표현이다.

타깃 HOA 표현의 차수 또는 디멘젼이 인코더(Ψ₂)의 차수보다 낮을 것이면(하기 'HOA 차수들을 설정하는 법' 섹션 참조), 워핑된 계수들의 일부(즉, 부분)가 단계/스테이지(15)에서 제거(스트립)되어야 한다. 일반적으로, 이러한 스트립핑(stripping) 동작은 윈도우잉(windowing) 동작에 의해 설명될 수 있으며: 즉, 인코딩된 벡터(Ψ₂ s _out)가 제거될 최고 차수들에 대한 제로 계수들을 포함하는 윈도우 벡터(w)로 승산되고 이 승산은 추가 가중을 표현하는 것으로서 고려될 수 있다. 가장 단순한 케이스에 있어서, 장방형 윈도우가 적용될 수 있지만, 더 복잡한 윈도우들이 M.A.Poletti, "A Unified Theory of Horizontal Holographic Sound Systems",Journal of the Audio Engineering Society, 48(12), pp.1155-1182, 2000의 섹션 3에서 설명된 바와 같이 사용될 수 있거나, J.Daniel의 상기 서술된 PhD 학위논문의 섹션 3.3.2로부터의 '동위상' 또는 'max. r_E' 윈도우들이 사용될 수 있다.

3D에 대한 워핑 함수들

워핑 함수(f(ø)) 및 관련 가중 함수(g(ø))의 개념이 2차원 케이스에 대해 상기 설명되었다. 다음은, 더 높은 디멘젼 때문에 그리고 구면 기하학이 적용되어야 하기 때문에 더 복잡한 3차원 케이스로의 확장이다. 2개의 단순화된 시나리오들이 소개되고, 그들 양자는 1차원 워핑 함수(f(ø) 또는 f(θ))에 의해 원하는 공간 워핑을 특정할 수 있게 한다.

경도를 따르는 공간 워핑에 있어서, 공간 워핑은 오직 방위각(ø)만의 함수로서 수행된다. 이 케이스는 위에서 소개된 2차원 케이스와 상당히 유사하다. 워핑 함수는

에 의해 완전히 정의된다.

이에 의해, 유사한 워핑 함수들이 2차원 케이스에 대한 것과 같이 적용될 수 있다. 공간 워핑은 적도 상의 사운드 오브젝트들에 대해 최대 임팩트를 갖지만, 구면의 극에서의 사운드 오브젝트들에 대해 최저 임팩트를 갖는다.

구면 상의 (워핑된) 사운드 오브젝트들의 밀도는 오직 방위각에만 의존한다. 따라서, 일정한 밀도에 대한 가중 함수는

이다.

공간에 있어서의 특정 워핑 특성들의 자유로운 배향이, 워핑을 적용하기 전에 구면을 (가상으로) 회전하고 그 후 역으로 회전함으로써 가능하다.

위도를 따르는 공간 워핑에 있어서, 공간 워핑은 오직 자오선만을 따르도록 허용된다. 워핑 함수는

에 의해 정의된다.

구면에 대한 이러한 워핑 함수의 중요한 특성은, 방위각이 일정하게 유지되더라도, 방위각-방향에 있어서의 2개 포인트들의 각거리(angular distance)가 경사의 변경으로 인해 잘 변할 수 있다는 것이다. 그 이유는, 2개의 자오선들 간의 각거리가 적도에서 최대지만 2개의 극에서는 제로로 사라지기 때문이다. 이러한 사실은 가중 함수에 의해 고려되어야 한다.

2개 포인트들(A 및 B)의 각거리(c)는 구면 기하학의 코사인 룰에 의해 결정될 수 있다 - I.N.Bronstein, K.A.Semendjajew, G.Musiol, H.Muhlig, "Taschenbuch der Mathematik", Verlag Harri Deutsch, Thun, Frankfurt/Main, 5th edition, 2000에서의 수학식(3.188c) 참조: 즉,

이고, 여기서, ø_ΑΒ는 2개 포인트들(A 및 B) 간의 방위각을 나타냄 -. 동일 경사(θ)에서의 2개 포인트들 간의 각거리에 관하여, 이 수학식은

로 단순화한다.

이러한 공식은, 공간에서의 포인트와 작은 방위각(ø_ε) 만큼 이격된 다른 포인트 사이의 각거리를 도출하기 위해 적용될 수 있다. "작은"은 제로는 아니지만 실제 어플리케이션에서 실현가능할 만큼 작음을 의미하며, 이론적으로, 극한값 ø_ε →0이다. 워핑 전후 그러한 각거리들 간의 비율은, ø방향에서의 사운드 오브젝트들의 밀도가 변하는 팩터를 제공한다:

마지막으로, 가중 함수는 ø방향에서의 그리고 θ방향에서의 2개의 가중 함수들의 곱이다.

다시, 이전의 시나리오에서와 같이, 공간에서의 특정 워핑 특성들의 자유로운 배향이 회전에 의해 가능하다.

단일 단계 프로세싱

도 1a와 관련하여 소개된 단계들, 즉, 차수의 확장, 디코딩, 가중, 워핑+인코딩 및 차수의 스트립핑은 본질적으로 선형 동작들이다.

따라서, 이러한 동작들의 시퀀스는, 도 1b에 도시된 바와 같이, 단계/스테이지(16)에 있어서 입력 HOA 계수들의 단일 매트릭스와의 승산으로 대체될 수 있다. 확장 및 스트립핑 동작들을 생략하면, 전체 O _warp x O _warp 변환 매트릭스(T)는

로서 결정되고, 여기서, diag(·)는 주 대각선의 컴포넌트들로서 그 벡터 인수(vector argument)의 값들을 갖는 대각선 매트릭스를 나타내고, g는 가중 함수이고, w는 상기 설명된 스트립핑을 준비하기 위한 윈도우 벡터이며, 즉, 단계/스테이지(15)에서 수행된 스트립핑 및 계수-스트립핑 자체를 준비하기 위한 2개의 가중 함수들로부터, 수학식(24)에서의 윈도우 벡터(w)는 오직 가중을 위해 제공된다.

다중 단계 접근법 내에서의 차수의 2개의 적응들, 즉, 디코더 이전의 차수의 확장 및 인코딩 이후의 HOA 계수들의 스트립핑은 또한, 대응하는 컬럼들 및/또는 라인들을 제거함으로써 변환 매트릭스(T)에 통합될 수 있다. 이에 의해, 입력 HOA 벡터들에 직접 적용될 수 있는 사이즈 O _out x 0 _in의 매트릭스가 도출된다. 그 후, 공간 워핑 동작은

이 된다.

유리하게, O _warp x O _warp로부터 O _out x O _in으로의 변환 매트릭스(T)의 디멘젼들의 효과적인 감소 때문에, 도 1b에 따라 단일 단계 프로세싱을 수행하는데 요구된 계산 복잡도는, 단일 단계 프로세싱이 완전히 동일한 결과들을 전달하지만, 도 1a의 다중 단계 접근법에 대해 요구된 것보다 현저하게 더 낮다. 특히, 이는 다중 단계 프로세싱이 그 중간 신호들의 더 낮은 차수(N_warp)로 수행되면 발생할 수 있는 왜곡들을 회피시킨다(상세를 위해서는 하기의 'HOA 차수들을 설정하는 법' 섹션 참조).

최신 기술: 회전 및 미러링

사운드 필드의 회전 및 미러링은 공간 워핑의 '단순한' 하위 카테고리들로서 고려될 수 있다. 이들 변환들의 특별한 특성은 사운드 오브젝트들의 서로에 관한 상대적인 위치가 변경되지 않는다는 것이다. 이는, 오리지널 사운드 장면에서의 다른 사운드 오브젝트의 우측으로 예를 들어 30°에 위치되었던 사운드 오브젝트가 회전된 사운드 장면에서 동일한 사운드 오브젝트의 우측으로 30°에 머무를 것임을 의미한다. 미러링에 있어서, 오직 부호만이 변하지만 각거리들은 동일하게 남겨진다.

사운드 필드 정보의 회전 및 미러링을 위한 알고리즘들 및 어플리케이션들이, 예를 들어, 상기 서술된 Barton/Gerzon 및 J.Daniel 논문들에서 그리고 M.Noisternig, A.Sontacchi, Th.Musil, R.Holdrich, "A 3D Ambisonic Based Binaural Sound Reproduction System", Proc.of the AES 24th Intl.Conf.on Multichannel Audio, Banff, Canada, 2003에서 및 H.Pomberger, F.Zotter, "An Ambisonics Format for Flexible Playback Layouts", 1st Ambisonics Symposium, Graz, Austria, 2009에서 탐구되고 설명되었다.

이들 접근법은 회전 매트릭스들에 대한 분석식들에 기초한다. 예를 들어, 원형 사운드 필드(2D 케이스)의 임의의 각도(α)만큼의 회전은, 오직 계수들의 서브세트만이 비-제로인 워핑 매트릭스(Tα)와의 승산에 의해 수행될 수 있다.

이 예에서와 같이, 회전 및/또는 미러링 동작들에 대한 모든 워핑 매트릭스들은, 동일한 차수(n)의 계수들만이 서로에게 영향을 주고 있는 특별한 특성들을 갖는다. 따라서, 이들 워핑 매트릭스들은 매우 드물게 파퓰레이션되고(populated), 출력(N_out)은 어떠한 공간 정보도 유리(loosing)하지 않고 입력 차수(N_in)와 동일할 수 있다.

사운드 필드 정보의 회전 또는 미러링이 요구되는 다수의 흥미있는 어플리케이션들이 존재한다. 하나의 예는 헤드-트랙킹 시스템을 갖는 헤드폰들을 통한 사운드 필드들의 재생이다. 헤드의 회전 각도(들)에 따라 HRTF(head-related transfer function)들을 보간하는 대신, 헤드의 위치에 따라 사운드 필드를 미리 회전하고 실제 재생을 위한 고정된 HRTF들을 사용하는 것이 유리하다. 이러한 프로세싱은 상기 서술된 Noisternig/Sontacchi/Musil/Holdrich 논문에서 설명되었다.

다른 예는 사운드 필드 정보의 인코딩의 문맥에 있어서 상기 서술된 Pomberger/Zotter 논문에 설명되었다. HOA 벡터들에 의해 기술되는 공간 영역을 원(2D 케이스) 또는 구의 특정 부분들로 제약을 가하는 것이 가능하다. 그 제약들로 인해, HOA 벡터들의 일부분들이 제로로 될 것이다. 그 논문들에서 촉진된 아이디어는 사운드 필드 정보의 혼합-차수 코딩(mixed-order coding)을 위해 이러한 리던던시 감소 특성(redundancy-reducing property)을 활용하는 것이다. 전술한 제약들이 공간 내 매우 특정 영역들에 대해서만 획득될 수 있기 때문에, 회전 동작은 일반적으로, 전송된 부분 정보를 공간 내 원하는 영역으로 시프트하기 위해 요구된다.

실시예

도 2는 2차원 (원형) 케이스에서의 공간 워핑의 예를 도시한다. 워핑 함수는

로 선택되었으며, 이는 단일의 실수값 파라미터를 갖는 이산 시간 전역 통과 필터(discrete-time all-pass filter)의 위상 응답과 유사하다: M.Kappelan, "Eigenschaften von Allpass-Ketten und ihre Anwendung bei der nicht-aquidistanten spektralen Analyse und Synthese", PhD thesis, Aachen University (RWTH) , Aachen, Germany, 1998 참조.

워핑 함수는 도 2a에 도시된다. 이러한 특정 워핑 함수(f(ø))는, 단일 파라미터(a)로 공간 왜곡의 양을 변경하는 것을 허용하면서 2π 주기적 워핑 함수를 보장하기 때문에 선택되었다.

도 2b에 도시된 대응하는 가중 함수(g(ø))가 그 특정 워핑 함수에 대해 결정론적으로 발생한다.

도 2c는 7x25 단일 단계 변환 워핑 매트릭스(T)를 도시한다. 그 매트릭스의 개별 계수들의 로그 절대값들은 첨부된 그레이 스케일 또는 쉐이딩 바에 따른 그레이 스케일 또는 쉐이딩 타입들에 의해 표시된다. 이러한 예시적인 매트릭스는 N_∈ = 3인 입력 HOA 차수 및 N_out = 12인 출력 차수에 대해 설계되었다. 더 높은 출력 차수가, 낮은 차수 계수들로부터 더 높은 차수 계수들로의 변환에 의해 확산되는 대부분의 정보를 포착하기 위해 요구된다. 출력 차수가 추가로 감소되면, 전체 워핑 매트릭스의 비-제로 계수들이 무시될 것이기 때문에 워핑 동작의 정확도는 열화될 것이다(더 상세한 논의를 위해서는 하기의 'HOA 차수들을 설정하는 법' 섹션 참조).

이러한 특정 워핑 매트릭스의 매우 유용한 특성은 그 대부분이 제로라는 점이다. 이는, 이 동작을 구현할 경우에 많은 계산력을 절약할 수 있게 하지만, 단일 단계 변환 매트릭스의 특정 부분들이 제로라는 것은 일반 룰은 아니다.

도 2d 및 2e는, 일부 평면파들에 의해 생성된 빔 패턴들의 예에서의 워핑 특성들을 도시한다. 양 도면들은 ø 위치들(0, 2/7π, 4/7π, 6/7π, 8/7π, 10/7π 및 12/7π)에서의 동일한 7개의 입력 평면파들로부터 기인하며, 이들 모두는 1인 동일한 진폭을 갖고 7개의 각진폭 분포들, 즉, 다음의 과도 결정된 정규의 디코딩 동작의 결과 벡터(s)

를 나타내며, 여기서, HOA 벡터(A)는 평면파들의 세트의 오리지널 또는 워핑된 변형예이다. 원 외부의 수치들은 각도(ø)를 나타낸다. 가상 확성기들의 수(예를 들어, 360)는 HOA 파라미터들의 수보다 상당히 더 크다. 전방 방향으로부터 나오는 평면파에 대한 진폭 분포 또는 빔 패턴은 ø= 0에 위치된다.

도 2d는 오리지널 HOA 표현의 진폭 분포를 도시한다. 모든 7개의 분포들은 유사하게 성형화되고, 동일한 폭의 메인 로브를 특징으로 한다. 메인 로브들의 최대값들은, 예상된 대로, 오리지널 7개의 사운드 오브젝트들의 각도(ø = (0,2/7π, ...))에 위치된다. 메인 로브들은 오리지널 HOA 벡터들의 제한된 차수(N_in = 3)에 대응하는 폭들을 갖는다.

도 2e는 동일한 사운드 오브젝트들에 대해, 하지만 워핑 동작이 수행된 이후의 진폭 분포들을 도시한다. 일반적으로, 오브젝트들은 0도의 전방 방향을 향해 이동하였고 빔 패턴들이 변경되었으며: 전방 방향(ø= 0) 주위의 메인 로브들은 더 협소하고 더 포커싱되었지만, 180도 주위의 후방 방향에서의 메인 로브들은 상당히 더 넓어졌다. 측면들에서, 90 및 270도에서의 최대 임팩트에 의해, 빔 패턴들은, 이들 각도들에 대한 가중 함수(g(ø))인 도 2b의 큰 기울기로 인해 비대칭이 되었다. 빔 패턴들의 이러한 상당한 변경들(협소화 및 재-성형화)은 워핑된 HOA 벡터의 더 높은 차수(N_out = 12)에 의해 가능하게 되었다. 이론적으로, 전방 방향에서의 메인 로브들의 레졸루션은 2.33의 팩터만큼 증가되었지만, 후방 방향에서의 레졸루션은 1/2.33의 팩터만큼 감소되었다. 혼합-차수 신호가 공간에 걸쳐 변하는 로컬 차수들에 따라 형성되었다. 워핑된 HOA 계수들을 합리적인 정확도로 표현하기 위해 2.33·N_in

7의 최소 출력 차수가 요구된다고 가정할 수 있다. 하기 섹션 'HOA 차수들을 설정하는 법'의 본질적인 논의에서, 로컬 차수들이 더 상술된다.

특성들

상기 소개된 워핑 단계들은 다소 일반적이고 매우 유연하다. 적어도 다음의 기본적인 동작들이 달성될 수 있다: 임의의 축들 및/또는 평면들에 따른 회전 및/또는 미러링, 연속적인 워핑 함수로의 공간 왜곡, 및 특정 방향들의 가중(공간 빔포밍(spatial beamforming)).

다음의 하위 섹션들에 있어서, 본 발명의 공간 워핑의 다수의 특성들이 강조되고, 이들 상세들은 달성할 수 있는 것과 달성할 수 없는 것에 대한 가이던스를 제공한다. 또한, 일부 설계 룰들이 설명된다.

대체로, 다음의 파라미터들은, 원하는 워핑 특성들을 획득하기 위해 일부 자유도로 조정될 수 있다.

워핑 함수(f(θ,ø));

가중 함수(g(θ,ø));

내부 차수(N_warp);

출력 차수(N_out);

벡터(w)에 의한 출력 계수들의 윈도잉.

선형성

다중 단계 프로세싱에서의 기본적인 변환 단계들은 정의에 의해 선형이다. 중간에서 발생하는 새로운 위치들로의 사운드 소스들의 비선형 매핑은 인코딩 매트릭스의 정의에 영향을 주지만, 인코딩 매트릭스 자체는 다시 선형이다. 결과적으로, T와의 결합된 공간 워핑 동작 및 매트릭스 승산은 또한 선형 연산이며, 즉,

이다.

이러한 특성은, 상이한 사운드 소스들로부터의 동시 기여를 포함하는 복잡한 사운드 필드 정보를 처리하게 하기 때문에 필수적이다.

공간-불변성(Space-Invariance)

정의에 의해(워핑 함수가 기울기 1 또는 -1로 완전히 선형이 아니면), 공간 워핑 변환은 공간-불변성이 아니다. 이는, 반구 상의 상이한 위치들에 원래 위치된 사운드 오브젝트들에 대해 동작이 상이하게 거동함을 의미한다. 수학 용어로, 이러한 특성은 워핑 함수(f(ø))의 비선형성의 결과이며, 즉, 적어도 일부의 임의의 각도들(α∈]0...2π[)에 대해

이다.

가역성(Reversibility)

통상적으로, 변환 매트릭스(T)는 수학적 반전에 의해 간단히 역전될 수는 없다. 하나의 명백한 이유는 T가 통상 정방형이 아니기 때문이다. 더 낮은 차수 계수들로부터 더 높은 차수 계수들로 통상 확산되는 정보가 손실될 것이기 때문에 정방형 공간 워핑 매트릭스라도 가역이 아닐 것이고(섹션 'HOA 차수들을 설정하는 법'과 섹션 '실시예'에서의 예를 비교), 일 동작에 있어서 정보를 유리하는 것은 그 동작이 역전될 수 없음을 의미한다.

따라서, 공간 워핑 동작을 적어도 근사적으로 역전하기 위해 다른 방식이 발견되어야 한다. 역 워핑 변환(T _rev)이,

인 워핑 함수(f(·))의 역함수 f_rev(·)를 통해 설계될 수 있다.

HOA 차수들의 선택에 의존하여, 이러한 프로세싱은 역변환을 근사화한다.

HOA 차수들을 설정하는 법

공간 워핑 변환을 설계할 경우에 고려되어야 할 중요한 양태는 HOA 차수들이다. 통상적으로 입력 벡터들(A _in)의 차수(N_in)가 외부 제약들에 의해 미리 정의되지만, 출력 벡터들(A _out)의 차수(N_out) 및 실제 비선형 워핑 동작의 '내부' 차수(N_warp) 양자는 다소 임의적으로 할당될 수 있다. 하지만, 그 양자의 차수들(N_in 및 N_warp)은 하기 설명된 바와 같은 주의를 갖고 선택되어야 한다.

'내부' 차수(N_warp):

'내부' 차수(N_warp)는 상기 설명된 다중 단계 공간 워핑 프로세싱에 있어서 실제 디코딩, 워핑 및 인코딩 단계들의 정확도를 정의한다. 통상적으로, 차수(N_warp)는 입력 차수(N_in) 및 출력 차수(N_out) 양자보다 상당히 커야 한다. 이러한 요건의 이유는, 워핑 동작이 일반적으로 비선형 동작이기 때문에 그렇지 않으면 왜곡들 및 아티팩트들이 생성될 것이기 때문이다.

이러한 사실을 설명하기 위해, 도 3은 도 2로부터의 예를 위해 사용된 바와 동일한 워핑 함수에 대한 전체 워핑 매트릭스의 예를 도시한다. 도 3a, 도 3c 및 도 3e는 각각 워핑 함수들(f₁(ø), f₂(ø) 및 f₃(ø))을 도시한다. 도 3b, 도 3d 및 도 3f는 각각 워핑 매트릭스들(T ₁(dB), T ₂(dB) 및 T ₃(dB))을 도시한다. 예시의 이유들로, 이들 워핑 매트릭스들은 특정 입력 차수(N_in) 또는 출력 차수(N_out)에 대한 워핑 매트릭스를 결정하기 위해 클리핑되지 않았다. 대신, 도 3b, 도 3d 및 도 3f 내의 중앙 박스의 점선들은 최종 결과적인, 즉, 클리핑된 변환 매트릭스의 타깃 사이즈(N_out x N_in)를 나타낸다. 이러한 방식으로, 워핑 매트릭스에 대한 비선형 왜곡들의 영향이 명확히 보일 수 있다. 예에 있어서, 타깃 차수들은 N_in = 30 및 N_out = 100으로 임의적으로 설정되었다.

기본적인 과제는 도 3b에서 볼 수 있으며, 공간 도메인에 있어서의 비선형 프로세싱으로 인해, 워핑 매트릭스 내 계수들이 주 대각선 주위로 확산되며, 매트릭스 중앙으로부터 멀어질수록 더 많아짐이 명확하다. 중앙으로부터 매우 먼 거리에서, 약 |y|≥90인 예 - y는 수직축임 - 에 있어서, 계수 확산은 전체 매트릭스의 경계들에 도달하며, 여기서, 이는 '바운스 오프(bounce off)'인 것처럼 보인다. 이는, 워핑 매트릭스의 대부분으로 확장하는 특별한 종류의 왜곡들을 생성한다. 실험 평가에 있어서, 왜곡 산물들이 매트릭스의 타깃 영역 내에 위치(도면에서 점선 박스에 의해 표기됨)되자마자 이들 왜곡들은 변환 성능을 현저하게 손상시킴이 관측되었다.

도 3b의 제1 예에 있어서, 프로세싱의 '내부' 차수가 출력 차수(N_out = 100)보다 상당히 더 높은 N_warp = 200으로 선택되었기 때문에 모든 것이 잘 작동한다. 왜곡들의 영역은 점선 박스로 확장하지 않는다.

다른 시나리오는 도 3d에 도시된다. 내부 차수는 출력 차수와 동일하도록, 즉, N_warp = N_out = 100이 되도록 특정되었다. 도면은, 왜곡들의 확장이 내부 차수와 선형적으로 스케일링함을 나타낸다. 결과는, 변환의 출력의 더 높은 차수 계수들이 왜곡 산물들에 의해 오염된다는 것이다. 그러한 스케일링 특성의 이점은 내부 차수(N_warp)를 이에 따라 증가시킴으로써 이들 종류의 비선형 왜곡들을 회피하는 것이 가능할 것으로 사료된다는 점이다.

도 3f는 더 큰 계수(a = 0.7)를 갖는 더 공격적인 워핑 함수의 예를 도시한다. 더 공격적인 워핑 함수 때문에, 이제, 왜곡들은, N_warp = 200인 내부 차수에 대해서도 타깃 매트릭스 영역으로 확장한다. 이러한 케이스에 있어서, 이전 패러그래프에서 도출된 바와 같이, 훨씬 더 많은 오버-프로비저닝(over-provisioning)에 대해 내부 차수는 더 증가되어야 한다. 이러한 워핑 함수에 대한 실험들은, 내부 차수를 예를 들어 N = 400으로 증가하는 것이 이들 비선형 왜곡들을 제거함을 나타낸다.

요약하면, 워핑 동작을 더 공격적으로 할수록, 내부 차수(N_warp)는 더 높아져야 한다. 아직 최소 내부 차수의 공식적인 도출은 존재하지 않는다. 하지만, 의심스럽다면, '내부' 차수의 오버-프로비저닝은, 비선형 효과들이 전체 워핑 매트릭스의 사이즈에 따라 선형적으로 스케일링하기 때문에 유용하다. 대체로, '내부' 차수는 임의적으로 높을 수 있다. 특히, 단일 단계 변환 매트릭스가 도출되어야 한다면, 내부 차수는 최종 워핑 동작의 복잡도에 대해 어떠한 역할도 하지 않는다.

출력 차수(N_out):

워핑 변환의 출력 차수(N_out)를 특정하기 위해, 다음의 2개의 양태들이 고려되어야 한다.

- 일반적으로, 출력 차수는, 상이한 차수들의 계수들로 확산되는 모든 정보를 보유하기 위해 입력 차수(N_in)보다 더 커야 한다. 실제 요구된 사이즈는 워핑 함수의 특성들에도 의존한다. 경험으로 보아, '광대역' 워핑 함수(f(ø))가 적을수록, 요구된 출력 차수도 작아진다. 일부 케이스들에 있어서, 워핑 함수는 요구된 출력 차수(N_out)를 제한하기 위해 저역 통과 필터링될 수 있는 것처럼 보인다.

일 예가 도 3b에서 관측될 수 있다. 이러한 특정 워핑 함수에 있어서, 점선 박스에 의해 표시된 바와 같은 N_out = 100인 출력 차수는 정보 손실을 방지하기에 충분하다. 출력 차수가 현저하게, 예를 들어, N_out = 50으로 감소될 것이라면, 변환 매트릭스의 일부 비-제로 계수들은 제거될 것이고, 대응하는 정보 손실이 예상되게 된다.

- 일부 케이스들에 있어서, 출력 HOA 계수들은, 오직 제한된 차수만을 처리할 수 있는 프로세싱 또는 디바이스를 위해 사용될 것이다. 예를 들어, 타깃은 제한된 수의 스피커들을 갖는 확성기 셋업일 수도 있다. 그러한 어플리케이션들에 있어서, 출력 차수는 타깃 시스템의 능력들에 따라 특정되어야 한다.

N_out이 충분히 작으면, 워핑 변환은 공간 정보를 효과적으로 감소시킨다.

내부 차수(N_warp)의 출력 차수(N_out)로의 감소는 단지 더 높은 차수 계수들의 드롭핑(dropping)에 의해 실시될 수 있다. 이는, 장방형 윈도우를 HOA 출력 벡터들에 적용하는 것에 대응한다. 대안적으로, 더 복잡한 대역폭 감소 기술들이 상기 서술된 M.A.Poletti 논문에서 또는 상기 서술된 J.Daniel 논문에서 논의된 것들과 유사하게 적용될 수 있다. 이에 의해, 장방형 윈도우잉을 사용한 것보다 훨씬 더 많은 정보가 손실될 가능성이 있지만, 더 우수한 지향성 패턴들이 달성될 수 있다.

본 발명은 오디오 프로세싱 체인의 상이한 부분들, 예를 들어, 레코딩, 후반 제작(post production), 전송, 재생에서 이용될 수 있다.

Claims

오디오 장면의 2차원 또는 3차원 고차 앰비소닉스(Higher-Order Ambisonics; HOA) 표현 내에 포함된 사운드 오브젝트들의 상대적인 위치들을 변경하는 방법으로서 - 디멘젼(O _in)을 갖는 입력 벡터(A _in)는 입력 신호의 푸리에 급수(Fourier series)의 계수들을 결정하고, 디멘젼(O _out)을 갖는 출력 벡터(A _out)는 대응하여 변경된 출력 신호의 푸리에 급수의 계수들을 결정함 - ,

을 계산함으로써 모드 매트릭스(Ψ₁)의 의사 역(pseudo inverse)을 이용하여 복수의 확성기의 원래 위치들에 대해 공간 도메인에 있어서의 입력 신호들(s _in)로 입력 HOA 계수들의 상기 입력 벡터(A _in)를 디코딩하는 단계; 및
A _out = Ψ₂ s _in을 계산함으로써 적응된 출력 HOA 계수들의 상기 출력 벡터(A _out)로 상기 입력 신호들(s _in)을 공간 도메인에서 워핑(warping) 및 인코딩하는 단계
를 포함하고,
모드 매트릭스(Ψ₂)의 모드 벡터들은, 상기 복수의 확성기의 상기 원래 위치들의 각도들과 상기 복수의 확성기의 타깃 위치들의 각도들을 매핑하는 워핑 함수(f(ø))에 따라 모드 매트릭스(Ψ₁)의 모드 벡터들에 대하여 변경되는, 사운드 오브젝트들의 상대적인 위치들을 변경하는 방법.
제1항에 있어서,
상기 공간 도메인의 입력 신호들(s _in)은 상기 워핑 및 인코딩하는 단계 이전에 이득 함수(g(ø) 또는 g(θ,ø))에 의해 가중되는, 사운드 오브젝트들의 상대적인 위치들을 변경하는 방법.
제2항에 있어서,
HOA 계수들의 차수 또는 디멘젼이 상기 모드 매트릭스(Ψ₂)의 차수 또는 디멘젼보다 낮은 경우, 상기 워핑 및 인코딩된 신호(Ψ₂ s _in)는, 상기 출력 벡터(A _out)를 제공하기 위해서, 워핑된 계수들의 부분을 스트립핑하기 위해, 최고 차수들에 대해 제로 계수들을 포함하는 윈도우 벡터(w)를 이용하여 추가로 가중되는, 사운드 오브젝트들의 상대적인 위치들을 변경하는 방법.
제3항에 있어서,
상기 디코딩, 상기 가중, 및 상기 워핑 및 인코딩은 사이즈 O _warp x O _warp의 변환 매트릭스
를 사용함으로써 공통적으로 수행되고, 여기서, diag(w)는 주 대각선의 컴포넌트들로서 상기 윈도우 벡터(w)의 값들을 갖는 대각선 매트릭스를 나타내고, diag(g)는 주 대각선의 컴포넌트들로서 상기 이득 함수(g(ø) 또는 g(θ,ø))의 값들을 갖는 대각선 매트릭스를 나타내는, 사운드 오브젝트들의 상대적인 위치들을 변경하는 방법.
제4항에 있어서,
상기 변환 매트릭스(T)를 성형화(shape)하여 사이즈 O _out x 0 _in을 획득하기 위해, 상기 변환 매트릭스(T)의 대응하는 컬럼들 및/또는 라인들이 공간 워핑 연산(A _out = TA _in)을 수행하도록 제거되는, 사운드 오브젝트들의 상대적인 위치들을 변경하는 방법.
제2항 내지 제5항 중 어느 한 항에 있어서,
2차원 앰비소닉스에 대해, 상기 이득 함수(g(ø))는
이고, 3차원 앰비소닉스에 대해, 상기 이득 함수(g(θ,ø))는 ø 방향 및 θ 방향에 있어서
이고, 여기서, ø는 방위각이고, θ는 경사각이며, f_θ(θ)는 3차원 앰비소닉스에 대한 워핑 함수이고, ø_ε는 작은 방위각인, 사운드 오브젝트들의 상대적인 위치들을 변경하는 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
가상 확성기들의 개수 또는 디멘젼(O _warp)이 HOA 계수들의 개수 또는 디멘젼(0 _in) 이상인 경우, 상기 디코딩하는 단계 이전에, 상기 입력 벡터(A _in)의 차수 또는 디멘젼은 더 높은 차수들에 대해 제로 계수들을 부가함으로써 확장되는, 사운드 오브젝트들의 상대적인 위치들을 변경하는 방법.
오디오 장면의 2차원 또는 3차원 고차 앰비소닉스(HOA) 표현 내에 포함된 사운드 오브젝트들의 상대적인 위치들을 변경하는 장치로서 - 디멘젼(O _in)을 갖는 입력 벡터(A _in)는 입력 신호의 푸리에 급수의 계수들을 결정하고, 디멘젼(O _out)을 갖는 출력 벡터(A _out)는 대응하여 변경된 출력 신호의 푸리에 급수의 계수들을 결정함 - ,

을 계산함으로써 모드 매트릭스(Ψ₁)의 의사 역을 이용하여 복수의 확성기의 원래 위치들에 대해 공간 도메인에 있어서의 입력 신호들(s _in)로 입력 HOA 계수들의 상기 입력 벡터(A _in)를 디코딩하는 디코더; 및
A _out = Ψ₂ s _in을 계산함으로써 적응된 출력 HOA 계수들의 상기 출력 벡터(A _out)로 상기 입력 신호들(s _in)을 공간 도메인에서 워핑 및 인코딩하는 워핑 및 인코딩 유닛
을 포함하고,
모드 매트릭스(Ψ₂)의 모드 벡터들은, 상기 복수의 확성기의 상기 원래 위치들의 각도들과 상기 복수의 확성기의 타깃 위치들의 각도들을 매핑하는 워핑 함수(f(ø))에 따라 모드 매트릭스(Ψ₁)의 모드 벡터들에 대해 변경되는, 사운드 오브젝트들의 상대적인 위치들을 변경하는 장치.
제8항에 있어서,
상기 워핑 및 인코딩 이전에 이득 함수(g(ø) 또는 g(θ,ø))에 의해 상기 공간 도메인의 입력 신호들(s _in)을 가중하는 가중 유닛을 포함하는, 사운드 오브젝트들의 상대적인 위치들을 변경하는 장치.
제9항에 있어서,
가상 확성기들의 개수 또는 디멘젼(O _warp)이 HOA 계수들의 개수 또는 디멘젼(0 _in) 이상인 경우, 상기 디코딩 이전에, 상기 입력 벡터(A _in)의 차수 또는 디멘젼을 더 높은 차수들에 대해 제로 계수들을 부가함으로써 확장하는 확장 유닛을 포함하는, 사운드 오브젝트들의 상대적인 위치들을 변경하는 장치.
제10항에 있어서,
최고 차수들에 대해 제로 계수들을 포함하는 윈도우 벡터(w)를 이용하여 상기 워핑 및 인코딩된 신호(Ψ₂ s _in)를 가중하고, 상기 출력 벡터(A _out)를 제공하기 위해서, 워핑된 계수들의 부분을 스트립핑하는, 가중 유닛을 포함하는, 사운드 오브젝트들의 상대적인 위치들을 변경하는 장치.
제11항에 있어서,
사이즈 O _warp x O _warp의 변환 매트릭스
를 사용함으로써 상기 디코딩, 상기 가중, 및 상기 워핑 및 인코딩을 공통적으로 수행하기 위한 유닛을 포함하고, 여기서, diag(w)는 주 대각선의 컴포넌트들로서 상기 윈도우 벡터(w)의 값들을 갖는 대각선 매트릭스를 나타내고, diag(g)는 주 대각선의 컴포넌트들로서 상기 이득 함수(g(ø) 또는 g(θ,ø))의 값들을 갖는 대각선 매트릭스를 나타내는, 사운드 오브젝트들의 상대적인 위치들을 변경하는 장치.
제12항에 있어서,
상기 변환 매트릭스(T)를 성형화하여 사이즈 O _out x 0 _in을 획득하기 위해, 상기 디코딩, 상기 가중, 및 상기 워핑 및 인코딩을 공통적으로 수행하는 상기 유닛에서, 상기 변환 매트릭스(T)의 대응하는 컬럼들 및/또는 라인들이 공간 워핑 연산(A _out = TA _in)을 수행하도록 제거되는, 사운드 오브젝트들의 상대적인 위치들을 변경하는 장치.
제13항에 있어서,
2차원 앰비소닉스에 대해, 상기 이득 함수(g(ø))는
이고, 3차원 앰비소닉스에 대해, 상기 이득 함수(g(θ,ø))는 ø 방향 및 θ 방향에 있어서
이고, 여기서, ø는 방위각이고, θ는 경사각이고, f_θ(θ)는 3차원 앰비소닉스에 대한 워핑 함수이며, ø_ε는 작은 방위각인, 사운드 오브젝트들의 상대적인 위치들을 변경하는 장치.