KR101325644B1

KR101325644B1 - 변환 영역에서의 효율적인 바이노럴 사운드 공간화 방법 및장치

Info

Publication number: KR101325644B1
Application number: KR1020087026354A
Authority: KR
Inventors: 마르끄 에므리; 피에리끄 필립; 다비드 비레뜨
Original assignee: 오렌지
Priority date: 2006-03-28
Filing date: 2007-03-08
Publication date: 2013-11-06
Also published as: WO2007110519A3; ATE439013T1; JP2009531905A; CN101455095A; ES2330274T3; KR20080109889A; US8605909B2; EP2000002B1; EP2000002A2; US20090232317A1; BRPI0709276B1; BRPI0709276A2; PL2000002T3; WO2007110519A2; DE602007001877D1; JP5090436B2; CN101455095B; FR2899423A1

Abstract

본 발명은 다음을 포함하는 변환된 도메인에서 적용가능한 이득 및 지연으로 변환된 모델링 필터로부터, 시간 영역에서 적어도 2 개의 사운드 채널(Bl, Br)의 제 2 세트로 변환된 영역(Fl, C, Fr, Sr, Sl, Lfe)에서 디코딩되고 다수의 주파수 서브밴드(SBk) 상에서 인코딩된 적어도 1 개의 오디오 채널의 제 1 세트의 사운드 공간화를 위한 시스템 및 방법에 관한 것이다: 등화되고 지연된 성분을 각각의 인코딩된 채널로부터 발생하기 위해 적어도 하나의 이득 및 하나의 지연을 적용함으로써 신호의 서브밴드 지연을, 등화를 통해 필터링(A); 적어도 2 개에 대응하는 다수의 필터링된 신호를 생성하기 위해 등화되고 지연된 신호의 서브-세트의 추가(B); 시간 영역에서 적어도 2 개의 재생 사운드 채널(Bl, Br)의 제 2 세트를 획득하기 위해 필터링된 신호의 각각의 합성(C).

등화, 지연, 사운드 채널, 오디오 채널, 시간영역, 변환영역

Description

변환 영역에서의 효율적인 바이노럴 사운드 공간화 방법 및 장치{Method and device for efficient binaural sound spatialization in the transformed domain}

본 발명은 압축된 오디오 신호의, 3D 렌더링(3D-rendered) 사운드으로서 공지된, 공간화에 관한 것이다.

이와 같은 동작은 한 쌍의 헤드폰 상에 3D 오디오 효과의 재생을 허용하기 위해, 다른 개수, 예를 들어 2 개의 채널로, 소정의 개수의 채널 상에 나타난, 압축된 3D 오디오 신호를 압축해제하는 동안 수행된다.

따라서, "바이노럴(binaural)"이란 용어는 공간화 효과를 가지지만 오디오 신호의 한 쌍의 스테레오 헤드폰 상의 재생을 뜻한다. 그러나 본 발명은 전술된 기술에 제한되지 않고 TRANSAURAL^®로서 공지된 재생 기술과 같은, "바이노럴" 기술로부터 유도된 기술에 다시 말해서 원격 라우드스피커 상에, 명백히 적용될 수 있다. TRANSAURAL^®은 COOPER BAUCK CORPORATION 회사의 상업상 상표이다. 이와 같은 기술은 "누화 소거(cross-talk cancellation)" 기술을 사용할 수 있고, 이는 교차된(crossed) 사운드 채널을 제거하여, 라우드스피커에 의해 처리되고 방출되는 사운드가 청취자의 2 개의 귀 중 하나에 들릴 수 있다는데 있다.

결과적으로, 본 발명은 또한 다채널 오디오 신호의 전송 및 재생 및 사용자의 장비에 의해 가해진, 재생 장치, 트랜스듀서(transducer)로의 이들의 변환(conversion)에 관한 것이다. 이는 예를 들어 한 쌍의 오디오 헤드폰, 또는 한 쌍의 라우드스피커에 의해 5.1 사운드 장면(sound scene)의 재생에 대한 경우이다.

본 발명은 또한 예를 들어 공간화에 대하여, 파일에 저장된 하나 이상의 사운드 샘플의 게임 또는 비디오 기록의 테두리 안에서, 재생에 관한 것이다.

다양한 접근은 바이노럴 사운드 공간화의 분야에 공지된 기술 중에서 제안되었다.

특히, 이중-채널 바이노럴 합성은, 도 1 a를 참고하여, 극좌표(θ₁, φ₁)에 정의된, 적당한 방향에 대응하는 주파수 영역에서 좌측 HRTF-l 및 우측 HRTF-r 음향 전달 함수(transfer function)에 의해, 공간에서의 위치에, 재생에 따라, 배치하도록 요구되는 다양한 음원(sound source) S_i으로부터 신호를 필터링하는 데 있다. "Head-Related Transfer Functions"의 약어인, 전술된 전달 함수 HRTF는 이도(auditory canal)와 공간에서의 위치들 사이에서 청취자 머리에 대한 음향 전달 함수이다. 또한, 이들의 시간 형태는 "Head-Related Impulse Response"의 약어인, "HRIR"로 표시된다. 이들 함수는 또한 룸 효과(room effect)를 포함할 수 있다.

각각의 음원 S_i에 대해, 청취자의 좌측 귀 및 우측 귀에 전송된 신호 L 및 R을 최종적으로 산출하기 위해, 다른 음원의 공간화로부터 유입하는 좌측 및 우측 신호에 추가되는 좌측과 우측, 2 개의 신호가 얻어진다.

필요한, 전달 함수 또는 필터의 개수는 이때 동적 바이노럴 합성에 대해 4.N과 정적 바이노럴 합성에 대해 2.N이고, 여기서 N은 공간화되는 음원 또는 오디오 스트림의 개수를 나타낸다.

J. Acpust. Soc. Am. 91(3)에 발행된, D.Kistler 및 F.L. Wightman에 의해 수행된 "A model of head-related transfer functions based on principal components analysis and minimum-phase reconstruction"이란 제목의, 논문 :pp. 1637-1647(1992) 및 1995년 Kulkami에 의한 "IEEE ASSP Workshop on Applications of Signal Processing to Audio and Acoustics" IEEE 카달로그 번호: 95TH8144는, HRTF의 위상이 2 개의 항, 양이(interaural) 지연에 대응하는 하나, 및 HRTF의 모듈러스(modulus)와 관련된 최소 위상과 동일한 다른 하나로 분해될 수 있다.

따라서, 다음의 형태로 표현된 HRTF 전달 함수에 대해:

는 양이 지연에 대응한다;

는 필터 H의 모듈러스와 관련된 최소 위상이다.

바이노럴 필터는 일반적으로 음원에서 가장 멀리 떨어진 귀에 적용된 좌측 및 우측 지연의 차이에 대응하는, 순수 지연 및 2 개의 최소-위상 필터의 형태로 이행된다. 이 지연은 일반적으로 지연 라인(delay line)에 의해 이행된다.

최소-위상 필터는 유한 펄스-응답 필터이고 시간 또는 주파수 영역에 적용될 수 있다. 무한 펄스응답 필터는 최소 위상 HRTF 필터의 모듈러스를 근사하기 위해 요구될 수 있다.

도 1b을 참고하면, 바이노럴화(binauralization)가 관계있는 한, 상태(situation)는 HB인 사람의 오디오 헤드폰 상의 재생의 목적으로, 5.1 모드로 공간화된 사운드 장면의 제한적이지 않은 구성이다.

5 개의 라우드스피커 C:Center, Lf:Left Front, Rf:Right front, Sl: Surrond left, Sr: Surrond right는 사람의 귀인 2 개의 수신기상에 HB 인 사람에 의해 들리는 사운드를 각각 발생한다. 사운드에 의해 겪어진 변환은 이 사운드를 라우드스피커와 주어진 귀 사이에서 전파하는 동안 이 사운드가 겪는 변형을 나타내는 필터링 함수에 의해 모델링된다.

특히, 라우드스피커 Lf로부터 방사하는 사운드는 HRTF 필터 A를 통해 좌측 귀 LE에 영향을 미치지만, 그러나 이 동일한 사운드는 HRTF 필터 B에 의해 변형된 우측 귀 RE에 도달한다.

전술된 개별 HB에 대하여 라우드스피커의 위치는 대칭일 수 있거나 또는 다른 것일 수 있다.

그러므로 각각의 귀는 이하 만들어진 형태로 5 개의 라우드스피커로부터의 기여율(contribution)을 수신한다:

좌측 귀 LE: Bl= ALf+ CC + BRf + DSl+ ESr,

우측 귀 RE: Br= ARf+ CC + BLf + DSr+ ESl,

여기서 Bl은 좌측 귀 LE에 대한 바이노럴화된 신호이고 Br은 우측 귀 RE에 대한 바이노럴화된 신호이다.

필터 A, B, C, D 및 E는 선형 디지털 필터에 의해 가장 일반적으로 모델링되고, 도 1b에 나타난 구성에서, 그러므로 10 개의 필터링 함수가 적용될 필요가 있고, 이는 대칭의 관점에서 5로 감소될 수 있다.

공지된 방법에서, 전술된 필터링 연산은 예를 들어 푸리에 영역에서 수행된 고속 컨벌루션(fast convolution)에 의해, 주파수 영역에서 수행될 수 있다. FFT(Fast Fourier Transform)은 효율적으로 바이널화를 수행하기 위해 사용된다.

HTRF 필터 A, B, C, D 및 E는 주파수 등화기(equalizer) 및 지연의 형태로 간략화될 수 있다. HRTF 필터 A는 간단한 등화기의 형태로 구현될 수 있고, 이는 직접 경로이기 때문이며, 반면 HRTF 필터 B는 추가 지연을 포함한다. 통상적으로 음원에 가장 가까운 귀에 대한 지연은 0과 동일하게 취해질 수 있다.

도 1c에 나타난 바와 같이, 감소된 개수의 전송된 채널을 사용하는, 3D 오디오 사운드 장면의 공간 디코딩에 의한 재구성을 위한 연산은 종래 기술에 또한 공지되어 있다. 도 1c에 나타난 구성은 5.1 공간화된 사운드 장면을 재구성하기 위해, 주파수 영역에서 위치측정(localization) 파라미터를 가지는 코딩된 오디오 채널의 디코딩과 관련한 것이다.

전술된 재구성은 도 1c에 나타난 바와 같이, 주파수 서브-밴드(sub-band)에 의한 공간 디코더에 의해 수행된다. 코딩된 오디오 신호 m은 5 개의 공간화 처리 단계를 겪고, 이는 인코더에 의해 계산된 복소수 공간화 파리미터 또는 계수 CLD 및 ICC에 의해 제어되고 역상관(decorrelation) 및 이득 보정 연산을 통해, 실질적인 방식으로 재구성되도록, 도 1b에 나타난 5 개의 채널에 저주파 효과 채널 lfe를 추가한, 6 개의 채널로 사운드 장면을 구성하도록 한다.

도 1c에 나타난 바와 같은 공간 디코더로부터 유입하는 오디오 채널의 바이노럴화를 수행하도록 요구되는 경우, 사실 도 1d에 나타난 방식에 따른 처리 방법을 이행하는 것은 현재 제한된다.

전술된 방식을 참고로 하여, 오디오 채널의 변환을 수행하는 것이 필요하다고 보이며, 신호의 바이노럴화를 수행하기 전에, 이는 시간 영역에서 이용가능하다. 시간 영역으로 돌아가기 위한 이 연산은 공간 디코더(SD)로부터 오는 각각의 채널에 대한 주파수 주파수-시간 변환 연산을 수행하는 합성기 블록 "합성(Synth)"에 의해 부호로 나타내진다. HRTF 필터에 의한 필터링은 이때 통상적 필터링에 대응하는, 등화된 방식의 응용을 하거나 또는 하지 않고, 필터 A, B, C, D, E에 의해 수행될 수 있다.

공간 디코더로부터 오디오 채널의 바이노럴화에 대한 하나의 변형은 또한 도 1e에 도시된 바와 같이, 합성기 "합성"에 의한 시간 영역에서 오디오 디코더에 의해 전달된 각각의 오디오 채널을 변환하고, FFT에 의한 변환 후, 푸리에 주파수 영역에, 공간화 또는 바이노럴화 연산 및 공간 디코딩을 수행하는 데 있을 수 있다.

이 시나리오에서, 디코딩 계수의 행렬에 대응하는, 각각의 모듈 OTT는 연산이 동일 영역 내에서 수행되지 않기 때문에, 근사를 하지 않고, 푸리에 영역에서 변환되어야 한다. 또한, 합성 연산 "Synth"은 3 개의 FFT 변환이 따라오기 때문에, 복잡도(complexity)가 또한 증가된다.

따라서, 공간 디코더로부터 오는 사운드 장면을 바이노럴화하기 위해, 다음을 수행하는 것을 제외하고는 다른 가능성이 거의 존재하지 않는다:

- 공간 디코더의 외부에 바이노럴화를 수행하도록 요구된다면, 6 개의 시간 주파수 변환;

- 또는 FFT 영역에서의 연산을 수행하도록 요구된다면, 3 개의 FFT 푸리에 변환이 뒤따르는 합성 연산.

도 1f에 도시된 바와 같이, 서브-밴드의 영역에서 직접 HRTF 필터링을 수행하는데 필요하다면 하나의 다른 해결책이 또한 사용될 수 있다.

그러나, 이 시나리오에서, HRTF 필터링 연산은, 최소 길이가 고정되어 있고 서브-밴드의 스펙트럼 앨리어싱(aliasing)의 현상을 고려해야 하는 서브-밴드 필터의 사용을 강요하기 때문에, 적용하는데 복잡하다.

변환 연산에서의 감소에 의해 달성된 절약은 PQMF(Pseudo-Quardrature Mirror Filter) 영역에서 이들 연산의 수행 때문에, 필터링에 요구된 연산의 개수의 급격한 증가에 의해 음으로 상쇄된다.

본 발명의 목적은 3D 오디오 장면의 사운드 공간화 및 특히 3D 오디오 장면의 바이노럴화 또는 트랜스오럴화(transauralization)에 대한 전술된 종래 기술의 많은 결점을 극복하는 것이다.

특히, 본 발명의 하나의 목적은 변환 쌍의 수를 제한하기 위해, 반면 최소로 필터링 연산을 감소하지만, 특히 트랜스오럴화 또는 바이노럴화에서, 음원 공간화의 양호한 품질을 유지하는 동시에, 공간 디코딩의 주파수 서브-밴드의 영역에서 공간적으로 코딩된 오디오 신호 또는 채널의 특정 필터링의 수행이다.

본 발명의 하나의 특히 주목할 만한 태양에 따르면, 전술된 특정 필터링의 실행은 서브-밴드의 영역에서 등화-지연에 의해 필터링에 대한 직접 응용에 대해, 등화기-지연의 형태로 공간화, 트랜스오럴 또는 바이노럴 필터를 렌더링하는데 달려있다.

본 발명의 또다른 목적은 변환된 영역에서 통상적 공간 디코딩을 따라, 매우 낮은 복잡도의 트랜스오럴 공간 처리의 간단한 추가에 의해, 원래 HRTF 필터와 같은 모델링 필터를 사용하여 얻어졌던 것과 매우 근접한 3D 렌더링 품질을 달성하는 것이다.

본 발명의 마지막 목적은 모노포닉(monophonic) 사운드의 트랜스오럴 또는 바이노럴 렌더링뿐만 아니라, 몇 개의 모노포닉 사운드 및 특히 5.1, 6.1, 7.1, 8.1 또는 더 높은 모드에서 스테레오 사운드의 다중 채널에도 적용가능한 새로운 음원 공간화 기술이다.

따라서 본 발명의 하나의 주제는 채널의 제 1 세트의 오디오 신호의 음향 전파를 모델링하는 필터를 사용하여, 시간 영역에서 재생을 위한 다수의, 2 이상의 오디오 채널을 포함하는 제 2 세트로, 변환된 영역에서 디코딩되고, 주어진 수의 주파수 서브-밴드 상에 공간적으로 코딩된 다수의, 하나 이상의 오디오 채널을 포함하는 제 1 세트를 포함하는 오디오 장면의 사운드 공간화를 위한 방법이다.

본 발명에 따르면, 이 방법은 변환된 영역에 적용가능한 적어도 하나의 이득 및 지연의 형태로 변환된 각각의 모델링 필터에 대해, 적어도:

- 당해 주파수 서브-밴드에서 주어진 값에 의해 지연된 등화 성분을, 공간적으로 코딩된 채널로부터 시작하며, 발생하기 위해, 서브-밴드 신호 상에, 개별적으로 지연 및 이득을 이용한, 서브-밴드에서 신호의 등화-지연에 의한 필터링;

- 시간 영역에서 재생을 위한 오디오 채널의 상기 제 2 세트에서의 수, 2 이상에 대응하는 변환된 영역에서의 다수의 필터링된 신호를 생성하기 위해, 등화되고 지연된 성분의 서브-세트의 추가;

- 시간 영역에서 재생을 위한 다수의, 2 이상의 오디오 신호를 가지는 제 2 세트를 획득하기 위해, 합성 필터에 의해 변한된 영역에서 필터링된 신호의 각각의 합성을, 변환된 영역의 각각의 주파수 서브-밴드에 대해, 수행하는데 있음이 주목할 만하다.

본 발명의 방법은 또한 서브-밴드 신호의 등화-지연에 의한 필터링이 주파수 서브-밴드 중 적어도 하나에 대한, 위상 천이 및, 적합한 경우에, 저장에 의한 순수 지연의 적어도 이용을 포함한다는 데 있어 주목할 만하다.

본 발명의 방법은 또한 데시메이션(decimation)을 하거나 또는 하지 않고, 추가적인 서브-밴드로 주파수 분할에 대한 추가적 단계를 포함하는, 하이브리드(hybrid) 변환된 영역에서 등화-지연에 의한 필터링을 포함하는데 있어 주목할 만하다.

본 발명의 방법은 마지막으로 변환된 영역에서, 각각의 지연 값 및 이득 값으로 각각의 모델링 필터를 변환하기 위해, 이득 값으로서, 이 서브-밴드 내에 모델링 필터의 모듈러스의 평균으로 정의된 실수 값을 각각의 서브-밴드와 관련하고, 그리고 지연 값으로서, 다양한 위치에 대하 좌측 귀와 우측 귀 사이의 수신 지연에 대응하는 지연 값을 각각의 서브-밴드와 관련하는 데 있다는 것을 주목할 만하다.

상관된 방식으로, 본 발명의 또다른 주제는 채널의 제 1 서브-세트의 오디오 신호의 음향 전파를 모델링하는 필터를 사용하여, 시간 영역에서 재생을 위한 다수의, 2 이상의 오디오 채널을 포함하는 제 2 세트로, 변환된 영역에서 디코딩되고, 주어진 개수의 주파수 서브-밴드 상에 공간적으로 코딩된 다수의, 1 이상의 오디오 채널을 포함하는, 제 1 세트를 포함하는 오디오 장면의 사운드 공간화에 대한 장치이다.

본 발명에 따르면, 변환된 영역에서, 공간 디코더의 각각의 주파수 서브-밴드에 대해, 이 장치는 이 공간 디코더와 별도로:

- 당해 주파수 서브-밴드에서 주어진 지연 값에 의해 지연되고 등화된 성분을 공간적으로 코딩된 오디오 채널로부터 발생하기 위해, 서브-밴드 신호 상에, 개별적으로 지연 및 이득을 이용한, 서브-밴드에서 신호의 등화-지연에 의한 필터링을 위한 모듈;

- 시간 영역에서 재생을 위한 오디오 채널의 제 2 세트에서의 수, 2 이상에 대응하는 변환된 영역에서의 다수의 필터링된 신호를 생성하기 위해, 등화되고 지연된 성분의 서브-세트의 추가를 위한 모듈;

- 시간 영역에서 재생을 위한 다수의, 2 이상의 오디오 채널을 포함하는 제 2 세트를 획득하기 위해, 변환된 영역에서 필터링된 신호의 각각의 합성을 위한 모듈을 포함하는 것을 주목할 만하다.

본 발명의 방법 및 장치는 하이-파이(hi-fi) 오디오 및/또는 비디오 전자 산업에서, 및 로컬로(locally) 또는 온-라인으로 실행되는 오디오-비디오 게임을 위한 산업에서 응용성을 가진다.

종래 기술과 관련한 도 1a에서 도 1f를 제외하고, 다음의 첨부된 도면의 관찰로부터 그리고 상세한 설명을 판독함에 따라 본 발명의 방법 및 장치는 더 잘 이해될 수 있다,

- 도 2a는 본 발명의 사운드 공간화 방법에 대한 이행 단계의 예시적인 흐름도를 나타낸다;

- 도 2b는 데시메이션이 없을 경우, 추가적 서브-밴드의 생성에 의해 획득된, 도 2a에서 도시된, 본 발명의 방법의 하나의 다른 실시예를 예시적으로 나타낸다;

- 도 2c는 데시메이션이 있는 경우, 추가적 서브-밴드의 생성에 의해 획득된, 도 2a에 도시된, 본 발명의 방법에 관한 하나의 다른 실시예를, 예시적으로 나타낸다;

- 도 3a는 본 발명의 사운드 공간화 장치의, 공간 디코더의 하나의 주파수 서브-밴드에 대한, 단계를 예시적으로 나타낸다;

- 도 3b는 도 3a에서 나타난, 본 발명의 장치의 이행을 허용하는 등화-지연 필터의 상세한 이행을 예시적으로 나타낸다;

- 도 4는 등화-지연 필터의 계산이 비편재화되는(delocalized), 본 발명의 장치의 하나의 예시적 실시예를 나타낸다.

본 발명에 따른 오디오 장면의 사운드 공간화에 대한 방법에 관한 더 상세한 설명은 도 2a 및 다음 도면들과 관련하여 나타나 있다.

본 발명의 방법은 주어진 주파수 서브-밴즈 상에서 공간적으로 코딩되고 변환된 영역에서 디코딩된 N ≥ 1 인 N 개의 오디오 채널을 포함하는 제 1 세트에 의해 나타난 3D 오디오 장면과 같은 오디오 장면에 적용가능하다.

변환된 영역은 시간 데시메이션의 처리 또는 다른 방법에 의한, 주파수의 추가적 서브-밴드의 생성에 의해 PQMF로부터 오는 임의 하이브리드 영역 또는 PQMF 영역 또는 푸리에 영역과 같은 변환된 주파수 영역을 의미한다고 이해된다.

결과적으로, 채널의 제 1 세트 N을 형성하는 공간적으로 코딩된 오디오 채널은 상세한 설명에 전술된 바와 같이, 대응하는 변환된 영역에서 3D 오디오 장면의 디코딩 모드에 대응하고 상세한 설명에 전술된 채널 Fl, Fr, Sr, Sl, C에 의해 제한적이지 않은 방식으로 나타나 있다. 이 모드는 바로 전술된 5.1 모드이다.

추가로, 이들 신호는 디코딩에 특정한 주어진 개수의 서브-밴드를 따라 전술된 변환 영역에서 디코딩되고, 서브-밴드의 세트는

로 표시되고, 여기서 k는 당해 서브-밴드의 랭크(rank)를 나타낸다.

본 발명의 방법은 전술된 공간적으로 코딩된 오디오 채널의 세트가 시간 영 역에서 재생을 위해 다수의, 2 이상의 오디오 채널을 포함하는 제 2 세트로 변환되도록 하며, 도 2a의 테두리에서 제한적이지 않은 방식으로, 재생 오디오 채널은 개별적으로, 좌측 및 우측 바이노럴 채널에 대해 Bl 및 Br로 표시된다. 특히, 2 개의 바이노럴 채널 대신에, 본 발명의 방법은 도 1b와 관련한 설명에 도시되고 설명된 바와 같이, 예를 들어 3D 오디오 장면의 실시간 사운드 재생을 허용하는, 2 보다 큰 임의 개수의 채널에 적용가능함이 이해된다.

본 발명의 방법의 하나의 주목할 만한 태양에 따르면, 방법은 이하 설명되어 있는 바와 같이, 변환된 영역에서 적용가능한 지연 및 적어도 하나의 이득의 형태로 변환을 고려하는, 공간적으로 코딩된 오디오 채널의 제 1 세트의 오디오 신호의 음향 전파를 모델링하는 필터를 사용하여 이행된다. 제한적이지 않은 방식으로, 모델링 필터는 이하 설명에서 HRTF 필터로서 표시되어 있다.

전술된 변환은 이득 값 g_k 및 대응하는 지연 값 d_k를 수립하기 위해 랭크 k의 서브-밴드 SB_k에 관해 고려된 각각의 HRTF 필터에 대해 표시되고, 도 2a에 도시된 바와 같이 HRTF≡(g_k, d_k)로 앞선 변환이 이때 표시되다.

전술된 변환을 고려하여, 본 발명의 방법은 랭크 k의 변환된 영역의 각각의 주파수 서브-밴드에 대해, 전술된 공간적으로 코딩된 채널, 다시 말해서 채널 Fl, C, Fr, Sr, Sl 및 lfe로부터 당해 랭크 k의 주파수 서브-밴드 SB_k에서 주어진 지연 값으로 등화되고 지연된 성분을 발생하기 위해, 서브-밴드 신호에, 개별적으로, 이 득 g_k 및 지연 d_k을 이용하여 서브-밴드 신호의 등화-지연에 의한 필터링을, 단계 A에서, 수행하는데 있다.

도 2a에서, 등화-지연에 의한 필터링 연산은 기호로 CED_kx={Fl, C, Fr, Sr, Sl, lfe}{g_kx, d_kx}로 표시된다.

전술된 기호 방정식에서, FEB_kx는 공간적으로 코딩된 오디오 채널, 다시 말해서 채널 Fl, C, Fr, Sr, Sl, lfe의 각각 상에 이득 g_k 및 지연 d_k을 이용하여 얻어진 각각 등화되고 지연된 성분을 표시한다.

결과적으로 랭크 k의 대응하는 서브-밴드에 대해, 전술된 기호 방정식에서, x는 Fl, C, Fr, Sr, Sl, lfe 값을 실제로 취할 수 있다.

단계 A에 이어 시간 영역에서 재생을 위한 제 2 세트의 오디오 채널의 2 이상인, N' 개에 대응하는 변환된 영역에서의 다수의 필터링된 신호를 생성하기 위해 등화되고 지연된 성분의 서브-세트의 추가를 위한 단계 B가 변환된 영역에서 뒤따른다.

도 2a의, 단계 B에서, 추가 연산은 다음의 기호 방정식으로 주어진다:

F{Fl, C, Fr, Sr, Sl, lfe} = ∑CED_kx.

전술된 기호 방정식에서, F{Fl, C, Fr, Sr, Sl, lfe}은 등화되고 지연된 성분 CED_kx의 서브-세트의 합계에 의해 얻어진 변환 영역에서 필터링된 신호의 서브-세트를 표시한다.

제한적이지 않으며 유익한 예로서, 5.1 모드에 대응하는, 다수의 공간적으로 코딩된 오디오 채널, N=6을 포함하는 제 1 세트에 대해, 등화되고 지연된 성분의 서브-세트는 이하 더욱 상세히 설명되어 있는 바와 같이, 변환된 영역에서 개수 2와 동일한 N' 개의 필터링된 신호를 획득하기 위해 각각의 귀에 대한 5 개의 이들 지연되고 등화된 성분을 추가하는데 있을 수 있다.

전술된 추가 단계 B에 이어 시간 영역에서 재생을 위한 2 이상의 N' 개의 오디오 신호를 가지는 제 2 세트를 획득하기 위해 합성 필터에 의해 변환된 영역에서 필터링된 신호의 각각을 합성하기 위한 단계 C가 뒤따른다.

도 2a의 단계 C에서, 대응하는 합성 연산은 다음의 기호 방정식에 의해 표현된다:

Bl, Br = Synth(F{Fl, C, Fr, Sr, Sl, lfe}).

일반적으로, 본 발명의 방법은 2에서 무한대로 변하는 N'개의, 재생 오디오 채널로 공간적으로 코딩된 오디오 경로 또는 채널의, 1과 무한대 사이에서 변하는 N 개로 구성된 임의의 3D 오디오 장면에 적용될 수 있음이 제시되어 있다.

도 2a의 단계 B에서 나타난 합계 단계가 관계되어 있는 한, 더 구체적으로 각각의 서브-밴드에 대한 N'개의 성분을 발생하기 위해 다양한 지연에 의해 다르게 지연된 성분의 하위-어셈블리를 추가하는데 있음이 기재되어 있다.

더 구체적으로는, 서브-밴드 신호의 등화-지연에 의한 필터링은 주파수 서브-밴드의 적어도 하나에 대해, 경우에 따라, 저장에 의한 순수 지연에 의해, 완료된 위상-이동의 적어도 응용을 포함함이 제시되어 있다.

순수 지연의 응용에 대한 개념은 방정식 gEx=1에 의해 도 2a의 단계 A에서 기호화되고, 이는 랭크 k=E의 서브-밴드 내에 인덱스 x의 오디오 채널의 세트에 대한 등화가 없음을 나타내며, 값 1은 공간적으로 코딩된 오디오 채널의 각각의 진폭의 변경이 없는 전송을 나타낸다.

변환된 영역은, 이전에 상세한 설명에서 언급된 바와 같이, 대응하는 서브-밴드에 어떠한 주파수 데시메이션이 적용되지 않는 경우에 도 2b와 관련하여 설명되어 있는 바와 같이 하이브리드 변환된 영역에 대응할 수 있다.

전술된 도 2b를 참고로 하여, 도 2a의 단계 A로서 도시된 등화-지연에 의한 필터링은 도 2b에 나타난 3 개의 하위-단계 A1, A2, A3로 실행된다.

이들 조건 하에서, 단계 A는 적용된 이득 값의 개수 및 주파수에서의 정확성을 증가시키기 위해, 데시메이션 없이 추가 서브-밴드로 주파수 분할을 위한 추가적 단계를 포함하고, 이어 추가 서브-밴드의 재결합을 위한 단계가 뒤따르며, 전술된 이득 값이 적용된다.

주파수 분할은 도 2b에서 하위-단계 A1 및 A2에서 도시되어 있다.

주파수 분할 단계는 다음의 방정식에 의해 하위 단계 A1에서 나타난다:

.

재결합 단계는 다음 방정식에 의해 하위단계 A2으로 나타난다:

하위 단계 A1에서, 당해 랭크 k의 서브-밴드에 대한 지연 및 이득 값이 각각 의 추가적 서브-밴드에 대한 하나의 이득 값 g_kz, 이득의 값에 대응하는 Z로 나누어는 것이 이해되고, 하위 단계 A2d에서 추가적 서브-밴드의 재결합은 이득 값 g_kz이 당해 추가적 서브 밴드에서 적용되는 대응하는 인덱스 x에 대한 대응하는 코딩된 오디오 채널을 사용하여 수행됨을 이해하여야한다.

이전 방정식에서,

는 당해 추가적 서브-밴드에 대한 이득 값이 적용되는 추가적 서브 밴드의 재결합을 나타낸다.

하위 단계 A2에 이어 재결합된 추가 서브-밴드, 특히, 도 2a의 단계 A와 유사한 방식으로 지연 d_kx에 의해 대응하는 인덱스 x의 공간적으로 코딩된 오디오 채널에 지연을 적용하는 하위-단계 A3가 뒤따라 온다.

대응하는 연산은 다음 방정식으로 표시된다:

.

또한, 본 발명의 방법은 도 2c에 도시된 바와 같이, 데시메이션으로 추가적 서브-밴드로의 주파수 분할에 대한 추가 단계를 포함하는 하이브리드 변환된 영역에서의 등화-지연에 의한 필터링을 수행하는데 있을 수 있다.

이 시나리오에서, 도 2c의 단계 A'1은 데시메이션으로 추가 서브-밴드의 생성을 실행하기 위해, 도 2b에서의 단계 A1과 동일하다.

이 시나리오에서, 도 2c의 단계 A'1에서의 데시메이션 연산은 시간 영역에서 수행된다.

단계 A'1에 이어 전술된 이득 값이 데이메이션을 고려하여 적용되는 추가 서브-밴드의 재결합에 대응하는 단계 A'2가 이어진다.

재결합 단계 A'2는 단계 A'2 및 A'3의 교환을 위한 양방향 화살표로 도시된 바와 같이, 지연 d_kx를 이용하여 먼저 일어나거나 또는 뒤에 온다.

특히, 지연의 이용이 재결합 이전에 수행되는 경우, 지연은 재결합 이전에 추가 서브-밴드의 신호에 직접 적용됨이 이해된다.

변환된 영역에서 이득 및 지연 값으로 각각의 FRTF 필터의 변환이 관계되는 한, 이 연산은 유리하게는 이득 값으로서, 대응하는 HRTF 필터의 모듈러스의 평균으로 정의된 실수 값을, 랭크 k의 각각의 서브-밴드와 관련하고, 지연 값으로서, 다양한 위치에 대해 청취자의 좌측 귀와 우측 귀 사이의 전파 지연에 대응하는 지연 값을, 랭크 k의 각각의 서브-밴드와 관련하도록 구성할 수 있다.

따라서, HRTF 필터를 사용하여, 서브-밴드에 적용된 이득 및 지연 시간을 자동으로 계산하는 것이 가능하다. HRTF 필터 뱅크의 주파수 분해능(resolution)에 기초하여, 다양한 위치에 대해 청취자의 좌측 귀와 우측 귀 사이의 전파 지연에 대응하는 지연 값은 각각의 서브-밴드 SBk에 관련되어 있다.

따라서, HRTF 필터를 사용하여, 서브-밴드에 적용되도록 이득 및 지연 시간은 자동으로 계산될 수 있다.

필터 뱅크의 주파수 분해능에 기초하여, 실수 값은 각각의 밴드와 관련된다. HRTF 필터의 모듈러스에서 시작하는, 제한적이지 않은 예로서, 각각의 서브-밴드에 대한 전술된 HRTF 필터의 모듈러스의 평균이 계산될 수 있다. 이와 같은 연산은 HRTF 필터의 바크(Bark) 밴드 분석 또는 옥타브와 유사하다. 마찬가지로, 간접 채널에 적용되도록 지연, 다시 말해서 지연이 최소가 아닌 채널에 더 특히 적용가능한 지연 값이 결정된다. ITD(Interaural Time Difference)로 표시되고, 청취자의 다양한 위치에 대해, 좌측 귀와 우측 귀 사이의 지연에 대응하는, 자동으로 양이 지연을 결정하기 위한 많은 방법이 존재한다. 제한적이지 않은 예로, 2006년, S.Busson에 의한 "Individualization of acoustic indices for binaural systhesis" 란 제목의, Universite de la Mediterranee Est-Marseille II에서의 박사 학위 논문에 설명되어 있는 역치(threshold) 방법이 사용될 수 있다. 역치 유형의 양이 지연을 평가하기 위한 방법의 원리는 도달 시간, 또는 대안으로 우측 귀 Td 및 좌측 귀 Tg 상의 파의 초기 지연을 결정하는 것이다. 양이 지연은 다음 방정식에 의해 주어진다:

ITD 역치 = Td - Tg

주로 가장 사용되는 방법은 HRIR 시간(temporal) 필터가 주어진 역치를 초과하는 순간으로서 도달 시간을 평가한다. 예를 들어, 도달 시간은 HRIR 필터의 응답이 최대치의 10% 에 도달하는 시간에 대응할 수 있다.

PQMF 변환 영역에서 특정 이행의 한 예가 이하 주어져 있다.

일반적으로, 복소수 PQMF 영역에서의 이득의 이용이 실수에 의해 형성된 이득 값을, 복소수 값으로 표현된, 서브-밴드 신호의 각각의 샘플의 값에 곱하는데 있음이 제시되어 있다.

실제로, 복소수 PQMF 변환 영역을 이용하는 것은 필터의 뱅크에 고유한 언더-샘플링(under-sampling)에 의해 발생된 스펙트럼 앨리어싱 문제를 피하는 동안 이득이 적용되도록 함이 공지되어 있다. 따라서 각각의 채널의 각각의 서브-밴드 SB_k는 주어진 이득이 할당된다.

또한, PQMF 변환 영역에서의 지연의 이용은 적어도, 복소수 값으로 나타난, 서브-밴드 신호의 각각의 샘플에 대해, 청취자의 양이 지연에서의 차이와 연결된 지연 파라미터, 당해 서브-밴드에서의 언더-샘플링율 및 당해 서브-밴드의 랭크의 함수인, 복소수 지수 값을 이 샘플에 곱함으로써 복소수 평면에 회전(rotation)을 도입하는데 있다.

복소수 평면에서의 회전에 이어, 회전 후 샘플의 순수 시간 지연이 따라온다. 이 순수 시간 지연은 당해 서브-밴드에서의 언더-샘플링율 및 청취자의 양이 지연에서의 차이의 함수이다.

실제로, 전술된 지연은 결과 신호, 다시 말해서 등화된 신호, 특히 직접 경로로부터 이익을 얻지 않는 채널 또는 이들의 신호의 서브-세트에 적용된다고 제시되어 있다.

특히, 회전은 다음 형태의 지수 값:

exp(-j*pi*(k+0.5)*d/M)

및 예를 들어 다음 연산을 수행하는, 지연 라인에 의해 이행된 순수 지연에 의한 복소수 곱의 형태로 수행된다:

y(k,n) = x(k, n-D).

앞선 방정식에서:

- exp는 지수 함수이고;

- j는 j*j = -1이며;

- k는 당해 서브-밴드 SB_k의 랭크이고;

- M은 당해 서브-밴드에서의 언더-샘플링율이고; M은 예를 들어 64와 동일하게 취해져야 하고;

- y(k,n)은 랭크 k의 서브 밴드 SB_k의 랭크 n의 시간 샘플, 다시 말해서 지연 B가 적용되는 샘플 x(k,n) 상의 순수 지연의 이용 뒤의 출력 샘플의 값이며;

- 이전 식에서의 d 및 D는 언더-샘플링되지 않은 시간 영역에서 D*M + d의 지연의 응용에 대응하도록 한다. 지연 D*M + d은 이전에 계산된 양이 지연에 대응한다. d는 진상(phase advance)이 지연 대신에 시뮬레이션되도록 하는 음의 값을 취할 수 있다.

따라서 수행된 연산은 요구된 효과에 적절한 근사를 가져온다.

그러므로 계산 연산에 대해, 이행된 처리는 복소수 값에 의해 형성된 서브-밴드 샘플과 복소수 지수 사이의 복소수 곱을 수행하는데 있다.

적용되는 전체 지연이 M 값보다 크다면 지연은 잠재적으로 삽입되지만, 그러나 이 연산은 어떠한 산수 연산을 포함하지 않는다.

본 발명의 방법은 또한 하이브리드 변환된 영역에서 이행될 수 있다. 이 하 이브리드 변환된 영역은 PQMF 밴드가 유리하게는 데시메이션되거나 또는 다른 방법으로, 필터의 뱅크에 의해 다시-나누어지는 주파수 영역이다.

데시메이션이 시간 데시메이션으로 이해되며, 필터의 뱅크가 데시며이션되면, 지연의 도입은 유리하게는 순수 지연 및 위상-천이기(phase shifter)를 포함하는 절차를 따른다.

필터의 뱅크가 데시메이션되지 않는다면, 지연은 합성 동안에만 적용될 수 있다. 실제로 어떠한 언더-샘플러(under-sampler)를 가지지 않는, 합성이 선형 연산이기 때문에 각각의 브랜치(branch) 상에 동일한 지연을 적용하는 것은 적절하지 못하다.

이득의 응용은 동일하게 남아 있고, 예를 들어, 도 2b와 관련하여 이전에 설명된 바와 같이,

그러므로 더 높은 정밀한 주파수 분할을 허용한다. 하나의 실제 이득이 추가적 서브-밴드마다 적용된다.

마지막으로, 하나의 다른 실시예에서 따르면, 본 발명의 방법은 적어도 2 개의 등화-지연 쌍에 대해 반복되고 얻어진 신호는 시간 영역에서 오디오 채널을 획득하도록 합해진다.

본 발명의 목적에 따라, 시간 영역에서 재생을 위해 다수의, 2 이상의 오디오 채널을 포함하는 제 2 세트로, 변환된 영역에서 디코딩되고 주어진 개수의 주파수 서브-밴드 상에서 공간적으로 코딩된 다수의, 1 이상의 오디오 채널을 포함하는 제 1 세트를 포함하는 오디오 장면의 사운드 공간화를 위한 장치에 관한 더욱 상세 한 설명은 도 3a 및 3b와 관련하여 설명된다.

전술된 바와 같이, 본 발명의 장치는 채널의 전술된 제 1 세트의 오디오 신호의 음향 전파를 모델링하기 위한 필터의 변환된 영역에서 적용가능한 적어도 하나의 이득 및 지연의 형태로 변환의 원리에 기초한다. 본 발명의 장치는 시간 영역에서 재생을 위한 다수, 2 이상의 오디오 채널을 포함하는 제 2 세트로, 3D 오디오 장면과 같은, 오디오 장면의 사운드 공간화를 허용한다.

도 3a에 도시되어 있는, 본 발명의 장치는 변환된 영역에서 디코딩을 위해 랭크 k의 각각의 서브-밴드 SB_k에 특정한 이 장치의 스테이지에 관한 것이다.

특히 도 3a에 도시되어 있는 랭크 k의 각각의 서브-밴드에 대해, 스테이지가 본 발명에 따라, 사운드 공간화 장치를 마지막으로 형성하도록 각각의 서브-밴드에 대해 실제로 반복됨을 이해한다.

도 3a에 도시된 스테이지가 이하 본 발명의, 사운드 공간화 장치로 나타나진다.

전술된 도면을 참고로 하여, 도 3a에 도시된 바와 같이, 본 발명의 장치는, 도시된 공간 디코더를 제외하고, 도 1c에 도시된 바와 같은 종래 기술의 공간 디코더 SD에 실질적으로 대응하는 모듈 OTT₀에서 OTT₄를 포함하지만, 그러나 저-주파수 채널 lfe 및 정면의 채널 C의 합계가 또한 서브-밴드 신호에, 각각, 이득 및 지연을 이용하여, 서브-밴드 신호의 등화-지연에 의한 필터링을 위한 모듈 1, 및 합계 S에 의해, 종래 기술에서 공지된 방식으로, 적용된다.

도 3a에서, 이득의 이용은 증폭기 1₀에서 1₈로 나타난, 각각의 공간적으로 코딩된 오디오 채널 상에 도시되어 있고, 증폭기는 주파수 서브-밴드 SB_k에서 주어진 지연 값만큼 등화되고 지연된 성분을 공간적으로 코딩된 오디오 채널의 각각으로부터 발생하기 위해 1₉에서 1₁₂로 표시된 지연 소자에 의해 지연될 수 있거나 또는 지연되지 않을 수 있는 등화된 성분을 발생한다.

도 3a를 참고로 하면, 증폭기 1₀에서 1₈의 이득은 각각, 임의의 값 A, B, B, A, C, D, E, E, D를 가진다. 또한, 지연 모듈 1₉에서 1₁₂에 의해 적용된 지연 값은 Df, Bf, Ds, Ds를 가진다. 전술된 도면에서, 도입된 이득 및 지연의 구조는 대칭이다. 비-대칭적 구조는 본 발명의 범위를 벗어나지 않고 이행될 수 있다.

본 발명의 장치는 또한 시간 영역에서 재생을 위한 오디오 채널의 N', 2 이상의 제 2 세트에 대응하는 변환된 영역에서 다수의 필터링된 신호를 생성하기 위해 등화되고 지연된 성분의 서브-세트의 추가를 위한 모듈 2를 포함한다.

마지막으로, 본 발명의 장치는 시간 영역에서의 재생을 위한 2 이상의 N'개의 오디오 신호를 포함하는 제 2 세트를 얻기 위해 변환된 영역에서 필터링된 신호의 각각을 합성하기 위한 모듈 3을 포함한다. 따라서 합성 모듈 3은 도 3a의 실시예에서, 시간 영역에서 재생을 위한 오디오 신호, 좌측 바이노럴 신호에 대한 B_l 및 우측 바이노럴 신호에 대한 B_r이 각각 전달되도록 하는 합성기 3₀ 및 3₁을 포함한다.

도 3a의 실시예에서 등화되고 지연된 성분은 이하 다음을 가지는 방식으로 얻어진다:

- 랭크 k의 서브-밴드 SB_k에 대한 증폭기 1₀, 1₃의 이득을 나타내는 A[k],

- 도 3a에 도시된, 증폭기 1₁, 1₂의 이득을 나타내는 B[k],

- 증폭기 1₄의 이득을 나타내는 C[k],

- 증폭기 1₅, 1₈의 이득을 나타내는 D[k],

- 증폭기 1₆, 1₇의 이득을 나타내는 E[k].

공간적으로 코딩된 오디오 채널, 특히 서브-밴드 SB_k에 대한 이들 채널 Fl, Fr, C, lfe, Sl 및 Sr이 관련되어 있는 한, 서브 밴드 SB_k의 n번째 샘플은 Fl[k][n], Fr[k][n], Fc[k][n], lfe[k][n], Sl[k][n] 및 Sr[k][n]로 표시된다. 따라서, 각각의 증폭기 1₀에서 1₈은 연속하여 다음의 등화된 성분을 전달한다:

- A[k] * Fl[k][n],

- B[k] * Fl[k][n],

- B[k] * Fr[k][n],

- A[k] * Fr[k][n],

- C[k] * Fc[k][n],

- D[k] * Sl[k][n],

- E[k] * Sl[k][n],

- E[k] * Sr[k][n],

- D[k] * Sr[k][n].

이전 설명에서 언급된 바와 같이, 앞선 연산은 복소수 상에서, 이 경우에, 실수 곱의 형태로 수행된다.

지연 소자 1₉, 1₁₀, 1₁₁ 및 1₁₂에 의해 도입된 지연은 등화되고 지연된 성분을 발생하기 위해 전술한 등화된 성분에 적용된다.

도 3a에 도시된 예에서, 이들 지연은 직접 경로로부터 이익이 되지 않는 서브-세트에 적용된다. 도 3a에 관한 설명에서, 이들은 증폭기 또는 곱셈기 1₁, 1₂, 1₆ 및 1₇에 의해 적용된 이득 B[k] 및 E[k]에 의해 곱해진 신호이다.

예를 들어 곱셈기 증폭기 1₁ 및 지연 소자 1₉에 의해 형성된 등화-지연에 의한 필터링을 위한 필터 또는 소자의 더욱 상세한 설명은 도 3b과 관련하여 표시된다.

이득의 이용이 관련되는 한, 도 3b에 도시된, 대응 필터링 소자는 디지털 곱셈기, 다시 말해서, 도 3b에서 이득 값 g_kx에 의해 표시된, 곱셈기 또는 증폭기 1₀에서 1₈ 중 하나를 포함하고, 이 곱셈기는 채널 Fl, Fr, C, lfe, Sl 또는 Sr에 대응하는 인덱스 x의 각각 코딩된 오디오 채널로부터 임의 복잡한 샘플이 실수 값, 다시 말해서 이전에 언급된 이득 값에 의해 곱해지도록 하는 것을 제시한다.

추가로, 도 3b에 도시된 필터링 소자는 당해 서브 밴드의 랭크 k 및 당해 서 브-밴드의 언더-샘플링율의 함수인, 지수 값, exp(-jφ(k, SS_k)) 값에 의해 곱하기 위해, 회전이 서브-밴드 신호의 임의의 샘플의 복소수 평면에서 도입되도록 하는 적어도 하나의 복소수 디지털 곱셈기를 포함하고, φ(k, SS_k)는 위상 값을 표시한다.

일 실시예에서, φ(k, SS_k) = φ*(k + 0.5) * d/M.

복소수 디지털 곱셈기 이후 당해 서브-밴드 SB_k에서 언더-샘플링율 M 및 청취자의 양이 지연의 차의 함수인 순수 시간 지연이 도입되도록 하는, 회전 이후 각각의 샘플에 대한 순수 지연을 도입하는 D.L.로 표시된 지연 라인이 이어진다.

따라서, 지연 라인 D.L.은 지연이 y(k,n) = x(k,n-D) 형태의 회전 후 복소수 샘플 상에 도입되도록 한다.

마지막으로, d 및 D의 값은 이들 값들이 샘플링되지 않은 시간 영역에서 지연 D * M+d의 이용에 대응하고 지연 D * M+d이 전술된 양이 지연에 대응하도록 함이 제시되어 있다.

도 3a에 도시된 바와 같이 본 발명의 장치의 구현을 위해, 신호 Fr[k][n]은 이득 B[k]에 의해 곱해져 지연되고, 본 발명의 주목할 만한 태양에 따라, 이 신호를 복소수 이득으로 곱하는 데 이른다. 이득 B[k]와 복소수 지수의 곱은 한번 수행될 수 있고 모두에 대해, 각각의 연속적인 Fr[k][n]에 대한 보수 연산(complementary operation)을 예방한다. 좌측 등화되고 지연된 성분은 L0에서 L4 로 언급되고 우측은 R0에서 R4로 언급되며 각각, 합계 모듈 2₀ 및 2₁에 의해 결합되어 도면에서 도시되고, 이하 방정식들을 증명한다:

테이블 T

L0[k][n] = A[k]Fl[k][n]

R0[k][n] = Df 샘플들에 의해 지연된 B[k]Fl[k][n]

R1[k][n] = A[k]Fr[k][n]

L1[k][n] = Df 샘플들에 의해 지연된 B[k]Fr[k][n]

L2[k][n] = R2[k][n] = C[k](Fc[k][n] + lfe[k][n])

L3[k][n] = D[k]Sl[k][n]

R3[k][n] = Ds 샘플들에 의해 지연된 E[k]Sl[k][n]

R4[k][n] = D[k]Sr[k][n]

L4[k][n] = Ds 샘플들에 의해 지연된 E[k]Sr[k][n]

시간 영역에서 재생을 위한 오디오 채널, 즉 도 3a에 각각 도시되어 있는, 좌측 채널 Bl 및 우측 채널 Br, 다시 말해서, 도 3a의 실시예에서 바이노럴화된 신호를 획득하기 위해, 랭크 n의 각각의 샘플에 대해, 등화되고 지연된 공간 성분은 추가되고, 다시 말해서 성분의 추가:

합계 모듈 2₀에 대해 L0[k][n] + L1[k][n] + L2[k][n] + L3[k][n] + L4[k][n], 및

합계 모듈 2₁에 대해 R0[k][n] + R1[k][n] + R2[k][n] + R3[k][n] + R4[k][n].

합계 모듈 2₀ 및 2₁에 의해 전달된 결과 신호는 이때, 개별적으로, 시간 영역 Bl 및 Br에서의 바이노럴화 신호를 획득하기 위해, 합성 필터 뱅크 3₀ 및 3₁을 통해 각각 전해진다.

전술된 신호는 이때 예를 들어 한 쌍의 오디오 헤드폰 상에 들리도록 좌측 Bl 및 우측 Br 사운드를 허용하기 위해, 디지털-아날로그 변환기를 제공할 수 있다.

합성 모듈 3₀ 및 3₁에 의해 수행된 합성 연산은 적절한 경우, 이전에 설명된 바와 같이 하이브리드 합성 연산을 포함한다.

본 발명의 방법이 유리하게는 등화 및 지연 연산을 분리하는데 있을 수 있으며, 이는 다른 개수의 주파수 서브-밴드 상에서 작동할 수 있다. 변형으로, 등화는 예를 들어 하이브리드 영역에서 수행될 수 있고 지연은 PQMF 영역에서 수행될 수 있다.

본 발명의 방법 및 장치는, 한 쌍의 헤드폰으로 3 개의 채널의 바이노럴화를 위해 설명되어 있을지라도, 트랜스오럴화, 다시 말해서 한 쌍의 라우드스피커 상의 3D 사운드 필드의 재생을 수행하기 위해 또는 상대적으로 복잡하지 않은 방식으로, 몇 개의 모노포닉 디코더 또는 공간 디코더로부터 오는 음원 또는 N 개의 오디오 채널의 표현을 재생에 이용가능한 N'개의 오디오 채널로 변환하기 위해 적용될 수 있음이 이해된다. 필터링 연산은 이때 필요하다면 곱해질 수 있다.

보완적이며 제한적이지 않은 예로서, 본 발명의 장치 및 방법은 다양한 객체 또는 음원에 의해 방출되는 사운드로 3D 대화형 게임의 경우에 적용될 수 있고, 이때 청취자에 관한 관련 위치의 함수로서 공간화될 수 있다. 사운드 샘플은 이때 압축되고 다양한 파일 또는 다양한 메모리 영역에 저장된다. 플레이되고 공간화되기 위해, 이들은 코딩된 영역에 남아있도록 부분적으로 디코딩되고 본 발명에 따라 설명된 방법을 사용하여 유리하게는 적절한 바이노럴 필터에 의해 코딩된 영역에서 필터링된다.

실제로, 디코딩 및 공간화 연산에 의해, 프로세스의 전체 복잡도는 질적인 면에서 어떠한 손실을 가져오지 않고, 크게 감소된다.

마지막으로 본 발명은 이 실행 동안, 도 2a에서 2c 및 3a, 3b와 관련하여 이전에 설명된 바와 같이 필터링, 추가 및 합성을 실행하는 전용 사운드 공간화 장치 또는 컴퓨터에 의한 실행을 위한 저장 매체 상에 저장된 일련의 명령어를 포함하는 컴퓨터 프로그램을 포함한다.

특히, 전술된 도면에 도시되어 있는 연산이 유리하게는, 도 3a에 도시되어 있지 않은, 중앙 처리 장치, 작업 메모리(working memory) 및 프로그램 메모리 상에서 구현될 수 있음을 이해할 수 있다.

마지막으로, 등화-지연 필터를 형성하는 이득 및 지연의 계산은, 도 4와 관련하여 이하 설명되어 있는 바와 같이, 도 3a 및 도 3b에 도시되어 있는, 본 발명의 장치의 외부에서 실행될 수 있다.

전술된 도면을 참고하여, 전술된 공간 코딩이 5.1 모드로 오디오 장면에서 시작하며, 예를 들어 디코딩 및 공간 디코딩 유닛 II로의, 한편으로는 코딩된 오디오 전송, 및 다른 한편으로는 공간 파라미터의 전송을 수행하도록 하는, 도 3a, 3b에 도시된 바와 같은, 본 발명의 장치를 포함하는, 공간 디코딩 및 데이터 전송율 감소를 위한 제 1 유닛 I이 고려된다.

등화-지연 필터의 계산은 이때, 모델링 필터, HRTF 필터를 사용하여, 이득 등화 및 지연 값을 계산하고 이를 공간 코딩 유닛 I과 공간 디코딩 유닛 II에 전송하는 개별 유닛 III에 의해 수행될 수 있다.

공간 코딩은 따라서 3D 렌더링을 개선하고 공간 파라미터를 수정하기 위해 적용될 수 있는 HRTF를 고려할 수 있다. 마찬가지로, 데이터 전송율이 감소한 부호기(coder)는 주파수 양자화의 가청 효과를 측정하기 위해 이들 HRTF를 사용할 수 있다.

디코딩에서, 공간 디코더에서 적용될 수 있고 적절한 경우, 재구성되도록 재생된 채널을 허용하는 것은 전송된 HRTF이다.

이전 예에서와 같이, 5에서 시작하는 2 개의 채널이 재생되지만, 그러나 다른 경우는 위에서 설명된 바와 같이 3 에서 출발하는 5 개의 채널의 구성을 포함할 수 있다. 공간 디코딩 방법은 이때 다음과 같이 적용될 수 있다:

- 공간 정보를 사용하는 (5 개의 출력 채널보다 많은) 가상 채널의 세트 상으로 수신된 3 개의 채널의 투영(projection) (업믹스(upmix));

- HRTF를 사용하는 5 개의 출력 채널로의 가상 채널의 감소.

HRTF가 부호기에 적용되었다면, 이때 기여율은 선택적으로 위의 방식을 수행 하기 위해 업믹스 전에 제거될 수 있다.

변환 후 HRTF는, 형태 이득/지연에서, 바람직하게는 다음의 형태로 양자화될 수 있다: 이들 값의 다른 모드에서의 코딩, 이때 이들 차의 양자화: 등화기의 이득의 값이 G[k]라 표시된다면, 양자화된 값:

e[k]=G[k+1] - G[k] 은 선형 또는 대수 방법으로 전송된다.

더 구체적으로는, 전술된 도 4를 참고하면, 본 발명의 장치 및 방법에 의해 이행된 프로세스는 제 1 세트가 주어진 개수의 공간적으로 코딩된 오디오 채널을 포함하고 제 2 세트가 시간 영역에서 재생을 위한 적은 개수의 오디오 채널을 포함하는 오디오 장면의 사운드 공간화가 수행되도록 한다. 또한 시간 영역에서 재생을 위한 더 많거나 또는 동일한 개수의 오디오 채널을 포함하는 세트로 공간으로 코딩된 다수의 오디오 채널의 역 변환을 수행하도록 디코딩을 허용한다.

본 발명의 내용에 포함되어 있음.

Claims

채널의 제 1 세트의 오디오 신호의 음향 전파를 모델링하는 필터를 사용하여, 시간 영역에서의 재생을 위한 2 이상의 오디오 채널을 포함하는 제 2 세트로, 소정의 개수의 주파수 서브-밴드 상에 공간적으로 코딩되고, 변환 영역에서 디코딩된 1 이상의 오디오 채널을 가지는, 제 1 세트를 포함하는 오디오 장면의 사운드 공간화 방법으로서,

상기 변환 영역에 적용가능한 적어도 하나의 이득 및 지연의 형태로 변환된 각각의 모델링 필터에 대해:

- 공간적으로 코딩된 채널로부터 시작하여, 당해 주파수 서브-밴드에서 결정된 지연 값에 의해 지연된 등화 성분을 발생시키기 위해, 상기 서브-밴드의 신호 상에, 각각 이득 및 지연을 적용하여 서브-밴드에서의 신호의 등화-지연에 의한 필터링 단계;

- 시간 영역에서 재생을 위한 오디오 채널의 상기 제 2 세트에서의 2 이상에 대응하는 변환 영역에서의 다수의 필터링된 신호를 생성하기 위해, 등화되고 지연된 성분의 서브-세트의 추가 단계;

- 시간 영역에서 재생을 위한 다수의, 2 이상의 오디오 신호를 가지는 제 2 세트를 획득하기 위해, 합성 필터에 의해 변환 영역에서 필터링된 신호의 각각의 합성 단계를, 상기 변환 영역의 각각의 주파수 서브-밴드에 대해, 적어도 포함하는 것을 특징으로 하는 사운드 공간화 방법.
제 1 항에 있어서,

서브-밴드에서의 신호의 등화-지연에 의한 상기 필터링 단계는 주파수 서브-밴드 중 적어도 하나에 대한 위상 변이의 적용을 적어도 포함하는 것을 특징으로 하는 사운드 공간화 방법.
제 2 항에 있어서,

등화-지연에 의한 상기 필터링 단계는 또한 주파수 서브-밴드 중 적어도 하나에 대한 저장에 의해 순수 지연을 포함하는 것을 특징으로 하는 사운드 공간화 방법.
제 1 항에 있어서,

하이브리드 변환 영역에서의 등화-지연에 의한 상기 필터링 단계는 적용된 다수의 이득 값을 증가시키기 위해, 데시메이션(decimation) 없이 추가 서브-밴드로 주파수 분할을 위한 추가 단계, 이어서 상기 이득 값이 적용되는 상기 추가 서브-밴드를 재결합하여 상기 지연을 적용하기 위한 단계를 포함하는 것을 특징으로 하는 사운드 공간화 방법.
제 1 항에 있어서,

하이브리드 변환 영역에서 등화-지연에 의한 상기 필터링 단계는 적용된 이득 값의 개수를 증가시키기 위해, 데시메이션 없이 추가 서브-밴드로 주파수 분할을 위한 추가 단계, 이어서 상기 이득 값이 적용되는 상기 추가 서브-밴드를 재결합하기 위한 단계를 포함하고, 상기 재결합 단계는 상기 지연을 적용하여 먼저 또는 나중에 수행되는 것을 특징으로 하는 사운드 공간화 방법.
제 1 항에 있어서,

상기 변환 영역에서, 각각, 지연 값 및 이득 값으로의 각각의 모델링 필터를 변환하기 위해,

- 이득 값으로서, 모델링 필터의 모듈러스의 평균으로 정의된 실수 값을 각각의 서브-밴드와 관련하는 단계;

- 지연 값으로서, 다양한 위치에 대한 좌이(left ear)와 우이(right ear) 사이의 전파 지연에 대응하는 지연 값을 각각의 서브-밴드와 관련하는 단계를 적어도 포함하는 것을 특징으로 하는 사운드 공간화 방법.
제 1 항에 있어서,

PQMF 영역에서의 이득의 이용은 실수에 의해 형성된 이득 값을, 복소수 값으로 나타낸, 서브-밴드 신호의 각각의 샘플 값에 곱하는 것을 특징으로 하는 사운드 공간화 방법.
제 1 항에 있어서,

PQMF 영역에서의 이득의 이용은 복소수 값으로 표시된, 서브-밴드 신호의 각각의 샘플에 대해:

- 당해 서브-밴드의 랭크, 당해 서브-밴드에서 언더-샘플링율 및 청취자의 양이(interaural) 지연 차와 연결된 지연 파라미터의 함수인 복소수 지수 값을 이 샘플에 곱함으로써 복소수 평면에서의 회전을 도입하고;

- 회전 후 샘플에 대한 순수 시간 지연을 도입하며, 상기 순수 시간 지연은 청취자의 양이 지연의 차 및 당해 서브-밴드에서의 언더-샘플링율의 함수인 것을 특징으로 하는 사운드 공간화 방법.
제 1 항에 있어서,

상기 제 1 세트가 5.1 모드로 N=6 과 동일한 다수의 공간적으로 코딩된 오디오 채널을 포함하는 오디오 장면의 바이노럴(binaural) 사운드 공간화를 위해, 상기 제 2 세트는 한 쌍의 오디오 헤드폰에 의한 재생을 위해 시간 영역에서의 재생을 위한 2 개의 오디오 패널을 포함하는 것을 특징으로 하는 사운드 공간화 방법.
제 1 항에 있어서,

상기 방법은 적어도 2 개의 등화-지연 쌍에 대해 반복되고, 얻어진 신호는 시간 영역에서 오디오 채널을 획득하기 위해 합해지는 것을 특징으로 하는 사운드 공간화 방법.
제 1 항에 있어서,

상기 제 1 세트가 주어진 개수의 공간적으로 코딩된 오디오 신호를 포함하고 상기 제 2 세트가 시간 도메인에서의 재생을 위해 더 작은 수의 오디오 채널을 포함하는 오디오 장면의 사운드 공간화를 위해, 디코딩에서, 시간 영역에서 재생을 위해 다수의 공간적으로 코딩된 오디오 채널을 더 많거나 또는 동일한 개수의 오디오 채널을 포함하는 세트로 역변환하는 것을 수행하는 것을 특징으로 하는 사운드 공간화 방법.
제 1 항에 있어서,

상기 모델링 필터와 관련된 상기 이득 및 지연 값은 양자화된 형태로 전송되는 것을 특징으로 하는 사운드 공간화 방법.
채널의 제 1 세트의 오디오 신호의 음향 전파를 모델링하는 필터를 사용하여, 시간 영역에서 재생을 위한 2 이상의 오디오 채널을 포함하는 제 2 세트로, 주어진 개수의 주파수 서브-밴드 상에 공간적으로 코딩되고, 변환 영역에서 디코딩되는 1 이상의 오디오 채널을 가지는 제 1 세트를 포함하는 오디오 장면의 사운드 공간화 장치로서,

상기 변환 영역에서, 공간 디코더의 각각의 주파수 서브-밴드에 대해, 상기 공간 디코더와는 별도로:

- 당해 주파수 서브-밴드에서 소정의 지연 값에 의해 등화되고 지연된 성분을 각각의 공간적으로 코딩된 채널로부터 발생시키기 위해, 상기 서브-밴드의 신호 상에, 각각 적어도 이득 및 지연을 적용하여 서브-밴드에서 신호의 등화-지연에 의한 필터링을 위한 수단;

- 시간 영역에서 재생을 위한 오디오 채널의 제 2 세트에서의 2 이상의 개수에 대응하는 변환 영역에서의 다수의 필터링된 신호를 생성하기 위해, 등화되고 지연된 성분의 서브-세트의 추가를 위한 수단;

- 시간 영역에서 재생을 위한 2 이상의 오디오 신호를 포함하는 제 2 세트를 획득하기 위해, 변환 영역에서 필터링된 신호의 각각의 합성을 위한 수단을 포함하는 사운드 공간화 장치.
제 13 항에 있어서,

이득의 적용에 의한 상기 필터링을 위한 수단은 실수값을 각각 공간적으로 코딩된 오디오 채널의 임의의 복소수 샘플에 곱하기 위한 디지털 곱셈기를 포함하는 것을 특징으로 하는 사운드 공간화 장치.
제 13 항 또는 제 14 항에 있어서,

지연의 적용에 의한 상기 필터링을 위한 수단은 당해 서브-밴드의 랭크, 당해 서브-밴드에서 언더-샘플링율 및 청취자의 양이 지연 차와 연관된 지연 파라미터의 함수인 복소수 지수 값에 의해 곱하기 위해, 회전이 서브-밴드 신호의 임의의 샘플의 복소수 샘플에 도입되도록 하는 적어도 하나의 복소수 디지털 곱셈기를 포함하는 것을 특징으로 하는 사운드 공간화 장치.
제 15 항에 있어서,

상기 필터링을 위한 수단은 청취자의 서브-밴드에서의 언더-샘플링율 및 청취자의 양이 지연의 차의 함수인 순수 시간 지연이 도입되도록 하는, 회전 이후에 각각의 샘플에 대한 순수 지연 라인을 더 포함하는 것을 특징으로 하는 사운드 공간화 장치.
실행시, 제 1 항 내지 제 12 항 중 어느 한 항에 청구된 바와 같은 단계들을 수행하는 것을 특징으로 하는, 컴퓨터 또는 전용 장치에 의한 실행을 위한 일련의 명령어를 포함하는 컴퓨터 프로그램을 기록한 컴퓨터 판독가능한 기록매체.