KR20090007471A

KR20090007471A - 에너지-비보존 업믹스 규칙들 측면에서의 바이노럴 멀티 채널 디코더

Info

Publication number: KR20090007471A
Application number: KR1020087029286A
Authority: KR
Inventors: 라르스 빌레모에스
Original assignee: 돌비 스웨덴 에이비
Priority date: 2006-06-02
Filing date: 2006-09-04
Publication date: 2009-01-16
Also published as: US20190110150A1; CN102547551A; US20110091046A1; JP2009539283A; US10097940B2; KR101004834B1; US10412524B2; HK1146975A1; US20180098170A1; CN102547551B; ATE503244T1; SI2024967T1; US10412526B2; DE602006020936D1; US10863299B2; US11601773B2; US20170272885A1; US20180139559A1; US9699585B2; US20140343954A1

Abstract

업믹스 채널들에 상응하는 머리 관련 전달 함수 기반 필터들의 특성들 및 업믹스 규칙 정보에 기초하여 이득 인자(180)를 계산하기 위해, 에너지-에러를 야기하는 업믹스 규칙에 관한 업믹스 규칙 정보를 이용해 다운믹스 신호로부터 바이노럴 신호를 생성하는 멀티-채널 디코더. 하나 이상의 이득 인자는 다운믹스 신호를 필터링하기 위해 필터 프로세서(182)에 의해 사용되어, 좌측 바이노럴 채널 및 우측 바이노럴 채널을 가지는 에너지 보정된 바이노럴 신호가 얻어질 수 있다.

Description

에너지-비보존 업믹스 규칙들 측면에서의 바이노럴 멀티 채널 디코더{BINAURAL MULTI-CHANNEL DECODER IN THE CONTEXT OF NON-ENERGY-CONSERVING UPMIX RULES}

본 발명은 HRTF 필터링 수단에 의한 유효한 다운믹스된 신호 및 부가적인 제어 데이터에 기초한 바이노럴(binaural) 디코딩에 관한 것이다.

오디오 디코딩에 있어서의 최근의 개발은, 스테레오 (또는 모노) 신호 및 상응하는 제어 데이터에 기반하여 오디오 신호의 멀티-채널 표현을 재생성하기에 유용한 방법들을 만들어왔다. 이러한 방법들은, 부가적인 제어 데이터가 전송된 모노 또는 스테레오 채널들에 기초하여 서라운드 채널들의 재생성을 제어하기 위해 전송(또한 업믹스(up-mix)라 불리기도 함)되기 때문에, 돌비 프로로직(Dolby Prologic)과 같은 솔루션에 기초한 예전의 매트릭스와는 실질적으로 상이하다.

따라서, 이러한 파라메트릭(parametric) 멀티-채널 오디오 디코더, 즉, MPEG 서라운드(Surround)는 M개의 전송된 채널들 및 부가 제어 데이터에 기초하여 N 개의 채널들을 재구성한다(여기서, N>M). 부가적인 제어 데이터는 N 개의 모든 채널들의 전송에 필요한 것보다 훨씬 낮은 데이터 레이트를 표현하여, 코딩을 매우 효과적으로 만듦과 동시에 M 채널 장치들과 N 채널 장치들 모두와의 호환성을 보장한 다 [J. Breebaart 외. "MPEG spatial audio coding / MPEG Surround: overview and current status" Proc. 119차 AES 컨벤션(뉴욕, USA), 2005년 10월, Preprint 6447].

이러한 서라운드 코딩 방법들은 주로 채널 레벨 차이(CLD, channel level difference) 및 채널간 코히어런스/크로스-상관(ICC, Inter-channel coherence/cross-correlation)에 기초한 서라운드 신호의 파라미터화를 포함한다. 이러한 파라미터들은 업믹스 프로세스에서 채널 쌍들 사이의 파워 비율 및 상관을 기술한다. 추가적인 채널 예측 계수들(CPC, Channel Prediction Coefficients) 또한 선행 기술에서 업믹스 프로시져 동안 중간 또는 출력 채널들을 예측하기 위해 사용된다.

오디오 코딩의 다른 개발들은 스테레오 헤드폰을 통해 멀티 채널 신호 감동을 획득하기 위한 수단을 제공해왔다. 이는 원래의 멀티 채널 신호 및 HRTF(Head Related Transfer Functions) 필터를 이용해 멀티 채널 신호를 스테레오로 다운믹싱함으로써 주로 이루어졌다.

또한, 이것은 계산적 효율성의 이유로, 그리고 또한 오디오 품질의 이유로, 좌측 바이노럴 채널 및 우측 바이노럴 채널을 가지는 바이노럴 신호의 생성을 단축시키는 데 유용할 것이다.

하지만, 문제는 원래의 HRTF 필터들이 어떻게 결합되느냐이다. 또한, 에너지-손실-영향을 받는 업믹싱 규칙의 측면에서, 즉, 멀티-채널 디코더 입력 신호가, 예를 들어, 에너지-비보존적인 방법으로 업믹싱하는 데 사용되는, 제1 다운믹스 채 널 및 제2 다운믹스 채널을 가지고, 추가적으로 공간 파라미터를 가지는 다운믹스 신호를 포함할 때 문제가 발생한다. 이러한 파라미터들은 또한 예측 파라미터들 또는 CPC 파라미터들로 알려져 있기도 하다. 이러한 파라미터들은, 채널 레벨 차이 파라미터들과는 대조적으로, 이들 파라미터들이 두 채널간의 에너지 분포를 반영하기 위해 계산되지 않고, 자동적으로 에너지 에러(예를 들어, 손실)를 초래하는 가능한한-최적의 파형 매칭을 수행하기 위해 계산된다는 특성을 가지는데, 이는 예측 파라미터들이 생성될 때, 업믹스의 에너지-보존 특성들은 고려되지 않고, 원래의 신호와 비교하여 재구성된 신호의 되도록 좋은 시간 또는 서브밴드 영역 파형 매칭을 가지는 것이 고려되기 때문이다.

이렇게 전송된 공간 예측 파라미터들에 기초하여 HRTF 필터들을 단순히 선형적으로 결합하려고 할 때, 채널 예측이 제대로 수행되지 않는 경우, 특히 심각한 아티팩트를 얻게 된다. 이런 경우, 미묘한 선형적 의존성조차도 바이노럴 출력의 원하지 않는 스펙트럴 채색(spectral coloring)을 도출하게 된다. 이러한 아티팩트는 원래의 채널들이 쌍으로 비상관되고(pairwise uncorrelated) 유사한 크기(magnitude)를 가지는 신호들을 가질 때 가장 빈번히 발생하는 것으로 알려져 있다.

본 발명은, 멀티-채널 디코딩에 대해, 예를 들어, 멀티-채널 신호의 헤드폰 재생에 사용될 수 있는 바이노럴 신호를 획득하는 효과적이면서 질적으로 허용 가능한 개념을 제공하는 것을 그 목적으로 한다.

본 발명의 제1 측면에 따르면, 이러한 목적은, 업믹스 규칙을 이용해 다운믹스 신호를 업믹싱하는 데 사용 가능한 업믹스 규칙 정보를 포함하는 파라미터들을 사용하여 원래의 멀티-채널 신호로부터 도출된 다운믹스 신호로부터 바이노럴 신호를 생성하는 멀티-채널 디코더로서, 업믹스 규칙 정보 및 업믹스 채널들과 관련하여 머리 관련 전달 함수 기반 필터들의 필터 특성들에 기반하여, 에너지-에러를 감소시키거나 또는 제거시키는 적어도 하나의 이득 인자를 계산하는 이득 인자 계산기, 및 에너지-보정된 바이노럴 신호를 획득하기 위해, 적어도 하나의 이득 인자, 필터 특성들 및 업믹스 규칙 정보를 사용하여 다운믹스 신호를 필터링하는 필터 프로세서로를 포함하는멀티-채널 디코더에 의해 달성된다.

본 발명의 제2 측면에 따르면, 이러한 목적은, 업믹스 규칙을 이용해 다운믹스 신호를 업믹싱하는 데 사용 가능한 업믹스 규칙 정보를 포함하는 파라미터들을 사용하여 원래의 멀티-채널 신호로부터 도출된 다운믹스 신호로부터 바이노럴 신호를 생성하는 멀티-채널 디코딩 방법으로서, 업믹스 규칙 정보 및 업믹스 채널들과 관련하여 머리 관련 전달 함수 기반 필터들의 필터 특성들에 기반하여, 에너지-에러를 감소시키거나 또는 제거시키는 적어도 하나의 이득 인자를 계산하는 단계; 및 에너지-보정된 바이노럴 신호를 획득하기 위해, 적어도 하나의 이득 인자, 필터 특성들 및 업믹스 규칙 정보를 사용하여 다운믹스 신호를 필터링하는 단계를 포함하는 멀티-채널 디코딩 방법에 의해 달성된다.

본 발명의 다른 측면은, 컴퓨터 상에서 동작할 때, 상기 멀티-채널 디코딩 방법을 실행하는 컴퓨터로 판독 가능한 코드를 가지는 컴퓨터 프로그램에 관련된다.

본 발명은 다운믹스 신호를 필터링함에 있어, 멀티채널 신호를 완전히 렝더링할 필요 없이, 그리고 이어서 막대한 개수의 HRTF 필터들을 적용시킬 필요 없이 바이노럴 신호를 획득하는 데 있어, 에너지 에러를 초래하는 업믹스에 대한 업믹스 규칙 정보를 오히려 유리하게 사용할 수 있다는 발견에 기초한다. 본 발명에 따르면, 그대신 에너지-에러-영향을 받는(energy-error-affected) 업믹스 규칙과 관련한 업믹스 규칙 정보가, 본 발명에 따라 다운믹스 신호를 필터링할 때 이득 인자(gain factor)가 계산되고 사용되는 경우(여기서, 이 이득 인자는 에너지 에러가 감소되거나 또는 완전히 제거되도록 계산된다), 다운믹스 신호의 바이노럴 렌더링을 축소시키는 데 유리하게 사용될 수 있다.

특히, 이득 인자는 예측 파라미터들과 같은 업믹스 규칙에 대한 정보에만 의존하는 것은 아니며, 중요하게, 업믹스 규칙이 주어진 업믹스 채널들에 상응하는 머리 관련 전달 함수 기반 필터들에도 의존한다. 특히, 이러한 업믹스 채널들은 본 발명의 바람직한 실시예에는 절대로 존재하지 않는데, 이는 바이노럴 채널들이 예를 들어, 3 개의 중간 채널들을 우선적으로 렌더링하지 않고 계산되기 때문이다. 하지만, 비록 업믹스 채널들이 바람직한 실시예에는 절대 존재하지 않더라도 업믹스 채널들과 관련하여 HRTF 기반 필터들을 도출하거나 제공할 수 있다. 이러한 에너지-에러-영향을 받는 업믹스 규칙에 의해 나타난 에너지 에러는 인코더로부터 디코더로 전송된 업믹스 규칙 정보에 상응할뿐 아니라, HRTF 기반 필터들에 의존하여, 이득 인자 생성시, HRTF 기반 필터들 또한 이득 인자의 계산에 영향을 미친다는 것이 알려져 있다.

이와 같은 측면에서, 본 발명은 예측 파라미터와 같은 업믹스 규칙 정보, 및 업믹스 규칙을 이용한 업믹싱의 결과가 될 수도 있는 채널을 위한 HRTF 기반 필터들의 특정한 출현 사이의 상호의존성을 설명한다.

따라서, 본 발명은 파라메트릭 멀티-채널 오디오의 바이노럴 디코딩과 결합하여 예측적 업믹스의 사용으로부터 발생하는 스펙트럴 채색의 문제에 대한 해결책을 제공한다.

본 발명의 바람직한 실시예들은 다음의 특성들: M 개의 디코딩된 신호들로부터 바이노럴 오디오 신호 및 N > M 채널들의 생성에 적합한 공간 파라미터들을 생성하는 오디오 디코더로서, 다수의 서브밴드들에서, 바이노럴 서브밴드 필터들의 P 쌍들로부터의 두 보상 이득들 및 P 중간 채널들의 생성에 적합한 공간 파라미터들의 서브셋을 추정하는 이득 계산기, 그리고, 다수의 서브밴드들에서, 바이노럴 서브밴드 필터들의 P 쌍들의 선형 조합에 의해 획득된 M 쌍(pair)의 바이노럴 서브밴드 필터들을 변형시키는 이득 조절기로서, 상기 변형은 이득 계산기에 의해 계산된 두 이득과 M 개의 ㄴ쌍 각각과의 곱셈으로 구성되는, 이득 조절기를 포함하는 오디오 디코더 특성을 포함한다.

본 발명의 바람직한 실시예들이 첨부되는 도면들을 참조하여, 본 발명의 범위 또는 사상을 제한하지 않는 예시적인 실시예의 방법으로 설명될 것이다.

도 1은 HRTF 관련 필터들을 사용하여 파라메트릭 멀티채널 신호들의 바이노 럴 합성을 도시한다.

도 2는 결합 필터링(combined filtering)을 사용한 파라메트릭 멀티채널 신호들의 바이노럴 합성을 도시한다.

도 3은 본 발명에 따른 파라미터/필터 결합기의 구성요소들을 도시한다.

도 4는 MPEG 서라운드 공간 디코딩의 구조를 도시한다.

도 5는 본 발명에 따른 이득 보상이 없는 디코딩된 바이노럴 신호의 스펙트럼을 도시한다.

도 6은 본 발명에 따른 바이노럴 신호의 디코딩의 스펙트럼을 도시한다.

도 7은 HRTF를 이용한 통상적인 바이노럴 합성을 도시한다.

도 8은 MPEG 서라운드 인코더를 도시한다.

도 9는 MPEG 서라운드 디코더 및 바이노럴 합성기의 연결을 도시한다.

도 10은 특정 구성을 위한 개념적인 3D 바이노럴 디코더를 도시한다.

도 11은 특정 구성을 위한 공간 인코더를 도시한다.

도 12는 공간 (MPEG 서라운드) 디코더를 도시한다.

도 13은 이득 인자 보정 없이 바이노럴 신호들을 획득하기 위해 4 개의 필터들을 사용한, 2 개의 다운믹스 채널들의 필터링을 도시한다.

도 14는 5개의 채널 셋업에서 여러 HRTF 필터들(1~10)을 설명하기 위한 공간적 셋업을 도시한다.

도 15는 L, Ls 및 R, Rs를 위한 채널들이 결합되었을 때, 도 14의 상황을 도시한다.

도 16a는 HRTF 필터들의 최대 결합이 실행되고, 도 13의 4개의 필터들만이 남아 있는 경우, 도 14 또는 도 15로부터의 셋업을 도시한다.

도 16b는 에너지-비보존적 업믹스를 초래하는 업믹스 계수들을 가지는 도 20 인코더에 의해 결정된 것과 같은 업믹스 규칙을 도시한다.

도 17은 HRTF 필터들이 어떻게 4개의 HRTF-기반 필터들을 최종적으로 획득하도록 결합되었는지 도시한다.

도 18은 본 발명에 따른 멀티-채널 디코더의 바람직한 일 실시예를 도시한다.

도 19a는 이득 보정 없는 HRTF-기반 필터링 이후 스케일링 단계를 가지는 본 발명의 멀티-채널 디코더의 제1 실시예를 도시한다.

도 19b는 이득-조절된 필터 출력 신호를 도출하는 조절된 HRTF-기반 필터들을 가지는 본 발명의 장치를 도시한다.

도 20은 에너지-비보존적 업믹스 규칙에 대한 정보를 생성하는 인코더의 일 실시예를 도시한다.

본 발명의 이득 조절 측면을 자세히 논의하기 전에, HRTF 필터들의 결합 및 HRTF-기반 필터들의 사용이 도 7 내지 11과 관련하여 논의될 것이다.

본 발명의 특성 및 이점들을 보다 잘 설명하기 위해, 우선 보다 정교한 설명이 주어진다. 바이노럴 합성 알고리즘이 도 7에서 서술된다. 일련의 입력 신호가 일련의 HRTF에 의해 필터링된다. 각 입력 신호는 두 개의 신호(좌측 'L,' 및 우측 'R' 구성요소)로 분리되는데, 이어서 이들 신호 각각은 원하는 사운드 소스 위치에 대응되는 HRTF에 의해 필터링된다. 모든 좌측-귀 신호들은 이어서 좌측 바이노럴 출력 신호를 생성하기 위해 합쳐지고, 우측-귀 신호들은 우측 바이노럴 출력 신호를 생성하기 위해 합쳐진다.

HRTF 컨벌루션(convolution)은 시간 영역에서 실행될 수 있지만, 종종 계산 효율성 때문에 주파수 영역에서 필터링을 수행하는 것이 선호된다. 이 경우, 도 7에 도시된 합산 또한 주파수 영역에서 행해진다.

원칙적으로, 도 7에 설명된 바이노럴 합성 방법은 MPEG 서라운드 인코더/디코더와의 결합에 직접 사용될 수 있다. MPEG 서라운드 인코더가 도 8에 도식적으로 보여진다. 멀티-채널 입력 신호가 공간 인코더에 의해 분석되어, 공간 파라미터들과 결합된 모노 또는 스테레오 다운 믹스 신호를 발생시킨다. 다운 믹스는 어떤 통상적인 모노 또는 스테레오 오디오 코덱으로도 인코딩될 수 있다. 결과적인 다운-믹스 비트 스트림은 멀티플렉서(multiplexer)에 의해 공간 파라미터들과 결합되어, 전체 출력 비트 스트림이 도출된다.

MPEG 서라운드 디코더와 결합된 바이노럴 합성 방법이 도 9에 보여진다. 입력 비트 스트림이 디-멀티플렉싱되어 공간 파라미터들과 다운-믹스 비트 스트림이 도출된다. 다운-믹스 비트 스트림은 통상적인 모노 또는 스테레오 디코더를 사용하여 디코딩된다. 디코딩된 다운 믹스는 공간 디코더에 의해 디코딩되고, 디코더는 전송된 공간 파라미터들에 기초하여 멀티-채널 출력을 생성한다. 최종적으로, 멀티-채널 출력이 도 7에 도시된 바이노럴 합성 단계에 의해 처리되어, 바이노럴 출력 신호를 도출한다.

하지만, MPEG 서라운드 디코더 및 바이노럴 합성 모듈의 이러한 연결에는 적어도 3가지 단점이 있다.

ㆍ멀티-채널 신호 표현은 중간 단계로서 계산되고, 바이노럴 합성 단계의 HRTF 컨벌루션 및 다운믹싱이 뒤따른다. 비록 HRTF 컨벌루션이 채널 단위를 기반으로 수행되어야 한다고 하더라도, 각 오디오 채널이 다른 공간적 위치를 가질 수 있다는 사실이 주어진 상태에서, 이는 복잡도 관점에서 바람직하지 않은 상황이다.

ㆍ공간 디코더는 필터뱅크(QMF) 영역에서 동작한다. 반면, HRTF 컨벌루션은 일반적으로 FFT 영역에 적용된다. 그러므로, 멀티-채널 QMF 합성 필터뱅크, 멀티-채널 DFT 변환, 및 스테레오 역 DFT 변환의 연결이 필요하고, 이는 시스템에서 높은 계산적 요구사항을 초래한다.

ㆍ멀티-채널 재구성을 생성하기 위해 공간 디코더에 의해 생성된 코딩 아티팩트가 들릴 수 있고, 어쩌면 (스테레오) 바이노럴 출력에서 강화될 것이다.

도 11에 공간 인코더가 도시되어 있다. 좌-전방, 좌-서라운드, 중앙, 우-전방, 우-서라운드 채널들을 위한 Lf, Ls, C, Rf, 및 Rs 신호로 구성되는 멀티-채널 입력 신호가 2 개의 'OTT' 유닛에 의해 처리되는데, 이들 두 유닛은 2개의 입력 신호들을 위한 모노 다운 믹스 및 파라미터들을 생성한다. 중앙 채널과 결합된 결과적인 다운-믹스 신호들은 'TTT' (2-대-3, Two-To-Three) 인코더에 의해 추가적으로 처리되어, 스테레오 다운 믹스 및 부가적인 공간 파라미터들을 생성한다.

'TTT' 인코더로부터 도출되는 파라미터들은, 세 입력 신호들의 에너지 비율을 서술하기 위해 통상적으로 각 파라미터 밴드를 위한 예측 계수들의 쌍, 또는 레벨 차이들의 쌍으로 구성된다. 'OTT' 인코더들의 파라미터들은 레벨 차이들 및 각 주파수 대역를 위한 입력 신호들 간의 코히어런스 또는 크로스-상관 값들로 구성된다.

도 12에는 MPEG 서라운드 디코더가 도시되어 있다. 다운 믹스 신호들(l0 및 r0)이 2-대-3 모듈로 입력되고, 상기 모듈은 중앙 채널, 우측 채널 및 좌측 채널을 재생성한다. 이러한 3 채널들은 추가적으로 여러 OTT 모듈들(1-대-2)에 의해 처리되어 6개의 출력 채널들을 도출한다.

개념적 관점에서 본 대응되는 바이노럴 디코더가 도 10에 도시된다. 필터뱅크 영역 내에서, 스테레오 입력 신호(L₀, R₀)가 TTT 디코더에 의해 처리되고, 세 신호들 L, R,및 C을 도출한다. 이러한 세 신호들은 HRTF 파라미터 처리로 제공된다. 결과적인 여섯 채널들은 스테레오 바이노럴 출력 쌍(L_b, R_b)을 생성하기 위해 합쳐진다.

TTT 디코더는 아래의 매트릭스 동작과 같이 설명될 수 있다(여기서, 매트릭스 엔트리 m_xy는 공간 파라미터들에 의존함).

공간 파라미터들 및 매트릭스 엔트리들의 관계는 5.1-멀티채널 MPEG 서라운드 디코더에서의 그러한 관계들과 동일하다. 세 결과적인 신호들 L, R, 및 C각각은 둘로 분리되고 이러한 사운드 소스들의 원하는 (감지된) 위치에 상응하는 HRTF 파라미터들을 이용해 처리된다. 중앙 채널(C)에 대해서는, 사운드 소스 위치의 공간적 파라미터들이 직접 적용될 수 있어, 중앙에 대한 두 출력 신호들, L_B(C) 및 R_B(C):

가 도출된다.

좌측(L) 채널에 대해서는, 좌-전방 및 좌-서라운드 채널들로부터의 HRTF 파라미터들이, 가중치 w _lf 및 w _rf 를 이용해 하나의 HRTF 파라미터 세트로 결합된다. 결과적인 '합성(composite)' HRTF 파라미터들은 통계적 측면에서 전방 및 서라운드 채널들 양쪽의 효과를 시뮬레이션한다. 좌측 채널에 대해 바이노럴 출력 쌍 (L _B , R _B ) 을 생성하는 데 아래의 식이 사용된다.

유사한 방식으로, 우측 채널에 대한 바이노럴 출력이,

에 따라 얻어진다.

L_B(C), R_B(C), L_B(L), R_B(L), L_B(R) 및 R_B(R) 의 정의가 상기와 같이 주어진 상태에서, 완전한 L_B 및 R_B 신호들이 스테레오 입력 신호가 주어진 단일 2 × 2 매트릭스로부터 아래와 같이 도출될 수 있으며,

여기서,

이다.

Hx(Y) 필터들은 원래의 HRTF 필터들의 파라메트릭 버전의 파라메트릭 가중된 조합들로 표현될 수 있다. 이것이 제대로 동작하기 위해서 원래의 HRTF 필터들이,

ㆍ좌측-귀 임펄스 응답을 위한 주파수 대역 당 (평균) 레벨;

ㆍ우측-귀 임펄스 응답을 위한 주파수 대역 당 (평균) 레벨;

ㆍ좌측-귀 및 우측-귀 임펄스 응답 간의 (평균) 도착 시간 또는 위상 차이;

로서 표현된다.

따라서, 중앙 채널 입력 신호가 주어진 상태에서 좌측 및 우측 귀를 위한 HRTF 필터들은,

로서 표현되고, 여기서 P_l(C)는 좌측 귀에 대해 주어진 주파수 대역에 대한 평균 레벨이고, φ(C)는 위상 차이이다.

따라서, HRTF 파라미터 처리는 단순히, 중앙 채널의 사운드 소스 위치에 상응하는 P_l 및 P_r과 신호의 곱으로 구성되며, 위상 차이는 대칭적으로 분포된다. 이 처리는, 한편으로 HRTF 파라미터들로부터 QMF 필터뱅크로의 매핑, 그리고 다른 한편으로는 공간 파라미터들로부터의 QMF 대역으로의 매핑을 이용해, 각 QMF 대역에 대해 독립적으로 실행된다.

유사하게, 좌측 채널 및 우측 채널이 주어진 상태에서 좌측 및 우측 귀에 대한 HRTF 필터들이,

와 같이 주어진다.

명백히, HRTF들은 6 개의 원래 채널들에 대해 파라미터화된 HRTF 필터들에 대한 레벨들 및 위상 차이들의 가중된 결합이다.

가중치 w _lf 및 w _ls 는 Lf 및 Ls에 대한 'OTT' 박스의 CLD 파라미터에 의존한다:

그리고, 가중치 w _rf 및 w _rs 는 Rf 및 Rs에 대한 'OTT' 박스의 CLD 파라미터에 의존한다:

상기 접근은 주파수 대역 당 평균 레벨, 및 주파수 대역 당 평균 위상 차이로서 충분히 정확하게 표현될 수 있는 짧은 HRTF 필터들에 대해 잘 동작한다. 하지만, 긴 에코적(echoic) HRTF에 대해서는 이것이 적용되지 않는다.

본 발명은 임의의 긴 HRTF 필터들을 다루기 위해 2×2 메트릭스 바이노럴 디코더의 접근을 어떻게 확장할 것인지 알려준다. 이를 달성하기 위해, 본 발명은 아래의 단계들을 포함한다:

ㆍHRTF 필터 응답을 필터뱅크 영역으로 변환;

ㆍHRTF 필터 쌍들로부터의 전체적인 지연 차이 또는 위상 차이 감산;

ㆍHRTF 필터 쌍의 응답을 CLD 파라미터들의 함수로서 모프(morph)

ㆍ이득 조절

이는 6개의 복합 이득 H_Y(X)(Y = L ₀ , R ₀ 및 X = L,R,C에 대해)을 6 개의 필터들로 대체함으로써 얻을 수 있다. 이러한 필터들은 QMF 영역에서의 주어진 HRTF 필터 응답들을 설명하는 10 개의 필터들 H_Y(X)(Y = L ₀ , R ₀ 및 X = Lf, Ls, Rf, Rs, C)로부터 도출된다. 이러한 QMF 표현은 아래에 설명된 방법에 의해 달성될 수 있다.

전방 및 서라운드 채널 필터들의 모핑(morphing)은,

에 따라 복소 선형 조합을 이용해 수행된다.

위상 파라미터 φ_XY는 전방 및 후방 HRTF 필터들 사이의 주요 지연 시간 차이 및 QMF 뱅크의 서브밴드 인덱스 n으로부터,

을 통해 정의될 수 있다.

필터들의 모핑에 있어서 이러한 위상 파라미터의 역할에는 두 가지 측면이 있다. 첫째, 전방 및 후방 스피커들 사이의 소스 위치와 관련하여 주요 지연 시간을 모델링하는 결합된 응답을 이끄는 중첩(superposition)에 앞서 두 필터들의 지연 보상을 실현한다. 둘째, 필요한 이득 보상 인자 g를, φ_XY = 0을 가지는 간단한 중첩의 경우보다 훨씬 더 안정적이고 주파수상에서 천천히 변화하도록 만든다.

이득 인자 g는 파라메트릭 HRTF 경우에 대해서와 동일한 인코히어런트(incoherent) 가산(addition) 파워 규칙,

에 의해 결정되며,

여기서,

이고, ρ _XY 는 필터들

및

간의 정규화된 복소 크로스 상관의 실수 값이다.

φ _XY = 0을 가지는 간단한 중첩의 경우에, ρ _XY 의 값은 주파수 함수로서 산만하고 진동하는 방식으로 변화하는데, 이는 심각한 이득 조절을 필요로 한다. 실제적인 구현에서는, 이득 g의 값을 제한할 필요가 있고, 신호의 잔여 스펙트럴 채색화가 불가피하다.

대조적으로, 본 발명에 제시된 바와 같은 지연 기반 위상 보상을 이용한 모 핑(morphing)의 사용은 주파수의 함수로서 ρ _XY 의 원활한 동작을 도출한다. 이 값은 종종 자연적 HRTF 도출된 필터 쌍들을 위한 값과 가까운데, 이들이 주로 지연 및 크기 면에서 상이하기 때문이며, 위상 파라미터의 목적은 지연 차이를 QMF 필터뱅크 영역에서 고려하는 것이다.

위상 파라미터 φ _XY 의 대안적인 유리한 선택은 필터들

및

간의 정규화된 복소 크로스 상관의 위상 각도를 계산하고, QMF 뱅크의 서브밴드 인덱스 n의 함수로서의 표준 전개 기술(standard unwrapping techniques)을 이용한 위상 값들을 전개함으로써 주어진다. 이러한 선택은 ρ _XY 이 절대 음(negative)이 아니고 따라서 보상 이득 g가 모든 서브밴드에 대해

를 만족시키는 결과를 갖도록 한다. 게다가 위상 파라미터의 이러한 선택은 주요 지연 시간 차이 τ _XY 가 유효하지 않은 상황에서 전방 및 서라운드 채널 필터들의 모핑을 가능하게 한다.

아래에서 고려되는 모든 신호들은 변조된 필터 뱅크 또는 이산 시간 신호들 의 윈도우잉된 FFT 분석으로부터의 서브밴드 샘플들 또는 이산 시간 신호들이다. 이러한 서브밴드들은 상응하는 합성 필터 뱅크 동작에 의해 이산 시간 영역으로 역으로 변환되어야 하는 것으로 이해된다.

도 1은 HRTF 관련 필터들을 이용한 파라메트릭 멀티채널 신호들의 바이노럴 합성을 위한 절차를 도시한다. N 개의 채널들을 포함하는 멀티채널 신호가 M < N 전송된 채널들 및 전송된 공간적 파라미터들을 기초로 하여 공간 디코딩(101)에 의해 생성된다. 이러한 N 개의 채널들은 차례로 HRTF 필터링을 수단으로 하여 바이노럴 청취를 목적으로 하는 두 출력 채널들로 변환된다. 이러한 HRTF 필터링(102)은 좌측 귀를 위한 하나의 HRTF 필터 및 우측 귀를 위한 하나의 HRTF 필터를 이용한 각 입력 채널의 필터링의 결과들을 중첩시킨다. 무엇보다도 이는, 2N 개의 필터들을 필요로 한다. 파라메트릭 멀티채널 신호는 N 개의 확성기들을 통해 청취할 때 고품질의 청취자 경험을 얻는 반면, N 개 신호들의 미묘한 상호의존성은 바이노럴 청취에 대해 아티팩트를 도출한다. 이러한 아티팩트는 코딩 이전의 원래 N 채널들의 HRTF 필터링에 의해 정의되는 바와 같은 기준 바이노럴 신호로부터의 스펙트럼 컨텐츠에서의 편차(deviation)에 의해 좌우된다. 이러한 연결의 추가적인 단점은 바이노럴 합성의 전체적인 계산 비용이 구성요소들(101 및 102) 각각에 대해 요구되는 비용의 합이라는 점이다.

도 2는 본 발명에 의해 제시된 결합 필터링의 사용에 의한 파라메트릭 멀티채널 신호들의 바이노럴 합성을 도시한다. 전송된 공간 파라미터들은 201에 의해 2개의 세트, 세트 1 및 세트 2로 분리된다. 여기서, 세트 2는 M 개의 전송된 채널들로부터의 P 개의 중간 채널들의 생성에 적절한 파라미터들을 포함하고, 세트 1은 P 개의 중간 채널들로부터의 N 개의 채널들의 생성에 적절한 파라미터들을 포함한다. 기존의 선결합기(precombiner, 202)는, 2N 개의 HRTF 관련 서브밴드 필터들의 선택된 쌍들을, 파라미터 세트 1 및 선택된 필터들의 쌍들에 의존하는 가중치들과 결합한다. 이러한 선결합의 결과는 P 개의 중간 채널들 각각에 대한 바이노럴 필터 쌍 을 표현하는 2P 개의 바이노럴 서브밴드 필터들이다. 본 발명에 따른 결합기(203)는, 파라미터 세트 2 및 2P 개의 바이노럴 서브밴드 필터들 양쪽에 의존하는 가중치들을 적용함으로써, 2P 개의 바이노럴 서브밴드 필터들을 2M 개의 바이노럴 서브밴드 필터들의 세트로 결합한다. 비교해 보면, 종래의 선형 결합기는 파라미터 세트 2에만 의존하는 가중치들을 적용할 것이다. 2M 개의 필터들의 결과적인 세트는 M 개의 전송된 채널들 각각에 대한 바이노럴 필터 쌍으로 구성된다. 결합 필터링 유닛(204)은 상응하는 필터 쌍을 가지고 필터링함으로써, M 개의 전송된 채널들 각각에 대해 두 채널 출력에 대한 기여분(contribution)의 쌍을 획득한다. 이어서, 모든 M 개의 기여분들은 서브밴드 영역에서 2개의 채널 출력을 형성하기 위해 합산된다.

도 3은 공간 파라미터들 및 바이노럴 필터들의 결합을 위한 본 발명에 따른 결합기(203)의 구성요소들을 도시한다. 선형 결합기(301)는 주어진 공간 파라미터들로부터 도출된 가중치들을 적용함으로써 2P 개의 바이노럴 서브밴드 필터들을 2M 개의 바이노럴 필터들로 결합시키는데, 이러한 공간 파라미터들은 M 개의 전송된 채널들로부터의 P 개의 중간 채널들의 생성에 적합하다. 특히, 이러한 선형 결합은, P 개의 소스들로부터의 바이노럴 필터링이 뒤따르는, M 개의 전송된 채널들로부터의 P 개의 중간 채널들로의 업믹스의 연결을 시뮬레이션한다. 이득 조절기(303)는 공통 좌측 이득을 좌측 귀 출력에 대응하는 필터들 각각에 적용함으로써, 그리고 공통 우측 이득을 우측 귀 출력에 대응하는 필터들 각각에 적용함으로써, 선형 결합기(301)로부터 출력되는 2M 개의 바이노럴 필터들을 변경한다. 이러 한 이득들은 공간 파라미터들 및 2P 개의 바이노럴 필터들로부터 이득들을 도출하는 이득 계산기(302)로부터 얻어진다. 본 발명에 따른 구성요소들(302 및 303)의 이득 조절의 목적은 공간 디코딩의 P 개의 중간 채널들이 선형 결합기(301)로 인한 원하지 않는 스펙트럴 채색을 도출하는 선형 의존성을 가지는 상황에 대해 보상을 하는 것이다. 본 발명에 의해 제시된 이득 계산기(302)는 공간 파라미터들의 함수로서 P 개의 중간 채널들의 에너지 분포를 추정하는 수단을 포함한다.

도 4는 스테레오 전송된 신호의 경우에서의 MPEG 서라운드 공간 디코딩의 구조를 도시한다. M=2 전송된 신호들의 분석 서브밴드들은 P=3 중간 신호들, 결합된 좌측, 결합된 우측, 및 결합된 중앙을 출력하는 2 → 3 박스(401)로 제공된다. 이러한 업믹스는 도 2 상의 세트 2에 대응하는 전송된 공간 파라미터들의 서브셋에 의존한다. 3 개의 중간 신호들은 이어서 N = 6 신호들(405): l _f (좌측 전방), l _s (좌측 서라운드), r _f (우측 전방), r _s (우측 서라운드), c(중심), 및 lfe(저주파수 확장) 전체를 생성하는 3개의 1→2 박스들(402-404)로 제공된다. 이러한 업믹스는 도 2 상의 세트 1에 대응하는 전송된 공간 파라미터들의 서브셋에 의존한다. 최종적인 멀티채널 디지털 오디오 출력은 6개의 서브밴드 신호들을 6개의 합성 필터 뱅크들로 패스함으로써 생성된다.

도 5는 본 발명에 따른 이득 보상에 의해 해결되어야 할 문제를 도시한다. 좌측 귀를 위한 기준 HRTF 필터링된 바이노럴 출력의 스펙트럼은 실선 그래프로 표시되어 있다. 점선 그래프는 결합기(203)가 선형 결합기(301)만으로 구성된 경우에 있어서의 도 2의 방법에 의해 생성된 바와 같은 상응하는 디코딩된 신호의 스펙트럼을 도시한다. 도시된 바와 같이, 3-4 kHz 및 11-13 kHz의 주파수 구간에서 원하는 기준 스펙트럼에 대해 상당한 스펙트럼 에너지 손실이 있다. 1 kHz 및 10 kHz 근처에서는 더 작은 스펙트럴 부스트(spectral boost)가 또한 존재한다.

도 6은 본 발명에 따른 이득 보상을 이용한 경우의 장점을 도시한다. 실선 그래프는 도 5에서와 같은 기준 스펙트럼을 나타내지만, 이제 점선 그래프는 결합기(203)가 도 3의 모든 구성요소들로 구성된 경우에 있어서의 도 2의 방법에 의해 생성된 디코딩된 신호의 스펙트럼을 도시한다. 도시된 바와 같이, 도 5의 두 곡선들에 비해 두 곡선들간에 엄청나게 향상된 스펙트럼 매칭이 있음을 알 수 있다.

아래에 전개되는 문맥에서, 본 발명에 따른 이득 보상의 수학적 설명이 이어질 것이다. 이산 복소 신호들 x, y에 대한 복소 내적(complex inner product) 및 스퀘어드 놈(squared norm) (에너지)는,

(1)

와 같이 정의되는데, 여기서,

는 y(k) 의 공액 복소(complex conjugate) 신호를 나타낸다.

원래의 멀티채널 신호는 N 채널들로 구성되고, 각 채널은 그와 관련된 바이 노럴 HRTF 관련 필터 쌍을 가진다. 어쨌건 여기서는, 파라메트릭 멀티채널 신호는 M 개의 전송된 채널들로부터 P 개의 예측된 채널들로의 예측 업믹스의 중간 단계를 사용하여 생성된다고 가정될 것이다. 이러한 구조는 도 4에 도시된 바와 같은 MPEG 서라운드에 사용된다. 2N HRTF 관련 필터들의 원래의 세트는, M≤P≤N 인 경우 P 개의 예측된 채널들 각각에 대해, 종래의 선결합기(202)에 의해 하나의 필터 쌍으로 감소되었다고 가정될 것이다. P 개의 예측된 채널 신호들,

은 부분적인 다운믹스를 통해 원래의 N 채널들로부터 도출된 P개의 신호들

에 가깝도록 하는 것을 겨냥한다. MPEG 서라운드에서는, 이러한 신호들이 결합된 좌측, 결합된 우측, 및 결합되고 스케일링된(scaled) 중앙/lfe 채널이다. 신호 x _p 에 대응하는 HRTF 필터 쌍은 좌측 귀에 대한 서브밴드 필터 b_1,p 및 우측 귀에 대한 서브밴드 필터 b_2,p에 의해 설명되는 것으로 가정한다. 기준 바이노럴 출력 신호는 따라서, n = 1, 2에 대한 필터링된 신호들의 선형 중첩에 의해,

(2)

와 같이 주어지고, 별표는 시간 방향에서의 컨벌루션을 나타낸다. 서브밴드 필터들은 유한 임펄스 응답(FIR) 필터들, 무한 임펄스 응답(IIR) 필터들, 또는 필터들의 파라미터화된 패밀리로부터 도출된 형태로 주어질 수 있다.

인코더에서, 다운믹스는 M×P 다운믹스 매트릭스 D의,

에 의해 형성된 신호들의 칼럼 벡터로의 적용에 의해 형성되며, 디코더에서의 예측은 P×M 예측 매트릭스 C 의, M 개의 전송된 다운믹스된 채널들

에 의해 형성된 신호들의 칼럼 벡터로의 적용에 의해,

(3)

와 같이 실행된다.

양 매트릭스가 디코더에 알려져 있으며, 다운믹스된 채널들을 코딩하는 효과를 무시할 때, 예측의 결합된 효과는,

(4)

에 의해 모델링될 수 있으며, 여기서

는 매트릭스 곱

의 엔트리들이다.

디코더에서 바이노럴 출력을 생산하는 직접적인 방법은 간단히, 예측된 신호들

을 식 (2)에 넣는 것이며,

(5)

와 같은 결과를 얻는다.

계산적 측면에서, 바이노럴 필터링은 예측적 업믹스와 사전에 결합되어, 식 (5)는,

(6)

와 같이 다시 쓸 수 있으며, 여기서 결합된 필터들은,

(7)

와 같이 정의된다.

위 식은 바이노럴 서브밴드 영역 필터들 b _n,p 를 이용해 공간 파라미터들로부터 도출된 계수들 c _p,m 을 결합하는 선형 결합기(301)의 동작을 설명한다. 원래의 P개 신호들 x _p 가 M에 의해 필수적으로 바운딩된 수적 랭크(numerical rank)를 가질 때, 예측은 매우 잘 실행되도록 디자인 될 수 있고, 예측

이 유효하다. 이것은 예를 들어, P 개의 채널들 중 M 개만이 활성이라거나, 중요한 신호 구성요소들이 크기 패닝(amplitude panning)으로부터 발생되는 경우 발생한다. 그런 경우, 디코딩된 바이노럴 신호(5)는 기준(2)에 매우 잘 매칭된다. 반대로, 일반적인 경우 에, 그리고, 특히 원래 P 개의 신호들 x _p 가 상관되지 않은 경우, 상당한 예측 손실이 있을 것이며, (5)로부터의 결과는 (2)의 에너지로부터 상당히 벗어나는 에너지를 가질 수 있다. 벗어나는 정도는 여러 주파수 대역에서 다를 것이며, 최종 오디오 출력은 도 5에 도시된 바와 같은 스펙트럼 채색 아티팩트로 인해 해를 입을 것이다. 본 발명은,

(8)

에 따라 출력을 이득 보상함으로써 이러한 문제를 회피할 수 있는 방법을 제공한다.

계산적인 측면에서, 이득 보상은 이득 조절기(303),

에 따라 결합 필터들을 변경함으로써 유리하게 실행될 수 있다. 변경된 결합 필터링은 그렇다면,

(9)

이 된다.

식 (8)에서 보상 이득의 최적의 값들은,

(10)

이다.

이득 계산기(302)의 목적은 디코더에서 유효한 정보로부터 이러한 이득들을 추정하는 것이다. 이러한 목적을 위한 여러 도구들이 이제 설명될 것이다. 유효한 정보가 매트릭스 엔트리들

및 HRTF 관련 서브밴드 필터들

에 의해 여기서 표현될 것이다. 우선, HRTF 관련 서브밴드 필터들 b, d 에 의해 필터링된 신호들 x, y 간의 내적에 대해, 아래와 같은 근사화가 가정될 것이다.

(11)

이러한 근사화는 종종 필터들의 대부분의 에너지가 우세한 하나의 탭에 집중되어 있다는 사실에 근거한 것이고, 이에 따라 적용된 시간 주파수 변환의 시간 단계는 HRTF 필터들의 주요 지연 차이에 비교하여 충분히 크다고 미리 추정한다.

근사화 (11)을 식 (2)에 결합하여 적용시키면,

(12)

이 된다.

다음 근사화는 원래의 신호들이 상관되어 있지 않다는, 즉 p ≠ q 에 대해,〈x_p, x_q〉= 0 이라는 가정으로 구성된다. 그러면, 식 (12)는

(13)

로 축소된다.

디코딩된 에너지에 대해, 식 (12)와 관련한 결과는,

(14)

이 된다.

예측된 신호들 (4)를 식 (14)에 대입하고, 원래의 신호들이 상관되어 있지 않다는 가정을 적용하면,

(15)

이 된다.

계수 (10)에 의해 주어지는 보상 이득을 계산할 수 있도록 하기 위해 남은 것은, 원래의 채널들의 에너지 분포

를 임의의 인자까지 추정하는 것이다. 본 발명은, 이러한 채널들이 상관되지 않고 인코더가 예측 에러를 최소화하는 것을 목적으로 한다는 가정에 상응하는 예측 매트릭스

를, 에너지 분포 함수로서 계산함으로써, 이를 수행할 수 있음을 알려준다. 그리고, 가능한한 식

의 비선형 시스템을 풀어 에너지 분포가 추정된다. 해가 없는 식들의 시스템을 도출하는 예측 파라미터들에 대해서는, 이득 보상 인자들이

로 설정된다. 이러한 본 발명에 따른 절차는, 가장 중요한 특별한 경우에 대해 아래의 섹션에서 보다 자세히 설명될 것이다.

식 (15)에 부여되는 계산 로드는 P = M + 1 인 경우, 확장

(16)

을 적용(예를 들어 PCT/EP2005/011586을 보라)함으로써 감소될 수 있으며, 여기서, v 는 Ｄv = 0 이 되도록 하는 구성요소들

를 가지는 유닛 벡터이고,

는 예측 손실 에너지,

(17)

이다.

식 (15)의 계산은 그래서 식 (16)을 (14)로 적용함으로써 유리하게 대체될 수 있으며,

(18)

이 도출된다.

이어서, 2개의 채널로부터 3개의 채널로의 예측에 대한 바람직한 구체화가 논의될 것이다. MPEG 서라운드에서 M = 2 및 P = 3인 경우가 사용된다. 신호들은 결합된 좌측 x ₁ = l, 결합된 우측 x ₂ = r 및 (스케일링된) 결합된 중앙/lfe 채널 x ₃ = c 이다. 다운믹스 매트릭스는,

(19)

이고, 예측 매트릭스는,

(20)

에 따라 2 개의 전송된 실(real) 파라미터들 c ₁ , c ₂ 로부터 구성된다.

원래의 채널들이 상관되어 있지 않다는 가정하에, 최소 예측 에러를 구현하는 예측 매트릭스는,

(21)

에 의해 주어진다.

등식

은 본 발명에 의해 제시된 (비정규화된) 에너지 분포,

(22)

를 도출하며,

여기서,

및

이다. 이는,

(23)

에 의해 정의된 가능한 범위 내에서 유지되며, 이 경우 예측 에러는

(24)

로부터 동일한 스케일링 내에서 발견될 수 있다.

P = 3 = 2+1 = M+1 이기 때문에, 식 (16) - (18)에 의해 설명된 방법이 적용 가능하다. 유닛 벡터는

이 되고, 여기서,

(25)

및

(26)

로 정의된 상태에서, 이득 계산기(302)의 바람직한 일 실시예에서 계산된 바와 같이 각 귀 n = 1, 2에 대한 보상 이득은

(27)

에 의해 표현될 수 있다.

여기서,

은 그 목적이 가능한 파라미터 범위의 에지(edge) 근처에서 공식을 안정화시키는 작은 수이고

는 적용된 보상 이득 상의 상한이다. 식 (27)의 이득들은 좌측 및 우측 귀(n = 1,2) 에 대해 다르다. 상기 방법의 변형예는 공통 이득

을 사용하는 방법이며, 여기서,

(28)

이다.

본 발명에 따른 보정 이득 인자는 어떤 HRTF 관련 이슈도 없이 유효한 직접적인 멀티채널 이득 보상과 함께 양립할 수 있다.

MPEG 서라운드에서, 예측 손실을 위한 보상은, 업믹스 매트릭스 Ｃ를 인자

(여기서

은 전송된 공간 파라미터들의 일부)로 곱함으로써 이미 디 코더 내에 적용되어 있다. 그 경우, 식 (27) 및 (28)의 이득들은 곱

및

에 의해 각각 교체되어야 한다. 이러한 보상은 도 5 및 6에서 연구된 바이노럴 디코딩에 적용된다. 이것이 도 5의 종래의 디코딩이 기준에 비해 스펙트럼의 부스팅된 부분을 가지는 이유이다. 이러한 주파수 영역에 상응하는 서브밴드들에 대해, 본 발명의 이득 보상은 전송된 파라미터 이득 인자

를, 식 (28)로부터 도출된 더 작은 값으로 효과적으로 대체한다.

게다가,

인 경우는 성공적인 예측에 상응하므로, 본 발명에 의해 제시된 이득 보상의 보다 보수적인 변형예가

에 대한 바이노럴 이득 보상을 무력하게 할 것이다.

또한, 본 발명은 잔여 신호와 함께 사용된다. MPEG 서라운드에서, 부가적인 예측 잔여 신호 z₃이 전송될 수 있고, 이는 원래의 P = 3 의 신호들 x _p 를 보다 정확하게 재생성할 수 있도록 만든다. 이 경우, 이득 보상은 이후 설명될 바이노럴 잔여 신호 가산에 의해 대체된다. 잔여물에 의해 강화된 예측 업믹스는,

(29)

에 따라 형성되며, 여기서

이다. 식 (5)에서

을

로 대체하면, 대응하는 결합 필터링,

(30)

을 산출하며, 결합 필터들 h _n,m 은 m = 1, 2에 대해 식 (7)에 의해 정의되며, 잔여 가산에 대한 결합 필터들은,

(31)

에 의해 정의된다.

이러한 디코딩 모드의 전체 구조는, 그러므로, P=M=3 으로 설정함으로써, 그리고 식 (7) 및 (31)에 의해 정의되는 선형 결합만을 실행하도록 결합기(203)를 변형함으로써, 도 2에 의해 또한 설명된다.

도 13은 도 3에서 선형 결합기(301)의 결과를 변형된 표현으로 도시한다. 결합기의 결과는 4 개의 HRTF-기반 필터들 h₁₁, h₁₂, h₂₁ 및 h₂₂이다. 도 16a 및 도 17의 설명으로부터 더욱 명백혀질 것이나, 이러한 필터들은 도 16a의 15, 16, 17, 18에 의해 표시되는 필터들에 상응한다.

도 16a이 좌측 귀 또는 좌측 바이노럴 포인트를 가지는, 그리고 우측 귀 또는 우측 바이노럴 포인트를 가지는 청취자의 머리를 보여준다. 도 16a가 단지 스테레오 시나리오에 대응하고자 하는 경우, 필터들(15, 16, 17, 18)은 인터넷을 통해, 혹은 상응하는 텍스트북에서, 청취자, 그리고 좌측 채널 스피커 및 우측 채널 스피커 사이의 다른 위치들에 대해 개별적으로 측정되거나 획득될 수 있는 통상적인 머리 관련 전달 함수들이다.

하지만, 본 발명이 멀티-채널 바이노럴 디코더에 관련된 것이므로, 15, 16, 17, 18에 의해 도시된 필터들은 순수한 HRTF 필터들은 아니지만, HRTF 특성들을 반 영할뿐만 아니라 또한 공간 파라미터들에 의존하고 또한, 특히, 도 2와 관련하여 논의된 바와 같은 공간 파라미터 세트 1 및 공간 파라미터 세트 2에 의존하는 HRTF-기반 필터들이다.

도 14는 도 16a에서 사용되는 HRTF-기반 필터들에 대한 원리를 보여준다. 특히, 청취자가, 예를 들어, 통상적인 서라운드 홈 또는 씨네마 엔터테인먼트 시스템 등에서 발견될 수 있는 5 채널 스피커 셋업에서 5 개 스피커 사이의 행복한 지점(sweet spot)에 위치하는 상황이 도시되어 있다. 각 채널에 대해, 전달 함수로서 HRTF를 가지는 필터의 채널 임펄스 응답들로 변환될 수 있는 2 개의 HRTF가 존재한다. 특히 해당 기술 분야에서 알려진 바와 같이, HRTF-기반 필터는 사람의 머리 내의 사운드 전파를 고려하여, 예를 들어, 도 14의 HRTF1은 스피커 L_s로부터 방출된 사운드가 청취자의 머리를 돌아 통과한 후 우측 귀를 만나는 상황을 고려하도록 한다. 이와는 대조적으로, 좌측 서라운드 스피커 L_s로부터 방출된 사운드는 거의 바로 좌측 귀를 만나고, 머리에서 귀의 위치 및 또한 귀의 모양 등에 의해 부분적으로만 영향을 받는다. 따라서, HRTF 1 및 2는 서로 다르다는 것이 명백해진다.

좌측 채널 L에 대한 양쪽 귀의 관계가 다르므로, 좌측 채널에 대한 HRTF 3 및 4에 대해서도 상기와 동일한 것이 적용된다. 위는 또한 모든 다른 HRTF들에도 적용되며, 물론, 도 14로부터 명백해지는 바와 같이, 개별적인 청취자들의 비대칭이 HRTF 데이터에 도입되지 않는 한, 중앙 채널을 위한 HRTF 5 및 6은 거의 동일하거나 심지어 서로 완전히 동일할 것이지만 말이다.

앞서 서술한 바와 같이, 이러한 HRTF들은 모델 머리에 대해 결정되었고, 어떤 특정 "평균 머리" 및 확성기 셋업에 대해서도 다운로드될 수 있다.

이제, 도 17의 171 및 172에서 명확해지는 바와 같이, 도 15에서 L'에 의해 지시되는 좌측 편을 위한 2 개의 HRTF-기반 필터들을 획득하기 위해 좌측 채널 및 좌측 서라운드 채널을 결합하기 위한 결합이 일어난다. 도 15의 R'에 의해 도시된 바와 같이 우측 편을 위해 동일한 절차가 실행되고, 이는 HRTF 13 및 HRTF 14를 도출한다. 이를 위해, 도 17의 아이템(173) 및 아이템(174)을 참조로 한다. 하지만, 여기서 아이템들(171, 172, 173 및 174)에서 각 HRTF를 결합하기 위해, 원래의 셋업의 L 채널 및 Ls 채널간 혹은 원래의 멀티-채널 셋업의 R 채널 및 Rs 채널간 에너지 분포를 반영하는 채널간 레벨 차이 파라미터들이 고려된다. 특히, 이러한 파라미터들은 HRTF들이 선형적으로 결합될 때의 가중 인자를 정의한다.

앞서 설명한 바와 같이, 위상 인자는 HRTF들을 결합할 때 또한 적용되며, 여기서 위상 인자는 시간 지연들 혹은 결합될 HRTF들 간의 전개된 위상 차이들에 의해 정의된다. 하지만, 이러한 위상 인자는 전송된 파라미터들에는 의존하지 않는다.

따라서, HRTF들(11, 12, 13, 및 14)은 진정한 HRTF 필터들이 아니지만, HRTF-기반 필터들인데, 이는 이러한 필터들이 전송된 신호에 독립적인 HRTF들에 의존할뿐만 아니기 때문이다. 대신, HRTF들(11, 12, 13 및 14)은 또한 전송된 신호에 의존하는데, 채널 레벨 차이 파라미터들 cld_l 및 cld_r가 이러한 HRTF들(11, 12, 13 및 14)을 계산하는 데 사용된다는 사실 때문이다.

이제, 바람직한 다운-믹스 신호에 포함된 것과 같은 2 개의 전송된 채널들이 아니라 3개의 채널들을 여전히 가지는 도 15의 상황이 얻어진다. 그러므로, 도 16a에 도시된 바와 같이 6 개의 HRTF들(11, 12, 5, 6, 13, 14)의 4 개의 HRTF들(15, 16, 17, 18)로의 조합이 행해질 필요가 있다.

이러한 목적을 위해 HRTF들(11, 5, 13)은 좌측 업믹스 규칙을 이용해 결합되고, 이것은 도 16b의 업믹스 매트릭스로부터 명확해진다. 특히 도 16b에 도시된 바와 같은 그리고 블록(175)에 표시된 바와 같은, 좌측 업믹스 규칙은 m₁₁, m_21,및m₃₁을 포함한다. 이러한 좌측 업믹스 규칙은 좌측 채널에 의해 곱해지는 구성만에 대한 도 16의 매트릭스 식에 있다. 따라서, 이러한 3 개의 파라미터들은 좌측 업믹스 규칙으로 불리워진다.

블록(176)에 약술된 바와 같이, 동일한 HRTF들(11, 5, 13)이 결합되지만 이제, 우측 업믹스 규칙, 즉, 도 16b의 우측 채널 R₀에 의해 곱해지는 데 모두 사용되는 도 16b의 실시예에서의 파라미터들 m₁₂, m_22,및m₃₂을 사용한다.

따라서, HRTF(15) 및 HRTF(17)가 생성된다. 도 15의 HRTF(12), HRTF(6), 및 HRTF(14)가 HRTF(16)를 획득하기 위해 업믹스 좌측 파라미터들 m₁₁, m_21,및m₃₁을 이용해 아날로그적으로 결합된다. 상응하는 결합이 HRTF(12), HRTF(6), 및 HRTF(14)를 이용해 수행되지만, 이제는 도 16a의 HRTF(18)을 획득하기 위해 m₁₂, m_22,및m₃₂ 에 의해 표시되는 업믹스 우측 파라미터들 또는 우측 업믹스 규칙을 사용해서이다.

다시, 도 14의 원래의 HRTF들은 전송된 신호에 모두 의존하지 않지만, 새로운 HRTF-기반 필터들(15, 16, 17, 18)은 이제 전송된 신호에 의존하는데, 멀티-채널 신호에 포함된 공간 파라미터들이 이러한 필터들(15, 16, 17, 18)을 계산하는데 사용되었기 때문이다.

최종적으로 바이노럴 좌측 채널 L_B 및 바이노럴 우측 채널 R_B을 획득하기 위해, 필터들(15 및 17)의 출력들이 가산기(130a)에서 결합되어야 한다. 아날로그적으로, 필터들(16 및 18)의 출력이 가산기(130b)에서 결합되어야 한다. 이러한 가산기들(130a, 130b)은 사람의 귀 내에서 두 신호의 중첩을 반영한다.

이어서, 도 18이 논의될 것이다. 도 18은 원래의 멀티-채널 신호로부터 도출된 다운믹스 신호를 이용하여 바이노럴 신호를 생성하는 본 발명에 따른 멀티-채널 디코더의 바람직한 일 실시예를 보여준다. 다운믹스 신호는 z₁, z₂에서 도시되어 있으며, 또한, "L" 및 "R"에 의해 표시된다. 또한, 다운믹스 신호는 관련된 파라미터들을 포함하는데, 이 파라미터들은 적어도, 좌측 및 좌측 서라운드에 대한 채널 레벨 차이 또는 우측 및 우측 서라운드에 대한 채널 레벨 차이, 및 업믹싱 규칙에 대한 정보이다.

자연적으로, 원래의 멀티-채널 신호가 단지 3-채널 신호인 경우, cld_l 또는 cld_r은 전송되지 않고, 파라메트릭 부가 정보만이, 앞서 설명한 바와 같이, 업믹싱된 신호에서의 에너지-에러를 초래하는 이러한 업믹스 규칙인 업믹스 규칙에 대한 정보가 될 것이다. 따라서, 비-바이노럴 렌더링이 수행될 때 업믹싱된 신호들의 파형들이 원래의 파형에 가능한한 가깝게 매칭될지라도, 업믹싱된 채널들의 에너지가 상응하는 원래 채널들의 에너지와는 다르다.

도 18의 바람직한 실시예에서, 업믹스 규칙 정보는 2개의 업믹스 파라미터들 cpc₁, cpc₂에 의해 반영된다. 하지만, 어떤 다른 업믹스 규칙 정보도 적용될 수 있으며 특정 개수의 비트를 통해 시그널링될 수도 있다. 특히, 디코더에서 기설정된 테이블을 이용해 특정 업믹스 시나리오 및 업믹스 파라미터들을 시그널링하여 테이블 인덱스들만이 인코더로부터 디코더로 전송되어야 하도록 할 수 있다. 대안적으로, 2로부터 3 이상으로의 업믹스와 같은 다른 업믹싱 시나리오를 또한 사용할 수도 있다. 또한, 2 개의 예측 업믹스 파라미터들 이상을 전송할 수도 있으며, 이는 그러면, 도 20을 참조하여 보다 자세히 논의될 업믹스 규칙에 적합해야 할 상응하는 다른 다운믹스 규칙을 필요로 하게 될 것이다.

업믹스 규칙 정보에 관한 바람직한 일 실시예와 무관하게, 에너지-손실 영향을 받는 업믹스 채널들의 세트를 생성하기 위한 업믹스가 가능한한 어떤 업믹스 규칙 정보라도 충분하며, 이는 상응하는 원래의 신호 세트에 파형-매칭된다.

본 발명의 멀티-채널 디코더는 에너지-에러를 감소 또는 제거하기 위한 적어도 하나의 이득 인자 g_l, g_r, g를 계산하기 위한 이득 인자 계산기(180)를 포함한다. 이득 인자 계산기는 업믹스 규칙이 적용될 때 얻어지는 업믹스 채널들에 상응하는 HRTF-기반 필터들의 필터 특성들 및 업믹스 규칙 정보에 기반하는 이득 인자 를 계산한다. 하지만, 앞서 설명한 바와 같이, 바이노럴 렌더링에서, 이러한 업믹스는 일어나지 않는다. 그럼에도 불구하고, 도 15 및 도 17의 블록들(175, 176, 177, 178)과 관련하여 설명된 바와 같이, 이러한 업믹스 채널들에 상응하는 HRTF-기반 필터들이 사용된다.

앞서 설명한 바와 같이, 이득 인자 계산기(180)는 식 (27)에서 설명된 바와 같이, n 대신 l 또는 r을 대입하여 다른 이득 인자들을 계산할 수 있다. 대안적으로, 이득 인자 계산기가 식 (28)에 의해 나타난 바와 같이 양 채널들을 위한 하나의 이득 인자를 생성할 수도 있다.

중요하게는, 본 발명의 이득 인자 계산기(180)는 업믹스 규칙뿐 아니라, 업믹스 채널들에 상응하는 HRTF-기반 필터들의 필터 특성들에 기반한 이득 인자를 계산한다. 이는 필터들 자신들이 전송된 신호들에 또한 의존하고, 에너지-에러에 또한 영향을 받는 상황을 반영한다. 따라서, 에너지-손실은 예측 파라미터들 CPC₁, CPC₂와 같은 업믹스 규칙 정보에 의해 야기될 뿐 아니라 필터들 자신들에 의해서도 또한 영향을 받는다.

그러므로, 잘-적응된 이득 보정을 얻기 위해서는, 본 발명의 이득 인자는 예측 파라미터에 의존할뿐 아니라 업믹스 채널들에 상응하는 필터들에도 또한 의존한다.

HRTF-기반 필터들뿐 아니라 이득 인자 및 다운믹스 파라미터들이, 좌측 바이노럴 채널 L_B및 우측 바이노럴 채널 R_B을 가지는 에너지-보정된 바이노럴 신호를 획득하기 위해 다운믹스 신호를 필터링하는 필터 프로세서(182)에 사용된다.

바람직한 일 실시예에서, 이득 인자는 이러한 전체 에너지와 추정된 업믹스 에너지 에러 ΔE 간의 차이에 대한 업믹스 채널들에 상응하는 필터들의 채널 임펄스 응답들에 포함된 전체 에너지 간의 관계에 의존한다. ΔE는, 바람직하게, 업믹스 채널들에 상응하는 필터들의 채널 임펄스 응답들을 결합하고, 결합된 채널 임펄스 응답의 에너지를 계산함으로써 계산될 수 있다. ΔE 및 E에 대한 정의로부터 명확해지는, 도 18의 G_L 및 G_R 에 대한 관계에서의 모든 숫자는 양의 숫자이므로, 이득 인자들 양자가 1보다 큰 것이 명백하다. 이는 도 5에 도시된 경험을 반영하는데, 대부분의 경우 바이노럴 신호의 에너지는 원래의 멀티-채널 신호의 에너지보다 낮다는 것이다. 멀티-채널 이득 보상이 적용된 경우, 즉 인자 ρ이 대부분의 신호들에서 사용되는 경우라 하더라도, 에너지-손실이 야기된다는 것 또한 유의해야 한다.

도 19a는 도 18의 필터 프로세서(182)의 바람직한 일 실시예를 도시한다. 특히, 도 19a는, 블록(182a)에서 이득 보상 없는 결합 필터들(15, 16, 17, 및 18)이 사용되고 필터 출력 신호들이 도 13에 서술된 바와 같이 가산되는 경우의 상황을 도시한다. 그러면, 박스(182a)의 출력이 박스(180)에 의해 계산되는 이득 인자를 이용하여 출력을 스케일링하기 위한 스케일러 박스(182b)로 입력된다.

대안적으로, 필터 프로세서는 도 19b에 나타난 바와 같이 구성된다. 여기서, HRTF들(15 내지 18)이 박스(182c)에 도시된 바와 같이 계산된다. 따라서, 계산 기(182c)는 어떤 이득 조절도 없이 HRTF 결합을 수행한다. 그리고, 본 발명적으로 계산된 이득 인자를 사용하는 필터 조절기(182d)가 제공된다. 필터 조절기는 블록(180e)에 도시된 바와 같은 조절된 필터들을 낳는데, 블록(180e)은 도 13에 도시된 바와 같이 조절된 필터를 이용해 필터링을 수행하고 후속하는 상응하는 필터 출력의 가산을 수행한다. 따라서, 이득-보정된 바이노럴 채널들 L_B 및 R_B를 획득하기 위한 도 19a에서와 같은 포스트-스케일링(post-scaling)이 필요치 않다.

일반적으로, 식 (16), 식 (17), 및 식 (18)와 관련하여 설명된 바와 같이, 이득 조절은 추정된 업믹스 에러 ΔE를 이용해 발생한다. 이러한 추정은 업믹스 채널들의 개수가 다운믹스 채널들의 개수 + 1 과 동일한 경우 특히 유용하다. 따라서, 2 개의 다운믹스 채널들의 경우, 이러한 추정은 3 개의 업믹스 채널들에 대해 잘 적용된다. 대안적으로, 3 개의 다운믹스 채널들을 가지는 경우, 이러한 추정은 또한, 4 개의 업믹스 채널들이 있는 시나리오에 잘 적용될 것이다.

하지만, 업믹스 에러의 추정에 기초한 이득 인자의 계산은 또한, 3 개의 다운믹스 채널들을 이용하여 예측된 5 개의 채널들이 예측되는 예에서의 시나리오에 대해서도 수행될 수 있다. 대안적으로, 2 개의 다운믹스 채널들로부터 4 개의 업믹스 채널들로의 예측-기반 업믹스를 이용할 수도 있다. 추정된 업믹스 에너지-에러 ΔE와 관련하여, 바람직한 경우에 대해 식 (25)에 나타난 바와 같은 이러한 추정된 에러를 바로 계산할 뿐만 아니라, 비트 스트림에서 실제로 발생된 업믹스 에러에 대한 어떠한 정보 또한 전송할 수 있다. 그럼에도 불구하고, 식 (25) 내지 (28)과 관련하여 도시된 특별한 경우와 다른 경우에서조차도, 예측 파라미터들을 이용하여 업믹스 채널들에 대한 HRTF-기반 필터에 기초하여 값

을, 그러면 계산할 수 있다. 식 (26)이 고려될 때, 이 식이 2/4 예측 업믹스 방법에 대해서, HRTF-기반 필터 임펄스 응답들의 에너지에 대한 가중 인자들이 대응적으로 적용될 때, 용이하게 적용될 수 있음이 분명해진다.

그러한 관점에서, 식 (27)의 일반적인 구조, 즉

의 관계에 기초하여 이득 인자를 계산하는 것이 또한 다른 시나리오들에 대해서도 적용된다.

이어서, 도 20이, 디코더로 전송된 다운믹스 신호 L, R 및 업믹스 규칙 정보를 생성하는 데 사용될 수 있어, 디코더가 바이노럴 필터 프로세서 측면에서 이득 보상을 수행할 수 있도록 하는 예측-기반 인코더의 도식적인 구현을 보여주기 위해 논의될 것이다.

다운믹서(191)는 5 개의 원래의 채널들, 또는 대안적으로는 (Ls 및 Rs)에 의해 도시되는 3 개의 원래의 채널들을 수신한다. 다운믹서(191)는 기설정된 다운믹스 규칙에 기초하여 동작할 수 있다. 그 경우, 선(192)에 의해 도시되는 다운믹스 규칙 표시는 필요치 않다. 자연적으로, 에러-최소화기(193)는 상응하는 원래의 입력 채널들과 관련하여 업믹서(194)의 출력에서 재구성된 채널들간의 에러를 최소화하기 위해 다운믹스 규칙을 또한 변경시킬 수 있다.

따라서, 에러-최소화기(193)는 다운믹스 규칙(192) 또는 업믹서 규칙(196)을 변화시켜 재구성된 채널들이 최소 예측 손실 ΔE를 가지도록 할 수 있다. 이러한 최적화 문제는 에러-최적화(193) 내에 잘 알려진 알고리즘의 어느 하나에 의해 해결되며, 에러-최적화기는 바람직하게는 재구성 채널들 및 입력 채널들 간의 차이를 최소화하기 위하여 서브밴드 방식으로 동작한다.

앞서 설명한 바와 같이, 입력 채널들은 원래의 채널들 L, Ls, R, Rs, C이 될 수 있다. 대안적으로 입력 채널들은 3 개의 채널들 L, R, C만이 될 수도 있으며, 이러한 맥락에서 입력 채널들 L, R은 도 11에 도시된 상응하는 OTT 박스에 의해 도출될 수도 있다. 또한, 원래의 신호가 채널들 L, R, C만을 가진다면, 이러한 채널들은 또한 "원래의 채널들"이라고 칭해질 수도 있다.

도 20은 또한, 디코더가 이러한 업믹스 규칙 정보를 사용하여 업믹스를 수행하기 위한 위치에 있는 한, 2 개의 예측 파라미터들의 전송 외에 어떤 업믹스 규칙 정보라도 사용될 수 있음을 도시한다. 따라서, 업믹스 규칙 정보는 또한 검색 테이블(lookup table) 또는 어떤 다른 업믹스 관련 정보로의 엔트리가 될 수 있다.

그러므로, 본 발명은 HRTF 필터링을 수단으로 하여 유효한 다운믹싱된 신호들 및 부가적인 제어 데이터에 기초한 멀티-채널 오디오 신호들의 바이노럴 디코딩을 수행하는 효과적인 방법을 제공한다. 본 발명은 바이노럴 디코딩을 이용한 예측 매트릭스의 결합으로부터 야기되는 스펙트럼 채색의 문제에 대한 해결책을 제공한다.

본 발명의 방법들의 특정 구현 요구사항들에 따라, 본 발명의 방법은 하드웨어 또는 소프트웨어적으로 구현될 수 있다. 본 발명이 실행되도록 프로그램 가능한 컴퓨터 시스템과 협력하는, 디지털 메모리 매체, 특히 전자적으로 판독 가능한 제어 신호들을 가지는 디스크, DVD 혹은 CD 상에 구현될 수도 있다. 따라서, 일반적으로 본 발명은, 컴퓨터 프로그램 제품이 컴퓨터 상에서 동작할 때 본 발명의 방법을 실행하기 위한, 기계-판독 가능한 캐리어(carrier) 상에 저장된 프로그램 코드를 가지는 컴퓨터 프로그램 제품일 수 있다. 즉, 본 발명의 방법은 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 본 발명에 따른 방법 중 적어도 하나를 실행하는 프로그램 코드를 갖는 컴퓨터 프로그램이다.

비록 앞서에서는 특정 실시예를 참조하여 특별히 도시 및 설명하였지만, 해당 기술분야의 숙련된 당업자는 본 발명의 사상적 범위로부터 벗어나지 않는 범위 내에서 본 발명의 형태 및 세부사항을 다양하게 변경시킬 수 있음을 이해할 수 있을 것이다. 여기에 개시되고 하기의 특허 청구의 범위에 의해 개시되는 보다 넓은 개념을 벗어나지 않으면서, 다른 실시예들에 적용되기 위해 다양한 변경이 이루어질 수 있음 또한 이해되어야 할 것이다.

Claims

업믹스 규칙을 이용해 다운믹스 신호를 업믹싱하는 데 사용 가능한 업믹스 규칙 정보를 포함하는 파라미터들을 사용하여 원래의 멀티-채널 신호로부터 도출된 다운믹스 신호로부터 바이노럴 신호를 생성하는, 멀티-채널 디코더로서,

업믹스 채널들과 관련한 업믹스 규칙 정보 및 머리 관련 전달 함수 기반 필터들의 필터 특성들에 기반하여, 에너지-에러를 감소시키거나 또는 제거시키기 위한 적어도 하나의 이득 인자를 계산하는 이득 인자 계산기; 및

에너지-보정된 바이노럴 신호를 획득하기 위해, 상기 적어도 하나의 이득 인자, 상기 필터 특성들 및 상기 업믹스 규칙 정보를 사용하여 다운믹스 신호를 필터링하는 필터 프로세서로를 포함하는 멀티-채널 디코더.
청구항 1에 있어서,

상기 필터 프로세서는, 상기 다운믹스 신호의 각 채널에 대해 2 개의 이득 조절된 필터들에 대한 필터 계수들을 계산하고, 2 개의 이득 조절된 필터들 각각을 이용해 상기 다운믹스 채널을 필터링하도록 동작하는, 멀티-채널 디코더.
청구항 1에 있어서,

상기 필터 프로세서는, 상기 다운믹스 신호의 각 채널에 대해 2 개의 필터들에 대한 필터 계수들을 이득 인자를 사용하지 않고 계산하고, 상기 다운믹스 채널 들을 필터링하고, 상기 다운믹스 채널의 필터링에 이어 이득 조절을 하도록 동작하는, 멀티-채널 디코더.
청구항 1에 있어서,

상기 이득 인자 계산기는 필터 특성들의 결합된 임펄스 응답의 에너지에 기초하여 이득 인자를 계산하도록 동작하되, 상기 결합된 임펄스 응답은 개별 필터 임펄스 응답들을 합산하거나 감산함으로써 계산되는, 멀티-채널 디코더.
청구항 1에 있어서,

상기 이득 인자 계산기는 개별적인 필터 임펄스 응답들의 파워의 결합에 기초하여 이득 인자를 계산하도록 동작하는, 멀티-채널 디코더.
청구항 5에 있어서,

상기 이득 인자 계산기는 개별적인 필터 임펄스 응답들의 파워의 가중된 합산에 기초하여 이득 인자를 계산하도록 동작하되, 상기 가중된 합산에 사용된 가중 계수들은 업믹스 규칙 정보에 기반하는, 멀티-채널 디코더.
청구항 1에 있어서,

상기 이득 인자 계산기는 분자 및 분모를 가지는 표현에 기초하여 이득 인자를 계산하도록 동작하되, 상기 분자는 개별적인 필터 임펄스 필터 응답들의 파워의 조합을 가지고 상기 분모는 개별적인 필터 임펄스 응답들의 파워의 가중된 합산을 가지며, 상기 가중된 합산에 사용되는 가중 계수들은 업믹스 규칙 정보에 기반하는, 멀티-채널 디코더.
청구항 1에 있어서,

상기 이득 인자 계산기는 아래의 수학식에 기초하여 상기 이득 인자를 계산하도록 동작하되,

g_n은 n이 1로 설정되었을 때 제1 채널에 대한 이득 인자, g₂는 n이 2로 설정되었을 때 제2 채널에 대한 이득 인자이고,
는 가중 파라미터들을 이용하여 채널 임펄스 응답들의 가중 에너지들에 의해 계산된 가중된 합산 에너지,
는 상기 업믹스 규칙에 의해 나타난 에너지 에러에 대한 추정이고, α, β, γ는 업믹스 규칙 의존 파라미터들이며, ε은 0 이상의 값인, 멀티-채널 디코더.
청구항 8에 있어서,

상기 이득 인자 계산기는, 아래의 식에 기초하여 En 및 ΔEn를 계산하며,

여기서, b_n,1은 제1 업믹스 채널 및 제n 바이노럴 채널에 대응하는 HRTF-기반 필터이고, b_n,2는 제2 업믹스 채널 및 제n 바이노럴 채널에 상응하는 HRTF-기반 필터 임펄스 응답이고, b_n,3은 제3 업믹스 채널 및 제n 바이노럴 채널에 대응하는 HRTF-기반 필터 임펄스 응답이고,

여기서, 아래의 정의들

및

이 유효하며, c₁은 제1 예측 파라미터, c₂는 제2 예측 파라미터이고, 상기 제1 예측 파라미터 및 상기 제2 예측 파라미터는 상기 업믹스 규칙 정보를 구성하는, 멀티-채널 디코더.
청구항 1에 있어서,

상기 이득 인자 계산기는 좌측 바이노럴 채널 및 우측 바이노럴 채널에 애한 공통 이득 인자를 계산하도록 동작하는, 멀티-채널 디코더.
청구항 1에 있어서,

상기 필터 프로세서는, 필터 특성으로서, 가상 중앙, 좌측 및 우측 위치들에 대해 좌측 바이노럴 채널 및 우측 바이노럴 채널에 대한 머리 관련 전달 함수 기반 필터들을 사용하고, 가상 좌전방 위치 및 가상 좌 서라운드 위치에 대한 HRTF 필터들을 결합하거나 또는 가상 우전방 위치 및 가상 우 서라운드 위치에 대한 HRTF 필터들을 결합함으로써 도출되는 필터 특성들을 사용하도록 동작하는, 멀티-채널 디코더.
청구항 11에 있어서,

원래의 좌측 및 좌측 서라운드 채널들 또는 원래의 우측 또는 우측 서라운드 채널들과 관련한 파라미터들은 디코더 입력 신호 내에 포함되어 있고

상기 필터 프로세서는 머리 관련 전달 함수 필터들을 결합하기 위해 상기 파라미터들을 사용하도록 동작하는, 멀티-채널 디코더.
청구항 1에 있어서,

상기 이득 인자 계산기는, 상기 바이노럴 채널에 대한 HRTF-기반 필터들의 채널 임펄스 응답들의 에너지들의 가중된 선형 조합의 비율 및 상기 가중된 선형 조합에서 추정된 에너지-에러를 감산함으로써 얻어지는 값에 기초하여 바이노럴 채널에 대한 이득 인자를 계산하도록 동작하는, 멀티-채널 디코더.
청구항 13에 있어서,

상기 이득 인자 계산기는, 가중 인자를 결정하기 위해 업믹스 규칙에 대한 정보를 사용하도록 동작하는, 멀티-채널 디코더.
청구항 14에 있어서,

상기 업믹스 규칙 정보는, 대응하는 3 개의 입력 채널들에 대해 에너지-에러를 가지는 출력 채널들을 도출하는 업믹스 매트릭스를 구성하는 데 사용될 수 있는 적어도 2 개의 예측 파라미터들을 포함하는, 멀티-채널 디코더.
청구항 1에 있어서,

상기 필터 프로세서는, 필터 특성으로서,

제1 좌측 바이노럴 출력을 획득하기 위해 좌측 다운믹스 채널을 필터링하는 제1 필터,

제2 좌측 바이노럴 출력을 획득하기 위해 우측 다운믹스 채널을 필터링하는제2 필터,

제1 우측 바이노럴 출력을 획득하기 위해 좌측 다운믹스 채널을 필터링하는제3 필터,

제2 우측 바이노럴 출력을 획득하기 위해 우측 다운믹스 채널을 필터링하는제4 필터,

좌측 바이노럴 채널을 획득하기 위해 상기 제1 좌측 바이노럴 출력 및 상기 제2 좌측 바이노럴 출력을 합산하고, 우측 바이노럴 채널을 획득하기 위해 상기 제1 우측 바이노럴 출력 및 상기 제2 우측 바이노럴 출력을 합산하는 가산기를 포함하고,

상기 필터 프로세서는, 상기 좌측 바이노럴 채널에 대한 이득 인자를, 합산 전후에 제1 및 제2 필터들 혹은 상기 좌측 바이노럴 출력에 적용하도록, 그리고, 상기 우측 바이노럴 채널에 대한 이득 인자를, 합산 전후에 상기 제3 필터 및 상기 제4 필터 또는 상기 우측 바이노럴 출력에 적용하도록 동작하는, 멀티-채널 디코더.
청구항 1에 있어서,

상기 업믹스 규칙 정보는 2개로부터 3개 채널로의 업믹스를 도출하는 업믹스 매트릭스를 구성하는 데 사용될 수 있는 업믹스 파라미터들을 포함하는, 멀티-채널 디코더.
청구항 17에 있어서,

상기 업믹스 규칙은,

와 같이 정의되고, 여기서 L은 제1 업믹스 채널, R은 제2 업믹스 채널, C는 제3 업믹스 채널, L₀는 제1 다운믹스 채널, R₀는 제2 다운믹스 채널, 그리고, m_ij는 업믹스 규칙 정보 파라미터들인, 멀티-채널 디코더.
청구항 1에 있어서,

멀티-채널 디코더 입력 신호 내에 예측 손실 파라미터가 포함되어 있고,

필터 프로세서가 상기 예측 손실 파라미터를 이용해 상기 이득 인자를 스케일링하도록 동작하는, 멀티-채널 디코더.
청구항 1에 있어서,

상기 이득 계산기는 서브밴드 방식으로 상기 이득 인자를 계산하도록 동작하고,

상기 필터 프로세서는 상기 이득 인자를 서브밴드 방식으로 적용하도록 동작하는, 멀티-채널 디코더.
청구항 11에 있어서,

상기 필터 프로세서는, 상기 HRTF 필터들의 채널 임펄스 응답들의 가중된 또는 위상 시프트된 버전들을 합산함으로써 2 개의 채널들과 관련된 HRTF 필터들을 결합하도록 동작하고, 상기 채널 임펄스 응답들을 가중하는 가중 인자들은 채널들 간의 레벨 차이에 기초하는 HRTF 필터들이고, 적용된 위상 시프트는 상기 HRTF 필 터들의 채널 임펄스 응답들 간의 시간 지연에 의존하는, 멀티-채널 디코더.
청구항 1에 있어서,

HRTF-기반 필터들 또는 HRTF 필터들의 필터 특성들은, 복소-지수적 변조된 필터뱅크를 이용해 HRTF 필터의 실수 값의 필터 임펄스 응답을 필터링함으로써 얻어지는 복소 서브밴드 필터들인, 멀티-채널 디코더.
업믹스 규칙을 이용해 다운믹스 신호를 업믹싱하는 데 사용 가능한 업믹스 규칙 정보를 포함하는 파라미터들을 사용하여 원래의 멀티-채널 신호로부터 도출된 다운믹스 신호로부터 바이노럴 신호를 생성하는, 멀티-채널 디코딩 방법으로서,

업믹스 채널들과 관련한 업믹스 규칙 정보 및 머리 관련 전달 함수 기반 필터들의 필터 특성들에 기반하여, 에너지-에러를 감소시키거나 또는 제거시키기 위한 적어도 하나의 이득 인자를 계산하는 단계; 및

에너지-보정된 바이노럴 신호를 획득하기 위해, 상기 적어도 하나의 이득 인자, 상기 필터 특성들 및 상기 업믹스 규칙 정보를 사용하여 다운믹스 신호를 필터링하는 단계를 포함하는 멀티-채널 디코딩 방법.
컴퓨터 상에서 동작할 때, 청구항 23에 따른 방법을 수행하는 프로그램 코드를 가지는 컴퓨터 프로그램.