KR100885192B1

KR100885192B1 - 개선된 성능의 예측 기반의 멀티 채널 복원 방법, 장치 및 그 구성 요소

Info

Publication number: KR100885192B1
Application number: KR1020067026450A
Authority: KR
Inventors: 라르스 빌레뫼스; 크리스토퍼 크죌링; 하이코 푸른하겐; 요나스 뢰덴; 제뢴 브레바트; 게라드 호토
Original assignee: 돌비 스웨덴 에이비; 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2004-11-02
Filing date: 2005-10-28
Publication date: 2009-02-24
Also published as: JP4527781B2; US20060165237A1; RU2006146947A; HK1097082A1; ES2292147T3; JP2008517337A; EP1738353B1; RU2369918C2; EP1730726B1; ATE375590T1; ES2294738T3; EP1738353A1; DE602005002256D1; US8515083B2; JP4527782B2; TWI338281B; HK1097336A1; US20060140412A1; KR20070038043A; KR20070049627A

Abstract

적어도 하나의 베이스 채널에 근거하는 오디오 신호의 멀티채널 복원을 위해서, 에너지 측도가 예측 업믹스로 인한 에너지 손실을 보상하는데 이용된다. 에너지 측도는 인코더 또는 디코더에서 적용될 수 있다. 또한, 비상관 신호가 에너지-손실 도입 업믹싱 과정에 의해 발생된 출력 채널에 가산된다. 비상관 신호의 에너지는 예측 업믹스에 의해 도입된 에너지 에러 보다 작거나 그와 같다. 따라서, 고주파수 복원 기술로 코딩된 업믹싱 신호와 같이 예측 기반 업믹스 방법에 대하여 발생하는 문제가 해결되어서, 업믹스된 신호들 간의 정확한 상관관계가 얻어지거나, 업믹스가 임의의 다운믹스에 맞게 조절된다.

에너지 측도, 스케일링 팩터, 에너지 손실, 업믹싱 파라미터

Description

개선된 성능의 예측 기반의 멀티 채널 복원 방법, 장치 및 그 구성 요소{Methods and apparatuses for improved performance of prediction based multi-channel reconstruction of audio signals and component thereof}

본 발명은 획득가능한 스테레오 신호 및 추가적인 제어 데이터에 기반을 둔 오디오 신호의 멀티채널 복원에 관한 것이다.

오디오 코딩에 있어서의 최근 발전은 스테레오(또는 모노) 신호 및 해당 제어 데이터에 근거하여 오디오 신호의 멀티채널 표현(representation)을 재생성할 수 있도록 하였다. 이들 방법은, 업믹스(up-mix)라고 불리기도 하는, 추가적인 제어 데이터가 전송된 모노 또는 스테레오 채널에 근거하여 서라운드 채널의 재생성을 제어하기 위해 전송되기 때문에, 돌비 프로로직(Dolby Prologic)과 같은 과거의 매트릭스 기반 솔루션과는 실질적으로 다르다.

따라서, 파라메트릭 멀티채널 오디오 디코더는 전송된 M 채널에 근거하여 N채널을 복원하며, 여기서 N > M이고, 추가적인 제어 데이터이다. 추가적인 제어 데이터는 추가적인 N-M 채널을 전송하는 것보다 상당히 낮은 데이터율(rate)을 나타내며, 코딩을 매우 효율적이게 하고, 동시에 M 채널 디바이스 및 N 채널 디바이스 와 호환성을 갖도록 한다.

이 파라메트릭 서라운드 코딩 방법은 통상 IID(인터채널 강도 차: Inter channel Intensity Difference) 및 ICC(인터채널 가간섭성: Inter Channel Coherence)에 기반을 둔 서라운드 신호의 파라미터화를 포함한다. 이들 파라미터는 업믹스 프로세스에 있어서의 채널 쌍 간에 파워 비율(ratio) 및 상관관계를 나타낸다. 또한 종래 기술에서 이용된 파라미터들은 업믹스 과정 동안에 중간 또는 출력 채널을 예측하는데 이용되는 예측 파라미터를 포함한다.

종래 기술에 설명된 바와 같이, 예측 기반 방식 중에서 가장 매력적인 사용의 하나는, 2개의 전송된 채널로부터 5.1 채널을 복원하는 시스템이다. 이 구성에서는 스테레오 전송이 디코더 측에서 가능하며, 이는 오리지널 5.1 멀티채널 신호의 다운믹스이다. 여기에서 특히 흥미로운 것은, 중앙 채널이 통상 좌측 및 우측 다운믹스 채널 둘 다에 다운믹스되기 때문에, 스테레오 신호로부터 가능한 한 정확하게 중앙채널을 추출할 수 있다는 것이다. 이는, 중앙 채널을 형성하는데 이용된 2개의 전송된 채널 각각에 대한 량을 나타내는 예측 계수를 평가함으로써 수행된다. 이들 파라미터는 상술한 IID 및 IIC 파라미터와 유사한 다른 주파수 영역에 대해서 평가된다.

그러나 예측 파라미터가 2개 신호의 파워 비율을 나타내지는 않지만, 최소 자승 에러 센스(least square error sense)에서의 파형(wave-form) 매칭(mathcing)에 기반을 두기 때문에, 이 방법은 본질적으로 예측 파라미터의 계산 이후에 스테레오 파형에 대한 어떠한 변경에도 민감하게 된다.

최근의 오디오 코딩에서의 다른 발전은 저 비트레이트에서의 오디오 코덱에 있어서 매우 유용한 도구인 고 주파수 복원 방법이다. 일례는 SBR (스펙트럼 밴드 복제: Spectral Band Replication) (W0 98/57436)로서, 이는 MPEG-4 고효율 AAC와 같은 MPEG 표준화 코덱에 이용되는 것이다. 이들 방법의 공통점은, 디코더 측에서, 기본적인 코어코덱과 적은 량의 추가 안내 정보에 의해 코딩된 협대역 신호로부터, 고 주파수를 재생성한다는 것이다. 1 또는 2 채널에 근거하여 멀티채널 신호의 파라메트릭 복원하는 경우와 유사하게, 미싱(missing) 신호 성분(SBR의 경우, 고 주파수)을 재생성하는 데 필요한 제어 데이터의 량은, 전체 신호를 파형 코덱으로 코딩하는 데 필요하게 될 데이터 량 보다 훨씬 적다.

그러나 재생성된 고대역 신호는 오리지날 고대역 신호와 지각적으로는 동일하지만, 실제 파형은 상당히 다르다는 것을 이해하여야 한다. 또한, 저 비트레이트의 스테레오 신호를 코딩하는 파형 코더에 대해서, 스테레오 사전처리(pre-processing)가 일반적으로 이용되며, 이는 스테레오 신호의 미드(mid)/사이드(side) 표현의 사이드(side) 신호에 대한 제한이 수행된다는 것을 의미한다.

멀티채널 표현이 바람직하게 MPEG-4 고효율 AAC를 이용하거나, 또는 고 주파수 복원 기술을 사용하는 다른 어떤 코덱을 이용하는 스테레오 코덱 신호에 기반을 둘 경우에, 다운믹스된 스테레오 신호를 코딩하는 데 이용된 코덱에 대한 이러한 관점과 다른 관점들이 고려되어야 한다.

더 나아가, 멀티채널로서 이용할 수 있는 레코딩을 위해서, 멀티채널 신호의 자동 다운믹스 버전이 아닌, 이용가능한 전용 스테레오 믹스가 있다는 것이 일반적이다. 이는 통상 "정교한 다운믹스(artistic down-mix)"라고 불린다. 이 다운믹스는 멀티채널 신호의 선형 결합으로 표현될 수 없다.
C.Faller의 2004년 9월 24일 PHD 논문 번호 3062 "공간 오디오의 파라메트릭 코딩"에는 복수의 오디오 전송 채널이 포함된 BCC 설계(BCC scheme)를 개시한다. 인코더에서, 입력 채널 C는 전송된 오디오 채널 E로 다운믹스된다. 특정 채널 쌍간의 인터채널 시간차(inter channel time differences), 인터채널 레벨차(inter channel level differences), 및 인터채널 가간섭성(inter channel coherence) 측도는 시간 및 주파수의 함수로서 예측된다(estimated). 예측된 큐(cue)들은 사이드 정보로서 디코더로 전송된다. 디코더측에서, 전송된 오디오 채널 및 사이드 정보(side information)를 포함한 파라미터는 멀티채널 출력신호의 통합을 실행하기 위해 사용된다.
당해 출원의 우선권 날짜 후에 출간된 WO 2005/086139 A1은 오디오의 복수 채널들이 모노포닉 합성신호(monophonic composite signal)와 결합하거나, 또는 오디오의 복수 채널이 복원된 보조정보와 관련된 오디오의 복수 채널에 결합되는 멀티채널 오디오 코딩설계(multi-channel audio coding schme)를 개시한다. 인코딩 과정에서 커플링 아티팩트(coupling artifacts)는 관계있는 인터채널 위상을 다운믹싱하기 전에 조절함으로서 축소된다. 재생성된 신호의 공간 차수 (spatial dimensionality)는 위상각 및 디코더의 비상관정도를 복구함으로서 개선된다.

본 발명의 목적은 향상된 품질을 갖는 복원된 멀티채널 출력을 얻는, 개선된 멀티채널 다운믹스/인코더 또는 업믹스 디코더 컨셉을 제공하는 것이다.

이러한 목적은 청구항 1에 따른 멀티채널 합성기와, 청구항 28에 따른 멀티채널 입력 신호를 처리하는 인코더, 청구항 40에 따른 적어도 3개의 출력 채널을 발생하는 방법, 청구항 41에 따른 인코딩 방법, 청구항 42에 따른 인코딩된 멀티채널 신호, 또는 청구항 43에 따른 기계-판독형 매체(machine-readable medium)에 의해 달성된다. 또한 본 발명의 목적은 적어도 하나의 베이스 채널을 갖는 입력 신호를 이용하여 적어도 3개의 출력 채널을 발생하는 방법, 멀티채널 입력 신호를 처리하는 방법, 송신기, 오디오 레코더, 수신기, 오디오 플레이어, 전송시스템, 송신 방법, 오디오 레코딩 방법, 수신 방법, 및 오디오를 플레이시키는 방법에 의해 달성된다.

본 발명은, 예측 기반 업믹스 방법이 이용될 경우에 있어서, 다운믹스된 멀티채널 신호의 파형 변경 문제에 관한 것이다. 이는 스테레오 사전 처리를 수행하는 코덱, 고 주파수 복원, 및 파형을 상당히 변경하는 다른 코딩 구성에 의해, 다운믹스된 신호가 코딩된 경우를 포함한다. 또한, 본 발명은 정교한 다운믹스를 위한, 즉 멀티채널 신호로부터 자동적이지 않은 다운믹스 신호를 위한, 예측 업믹스 기술을 이용할 경우에 발생하는 문제를 다룬다.

본 발명은 다음의 특징들을 포함한다:

- 다운믹스된 파형 대신 변경된 파형에 근거하여 예측 파라미터를 평가;

- 유리한 주파수 범위에서만 예측 기반 방법의 이용;

- 에너지 손실 및 예측 기반 업믹스 과정에 도입된 채널들 간의 부정확한 상관관계의 보정.

이하, 첨부한 도면을 참조하여, 본 발명의 범위와 사상을 제한하지 않는 예시적인 예를 들어 본 발명을 설명한다.

도 1은 2개채널로부터 3개채널로의 예측 기반 복원을 나타내는 도면이다.

도 2는 에너지 보상을 가지는 예측 업믹스를 나타내는 도면이다.

도 3은 예측 업믹스에서의 에너지 보상을 나타내는 도면이다.

도 4는 다운믹스 신호의 에너지 보상을 갖는 인코더 측에서의 예측 파라미터 평가기(estimator)를 나타내는 도면이다.

도 5는 상관관계 복원을 가지는 예측 업믹스를 나타내는 도면이다.

도 6은 상관관계 복원을 가지는 업믹스에서, 비상관(decorrelated) 신호를 다운믹스된 신호와 믹싱하는 믹싱 모듈을 나타내는 도면이다.

도 7은 상관관계 복원을 가지는 업믹스에서, 비상관 신호를 업믹스된 신호와 믹싱하는 믹싱 모듈의 다른 예를 나타내는 도면이다.

도 8은 인코더 측에서의 예측 파라미터 평가를 나타내는 도면이다.

도 9는 인코더 측에서의 예측 파라미터 평가를 나타내는 도면이다.

도 10은 인코더 측에서의 예측 파라미터 평가를 나타내는 도면이다.

도 11은 본 발명의 업믹서(up-mixer) 디바이스를 나타내는 도면이다.

도 12는 에너지-손실 도입 업믹스(energy-loss introducing up-mix) 및 바람 직한 보상의 결과를 나타내는 에너지 차트이다.

도 13은 바람직한 에너지 보상 방법에 대한 표이다.

도 14a는 바람직한 멀티채널 인코더를 도식적으로 나타낸 도면이다.

도 14b는 도 14a의 디바이스에 의해 수행된 바람직한 방법에 대한 플로우 차트이다.

도 15a는, 도 14a의 디바이스와 비교하여, 다른 파라미터화(parameterisation)를 발생하는 스펙트럼 대역 복사 기능을 갖는 멀티채널 인코더를 나타내는 도면이다.

도 15b는 파라메트릭 데이터의 주파수 선택적인 발생 및 전송에 대한 표이다.

도 16a는 업믹스 메트릭스 계수의 계산을 나타내는 본 발명의 디코더를 도시한 도면이다.

도 16b는 예측 업믹스를 위한 파라미터 계산에 대한 상세한 설명이다.

도 17은 전송 시스템의 송신기 및 수신기를 나타내는 도면이다.

도 18은 본 발명의 인코더를 갖는 오디오 레코더와 디코더를 갖는 오디오 플레이어를 나타내는 도면이다.

(바람직한 실시예의 설명)

하기의 실시예는 단지 본 발명의 원리를 설명하기 위한 것이다. 여기에 설명 된 배치와 세부 사항들에 대한 수정예 및 변형예가 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 자명하다는 것을 유념하여야 한다. 따라서 본 발명은 하기의 실시예의 설명 및 묘사를 통해 나타내어진 특정한 세부사항들에 의해 제한되지 않으며, 오직 청구 범위에 의해서 한정된다.

이하의 파라미터 계산, 적용, 업믹싱, 다운믹싱 또는 다른 어느 동작들까지도, 주파수 대역 선택적인 베이스, 즉 필터뱅크에서의 서브밴드에 대해 수행될 수 있다는 것을 강조하는 바이다.

본 발명의 장점을 설명하기 위해, 먼저 종래 기술의 예측 업믹스에 대해 상세하게 설명한다. 도 1에 도시된 바와 같이, 2 다운믹스 채널에 기반을 둔 3 채널을 가정하며, 도면부호(101)은 좌측 오리지널 채널을 나타내며, 도면부호(102)는 중앙 오리지널 채널을 나타내며, 도면부호(103)은 우측 오리지널 채널을 나타내며, 도면부호(104)는 인코더 측에서의 다운믹스 및 파라미터 추출 모듈을 나타내며, 도면부호(105 및 106)는 예측 파라미터를 나타내며, 도면부호(107)은 좌측의 다운믹스된 채널을 나타내며, 도면부호(108)은 우측의 다운믹스된 채널을 나타내며, 도면부호(109)는 예측 업믹스 모듈을 나타내며, 도면부호(110, 111 및 112)는 복원된 좌측, 중앙 및 우측 채널을 각각 나타낸다.

또한, X는 행(row)으로서 3개의 신호 세그먼트 l(k), r(k), c(k), k=0,...,L-1 을 포함하는 3 x L 메트릭스이라고 가정한다.

마찬가지로, 2개의 다운믹스된 신호 l ₀ (k), r ₀ (k)가 X _{0 메트릭스}을 형성한다. 다 운믹스 처리는 아래와 같이 나타내며,

(1)

여기서 다운믹스 메트릭스은 다음에 의해 정의되며,

D =

(2)

다운믹스의 바람직한 선택은 아래와 같으며,

(3)

이는 좌측 다운믹스 신호 l ₀ (k)가 오직 l(k) 및 αc(k)를 포함할 것이고, r ₀ (k)는 오직 r(k) 및 αc(k)를 포함할 것이라는 것을 의미한다. 이러한 다운믹스 메트릭스는, 동일한 량의 중앙 채널을 좌측 및 우측 다운믹스에 할당하기 때문에, 그리고 그 어떤 오리지널 우측 채널을 좌측 다운믹스에 할당하지 않거나 그 역도 또한 할당하지 않기 때문에 바람직하다.

업믹스는 아래와 같이 정의 되며,

(4)

여기서 C는3 x 2 업믹스 메트릭스이다.

종래 기술에 공지된 바와 같이 예측 업믹스(predictive upmix)는 최소 자승 센스(least squares sense)에서의 C에 대해 중복 결정(overdetermined) 시스템을 해결하는 아이디어에 따르며,

(5)

이는 다음의 일반식에 이르게 된다.

(6)

좌변에 D를 곱하면

이 되고, 이는 X ₀ X ₀ ^* = DXX ^* D ^*가 정칙(non-singular)인 일반적인 경우에, 다음을 의미하고,

(7)

여기서 I _n는 n 항등메트릭스(identity matrix)을 나타낸다. 이러한 관계는 파라미터 공간 C 를 차원 2로 축소시킨다.

위가 주어지고, 다운믹스 메트릭스 D를 안다면 업믹스 메트릭스

가 디코더 측에서 완전하게 정의 될 수 있고, C 메트릭스의 2개 성분, 예를 들어 c ₁₁ 및 c ₂₂ 가 전송된다.

잔여(예측 에러)가 아래와 같이 주어지고,

(8)

좌변에 D를 곱하면 식(7)로 인해 다음이 산출된다.

(9)

1 x L 행 벡터 신호 x _r 는 다음과 같으며,

(10)

여기서 v는 3 x 1 D의 핵(kernel)(영 공간: null space)을 생성하는 단위벡터이다. 이를테면 다운믹스 (3) 식의 경우에, 다음을 이용할 수 있다.

(11)

일반적으로,

및

일 경우, 이는 단지, 중량 펙터까지, 잔여 신호가 3 개 채널 전부에 대해서 공통이라는 것을 의미한다.

(12)

직교성 원리에 의해, 잔여

는 예측된 신호

,

모두에 대해 직교한다.

(본 발명의 바람직한 실시예에 의해 얻어지는 개선점 및 해결된 문제)

명백히 상술한 바와 같은 종래 기술에 따른 예측 기반 업믹스를 이용할 경우 에 다음의 문제가 발생한다.

● 그러한 방법은 최소 평균 자승 에러 센스에서의 매칭(matching) 파형에 따르며, 이는 다운믹스된 신호의 파형이 유지되지 않는 시스템에 대해서는 동작하지 않는다.

● 그러한 방법은 (하기에서 설명되는 바와 같이) 복원된 채널들 간의 상관관계 구조를 제공하지 않는다.

● 그러한 방법은 복원된 채널들에서 정확한 량의 에너지를 복원하지 않는다.

(에너지 보상)

상술한 바와 같이, 예측 기반 멀티채널 복원에서의 문제 중 하나는 예측 에러가 복원된 3개 채널(그냥 "3채널"이라고도 한다)의 에너지 손실에 해당한다는 것이다. 하기에서, 본 발명의 바람직한 실시예에 의해 설명된 바와 같이, 이러한 에너지 손실 및 해결책에 대한 이론이 설명된다. 먼저, 이론적인 분석을 행하고 나서, 이후에 하기에서 설명된 이론에 따르는 본 발명의 바람직한 실시예가 설명된다.

는 각각 X에서 오리지날 신호,

에서 예측 신호 및

에서 예측 에러 신호의 에너지들의 합이라고 한다. 그러면 직교성으로부터 다음이 얻어진다.

(13)

전체 예측 이득은

로서 정의될 수 있지만, 하기에서는 다음의 파라미터를 고려하는 것이 더 편리할 것이다.

(14)

그러므로

는 예측 업믹스의 전체 상관(relative) 에너지를 측정한다.

이러한 ρ가 주어지면, z = l, r, c에 대해

이도록 보상 이득

을 적용함으로써 각 채널을 재조정하는 것이 가능하다. 특히, 목표 에너지는 식(12)에 의해 주어지며,

(15)

따라서 하기식을 풀 필요가 있다.

(16)

여기서, v는 단위벡터이기 때문에,

, (17)

ρ의 정의 식(14)과 식(13)으로부터 하기식이 얻어지고,

, (18)

이러한 모든 것들을 통합하여, 이득이 도출된다.

, (19)

이러한 방법을 이용하여, ρ를 전송하는 것에 추가해서, 디코딩된 채널의 에너지 분포가 디코더에서 계산되어야 한다는 것은 명백하다. 더욱이 단지 에너지들만 정확하게 복원되었지만, 비대각(off diagonal) 상관관계 구조는 무시되었다.

전체 에너지가 유지되는 것은 보장하는 반면 개별 채널들의 에너지가 정확하다는 것은 보장하지 않는, 그러한 이득 값을 유도하는 것이 가능하다. 전체 에너지가 유지되는 것을 보장하는, 모든 채널 g _z = g 에 대한 공통 이득이 정의 식

을 통해 얻어진다. 즉,

, (20)

선형성에 의해, 이러한 이득은, 추가적인 파라미터가 전송될 필요가 없도록, 인코더에서 다운믹스된 신호에 적용될 수 있다.

도 2는 출력 채널의 정확한 에너지를 유지하는 동안 3개 채널을 재생성하는 본 발명의 바람직한 실시예를 보여준다. 다운믹스된 신호 l ₀ 및 r ₀ 가, 예측 파라미터 c ₁ 및 c ₂ 와 함께, 업믹스 모듈(201)로 입력된다. 업믹스 모듈은 다운믹스 D와 수신된 예측 파라미터에 관한 인지에 근거하여 업믹스 메트릭스 C를 재생성한다. 업믹스 모듈(201)로부터의 3개 출력 채널이, 조정 파라미터(adjustment parameter) ρ와 함께, 도면부호(202)로 입력된다. 이 3개 채널은 전송된 파라미터 ρ의 함수로서 조정된 이득이고, 에너지 보정 채널이 출력된다.

도 3에 조정 모듈(202)의 보다 더 상세한 실시예가 도시되었다. 3개의 업믹스된 채널이 조정 모듈(304)에 입력되고, 또한 모듈 (301), (302) 및 (303)에도 각각 입력된다. 에너지 평가 모듈(301-303)은 3개의 업믹스된 신호의 에너지를 평가하고, 측정된 에너지를 조정 모듈(304)에 입력한다. 인코더로부터 수신된 제어 신호 ρ(예측 이득을 나타냄)가 또한 도면부호(304)로 입력된다. 조정 모듈은 상술한 식(19)을 이행한다.

본 발명의 대안적인 구현에서 에너지 보정이 인코더 측에서 행해질 수 있다. 도 4는 인코더의 구현을 나타내는 것으로서, 여기서 다운믹스된 신호 l ₀ (107) 및 r ₀ (108)가 도면부호(403)에 의해 계산된 이득 값에 따라 도면부호(401) 및 (402)에 의해 조정된 이득이다. 이득 값은 상술한 식(20)에 따라 유도된다. 상술한 바와 같이 이는 예측 업믹스로부터 3개의 재생성된 채널의 에너지를 계산할 필요가 없기 때문에 본 발명의 장점이다. 그러나, 이는 3개의 재생성된 채널의 전체 에너지가 정확하다는 것만을 보장한다. 이는 개별 채널의 에너지가 정확하다는 것은 보장하지 않는다.

식(3)에 따른 다운믹싱 메트릭스의 바람직한 예가 도 4의 다운믹서의 아래에 표시되었다. 그러나, 다운믹서는 식(2)에서 설명된 바와 같이 어느 일반적인 다운믹스도 적용할 수 있다.

나중에 설명되는 바와 같이, 입력으로서 3채널을 갖고, 출력으로서 2채널을 갖는 본 경우에 대해서는, 적어도 2개의 추가 업믹스 파라미터 c₁, c₂가 요구된다. 다운믹싱 메트릭스 D가 변수 또는 디코더에 완전히 알려지지 않은 경우에, 파라미터(105) 및 (106)에 추가해서, 이용된 다운믹스에서의 추가 정보가 또한 인코더측에서 디코더측으로 전송되어야 한다.

(상관관계 구조)

종래 기술에 의해 설명된 업믹스 과정에 있어서의 문제 중의 하나는 그것이 재생성된 채널들 간의 정확한 상관관계를 재생성하지 않는다는 것이다. 상술한 바와 같이, 중앙 채널이 좌측 다운믹스 채널과 우측 다운믹스 채널의 선형 결합으로서 예측되고, 좌측과 우측 채널이 좌측 및 우측 다운믹스 채널에서 예측된 중앙 채널을 차감(subracting)함으로써 복원된다. 예측 에러가 예측된 좌측 및 우측 채널에 오리지널 중앙 채널의 잔여물을 남긴다는 것은 명백하다. 이는 3채널들 간의 상관관계가, 오리지널 3채널에 대해서와 동일하지 않은, 복원된 채널들에 대한 것이 라는 것을 의미한다.

바람직한 실시예는 예측된 3채널이 측정된 예측 에러에 따라 비상관 신호와 결합되어야 한다는 것을 말해준다.

이하에서 정확한 상관관계 구조를 얻기 위한 기본 이론을 설명한다. 디코더에서 잔여물을 대해 비상관 신호 x _d 을 대체함으로써, 잔여물의 특별한 구조가 완전한 3 x 3 상관관계 구조

를 복원하는데 이용될 수 있다.

먼저, 일반식(6)이

이 되고,

(21)

그리고,

로서,

(22)

이며, 여기서 식(10)과 (17)은 마지막 등호에 대해서 적용되었다.

x _d 가 디코딩된 모든 신호

,

로부터 비상관화된 신호라고 하면

이다. 강화된(enhanced) 아래식의 신호가

(23)

아래의 상관관계 메트릭스을 가진다.

(24)

오리지널 상관관계 메트릭스(22)를 완전하게 재생성하기 위해, 다음을 충족시킨다.

(25)

만약 x _d 가, 이득 γ이 뒤따르는

라고 할 수 있는, 다운믹스된 신호를 비상관화함으로써 얻어진다면, 다음식을 유지하여야 한다.

(26)

이 이득은 인코더에서 계산될 수 있다. 그러나, 식(14)로부터 더 잘 정의된 파라미터

이용된다면,

및

의 평가는 디코더에서 수행되어야 한다. 이런 점에서, 더 매력적인 대안은 아래와 같이 3개의 비상관화기(decorrelator)를 이용하여 x _d 를 발생하는 것이며,

(26a)

그러면,

이고, 그러한 식(25)는 다음식의 선택에 의해 충족된다.

. (27)

도 5는 채널들 간의 정확한 상관관계 구조를 유지하면서, 2개의 다운믹스 채널로부터 3채널의 예측 업믹스하기 위한 본 발명의 바람직한 실시예를 나타낸다. 도 5에서 모듈(109), (110), (111) 및 (112)는 도 1의 것과 동일하며, 여기서는 더 부연설명하지 않을 것이다. 도면부호(109)로부터 출력된 3개의 업믹스된 신호는 비상관 모듈(501), (502) 및 (503)로 입력된다. 이들은 서로 비상관화된 신호를 발생한다. 비상관 신호들은 합해져서 믹싱 모듈(504), (505) 및 (506)으로 입력되며, 거기서 도면부호(109)로부터의 출력과 믹싱된다.

예측적으로 업믹스된 신호를 그것들의 비상관 버전과 믹싱하는 것이 본 발명의 필수적인 특징이다. 도 6은 믹싱 모듈(504), (505) 및 (506)에 대한 하나의 실시예를 나타낸다. 이러한 본 발명의 실시예에서, 비상관 신호의 레벨이 제어 신호 γ에 근거하여 도면부호(601)에 의해 조정된다. 비상관 신호는 다음에 도면부호(602)에서 예측적으로 업믹스된 신호에 더해진다.

3번째 바람직한 실시예는 업믹스된 채널에 대한 비상관화기(501), (502), (503)를 이용한다. 비상관 신호는 또한 비상관화기(501')에 의해 발생될 수 있으며, 이는 입력 신호로서 다운믹스 채널 또는 모든 다운믹스 채널까지 수신한다. 또한 하나 이상의 다운믹스 채널이라면, 도 5에 도시된 바와 같이, 비상관 신호가 또한 좌측 베이스 채널 l₀과 우측 베이스 채널 r₀를 위한 별도의 비상관화기에 의해서, 그리고 이들 별도의 비상관화기의 출력을 결합함으로써 발생될 수 있다. 이러한 가능성은 실질적으로는 도 5에 도시된 가능성과 동일하지만, 업믹싱 이전의 베 이스 채널이 이용된다는 점에서 도 4에 도시된 가능성과는 차이가 있다.

더욱이, 믹싱 모듈(504), (505) 및 (506)이 3채널 전부에 대해서 동일하지 않은 팩터 γ만을 수신하지 않는 다는 것은 도 5와 관련하여 설명되었으며, 이는 이러한 팩터가 에너지 측도 ρ(energy measure ρ) 에 의존할 뿐만 아니라, 식(10) 및 (11)과 관련하여 설명된 바와 같이 결정된 채널-특정 팩터 νl, νc 및 νr을 수신한다. 그러나 이 파라미터는, 디코더가 인코더에서 이용된 다운믹스를 알고 있을 경우에, 인코더에서 디코더로 전송될 필요가 없다. 대신, 식(10)과 (11)에 나타낸 바와 같이 메트릭스 v에서의 이들 파라미터는 바람직하게는 믹싱 모듈(504), (505) 및 (506)으로 사전-프로그램(pre-programmed)되어서 이들 채널-특정 가중 팩터가 전송될 필요가 없게 된다(그러나 요구가 있을 경우에는 물론 전송될 수 있다).

도 6에서 가중 다바이스(601)가 γ의 산물 및 채널-특정 다운믹스-의존 파라미터 νz를 이용하여 비상관 신호의 에너지를 조정하는 것이 도시되었으며, 여기서z는 l, r 또는 c를 나타낸다. 이 문맥에서, 식(26a)이 x_d의 에너지가 예측적으로 업믹스된 좌측, 우측 및 중앙 채널의 합 에너지와 동일하다는 것을 말해준다는 것을 유념한다. 따라서, 디바이스(601)는 단순히 스케일링 팩터(scaling factor) GI를 이용하는 스케일러(scaler)로서 구현될 수 있다. 그러나, 비상관 신호가 대안적으로 발생될 경우에, 믹싱 모듈(504), (505) 및 (506)은 가산 디바이스(602)에 의해 가산된 비상관 신호의 절대 에너지 조정을 수행하여, 가산기(602)에서 가산된 신호 의 에너지가 잔여 신호, 예를 들어 예측 업믹스를 보존하는 비에너지(non-energy)에 의해 손실된 에너지와 동일하도록 하여야 한다.

채널-특정 다운믹스-의존 파라미터 νz와 관련하여, 위에서 도 6에 관해 설명된 동일한 내용이 또한 도 7 실시예에 대해 적용된다.

더욱이, 여기서는 도 6 및 도 7의 실시예가, 예측 업믹싱에서 손실된 에너지의 적어도 일부분이 비상관 신호를 이용하여 가산되는 것에 대한 인정(recognition)에 기반을 두고 있다는 것을 유념한다. 정확한 신호 에너지 및 (상관화되지 않은) 건조(dry) 신호 성분과 (비상관화된)"습윤(wet)" 신호 성분의 정확한 부위를 가지기 위해, 믹싱 모듈(504)로 입력된 "건조" 신호가 사전-스케일링(pre-scaled)되지 않아야 한다. 예를 들어, (도 4에 도시한 바와 같이) 베이스 채널이 디-인코더 측에서 사전-보정(pre-corrected)되었던 경우에는, 채널을 믹서 박스(504), (505) 및 (506)으로 입력하기 전에, 채널을 (상대적인) 에너지 측도 ρ로 곱함으로써, 도 4의 이러한 사전-보정이 보상되어야 한다. 그에 더해, 도 5에 도시된 바와 같이 다운믹스 채널을 업믹서(109)로 입력하기 전에 그러한 에너지 보정이 디코더 측에서 수행되었던 경우에, 동일한 과정이 행해져야 한다.

단지 잔여 에너지의 일부분만이 비상관화된 신호에 의해 커버되는 경우에는, 팩터 ρ 자체 보다는 1에 더 근접한 ρ-의존 팩터에 의해 믹싱 박스(504), (505) 및 (506)로 입력된 신호를 사전-스케일링함으로써, 사전-보정만이 부분적으로 제거되어야 한다. 당연히, 이러한 부분적-보상 사전-스케일링 팩터는 도 7의 도면부호(605)에 입력된 인코더-발생 신호 κ에 의존할 것이다. 그러한 부분적 사전-스케 일링이 수행되어야 하는 경우에는, G₂에 적용된 가중 팩터가 필요하지 않다. 대신, 입력(604)에서 합산기(602)로의 분기(branch)가 도 6에서와 동일한 것이다.

(비상관 정도의 제어)

본 발명의 바람직한 실시예는, 정확한 출력 에너지가 계속 유지되는 동안, 예측적으로 업믹스된 신호에 가산된 비상관관계의 량이 인코더로부터 제어될 수 있다는 것을 개시한다. 이는, 전형적인 건조한 음성(speech)의 예인 중앙 채널의 "인터뷰"와 좌측 및 우측 채널이 배경일 때, 중앙 채널에서 예측 에러에 대한 비상관 신호의 대체가 바람직하지 않을 수 있기 때문이다.

본 발명의 바람직한 실시예에 따르면, 도 5에서 설명된 것에 대한 대안적인 믹싱 과정이 이용될 수 있다. 이하에서 본 발명에 따라 어떻게 전체 에너지 보존 및 실제 보상 재생성이 분리될 수 있고, 어떻게 비상관관계의 량이 파라미터 κ에 의해 제어될 수 있는지가 설명된다.

전체 에너지 보존 이득 보상(20)이 다운믹스된 신호에 대해 수행되었고, 그래서 먼저 디코딩된 신호

를 얻었다고 가정할 것이다. 이로부터, 동일한 전체 에너지

를 갖는 비상관 신호 d가, 이를테면 이전 섹션(section)에서와 같이 3개의 비상관화기를 이용하여 생성된다. 그러면 전체 업믹스는 다음식에 따라 정의되고,

. (29)

여기서,

는 전송된 파라미터이다.

의 선택은 비상관 신호 추가가 없는 전체 어네지 보전에 해당하고,

는 완전한 3 x 3 상관관계 구조 재성성에 해당한다. 다음식을 얻으며,

, (30)

식(30)에서 메트릭스들의 대각합(trace)(대각 값(diagonal value)의 합)을 계산함으로써 알 수 있는 바와 같이, 전체 에너지가 모든

에 대해 보존된다. 그러나, 정확한 개별 에너지는

에 대해서만 얻어진다.

도 7은 상술한 이론에 따른 도 5의 믹싱 모듈 (504), (505) 및 (506)의 일례를 나타낸다. 이러한 믹싱 모듈의 대안에서는, 제어 파라미터 γ가 도면부호(702) 및 (701)로 입력된다. 도면부호(702)에 대해 이용된 이득 팩터는 위의 식(29)에 따라 κ에 해당하고, 도면부호(701)에 대해 이용된 이득 팩터는 위의 식(29)에 따라

에 해당한다.

본 발명의 상술한 실시예는, 시스템이 예측 기반 업믹스에 가산되는 비-상관관계의 량을 평가하는, 인코더 측에서의 검출 메커니즘을 채용할 수 있도록 한다. 도 7에 도시된 구현은, 3채널의 전체 에너지가 정확하면서도 여전히 예측 에러의 임의의 량을 비상관 신호에 의해 대체 가능하도록, 지시된 량의 비상관 신호를 가산하고 에너지 보정을 적용할 것이다.

이는, 3개의 배경 신호를 갖는 하나의 예, 예를 들어 다수의 배경을 갖는 클래식 음악 소곡에 대해, 인코더가 "건조한" 중앙 채널의 부재를 검출하고 또한 디코더로 하여금 전체 예측 에러를 비상관 신호로 대체할 수 있게 하여서, 3채널로부터 사운드의 배경을 재생성한다는 것을 의미하며, 이는 종래 기술의 예측기반 방법만으로는 가능하지 않은 방식으로 이루어지는 것이다. 또한, 건조한 중앙 채널을 갖는 신호, 예를 들어, 중앙 채널에 음성 좌측 및 우측 채널에 배경 사운드을 갖는 신호에 대해서, 인코더가 예측 에러를 비상관 신호에 의해 대체한 것이 음향심리학적으로 정확하지 않은 것을 검출하고 대신 디코더로 하여금 3채널의 에너지가 정확하도록 복원된 3채널의 레벨을 조정하게 한다. 상술한 극단적인 예는 명백하게 본 발명의 2개의 가능한 결과를 나타내는 것이다. 본 발명은 상술한 예에서의 극단적인 예들에만 한정되지 않는다.

(변경된 파형에 대한 예측 계수의 조정)

상술한 바와 같이, 예측 파라미터는 오리지널 3채널 X과 다운믹스 메트릭스 D에 주어진 평균 자승 에러(mean square error)를 최소화함으로써 평가된다. 그러나 많은 경우에서, 다운믹스된 신호를, 오리지널 멀티채널 신호를 나타내는 메트릭스 X가 곱해진 다운믹스 메트릭스 D로서, 나타낼 수 있다는 것에 의존할 수 없다.

이에 대한 하나의 명백한 예는 소위 "정교한 다운믹스(artistic downmix)"가 이용될 때, 즉 2채널 다운믹스가 멀티채널 신호의 선형 결합으로서 설명될 수 없을 경우이다. 다른 예는 다운믹스된 신호가, 스테레오-사전 처리 또는 개선된 코딩 효율을 위한 다른 도구를 이용하는 지각(perceptual) 오디오 코덱에 의해 코딩될 경우이다. 많은 지각 오디오 코덱이 미드/사이드 스테레오 코딩에 의존한다는 것은 종래 기술에서 통상 공지되었으며, 여기서 사이드 신호는 비트율 제한 조건 하에서 감쇠되어, 인코딩에 이용된 신호 보다 더 좁은 스테레오 이미지를 갖는 출력을 초래한다.

도 8은 본 발명의 바람직한 실시예를 나타내는 것으로서, 여기서는 멀티채널 신호와는 별개로 인코더 측에서의 파라미터 추출이 또한 변경된 다운믹스 신호에 액세스한다. 여기서는 변경된 다운믹스가 도면부호(801)에 의해 발생된다. 만약 C 메트릭스의 2개 파라미터만이 전송된다면, 업믹스를 행할 수 있게 하기 위해서, 그리고 전체 업믹스된 채널에 대해 최소 평균 자승 에러를 얻기 위해서, 디코더 측에서 D 메트릭스에 대한 인지가 필요하다. 그러나, 본 발명의 실시예는 인코더 측에서 다운믹스된 신호 l ₀ 과 r ₀ 를, 다운믹스 메트릭스 D 를 이용하여 얻어지고, 디코더에서 가정된 것과 반드시 동일하지는 않은 다운믹스된 신호 l' ₀ 과 r' ₀ 로 대체할 수 있다는 것을 개시한다. 인코더 측에서 파라미터 평가에 대해 대안적인 다운믹스를 이용하는 것은 디코더 측에서의 정확한 중앙 채널 재생성만을 보장한다. 인코더에서 디코더로 추가 정보를 전송함으로써 3채널의 보다 더 정확한 업믹스가 얻어질 수 있다. 하나의 극단적인 경우에서 C 메트릭스의 6개 요소 모두가 전송될 수 있 다. 그러나, 본 발명의 실시예는 C 메트릭스의 부분집합(subset)이 만약 도면부호(802)에서 이용된 다운믹스 메트릭스 D에 관한 정보에 수반되었다면 전송될 수 있다는 것을 개시한다.

앞에서 설명한 바와 같이, 지각 오디오 코덱은 저 비트레이트의 스테레오 코딩을 위해 미드/사이드 코딩를 채용한다. 또한, 비트레이트 제한 조건 하에서 사이드 신호의 에너지를 감소시키기 위해 스테레오 사전처리가 일반적으로 채용된다. 이는 스테레 신호에 대해서 스테레오 신호의 폭의 감소는 가청 양자화 왜곡 및 대역폭 제한에 대한 바람직한 코딩 인공음이라는 심리 음향 개념에 근거하여 행해진다.

그러므로, 만약 스테레오 사전처리가 이용된다면, 다운믹스 식(3)은 다음과 같이 표현될 수 있으며,

(31)

여기서, γ은 사이드 신호의 감쇠이다. 앞서 설명한 바와 같이, 3채널을 정확하게 복원할 수 있게 하기 위해서 D 메트릭스이 디코더 측에 알려질 필요가 있다. 따라서 본 발명의 실시예는 감쇠 팩터가 디코더로 보내져야 한다는 것을 개시한다.

도 9는 본 발명의 다른 실시예를 나타내며, 여기서는 도면부호(104)로부터 출력된 다운믹스 신호 l ₀ 와 r ₀ 가, 팩터 γ의해 다운믹스 신호의 미드/사이드 표현의 사이드 신호 (l ₀ - r ₀ )를 제한하는 스테레오 사전처리 디바이스(901)로 입력된다.

(HFR 코덱 신호를 위한 파라미터화)

만약 예측 기반 업믹스가 SBR [W0 98/57436]과 같은 고 주파수 복원 방법과 함께 이용된다면, 인코더 측에서 평가된 예측 파라미터는 디코더 측에서 재생성된 고대역 신호와 일치하지 않을 것이다. 본 발명의 실시예는 2채널에서 3채널를 재생성하기 위한 대안적인 비파형(non-wave form) 기반 업믹스 구조를 개시한다. 제안된 업믹스 과정은, 비상관 노이즈 신호의 경우에, 모든 업믹스된 채널의 정확한 에너지를 복원하도록 되어 있다.

식(3)에서 정의된 다운믹스 메트릭스

이 이용된다고 가정한다. 또한 이제 업믹스 메트릭스

를 정의할 것이다. 업믹스는 다음식에 의해 정의된다.

(32)

에너지가 L, R 및 C인, 업믹스된 신호 l(k), r(k), 및 c(k)의 정확한 에너지를 재생성하는 것만 한다면, 업믹스 메트릭스이 다음에 따라

및

의 대각 요소가 동일하도록 선택된다.

. (35)

해당하는 다운믹스 메트릭스에 대한 표현은 다음이 될 것이다.

, (36)

(37)

의 대각 요소를

의 대각 요소와 동일하게 설정하면, C의 요소와 L, R 및 C 간의 관계를 정의하는 다음의 3개 식이 된다.

(38)

상술한 것에 근거하여, 업믹스 메트릭스이 정의될 수 있다. 우측의 다운믹스된 채널을 좌측의 업믹스된 채널로 가산하지 않는 것, 또한 그 역은 업믹스 메트릭스을 정의하는데 바람직하다. 따라서 적합한 업믹스 메트릭스은 다음과 같을 수 있다.

(39)

이는 C 메트릭스에 다음을 부여한다.

(40)

C 메트릭스의 요소가 디코더 측에서 2개의 전송된 파라미터

및

로부터 재생성될 수 있다는 것을 알 수 있다.

도 10은 본 발명의 바람직한 실시예를 나타낸다. 여기서 도면부호(101 - 112)는 도 1에서와 동일하며, 더 이상 부연설명하지 않는다. 3개의 오리지널 신호(101 - 103)가 평가 모듈(1001)로 입력된다. 이 모듈은 2개의 파라미터, 예를 들어

및

를 평가하고, 그로부터 디코더 측에서 C 메트릭스이 유도될 수 있다. 이들 파라미터는 도면부호(104)로부터 출력된 파라미터와 함께 선택 모듈(1002)로 입력된다. 하나의 바람직한 실시예에서, 선택 모듈(1002)은, 파라미 터가 파형 코덱에 의해 코딩된 주파수 범위에 대응된다면 도면부호(104)로부터의 파라미터를 출력하고, 파라미터가 HFR에 의해 복원된 주파수 범위에 대응된다면 도면부호(1001)로부터의 파라미터를 출력한다. 선택 모듈(1002)은 또한, 파라미터화가 신호의 다른 주파수 범위를 위해 이용된 정보(1005)를 출력한다.

디코더 측에서, 모듈(1004)이 전송된 파라미터를 받아서, 상술한 파라미터(1005)에 의한 지시에 따라서, 예측 업믹서(109) 또는 에너지-기반 업믹서(1003)로 보낸다. 에너지 기반 업믹서(1003)는 식(40)에 따라 업믹스 메트릭스 C를 수행한다.

식(40)에 개시된 바와 같이 업믹스 메트릭스 C는 동일한 중량(δ)을 가져서 2개의 다운믹스된 신호 l ₀ (k), r ₀ (k)로부터 평가된 (디코더) 신호 c(k)를 얻는다. 신호 c(k)의 상대적인 량이 2개의 다운믹스된 신호 l ₀ (k), r ₀ (k)에서 다를 수 있다는 관측 결과(즉, C/L이 C/R과 같지 않음)에 근거하여, 또한 다음의 일반적인 업믹스 메트릭스을 고려할 수 있다.

(41)

c(k)를 평가하기 위해, 본 실시예는 또한 2개의 제어 파라미터 c ₁ 및 c ₂ 의 전송이 필요하며, 이들은 예를 들어 c₁ = α²C/(L+α²Χ) 및 c₂ = α²Χ/(R+α²C)와 동일한 것이다. 이어, 업믹스 메트릭스 함수 f _i 의 가능한 구현이 아래 식에 의해 주어진다.

(42)

(43)

(44)

본 발명에 따른 SBR 범위에 대한 다른 파라미터화의 시그널링(signalling)은 SBR에 제한되지 않는다. 상술한 파라미터화는, 예측 기반 업믹스의 예측 에러가 크다고 간주되는 어느 주파수 범위에서도 이용될 수 있다. 그러므로, 모듈(1002)은, 전송된 신호, 예측 에러 등과 같은 다수의 기준에 따라서, 도면부호(1001) 또는 (104)로부터의 파라미터를 출력할 수 있다.

본 발명의 개선된 예측 기반 멀티채널 복원 방법의 바람직한 실시예는, 인코더 측에서 다른 주파수 범위에 대한 다른 멀티채널 파라미터화를 추출하는 단계와, 디코더 측에서 멀티채널 복원을 위해 이들 파라미터화를 그 주파수 범위에 적용하는 단계를 포함한다.

본 발명의 개선된 예측 기반 멀티채널 복원 방법의 다른 바람직한 실시예는, 인코더 측에서, 이용된 다운믹스 과정에 대한 정보를 추출하고 이어 그 정보를 디 코더로 보내는 단계와, 디코더 측에서, 멀티채널을 복원하기 위하여, 추출된 예측 파라미터 및 다운믹스에 대한 정보에 근거하는 업믹스를 적용하는 단계를 포함한다.

본 발명의 개선된 예측 기반 멀티채널 복원 방법의 또 다른 바람직한 실시예에서는, 인코더 측에서 다운믹스 신호의 에너지가 추출된 예측 업믹스 파라미터에 대하여 얻어진 예측 에러에 따라서 조정된다.

본 발명의 개선된 예측 기반 멀티채널 복원 방법의 또 다른 바람직한 실시예에서는, 인코더 측에서 업믹스된 채널에 이득을 적용함으로써 예측 에러로 인한 에너지 손실이 보상된다.

본 발명의 개선된 예측 기반 멀티채널 복원 방법의 또 다른 바람직한 실시예에서는, 디코더 측에서 예측 에러로 인한 에너지 손실이 비상관 신호에 의해 대체된다.

본 발명의 개선된 예측 기반 멀티채널 복원 방법의 또 다른 바람직한 실시예에서는, 디코더 측에서 예측 에러로 인한 에너지 손실의 일부가 비상관 신호에 의해 대체되고, 그 에너지 손실의 일부가 업믹스된 채널에 이득을 적용함으로써 대체된다. 이러한 에너지 손실의 일부는 바람직하게 인코더 측으부터 시그널링된다.

본 발명의 개선된 예측 기반 멀티채널 복원 장치의 바람직한 실시예는, 예측 업믹스 파라미터에 대하여 얻어진 예측 에러에 따라서 다운믹스 신호의 에너지를 조정하는 수단을 포함한다.

본 발명의 개선된 예측 기반 멀티채널 복원 장치의 다른 바람직한 실시예는, 업믹스된 채널에 이득을 적용함으로써 예측 에러로 인한 에너지 손실을 보상하는 수단을 포함한다.

본 발명의 개선된 예측 기반 멀티채널 복원 장치의 또 다른 바람직한 실시예는, 예측 에러로 인한 에너지 손실을 비상관 신호로 대체하는 수단을 포함한다.

본 발명의 개선된 예측 기반 멀티채널 복원 장치의 또 다른 바람직한 실시예는, 예측 에러로 인한 에너지 손실의 일부를 비상관 신호로 대체하고, 그 에너지 손실의 일부를 업믹스된 채널에 이득을 적용함으로써 대체하는 수단을 포함한다.

본 발명의 개선된 예측 기반 멀티채널 복원을 위한 인코더의 바람직한 실시예는, 추출된 예측 업믹스 파라미터에 대하여 얻어진 예측 에러에 따라서 다운믹스 신호의 에너지를 조정하는 것을 포함한다.

본 발명의 개선된 예측 기반 멀티채널 복원을 위한 디코더의 바람직한 실시예는, 업믹스된 채널에 이득을 적용함으로써 예측 에러로 인한 에너지 손실을 보상하는 것을 포함한다.

본 발명의 개선된 예측 기반 멀티채널 복원을 위한 디코더의 다른 바람직한 실시예는, 예측 에러로 인한 에너지 손실을 비상관 신호로 대체하는 것을 포함한다.

본 발명의 개선된 예측 기반 멀티채널 복원을 위한 디코더의 또 다른 바람직한 실시예는, 예측 에러로 인한 에너지 손실의 일부를 비상관 신호로 대체하고, 다운믹스된 채널에 이득을 적용함으로써 그 에너지 손실의 일부를 대체하는 것을 포함한다.

도 11은 오리지널 멀티채널 신호로부터 유도된 적어도 하나의 베이스 채널(1102)을 이용하여 적어도 3개의 출력 채널(1100)을 발생하는 멀티채널 합성기를 나타낸다. 도 11에 도시된 멀티채널 합성기는 업믹서 디바이스(1104)를 포함하며, 이는 도 2 내지 도 10에 도시된 바와 같이 실행될 수 있다. 일반적으로, 업믹서 디바이스(1104)는, 적어도 3개의 출력 채널이 얻어지도록, 업믹싱 룰(rule)를 이용하여 적어도 하나의 베이스 채널을 업믹스하도록 동작한다. 업믹서(1104)는, 에너지-손실 도입 업믹싱 룰을 이용하여, 에너지 측도(1106) 및 적어도 2개의 다른 업믹싱 파라미터(1108)에 따라서 적어도 3개의 출력 채널을 발생하게 동작하여서, 적어도 3개의 출력 채널이 에너지-손실 도입 업믹싱 룰 단독으로부터만 얻어진 신호의 에너지 보다 더 높은 에너지를 가지게 된다. 따라서, 에너지-손실 도입 업믹싱 룰에 따른 에너지 에러와는 상관없이, 본 발명은 에너지 보상 결과를 얻게 되며, 그 에너지 보상은 스케일링 및/또는 비상관 신호의 추가에 의해 수행될 수 있다. 적어도 2개의 다른 업믹싱 파라미터(1108) 및 에너지 측도(1106)는 입력신호에 포함된다.

바람직하게는, 에너지 측도는 업믹싱 룰에 의해 도입된 에너지 손실과 관계된 모든 측도이다. 그것은 업믹스-도입 에너지 에러 또는 업믹스 신호의 에너지(이는 일반적으로 오리지널 신호 보다 에너지가 낮은)의 절대 측도일 수 있고, 또는 그것은 오리지널 신호와 업믹스 신호 에너지의 관계, 또는 에너지 에러와 오리지널 신호 에너지의 관계, 또는 심지어 에너지 에러와 업믹스 신호 에너지의 관계와 같은, 상대적인 측도일 수 있다. 상대적인 에너지 측도는 보정 팩터로서 이용될 수 있고, 그럼에도 불구하고 에너지 측도이며, 이는 그것이 에너지-손실 도입 업믹싱 룰, 또는 -다시 말해서- 비-에너지-보존 업믹싱 룰(non-energy-preserving upmixing rule)에 의해 발생된 업믹스 신호에 도입된 에너지 에러에 의존하기 때문이다.

예시적인 에너지-손실 도입 업믹싱 룰(비-에너지-보존 업믹싱 룰)은 전송된 예측 계수를 이용하는 업믹스이다. 프레임 또는 프레임의 서브밴드의 불완전(non-perfect) 예측의 경우에, 업믹스 출력 신호는, 에너지 손실에 대응하는 예측 에러에 의해 영향을 받는다. 당연히, 예측 에러는 프레임 마다 변하며, 이는 거의 완전(perfect) 예측(낮은 예측 에러)의 경우에 단지 작은 (스케일링 또는 추가 비상관 신호의 추가에 의한)보상이 수행되어야 하고 반면 큰 예측 에러(비-완전 예측)의 경우에 더 보상이 수행되어야 하기 때문이다. 따라서, 에너지 측도도 또한 없거나 단지 작은 보상을 나타내는 값과 큰 보상을 나타내는 값 사이에서 변한다.

에너지 측도는 인터채널 가간섭성(ICC) 값으로서 여겨질 경우, 그 보상은 자연스러우며, 보상이 에너지 측도에 따라 스케일링된 비상관 신호를 추가함으로써 행해질 경우, 바람직하게는 이용된 상대적인 에너지 측도(ρ)는 전형적으로 0.8과 1.0 사이에서 변하며, 여기서 1.0은 업믹스된 신호가 요구된 만큼 비상관화되거나, 또는 비상관 신호가 추가되지 않아야 하거나, 또는 예측 업믹스 결과의 에너지가 오리지널 신호의 에너지와 동일하거나, 또는 예측 에러가 제로라는 것을 나타낸다.

그러나, 본 발명은 또한 다른 에너지-손실 도입 업믹싱 룰과 관련하여서, 즉 파형 매칭에 근거하지 않고, 코드북, 스펙트럼 매칭, 또는 에너지 보존과 상관없는 다른 어떤 업믹싱 룰의 사용과 같은, 다른 기술에 근거하는 룰과 관련하여서 유용하다.

일반적으로, 에너지 보상은 에너지-손실 도입 업믹싱 룰을 적용하기 이전 또는 이후에 수행될 수 있다. 대안적으로, 에너지 손실 보상은, 이를 테면 에너지 측도를 이용하여 오리지널 메트릭스 계수를 바꾸는 것에 의해서, 업믹싱 룰에도 포함될 수 있어서, 새로운 업믹싱 룰이 발생되고 업믹서에 의해 이용되게 된다. 이러한 새로운 업믹싱 룰은 에너지-손실 도입 업믹싱 룰 및 에너지 측도에 근거한다. 다시 말해서 본 실시예는, 에너지 보상이 "강화된" 업믹싱 룰에 "혼합(mixed)"되어서, 에너지 보상 및/또는 비상관 신호의 추가가 하나 이상의 업믹싱 메트릭스을 입력 벡터(하나 이상의 베이스 채널)에 적용함으로써 수행되어, (그 하나 이상의 메트릭스의 동작 이후에) 출력 벡터(적어도 3채널을 갖는 복원된 멀티채널)을 얻도록 하는, 그러한 상태와 관련된다.

바람직하게는, 업믹서 디바이스는 2개의 베이스 채널 l₀, r₀를 수신하고 3개의 복원된 채널 l, r 및 c을 출력한다.

이어, 도 12를 참조하면, 도 12는 인코더-디코더 경로 상의 다른 위치에서의 예시적인 에너지 상태를 나타낸다. 블록(1200)은 멀티채널 오디오 신호, 이를테면 도 1에서 나타낸 바와 같은 적어도 좌측 채널, 우측 채널 및 중앙 채널을 갖는 신호의 에너지를 나타낸다. 도 12의 실시예에 대해, 도 1의 입력 신호(101, 102, 103)가 완전히 무상관적(uncorrelated)이고, 다운믹서는 에너지-보존적(energy- preserving)이라고 가정한다. 이 경우에, 불록(1202)에 의해 지시된 하나 이상의 베이스 채널의 에너지는 멀티채널 오리지널 신호의 에너지(1200)과 동일하다. 오리지널 멀티채널 신호가 서로 상관적일 경우에, 베이스 채널 에너지(1202)가, 예를 들어 좌측 및 우측이 (부분적으로) 서로 상쇄될 때의 오리지널 멀티채널 신호의 에너지 보다 낮을 수 있다.

그러나 이후의 논의에 대해서, 베이스 채널의 에너지(1202)가 오리지널 멀티채널 신호의 에너지(1200)와 같다고 가정한다.

도면부호(1204)는, 업믹스 신호(예를 들어 도 1의 110, 111, 112)가 도 1과 관련하여 논의된 비-에너지 보존 업믹스(non-energy preserving up-mix) 또는 예측 업믹스일 경우의, 업믹스 신호의 에너지를 나타낸다. 도 14a 및 14b와 관련하여 이후에 설명될, 그러한 예측 업믹스가 에너지 에러 E_r를 도입하기 때문에, 업믹스 결과의 에너지(1204)는 베이스 채널의 에너지(1202) 보다 낮을 것이다.

업믹서(1104)는 에너지(1204) 보다 높은 에너지를 갖는 출력 채널을 출력하도록 동작한다. 바람직하게는, 업믹서 디바이스(1104)는, 도 11의 업믹스 결과(1100)가 도면부호(1206)에 나타낸 에너지를 갖도록, 완전 보상을 수행한다.

바람직하게는, 그 에너지가 도면부호(1204)에 나타내어진 업믹스 결과는, 도 2에서와 같이 단순하게 업스케일된 것이나, 또는 도 3에서와 같이 개별적으로 업스케일된 것이나, 또는 도 4에서와 같이 인코더-측 업스케일된 것이 아니다. 대신, 예측 업믹스로 인해 에러에 해당하는 잔여 에너지 E_r가 비상관 신호를 이용하여 "채 워진(filled up)다". 다른 바람직한 실시예에서, 이 에너지 에러 E_r는 비상관 신호에 의해 단지 부분적으로 커버되며, 반면 그 에너지 에러의 나머지는 업믹스 결과를 업-스케일링함으로써 구성된다. 비상관 신호에 의한 에너지 에러의 완전한 커버가 도 5 및 도 6에 도시되며, 반면 "부분적인(in-part)"-해결이 도 7에 의해 설명된다.

도 13은 다수개의 에너지-보상 방법, 예를 들어 에너지 에러에 따르는 에너지 측도에 근거하여, 출력 채널의 에너지가 예측 업믹스의 순수한 결과 즉 (정확하지 않은) 에너지-손실 도입 업믹싱 룰의 결과 보다 더 높다는 특징을 공통적으로 가지는 방법들을 보여준다.

도 13의 표에서 1 번은 업믹스 이후에 수행되는 디코더-측 에너지 보상에 관한 것이다. 이 옵션은 도 2에서 보여지며, 도 3과 관련해서 추가적으로 부연설명하면, 그것은 채널-특정 업-스케일링 팩터(channel-specific up-scaling factor) g_z를 나타내며, 에너지 측도 ρ 뿐만 아니라 추가적으로 채널-의존 다운믹스 팩터(channel-dependent down-mix factor) ν_z에 의존하고, 여기서 z는 l, r 또는 c이다.

도 13의 2번은 도 4에서 설명된 다운믹스 이후에 수행되는 인코더-측 에너지 보상 방법을 포함한다. 이 실시예는 에너지 측도 ρ 또는 γ가 인코더에서 디코더로 전송될 필요가 없다는 점에서 바람직하다.

도 13의 표에서 3번은 업믹스 이전에 수행되는 디코더-측 에너지 보상에 관 한 것이다. 도 2를 고려할 경우, 도 2의 업믹스 이후에 수행되는 에너지 보정(202) 도 2의 업믹스 불록(201) 이전에 수행될 것이다. 이 실시예는, 도 2와 비교해서, 더 용이한 보상을 얻게 되며, 이는 비록 품질 손실들이 발생할 지라도 도 3에 나타낸 채널-특정 보정 팩터가 요구되지 않기 때문이다.

도 13의 4번은 다른 실시예에 관한 것이며, 여기서는 인코더-측 보정이 다운믹싱 이전에 수행된다. 도 1을 고려할 경우, 다운믹스 출력이 도 12의 도면부호(1208)에 나타낸 다운믹싱 이후에 증가되도록, 채널(101, 102, 103)이 해당 보상 팩터에 의해 업스케일링될 것이다. 따라서, 도 13의 4번 실시예는 본 발명의 2번 실시예에서와 같은 인코더에 의해 출력된 베이스 채널'에 대해 동일한 결과를 갖는다.

도 13 표의 5번은, 도 5의 실시예에 관한 것이며, 비상관 신호가 도 5의 비-에너지 보존 업믹싱 룰에 의해 발생된 채널로부터 유도될 경우이다.

도 13의 표에서 6번 실시예는, 단지 잔여 에너지의 일부만이 비상관 신호에 의해 커버되는 실시예에 관한 것이다. 이 실시예는 도 7에서 설명된다.

도 13의 8번 실시예는 5번 또는 6번 실시예와 유사하지만, 도 5의 박스(501')에 의해 설명된 바와 같이 비상관 신호가 업믹싱 이전에 베이스 채널로부터 유도된다.

이하에서, 인코더의 바람직한 실시예가 상세하게 설명된다. 도 14a는 적어도 2채널을 갖는, 그리고 바람직하게는 적어도 3채널 l, c, r을 갖는 멀티채널 입력 신호(1400)를 처리하는 인코더를 나타낸다.

인코더는 멀티채널 입력 신호(1400)의 에너지 또는 적어도 하나의 베이스 채널(1404)과 비-에너지 보존(conserving) 업믹싱 동작(1407)에 의해 발생된 업믹스된 신호(1406) 간의 에너지 차에 의존하는 에러 측도를 계산하는 에너지 측도 계산기(1402)를 포함한다.

또한, 인코더는 에너지 측도에 의존하는 스케일링 팩터(403)에 의해 스케일링(401, 402)되기 전에 적어도 하나의 베이스 채널을 출력하거나, 에너지 측도 자체를 출력하는 출력 인터페이스(1408)를 포함한다.

바람직한 실시예에서, 인코더는 오리지널 멀티채널(1400)로부터 적어도 하나의 베이스 채널(1404)을 발생하는 다운믹서(1410)를 포함한다. 업믹스 파라미터를 발생하기 위해, 차 계산기(1414) 및 파라미터 최적화기(optimizer ; 1416)가 또한 존재한다. 이들 요소는 최고-매칭(best-matching) 업믹스 파라미터(1412)를 찾도록 동작한다. 적어도 2개의 최고 적합 업믹스 파라미터의 이러한 세트가 바람직한 실시예에서 파라미터 출력으로서 출력 인터페이스를 통해 출력된다. 차 계산기는 바람직하게는 오리지널 멀티채널 신호(1400)와 파라미터 라인(1412)에서의 파라미터 입력을 위한 업믹서-발생 업믹스 신호 간의 최소 평균 자승 에러 계산을 수행하도록 동작한다. 이러한 파라미터 최적화 과정은, 업믹서(1408)에 포함된 어느 업믹싱 메트릭스에 의해 최고-매칭 업믹스 결과를 얻고자 하는 목표를 가지는 여러 가지 다른 최적화 과정에 의해 수행될 수 있다.

도 14a 인코더의 기능이 도 14b에 도시되었다. 다운믹서(1410)에 의해 수행된 다운믹싱 단계(1440) 이후에, 도면부호(1442)에 의해 나타낸 바와 같이 베이스 채널 또는 다수개의 베이스 채널이 출력될 수 있다. 이어, 업믹스 파라미터 최적화 단계(1444)가 수행되며, 이는 어느 최적화 전략에 따라 반복적이거나 비반복적인 과정일 수 있다. 그러나, 반복 과정이 바람직하다. 일반적으로, 업믹스 파라미터 최적화 과정은, 업믹스 결과와 오리지널 신호 간의 차이가 가능한 한 낮게 되도록 실행될 수 있다. 그러한 실행에 따라서, 이러한 차이는 개별적인 채널-관련(channel-related) 차이이거나 또는 결합된 차이일 수 있다. 일반적으로, 업믹스 파라미터 최적화 단계(1444)는, 개별 채널 또는 결합된 채널로부터 유도될 수 있는 그 어떤 비용 함수도 축소하도록 동작하여서, 다른 2채널에 대해 예를 들어 훨씬 향상된 매칭이 달성될 때, 하나의 채널에 대해 큰 차이(에러)가 용인되도록 한다.

이어, 최고 적합 파라미터 세트, 예를 들어 최고 접합 업믹스 메트릭스이 발견되었을 때, 단계(1446)에 나타낸 바와 같이 단계(1444)에 의해 발생된 파라미터 세트의 적어도 2개의 업믹싱 파라미터가 출력 인터페이스에 출력된다.

또한, 업믹스 파라미터 최적화 단계(1444)가 완료된 이후에, 단계(1448)에 나타낸 바와 같이 에너지 측도가 계산되고 출력될 수 있다. 일반적으로, 에너지 측도는 에너지 에러(1210)에 의존한다. 바람직한 실시예에서, 에너지 측도는 도 2에서 나타낸 바와 같이, 업믹스 결과(1406)의 에너지와 오리지널 신호(1400)의 에너지의 관계에 의존하는 팩터 ρ이다. 대안적으로, 계산되고 출력된 에너지 측도는 에너지 에러(1210)에 대한 절대 값일 수 있거나, 에너지 에러에 의존하는 업믹스 결과(1406)의 절대 에너지일 수 있다. 여기에서, 출력 인터페이스(1408)에 의해 출력된 것과 같은 에너지 측도는, 바람직하게는 양자화 되고, 더 바람직하게는 허프 만 인코더 또는 런-렝스(run-length) 인코더와 같이, 후속하는 동일한 에너지 측도가 많을 경우에 특히 유용한, 그 어떤 공지의 엔트로피-인코더(entropy-encoder)를 이용한 엔트로피-인코딩된다. 대안적으로 또는 추가적으로, 이후의 시간 부분 또는 프레임에 대한 에너지 측도는 차-인코딩(difference-encoded)될 수 있으며, 여기서 차-인코딩은 바람직하게는 엔트로피-코딩 전에 수행된다.

이하에서는 도 15a를 참조하면, 도 15a는 본 발명의 바람직한 실시예에 따라, 도 14a 인코더에 결합된 대안적인 다운믹서 실시예를 나타낸다. 도 15a 실시예는, 비록 이 실시예가 스펙트럼 대역 복제가 수행되지 않고 베이스 채널의 완전한 대역폭이 전송되는 그런 경우에도 또한 이용될 수 있지만, SBR-구현을 커버한다. 도 15a 인코더는 오리지널 신호를 다운믹싱하는 다운믹서(1500)를 포함하여, 적어도 하나의 베이스 채널(1504)를 얻는다. 비(non)-SBR-실시예에서, 적어도 하나의 베이스 채널(1504)이 코어 코더(1506)로 입력되며, 코어 코더(1506)은 싱글 베이스 채널의 경우에 모노-신호를 위한 AAC 인코더일 수 있고, 또는 예를 들어 2 스테레오 베이스 채널의 경우에 어느 스테레오 코더일 수 있다. 코어 코더(1506)의 출력에, 인코딩된 베이스 채널을 포함하거나 다수개의 인코딩된 베이스 채널을 포함하는 비트스트림이 출력된다(1508).

도 15a의 실시예가 SBR 기능을 가질 경우, 적어도 하나의 베이스 채널(1504)이, 코어 코더로 입력되기 전에, 로우패스 필터링된다(1510). 당연히, 블록(1510)과 (1506)의 기능은, 싱글 인코딩 알고리즘 내에서 로우패스 필터링 및 코어 코딩을 수행하는 싱글 인코더 디바이스에 의해 구현될 수 있다.

출력(1508)에서 인코딩된 베이스 채널은 단지 인코딩된 형태의 베이스 채널(1504)의 저-대역만을 포함한다. 고-대역에 대한 정보는 SBR 스펙트럼 포락선 계산기(1512)에 의해 계산되며, SBR 스펙트럼 포락선 계산기(1512)는 인코딩된 SBR-측 정보를 발생하여 출력(1516)으로 출력하는 SBR 정보 인코더(1514)에 연결된다.

오리지널 신호(1502)는 (채널 에너지가 블록(1520)에 의해 출력된 L, C, R에 의해 나타내어진, 오리지널 채널 l, c, r의 어느 시간 주기에 대하여) 채널 에너지를 발생하는 에너지 계산기(1520)로 입력된다. 채널 에너지 L, C, R은 파라미터 계산기 블록(1522)로 입력된다. 파라미터 계산기(1522)는 2개의 업믹스 파라미터 c1, c2를 출력하며, 이는 예를 들어 도 15a에서 나타낸 파라미터 c₁, c₂일 수 있다. 당연히, 디코더로의 전송을 위해, 모든 입력 채널의 에너지를 포함하는 다른 (예로서 선형) 에너지 결합이 파라미터 계산기(1522)에 의해 발생될 수 있다. 당연히, 다른 전송된 업믹스 파라미터는 잔여 업믹싱 메트릭스 요소를 계산하는 다른 방식을 도출할 것이다. 식(40) 또는 식(41 내지 44)와 관련하여 나타낸 바와 같이, 도 15 실시예의 에너지-지시적(energy-directed)에 관한 업믹스 메트릭스은 적어도 4개의 비-제로(non-zero) 요소를 가지며, 여기서 3번째 행(row)의 요소들은 서로 동일하다. 따라서, 파라미터 계산기(1522)는, 예를 들어 그로부터 업믹스 메트릭스 식(40) 또는 (41)과 같은 업믹스 메트릭스의 4개 요소가 유도될 수 있는, 에너지 L, C, R의 그 어떠한 결합도 이용할 수 있다.

도 15a 실시예는 신호의 전체 대역폭에 대한 에너지 보존적인, 또는 일반적 으로 말해서 에너지-유도적인 업믹스 수행하도록 동작하는 인코더를 나타낸다. 이는 도 15a에 나타낸 인코더-측에서, 파라미터 계산기(1522)에 의해 출력된 파라메트릭 표현이 전체 신호에 대해 발생된다는 것을 의미한다. 이는 인코딩된 베이스 채널의 각 서브밴드에 대하여, 파라미터의 해당 세트가 계산되고 출력된다는 것을 의미한다. 10개의 서브밴드를 갖는, 예를 들어, 전대역폭(full-bandwidth)인, 예를 들어 인코딩된 베이스 채널이 고려될 경우에, 파라미터 계산기가 인코딩된 베이스 채널의 각 서브밴드에 대하여 10개의 파라미터 c₁ 및 c₂를 발생할 수 있다. 그러나, 인코딩된 베이스 채널이, 예를 들어 단지 5개의 하위(lower) 서브밴드만을 커버링하는 SBR 환경에서의 저-대역일 경우에는, 비록 출력(1508)에서의 신호가 해당 서브밴드를 포함하지 않더라도, 파라미터 계산기(1522)가 5개의 하위 서브밴드 각각에 대하여, 그리고 추가적으로 5개의 상위 서브밴드 각각에 대하여 파라미터의 세트를 출력할 것이다. 이는 도 16a와 관련하여 하기에서 설명되는 바와 같이, 그러한 서브밴드가 디코더-측에서 재생성될 것이기 때문이다.

그러나 바람직하게는, 도 10과 관련하여 설명한 바와 같이, 에너지 계산기(1520) 및 파라미터 계산기(1522)가 단지 오리지널 신호의 고대역 부분에 대해서만 동작하고, 반면 오리지널 신호의 저대역 부분에 대한 파라미터는 도 10의 예측 파라미터 계산기(104)에 의해 계산되며, 이는 도 10의 예측 업믹서(109)와 대응한다.

도 15b는 도 10의 선택 모듈(1002)에 의해 출력된 파라메트릭 표현의 도식적 인 표현을 보여준다. 따라서, 본 발명에 따르는 파라메트릭 표현은 (인코딩된 베이스 채널(들)을 갖거나 갖지 않은, 그리고 선택적으로 에너지 측도를 갖지 않은 것 까지도) 저대역, 예를 들어 서브밴드 1 내지 i에 대한 예측 파라미터 세트 및 고대역, 예를 들어 서브밴드 i+1 내지 N에 대한 서브밴드-방식(sub-band-wise) 파라미터를 포함한다. 대안적으로, 예측 파라미터와 에너지 스타일 파라미터는 믹싱될 수 있으며, 예를 들어 에너지 스타일 파라미터만 갖는 서브밴드가 예측 파라미터만 갖는 서브밴드 사이에 위치할 수 있다. 더욱이, 단지 예측 파라미터를 갖는 프레임은 에너지 스타일 파라미터를 갖는 프레임을 뒤따를 수 있다. 따라서, 일반적으로 말하면, 본 발명은 도 10과 관련하여 설명한 바와 같이, 다른 파라미터화에 관한 것이며, 여기서 다른 파라미터화는 오로지 예측 파라미터만을 갖는 프레임에 오로지 에너지 스타일 파라미터를 갖는 프레임이 뒤따를 경우에, 도 15b에 나타낸 바와 같이 주파수 방향이 다를 수 있거나 시간 방향이 다를 수 있는 것이다. 당연히, 서브밴드의 분포 또는 파라미터화는 프레임 마다 변할 수 있어서, 예를 들어 서브밴드 i가 첫 번째 프레임에, 도 15b에 나타낸 바와 같이, 첫 번째 (예를 들어 예측) 파라미터 세트를 갖고, 다른 프레임에 두 번째 (예를 들어 에너지 스타일) 파라미터를 갖는다.

더욱이, 본 발명은 또한 도 14a에 나타낸 바와 같은 예측 파라미터화 또는 도 15a에 나타낸 바와 같은 에너지 스타일 파라미터화와 다른 파라미터화가 이용될 경우에 유용하다. 또한 예측 또는 에너지 스타일과 별개인 파라미터화의 다른 예는, 어느 목표 파라미터 또는 목표 이벤트라도 다음을 나타내자마자, 즉 인코더 측에서 또는 디코더 측에서의 업믹스 품질, 다운믹스 비트레이트, 계산 효율(computational efficiency) 또는 예를 들어 배터리를 사용하는 디바이스의 에너지 소비 등이, 어느 서브밴드 또는 프레임에 대하여, 첫 번째 파라미터화가 두 번째 파라미터화 보다 더 좋다고 나타내자마자 이용될 수 있다. 당연히, 목표 함수는 또한 상술한 바와 같이 다른 개별 목표/이벤트의 결합일 수 있다. 예시적인 이벤트는 SBR-복원 고 대역 등등 일 것이다.

또한, 주파수 또는 시간-선택적인 계산 및 파라미터의 전송은 도 10의 도면부호(1005)에 나타낸 바와 같이 명시적으로 시그널링될 수 있다는 것을 유념하여야 한다. 대안적으로, 그러한 시그널링은 또한 도 16a와 관련하여 논의되는 바와 같이, 잠재적으로 수행될 수도 있다. 이 경우에, 디코더에 대하여 사전-정의된(pre-defined) 룰이 이용되는데, 예를 들어, 디코더는 자동적으로 전송된 파라미터가, 도 15b의 고-대역에 속하는 서브밴드에 대한, 예를 들어, 스펙트럼 대역 복제 또는 고-주파수 재생성 기술에 의해 복원되었던 서브밴드에 대한, 에너지 스타일 파라미터라고 가정한다.

또한, 전송된 파라미터가 모든 인코더 측의 가능 정보(이 정보는 실제로 목표 함수에 이용될 수 있거나 SBR 프로세싱 및 시그널링에 이용될 수 있다)에 근거하는, 하나, 둘 또는 다른 파라미터화, 그리고 인코더 측의 선택에 대한, 인코더 측 계산이 에너지 측도의 전송을 가지고, 또는 전송이 없이 수행될 수 있다는 것을 유념하여야 한다. 바람직한 에너지 보정이 전혀 수행되지 않은 경우조차도, 예를 들어 비-에너지-보존(non-energy-conserving) 업믹스(예측 업믹스)가 에너지-보존 적(energy-corrected)이지 않거나, 인코더 측에서 대응하는 사전-보상(pre-compensation)이 수행되지 않은 경우에도, 다른 파라미터화들 간의 바람직한 스위칭이 더 좋은 멀티채널 출력 품질 및/또는 하위 비트레이트를 얻는데 유용하다.

특히, 가능한 인코더 측 정보에 따른 다른 파라미터화들 간의 바람직한 스위칭은, 도 5 내지 7과 관련하여 나타낸 바와 같은 예측 업믹스에 의해 수행된 에너지 에러를 완전히 또는 적어도 부분적으로 커버링하는, 비상관 신호의 추가를 가지거나 추가가 없이 이용될 수 있다. 여기에서, 도 5와 관련하여 설명된 바와 같은 비상관 신호의 추가는 오직, 그에 대해 예측 업믹스 파라미터가 전송된 서브밴드/프레임에 대해서만 수행되며, 반면 비상관에 대한 다른 측도가, 에너지 스타일 파라미터가 전송되었던 이들 서브밴드 또는 프레임에 대해서 이용된다. 그러한 측도는, 예를 들어, 습윤(wet) 신호를 다운-스케일링(down-scaling)하는 것 및 비상관 신호를 발생하는 것 및 그 비상관 신호를 스케일링하는 것이어서, 적합하게 스케일링된 비상관 신호가 건조(dry) 신호에 가산될 때, 예를 들어 ICC와 같은 전송된 인터-채널-상관관계 측도에 의해 요구된 비상관 관계의 요구 량이 얻어지도록 한다.

이하에서는, 도 16a에 대해 논의하며, 도 16a는 바람직한 업믹싱 블록(201) 및 도면부호(202)에서의 해당 에너지 보정의 디코더 측 구현을 나타낸다. 도 11과 관련하여 논의한 바와 같이, 전송된 업믹스 파라미터(1108)는 수신된 입력 신호로부터 추출된다. 이들 전송된 업믹스 파라미터는, 에너지 보상을 포함하는 업믹스 메트릭스(1602)이 예측 업믹스 및 이전 또는 이후의 에너지 보정을 수행하는 것일 경우에, 바람직하게는 잔여 업믹스 파라미터를 계산하는 계산기(1600)으로 입력된 다. 잔여 업믹스 파라미터를 계산하는 과정은 도 16b와 관련하여 이하에서 논의한다.

업믹스 파라미터의 계산은 도 16b의 식에 근거하며, 이는 또한 식(7)로서 반복된다. 3-입력-신호/2-출력-신호의 실시예에서, 다운믹스 메트릭스 D는 6개의 변수를 가진다. 그에 더해, 업믹스 메트릭스 C 역시도 6개의 변수를 가진다. 그러나, 식(7)의 우변에는 단지 4개의 변수만을 가진다. 따라서, 미지의 다운믹스 및 미지의 업믹스의 경우에는, 메트릭스 D 및 C로부터 12개의 미지의 변수와, 이들 12개의 변수를 결정하는 단지 4개의 식을 가지게 될 것이다. 그러나, 비록 이들 6개의 변수를 결정하는 4개의 식이 여전히 존재하더라도, 미지인 변수의 수는, 6개의 변수를 갖는 업믹스 메트릭스 C의 계수로 줄어들도록, 다운믹스는 기지(known)이다. 따라서, 도 14b의 단계 1444와 관련하여 논의되고 도 14a에 나타낸 최적화 방법은 업믹스 메트릭스의 적어도 2개의 변수를 결정하는 데 이용되며, 이는 바람직하게는 c₁₁ 및 c₂₂이다. 이제, 4개의 미지값 예를 들어 c₁₂, c₂₁, c₃₁ 및 c₃₂이 있고, 4개의 식들 예를 들어 도 16b의 식의 우변에 항등메트릭스에서의 각 요소에 대한 하나의 식이 있기 때문에, 업믹스 메트릭스의 잔여 미지 변수는 명확한 방식으로 계산될 수 있다. 이러한 계산은 잔여 업믹스 파라미터를 계산하는 계산기(1600)에서 수행된다.

디바이스(1602)의 업믹스 메트릭스은 점선(1604)과 블록(1600)에 의해 계산된 4개의 잔여 업믹스 파라미터의 이전에 있는 2개의 전송된 업믹스 파라미터에 따 라 설정된다. 이 업믹스 메트릭스은 이어 선(1102)을 통해 베이스 채널 입력에 적용된다. 구현에 따르면, 저-대역 보정에 대한 에너지 측도가 선(1106)을 통해 전송되어서 보정된 업믹스가 발생되고 출력될 수 있도록 한다. 예측 업믹스가 예를 들어 단지 선(1606)을 통해서 잠재적으로 시그널링된 저-대역에 대해서만 수행되는 경우, 그리고 선(1108) 상에 고-대역에 대한 에너지 스타일 업믹스 파라미터가 존재하는 경우, 이러한 사실이, 해당 서브밴드를 위해, 계산기(1600) 및 업믹스 메트릭스 디바이스(1602)에 시그널링된다. 에너지 스타일의 경우에, 업믹스 메트릭스(40) 또는 (41)의 업믹스 메트릭스 요소를 계산하는 것이 바람직하다. 이를 위해, 식(40)의 아래에 나타낸 전송된 파라미터 또는 식(41)의 아래에 나타낸 해당 파라미터가 이용된다. 이 실시예에서는, 전송된 업믹스 파라미터 c₁, c₂가 업믹스 계수에 대해 직접적으로 사용될 수 없지만, 식(40) 또는 식(41)에 나타낸 업믹스 메트릭스의 계수가, 전송된 업믹스 파라미터 c₁ 및 c₂를 이용하여 계산되어야 한다.

고-대역에 대해서는, 에너지-기반 업믹스 파라미터에 대해 결정된 업믹스 메트릭스이, 멀티채널 출력 신호의 고-대역 부분을 업믹싱하는데 이용된다. 이후, 저-대역 부분과 고-대역 부분이, 전대역 복원 출력 신호 l, r, c를 출력하는 저/고 결합기(1608)에서 결합된다. 도 16a에 나타낸 바와 같이, 베이스 채널의 고-대역이, 전송된 저-대역 베이스 채널을 디코딩하는 디코더를 이용하여 발생되며, 이러한 디코더는 모노 베이스 채널에 대해서는 모노-디코더이고, 2 스테레오 베이스 채널에 대해서는 스테레오-디코더이다. 이 디코딩된 저-대역 베이스 채널(들)은 SBR 디바이스(1614)로 입력되며, SBR 디바이스(1614)는 도 15a의 디바이스(1512)에 의해 계산된 포락선 정보를 추가적으로 수신한다. 저-대역 부분 및 고 대역 포락선 정보에 근거해서, 베이스 채널의 고 대역이 발생되어서 선(1102) 상의 전대역 베이스 채널을 얻으며, 이는 업믹스 메트릭스 디바이스(1602)로 전송된다.

바람직한 방법 또는 디바이스 또는 컴퓨터 프로그램이 여러 개의 장치에 구현되거나 포함될 수 있다. 도 17은 본 발명의 인코더를 포함하는 송신기(transmitter)와 본 발명의 디코더를 포함하는 수신기(receiver)를 가지는 전송 시스템을 보여준다. 송신 채널은 무선 또는 유선 채널일 수 있다. 또한, 도 18에 나타낸 바와 같이, 인코더가 오디오 레코더에 포함될 수 있고, 디코더는 오디오 플레이어에 포함될 수 있다. 오디오 레코더로부터의 오디오 기록은 인터넷을 통해서, 또는 우편 또는 배송 방편 또는 메모리 카드, CD 또는 DVD와 같은 저장 매체를 분배하는 다른 가능 수단을 이용하여 분배된 저장 매체를 통해서 오디오 플레이어로 분배될 수 있다.

본 발명의 방법의 어느 구현 요구에 따라, 본 발명의 방법은 하드웨어 또는 소프트웨어로 구현될 수 있다. 그러한 구현은 디지털 저장 매체, 특히 본 발명의 방법을 수행되도록 프로그램 가능한 컴퓨터 시스템과 함께 작동될 수 있는, 전자적으로 판독가능한 제어 신호를 갖는 디스크 또는 CD를 이용하여 수행될 수 있다. 따라서 본 발명은 일반적으로 컴퓨터 프로그램 제품이 컴퓨터에서 구동될 때 본 발명의 방법의 적어도 하나를 수행하는, 기계-판독형 캐리어에 저장된 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로 구성될 수 있다. 다시 말해서, 본 발명의 방법은 컴퓨터 프로그램이 컴퓨터에서 구동될 때 본 발명의 방법을 수행하는 프로그램 코드를 가지는 컴퓨터 프로그램이다.

Claims

적어도 하나의 베이스 채널(1102)을 갖는 입력 신호를 이용하여 적어도 3개의 출력 채널(1100)을 발생하는 멀티채널 합성기로서, 상기 베이스 채널은 오리지널 멀티채널(101, 102, 103)로부터 유도된 것이고, 상기 멀티채널 합성기는:

적어도 3개의 출력 채널이 얻어지도록 에너지-손실 도입 업믹싱 룰(201, 1407)에 근거하여 적어도 하나의 베이스 채널을 업믹싱하는 업믹서(1104)를 포함하며,

상기 업믹서(1104)는 에너지 측도(1106) 및 적어도 2개의 다른 업믹싱 파라미터(1108)에 반응하여 적어도 3개의 출력 채널을 발생하도록 동작하여서, 상기 적어도 3개의 출력 채널이, 상기 에너지 손실 도입 업믹싱 룰에 따른 에너지 에러 대신 단지 상기 에너지 손실 도입 업믹싱 룰만을 이용하여 얻어진 에너지 보다 더 높은 에너지를 가지게 하고,

상기 적어도 2개의 다른 업믹싱 파라미터(1108) 및 상기 업믹서를 제어하는 상기 에너지 측도는 상기 입력 신호에 포함된 것이고,

상기 에너지-손실 도입 업믹싱 룰은, 예측 계수에 근거하는 메트릭스 계수를 갖는 업믹싱 메트릭스을 이용하는 예측 업믹싱 룰이고,

상기 적어도 2개의 다른 업믹스 파라미터는 상기 업믹싱 메트릭스의 2개의 다른 요소(c₁₁, c₂₂)이거나, 또는 그로부터 상기 업믹싱 메트릭스의 상기 2개의 다른 요소가 유도될 수 있는 파라미터인 것인, 멀티채널 합성기.
청구항 1에 있어서,

상기 에너지 측도는, 직접적으로 또는 간접적으로 상기 오리지널 멀티채널 신호의 에너지에 대한 상기 에너지-손실 도입 업믹싱 룰을 이용하는 업믹스 결과의 에너지의 관계를 나타내거나, 또는 오리지널 멀티채널 신호의 에너지 또는 절대조건에서의 상기 에너지 에러에 대한 에너지 에러의 관계를 나타내는 것인, 멀티채널 합성기.
청구항 1 또는 청구항 2에 있어서,

상기 업믹서는, 상기 오리지널 멀티채널 신호로부터, 상기 적어도 하나의 베이스 채널을 발생하는데 이용된 다운믹스 룰에 대한 정보 및 상기 적어도 2개의 업믹싱 파라미터에 근거하는 업믹스 메트릭스를 유도하기 위한 계산기(1600)를 포함하는 것인, 멀티채널 합성기.
청구항 1 또는 청구항 2에 있어서,

상기 업믹서는, 좌측 베이스 채널 및 우측 베이스 채널을 처리하고, 좌측 출력 신호, 우측 출력 신호 및 중앙 신호를 출력하도록 동작하고, 상기 좌측 베이스 채널 및 상기 우측 베이스 채널은 상기 멀티채널 신호의 스테레오-호환 표현인 것인, 멀티채널 합성기.
청구항 1 또는 청구항 2에 있어서,

상기 업믹서(1104)는 스케일링 팩터를 이용하여 상기 적어도 3개의 출력 채널을 개별적으로 스케일링(304)하도록 동작하고,

출력 채널에 대한 스케일링 팩터(g_z)는 상기 에너지-손실 도입 업믹싱 룰의 업믹스 결과의 에너지, 및 상기 에너지-손실 도입 업믹싱 룰과 상기 적어도 베이스 채널을 발생하는 다운믹스(v)에 대한 정보를 이용하는 업믹싱 이후의 출력 채널의 에너지에 의존하는 것인, 멀티채널 합성기.
청구항 5에 있어서,

상기 스케일링 팩터는 다음식에 의해 결정되고:

v_z는 출력 채널 z에 대한 다운믹스-의존 팩터이며, ρ은 상기 에너지 측도이며,
는 상기 에너지-손실 도입 업믹싱 룰에 의해 발생된 상기 멀티채널 신호의 상기 에너지이며,
는 상기 에너지-손실 도입 업믹싱 룰의 상기 스케일링되는 출력 채널의 에너지를 나타내는 것인, 멀티채널 합성기.
청구항 1 또는 청구항 2에 있어서,

상기 업믹서(1104)는, 상기 적어도 하나의 베이스 채널로부터 또는 상기 에너지-손실 도입 업믹싱 룰의 상기 출력 신호의 적어도 하나로부터, 비상관 신호를 발생하는 비상관화기(501, 502, 503, 501', 503')를 더 포함하고,

상기 업믹서는 또한, 출력 채널에서의 상기 비상관 신호의 에너지 량이 상기 에너지 측도에 의해 유도될 수 있는 상기 에너지 에러의 량 보다 작거나 그와 같도록, 상기 비상관 신호를 이용하게 동작하는 것인, 멀티채널 합성기.
청구항 7에 있어서,

상기 업믹서는, 다운스케일링 팩터에 의해 다운스케일링된 출력 채널의 에너지와 같은 에너지를 갖는 비상관 신호를 발생하도록 동작하고, 상기 다운스케일링 팩터는 상기 에너지 측도에 의존하며,

상기 업믹서는 또한 상기 비상관 신호 및 상기 에너지-손실 도입 업믹싱 룰의 출력 신호를 가산하도록(109) 동작하는 것인, 멀티채널 합성기.
청구항 7에 있어서,

상기 비상관화기는, 채널-특정 팩터(ν)에 의해 가중되고 상기 에너지 측도(ρ)를 이용하여 가중된 비상관 신호를 가산함으로써 상기 적어도 3개의 출력 채널을 개별적으로 비상관화하고, 상기 가중된 비상관 신호를 상기 에너지-손실 도입 업믹싱 룰을 수행하는 업믹서(109)의 출력 신호에 가산하도록 동작하는 것인, 멀티채널 합성기.
청구항 8에 있어서,

상기 비상관화기는 디지털 필터를 이용하여 입력 신호를 필터링하도록 동작하는 것인, 멀티채널 합성기.
청구항 8에 있어서,

상기 다운스케일링 팩터는 다음식에 따라서 유도되고:

,

γ는 상기 다운스케일링 팩터이며, ρ는 상기 에너지 측도인 것인, 멀티채널 합성기.
청구항 1 또는 청구항 2에 있어서,

상기 업믹서(1104)는, 에너지-손실 도입 업믹싱 룰로 인한 에너지 손실을 부분적으로 또는 전체적으로 보상하기 위해, 상기 에너지 에러 보다 작고 0 보다 큰 에너지를 갖는 비상관 신호를, 상기 에너지-손실 도입 업믹싱 룰에 의해 발생된 적어도 하나의 채널에 가산하도록 동작하는 것인, 멀티채널 합성기.
청구항 12에 있어서,

상기 비상관 신호의 상기 에너지가 상기 에너지 에러 보다 작을 경우, 상기 업믹서는 상기 적어도 하나의 베이스 채널 또는 상기 업믹싱 룰에 의해 발생된 신호를 업스케일링하도록 동작하여서, 상기 업스케일링된 신호의 결합 에너지 또는 상기 업스케일링된 적어도 하나의 베이스 채널과 상기 가산된 비상관 신호를 이용하여 발생된 업믹스 신호의 결합 에너지가, 상기 오리지널 신호의 에너지 보다 작거나, 또는 그와 같은 것인, 멀티채널 합성기.
청구항 13에 있어서,

상기 가산된 비상관 신호의 상기 에너지는 비상관 팩터에 의해 결정되고, 1에 근사한 높은 비상관 팩터는 작은 레벨의 비상관 신호가 가산되는 것을 나타내고, 반면 0에 근사한 작은 비상관 팩터는 높은 레벨의 비상관 신호가 가산되는 것을 나타내며,

상기 비상관 측도는 상기 입력 신호로부터 추출되는 것인, 멀티채널 합성기.
청구항 12에 있어서,

상기 적어도 하나의 베이스 채널은, 다운믹싱 메트릭스에 의해 발생된 베이스 채널의 스케일링된 버전이고, 상기 스케일링 팩터는 상기 에너지 측도에 의존하여서, 상기 비상관 정보(605)가 또한 상기 에러 에너지에만 의존하여 상기 유일하게 전송된 에너지인 것인, 멀티채널 합성기.
청구항 13에 있어서,

상기 입력 신호에 포함된 상기 에너지 측도는, 상기 에너지 에러(ρ)에 의존하고, 상관관계의 정도(κ)에 의존하는 두 번째 에너지 값을 포함하는 첫 번째 에너지 값을 포함하는, 멀티채널 합성기.
청구항 1 또는 청구항 2에 있어서,

상기 입력 신호는, 상기 2개의 다른 업믹싱 파라미터에 추가해서, 상기 적어도 하나의 베이스 채널에 내재하는 다운믹스에 대한 정보를 포함하고,

상기 업믹서는 상기 추가적인 다운믹싱 정보(802)를 업믹싱 메트릭스을 발생하는데 이용하도록 동작하는 것인, 멀티채널 합성기.
청구항 17에 있어서,

스테레오 사전-처리(901) 계산의 정보(γ)는 상기 다운믹스 정보로서 상기 입력 신호에 포함되는 것인, 멀티채널 합성기.
청구항 1 또는 청구항 2에 있어서,

상기 입력 신호는, 첫 번째 상태에서 첫 번째 업믹싱 룰이 수행되고, 두 번째 상태에서 다른 업믹싱 룰이 수행되는 것을 나타내는 업믹서 모드 지시(1005)를 더 포함하고,

상기 업믹서(1104)는 또한 상기 업믹서 모드 지시(1005)에 의존하여 상기 적어도 2개의 다른 업믹싱 파라미터(1108)를 이용하는 상기 업믹싱 룰에 대한 파라미터를 계산하도록 동작하는 것인, 멀티채널 합성기.
청구항 19에 있어서,

상기 업믹서 모드 지시는, 업믹서 모드를 서브밴드 방식 또는 프레임 방식으로 시그널링하도록 동작하는 것인, 멀티채널 합성기.
청구항 19에 있어서,

상기 첫 번째 업믹싱 룰은 예측 업믹싱 룰이고, 두 번째 업믹싱 룰은 에너지-의존 업믹싱 파라미터를 갖는 업믹싱 룰인 것인, 멀티채널 합성기.
청구항 20에 있어서,

상기 두 번째 업믹싱 룰은 다음과 같이 수행되고:

L은 좌측 입력 채널의 에너지 값이며, C는 중앙 입력 채널의 에너지 값이며, R은 우측 입력 채널의 에너지 값이며, α는 다운믹스 결정 파라미터인 것인, 멀티채널 합성기.
청구항 19에 있어서,

상기 두 번째 업믹싱 룰은, 우측 다운믹스 채널이 좌측 업믹스된 채널에 가산되지 않고, 그 역도 마찬가지인 것인, 멀티채널 합성기.
청구항 19에 있어서,

상기 첫 번째 업믹싱 룰은, 상기 오리지널 멀티채널 신호의 파형과 상기 첫 번째 업믹싱 룰에 의해 발생된 신호의 파형 간에 매칭하는 파형에 의해 결정되는 것인, 멀티채널 합성기.
청구항 19에 있어서,

상기 첫 번째 또는 두 번째 업믹싱 룰은 다음식과 같이 결정되고:

,

함수(f₁, f₂, f₃)는 상기 전송된 2개의 다른 업믹싱 파라미터 c₁, c₂의 함수를 나타내고,

상기 함수는 다음식과 같이 결정되며:

,

α는 실수 파라미터인 것인, 멀티채널 합성기.
청구항 19에 있어서,

상기 멀티채널 합성기는, 상기 입력 신호에 포함된 상기 적어도 하나의 베이스 채널의 일부분을 이용하는 상기 전송된 베이스 채널에 포함되지 않는 상기 적어도 하나의 베이스 채널의 대역을 재생성하는 SBR 유닛(1614)을 더 포함하고,

상기 멀티채널 합성기는 또한, 상기 두 번째 업믹싱 룰을 상기 적어도 베이스 채널의 재생성된 대역에 적용하고, 상기 첫 번째 업믹싱 룰을 상기 입력 신호에 포함된 상기 베이스 채널의 대역에 적용하도록 동작하는 것인, 멀티채널 합성기.
청구항 26에 있어서,

상기 업믹서 모드 지시는 상기 입력 신호에 포함된 SBR 시그널링(1606)인 것인, 멀티채널 합성기.
멀티채널 입력 신호를 처리하는 인코더에 있어서:

멀티채널 입력 신호 또는 상기 멀티채널 입력 신호로부터 유도된 적어도 하나의 베이스 채널과, 에너지-손실 도입 업믹싱 동작에 의해 발생된 업믹스된 신호 간의 에너지 차에 의존하여 에너지 측도(ρ)를 계산하는 에너지 측도 계산기(1402); 및

상기 에너지 측도에 의존하거나 상기 에너지 측도를 출력하는 스케일링 팩터(403)에 의해 스케일링된 이후의 상기 적어도 하나의 베이스 채널(401,402)을 출력하는 출력 인터페이스(1408)를 포함하는, 인코더.
청구항 28에 있어서,

상기 에너지 측도(ρ)는, 에너지-도입 업믹싱 룰을 이용하여 상기 적어도 하나의 베이스 채널을 업믹싱함으로써 발생된 상기 업믹스된 신호의 에너지와, 상기 오리지널 멀티채널 신호의 에너지의 관계에 근거하여 결정되고,

상기 스케일링 팩터는 상기 에너지 측도를 반전시킴으로써 결정되는 것인, 인코더.
청구항 28 또는 청구항 29에 있어서,

상관관계 정도(κ)를 결정하는 상관관계 정도 계산기를 더 포함하고,

상기 출력 인터페이스는 상기 상관관계 정도에 근거하여 상관관계 측도(k)를 출력하도록 동작하는 것인, 인코더.
청구항 28 또는 청구항 29에 있어서,

적어도 2개의 다른 업믹싱 파라미터(1412)를 계산하는 업믹서 파라미터 계산기(1407, 1414, 1416)를 더 포함하고,

상기 출력 인터페이스는 상기 적어도 2개의 다른 업믹싱 파라미터를 출력하도록 동작하는 것인, 인코더.
청구항 28 또는 청구항 29에 있어서,

상기 적어도 하나의 베이스 채널을 계산하는 다운믹서 디바이스(1410)를 더 포함하고,

상기 출력 인터페이스(1408)는 다운믹스 동작에 관한 정보를 출력하도록 동작하는 것인, 인코더.
청구항 32에 있어서,

상기 다운믹서 디바이스는 스테레오 사전처리기를 포함하고,

상기 출력 인터페이스는 상기 스테레오 사전처리기에 관한 정보를 출력하도록 동작하는 것인, 인코더.
청구항 31에 있어서,

상기 업믹서 파라미터 계산기는, 업믹스된 채널의 파형을 이용함으로써 파라미터 최적화(1444)를 수행하고, 최적의 업믹싱 파라미터에 근거하여 디코더로 전송되는 적어도 2개의 업믹싱 파라미터를 발생하며, 상기 최적의 업믹싱 파라미터를 이용하여 상기 적어도 하나의 베이스 채널을 업믹싱함으로써 발생된 신호에 근거하는 에너지 측도를 계산하고 출력하도록 동작하는 것인, 인코더.
청구항 28 또는 청구항 29에 있어서,

상기 인코더에서 얻을 수 있는 정보에 근거하는 다수개의 다른 파라메트릭 표현 중에서 특정 파라메트릭 표현을 발생하는 파라미터 발생기(104, 1001, 1520, 1522, 1414, 1416)를 더 포함하고,

상기 출력 인터페이스(1408)는 상기 발생된 파라메트릭 표현 및 상기 다수개의 다른 파라미터 표현 중의 상기 특정 파라미터 표현을 잠재적으로 또는 명시적으로 나타내는 정보를 출력하도록 동작하는 것인, 인코더.
청구항 35에 있어서,

상기 다수개의 다른 파라미터 표현은, 파형-기반 예측 업믹싱 구성에 대한 첫 번째 파라미터 표현 및 비-파형-기반 업믹싱 룰에 대한 두 번째 파라메트릭 표현을 포함하는 것인, 인코더.
청구항 36에 있어서,

상기 비-파형-기반 업믹싱 룰은 에너지-보존 업믹싱 룰인 것인, 인코더.
청구항 35에 있어서,

첫 번째 파라메트릭 표현은, 상기 파라미터가 최적화 과정을 이용하여 결정되고,

두 번째 파라메트릭 표현은, 상기 오리지널 채널의 상기 에너지를 계산(1502)하고, 에네지의 결합에 근거하는 파라미터(1522)를 계산함으로써 결정되는 것인, 인코더.
청구항 28 또는 청구항 29에 있어서,

상기 인코더에 의해 출력된 베이스 채널에 포함되지 않은 상기 오리지널 입력 신호의 적어도 하나의 대역에 대하여, 스펙트럼 대역 복제 사이드 정보를 발생하는 스펙트럼 대역 복제 모듈(1512, 1514)을 더 포함하는 것인, 인코더.
적어도 하나의 베이스 채널(1102)을 갖는 입력 신호를 이용하여 적어도 3개의 출력 채널(1100)을 발생하는 방법으로서, 상기 베이스 채널은 오리지널 멀티채널(101, 102, 103)로부터 유도된 것이고, 상기 방법은:

상기 적어도 3개의 출력 채널이 얻어지도록 에너지-손실 도입 업믹싱 룰(201, 1408)에 근거하여 적어도 하나의 베이스 채널을 업믹싱하는 단계(1104)를 포함하며,

상기 업믹싱 단계에서는, 상기 적어도 3개의 출력 채널이 에너지 측도(1106) 및 적어도 2개의 다른 업믹싱 파라미터(1108)에 반응하여 발생되어서, 상기 적어도 3개의 출력 채널이, 상기 에너지 손실 도입 업믹싱 룰에 따른 에너지 에러 대신 단지 상기 에너지 손실 도입 업믹싱 룰만을 이용하여 얻어진 에너지 보다 더 높은 에너지를 가지게 하고,

상기 적어도 2개의 다른 업믹싱 파라미터(1108) 및 상기 업믹서를 제어하는 상기 에너지 측도가 상기 입력 신호에 포함되어 있고,

상기 에너지-손실 도입 업믹싱 룰은, 예측 계수에 근거하는 메트릭스 계수를 갖는 업믹싱 메트릭스을 이용하는 예측 업믹싱 룰이고, 그리고

상기 적어도 2개의 다른 업믹스 파라미터는 상기 업믹싱 메트릭스의 2개의 다른 요소(c₁₁, c₂₂)이거나, 또는 그로부터 상기 업믹싱 메트릭스의 상기 2개의 다른 요소가 유도될 수 있는 파라미터인 것인, 방법.
멀티채널 입력 신호를 처리하는 방법에 있어서:

멀티채널 입력 신호 또는 상기 멀티채널 입력 신호로부터 유도된 적어도 하나의 베이스 채널과, 에너지-손실 도입 업믹싱 동작에 의해 발생된 업믹스된 신호 간의 에너지 차에 의존하여 에러 측도(ρ)를 계산하는(1402) 단계; 및

상기 에너지 측도에 의존거하거나 상기 에너지 측도를 출력하는 스케일링 팩터(403)에 의해 스케일링된(401, 402) 이후의 상기 적어도 하나의 베이스 채널을 출력하는 단계(1408)를 포함하는, 방법.
인코딩된 멀티채널 정보 신호에 있어서,

에너지 측도에 의해 스케일링된 적어도 하나의 베이스 채널을 가지며,

상기 에너지 측도는, 멀티채널 입력 신호 또는 상기 멀티채널 입력 신호로부터 유도된 적어도 하나의 베이스 채널과, 에너지-손실 도입 업믹싱 동작에 의해 발생되거나 상기 에너지 측도를 갖거나 상기 에너지 측도를 출력하는 업믹스 신호 간의 에너지 차에 따르는 것이고, 상기 에너지-손실 도입 업믹싱 룰은, 예측 계수에 근거하는 메트릭스 계수를 갖는 업믹싱 메트릭스을 이용하는 예측 업믹싱 룰이며, 상기 적어도 2개의 다른 업믹스 파라미터는 상기 업믹싱 메트릭스의 2개의 다른 요소(c₁₁, c₂₂)이거나, 또는 그로부터 상기 업믹싱 메트릭스의 상기 2개의 다른 요소가 유도될 수 있는 파라미터인 것인, 인코딩된 멀티채널 정보 신호.
청구항 42에 따른 인코딩된 멀티채널 정보 신호를 저장하고 있는 기계-판독형 매체.
청구항 28 또는 청구항 29에 따른 인코더를 가지는 송신기 또는 오디오 레코더.
청구항 1 또는 청구항 2에 따른 디코더를 가지는 수신기 또는 오디오 플레이어.
청구항 44에 따른 송신기 및 청구항 45에 따른 수신기를 가지는 전송 시스템.
청구항 41에 따른 처리 방법을 가지는 송신 방법 또는 오디오 레코딩 방법.
청구항 40에 따른 발생 방법을 포함하는 수신 방법 또는 오디오를 플레이시키는 방법.
청구항 48에 따른 수신 방법 및 청구항 49에 따른 송신 방법.
컴퓨터에서 구동될 때, 청구항 40, 청구항 41, 청구항 47 및 청구항 48 중의 어느 하나의 방법에 따른 방법을 수행하기 위한 컴퓨터 프로그램이 저장된 기계 판독형 매체.
컴퓨터에서 구동될 때, 청구항 49에 따른 방법을 수행하기 위한 컴퓨터 프로그램이 저장된 기계 판독형 매체.
삭제