KR20120006060A - 오디오 신호 합성 - Google Patents

Abstract

오디오 합성 장치는 다운믹스 신호 및 다운믹스 신호를 다중 음원 신호로 확장하기 위한 파라미터 확장 데이터를 포함하는 인코딩된 신호를 수신한다. 분해 프로세서(205)는 적어도 제 1 신호 성분 및 제 2 신호 성분을 생성하기 위해 다운믹스 신호의 신호 분해를 실행하고, 여기서 제 2 신호 성분은 제 1 신호 성분과 적어도 부분적으로 비상관된다. 위치 지정 프로세서(207)는 파라미터 확장 데이터에 응답하여 제 1 신호 성분에 대한 제 1 공간 위치 표시를 결정하고 바이노럴 프로세서(211)는 제 1 공간 위치 표시에 기초하여 제 1 신호 성분 및 상이한 방향으로부터 발생하는 제 2 신호 성분을 합성한다. 본 발명은 가상 확성기 위치들로부터의 신호들의 결합이라기 보다는 적절한 위치로부터의 주 방향성 신호의 방향 합성을 이용함으로써 예를 들어 헤드폰들로부터 개선된 공간 경험을 제공할 수 있다.

Description

오디오 신호 합성{AUDIO SIGNAL SYNTHESIZING}

본 발명은 오디오 신호 합성에 관한 것으로, 특히, 그러나 배타적이지 않게, 헤드폰 재생을 위한 공간 서라운드 사운드 오디오의 합성에 관한 것이다.

디지털 신호 표현 및 통신이 아날로그 표현 및 통신을 점차 대체하고 있으므로 다양한 소스 신호(source signal)들의 디지털 인코딩은 최근 십년에 걸쳐 점차 중요해지고 있다. 예를 들어, 음악 또는 다른 오디오 신호들을 효과적으로 인코딩하기 위한 인코딩 표준들이 개발되어왔다.

가장 대중적인 확성기 재생 시스템은 전형적으로 미리 결정된 위치들에 있는 두 확성기들이 이용되는 2-채널 입체음향에 기초한다. 그와 같은 시스템들에서, 사운드 공간은 2개의 확성기 위치들로부터 방사되는 2 채널들에 기초하여 생성되고, 원래의 스테레오 신호가 생성되어 전형적으로 확성기들이 청취자들에 비해 미리 결정된 위치들에 가까이 위치될 때 원하는 사운드 스테이지(sound stage)가 재생된다. 그와 같은 경우들에서, 이용자는 스위트 스팟(sweet spot)에 있는 것으로 고려될 수 있다.

스테레오 신호들은 흔히 진폭 패닝(amplitude panning)을 이용하여 생성된다. 그와 같은 기술에서, 개별 사운드 객체(sound object)들은 좌측 및 우측 채널 각각에서 대응하는 신호 성분들의 진폭을 조정함으로써 스피커들 사이의 사운드 스테이지에 위치될 수 있다. 그러므로, 중심 위치의 경우, 각각의 채널에는 동상이며 3dB 만큼 감쇠되는 신호 성분이 제공된다. 좌측 확성기 쪽으로의 위치들의 경우, 좌측 채널에서의 신호의 진폭은 증가할 것이고 우측 채널에서의 진폭은 그에 상응하게 감소할 것이며 우측 스피커 쪽의 위치들의 경우는 그 반대이다.

그러나, 그와 같은 스테레오 재생이 공간 경험을 제공할지라도, 차선인 경향이 있다. 예를 들어, 사운들의 위치들은 두 확성기들 사이에 있도록 제한되고, 최적의 공간 사운드 경험들은 작은 청취 에어리어(area)(작은 스위트 스팟)로 제한되고, 특정한 헤드 배향(head orientation)이 요구되고(스피커들 사이의 중간 위치 쪽으로의), 스피커들로부터 청취자의 귀들까지의 경로 길이 차들이 변함으로써 스펙트럼 배색(spectral coloration)이 발생할 수 있고, 진폭 패닝 방법에 의해 제공되는 음원 위치 추적 큐(localization cue)들은 단지 원하는 위치에 있는 음원에 대응하는 위치 추적 큐들을 대략적으로 근사화한 것이다.

확성기 재생 시나리오와 비교해보면, 헤드폰들을 통해 재생되는 스테레오 오디오 콘텐츠는 청취자의 머리 내에서 발생하는 것으로 인지된다. 외부 음원으로부터 청취자의 귀들까지의 음향 경로의 효과가 부재하므로 공간 이미지가 부자연스럽게 들리게 된다.

이를 극복하고 헤드폰들로부터 개선된 공간 경험을 제공하기 위해, 헤드폰의 각각의 이어폰(ear piece)에 적절한 신호들을 생성하도록 바이노럴 프로세싱(binaural processing)이 도입되었다. 특히, 좌측 이어폰/헤드폰으로의 신호가 종래의 스테레오 셋업(setup)에서 수신되었다면(헤드 및 귀들의 형상으로 인한 어떤 영향력을 포함하는), 상기 신호는 좌측 및 각각의 우측 스피커들로부터 이용자의 좌측 귀로의 음향 전달 함수에 대응하도록 추정되는 두 필터들에 의해 필터링된다. 또한, 두 필터들은 좌측 및 각각의 우측 스피커들로부터 이용자의 우측 귀로의 음향 전달 함수에 대응하도록 우측 이어폰/헤드폰으로의 신호에 적용된다.

그러므로, 필터들은 신호에 대한 인간의 머리, 및 가능하면 다른 물체들의 영향을 모델링하는 인지 전달 함수(perceptual transfer function)들을 표현한다. 널리 공지되어 있는 공간 인지 전달 함수는, 임펄스 응답들에 의해 특정한 음원 위치으로부터 고막들까지의 전달을 기술하는, 소위 머리 전달 함수(Head-Related Transfer Function: HRTF)들이다. 실내의 벽들, 천장 및 바닥에 의해 발생되는 반사들을 또한 고려하는 공간 인지 전달 함수들의 대안의 유형은 바이노럴 룸 임펄스 응답(Binaural Room Impulse Response: BRIR)들이다. 특정한 위치로부터의 사운드를 합성하기 위해, 대응하는 신호는, 두 HRTF들(또는 BRIR들), 즉 추정된 위치로부터 각각 좌측 및 우측 귀들까지의 음향 전달 함수를 나타내는 HRTF들에 의해 필터링된다. 그와 같은 두 HRTF들(또는 BRIR들)은 전형적으로 HRTF 쌍(또는 BRIR 쌍)으로 칭해진다.

바이노럴 프로세싱은 개선된 공간 경험을 제공하고 특히 '머리-외(out-of-head)' 3D 효과를 생성할 수 있다.

그러므로, 통상의 바이노럴 스테레오 프로세싱은 개별 스테레오 스피커들의 가상 위치를 가정하는 것에 기초한다. 그리고나서 상기 프로세싱은 이 확성기들로부터의 신호 성분들에 의해 경험되는 음향 전달 함수들을 모델링하려고 시도할 것이다. 그러나, 그러한 방법으로 인해 어느 정도의 열화(degration)가 유도되고 특히 확성기들을 이용하는 종래의 스테레오 시스템의 단점들 중 대부분을 겪게 되는 경향이 있다.

실제로, 고정된 세트(set)의 가상 스피커들에 기초하는 헤드폰 오디오 재생은 이전에 논의된 바와 같이 본래 실제의 세트의 고정된 확성기들에 의해 유도되는 결점들을 겪는 경향이 있다. 하나의 특정한 결점은 위치 추적 큐가 원하는 위치에서 음원들의 실제 위치 추적 큐의 대략적인 근사들인 경향이 있고, 이로 인해 결과적으로 공간 이미지의 품질이 저하된다. 다른 결점은 진폭 패닝이 단지 좌측-우측 방향으로 작용하고, 다른 어떠한 방향으로는 작용하지 않는다는 점이다.

바이노럴 프로세싱은 2 이상의 채널들을 갖는 다중-채널 오디오 신호로 확장될 수 있다. 예를 들어, 바이노럴 프로세싱은 예를 들어 5 또는 7개의 공간 채널들을 포함하는 서라운드 사운드 시스템에 이용될 수 있다. 그와 같은 예들에서, HRTF는 각각의 스피커 위치에 대하여 이용자의 두 귀들 중 각각의 귀로 결정된다. 그러므로, 두 HRTF들은 각각의 스피커/채널에 이용되고, 이 각각의 스피커/채널은 시뮬레이팅되고 있는 상이한 음향 전달 함수들에 대응하는 많은 수의 신호 성분들을 발생시킨다. 이는 인지 품질의 저하를 야기하는 경향이 있다. 예를 들어, HRTF 함수들이 단지 인지될 정확한 전달 함수들의 근사들이므로, 결합되어 있는 많은 수의 HRTF들은 이용자에 의해 인지될 수 있는 부정확성들을 도입하는 경향이 있다. 그러므로, 이 단점들은 다중-채널 시스템들의 경우 증가하는 경향이 있다. 또한, 상기 방법은 복잡도의 정도가 높아서 계산 자원을 많이 이용한다. 실제로, 예를 들어 5.1 또는 심지어 7.1의 서라운드 신호를 바이노럴 신호로 변경하기 위해, 아주 상당한 양의 필터링이 요구된다.

그러나, 최근에 스테레오 콘텐츠의 가상 서라운드 렌더링(rendering)의 품질이 소위 팬텀 구현(phantom materialization)에 의해 현저하게 개선될 수 있음이 제안되었다. 특히, 그와 같은 방법은 유럽 특허출원 EP 07117830.5 및 2008년 11월 IEEE Transaction on Audio, Speech, and Language Processing, Vol.16, No.8에서의 J. Breedbaart, E. Schuijers에 의한 논문 "Phantom Materialization: A Novel Method to Enhance Stereo Audio Reproduction on Headphones"에서의 pp.1503 내지 1511에 제안되어 있다.

상기 방법에서, 가상 스테레오 신호는 가상 확성기 위치들로부터 발생하는 두 음원들을 가정하여 생성되지 않고, 오히려 사운드 신호가 방향성 신호 성분 및 간접/비상관 신호 성분으로 분해된다. 이 분해는 특히 적절한 시간 및 주파수 범위 모두에 대한 것일 수 있다. 직접 성분은 팬텀 위치에서 가상 확성기를 시뮬레이팅함으로써 합성된다. 간접 성분은 고정된 위치들(전형적으로 서라운드 스피커들에 대한 공칭 위치(nominal position)에 대응한다)에서 가상 확성기들을 시뮬레이팅함으로써 합성된다.

예를 들어, 스테레오 신호가 패닝되는, 즉, 우측으로 10도로 패닝되는 단일 사운드 성분을 포함하면, 스테레오 신호는 좌측 채널에서의 신호보다 약 2배만큼 소리가 큰 우측 채널에서 신호를 포함할 수 있다. 종래의 바이노럴 프로세싱에서, 따라서 이 사운드 성분은 좌측 스피커로부터의 HRTF에 의해 필터링되는 좌측 채널로부터 좌측 귀까지 성분, 좌측 스피커로부터의 HRTF에 의해 필터링되는 좌측 채널로부터 우측 귀까지 성분, 우측 스피커로부터의 HRTF에 의해 필터링되는 우측 채널로부터 좌측 귀까지 성분, 및 우측 스피커로부터의 HRTF에 의해 필터링되는 우측 채널로부터 우측 귀까지 성분에 의해 표현될 것이다. 대조적으로, 팬텀 구현 방법에서, 주 성분은 사운드 성분에 대응하는 신호 성분들의 합으로 생성될 수 있고, 그 후에 이 주 성분의 방향이 추정될 수 있다(즉, 우측으로 10도). 더욱이 팬텀 구현 방법은 두 스테레오 채널들의 공통 성분(주 성분)이 공제된 후의 잔여 신호 성분들을 나타내는 하나 이상의 확산 또는 비상관 신호들을 생성한다. 그러므로, 잔여 신호는 방에서의 반사들로부터 발생하는 사운드, 반향들, 주변의 잡음 등과 같은 사운드 주변음을 나타낼 수 있다. 그리고 팬텀 구현 방법은 계속해서 추정된 위치, 즉, 우측으로 10도로부터 직접 발생하도록 주 신호를 합성한다. 그러므로, 주 성분은 단 2개의 HRTF들, 즉 추정된 위치로부터 각각 좌측 및 우측 귀들로의 음향 전달 함수를 나타내는 HRTF들을 이용하여 합성된다. 그리고나서 다른 위치들로부터 발생하도록 확산 주변 신호가 합성될 것이다.

팬텀 구현 방법은 이 방법이 가상 렌더링 장면 상에 스피커 설정에 대한 제한들을 부과하지 않고 따라서 더욱 개선된 공간 경험을 제공하는 장점을 갖는다. 특히, 전형적으로 청취자에 의해 인지되는 사운드 스테이지에서 사운드들이 훨씬 더 깨끗하고 더 양호하게 규정되는 위치 지정이 달성될 수 있다.

그러나, 팬텀 구현 방법의 문제는 이 방법이 스테레오 시스템들로 제한된다는 점이다. 실제로, EP 07117830.5는 2 이상의 채널들이 존재하면, 팬텀 구현 방법이 개별적으로 그리고 별개로 채널들의 스테레오 쌍(각각의 확성기 쌍에 대응한다)에 적용될 수 있어야만 함을 분명하게 진술한다. 그러나, 그와 같은 방법은 복잡하고 자원을 요구할 뿐만 아니라 흔히 성능이 저하되는 결과를 초래할 수 있다.

그러므로, 개선된 시스템이 유용할 것이고, 특히, 유연성이 증가하고, 복잡도가 감소하고, 자원 요건들이 감소하고, 2 이상의 채널들을 구비하는 다중-채널 시스템들에 대한 적합성이 개선되고, 품질이 향상되고, 공간 이용자 경험이 개선되고, 그리고/또는 성능이 개선되는 것이 가능한 시스템이 유용할 것이다.

따라서, 본 발명은 바람직하게도 상술한 단점들 중 하나 이상을 단독으로 또는 임의의 결합으로 경감시키거나, 완화하거나 또는 제거하려고 한다.

본 발명의 제 1 양태에 따르면, 다중-음원 신호를 합성하기 위한 장치가 제공되고, 상기 장치는: 다중-음원 신호를 표현하는 인코딩된 신호를 수신하기 위한 유닛(unit)으로서, 상기 인코딩된 신호는 다중-음원 신호에 대한 다운믹스 신호 및 다운믹스 신호를 다중-음원 신호로 확장시키기 위한 파라미터 확장 데이터를 포함하는, 상기 수신 유닛; 적어도 제 1 신호 성분 및 제 2 신호 성분을 생성하기 위해 다운믹스 신호의 신호 분해를 실행하는 분해 유닛으로서, 제 2 신호 성분은 제 1 신호 성분과 적어도 부분적으로 비상관되는, 상기 분해 유닛; 파라미터 확장 데이터에 응답하여 제 1 신호 성분에 대한 제 1 공간 위치 표시를 결정하기 위한 위치 지정 유닛; 제 1 공간 위치 표시에 기초하여 제 1 신호 성분을 합성하기 위한 제 1 합성 유닛; 및 제 1 신호 성분과 상이한 방향으로부터 발생하도록 제 2 신호 성분을 합성하기 위한 제 2 합성 유닛을 포함한다.

본 발명에 의해 많은 시나리오들에서 개선된 오디오 성능 및/또는 용이한 동작을 제공할 수 있다.

특히, 본 발명은 많은 시나리오들에서, 개선되고 더 양호하게 규정되는 공간 경험을 제공할 수 있다. 특히, 개선된 서라운드 사운드 경험에는 사운드 스테이지 내의 개별 사운드 성분의 위치에 대하여 더욱 양호하게 규정된 인지를 제공할 것이다. 본 발명은 2 이상의 채널들을 구비하는 다중-채널 시스템들에 적합할 수 있다. 더욱이, 본 발명으로 인해 용이해지고 개선된 서라운드 사운드 경험이 가능할 수 있고 예를 들어 MPEG 서라운드 표준과 같은 기준 다중-채널(N>2) 인코딩 표준들과 고도의 호환이 가능할 수 있다.

파라미터 확장 데이터는 특히 파라미터 공간 확장 데이터일 수 있다. 파라미터 확장 데이터로 인해 예를 들어 다운믹스로부터의 업믹싱은 복수의(2 이상의) 공간 사운드 채널을 특징으로 할 수 있다.

제 2 신호 성분은 예를 들어 하나 이상의 고정된 위치들로부터 발생하도록 합성될 수 있다. 각각의 음원은 다중-채널 신호의 채널에 대응할 수 있다. 다중-음원 신호는 특히 2 이상의 채널들을 구비하는 다중-채널 신호일 수 있다.

제 1 신호 성분은 전형적으로 주 방향성 신호 성분에 대응할 수 있다. 제 2 신호 성분은 확산 신호 성분에 대응할 수 있다. 예를 들어, 제 2 신호 성분은 예를들어 반향들 및 실내 반사들과 같은 주변 오디오 효과들을 우세하게 나타낼 수 있다. 제 1 신호 성분은 특히, 종래의 확성기 시스템에서 이용되는 진폭 패닝 기술에 의해 획득되는 팬텀 소스(source)에 근접하는 성분에 대응할 수 있다.

일부 실시예들에서, 분해는 또한 추가 신호 성분들을 생성하고, 이 추가 신호 성분들은 예를 들어 추가 방향성 신호들일 수 있고/있거나 확산 신호들일 수 있음이 인정될 것이다. 특히, 제 3 신호 성분은 제 1 신호 성분과 적어도 부분적으로 비상관되도록 생성될 수 있다. 그와 같은 시스템들에서, 제 2 신호 성분은 우측으로부터 우세하게 발생하도록 합성될 수 있고 반면에 제 3 신호 성분은 좌측으로부터 우세하게 발생하도록 합성될 수 있다(또는 그 역도 마찬가지이다).

제 1 공간 위치 표시는 예를 들어 제 1 신호 성분에 대응하는 팬텀 소스에 대한, 예를 들어 3차원 위치, 방향, 각도 및/또는 거리의 표시일 수 있다.

본 발명의 선택적인 특징에 따르면, 상기 장치는 또한 다운믹스를 시간-간격 주파수-대역 블록들로 분할하고 각각의 시간-간격 주파수-대역 블록을 개별적으로 프로세싱하도록 배열되는 유닛을 포함한다.

이는 많은 실시예들에서 개선된 성능 및/또는 용이한 동작 및/또는 감소한 복잡도를 제공할 수 있다. 특히, 상기 특징으로 인해 많은 기존 다중-채널 코딩 시스템들과의 호환이 개선되는 것이 가능하고 필수 프로세싱이 간소화될 수 있다. 더욱이, 상기 특징은 사운드 신호에 대한 개선된 음원 위치 지정을 제공할 수 있고, 여기서 다운믹스는 상이한 위치들에서의 복수의 사운드 성분들로부터의 기여분들을 포함한다. 특히, 상기 방법은 그와 같은 시나리오들의 경우, 시간-간격 주파수-대역 블록들의 수가 제한될 때 각각의 사운드 성분이 대개 우세하다는 점을 이용할 수 있고 따라서 상기 방법은 각각의 사운드 성분이 원하는 위치에 자동으로 위치 지정되도록 할 수 있다.

본 발명의 선택적인 특징에 따르면, 제 1 합성 유닛은 파라미터 머리 전달 함수를 제 1 신호 성분의 시간-간격 주파수-대역 블록들에 적용하도록 배열되고, 파라미터 머리 전달 함수는 제 1 공간 위치 표시에 의해 표현되는 위치에 대응하고 각각의 시간 간격 주파수 대역 블록에 대한 파라미터 값 세트를 포함한다.

이는 많은 실시예들에서, 개선된 성능 및/또는 용이한 동작 및/또는 감소한 복잡도를 제공할 수 있다. 특히 상기 특징으로 인해 많은 기존 다중-채널 코딩 시스템들과의 개선된 호환이 가능할 수 있고 필수 절차가 간소화될 수 있다. 실질적으로 감소한 계산 자원 이용이 전형적으로 달성될 수 있다.

파라미터 세트는 예를 들어 각각의 시간 간격 주파수 대역 블록의 신호 값에 적용되기 위한 거듭제곱 및 각도 파라미터 또는 복소수를 포함할 수 있다.

본 발명의 선택적인 특징에 따르면, 다중-음원 신호는 공간 다중-채널 신호이다.

본 발명은 (2 이상의 채널들을 구비하는) 다중-채널 신호들의 개선되고/되거나 용이한 합성을 가능하게 할 수 있다.

본 발명의 선택적인 특징에 따르면, 위치 지정 유닛은 다중-채널 신호의 채널들에 대한 가정된 스피커 위치들 및 파라미터 확장 데이터의 업믹스 파라미터들에 응답하여 제 1 공간 위치 표시를 결정하도록 배열되고, 업믹스 파라미터들은 다중-채널 신호를 발생시키기 위해서 다운믹스의 업믹스를 표시한다.

이는 많은 실시예들에서 개선된 성능 및/또는 용이한 동작 및/또는 감소한 복잡도를 제공할 수 있다. 특히, 이는 정확한 위치의 추정을 발생시키고 결과적으로 고 품질 공간 경험을 야기하는 특히 실제적인 구현예를 가능하게 한다.

본 발명의 선택적인 특징에 따르면, 상기 파라미터 확장 데이터는 다운믹스 신호로부터 다중-채널 신호의 채널들로의 변환을 기술하고 위치 지정 유닛은 다중-채널 신호의 채널들에 대한 가정된 스피커 위치들에 대한 가중치 및 각도의 조합에 응답하여 제 1 공간 위치 표시에 대한 각도 방향을 결정하도록 배열되고, 채널에 대한 각각의 가중치는 다운믹스 신호로부터 채널로의 변환의 이득에 좌우된다.

이는 제 1 신호의 위치 추정에 대하여 특히 유용한 결정을 제공할 수 있다. 특히, 이는 상대적으로 낮은 복잡도의 프로세싱에 기초하여 정확한 추정을 가능하게 할 수 있고 많은 실시예들에서 특히 기준 다중-채널/소스 인코딩 표준들에 적합할 수 있다.

일부 실시예들에서, 상기 장치는 가정된 스피커 위치들에 대한 가중치 및 각도들의 결합에 응답하여 제 2 신호 성분에 대한 제 2 공간 표시를 위해 각도 방향을 결정하기 위한 수단을 포함할 수 있고, 각각의 채널에 대한 가중치는 다운믹스 신호로부터 채널로의 변환의 진폭 이득에 좌우된다.

본 발명의 선택적인 특징에 따르면, 상기 변환은 신호 비상관 함수를 포함하는 제 1 서브-변환 및 신호 비상관 함수를 포함하지 않는 제 2 서브-변환을 포함하고, 제 1 공간 위치 표시의 결정은 제 1 서브-변환을 고려하지 않는다.

이는 제 1 신호의 위치 추정에 대하여 특히 유용한 결정을 제공할 수 있다. 특히, 이는 비교적 낮은 복잡도 프로세싱에 기초한 정확한 추정을 가능하게 하고, 이는 많은 실시예들에서 기존의 다중-채널/소스 인코딩 표준들에 특히 적절할 수 있다.

제 1 서브-변환은 특히 파라미터 공간 디코딩 동작(MPEG 서라운드 디코딩과 같은)의 "습식(wet)" 신호들에 대한 프로세싱에 대응할수 있고, 제 2 서브-변환은 "건식(dry)" 신호들에 대한 프로세싱에 대응할 수 있다.

일부 실시예들에서, 상기 장치는 상기 변환에 응답하고 제 2 서브-변환을 고려하지 않고 제 2 신호 성분에 대한 제 2 공간 위치 표시를 결정하도록 배열될 수 있다.

본 발명의 선택적인 특징에 따르면, 상기 장치는 또한 파라미터 확장 데이터에 응답하여 제 2 신호 성분에 대한 제 2 공간 위치 표시를 생성하도록 배열되는 제 2 위치 지정 유닛을 포함하고; 제 2 합성 유닛은 제 2 공간 위치 표시에 기초하여 제 2 신호 성분을 합성하도록 배열된다.

이는 개선된 공간 경험을 제공할 수 있고 특히 확산 신호 성분들의 인지를 개선할 수 있다.

본 발명의 선택적인 특징에 따르면, 다운믹스 신호는 모노 신호이고 분해 유닛은 모노 신호에 대응하는 제 1 신호 성분 및 모노-신호에 대한 비상관 신호에 대응하는 제 2 신호 성분을 생성하도록 배열된다.

본 발명은 심지어 간단한 모노 다운믹스를 이용하는 인코딩 방식에도 고품질 공간 경험을 제공할 수 있다.

본 발명의 선택적인 특징에 따르면, 제 1 신호 성분은 주 방향성 신호 성분이고 제 2 신호 성분은 다운-믹스 신호에 대한 확산 신호 성분이다.

본 발명은 방향성 및 확산 신호들을 분리하고 상이하게 합성함으로써 개선되고 더욱 양호하게 규정되는 공간 경험을 제공할 수 있다.

본 발명의 선택적인 특징에 따르면, 제 2 신호 성분은 제 1 신호 성분에 대한 다운믹스를 보상함으로써 발생하는 잔여 신호에 대응한다.

이는 많은 실시예들에서 특히 유용한 성능을 제공할 수 있다. 보상은 예를 들어 다운믹스의 하나 이상의 채널들로부터 제 1 신호 성분을 공제하는 것에 의할 수 있다.

본 발명의 선택적인 특징에 따르면, 분해 유닛은 다운믹스의 복수의 채널들에 대한 신호들을 결합하는 함수에 응답하여 제 1 신호 성분을 결정하도록 배열되고, 상기 함수는 적어도 하나의 파라미터에 좌우되고, 상기 분해 유닛은 또한 제 1 신호 성분에 대한 전력 측정을 최대화하는 적어도 하나의 파라미터를 결정하도록 배열된다.

이는 많은 실시예들에서 특히 유용한 성능을 제공할 수 있다. 특히, 이는 다운믹스 신호를 (적어도) 주 방향성 신호에 대응하는 성분 및 확산 주변 신호에 대응하는 성분으로 분해하는데 매우 효과적인 방법을 제공할 수 있다.

본 발명의 선택적인 특징에 따르면, 다중-소스 신호의 각각의 소스는 사운드 객체이다.

본 발명은 개별 또는 복수의 사운드 객체들에 대한 개선된 합성 및 렌더링을 가능하게 할 수 있다. 사운드 객체들은 예를 들어 스테레오 사운드 객체들과 같은 다중-채널 사운드 객체일 수 있다.

본 발명의 선택적인 특징에 따르면, 제 1 공간 위치 표시는 제 1 신호 성분에 대한 거리 표시를 포함하고 제 1 합성 유닛은 거리 표시에 응답하여 제 1 신호 성분을 합성하도록 배열된다.

이는 청취자에 대한 공간 인지 및 공간 경험을 개선할 수 있다.

본 발명의 양태에 따르면 다중-음원 신호를 합성하는 방법이 제공되고, 상기 방법은: 다중-음원 신호를 표현하는 인코딩된 신호를 수신하는 단계로서, 인코딩된 신호는 다중-음원 신호에 대한 다운믹스 신호 및 다운믹스 신호를 다중-음원 신호로 확장시키기 위한 파라미터 확장 데이터를 포함하는, 상기 수신 단계; 적어도 제 1 신호 성분 및 제 2 신호 성분을 생성하기 위해 다운믹스 신호의 신호 분해를 실행하는 단계로서, 제 2 신호 성분은 제 1 신호 성분과 적어도 부분적으로 비상관되는, 상기 신호 분해 단계; 파라미터 확장 데이터에 응답하여 제 1 신호 성분에 대한 제 1 공간 위치 표시를 결정하는 단계; 제 1 공간 위치 표시에 기초하여 제 1 신호 성분을 합성하는 단계; 및 제 1 신호 성분과는 상이한 방향으로부터 발생하도록 제 2 신호 성분을 합성하는 단계를 포함한다.

본 발명의 상기 및 다른 양태들은 후술되는 실시예(들)를 참조하면 명확하고 분명할 것이다.

도 1은 MPEG 서라운드 오디오 코덱의 요소들의 예를 도시하는 도면.
도 2는 본 발명의 일부 실시예들에 따른 오디오 합성기의 요소들의 예를 도시하는 도면.
도 3은 모노 신호에 대한 비상관 신호를 생성하는 요소들의 예를 도시하는 도면.
도 4는 MPEG 서라운드 오디오 업믹싱의 요소들의 예를 도시하는 도면.

본 발명의 실시예들은 단지 예를 통해, 도면들을 참조하여 기술될 것이다.

다음의 설명은 MPEG 서라운드 인코딩된 신호를 이용하는 시스템에 적용 가능한 본 발명의 실시예들에 초점을 맞추지만 본 발명이 이 적용으로 제한되지 않고 많은 다른 인코딩 메커니즘에 응용될 수 있음이 인정될 것이다.

MPEG 서라운드는 Motion Pictures Expert Group에 의해 표준 ISO/IEC 23003-1, MPEG Surround로 최근에 표준화된 다중-채널 오디오 코딩에서 주요 발전들 중 하나이다. MPEG 서라운드는 기존 모노 또는 스테레오-기반 코더들이 더 많은 채널들로 확장되도록 하는 다중-채널 오디오 코딩 툴이다.

도 1은 MPEG 서라운드로 확장되는 스테레오 코어 코더의 블록도의 예를 도시한다. 우선 MPEG 서라운드 인코더는 다운믹서(101)에서 다중-채널 입력 신호로부터 스테레오 다운믹스를 생성한다. 그리고나서 공간 파라미터들은 다운믹서(101)에 의해 다중 채널 입력 신호로부터 추정된다. 이 파라미터들은 MPEG 서라운드 비트-스트림으로 인코딩된다. 스테레오 다운믹스는 예를들어 HE-AAC 코어 인코더와 같은 코어 인코더(103)를 이용하여 비트-스트림으로 코딩된다. 그 결과에 따른 코어 코더 비트 스트림 및 공간 파라미터 비트-스트림은 멀티플렉서(multiplexer)(105)에서 병합되어 전체 비트 스트림을 생성한다. 전형적으로 공간 비트-스트림은 코어 코더 비트-스트림의 보조 데이터부에 포함된다.

그러므로, 인코딩된 신호는 개별적으로 인코딩된 모노 또는 스테레오 다운믹스 신호에 의해 표현된다. 이 다운믹스 신호는 레거시 디코더(legacy decoder)들에 의해 디코딩되고 합성되어 모노 또는 스테레오 출력 신호가 제공될 수 있다. 더욱이, 인코딩되는 신호는 다운믹스 신호를 인코딩된 다중-채널 신호로 업믹싱하기 위하여 공간 파라미터들을 포함하는 파라미터 확장 데이터를 포함한다. 그러므로, 적절하게 설치되어 있는 디코더는 공간 파라미터들을 추출하고 이 공간 파라미터들에 기초하여 다운믹스 신호를 업믹싱함으로써 다중 채널 서라운드 신호를 생성할 수 있다. 공간 파라미터들은 당업자에게 널리 공지되어 있는 바와 같은 예를 들어 채널간(interchannel) 레벨 차들, 채널간 상관 계수들, 채널간 위상 차들, 채널간 시간 차 등을 포함할 수 있다.

더욱 상세하게, 도 1의 디코더는 우선 디멀티플렉서(demultiplex)(107)에서 코어 데이터(core data)(다운믹스를 위한 인코딩 데이터) 및 파라미터 확장 데이터(공간 파라미터들)를 추출한다. 다운믹스 신호를 나타내는 데이터, 즉 코어 비트-스트림은 스테레오 다운믹스를 재생하기 위해 디코더 유닛(109)에서 디코딩된다. 그리고나서 이 다운믹스는 공간 파라미터들을 나타내는 데이터와 함께 MPEG 서라운드 디코딩 유닛(111)에 공급되고, 이 디코딩 유닛(111)은 우선 비트 스트림의 대응하는 데이터를 디코딩함으로써 공간 파라미터들을 생성한다. 그리고나서 공간 파라미터들은 다중-채널 출력 신호를 획득하기 위해 스테레오 다운믹스를 업믹싱하는데 이용된다.

도 1의 예에서, MPEG 서라운드 디코딩 유닛(111)은 헤드폰들에 의해 청취하는데 적합한 2 채널 공간 서라운드 신호를 제공하기 위해 다중-채널들을 프로세싱하는 바이노럴 프로세서를 포함한다. 그러므로, 다중 출력 채널의 각각에 대해, 바이노럴 프로세서는 HRTF를 각각 이용자의 좌측 귀 및 우측 귀에 적용한다. 예를 들어, 5개의 공간 채널들에 대하여, 총 5개의 HRTF 쌍의 세트들이 포함되어 2채널 공간 서라운드 신호를 생성한다.

그리고나서, 예에서, MPEG 서라운드 디코딩 유닛(111)은 2단계의 프로세스를 포함한다. 우선, MPEG 서라운드 디코더는 인코딩된 다중-채널 신호를 재생성하기 위해 MPEG 서라운드 호환 가능 디코딩을 실행한다. 그리고나서 이 디코딩된 다중-채널 신호는 HRTF 쌍들을 적용하는 바이노럴 프로세서에 공급되어 바이노럴 공간 신호를 생성한다(바이노럴 프로세싱은 MPEG 서라운드 표준의 일부가 아니다).

그러므로, 도 1의 MPEG 서라운드 시스템에서, 합성된 신호들은 각각의 채널에 대하여 하나의 확성기를 구비하는 가정된 확성기 셋업에 기초한다. 확성기들은 HRTF 함수들에서 반영되는 공칭 위치들에 있다고 가정된다. 그러나, 이 방법은 차선의 성능을 제공하는 경향이 있고 실제로 상이한 확성기 위치들 각각으로부터 이용자에게 도달하는 신호 성분들을 효과적으로 모델링하려고 시도하는 방법은 사운드 스테이지 내의 사운드들의 위치가 보다 덜 양호하게 규정되는 결과를 초래한다. 예를 들어, 이용자가 사운드 스테이지 내의 특정한 위치에서 사운드 성분을 인지하기 위해서, 도 1의 방법은 우선 이 사운드 성분으로부터 확성기들의 각각으로의 기여분을 계산하고나서 이 확성기 위치들의 각각으로부터 신호들이 도달한 청취자의 귀들까지의 기여분을 계산한다. 그와 같은 방법은 자원의 요구가 많을뿐만 아니라 오디오 품질 및 공간 경험에서의 인지 감소를 초래하는 것으로 밝혀졌다.

또한, 업믹싱 및 HRTF 프로세싱이 일부 경우들에서 예를 들어 업믹싱 및 HRTR 프로세싱의 결합 효과를 나타내는 적절한 단일 행렬을 다운믹스 신호에 적용함으로써 단일 프로세싱 단계로 결합될 수 있을지라도, 그와 같은 방법은 여전히 각각의 채널에 대한 개별적인 사운드 방사(확성기)가 합성되는 시스템을 본래 반영하다는 점이 주목되어야 한다.

도 2는 본 발명의 일부 실시예들에 따른 오디오 합성기의 예를 도시한다.

상기 시스템에서, 다운믹스는 적어도 두 신호 성분들로 분해되고, 여기서 하나의 신호 성분은 주 방향성 신호 성분에 대응하고 다른 신호 성분은 간접/비상관 신호 성분에 대응한다. 그리고나서 직접 성분은 이 직접 신호 성분에 대한 팬텀 위치에서 가상 확성기를 직접적으로 시뮬레이팅함으로써 합성된다. 더욱이, 팬텀 위치는 파라미터 확장 데이터의 공간 파라미터들로부터 결정된다. 그러므로, 방향성 신호는 하나의 특정한 방향으로부터 발생하도록 직접 합성되고 따라서 단 2개의 HRTF 함수들만이 청취자의 귀에 도달하는 결합된 신호 성분의 계산에 수반된다. 더욱이, 팬텀 위치는 임의의 특정한 스피커 위치 지정(스테레오 스피커들 사이와 같은)으로 제한되지 않고 청취자의 등으로부터를 포함하는 임의의 방향을 형성할 수 있다. 또한, 팬텀 소스의 정확한 위치는 파라미터 확장 데이터에 의해 제어되므로 원래 입력된 서라운드 사운드 신호의 적절한 서라운드 소스 방향으로부터 발생하도록 생성된다.

간접 성분은 방향성 신호와는 관계없이 합성되고 특히 일반적으로 계산된 팬텀 위치로부터 발생하지 않도록 합성된다. 예를 들어, 간접 성분은 하나 이상의 고정된 위치들로부터(예를 들어 청취자의 등으로) 발생하도록 합성될 수 있다. 그러므로, 확산 또는 주변 사운드 성분에 대응하는 간접/비상관 신호 성분은 확산 공간 사운드 경험을 제공하도록 생성된다.

이 방법은 (가상) 확성기 셋업 및 각각의 서라운드 사운드 채널에 대한 음원 위치에 의존하는 것과 연관되는 단점들 중 일부 또는 전부를 극복한다. 특히, 이 방법은 더 현실적인 가상 서라운드 사운드 경험을 제공한다.

그러므로, 도 2의 시스템은 다음의 단계들을 포함하는 개선된 MPEG 서라운드 디코딩을 제공한다:

- 주 및 주변 성분으로의 다운믹스의 신호 분해,

- MPEG 서라운드 공간 파라미터들에 기초한 방향성 분석,

- 방향성 분석으로부터 도출되는 HRTF 데이터에 의한 주 성분의 바이노럴 렌더링, 및

- 특히 고정된 위치에 대응할 수 있는 상이한 HRTF 데이터로 주변 성분의 바이노럴 렌더링.

본 시스템은 특히 서브-대역 도메인 또는 주파수 도메인에서 동작한다. 그러므로, 다운믹스 신호는 신호 분해가 발생하는 서브-대역 도메인 또는 주파수 도메인 표현으로 변환된다. 평행한 방향성 정보는 공간 파라미터들로부터 유도된다. 방향성 정보, 즉 선택적으로 거리 정보를 갖는 전형적인 각도 데이터는 예를 들어 헤드 트랙커 디바이스(head tracker device)에 의해 유발되는 오프셋(offset)을 포함하도록 조정될 수 있다. 그리고나서 그 결과에 따른 방향성 데이터에 대응하는 HRTF 데이터는 주 및 주변 성분들을 렌더링/합성하는데 이용된다. 그 결과에 따른 신호는 최종 출력 신호가 되는 시간 도메인으로 다시 변환된다.

더욱 상세하게, 도 2의 디코더는 좌측 및 우측 채널을 포함하는 스테레오 다운-믹스 신호를 수신한다. 다운믹스 신호는 좌측 및 우측 도메인 변환 프로세서(201, 203)에 공급된다. 도메인 변환 프로세서들(201, 203)의 각각은 인입하는 다운믹스 채널을 서브대역/주파수 도메인으로 변환한다.

도메인 변환 프로세서(201, 203)는 주파수 도메인 표현을 생성하고 여기서 다운믹스 신호는 앞으로 시간-주파수 타일(tile)들로 칭해지는 시간-간격 주파수-대역 블록들로 분리된다. 시간-주파수 타일들의 각각은 특정한 시간 간격에서 특정한 주파수 간격에 대응한다. 예를 들어, 다운믹스 신호는 예를 들어 30ms의 지속기간의 시간 프레임들에 의해 표현될 수 있고 도메인 변환 프로세서들(201 및 203)은 각각의 시간에서 푸리에 변환(예를 들어 고속 푸리에 변환)을 실행하여 소정의 수효의 주파수 빈(bin)들을 발생시킨다. 그후에 각각의 프레임 내의 각각의 주파수 빈은 시간-주파수 타일에 대응할 수 있다. 일부 실시예들에서, 각각의 시간-주파수 타일은 예를 들어 복수의 주파수 빈들 및/또는 시간 프레임들을 포함할 수 있음이 인정될 것이다. 예를 들어, 주파수 빈들은 각각의 시간-주파수 타일이 Bark 대역에 대응하도록 결합될 수 있다.

많은 실시예들에서, 각각의 시간-주파수 타일은 전형적으로 100ms 및 200Hz, 또는 주파수 타일의 중심 주파수의 절반일 수 있다.

일부 실시예들에서, 디코더 프로세싱은 전체 오디오 대역에 대하여 실행될 것이다. 그러나, 특정한 예에서, 각각의 시간-간격 주파수-대역 블록은 개별적으로 프로세싱될 것이다. 따라서, 다음의 설명은 분해, 방향성 분석 및 합성 동작들이 각각의 시간-간격 주파수-대역 블록에 개별적이고 별개로 적용되는 구현예에 초점을 맞춘다. 더욱이, 상기 예에서 각각의 시간-간격 주파수-대역 블록은 하나의 시간-주파수 타일에 대응하지만 일부 실시예들에서 복수의 예를 들어 FFT 빈들 또는 시간 프레임들이 서로 그룹화되어 시간-간격 주파수-대역 블록을 형성하는 것이 인정될 것이다.

도메인 변환 프로세서들(201, 203)은 다운믹스 신호의 주파수 도메인 표현을 분해하여 적어도 제 1 및 제 2 신호 성분을 생성하도록 배열되는 신호 분해 프로세서(205)에 결합된다.

제 1 신호 성분은 다운-믹스 신호의 주 방향성 신호 성분에 대응하도록 생성된다. 특히, 제 1 신호 성분은 종래의 확성기 시스템에서 진폭 패닝 기술에 의해 획득되는 팬텀 소스의 추정치가 되도록 생성된다. 실제로, 신호 분해 프로세서(205)는 다운믹스 신호에 의해 표현되는 음원으로부터 청취자에 의해 수신될 직접 신호에 대응하는 제 1 신호 성분을 결정하려고 시도한다.

제 2 신호 성분은 제 1 신호 성분과 적어도 부분적으로(그리고 흔히 실질적으로 완전히) 비상관되는 신호 성분이다. 그러므로, 제 2 신호 성분은 다운믹스 신호에 대한 확산 신호 성분을 표현할 수 있다. 실제로, 신호 분해 프로세서(205)는 다운믹스 신호에 의해 표현되는 음원으로부터 청취자에 의해 수신될 확산 또는 간접 신호에 대응하는 제 2 신호 성분을 결정하려고 시도할 수 있다. 그러므로, 제 2 신호 성분은 반향들, 실내 반사들 등과 같이, 다운믹스 신호에 의해 표현되는 사운드 신호의 비-방향 성분들을 표현할 수 있다. 그러므로, 제 2 신호 성분은 다운믹스 신호에 의해 표현되는 주변 사운드를 표현할 수 있다.

많은 실시예들에서, 제 2 신호 성분은 제 1 신호 성분에 대한 다운믹스를 보상한 것으로부터 생성되는 잔여 신호에 대응할 수 있다. 예를 들어, 스테레오 다운믹스의 경우, 제 1 신호 성분은 가중치가 전력 중립(power neutral)이어야만 하는 한계를 두고 두 채널들 내에서의 신호의 가중 합으로 생성될 수 있다. 예를 들어:

여기서 l 및 r은 좌측 및 우측 채널 각각에서의 다운믹스 신호이고, a 및 b는 다음의 제한:

하에 x₁의 최대 전력을 발생시키도록 선택되는 가중치들이다.

그러므로, 제 1 신호는 다운믹스의 복수의 채널들에 대한 신호들을 결합하는 함수로 생성된다. 함수 자체는 결과에 따른 제 1 신호 성분에 대한 전력을 최대화하도록 선택되는 두 파라미터들에 좌우된다. 예에서, 파라미터들은 또한 전력 중립인 다운믹스의 신호들의 결합을 발생시키도록 제한, 즉 파라미터들은 파라미터들의 변화들이 달성 가능한 전력에 영향을 미치지 않도록 선택된다.

이 제 1 신호의 계산은, 결과에 따른 제 1 신호 성분이 청취자에게 도달하는 주 방향성 신호에 대응하는 확률이 높아지도록 할 수 있다.

예에서, 제 2 신호는 그 후에 예를 들어 단순히 다운믹스 신호로부터 제 1 신호를 공제함으로써 잔여 신호로서 계산될 수 있다. 예를 들어, 일부 시나리오들에서, 두 확산 신호들이 생성될 수 있고 여기서 하나의 그와 같은 확산 신호는 제 1 신호 성분이 공제되는 좌측 다운믹스 신호에 대응하고 다른 확산 신호는 제 1 신호 성분이 공제되는 우측 다운믹스 신호에 대응한다.

상이한 실시예들에서 상이한 분해 방법이 이용될 수 있음이 인식될 것이다. 예를 들어, 스테레오 다운믹스 신호의 경우, 유럽 특허 출원 EP 07117830.5 및 2008년 11월 IEEE Transaction on Audio, Speech, and Language Processing, Vol.16, No.8에서의 J. Breedbaart, E. Schuijers에 의한 논문 "Phantom Materialization: A Novel Method to Enhance Stereo Audio Reproduction on Headphones"에서의 pp.1503 내지 1511에서 스테레오 신호에 적용되는 분해 방법들이 적용될 수 있다.

예를 들어, 다수의 분해 기술들은 스테레오 다운믹스 신호를 하나 이상의 방향성/주 신호 성분들 및 하나 이상의 주변 신호 성분들로 분해하는데 적합할 수 있다.

예를 들어, 스테레오 다운믹스는:

에 따라 단일 방향성/주 성분 및 두 주변 성분들로 분해될 수 있고,

여기서 l은 좌측 다운믹스 채널에서의 신호를 나타내고, r은 우측 다운믹스 채널에서의 신호를 나타내고, m은 주 신호 성분을 나타내고 d_l 및 d_r은 확산 신호 성분들을 나타낸다. γ는 주 성분 m 및 주변 신호들(d_l 및 d_r) 사이의 상관이 영(0)이 되고 주 방향성 신호 성분 m의 전력이 최대가 되도록 선택되는 파라미터이다.

다른 예로, 회전 연산자가 이용되어 단일 방향성/주 및 단일 주변 성분을 생성한다:

여기서 각도 α는 주 신호 m 및 주변 신호 d 사이의 상관이 영이 되고 주 성분 m의 전력이 최대가 되도록 선택된다. 이 예는 a = sin(α) 및 b = sin(α)가 동일하도록 신호 성분들을 생성하는 이전의 예에 대응하는 점이 주목된다. 더욱이, 주변 신호 d의 계산은 주 성분 m에 대한 다운믹스 신호의 보상으로 인식될 수 있다.

또 다른 예로서, 분해는 스테레오 신호로부터 두 주 성분들 및 두 주변 성분들을 생성한다. 우선, 상술한 회전 연산자는 단일 방향성/주 성분들을 생성하는데 이용된다:

그리고나서 좌측 및 우측 주 성분들은 추정되는 모노 신호의 최소 자승 최적화법(least-squares fit)으로 추정될 수 있다:

여기서

이고, 여기서 m[k], l[k], 및 r[k]는 시간 주파수 타일 k_tile에 대응하는 주, 좌측 및 우측 주파수/서브대역 도메인 샘플들을 나타낸다.

그리고나서 두 좌측 및 우측 주변 성분들 d_l 및 d_r은:

로 계산된다.

일부 실시예들에서, 다운믹스 신호는 모노 신호일 수 있다. 그와 같은 실시예들에서, 신호 분해 프로세서(205)는 모노 신호에 대응하도록 제 1 신호 성분을 생성할 수 있고 반면에 제 2 신호 성분은 모노 신호에 대한 비상관 신호에 대응하도록 생성된다.

특히, 도 3에 도시되는 바와 같이, 다운믹스는 주 방향성 신호 성분으로 직접적으로 이용될 수 있고 반면에 주변/확산 신호 성분은 비상관 필터(301)를 다운믹스 신호에 적용함으로써 생성된다. 비상관 필터(301)는 예를 들어 당업자에게 공지되어 있는 바와 같이 적절한 전역-통과 필터일 수 있다. 비상관 필터(301)는 특히 MPEG 서라운드 디코딩에 전형적으로 이용되는 비상관 필터와 등가일 수 있다.

더욱이 도 2의 디코더는 파라미터 확장 데이터를 수신하고 파라미터 확장 데이터에 응답하여 제 1 신호 성분에 대한 제 1 공간 위치 표시를 결정하도록 배열되는 위치 지정 프로세서(207)를 포함할 수 있다. 그러므로, 위치 지정 프로세서(207)는, 공간 파라미터들에 기초하여, 주 방향성 신호 성분들에 대응하는 팬텀 소스에 대한 추정된 위치를 계산한다.

일부 실시예들에서, 위치 지정 프로세서(207)는 또한 파라미터 확장 데이터에 응답하여 제 2 신호 성분에 대한 제 2 공간 위치 표시를 결정할 수 있다. 그러므로, 공간 파라미터들에 기초하여, 위치 지정 프로세서(207)는 그와 같은 실시예들에서 확산 신호 성분(들)에 대응하는 팬텀 소스(들)에 대한 하나 이상의 추정된 위치들을 계산할 수 있다.

예에서, 위치 지정 프로세서(207)는 우선 다운믹스 신호를 업믹스된 다중-채널 신호로 업믹싱하기 위해 업믹스 파라미터들을 결정함으로써 추정되는 위치를 생성한다. 업믹스 파라미터들은 파라미터 확장 데이터의 공간 파라미터들일 수 있고 이로부터 도출될 수 있다. 이때 스피커 위치는 업믹싱된 다중 채널 신호의 채널들 각각에 대하여 가정되고 추정되는 위치는 업믹스 파라미터들에 따라 스피커 위치들을 결합함으로써 계산된다. 그러므로, 업믹스 파라미터들은 다운믹스 신호가 제 1 채널에 많은 기여분을 제공할 것이고 제 2 채널에 적은 기여분을 제공할 것이라고 표시하고나서, 제 1 채널에 대한 스피커 위치는 제 2 채널보다 더 높게 가중된다.

특히, 공간 파라미터들은 다운믹스 신호로부터 업믹싱된 다중-채널 신호의 채널들로의 변환을 기술할 수 있다. 이 변환은 예를 들어 업믹스 채널의 신호들을 다운믹스 채널들에 대한 신호들과 연관시키는 행렬에 의해 표현될 수 있다.

위치 지정 프로세서(207)는 그리고나서 각도들을 각각의 채널에 대한 가정된 스피커 위치들로 가중 결합함으로써 제 1 공간 위치 표시에 대한 각 방향을 결정할 수 있다. 채널에 대한 가중치는 특히 다운믹스 신호로부터 상기 채널로의 변환의 이득(예를 들어 진폭 또는 이득)을 반영하도록 계산될 수 있다.

특정한 예로서, 일부 실시예들에서 위치 지정 프로세서(207)에 의해 실행되는 방향성 분석은 주 신호 성분의 방향이 MPEG 서라운드 디코더의 '건식' 신호 부분들에 대한 방향에 대응하고; 주변 성분들의 방향이 MPEG 서라운드 디코더의 "습식" 신호 부분들의 방향에 대응한다는 가정에 기초할 수 있다. 컨텍스트에서, 습식 신호 부분들은 비상관 필터를 포함하는 MPEG 서라운드 업믹스 프로세싱의 부분에 대응하도록 고려될 수 있고 건식 신호 부분들은 이것을 포함하지 않는 부분에 대응하도록 고려될 수 있다.

도 4는 MPEG 서라운드 업믹스 함수의 예를 도시한다. 도시되는 바와 같이 다운믹스는 제 1 행렬 프로세서에 의해 채널들에 제 1 행렬 연산들이 적용될 때 우선 제 1 세트로 업믹싱된다.

그리고나서 생성되는 신호들의 일부는 비상관 신호들을 생성하기 위해 비상관 필터들(403)에 공급된다. 비상관된 출력 신호들은 제 1 행렬 프로세서(401)로부터의 신호들과 함께 비상관 필터(403)에 공급되지 않고, 제 2 행렬 연산을 적용하는 제 2 행렬 프로세서(405)에 공급된다. 제 2 행렬 프로세서(405)의 출력은 그 후에 업믹싱된 신호이다.

그러므로, 건식 부분들은 비상관 필터들(403)의 입력 또는 출력 신호들을 생성하거나 프로세싱하지 않는 도 6의 기능의 일부에 대응할 수 있다.

유사하게, 습식 부분들은 비상관 필터들(403)의 입력 또는 출력 신호들을 생성하거나 프로세싱하지 않는 도 6의 기능의 일부에 대응할 수 있다.

그러므로, 예에서, 다운믹스는 우선 제 1 행렬 프로세서(401)에서의 준비 행렬 M ₁(prematrix)에 의해 프로세싱된다. 준비 행렬 M ₁은 당업자에게 공지되는 바와 같이 MPEG 서라운드 공간 파라미터들의 함수이다. 제 1 행렬 프로세서(401)의 출력의 일부는 다수의 비상관 필터들(403)에 공급된다. 비상관 필터들(403)의 출력은 준비 행렬의 나머지 출력들과 함께, 또한 MPEG 서라운드 공간 파라미터들(당업자에게 공지되어 있는 바와 같이)의 함수인 혼합 행렬 M ₂를 적용하는 제 2 행렬 프로세서(405)에 대한 입력으로 이용된다.

수학적으로 이 절차는 각각의 시간-주파수 타일에 대해서:

로 기술될 수 있고,

여기서 x는 다운믹스 신호 벡터를 나타내고, M ₁은 현재의 시간-주파수 타일에 대하여 지정된 MPEG 서라운드 파라미터들의 함수인 준비 행렬이고, v는 혼합 행렬에 직접적으로 공급될 부분 v_dir 및 비상관 필터들에 공급될 부분 v_amb로 구성되는 중간 신호 벡터이다:

비상관 필터들(403) 이후의 신호 벡터(ω)는:

로 기술될 수 있고,

여기서 D{.}는 비상관 필터들(403)을 나타낸다. 최종 출력 벡터 y는 혼합 행렬로부터:

로 구성되고,

여기서 M ₂ = [M _2,dir, M _2,amb]는 혼합 행렬을 나타내고, 이는 MPEG 서라운드 파라미터들이다.

상기의 수학식으로부터 최종 출력 신호는 건식 신호들 및 습식(비상관) 신호들의 중첩인 것이 확인될 수 있다:

여기서:

그러므로, 다운믹스로부터 언믹싱된 다중-채널 서라운드 신호로의 변환은 신호 비상관 함수를 포함하는 제 1 서브-변환 및 신호 비상관 함수를 포함하지 않는 제 2 서브-변환를 포함하는 것으로 고려될 수 있다.

특히, 모노 다운믹스의 경우, 제 1 서브-변환은:

로 결정될 수 있고,

여기서 x는 모노 다운믹스를 나타내고 G _dir은 다운믹스를 출력 채널들로 매핑(mapping)하는 전체 행렬을 나타낸다.

그리고나서 대응하는 가상 팬텀 음원의 방향(각도)은 예를 들어:

으로 도출될 수 있고,

여기서 φ는 확성기 셋업과 연관되는 가정된 각도들을 나타낸다.

예를 들어 좌측 전방, 우측 전방, 중앙, 좌측 서라운드 및 우측 서라운드 스피터들에 대해 각각

은 흔히 적절할 수 있다.

다른 실시예들에서,

외의 가중치들이 이용될 수 있고 실제로 이득 및 가정되는 각도들의 많은 다른 함수들이 개별 실시예들의 선호도들 및 요건들에 따라 이용될 수 있음이 인정될 것이다.

각도에 대한 이전의 계산에서의 문제는 상이한 각도들이 일부 시나리오들에서 서로를 상쇄하는 경향이 있다는 점이다. 예를 들어

이 모든 채널들에 대해 대략 동일하다면, 결정된 각도에 대한 고 민감성이 발생할 수 있다.

일부 실시예들에서, 이는 예를 들어:

과 같이, 모든 (인접한) 스피커 쌍들에 대한 각도들의 계산에 의해 완화될 수 있고

여기서 p는 스피커 쌍들을 나타내고

이다.

그러므로, 서브-변환에 기초하여

이고,

주 방향성 신호에 대한 방향, 즉 제 1 신호 성분이 추정된다. 시간-주파수 타일에서의 주 방향성 신호에 대한 위치(방향/각도)는 공간 파라미터들뿐만 아니라 가정된 스피커 위치들을 특징으로 하는 업믹스의 건식 프로세싱에 대응하는 위치들에 대응하도록 결정된다.

유사한 방식으로, 각도는:

에 의해 제공되는 서브-변환에 기초하여 주변 성분들(제 2 신호 성분)에 대하여 도출될 수 있다.

그러므로, 이 예에서, 시간-주파수 타일에서의 확산 신호 성분에 대한 위치(방향/각도)는 공간 파라미터들뿐만 아니라 가정된 스피커 위치들를 특징으로 하는 업믹스의 습식 프로세싱에 대응하는 위치에 대응하도록 결정된다. 이는 많은 실시예들에서 개선된 공간 경험을 제공할 수 있다.

다른 실시예들에서, 고정 위치 또는 위치들은 확산 신호 성분(들)에 대해 이용될 수 있다. 그러므로, 주변 성분들의 각도는 고정 각도로, 예를 들어 서라운드 스피커들의 위치들로 설정될 수 있다.

상기 예들이 공간 파라미터들을 특징으로 하는 MPEG 서라운드 업믹싱에 기초하는데 반해 다운믹스의 실제 그와 같은 업믹싱은 위치 지정 프로세서(207)에 의해 실행되지 않음이 인정될 것이다.

스테레오 다운믹스 신호의 경우, 두 각도들이 예를 들어 도출될 수 있다. 이는 분해에 의해 두 주 신호 성분들이 생성되는 예들에 대응할 수 있고 실제로 하나의 각도는 각각의 주 신호에 대하여 계산될 수 있다.

그러므로, 방향성 건식 업믹싱은:

에 대응할 수 있고,

결과적으로 두 각도들:

이 된다.

두 개의 그와 같은 각도들의 계산은 특히 MPEG 서라운드가 스테레오 다운믹스와 함께 이용되는 시나리오에 대해 유용하고 적절한데 왜냐하면 MPEG 서라운드는 전형적으로 좌측 및 우측 다운믹스 채널들 사이의 관계들을 규정하는 공간 파라미터들을 포함하지 않기 때문이다.

유사한 방식으로, 두 주변 성분들은 ψ_amb,l 및 ψ_amb,r로 도출될 수 있고, 각각 하나는 좌측 다운믹스 채널에 대한 것이고 하나는 우측 다운믹스 채널에 대한 것이다.

일부 실시예들에서, 위치 지정 프로세서(207)는 또한 제 1 신호 성분에 대한 거리 표시를 결정할 수 있다. 이것으로 인해 후속 렌더링은 이 거리를 반영하는 HRTF들을 이용하는 것이 가능할 수 있고 따라서 개선된 공간 경험이 발생될 수 있다.

예로서, 거리는:

로부터 추정될 수 있고,

여기서 d_min 및 d_max는 최소 및 최대 거리, 예를 들어 d_min = 0.5m 및 d_max = 2.5m를 나타내고, D_dir은 가상 음원 위치의 추정된 거리를 나타낸다.

예에서, 위치 지정 프로세서(207)는 주 방향성 신호 성분에 대하여 그리고/또는 확산 신호 성분들에 대하여 추정된 위치를 조정할 수 있는 선택적 조정 프로세서(209)에 결합된다.

예를 들어, 선택적 조정 프로세서(209)는 헤드 트랙킹 정보를 수신할 수 있고, 그에 따라 주 음원들의 위치를 조정할 수 있다. 대안으로, 사운드 스테이지는 위치 지정 프로세서(207)에 의해 결정되는 각도들에 고정된 오프셋을 추가함으로써 회전될 수 있다.

도 2의 시스템은 또한 선택적 조정 프로세서(209) 및 신호 분해 프로세서(205)에 결합되는 바이노럴 프로세서(211)를 포함한다. 바이노럴 프로세서(211)는 제 1 및 제 2 신호 성분들(즉, 분해된 주 방향성 신호 성분 및 확산 신호 성분)뿐만 아니라 대응하는 추정되는 위치를 선택적 조정 프로세서(209)로부터 수신한다.

그리고나서 바이노럴 프로세서(211)는 계속해서 제 1 및 제 2 신호 성분들을 렌더링하여 이 성분들이 청취자에게는 선택적 조정 프로세서(209)로부터 수신된 추정된 위치들에 의해 표시되는 위치들로부터 발생하는 것으로 나타난다.

특히, 바이노럴 프로세서(211)는 계속해서 제 1 신호 성분에 대하여 추정된 위치에 대응하는 두 HRTF들(각각의 귀에 대하여 하나)을 검색한다. 그리고나서 바이노럴 프로세서(211)는 계속해서 이 HRTF들을 제 1 신호 성분에 적용한다. HRTF들은 예를 들어, 각각의 귀에 대한 각각의 시간-주파수 타일에 대하여 적절하게 파라미터화된 HRTF 전달 함수들을 포함하는 검색표로부터 검색될 수 있다. 검색표는 예를 들어 각각 5도의 각도에 대해서와 같이, 다수의 각도들에 대한 HRTF 값들의 전체 세트를 포함할 수 있다. 그리고나서 바이노럴 프로세서(211)는 추정된 위치에 가장 밀접하게 대응하는 각도에 대한 HRTF 값들을 단순히 선택할 수 있다. 대안으로 바이노럴 프로세서(211)는 이용 가능한 HRTF 값들 사이의 보간을 이용할 수 있다.

유사하게, 바이노럴 프로세서(211)는 원하는 주변 위치에 대응하는 HRTF들을 제 2 신호 성분에 적용한다. 일부 실시예들에서, 이는 고정된 위치에 대응할 수 있으므로 동일한 HRTF는 항상 제 2 신호 성분에 이용될 수 있다. 다른 실시예들에서, 주변 신호에 대한 위치가 추정될 수 있고 적절한 HRTF 값들은 검색표로부터 검색될 수 있다.

좌측 및 우측 채널들 각각에 대한 HRTF 신호들은 그 후에 바이노럴 출력 신호들을 생성하도록 결합된다. 바이노럴 프로세서(211)는 또한 좌측 바이노럴 신호의 주파수 도메인 표현을 시간 도메인 표현으로 변환하는 제 1 출력 변환 프로세서(213), 및 우측 바이노럴 신호의 주파수 도메인 표현을 시간 도메인 표현으로 변환하는 제 2 출력 변환 프로세서(215)에 결합된다. 그리고나서 시간 도메인 신호들은 출력되고 예를 들어 청취자에 의해 착용된 헤드폰들로 공급될 수 있다.

출력 바이노럴 신호의 합성은 특히, 단일 파라미터 값을 각각의 주파수 타일에 적용함으로써 시간 및 주파수 변형 방식으로 수행된다. 여기서 파라미터 값은 주파수, 타일, 및 원하는 위치(각도)에 대한 HRTF 값을 나타낸다. 그러므로, HRTF필터링은 나머지 프로세싱과 동일한 시간-주파수 타일들을 이용하여 주파수 도메인 승산에 의해 달성되어, 고효율 계산을 제공한다.

특히, 2008년 11월 IEEE Transaction on Audio, Speech, and Language Processing, Vol.16, No.8에서의 J. Breedbaart, E. Schuijers에 의한 논문 "Phantom Materialization: A Novel Method to Enhance Stereo Audio Reproduction on Headphones"에서의 pp.1503 내지 1511의 방법이 이용될 수 있다.

예를 들어, 제공된 합성 각도 ψ (및 선택적으로 거리 D)에 대해, 다음의 파라미터 HRTF 데이터는 각각의 시간/주파수 타일에 대애 이용 가능할 수 있다:

- 좌측-귀 HRTF p_l,ψ의 (평균) 레벨 파라미터,

- 우측-귀 HRTF p_r,ψ의 (평균) 레벨 파라미터,

- 좌측 및 우측 귀 HRTF들 φ_lr,ψ 사이의 평균 위상차 파라미터.

레벨 파라미터들은 HRTF들의 공간 포락선을 나타내고, 위상 차 파라미터는 귀간 시간 차(interaural time difference)의 단계적으로 일정한 근사치를 나타낸다.

제공된 시간-주파수 타일의 경우, 제공된 합성 각도 ψ_dir가 상술한 방향성 분석으로부터 도출되므로, 출력 신호는:

로 구성되고,

여기서 m은 주/방향성 성분의 시간-주파수 타일 데이터를 나타내고 l_dir 및 r_dir은 좌측 및 우측 주/방향성 출력 신호들 각각의 시간-주파수 타일 데이터를 나타낸다.

유사하게 주변 성분은:

에 따라 합성되고,

여기서 d는 주변 성분의 시간-주파수 타일 데이터를 나타내고, l_amb 및 r_amb는 좌측 및 우측 주변 출력 신호들 각각의 시간-주파수 타일 데이터를 나타내고 이 경우 합성 각도 ψ_amb는 주변 성분에 대한 방향성 분석에 대응한다.

최종 출력 신호는 주 및 주변 출력 성분들을 추가함으로써 구성된다. 그 경우에 다수의 주 및/또는 다수의 주변 성분들이 분석 단계 동안 도출되어 이 성분들은 개별적으로 합성되고 합산되어 최종 출력 신호를 형성할 수 있다.

각도들이 각 채널 쌍에 대하여 계산되는 실시예의 경우 이는:

으로 표현될 수 있다.

유사하게 주변 성분들은 각도들 ψ_{amb ,p}로 렌더링된다.

이전의 설명은 다중-소스 신호가 다중-채널 신호에 대응하는, 즉, 각각의 신호 소스가 다중-채널 신호의 채널에 대응하는 예에 초점을 맞추었다.

그러나, 기술된 원리들 및 방법들은 사운드 객체들에 직접적으로 적용될 수 있다. 그러므로, 일부 실시예들에서, 다중-소스 신호의 각각의 소스는 사운드 객체일 수 있다.

특히, MPEG 표준화 본체는 현재 "공간 오디오 객체 코딩(Spatial Audio Object Coding: SAOC)" 해법의 프로세스 중에 있다. 더 높은 레벨의 관점에서, SAOC에서는, 채널들 대신, 사운드 객체들이 효과적으로 코딩된다. MPEG 서라운드에서, 각각의 스피커 채널은 상이한 사운드 객체들의 혼합으로부터 발생하는 것으로 고려될 수 있고, SAOC에서 이 개별 사운드 객체들의 추정들은 상호 조작을 위한 디코더에서 이용 가능하다(예를 들어 개별 기구들은 개별적으로 인코딩될 수 있다). MPEG 서라운드와 유사하게, SAOC는 또한 모노 또는 스테레오 다운믹스를 생성할 수 있고 그 후에 이 모노 또는 스테레오 다운믹스는 HE AAC와 같은 표준 다운믹스 코더를 이용하여 선택적으로 코딩된다. 그리고나서 공간 객체 파라미터들은 원래의 공간 사운드 객체들이 다운믹스로부터 어떻게 재생성될 수 있는지를 기술하기 위해서 다운믹스 코딩되는 비트스트림들의 보조 데이터 부분에 임베딩(embedding)된다. 디코더 측에서, 이용자는 또한 위치, 증폭, 이퀄라이제이션, 및 심지어 반향과 같은 효과들의 응용과 같은 개별 객체들의 다양한 특징들을 제어하기 위해서 상기 파라미터들을 조작할 수 있다. 그러므로, 이 방법은 최종 사용자로 하여금, 예를 들어 개별 사운드 객체들에 의해 개별 기구들의 개별 공간 위치들을 제어하도록 할 수 있다.

그와 같은 공간 오디오 객체 코딩의 경우, 단일 소스(모노) 객체들은 개별 렌더링에 용이하게 이용 가능하다. 그러나, 스테레오 객체들(두 개의 관련 모노 객체들) 및 다중-채널 배경 객체들의 경우, 개별 채널들은 종래대로 개별적으로 렌더링된다. 그러나, 일부 실시예들에 따르면, 기술되는 원리들은 그와 같은 오디오 객체들에 적용될 수 있다. 특히, 오디오 객체들은 주 방향성 신호 성분 및 확산 신호 성분으로 분해될 수 있고 이 성분들은 개별적으로 그리고 원하는 지점으로부터 직접적으로 렌더링됨으로써 개선된 공간 경험을 발생시킬 수 있을 것이다.

일부 실시예들에서, 기술된 프로세싱은 전체 주파수 대역에 적용될 수 있는, 즉 분해 및/또는 위치 결정은 전체 주파수 대역에 기초하여 결정될 수 있고/있거나 전체 주파수 대역에 적용될 수 있음이 인정될 것이다. 이는 예를 들어 입력 신호가 단 하나의 주 사운드 성분을 포함할 때 유용할 수 있다.

그러나, 대부분의 실시예들에서, 프로세싱은 시간-주파수 타일들의 그룹들에 개별적으로 적용된다. 특히, 분석 및 프로세싱은 각각의 시간-주파수 타일에 대해서 개별적으로 실행될 수 있다. 그러므로, 분해는 각각의 시간-주파수 타일에 대해 실행될 수 있고 추정되는 위치는 각각의 시간-주파수 타일에 대해 결정될 수 있다. 더욱이, 바이노럴 프로세싱은 상기 시간-주파수 타일에 대해 결정되는 위치들에 대응하는 HRTF 파라미터들을 상기 시간-주파수 타일에 대해 계산된 제 1 및 제 2 신호 성분 값들에 적용함으로써 각각의 시간-주파수 타일에 대해 실행된다.

이 결과로 위치들, 분해 등이 상이한 시간-주파수 타일들에 대해 변하는 시간 및 주파수 변형 프로세싱이 행해진다. 이는 특히 입력 신호가 상이한 방향들 등에 대응하는 복수의 사운드 성분들을 포함하는 가장 흔한 상황에 유용할 수 있다. 그러한 경우에, 상이한 성분들은 상이한 방향들(이 방향들은 상이한 위치들에서의 음원들에 대응한다)로부터 이상적으로 렌더링되어야만 한다. 이는, 각각의 시간-주파수 타일이 전형적으로 하나의 우세한 사운드 성분을 포함할 것이고 상기 프로세싱이 우세한 사운드 성분에 적합하도록 결정될 것이기 때문에, 가장 많은 시나리오들에서 개별 시간-주파수 타일 프로세싱에 의해 자동으로 달성될 수 있다. 그러므로, 이 방법은 결과적으로 자동적인 분리 및 상이한 사운드 성분들의 개별 프로세싱을 달성할 것이다.

상술한 설명은 명료성을 위해 본 발명의 실시예들을 상이한 기능 유닛들 및 프로세서들을 참조하여 기술했음이 인정될 것이다. 그러나, 상이한 기능 유닛들 및 프로세서들 사이의 기능의 임의의 적절한 분배는 본 발명으로부터 벗어나지 않고 이용될 수 있음이 명백할 것이다. 예를 들어, 개별 프로세서들 또는 제어기들에 의해 실행되도록 도시된 기능들은 동일한 프로세서 또는 제어기들에 의해 실행될 수 있다. 그러므로, 특정한 기능 유닛들을 언급하는 것은 엄격한 논리 또는 물리 구조 또는 조직을 나타내기 보다는 단지 기술된 기능을 제공하는 적절한 수단을 언급하는 것으로 이해되어야만 한다.

본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 결합을 포함하는 임의의 적절한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 이상의 데이터 프로세서들 및/또는 디지털 신호 프로세서들에서 작동하는 컴퓨터 소프트웨어로 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 요소들 및 구성요소들은 임의의 적절한 방식으로 물리적, 기능적 그리고 논리적으로 구현될 수 있다. 실제로 기능은 단일 유닛으로, 복수의 유닛들로 또는 다른 기능 유닛들의 일부로 구현될 수 있다. 이와 같으므로, 본 발명은 단일 유닛에서 구현될 수 있거나 또는 상이한 유닛들 및 프로세서들 사이에 물리적 그리고 기능적으로 분배될 수 있다.

본 발명이 일부 실시예들과 관련하여 기술되었을지라도, 본 발명은 본원에서 설명된 특정한 형태로 제한되도록 의도되지 않는다. 오히려, 본 발명의 범위는 첨부 청구항들에 의해서만 제한된다. 게다가, 특징이 특정 실시예들과 관련하여 기술되는 것으로 보일 수 있을지라도, 당업자는 기술된 실시예들의 다양한 특징들은 본 발명에 따라 결합될 수 있음을 인정할 것이다. 청구항들에서, 용어 comprising은 다른 요소들 또는 단계들의 존재를 배제하지 않는다.

더욱이, 개별적으로 기재될지라도, 복수의 수단, 요소들 또는 방법 단계들은 예를 들어 단일 유닛 또는 프로세서에 의해 구현될 수 있다. 더욱이, 개별 특징들이 상이한 청구항들에 포함될 수 있을지라도, 이 특징들은 가능하다면 유용하게 결합될 수 있고, 상이한 청구항들에 포함되는 것이 특징들의 결합이 실현 불가능하고/하거나 유리하지 않다는 것을 의미하지 않는다. 또한 청구항들의 하나의 카테고리에 특징들을 포함하는 것이 이 카테고리로 제한되는 것을 의미하지 않고 오히려 상기 특징이 적절하게 다른 청구항 카테고리들로 마찬가지로 적용 가능하다는 것을 나타낸다. 더욱이, 청구항들에서 특징들의 순서는 특징들이 반드시 작동되어먀만 하는 어떤 특정 순서를 의미하지 않고, 특히 방법 청구항에서의 개별 단계들의 순서는 상기 단계들이 반드시 이 순서로 실행되어야 하는 것을 의미하지 않는다. 오히려, 단계들은 임의의 적절한 순서로 실행될 수 있다. 게다가, 단수를 언급하는 것이 복수를 배제하지 않는다. 그러므로, "a", "an", "first", "second" 등을 언급하는 것이 복수를 배제하지 않는다. 청구항들 내의 참조 부호들은 단지, 명확한 예가 어떠한 방식으로도 청구항들의 범위를 제한하는 것으로 해석되지 않도록 제공된다.

201, 203 : 수신 유닛 205 : 분해 프로세서
207 : 위치 지정 유닛 211 : 바이노럴 프로세서

Claims (15)

1. 다중-음원 신호를 합성하기 위한 장치에 있어서:
   상기 다중-음원 신호를 표현하는 인코딩된 신호를 수신하기 위한 유닛(unit)(201, 203)으로서, 상기 인코딩된 신호는 상기 다중-음원 신호에 대한 다운믹스 신호(downmix signal) 및 상기 다운믹스 신호를 상기 다중-음원 신호로 확장시키기 위한 파라미터 확장 데이터(parametric extension data)를 포함하는, 상기 수신 유닛;
   적어도 제 1 신호 성분 및 제 2 신호 성분을 생성하기 위해 상기 다운믹스 신호의 신호 분해를 실행하는 분해 유닛(205)으로서, 상기 제 2 신호 성분은 상기 제 1 신호 성분과 적어도 부분적으로 비상관되는, 상기 분해 유닛;
   상기 파라미터 확장 데이터에 응답하여 상기 제 1 신호 성분에 대한 제 1 공간 위치 표시를 결정하기 위한 위치 지정 유닛(207);
   상기 제 1 공간 위치 표시에 기초하여 상기 제 1 신호 성분을 합성하기 위한 제 1 합성 유닛(211, 213, 215); 및
   상기 제 1 신호 성분과 상이한 방향으로부터 발생하도록 상기 제 2 신호 성분을 합성하기 위한 제 2 합성 유닛(211, 213, 215)을 포함하는, 다중-음원 신호를 합성하기 위한 장치.
2. 제 1 항에 있어서, 상기 다운믹스를 시간-간격 주파수-대역 블록들로 분할하고 각각의 시간-간격 주파수-대역 블록을 개별적으로 프로세싱하도록 배열되는 유닛(201, 203)을 추가로 포함하는, 다중-음원 신호를 합성하기 위한 장치.
3. 제 2 항에 있어서, 상기 제 1 합성 유닛(211, 213)은 파라미터 머리 전달 함수(parametric Head Related Transfer Function)를 상기 제 1 신호 성분의 시간-간격 주파수-대역 블록들에 적용하도록 배열되고, 상기 파라미터 머리 전달 함수는 상기 제 1 공간 위치 표시에 의해 표현되는 위치에 대응하고 각각의 시간 간격 주파수 대역 블록에 대한 파라미터 값 세트를 포함하는, 다중-음원 신호를 합성하기 위한 장치.
4. 제 1 항에 있어서, 상기 다중-음원 신호는 공간 다중-채널 신호인, 다중-음원 신호를 합성하기 위한 장치.
5. 제 4 항에 있어서, 상기 위치 지정 유닛(207)은 상기 다중-채널 신호의 채널들에 대한 가정된 스피커 위치들 및 상기 파라미터 확장 데이터의 업믹스 파라미터들에 응답하여 제 1 공간 위치 표시를 결정하도록 배열되고, 상기 업믹스 파라미터들은 다중-채널 신호를 발생시키기 위해서 상기 다운믹스의 업믹스를 표시하는, 다중-음원 신호를 합성하기 위한 장치.
6. 제 4 항에 있어서, 상기 파라미터 확장 데이터는 상기 다운믹스 신호로부터 상기 다중-채널 신호의 채널들로의 변환을 기술하고 상기 위치 지정 유닛(207)은 상기 다중-채널 신호의 채널들에 대한 가정된 스피커 위치들에 대한 가중치 및 각도의 조합에 응답하여 상기 제 1 공간 위치 표시에 대한 각도 방향을 결정하도록 배열되고, 채널에 대한 각각의 가중치는 상기 다운믹스 신호로부터 상기 채널로의 변환의 이득에 좌우되는, 다중-음원 신호를 합성하기 위한 장치.
7. 제 6 항에 있어서, 상기 변환은 신호 비상관 함수를 포함하는 제 1 서브-변환 및 신호 비상관 함수를 포함하지 않는 제 2 서브-변환을 포함하고, 상기 제 1 공간 위치 표시의 결정은 상기 제 1 서브-변환을 고려하지 않는, 다중-음원 신호를 합성하기 위한 장치.
8. 제 1 항에 있어서, 상기 파라미터 확장 데이터에 응답하여 상기 제 2 신호 성분에 대한 제 2 공간 위치 표시를 생성하도록 배열되는 제 2 위치 지정 유닛(207)을 추가로 포함하고; 상기 제 2 합성 유닛(211, 213, 215)은 상기 제 2 공간 위치 표시에 기초하여 상기 제 2 신호 성분을 합성하도록 배열되는, 다중-음원 신호를 합성하기 위한 장치.
9. 제 1 항에 있어서, 상기 다운믹스 신호는 모노 신호이고 상기 분해 유닛(205)은 상기 모노 신호에 대응하는 제 1 신호 성분 및 상기 모노-신호에 대한 비상관 신호에 대응하는 제 2 신호 성분을 생성하도록 배열되는, 다중-음원 신호를 합성하기 위한 장치.
10. 제 1 항에 있어서, 상기 제 1 신호 성분은 주 방향성 신호 성분이고 상기 제 2 신호 성분은 상기 다운-믹스 신호에 대한 확산 신호 성분인, 다중-음원 신호를 합성하기 위한 장치.
11. 제 1 항에 있어서, 상기 제 2 신호 성분은 상기 제 1 신호 성분에 대하여 상기 다운믹스를 보상함으로써 발생하는 잔여 신호에 대응하는, 다중-음원 신호를 합성하기 위한 장치.
12. 제 1 항에 있어서, 상기 분해 유닛(205)은 상기 다운믹스의 복수의 채널들에 대한 신호들을 결합하는 함수에 응답하여 상기 제 1 신호 성분을 결정하도록 배열되고, 상기 함수는 적어도 하나의 파라미터에 좌우되고, 상기 분해 유닛(205)은 또한 상기 제 1 신호 성분에 대한 전력 측정을 최대화하는 적어도 하나의 파라미터를 결정하도록 배열되는, 다중-음원 신호를 합성하기 위한 장치.
13. 제 1 항에 있어서, 상기 다중-음원 신호의 각각의 음원은 사운드 객체인, 다중-음원 신호를 합성하기 위한 장치.
14. 제 1 항에 있어서, 상기 제 1 공간 위치 표시는 상기 제 1 신호 성분에 대한 거리 표시를 포함하고 상기 제 1 합성 유닛(211, 213, 215)은 상기 거리 표시에 응답하여 상기 제 1 신호 성분을 합성하도록 배열되는, 다중-음원 신호를 합성하기 위한 장치.
15. 다중-음원 신호를 합성하는 방법에 있어서:
    상기 다중-음원 신호를 표현하는 인코딩된 신호를 수신하는 단계로서, 상기 인코딩된 신호는 상기 다중-음원 신호에 대한 다운믹스 신호 및 상기 다운믹스 신호를 상기 다중-음원 신호로 확장시키기 위한 파라미터 확장 데이터를 포함하는, 상기 수신 단계;
    적어도 제 1 신호 성분 및 제 2 신호 성분을 생성하기 위해 상기 다운믹스 신호의 신호 분해를 실행하는 단계로서, 상기 제 2 신호 성분은 상기 제 1 신호 성분과 적어도 부분적으로 비상관되는, 상기 신호 분해 단계;
    상기 파라미터 확장 데이터에 응답하여 상기 제 1 신호 성분에 대한 제 1 공간 위치 표시를 결정하는 단계;
    상기 제 1 공간 위치 표시에 기초하여 상기 제 1 신호 성분을 합성하는 단계; 및
    상기 제 1 신호 성분과는 상이한 방향으로부터 발생하도록 제 2 신호 성분을 합성하는 단계를 포함하는, 다중-음원 신호를 합성하는 방법.

Images