KR101264515B1

KR101264515B1 - 멀티-채널 오디오 신호의 바이노럴 렌더링

Info

Publication number: KR101264515B1
Application number: KR1020117010398A
Authority: KR
Inventors: 예뢴 쾨펜; 해랄드 문트; 레오니드 테렌티이브; 코르넬리아 팔치; 요하네스 힐페르트; 올리버 헬무쓰; 라르스 빌레모에스; 얀 프로그스티어스; 예륀 브레에바아르트; 요나스 엔그데가아드
Original assignee: 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.; 돌비 인터네셔널 에이비; 코닌클리즈케 필립스 일렉트로닉스 엔.브이.
Priority date: 2008-10-07
Filing date: 2009-09-25
Publication date: 2013-05-14
Also published as: BRPI0914055B1; CN102187691B; HK1159393A1; RU2011117698A; CA2739651C; BRPI0914055A2; US8325929B2; MY152056A; CA2739651A1; US20110264456A1; CN102187691A; WO2010040456A1; AU2009301467A1; EP2175670A1; EP2335428A1; AU2009301467B2; PL2335428T3; KR20110082553A; RU2512124C2; JP2012505575A

Abstract

멀티-채널 오디오 신호를 바이노럴 출력 신호(24)로 바이노럴 렌더링하는 장치가 제공된다. 멀티-채널 오디오 신호는 복수의 오디오 신호들이 다운믹스되는 스테레오 다운믹스 신호(18), 및 복수의 오디오 신호의 객체 레벨 정보 및 복수의 오디오 신호들의 오디오 신호 쌍 간의 유사성을 설명하는 객체간 상호 상관성 정보뿐 아니라 각 오디오 신호에 대해, 개별적 오디오 신호가 스테레오 다운믹스 신호(18)의 제1 채널 및 제2 채널로, 각각, 어느 정도까지 혼합되는지를 나타내는 다운믹스 정보(DMG, DCLD)를 포함하는 부가 정보를 포함한다. 제1 렌더링 방안에 기초하여, 스테레오 다운믹스 신호(18)의 제1 및 제2 채널들로부터의 예비적 바이노럴 신호(54)가 계산된다. 역상관된 신호

가 스테레오 다운믹스 신호(18)의 제1 및 제2 채널들의 모노 다운믹스(58)에 대한 지각적 균등물로서, 하지만 모노 다운믹스(58)에는 역상관(decorrelated)되어, 생성된다. 제2 렌더링 방안

에 따라, 역상관된 신호(62)로부터 보정적 바이노럴 신호(64)가 계산되며 바이노럴 출력 신호(24)를 획득하기 위해 예비적 바이노럴 신호(54)가 보정적 바이노럴 신호(64)와 혼합된다.

Description

멀티-채널 오디오 신호의 바이노럴 렌더링{Binaural Rendering of a Multi-Channel Audio Signal}

본 발명은 멀티-채널 오디오 신호의 바이노럴 렌더링에 관한 것이다.

하나의 채널, 즉 모노 오디오 신호들을 효율적으로 인코딩 또는 압축하기 위해 많은 오디오 인코딩 알고리즘들이 제안되었다. 음향심리학을 이용해, 예를 들어, PCM 코딩된 오디오 신호들로부터 무관성(irrelevancy)을 제거하기 위해 오디오 샘플들이 적절히 스케일되고, 양자화되거나 또는 심지어 0으로 설정되기도 한다. 리던던시(Redundancy) 제거 또한 수행된다.

추가적인 스텝으로서, 스테레오 오디오 신호들을 효율적으로 인코딩/압축하기 위해 스테레오 오디오 신호들의 좌측 및 우측 채널 간의 유사성이 활용되어 왔다.

하지만, 다가올 어플리케이션들은 오디오 코딩 알고리즘에 추가적인 요구를 제기한다. 예를 들어, 화상회의(teleconferencing), 컴퓨터 게임들, 음악 공연(music performance), 및 기타 분야에서, 부분적으로 또는 심지어 완전히 상관적이지 않은 여러 오디오 신호들이 병렬로 전송되어야 한다. 낮은-비트 레이트 전송 어플리케이션들에 부합하기 위해 이러한 오디오 신호들을 인코딩하는 데 필요한 비트 레이트를 충분히 낮게 유지하기 위해, 최근, 다수의 입력 오디오 신호를 스테레오 또는 심지어 모노 다운믹스(downmix) 신호인 다운믹스 신호로 다운믹스하는 오디오 코덱들이 제안되어져 왔다. 예를 들어, MPEG 서라운드 표준(standard)은 입력 채널들을 표준에 서술된 방식으로 다운믹스 신호로 다운믹스한다. 다운믹싱은, 두 신호들을 하나로, 세 개의 신호들을 둘로 각각 다운믹싱하는 소위 OTT^-1 및 TTT^-1 박스들을 이용해 수행된다. 세 개를 초과하는 신호들을 다운믹스 하기 위해, 이러한 박스들의 계층적 구조가 사용된다. 각 OTT^-1 박스는, 모노 다운믹스 신호 외에도, 두 입력 채널들의 채널 레벨 차이, 두 입력 채널들의 일관성(coherence) 또는 상호-상관성(cross-correlation)을 나타내는 채널간 일관성/상호-상관성을 출력한다. 파라미터들을 MPEG 서라운드 데이터 스트림 내에서 MPEG 서라운드 코더의 다운믹스 신호와 함께 출력된다. 유사하게, 각 TTT^-1 박스는 결과적인 스테레오 다운믹스 신호로부터 3 개의 입력 채널들의 재생을 가능케 하는 채널 예측 계수들을 전송한다. 채널 예측 계수들은 또한 MPEG 서라운드 데이터 스트림 내에서 부가 정보로서 전송된다. MPEG 서라운드 디코더는 전송된 부가 정보를 이용해 다운믹스 신호를 업믹스(upmix)하고 MPEG 서라운드 인코더 내로 입력된 원래의 채널들을 재생한다.

하지만, MPEG 서라운드는, 불행하게도 많은 어플리케이션들에 의해 제기된 모든 요구사항들을 만족시키지는 못한다. 예를 들어, MPEG 서라운드 디코더는 MPEG 서라운드 인코더의 입력 채널들이 그대로 재생되도록 MPEG 서라운드 인코더의 다운믹스 신호를 업믹싱하는 데 특화되어 있다. 즉, MPEG 서라운드 데이터 스트림은, 인코딩에 사용된 확성기 구성을 사용하여 또는 스테레오와 같은 통상적인 구성을 이용하여, 재생되는 데 특화되어(dedicated) 있다.

하지만, 몇몇 어플리케이션들에 따르면, 확성기 구성이 디코더 측에서 자유롭게 변경될 수 있는 경우 더 바람직할 것이다.

후자의 요구를 만족시키기 위해, 공간 오디오 객체 코딩 표준(spatial audio object coding)(SAOC)이 현재 설계되고 있다. 각 채널은 개별적 객체(object)로서 취급되고, 모든 객체들은 다운믹스 신호로 다운믹스된다. 즉, 객체들은 어떤 특정 확성기 구성에 집착하지 않고 디코더 측에서 임의로 (가상) 확성기들을 배치하는 능력을 갖는 서로 독립적인 오디오 신호들로서 취급되어진다. 개별 객체들은 예를 들어, 기구(instrument)들 또는 성도(vocal tracks)들로서 개별적 사운드 소스들을 포함한다. MPEG 서라운드와는 달리 SAOC 디코더는 개별 객체들을 어떤 확성기 구성 상에서라도 재생하기 위해 다운믹스 신호를 개별적으로 다운믹스하는 데 자유롭다. SAOC 데이터 스트림 내로 인코딩된 개별 객체들을 재생시키는 SAOC 디코더를 활성화시키기 위해서는, 객체 레벨 차이 및, 함께 스테레오 (또는 멀티-채널) 신호를 형성하는 객체들을 위해, 객체간(inter-object) 상호 상관 파라미터들이 SAOC 비트스트림 내에서 부가 정보로서 전송된다. 이와 더불어, SAOC 디코더/트랜스코더는 개별 객체들이 어떻게 다운믹스 신호로 다운믹스되었는지를 드러내는 정보를 제공받는다. 따라서, 디코더 측에서, 개별 SAOC 채널들을 재생하는 것 및 사용자-제어된 렌더링 정보를 활용하여 이러한 신호들을 어떤 확성기 구성으로 렌더링하는 것이 가능하다.

그런데, 앞서 언급된 코덱, 즉 MPEG 서라운드 및 SAOC 가 멀티-채널 오디오 컨텐트를 전송하고 2개를 초과하는 확성기를 가지는 확성기 구성 상으로 렌더링하는 것이 가능하지만, 오디오 재생 시스템으로서 헤드폰 분야의 증가하는 관심은 이러한 코덱들이 오디오 컨텐트를 또한 헤드폰 상으로 렌더링 가능하게 함을 필요로 하게 한다. 확성기 재생과는 대조적으로, 헤드폰 상에서 재생되는 스테레오 오디오 컨텐트는 머리 내에서 인지된다. 어떤 물리적 위치들에서 소스들로부터 귓바퀴로의 음향적 경로의 효과의 부재는, 사운드 소스의 인지된 방위각(azimuth), 고도(elevation), 및 거리를 결정하는 단서(cue)들이 근본적으로 없거나 매우 부정확하기 때문에 공간적 이미지들이 부자연스럽게 들리도록 한다. 따라서, 헤드폰 상에 부정확하거나 또는 부재의(absent) 사운드 소스의 위치측정(localization) 단서들에 의해 야기된 부자연스러운 사운드 스테이지를 해결하기 위해, 가상 확성기 설정을 시뮬레이션하는 여러 기법들이 제안되어져 왔다. 아이디어는 사운드 소스 위치측정 단서들을 각 확성기 신호 상으로 내포시키는 것이다. 이는 오디오 신호들을 소위 머리-관련 전달 함수(HRTF)들 또는, 실내 음향적 특성이 이러한 측정 데이터 내에 포함되어 있다면, 바이노럴 실내(room) 임펄스 응답(BRIR)들을 이용해 필터링함으로써 얻어진다. 하지만, 각 확성기 신호를 지금 언급된 기능들을 이용해 필터링하는 것은 디코더/재생 단에서 막대하게 더 높은 양의 계산 파워를 필요로 할 것이다. 특히, 멀티-채널 오디오 신호를 "가상" 확성기 위치들로 렌더링하는 것이 우선 수행되어야 할 것이고, 그 다음 이렇게 얻어진 각 확성기 신호가 바이노럴 출력 신호의 좌측 및 우측 채널을 획득하기 위해 개별 전달 함수 또는 임펄스 응답을 이용해 필터링된다. 심지어 더 나쁜 경우: 이렇게 획득된 바이노럴 출력 신호가, 가상 확상기 신호들을 얻기 위해 상대적으로 많은 양의 합성 역상관 신호들이, 원래 비상관된 오디오 입력 신호들 간의 상관성 보상을 위해, 업믹스된 신호들로 혼합되어야 할 것이라는 사실로 인해, 나쁜 오디오 품질을 갖게 될 것인데, 상관성은 복수의 오디오 입력 신호들을 다운믹스 신호로 다운믹싱함으로써 발생된다.

SAOC 코덱의 현재 버전에서, 부가 정보 내의 SAOC 파라미터들이, 원칙적으로, 헤드폰을 포함하는 어떤 재생 설정이라도 이용하여 오디오 객체들의 사용자-상호작용형 공간 렌더링을 가능케 한다. 헤드폰에 대한 바이노럴 렌더링은 머리-관련 전달 함수(HRTF) 파라미터들을 이용해 3D 공간에서 가상 객체 위치들의 공간적 제어를 가능케 한다. 예를 들어, 이러한 케이스를 입력 신호들이 모노 채널로 동등하게 혼합되는 모노 다운믹스 SAOC 케이스로 제한함으로써 SAOC에서의 바이노럴 렌더링이 구현될 수 있다. 불행하게도, 모노 다운믹스는 모든 오디오 신호들이 하나의 공통 모노 다운믹스 신호로 혼합될 것을 필요로 하여 원래 오디오 신호들의 원래 상관성 특성들이 최대로 사라지고, 그에 따라 바이노럴 렌더링 출력 신호의 렌더링 품질이 비-최적이다.

따라서, 본 발명의 목적은 원래의 오디오 신호로부터 다운믹스 신호를 구성하는 자유의 제한을 피함과 동시에 바이노럴 렌더링 결과가 향상되도록 하는, 멀티-채널 오디오 신호를 바이노럴 렌더링하는 기법을 제공하는 데 있다.

이러한 목적은 청구항 1에 따른 장치 및 청구항 10에 따른 방법에 의해 달성된다.

본 발명에 내재하는 기본 사상들 중 하나는 스테레오 다운믹스 신호로부터 멀티-채널 오디오 신호의 바이노럴 렌더링을 시작하는 것이, 몇몇 객체들이 스테레오 다운믹스 신호의 개별 채널들에 존재한다는 사실로 인해, 개별적인 오디오 신호들 간의 역상관(decorrelation) 양이 더 잘 보존된다는 점에서, 그리고, 인코더 측에서 스테레오 다운믹스 신호의 두 채널들 간 선택할 가능성이 각기 다른 다운믹스 채널들의 오디오 신호들 간의 상관성 특성들이 일부 보존됨을 가능케 한다는 점에서, 모노 다운믹스 신호로부터 멀티-채널 오디오 신호의 바이노럴 렌더링을 시작하는 것보다 유리하다는 점이다. 다시 말해, 인코더 다운믹스로 인해, 바이노럴 출력 신호의 채널간 일관성이 가상 사운드 소스 폭의 인지를 위한 중요한 척도인 디코딩 측에서 고려되어야 할 객체간 일관성이 저하되지만, 모노 다운믹스 대신 스테레오 다운믹스를 사용하면 저하되는 양이 줄어들게 되어 스테레오 다운믹스 신호를 바이노럴 렌더링함에 의한 채널간 일관성의 적절한 양의 회복/생성이 더 양호한 품질을 얻도록 한다.

본 출원의 추가적인 주요 사상은 앞서-언급된 ICC(ICC = inter-channel coherence) 제어가 스테레오 다운믹스 신호의 다운믹스 채널들의 모노 다운믹스와 지각적 동등물, 하지만 모노 다운믹스와는 역상관된 지각적 동등물을 형성하는 역상관된 신호에 의해 얻어질 수 있다는 점이다. 따라서, 모노 다운믹스 신호 대신 스테레오 다운믹스 신호를 사용하는 것이, 모노 다운믹스 신호를 사용하는 경우는 없어질 것인, 복수의 오디오 신호의 상관성 특성들 중 몇몇을 보존하면서도, 바이노럴 렌더링이 제1 및 제2 다운믹스 채널 양쪽을 대표하는 역상관된 신호에 기초할 수 있고, 그에 따라 각 스테레오 다운믹스 채널을 개별적으로 역상관시키는 것에 비해 역상관들의 개수 또는 합성 신호 처리를 줄일 수 있다.

본 발명에 따르면 각 스테레오 다운믹스 채널을 개별적으로 역상관시키는 것에 비해 역상관 또는 합성 신호 처리의 개수를 줄일 수 있다.

이하에서 첨부한 도면을 참조하여 본 발명의 바람직한 실시예들이 보다 자세히 설명된다.
도 1은 본 발명의 실시예들이 구현될 수 있는 SAOC 인코더/디코더 배열의 블록 다이어그램을 나타낸다.
도 2는 모노 오디오 신호의 스펙트럴 표현의 개략적 및 도해적 다이어그램을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 바이노럴 렌더링이 가능한 오디오 디코더의 블록 다이어그램을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 도 3의 다운믹스 전처리 블록의 블록 다이어그램을 나타낸다.
도 5는 제1 대체예(alternative)에 따른 도 3의 SAOC 파라미터 처리 유닛(42)에 의해 수행되는 스텝들의 플로우-차트를 나타낸다.
도 6은 청취 테스트 결과를 설명하는 그래프를 나타낸다.

이하에서 첨부한 도면을 참조하여 본 발명의 바람직한 실시예들이 보다 자세히 설명된다.

본 발명의 실시예들이 보다 자세히 설명되기 전에, 아래에서 보다 자세히 설명될 특정 실시예들의 이해를 쉽도록 하기 위해 SAOC 코덱 및 SAOC 비트 스트림으로 전송되는 SAOC 파라미터들이 제시된다.

도 1은 SAOC 인코더(10) 및 SAOC 디코더(12)의 일반적인 배열을 나타낸다. SAOC 인코더(10)는 입력으로 N 객체들, 즉 오디오 신호들 14₁ 내지 14_N을 수신한다. 특히, 인코더(10)는 오디오 신호들 14₁ 내지 14_N을 수신하여 다운믹스 신호(18)로 다운믹스하는 다운믹서(16)를 포함한다. 도 1에서, 다운믹스 신호는 대표적으로 스테레오 다운믹스 신호로서 보여진다. 하지만, 인코더(10) 및 디코더(12)는 다운믹스 신호가 모노 다운믹스 신호인 경우에 모노 모드에서도 동작할 수 있다. 하지만, 아래의 설명은 스테레오 다운믹스 경우에 집중된다. 스테레오 다운믹스 신호(18)의 채널들은 LO 및 RO로 지시된다.

SAOC 디코더(12)가 개별 객체들(14₁ 내지 14_N)을 재생하는 것을 가능케 하기 위해서, 다운믹서(16)는 SAOC 디코더(12)로 객체 레벨 차이들(OLD), 객체간 상호 상관성 파라미터들(IOC), 다운믹스 이득 값들(DMG) 및 다운믹스 채널 레벨 차이들(DCLD)을 포함하는 SAOC-파라미터들을 포함하는 부가 정보를 제공한다. SAOC-파라미터들을 포함하는 부가 정보(20)는, 다운믹스 신호(18)와 함께, SAOC 디코더(12)에 의해 수신되는 SAOC 출력 데이터 스트림(21)을 형성한다.

SAOC 디코더(12)는, 어떤 사용자-선택된 채널들의 세트(24₁ 내지 24_N) 상으로 오디오 신호들(14₁ 내지 14_N)을 회복하고 렌더링하기 위해 부가 정보(20)뿐 아니라 다운믹스 신호(18)도 수신하는 업믹싱(upmixing)(22)을 포함하는데, 렌더링은 HARTF 파라미터들(27)뿐 아니라 SAOC 디코더(12)로 입력되는 렌더링 정보(26)에 의해 규정되며, 그 의미는 아래에서 더 자세히 서술될 것이다. 디코딩(12)이, 사용자 입력(26) 내에서의 명령에 따라, 다른 (비-바이노럴) 확성기 구성 상으로 렌더링하는 것 또한 가능하지만, 아래의 설명은 바이노럴 렌더링에 집중하고, 여기서 M' = 2이고, 출력 신호는 특히 헤드폰 재생에 특화된다.

오디오 신호들(14₁ 내지 14_N)은 예를 들어, 시간 또는 스펙트럴 도메인과 같은 어떤 코딩 도메인에서 다운믹서(16)로 입력될 수 있다. 이 경우, 오디오 신호들(14₁ 내지 14_N)은 PCM 코딩된 것과 같은 시간 도메인에서 다운믹서(16)로 공급되고, 다운믹서(16)는, 특정 필터 뱅크 해상도에서, 오디오 신호들이 각기 다른 스펙트럴 부분들과 연관된 여러 서브밴드에 존재하는 스펙트럴 도메인 내로 신호들을 전달하기 위해, 하이브리드 QMF 뱅크, 예를 들어 주파수 해상도를 증가시키기 위해 최저 주파수 대역에 대한 나이키스트(Nyquist) 필터 확장을 갖는 복소 지수적으로 변조된 필터들의 뱅크와 같은, 필터 뱅크를 사용한다. 오디오 신호들(14₁ 내지 14_N)이 이미 다운믹서(16)에 의해 예측된 표현에 있는 경우, 다운믹서는 스펙트럴 분해를 수행할 필요가 없다.

도 2는 방금-언급된 스펙트럴 도메인에서의 오디오 신호를 보여준다. 보는 바와 같이, 오디오 신호는 복수의 서브밴드 신호로 표현된다. 각 서브밴드 신호(30₁ 내지 30_P)는 작은 박스들(32)에 의해 표시된 서브밴드 값들의 시퀀스로 구성된다. 보는 바와 같이, 각 서브밴드 신호들(30₁ 내지 30_P)의 서브밴드 값들(32)은 시간적으로 서로 동기화되어 있으며 연속적인 필터 뱅크 시간 슬롯들(34) 각각에 대해, 각 서브밴드(30₁ 내지 30_P)가 정확하게 하나의 서브밴드 값(32)을 포함한다. 주파수 축(35)에 의해 도시된 바와 같이, 서브밴드 신호들(30₁ 내지 30_P)은 각기 다른 주파수 영역들과 연관되고, 시간 축(37)에 의해 도시된 바와 같이, 필터 뱅크 시간 슬롯들(34)은 시간적으로 연속하여 배열된다.

상술한 바와 같이, 다운믹서(16)는 입력 오디오 신호들(14₁ 내지 14_N)로부터 SAOC-파라미터들을 계산한다. 다운믹서(16)는, 필터 뱅크 시간 슬롯들(34) 및 서브밴드 분해에 의해 결정된 바와 같은 원래의 시간/주파수 해상도에 비해 일정량, 감소될 수 있는 시간/주파수 해상도에서 이러한 계산을 수행하며, 이러한 일정량은 개별 구문 요소들인 bsFrameLength 및 bsFreqRes에 의해 부가 정보(20) 내에서 디코더 측으로 시그널링될 수 있다. 예를 들어, 연속적인 필터 뱅크 시간 슬롯들(34)의 그룹들이 개별적으로 프레임(36)을 형성할 수 있다. 즉, 오디오 신호는 예를 들어, 시간적으로 중첩하거나 시간적으로 바로 인접한 프레임들로 구분될 수 있다. 이 경우, bsFrameLength 는 프레임 당 파라미터 시간 슬롯들(38)의 개수, 즉 하나의 SAOC 프레임(36)에서 OLD 및 IOC와 같은 SAOC 파라미터들이 계산되는 시간 유닛을 정의할 수 있고, bsFreqRes 는 SAOC 파라미터들이 계산되는 처리 주파수 대역의 개수, 즉 주파수 도메인이 서브분할되고 SAOC 파라미터들이 결정되고 전송되는 대역의 개수를 정의할 수 있다. 이러한 척도(measure)를 이용해, 각 프레임이 도 2에서 대쉬선(dashed line)들(39)에 의해 예시된 바와 같은 시간/주파수 타일로 구분된다.

다운믹서(16)는 아래의 공식에 따라 SAOC 파라미터들을 계산한다. 특히 다운믹서(16)는 각 객체 i에 대해 객체 레벨 차이들을

와 같이 계산하고, 여기서 합계 및 인덱스들 n 및 k 는 각각 모든 필터 뱅크 시간 슬롯들(34), 및 특정 시간/주파수 타일(39)에 속하는 모든 필터 뱅크 서브밴드들(30)을 통한다. 그에 따라 오디오 신호의 모든 서브밴드 값들 x_i 또는 객체 i의 에너지가 합해지고 모든 객체들 또는 오디오 신호들 중 해당 타일의 최고 에너지 값으로 정규화된다.

추가적으로 SAOC 다운믹서(16)는 각기 다른 입력 객체들(14₁ 내지 14_N)의 쌍의 상응하는 시간/주파수 타일들의 유사성 척도를 계산할 수 있다. 비록 SAOC 다운믹서(16)가 또한 입력 객체들(14₁ 내지 14_N)의 모든 쌍들 간의 유사성 척도를 계산할 수 있지만, 다운믹서(16)는 또한, 공통 스테레오 채널의 좌측 또는 우측 채널들을 형성하는 오디오 객체들(14₁ 내지 14_N)에 대한 유사성 척도의 시그널링을 억제하거나 또는 유사성 척도의 계산을 제한할 수 있다. 어떤 경우에도 유사성 척도는 객체간 상호 상관성 파라미터 IOC_i _, _j 로 지칭된다. 계산은 아래와 같으며,

여기서 다시, 인덱스들 n 및 k 는 특정 시간/주파수 타일(39)에 속하는 모든 서브밴드 값들에 통하여, i 및 j는 오디오 객체들(14₁ 내지 14_N)의 특정 쌍을 나타낸다.

다운믹서(16)는 각 객체 (14₁ 내지 14_N)에 적용되는 이득 인자들을 사용함으로써 객체들(14₁ 내지 14_N)을 다운믹스한다.

도 1에 예시된 스테레오 다운믹스 신호의 경우에는, 이득 인자 D₁ _,i 가 객체 i에 대해 적용되고, 모든 이러한 이득 증폭된 객체들이 합해져 좌측 다운믹스 채널 L0 를 획득하고, 이득 인자들 D₂ _,i 가 객체 i에 대해 적용되고, 그리고 이렇게 이득 증폭된 객체들이 합해져 우측 다운믹스 채널 R0를 획득한다. 따라서, D₁ _,i 및 D₂ _,i가 크기 2×N의 아래의 다운믹스 매트릭스 D를 형성한다.

및

이러한 다운믹스 방안(prescription)은 다운믹스 이득들 DMG_i 및 스테레오 다운믹스 신호의 경우에는, 다운믹스 채널 레벨 차이들 DCLD_i에 의해 디코더 측으로 시그널링된다.

다운믹스 이득은,

에 따라 계산되고, 여기서

은 최대 신호 입력 아래 10^-9 또는 96dB와 같은 작은 숫자이다.

DCLD_s 에 대해서는 아래의 공식이 적용된다.

다운믹서(16)는 아래의 식에 따라 스테레오 다운믹스 신호를 생성한다.

따라서, 앞서 언급된 식들에서, 파라미터 OLD 및 IOC는 오디오 신호들의 함수이고, 파라미터 DMG 및 DCLD는 D의 함수이다. 그런데, D는 시간적으로 변화할 수 있음이 유의되어야 할 것이다.

여기 디코더의 동작 모드가 서술된, 바이노럴 렌더링의 경우, 출력 신호는 자연히 두 채널들, 즉 M'=2을 포함한다. 그럼에도 불구하고, 앞서 언급된 렌더링 정보(26)는 입력 신호들(14₁ 내지 14_N)이 어떻게 가상 스피커 위치들(1 내지 M)으로 분배되는지에 관해 나타내는데, 여기서 M은 2보다 클 수 있다. 렌더링 정보는 따라서, 가상 스피커 신호들 vs_j를 획득하기 위해 입력 객체들 obj_i 가 어떻게 가상 스피커 위치들 j로 분배되는지에 관해 지시하는 렌더링 매트릭스

을 포함할 수 있으며, 여기서 j는 1과 M 사이에서 배타적으로, i는 1과 N 사이에서 배타적으로 존재하며 아래의 식이 성립한다.

렌더링 정보는 어떤 식으로든 사용자에 의해 제공 또는 입력될 수 있다. 렌더링 정보(26)가 심지어 SAOC 스트림(21) 자체의 부가 정보 내에 포함되는 것도 가능하다. 물론, 렌더링 정보가 시간적으로 변화되는 것도 허용 가능하다. 예를 들어 시간 해상도가 프레임 해상도와 동일할 수 있는데, 즉,

이 프레임(36)마다 정의될 수 있다. 심지어

의 주파수에 의한 변동(variance) 또한 가능하다. 예를 들어,

은 각 타일(39)에 대해 정의될 수 있다. 아래에서는, 예를 들어,

이

을 나타내는 사용될 것이며, 여기서 m 은 주파수 대역을 나타내고, l 은 파라미터 시간 슬라이스(38)를 나타낸다.

최종적으로, 아래에서는, HRTF들(27)이 언급될 것이다. 이러한 HRTF들(27)은 가상 스피커 신호 j가 어떻게 좌측 및 우측 귀 상으로 각각 렌더링되어 바이노럴 단서들이 보존되는지를 서술한다. 다시 말해, 각 가상 스피커 위치 j에 대해 두 개의 HRTF들이 존재하는데 즉, 왼쪽 귀를 위한 하나, 그리고 오른쪽 귀를 위한 다른 하나이다. 아래에서 보다 자세히 설명되는 바와 같이, 디코더는, 각 가상 스피커 위치 j에 대해, 양쪽 귀에 의해 수신된 신호들 간의 위상 쉬프트 오프셋을 설명하는, 그리고 동일한 소스 j로부터 나온 위상 쉬프트 오프셋(phase shift offset)

및 좌측 및 우측 귀에 각각에 대해, 청취자의 머리로 인한 양쪽 신호의 감쇄를 서술하는 두 개의 진폭 증폭/감쇄

및

을 포함하는 HRTF 파라미터들(27)을 제공받을 수 있다. HRTF 파라미터(27)는 시간상 일정할 수 있지만, SAOC 파라미터 해상도와 동일할 수 있는 어떤 주파수 해상도에서, 즉 주파수 대역마다 정의된다. 아래에서는, HRTF 파라미터들이

,

및

로서 주어지며, 여기서 m 은 주파수 대역을 나타낸다.

도 3은 도 1의 SAOC 디코더(12)를 보다 자세히 보여준다. 보여지는 바와 같이, 디코더(12)는 다운믹스 전-처리 유닛(40) 및 SAOC 파라미터 처리 유닛(42)을 포함한다. 다운믹스 전-처리 유닛(40)은 스테레오 다운믹스 신호(18)를 수신하여 바이노럴 출력 신호(24)로 변환하도록 구성된다. 다운믹스 전-처리 유닛(40)은 SAOC 파라미터 처리 유닛(42)에 의해 제어되는 방식으로 이러한 변환을 수행한다. 특히, SAOC 파라미터 처리 유닛(42)은, SAOC 파라미터 처리 유닛(42)이 SAOC 부가 정보(20) 및 렌더링 정보(26)로부터 도출한 렌더링 방안(prescription) 정보(44)를 다운믹스 전-처리 유닛(40)으로 제공한다.

도 4는 본 발명의 일 실시예에 따른 다운믹스 전-처리 유닛(40)을 보다 자세히 도시한다. 특히, 도 4에 따른 다운믹스 전-처리 유닛(40)은 스테레오 다운믹스 신호(18), 즉 ,

가 수신되는, 및 바이노럴 출력 신호

가 출력되는 유닛(40)의 출력 사이의 병렬로 연결된 두 개의 경로, 즉 건조 렌더링(dry rendering) 유닛이 직렬로 연결되는 건조 경로(46)로 불리는 경로, 및 역상관 신호 발생기(50) 및 건조 렌더링 유닛(52)이 직렬로 연결되는 습윤(wet) 경로(48)를 포함하며, 믹싱 스테이지(53)는 최종 결과, 즉 바이노럴 출력 신호(24)를 획득하기 위해 양 경로들(46 및 48)의 출력들을 혼합한다.

아래에서 더 자세히 설명되는 바와 같이, 건조 렌더링 유닛(47)은 건조 렌더링 경로(46)의 출력을 나타내는 예비적 바이노럴 출력 신호(54)를 이용해 스테레오 다운믹스 신호(18)로부터 예비적 바이노럴 출력 신호(54)를 계산하도록 구성된다. 건조 렌더링 유닛(47)은 SAOC 파라미터 처리 유닛(42)에 의해 제시된 건조 렌더링 방안에 기초하여 그 계산을 수행한다. 아래에 서술된 구체적 실시예에서, 렌더링 방안은 건조 렌더링 매트릭스

에 의해 정의된다. 지금-언급된 것은 도 4에 대쉬 화살표를 이용해 도시되어 있다.

역상관된 신호 발생기(50)는 스테레오 다운믹스 신호(18)로부터 다운믹싱에 의해 역상관된 신호

를 생성하여, 역상관된 신호가 스테레오 다운믹스 신호(18)의 우측 및 좌측 채널의 모노 다운믹스와 지각적으로 균등하도록, 하지만 모노 다운믹스에는 비상관적이 되도록, 구성된다. 도 4에 도시된 바와 같이, 역상관된 신호 발생기(50)는 개별 모노 다운믹스(58)를 획득하기 위해, 스테레오 다운믹스 신호(18)의 좌측 및 우측 채널의, 예를 들어 1:1 비율 또는 예를 들어, 다른 어떤 고정된 비율의, 합산을 위한 가산기(56)를 포함할 수 있으며, 앞서 언급된 역상관된 신호

를 생성하기 위한 역상관기(60)가 그 뒤를 따른다. 역상관기(60)는 모노 다운믹스(58)의 지연된 버전 또는 지연된 버전의 가중된 합산, 또는 심지어 모노 다운믹스(58) 및 모노 다운믹스의 지연된 버전 상의 가중된 합산으로부터 역상관된 신호

를 형성하기 위해 예를 들어, 하나 또는 그 이상의 지연 스테이지를 포함한다. 물론, 역상관기(60)에 대한 많은 대안들이 있다. 실제로, 역상관기(60) 및 역상관된 신호 발생기(50) 각각에 의해 수행되는 역상관은, 객체 레벨 차이들에 대한 상술한 공식에 의해 측정되는 때에 그 객체 레벨 차이들을 실질적으로 유지한 채로, 객체간 상호 상관성에 대응하는 상술한 공식에 의해 측정될 때 역상관된 신호(62) 및 모노 다운믹스(58) 사이의 채널간 일관성을 낮추는 경향이 있다.

습윤 렌더링(wet rendering) 유닛(52)은 역상관된 신호(62)로부터 보정적(corrective) 바이노럴 출력 신호(64)를 계산하여, 그에 따라 획득된 보정적 바이노럴 출력 신호(64)가 습윤 렌더링 경로(48)의 출력을 나타내도록 구성된다. 습윤 렌더링 유닛(52)은 아래에 설명되는 바와 같이 차례로, 건조 렌더링 유닛(47)에 의해 사용되는 건조 렌더링 방안에 의존하는 습윤 렌더링 방안에 그 계산을 기초한다. 그에 따라, 도 4에서

로 지시된 습윤 렌더링 방안이 도 4에서 대시 화살표에 의해 나타난 바와 같은 SAOC 파라미터 처리 유닛(42)으로부터 획득된다.

믹싱 스테이지(53)는 건조 및 습윤 렌더링 경로들(46 및 48)의 양 바이노럴 출력 신호들(54 및 64)을 혼합하여 최종 바이노럴 출력 신호(24)를 획득한다. 도 4에 도시된 바와 같이, 믹싱 스테이지(53)는 바이노럴 출력 신호(54 및 64)의 좌측 및 우측 채널들을 개별적으로 혼합하도록 구성되고, 그에 따라 그 좌측 채널들을 혼합하기 위한 가산기(66) 및 그 우측 채널들을 혼합하기 위한 가산기(68)를 각각 포함할 수 있다.

SAOC 디코더(12) 및 다운믹스 전-처리 유닛(40)의 내부 구조를 설명하였으므로, 이제 그 기능이 아래에서 설명된다. 특히, 아래에 서술된 상세한 실시예는 렌더링 방안 정보(44)를 도출하고 그에 따라 바이노럴 객체 신호(24)의 채널간 일관성을 제어하기 위한 SAOC 파라미터 처리 유닛(42)에 대한 다른 대체예들을 제시한다. 다시 말해, SAOC 파라미터 처리 유닛(42)은 렌더링 방안 정보(44)를 계산할 뿐 아니라, 동시에 예비적 및 보정적 바이노럴 신호들(55 및 64)이 최종 바이노럴 출력 신호(24)로 혼합되는 믹싱 비율을 제어한다.

제1 대체예에 따라, SAOC 파라미터 처리 유닛(42)은 도 5에 도시된 바와 같이 금방 언급된 믹싱 비율을 제어하도록 구성된다. 특히, 단계 80에서, 예비 바이노럴 출력 신호(54)의 실제 바이노럴 채널간 일관성 값이 유닛(42)에 의해 결정되거나 추산(estimate)된다. 단계 82에서, SAOC 파라미터 처리 유닛(42)은 목적 바이노럴 채널간 일관성 값을 결정한다. 단계 84에서 이에 따라 결정된 채널간 일관성 값들에 기초하여, SAOC 파라미터 처리 유닛(42)은 앞서 언급된 믹싱 비율을 설정한다. 특히, 단계 84는 SAOC 파라미터 처리 유닛(42)이, 각각 단계 80 및 82에서 개별적으로 결정된 채널간 일관성 값들에 기초하여, 건조 렌더링 유닛(42)에 사용되는 건조 렌더링 방안 및 습윤 렌더링 유닛(42)에 사용되는 습윤 렌더링 방안을 각각 적절히 계산하는 단계를 포함할 수 있다.

아래에서는 앞서-언급된 대체예들이 수학적 기반에 따라 설명될 것이다. 대체예들은, SAOC 파라미터 처리 유닛(42)이 건조 및 습윤 렌더링 경로들(46 및 48) 간의 믹싱 비율을 내재적으로(inherently) 제어하는 건조 렌더링 방안 및 습윤 렌더링 방안을 포함하는, 렌더링 방안 정보(44)를 결정하는 방법에서 서로 다르다. 도 5에 도시된 제1 대체예에 따라, SAOC 파라미터 처리 유닛(42)이 목적 바이노럴 채널간 일관성 값을 결정한다. 아래에서 보다 자세히 설명되는 바와 같이, 유닛(42)은 목적 일관성 매트릭스

의 구성요소들에 기초하여 이러한 결정을 수행할 수 있으며, 여기서 "*"은 켤레전치(conjugate transpose)를 지시하고,

는 바이노럴 출력 신호(24) 및 예비 바이노럴 출력 신호(54) 각각의 우측 및 좌측 채널에 대한 객체/오디오 신호들 1...N 과 연관된 목적 바이노럴 렌더링 매트릭스이며, 렌더링 정보(26) 및 HRTF 파라미터들(27)로부터 도출되며,

는 그 계수들이

및 객체 레벨 차이들

로부터 도출된 매트릭스이다. 계산은 SAOC 파라미터들의 공간적/시간적 해상도로, 즉 각

에 대해 수행될 수 있다.

하지만, 개별 결과들 간의 보간을 이용하여 더 낮은 해상도로 계산을 수행하는 것 또한 가능하다. 후자로 언급된 것은 또한 아래에 전개된 후속 계산들에 대해서도 또한 사실이다.

목적 바이노럴 렌더링 매트릭스

가 바이노럴 출력 신호(24) 및 예비 바이노럴 출력 신호(54) 각각의 우측 및 좌측 채널에 대한 입력 객체들 1...N 과 관련됨에 따라, 매트릭스의 사이즈는 2×N, 즉,

이다.

앞서 언급된 매트릭스

는 그 계수들이 아래와 같이 정의되는 크기 N×N 의 매트릭스이다.

따라서, 아래의 매트릭스

는

그 대각(diagonal)을 따라 객체 레벨 차이들, 즉

을 갖는데, 이는 i=j에 대해

이며 매트릭스

는 대각 외부에서, 객체간 상호 상관성 척도

로 가중된(그렇지 않으면 0으로 설정되는 계수들이 0보다 크게 제공됨), 객체들 i 및 j의 객체 레벨 차이들의 기하학적 평균을 각각 나타내는 매트릭스 계수들을 갖기 때문이다.

이와 비교하여, 아래에 설명되는 제2 및 제3 대체예들은, 매트릭스

를 통한 입력 객체들을 "목적" 바이노럴 출력 신호(24) 상으로 매핑하는 목적 렌더링 수학식에 대한, 스테레오 다운믹스 신호(18)를 건조 렌더링 매트릭스

에 의해 예비 바이노럴 출력 신호(54) 상으로 매핑하는 수학식의 최소 자승 측면에서 최적의 매치를 찾음으로써 검색하여 렌더링 매트릭스들을 획득하며, 제2 및 제3 대체예는 최적 매치가 형성되는 방법 및 습윤 렌더링 매트릭스가 선택되는 방법에서 서로 다르다.

아래의 대체예들의 이해를 돕기 위해, 앞서 언급된 도 3 및 도 4의 설명이 수학적으로 재설명된다. 앞서 서술된 바와 같이, 스테레오 다운믹스 신호(18)

가 SAOC 파라미터들(20) 및 사용자 정의된 렌더링 정보(26)와 함께 SAOC 디코더(12)에 도달한다. 또한, SAOC 디코더(12) 및 SAOC 파라미터 처리 유닛(42) 각각은 화살표(27)에 의해 지시되는 바와 같은 HRTF 데이터베이스로의 액세스를 가진다. 전송된 SAOC 파라미터들은 모든 N 객체들 i, j에 대해 객체 레벨 차이들

, 객체간 상호 상관 값들

, 다운믹스 이득들

, 다운믹스 채널 레벨 차이들

을 포함하며, 여기서

은 개별적 시간/공간적 타일(39)을 의미하며, l 은 시간을 나타내고 m 은 주파수를 나타낸다. HRTF 파라미터들(27)은 대표적으로, 좌측(L) 및 우측(R) 바이노럴 채널에 대한 모든 가상 스피커 위치들 또는 가상 공간적 사운드 소스 위치 q 에 대해, 그리고 모든 주파수 대역들 m 에 대해,

및

로 주어지는 것으로 가정한다.

다운믹스 전처리 유닛(40)은, 스테레오 다운믹스

및 역상관된 모노 다운믹스 신호

로부터 아래와 같이 계산되는, 바이노럴 출력

을 계산하도록 구성된다.

역상관된 신호

는 스테레오 다운믹스 신호(18)의 좌측 및 우측 다운믹스 채널들의 합계(58)와 지각적으로 균등하지만, 아래 식에 따라 그와는 최대한 역상관된다.

도 4를 참조하여, 역상관된 신호 발생기(50)는 상술한 식의 함수 decorrFunction 을 실행한다.

추가적으로, 앞서 서술된 바와 같이, 다운믹스 전처리 유닛(40)은 두 병렬 경로들(46 및 48)을 포함한다. 따라서, 상술한 식은 두 시간/주파수 의존적 매트릭스들, 즉, 건조에 대한

및 습윤 경로에 대한

에 기초한다.

도 4에 도시된 바와 같이, 습윤 경로에 대한 역상관은, 지각적으로 동등하지만, 그 입력(58)에 최대한 역상관된, 신호(62)를 생성하는 역상관기(60)로 공급되는 좌측 및 우측 다운믹스 채널의 합계에 의해 구현될 수 있다.

방금-언급된 매트릭스들의 원소(element)들이 SAOC 파라미터 전처리 유닛(42)에 의해 계산된다. 또한 앞에서 지시된 바와 같이, 방금-언급된 매트릭스들의 요소들이 SAOC 파라미터들 즉, 각 시간 슬롯 l 및 각 처리 대역 m 에 대한 시간/주파수 해상도에서 계산될 수 있다. 매트릭스 원소들은 따라서, 주파수 상에서 펼쳐지며 시간 상으로 보간될 수 있어, 모든 필터 뱅크 시간 슬롯들 n 및 주파수 서브밴드들 k에 대해 정의되는 매트릭스들

및

이 도출된다. 하지만, 이미 앞서와 같이, 대체예들이 또한 존재한다. 예를 들어, 보간은 남겨질 수 있고, 그에 따라 위의 식에서 인덱스들 n,k 는 "l,m"으로 효율적으로 교체될 수 있다. 게다가, 방금-언급된 매트릭스들의 요소들의 계산은 심지어, 해상도 l,m 또는 n,k 상으로의 보간을 가지는 감소된 시간/주파수 해상도에서 실행될 수도 있다. 따라서, 다시, 아래에서 인덱스들 l,m 이, 매트릭스 계산이 각 타일(39)에 대해 수행됨을 가리킨다 하더라도, 계산은 더 낮은 해상도에서 수행될 수 있는데, 다운믹스 전처리 유닛(40)에 의해 개별 매트릭스들을 적용할 때, 렌더링 매트릭스들이, 개별 서브밴드 값들(32)의 QMF 시간/주파수 해상도까지 내려가는 것과 같이, 최종 해상도까지 보간될 수 있다.

앞서-언급된 제1 대체예에 따라, 건조 렌더링 매트릭스

는 좌측 및 우측 다운믹스 채널에 의해 별개로 아래와 같이 계산된다.

대응하는 이득들

및 위상 차이들

은 아래와 같이 정의되며,

const₁ 은 예를 들어 11일 수 있고, const₂ 는 예를 들어 0.6일 수 있다. 인덱스 x는 좌측 또는 우측 다운믹스 채널을 나타내고, 그에 따라 1 또는 2인 것으로 가정한다.

일반적으로 말해, 위의 조건은 더 높은 스펙트럴 범위 및 더 낮은 스펙트럴 범위 사이를 구분하고, 특히, 더 낮은 스펙트럴 범위에 대해서만 (잠재적으로) 충족된다. 추가적으로 또는 대체적으로, 조건은 실질적인 바이노럴 채널간 일관성 값 및 목적 바이노럴 채널간 일관성 값 중 하나가 일관성 임계치에 대한 기 설정된 관계를 갖는지 아닌지 여부에 종속적이며, 조건은 일관성이 임계치를 초과하는 경우에만 (잠재적으로) 충족된다. 지금 언급된 개별적인 서브-조건들은, 상술한 바와 같이, 동작 수단에 의해 결합될 수 있다.

스칼라

은 아래와 같이 계산된다.

ε은 다운믹스 이득의 정의에 대하여 앞서 언급된 ε과 동일할 수도 있고 다를 수도 있다. 매트릭스

는 앞서 이미 소개된 바 있다. 인덱스 (l,m) 은 단지 앞서 이미 언급된 바와 같은 매트릭스 계산의 시간/주파수 의존성을 나타낸다. 추가적으로, 매트릭스들

이, 다운믹스 이득 및 다운믹스 채널 레벨 차이의 정의와 관련하여, 위에서 이미 언급된 바 있고,

은 앞서 언급된

에 대응하고

은 앞서 언급된

에 대응한다.

하지만, SAOC 파라미터 처리 유닛(42)이 어떻게 수신된 SAOC 파라미터들로부터 건조 생성 매트릭스

를 도출하는지에 대한 이해를 돕기 위해, 채널 다운믹스 매트릭스

, 및 다운믹스 이득들

및

을 포함하는 다운믹스 방안 사이의 대응성이, 역 방향으로 다시 제시된다. 특히, 1×N 크기의 채널 다운믹스 매트릭스

의 요소들

, 즉,

이,

와 같이 주어지고, 여기서 요소

은 아래와 같이 정의된다.

앞선 식

에서, 이득들

및 위상 차이들

은 채널-x 개별적 목적 공분산 매트릭스

의 계수들

에 의존하며, 이것은 차례로 아래에서 더 자세히 전개될 것이지만, 크기 N ×N 의 매트릭스

에 의존하며, 그 요소들 은 아래와 같이 계산된다.

크기 N ×N 의 매트릭스

의 요소들

은 앞서 언급된 바와 같이

로 주어진다.

방금 언급된, 크기 2 ×2 이고

의 요소들을 갖는 목적 공분산 매트릭스

는, 앞에서 언급한 공분산 매트릭스

와 유사하게, 아래와 같이 주어지고,

여기서, "*"은 켤레전치(conjugate transpose)이다.

목적 바이노럴 렌더링 매트릭스

은 모든

가상 스피커 위치들 q 및 렌더링 매트릭스

에 대한 HRTF 파라미터들

, 및

로부터 도출되고 크기는 2×N 이다. 요소들

은 모든 객체들 i 및 바이노럴 출력 신호 사이의 원하는 관계를 아래와 같이 정의한다.

요소들

을 가지는 렌더링 매트릭스

는 각 오디오 객체 i를 HRTF에 의해 표현되는 하나의 가상 스피커 q 에 연관시킨다.

습윤 업믹스 매트릭스

은 매트릭스

에 기초하여 아래와 같이 계산된다.

이득들

및

은 아래와 같이 정의된다.

건조 바이노럴 신호(54)의 요소들

을 가진 2×2 공분산 매트릭스

은 아래와 같이 추산되며,

여기서,

이다.

스칼라

은 아래와 같이 계산된다.

1×N 크기의 습윤 모노 다운믹스 매트릭스

의 요소들

은 아래와 같이 주어진다.

크기 2×N 의 스테레오 다운믹스 매트릭스

의 요소들

은 아래와 같이 주어진다.

앞서 언급된 식

에서,

및

은 ICC 제어를 위한 특별한 회전자(rotator) 각도를 나타낸다. 특히, 회전자 각도

은 바이노럴 목적의 ICC에 대해 바이노럴 출력(24)의 ICC를 조절하기 위해 건조 및 습윤 바이노럴 신호의 혼합을 제어한다. 회전자 각도를 설정할 때, 오디오 컨텐츠 및 스테레오 다운믹스 매트릭스 D 에 따라, 통상적으로 1.0보다 작고 목적 ICC보다 큰 건조 바이노럴 신호(54)의 ICC가 고려되어야 한다. 이것은 건조 바이노럴 신호의 ICC가 항상 1.0과 동일한 모노 다운믹스 기반 바이노럴 렌더링과 대조된다.

회전자 각도들

및

은 건조 및 습윤 바이노럴 신호의 혼합을 제어한다. 건조 바이노럴 렌더링된 스테레오 다운믹스(54)의 ICC

는, 단계 80에서, 아래와 같이 계산된다.

전체적인 바이노럴 목적 ICC

는 단계 82에서, 아래와 같이 계산되거나 결정될 것이다.

습윤 신호의 에너지를 최소화하기 위한 회전자 각도

및

은, 그리고 나서 단계 84에서 아래와 같이 설정된다.

따라서, 바이노럴 출력 신호(24)를 생성하는 SAOC 디코더(12)의 함수의 방금-언급된 수학적 표현에 따라, SAOC 파라미터 처리 유닛(42)은 실제 바이노럴 ICC 를 결정하는 데 있어,

에 대한 앞서-제시된 수학식 및 또한 앞서 제시된 보조 식들을 사용하여

을 계산한다. 유사하게, SAOC 파라미터 처리 유닛(42)은, 단계 82에서 목적 바이노럴 ICC를 결정함에 있어, 앞서-지시된 식 및 보조 식들에 따라 파라미터

을 계산한다. 이에 기초하여, SAOC 파라미터 처리 유닛(42)은 단계 84에서 회전자 각도들을 계산하고, 그에 따라 건조 및 습윤 렌더링 경로 간의 믹싱 비율을 설정한다. 이러한 회전자 각도들을 이용해, SAOC 파라미터 처리 유닛(42)은 건조 및 습윤 렌더링 매트릭스들 또는, 차례로 스테레오 다운믹스(18)로부터 바이노럴 출력 신호를 도출하기 위해 - 해상도 n, k 로 - 다운믹스 전-처리 유닛(40)에 의해 차례로 사용되는, 업믹스 파라미터들

및

을 생성한다.

앞서-언급된 제1 대체예는 어떤 식으로 변경될 수 있음을 알아야 할 것이다. 예를 들어, 채널간 위상 차이

에 대한 앞서-제시된 식은 제2 서브-조건이, 채널 개별적 공분산 매트릭스

로부터 결정된 ICC가 아니라

에 대한 건조 바이노럴 렌더링된 스테레오 다운믹스의 실제 ICC를 비교하는 극한으로 변경될 수 있고, 따라서 해당 식에서

부분은

항에 의해 대체될 것이다.

추가적으로, 선택된 표기법에 따라, 앞서의 식들 중 몇몇에서

과 같은 스칼라 상수가 매트릭스에 추가되고 그에 따라 이 상수가 개별 매트릭스의 각 계수에 더해지도록 모든 것들의 매트릭스가 남겨졌다.

객체 추출의 더 높은 잠재성을 갖는 건조 렌더링 매트릭스의 대체적인 생성은 좌측 및 우측 다운믹스 채널들의 조인트 처리에 기초한다. 명확성을 위해 서브밴드 인덱스 쌍을 생략하면, 원칙은 목적 렌더링,

에 대한

의 최소 자승의 측면(least squares sense)에서의 최선 매치를 목적으로 한다. 이것은 목적 공분산 매트릭스:

를 이끌어내고, 복소 값의 목적 바이노럴 렌더링 매트릭스 A 는 앞서의 공식에서 주어지고, 매트릭스 S 는 행(row)으로서 원래의 객체 서브밴드 신호들을 포함한다.

최소 자승 매치는 전달된 객체 및 다운믹스 데이터로부터 도출된 2차 정보로부터 계산된다. 즉, 아래의 대체가 수행된다.

이러한 대체를 설명하기 위해, SAOC 객체 파라미터들이 일반적으로 객체 파워(OLD) 및 (선택된) 객체-간 상호 상관성(IOC)에 대한 정보를 가짐을 상기시켜 보자. 이러한 파라미터들로부터, N ×N 객체 공분산 매트릭스 E가 도출되고, 이것은

로의 근사화, 즉,

를 나타내며,

를 이끌어낸다.

추가적으로, X= DS 및 다운믹스 공분산 매트릭스는,

이 되고, 이것은 다시

에 의해 E 로부터 도출될 수 있다.

건조 렌더링 매트릭스 G 는 최소 자승 문제,

를 해결함으로써 아래와 같이 얻어지고,

여기서,

는

와 같이 계산된다.

따라서, 건조 렌더링 유닛(42)은, 2 ×2 업믹스 매트릭스 G 를 사용하여,

에 의해, 다운믹스 신호 X 로부터 바이노럴 출력 신호

를 결정하고, SAOC 파라미터 처리 유닛은 위의 공식들을 이용해 G 를 아래와 같이 결정한다.

이러한 복소 값의 건조 렌더링 매트릭스가 주어진 상태에서, 복소 값의 습윤 렌더링 매트릭스 P - 이전에 P ₂ 로 지시된 - 가 누락(missing) 공분산 에러 매트릭스

를 고려함으로써 SAOC 파라미터 처리 유닛(42)에 의해 계산된다. 이 매트릭스는 양이고 P 의 바람직한 선택은

의 최대 아이겐값(eigenvalue)

에 상응하는 단위 놈(norm) 아이겐벡터(eigenvector) u 를 선택하고, 이를

에 따라 스케일링함으로써 주어지는 것으로 나타내질 수 있으며, 여기서 스칼라 V 는 앞에서 표시된 바와 같이, 즉

로 계산될 수 있다.

다시 말해, 습윤 경로는 획득한 건조 해법의 상관성을 보정하기 위해 설치되기 때문에,

은 누락 공분산 에러 매트릭스, 즉

또는 각각,

을 나타내고, 그러므로 SAOC 파라미터 처리 유닛(42)은, 상술한 유닛 놈 아이겐벡터 u 를 선택함으로써 주어진 하나의 해결책,

가 되도록 P 를 설정한다.

건조 및 습윤 렌더링 매트릭스들을 생성하는 제3 방법은 단서 제한된 복소 예측에 기초한 렌더링 파라미터들의 추산을 나타내고 올바른 복소 공분산 구조를 복귀시키는 이점을 향상된 객체 추출을 위한 다운믹스 채널들의 조인트 처리의 이점과 결합한다. 이러한 방법에 의해 제공되는 추가적인 기회는 많은 경우에 습윤 업믹스를 함께 생략가능토록 하기 위한 것이고, 그에 따라 낮은 계산 복잡도를 가지는 바이노럴 렌더링의 버전에 대한 길을 닦는 것이다. 제2 대체예와 같이, 아래에 제시된 제3 대체예는 좌측 및 우측 다운믹스 채널들의 조인트 처리(treatment)에 기초한다.

기본원칙은, 올바른 복소 공분산

의 제한 하에서, 목적 렌더링

에 대한,

의 최소 자승 측면에서의 최적 매치를 목적으로 한다.

따라서, 아래와 같이 되도록 하는 G 및 P 에 대한 해결책을 찾는 것을 목적으로 한다.

1)

( 2)에서의 공식에 대한 제한사항이 되는); 및

2)

, 제2 대체예 내에서 요청되는 바와 같은

라그랑제 곱셈자(Lagrange multipliers) 이론으로부터, 자동 수반(self adjoint) 매트릭스

가 존재함이 도출되며,

그리고

이 된다.

및

둘다 정칙행렬(non-singular)인 포괄적인 경우에 제2 식으로부터 M 이 정칙행렬이 되고, 그러므로

이 제1 식에 대한 유일해가 된다. 이것은 습윤 렌더링이 없는 경우의 해법이다.

로 설정하는 경우, 대응하는 건조 업믹스는

에 의해 주어지는 것을 알 수 있으며, 여기서

는 제2 대체예에 대해 위로부터 도출된 예측 해이고, 자동수반 매트릭스 K는

을 해결한다.

고유의 양의(positive), 그리고 그에 따른 매트릭스

의 자동수반 매트릭스 제곱근은 Q 에 의해 지시되고, 그 다음, 해법은,

와 같이 작성될 수 있다.

따라서, SAOC 파라미터 처리 유닛(42)은 G가

일 것을 결정한다.

내제곱근(inner square root)을 위해 일반적으로 4 개의 자동수단 해결책들이 있는데,

에 대한

의 최적의 매치를 이끌어내는 해법이 선택된다.

실제로는, 최대 크기에 대해, 예를 들어 모든 건조 렌더링 매트릭스 계수들의 절대값 제곱의 합에 대한 조건을 제한함으로써, 건조 렌더링 매트릭스

를 제한해야 하며 이는 아래와 같이 나타낼 수 있다.

해법이 이러한 제한 조건을 어기는 경우, 경계선상에 놓이는 해법이 대신 발견된다. 이것은 제한(constraint)

를 이전의 제한에 가산하고 라그랑제 식을 재도출함으로써 획득된다. 이전의 식,

은

에 의해 대체되어야 하는 것으로 나타나며,

는 부가적인 중간 복소 파라미터이며, I는 2×2의 단위 행렬이다. 비제로 습윤 렌더링 P 를 갖는 해법이 도출될 것이다. 특히, 습윤 업믹스 매트릭스에 대한 해법이

에 의해 발견될 것이고, P 의 선택은 바람직하게는 제2 대체예와 관련하여 앞서 이미 언급된 아이겐값 고려에 기초하며, V 는

이다. P 에 대한 후자의 결정은 또한 SAOC 파라미터 처리 유닛(42)에 의해서 이루어진다.

그에 따라 결정된 매트릭스들 G 및 P는 그리고 나서 앞서 언급된 바와 같은 습윤 및 건조 렌더링 유닛들에 의해 사용된다.

만약 낮은 복잡도의 버전이 요구된다면, 다음 단계는 이러한 해법을 습윤 렌더링이 없는 해법으로 교체하는 것이다. 이를 획득하는 바람직한 방법은 대각선상에서만 매칭되도록 복소 공분산에 대한 요구사항들을 감소시켜, 올바른 신호 파워가 여전히 우측 및 좌측 채널들에서 얻어지도록 하되, 상호 공분산은 오픈된 채로 남겨지게 된다.

제1 대체예와 관련하여, 주관적 청취 테스트가, 높은 청취품질을 제공하도록 설계된 음향적으로 고립된 청취 룸에서 수행되었다. 그 결과가 아래에 설명된다.

재생은 헤드폰(Lake-People D/A 컨버터를 가지는 STAX SR Lambda Pro 및 STAX SRM-Monitor)을 이용해 이루어졌다. 테스트 방법은 중간 품질 오디오의 주관적 평가를 위한 "Multiple Stimulus with Hidden Reference and Anchors"(MUSHRA) 방법에 기초한, 공간적 오디오 검증 테스트에 사용된 표준 절차들을 따랐다.

총 5명의 청취자들이 수행된 테스트 각각에 참여하였다. 모든 대상들이 숙련된 청취자들로 고려될 수 있다. MUSHRA 방법론에 따라, 청취자들은 참조에 대한 모든 테스트 조건들을 비교하도록 지시되었다. 테스트 조건들은 각 테스트 아이템에 대해서 및 각 청취자들에 대해서 자동으로 랜덤화된다. 주관적인 응답들은 컴퓨터-기반 MUSHRA 프로그램에 의해 0 내지 100에 이르는 범위의 스케일 상에서 기록되었다. 테스트 하에서 아이템들 간의 순간적인 스위칭이 허용되었다. MUSHRA 테스트는 서술된 MPEG SAOC 시스템의 스테레오-대-바이노럴 처리의 지각적 성능을 평가하기 위해 수행되었다.

모노-대-바이노럴 성능에 비교해 언급된 시스템의 지각적 품질 이득을 평가하기 위해, 모노-대-바이노럴 시스템에 의해 처리된 아이템들이 또한 해당 테스트에 포함되었다. 상응하는 모노 및 스테레오 다운믹스 신호들은 채널마다 및 초당 80kbits로 AAC-코딩되었다.

HARTF 데이터베이스 "KEMAR_MIT_COMPACT"가 사용되었다. 참조 조건이 원하는 렌더링을 고려하여 적절하게 가중된 HRTF 임펄스 응답들을 가지는 객체들의 바이노럴 필터링에 의해 생성되었다. 앵커(anchor) 조건은 저대역 필터링된 참조 조건(3.5 kHz에서)이다.

테이블 1은 테스트된 오디오 아이템들의 리스트를 포함한다.

테이블 1 - 청취 테스트의 오디오 아이템들

청취 아이템들	Nr . 모노/스테레오 객체들	객체 각도들 객체 이득들 ( dB )
disco1 disco2	10/0	[-30, 0, -20, 40, 5,-5, 120, 0, -20, -40] [-3, -3, -3, -3, -3, -3, -3, -3, -3,-3] [-30, 0, -20, 40, 5, -5, 120, 0, -20, -40] [-12, -12, 3, 3, -12, -12, 3, -12, 3, -12]
coffee1 coffee2	6/0	[10, -20, 25, -35, 0, 120 [0, -3, 0, 0, 0, 0] [10, -20, 25, -35, 0, 120] [3, -20, -15, -15, 3, 3]
pop2	1/5	[0, 30, -30, -90, 90, 0, 0, -120, 120, -45, 45] [4, -6, -6, 4, 4, -6, -6, -6, -6, -16, -16]

5 개의 서로 다른 씬(scene)들이 테스트되었고, 이들은 3 개의 서로 다른 객체 소스 풀들로부터의 렌더링 (모노 또는 스테레오) 객체들의 결과이다. 3 개의 서로 다른 다운믹스 매트릭스들은 SAOC 인코더에 적용되었고, 테이블 2를 참조하면 된다.

테이블 2 - 다운믹스 유형들

다운믹스 유형	모노	스테레오	듀얼 모노
매트랩(Matlab) 표기법	dmx1=ones(1,N);	dmx2=zeros(2,N); dmx2(1,1:2:N)=1; smx2(2,2:2:N)=1;	dmx3=ones(2,N):

업믹스 표현 품질 평가 테스트는 테이블 3에 리스트된 바와 같이 정의되었다.

테이블 1 테이블 3 - 청취 테스트 조건들

텍스트 조건	다운믹스 유형	코어- 코더
x-1-b	모노	AAC@80kbps
x-2-b	스테레오	AAC@160kbps
x-2-b_듀얼/모노	듀얼 모노	AAC@160kbps
5222	스테레오	AAC@160kbps
5222_듀얼모노	듀얼 모노	AAC@160kbps

"5222" 시스템은 독일 하노버에서의 2008년 7월의 85차 MPEG 미팅의 ISO/IEC JTC 1/SC 29/WG 11 (MPEG), 문서 N10045, "ISO/IEC CD 23003-2:200x Spatial Audio Object Coding (SAOC)" 에 언급된 바와 같이, 입력으로서 복소 값의 바이노럴 목적 렌더링 매트릭스

을 가지는 스테레오 다운믹스 전-처리기를 사용한다. 즉, ICC 제어가 수행되지 않는다. 자유로운(informal) 청취 테스트가 모든 대역에 대해 복소 값으로 남기는 대신 상위 대역에 대한

의 크기를 취함으로써 성능을 향상시킴을 보여주었다. 향상된 "5222" 시스템이 테스트에서 사용되었다.

획득한 청취 테스트 결과를 시연하는 다이어그램 측면에서의 짧은 개요가 도 6에 보여진다. 이러한 플롯들은 모든 청취자들 상의 아이템마다 평균 MUSHRA 그레이딩 및 연관된 95% 신뢰도 구간을 가지는 모든 평가된 아이템들 상의 통계학적 평균 값을 보여준다. 모든 대상들이 그것을 맞게 인식하였으므로 숨겨진 참조에 대한 데이터가 MUSHRA 플롯들에서 생략됨을 인지해야 할 것이다.

청취 테스트 결과에 기초하여 아래의 의견들:

ㆍ “x-2-b_듀얼모노(DualMono)”가 “5222”에 대비가능토록 수행한다.

ㆍ “x-2-b_듀얼모노(DualMono)”가 “5222_DualMono”보다 명백히 양호하게 수행한다.

ㆍ “x-2-b_듀얼모노(DualMono)”가 “x-1-b”에 대비가능토록 수행한다.

ㆍ 앞서의 제1 대체예에 따라 구현된“x-2-b”이 모든 다른 조건들보다 약간 더 양호하게 수행한다.

ㆍ 아이템“디스코1”은 결과에서 많은 변동을 보여주지 않으며 적합하지 않을 수 있다.

이 이루어질 수 있다.

따라서, SAOC에서의 스테레오 다운믹스 신호의 바이노럴 렌더링의 개념이 앞서 서술되었으며, 각기 다른 다운믹스 매트릭스들에 대한 요구사항들을 만족시킨다. 특히 듀얼 모노 유사 다운믹스들에 대한 품질은 청취 테스트에서 검증되었던 실제 모노 다운믹스들에 대한 것들과 동일하다. 모노 다운믹스들과 비교하여 스테레도 다운믹스들로부터 얻어질 수 있는 품질 향상 또한 청취 테스트에서 볼 수 있다. 앞서의 실시예들의 기본 처리 블록들은 스테레오 다운믹스의 건조 바이노럴 렌더링 및 두 블록들의 적절한 조합을 갖는 역상관된 습윤 바이노럴 신호와의 혼합이다.

ㆍ 특히, 습윤 바이노럴 신호가 모노 다운믹스를 갖는 하나의 역상관기를 이용해 계산되어 좌측 및 우측 파워 및 IPD가 건조 바이노럴 신호에서와 동일하다.

ㆍ 습윤 및 건조 바이노럴 신호들의 혼합은 목적 ICC 및 건조 바이노럴 신호의 ICC에 의해 제어되었으며 모노 다운믹스 기반 바이노럴 렌더링보다 통상적으로 더 적은 역상관이 요구되어 더 높은 전반적 사운드 품질을 도출함.

ㆍ 추가적으로, 앞서의 실시예들은 모노/스테레오 다운믹스 입력 및 모노/스테레오/바이노럴 출력의 어떤 조합에 대해서도 안정된 방식으로 쉽게 변형될 수 있다.

다시 말해, 채널간 일관성 제어를 가지는 스테레오 다운믹스 기반 SAOC 비트스트림의 디코딩 및 바이노럴 렌더링을 위한 신호 처리 구조 및 방법을 제공하는 실시예들이 위에서 설명되었다. 모노 또는 스테레오 다운믹스 입력 및 모노, 스테레오 또는 바이노를 출력의 모든 조합들은 서술된 스테레오 다운믹스 기반 개념의 특별한 경우로서 처리될 수 있다. 스테레오 다운믹스 기반 개념의 품질은 앞서 서술된 MUSHRA 청취 테스트에서 검증된 모노 다운믹스 기반 개념보다 통상적으로 더 나은 것으로 드러났다.

독일 하노버에서의 2008년 7월의 85차 MPEG 미팅의 ISO/IEC JTC 1/SC 29/WG 11 (MPEG), 문서 N10045, "ISO/IEC CD 23003-2:200x Spatial Audio Object Coding (SAOC)" 에서는, 멀티플 오디오 객체들이 모노 또는 스테레오 신호로 다운믹스된다. 이 신호는 부가 정보(SAOC 파라미터들)와 함께 코딩되고 SAOC 디코더로 전송된다. 상술한 실시예들은, 가상 사운드 소스 폭의 인식을 위한 중요한 척도이고 인코더 다운믹스로 인해 디그레이드되거나 또는 심지어는 파기되어, (거의) 완전히 보정되어야 할, 바이노럴 출력 신호의 채널간 일관성(ICC)을 가능케 한다.

시스템에 대한 입력들은 스테레오 다운믹스, SAOC 파라미터들, 공간적 렌더링 정보 및 HART 데이터베이스이다. 출력은 바이노럴 신호이다. 디코더 변환 영역에서 입력 및 출력 모두는 일반적으로, 충분히 낮은 인밴드 에일리어징(aliasing)을 갖는, MPEG Surround hybrid QMF filter bank, ISO/IEC 23003-1:2007, Information technology - MPEG audio technologies - Part 1: MPEG Surround 와 같은 오버샘플링된 복소 변조된 분석 필터 뱅크에 의해 일반적으로 주어진다. 바이노럴 출력 신호는 합성 필터 뱅크에 의해 PCM 시간 영역으로 다시 변환된다. 시스템은 따라서, 즉, 스테레오 다운믹스 신호를 향한 잠재적인 모노 다운믹스 기반 바이노럴 렌더링의 확장이다. 듀얼 모노 다운믹스 신호들에 대한 시스템의 출력은 이러한 모노 다운믹스 기반 시스템에 대해서와 동일하다. 그러므로 시스템은 렌더링 파라미터를 적절히 설정함으로써 모노/스테레오 다운믹스 입력 및 모노/스테레오/바이노럴 출력의 어떤 조합도 안정된 방식으로 처리할 수 있다.

심지어 다른 말로는, 앞서의 실시예들은 ICC 제어를 이용해 스테레오 다운믹스 기반 SAOC 비트 스트림의 렌더링 및 디코딩을 수행한다. 모노 다운믹스 기반 바이노럴 렌더링에 비교해, 실시예들은 아래와 같은 2가지 면에서 스테레오 다운믹스의 이점을 가질 수 있다.

- 각기 다른 다운믹스 채널들의 객체들 간의 상관성 특성들은 부분적으로 유지된다.

- 하나의 다운믹스 채널에 적은 객체들이 존재하므로 객체 추출이 향상된다.

따라서, 각기 다른 다운믹스 매트릭스들에 대한 요구사항들을 만족시키는 SAOC에서의 스테레오 다운믹스 신호들의 바이노럴 렌더링을 위한 개념이 위에서 설명되었다. 특히, 듀얼 모노 유사 다운믹스들에 대한 품질은 청취 테스트에서 검증된 진짜 모노 다운믹스들과 동일하다. 모노 다운믹스들과 비교하여 스테레오 다운믹스들로부터 얻어질 수 있는 품질 향상 또한 청취 테스트에서 볼 수 있다. 앞서의 실시예들의 기본 처리 블록들은 스테레오 다운믹스의 건조 바이노럴 렌더링 및 두 블록들의 적절한 조합을 갖는 역상관된 습윤 바이노럴 신호와의 혼합이다. 특히, 습윤 바이노럴 신호가 모노 다운믹스 입력을 갖는 하나의 역상관기를 이용해 계산되어 좌측 및 우측 파워 및 IPD가 건조 바이노럴 신호에서와 동일하다. 습윤 및 건조 바이노럴 신호들의 혼합은 목적 ICC 및 건조 바이노럴 신호의 ICC에 의해 제어되었으며 모노 다운믹스 기반 바이노럴 렌더링보다 통상적으로 더 적은 역상관이 요구되어 더 높은 전반적 사운드 품질을 도출하였다. 추가적으로, 앞서의 실시예들은 모노/스테레오 다운믹스 입력 및 모노/스테레오/바이노럴 출력의 어떤 조합에 대해서도 안정된 방식으로 쉽게 변형될 수 있다. 실시예들에 따라, 스테레오 다운믹스 신호

가 입력으로서 SAOC 파라미터들, 사용자 정의된 렌더링 정보 및 HRTF 데이터베이스와 함께 취해질 수 있다. 전송되는 SAOC 파라미터들은 모든 N 객체들 i, j에 대한

(객체 레벨 차이들),

(객체간 상호 상관성),

(다운믹스 이득들) 및

(다운믹스 채널 레벨 차이들)이다. HRTF 파라미터들은 모든 HRTF 데이터베이스 인덱스 q 에 대해

및

로 주어지며, 이것은 특정한 공간적 사운드 소스 위치와 관련된다.

최종적으로, 앞서의 설명 내에서, "일관성"이 하나의 용어로 "상호 상관성"이 다른 용어로 사용되어, 용어들 "채널간 일관성" 및 "객체간 상호 상관성"이 다르게 구성되었으나, 전자의 용어들은 각각, 채널들 및 객체들 간의 유사성을 위한 척도로서 교환적으로 사용될 수 있다.

실질적인 구현에 따라 본 발명의 바이노럴 렌더링 개념은 하드웨어 또는 소프트웨어적으로 구현될 수 있다. 그러므로, 본 발명은 또한 CD, 디스크, DVD, 메모리 스틱, 메모리 카드 또는 메모리 칩 등과 같은 컴퓨터-판독가능한 매체 상에 저장될 수 있는, 컴퓨터 프로그램에 관련된다. 그러므로, 본 발명은 또한 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 앞서의 특징들과 연관하여 설명된 본 발명의 인코딩, 변환, 또는 디코딩 방법을 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램이다.

본 발명이 비록 몇몇 바람직한 실시예들의 측면에서 설명되기는 하였으나, 본 발명의 범주에 속하는 변형예들, 치환예들 및 균등물들이 있을 것이다. 또한, 본 발명의 방법들 및 구성들을 구현하는 많은 대체 방법들이 있음을 유의해야 할 것이다. 그러므로 아래 첨부되는 청구항들은 본 발명의 실질적인 사상 및 범주에 속하는 모든 이러한 모든 변형예들, 치환예들 및 균등물들을 포함하는 것으로 이해되어야 할 것이다.

추가적으로, 흐름도에서 지시된 모든 단계들은 개별적으로 디코더에서의 개별적 수단에 의해 구현되고, 구현은 CPU, ASIC 또는 기타의 회로 부분들 상에서 구동하는 서브루틴들을 포함할 수 있음이 이해되어야 할 것이다. 블록 다이어그램에서의 블록의 기능들에 대해서도 유사한 언급이 해당된다.

즉, 일 실시예에 따르면 멀티-채널 오디오 신호(21)를 바이노럴 출력 신호(24)로 바이노럴 렌더링하는 장치가 제공되며, 멀티-채널오디오 신호(21)는 복수의 오디오 신호들(14₁ - 14_N)이 다운믹스되는 스테레오 다운믹스 신호를 포함하고, 부가 정보(20)는, 복수의 오디오 신호의 객체 레벨 정보(OLD) 및 복수의 오디오 신호의 오디오 신호 쌍 간의 유사성을 설명하는 객체간 상호 상관성 정보(IOC)뿐 아니라 각 오디오 신호에 대해, 개별적 오디오 신호가 스테레오 다운믹스 신호(18)의 제1 채널(L0) 및 제2 채널(RO)로, 각각, 어느 정도까지 혼합되는지를 나타내는 다운믹스 정보(DMG, DCLD)를 포함하며, 상기 장치는 객체간 상호 상관성 정보, 객체 레벨 정보, 다운믹스 정보, 각 오디오 신호를 가상 스피커 위치에 연관시키는 렌더링 정보, 및 HRTF 파라미터들에 따른 제1 렌더링 방안

에 기초하여, 상기 스테레오 다운믹스 신호(18)의 제1 및 제2 채널들로부터 예비적 바이노럴 신호(54)를 계산하는 수단(47), 스테레오 다운믹스 신호(18)의 제1 및 제2 채널들의 모노 다운믹스(58)에 대한 지각적 균등물이지만, 상기 모노 다운믹스(58)에는 역상관된(decorrelated), 역상관된 신호

를 발생시키는 수단(50), 객체간 상호 상관성 정보, 객체 레벨 정보, 다운믹스 정보, 렌더링 정보 및 HRTF 파라미터들에 따른 제2 렌더링 방안

에 따라, 역상관된 신호(62)로부터 보정적 바이노럴 신호(64)를 계산하는 수단(52), 및 바이노럴 출력 신호(24)를 획득하기 위해 상기 예비적 바이노럴 신호(54)를 상기 보정적 바이노럴 신호(64)와 혼합하는 수단(53)을 포함한다.

ㆍ 참조 문헌들

ISO/IEC JTC 1/SC 29/WG 11 (MPEG), Document N10045, “ISO/IEC CD 23003-2:200x Spatial Audio Object Coding (SAOC)”, 85th MPEG Meeting, July 2008, Hannover, Germany

EBU Technical recommendation: “MUSHRA-EBU Method for Subjective Listening Tests of Intermediate Audio Quality”, Doc. B/AIM022, October 1999.

ISO/IEC 23003-1:2007, Information technology - MPEG audio technologies - Part 1: MPEG Surround

ISO/IEC JTC1/SC29/WG11 (MPEG), Document N9099: “Final Spatial Audio Object Coding Evaluation Procedures and Criterion”. April 2007, San Jose, USA

Jeroen, Breebaart, Christof Faller: Spatial Audio Processing. MPEG Surround and Other Applications. Wiley & Sons, 2007.

Jeroen, Breebaart et al.: Multi-Channel goes Mobile : MPEG Surround Binaural Rendering. AES 29th International Conference, Seoul, Korea, 2006.

Claims

멀티-채널 오디오 신호(21)를 바이노럴 출력 신호(24)로 바이노럴 렌더링하는 장치로서, 상기 멀티-채널 오디오 신호(21)는 복수의 오디오 신호들(14₁ - 14_N)이 다운믹스되는 스테레오 다운믹스 신호(18)를 포함하고, 부가 정보(20)가 복수의 오디오 신호의 객체 레벨 정보(OLD) 및 복수의 오디오 신호의 오디오 신호 쌍들 간의 유사성을 설명하는 객체간 상호 상관성 정보(IOC)뿐 아니라, 각 오디오 신호에 대해, 개별적 오디오 신호가 스테레오 다운믹스 신호(18)의 제1 채널(L0) 및 제2 채널(RO)로, 각각, 어느 정도까지 혼합되었는지를 나타내는 다운믹스 정보(DMG, DCLD)를 포함하는, 바이노럴 렌더링 장치에 있어서,
객체간 상호 상관성 정보, 객체 레벨 정보, 다운믹스 정보, 각 오디오 신호를 가상 스피커 위치에 연관시키는 렌더링 정보, 및 HRTF 파라미터들에 따른 제1 렌더링 방안
에 기초하여, 상기 스테레오 다운믹스 신호(18)의 제1 및 제2 채널들로부터 예비적 바이노럴 신호(54)를 계산(47)하고,
상기 스테레오 다운믹스 신호(18)의 제1 및 제2 채널을 다운믹싱하여 상기 스테레오 다운믹스 신호(18)의 제1 및 제2 채널들의 모노 다운믹스(58)를 획득하고 상기 모노 다운믹스(58)를 역상관하여, 역상관된 신호
를 생성(50)하고,
객체간 상호 상관성 정보, 객체 레벨 정보, 다운믹스 정보, 렌더링 정보 및 HRTF 파라미터들에 따른 제2 렌더링 방안
에 따라, 상기 역상관된 신호(62)로부터 보정(corrective) 바이노럴 신호(64)를 계산(52)하고; 및
바이노럴 출력 신호(24)를 획득하기 위해 상기 예비적 바이노럴 신호(54)를 상기 보정 바이노럴 신호(64)와 혼합(mix)(53)하도록 구성된 바이노럴 렌더링 장치.
청구항 1에 있어서,
상기 장치는 또한, 상기 역상관된 신호
를 다운믹싱함에 있어 상기 스테레오 다운믹스 신호(18)의 제1 및 제2 채널을 합산하여 상기 모노 다운믹스(58)를 획득하도록 구성된, 바이노럴 렌더링 장치.
청구항 1에 있어서,
예비적 바이노럴 신호(54)의 실제 바이노럴 채널간 일관성 값을 추산(estimate)(80)하고;
목적 바이노럴 채널간 일관성 값을 결정(82)하고; 및
상기 실제 바이노럴 채널간 일관성 값 및 상기 목적 바이노럴 채널간 일관성 값에 기초하여, 상기 바이노럴 출력 신호(24)가 상기 예비적 바이노럴 신호(54)의 계산(47)에 의해 처리된 스테레오 다운믹스 신호(18)의 제1 및 제2 채널들 및 상기 역상관된 신호의 생성(50) 및 상기 보정 바이노럴 신호(64)의 계산(52)에 의해 처리된 스테레오 다운믹스 신호(18)의 제1 및 제2 채널들, 각각에 의해 어느 정도까지 영향을 받는지 결정하는 믹싱 비율을 설정(84)하도록 또한 구성된, 바이노럴 렌더링 장치.
청구항 3에 있어서,
상기 믹싱 비율을 설정함에 있어, 상기 실제 바이노럴 채널간 일관성 값 및 상기 목적 바이노럴 채널간 일관성 값에 기초하여, 제1 렌더링 방안
및 제2 렌더링 방안
을 설정함으로써 믹싱 비율을 설정하도록 또한 구성된, 바이노럴 렌더링 장치.
청구항 3에 있어서,
상기 장치는 상기 목적 바이노럴 채널간 일관성 값을 결정함에 있어, 목적 공분산 매트릭스
의 성분들에 기초하여 상기 결정을 수행하도록 또한 구성되며, 여기서, "*" 는 켤레전치를 나타내고,
는 오디오 신호들을 상기 바이노럴 출력 신호의 제1 및 제2 채널들, 각각에 연관시키는 목적 바이노럴 렌더링 매트릭스이고, 상기 렌더링 정보 및 HRTF 파라미터들에 의해 고유하게 결정되며,
는 객체간 상호 상관성 정보 및 객체 레벨 정보에 의해 고유하게 결정되는 매트릭스인, 바이노럴 렌더링 장치.
청구항 5에 있어서,
상기 장치는 상기 예비적 바이노럴 신호(54)를 계산함에 있어,

이 되도록 계산을 수행하도록 또한 구성되고,
여기서
는 그 요소들이 상기 스테레오 다운믹스 신호(18)의 제1 및 제2 채널들에 상응하는 2×1 벡터이고,
는 그 요소들이 예비적 바이노럴 신호(54)의 제1 및 제2 채널들에 상응하는 2×1 벡터이며,
는 제1 렌더링 방안을 나타내고 아래의 2×2 크기를 갖는 제1 렌더링 매트릭스이고,

여기서,
일 때,

이 되고,
,
, 및
는 2×2 크기의
를 가지는 서브-목적 공분산 매트릭스들
의 계수들이며,

은 N×N 매트릭스
의 계수들이고, N은 오디오 신호들의 개수이며,
는 N×N 크기의 매트릭스
의 계수들이고,
는 상기 다운믹스 정보에 의해 고유하게 결정되며,
는 오디오 신호 i가 어느 정도까지 스테레오 다운믹스 신호(18)의 제1 채널로 혼합되었는지 나타내고,
는 오디오 신호 i가 어느 정도까지 스테레오 출력 신호(18)의 제2 채널로 혼합되었는지 나타내며,

는
의 스칼라이고,
는 그 계수들이
인 1×N 매트릭스이며,
상기 장치는 보정 바이노럴 출력 신호(64)를 계산함에 있어,

이 되도록 계산을 수행하도록 또한 구성되며,
여기서,
는 역상관된 신호이고,
는 그 요소들이 상기 보정 바이노럴 신호(64)의 제1 및 제2 채널들에 대응하는 2×1 벡터이고,
는 제2 렌더링 방안을 나타내고 아래의 2×2 크기를 갖는 제2 렌더링 매트릭스이며,

여기서, 이득
및
은

와 같이 정의되며,
및
는 아래 예비적 바이노럴 신호(54)의 2×2 공분산 매트릭스
의 계수들이며,

는
의 스칼라이고,
는 그 계수들이
에 의해 고유하게 결정되는 크기 1×N의 모노 다운믹스 매트릭스이고,
이고,
는

이며,
상기 장치는 상기 실제 바이노럴 채널간 일관성 값을 추산함에 있어, 상기 실제 바이노럴 채널간 일관성 값을

과 같이 결정하도록 또한 구성되며,
상기 장치는 상기 목적 바이노럴 채널간 일관성 값을 결정함에 있어, 상기 목적 바이노럴 채널간 일관성 값을,

와 같이 결정하도록 또한 구성되며, 그리고
상기 장치는 상기 믹싱 비율을 설정함에 있어, 회전자 각도들
및
를, 각각

에 따라 결정하도록 또한 구성되고, 여기서
은, 제로에 의한 나눗셈을 피하기 위한 작은 상수를 나타내는, 바이노럴 렌더링 장치.
청구항 1에 있어서,
상기 장치는, 상기 예비적 바이노럴 신호(54)를 계산함에 있어,

이 되도록 계산을 수행하도록 또한 구성되고,
여기서
는 그 요소들이 상기 스테레오 다운믹스 신호(18)의 제1 및 제2 채널들에 상응하는 2×1 벡터이고,
는 그 요소들이 상기 예비적 바이노럴 신호(54)의 제1 및 제2 채널들에 상응하는 2×1 벡터이며,
는 제1 렌더링 방안을 나타내고 아래의 2×2 크기를 갖는 제1 렌더링 매트릭스이고,

여기서,
는 객체간 상호 상관성 정보 및 객체 레벨 정보에 의해 고유하게 결정되는 매트릭스이며;

는 그 계수들(coefficients)
가 다운믹스 정보에 의해 고유하게 결정되는 2×N 매트릭스이고,
는 오디오 신호 j가 어느 정도까지 스테레오 다운믹스 신호(18)의 제1 채널로 혼합되었는지 나타내고
는 오디오 신호 j가 어느 정도까지 스테레오 출력 신호(18)의 제2 채널로 혼합되었는지 정의하며;

는 오디오 신호들을 상기 바이노럴 출력 신호의 제1 및 제2 채널들, 각각에 연관시키는 목적 바이노럴 렌더링 매트릭스이고, 상기 렌더링 정보 및 HRTF 파라미터들에 의해 고유하게 결정되며;
상기 장치는 보정 바이노럴 출력 신호(64)를 계산함에 있어,

이 되도록 계산을 수행하도록 또한 구성되고,
는 역상관된 신호이고,
는 그 요소들이 상기 보정 바이노럴 신호(64)의 제1 및 제2 채널들에 대응하는 2×1 벡터이고,
는 제2 렌더링 방안을 나타내고 2×2 크기를 갖는 제2 렌더링 매트릭스이며
,
일 때
이 되도록 결정되는, 바이노럴 렌더링 장치.
청구항 1에 있어서,
상기 장치는, 상기 예비적 바이노럴 신호(54)를 계산함에 있어,

이 되도록 계산을 수행하도록 또한 구성되고,
여기서
는 그 요소들이 상기 스테레오 다운믹스 신호(18)의 제1 및 제2 채널들에 상응하는 2×1 벡터이고,
는 그 요소들이 예비적 바이노럴 신호(54)의 제1 및 제2 채널들에 상응하는 2×1 벡터이며,
는 제1 렌더링 방안을 나타내고 아래의 2×2 크기를 갖는 제1 렌더링 매트릭스이고,

이때,
이고
는 객체간 상호 상관성 정보 및 객체 레벨 정보에 의해 고유하게 결정되는 매트릭스이며;

는 그 계수들(coefficients)
가 다운믹스 정보에 의해 고유하게 결정되는 2×N 매트릭스이고,
는 오디오 신호 j가 어느 정도까지 스테레오 다운믹스 신호(18)의 제1 채널로 혼합되었는지 나타내고
는 오디오 신호 j가 어느 정도까지 스테레오 출력 신호(18)의 제2 채널로 혼합되었는지 정의하는;

는 오디오 신호들을 상기 바이노럴 출력 신호의 제1 및 제2 채널들, 각각에 연관시키는 목적 바이노럴 렌더링 매트릭스이고, 상기 렌더링 정보 및 HRTF 파라미터들에 의해 고유하게 결정되며;
상기 장치는 보정 바이노럴 출력 신호(64)를 계산함에 있어,

이 되도록 계산을 수행하도록 또한 구성되고,
는 역상관된 신호이고,
는 그 요소들이 상기 보정 바이노럴 신호(64)의 제1 및 제2 채널들에 대응하는 2×1 벡터이고,
는 제2 렌더링 방안을 나타내고 2×2 크기를 갖는 제2 렌더링 매트릭스이며
이 되도록 결정되며, 이때
는 스칼라인, 바이노럴 렌더링 장치.
청구항 1에 있어서,
상기 다운믹스 정보(DMG, DCLD)는 시간-의존적이고, 상기 객체 레벨 정보(OLD) 및 상기 객체간 상호 상관성 정보(IOC)는 시간 및 주파수 의존적인, 바이노럴 렌더링 장치.
멀티-채널 오디오 신호(21)를 바이노럴 출력 신호(24)로 바이노럴 렌더링하는 방법으로서, 상기 멀티-채널 오디오 신호(21)는 복수의 오디오 신호들(14₁ - 14_N)이 다운믹스되는 스테레오 다운믹스 신호(18)를 포함하고, 부가 정보(20)가 복수의 오디오 신호의 객체 레벨 정보(OLD) 및 복수의 오디오 신호의 오디오 신호 쌍 간의 유사성을 설명하는 객체간 상호 상관성 정보(IOC)뿐 아니라, 각 오디오 신호에 대해, 개별적 오디오 신호가 스테레오 다운믹스 신호(18)의 제1 채널(L0) 및 제2 채널(RO)로, 각각, 어느 정도까지 혼합되었는지를 나타내는 다운믹스 정보(DMG, DCLD)를 포함하는, 바이노럴 렌더링 방법에 있어서,
객체간 상호 상관성 정보, 객체 레벨 정보, 다운믹스 정보, 각 오디오 신호를 가상 스피커 위치에 연관시키는 렌더링 정보, 및 HRTF 파라미터들에 따른 제1 렌더링 방안
에 기초하여, 상기 스테레오 다운믹스 신호(18)의 제1 및 제2 채널들로부터 예비적 바이노럴 신호(54)를 계산하는 단계;
상기 스테레오 다운믹스 신호(18)의 제1 및 제2 채널을 다운믹싱하여 상기 스테레오 다운믹스 신호(18)의 제1 및 제2 채널들의 모노 다운믹스(58)를 획득하고 상기 모노 다운믹스(58)를 역상관하여, 역상관된 신호
를 생성하는 단계;
객체간 상호 상관성 정보, 객체 레벨 정보, 다운믹스 정보, 렌더링 정보 및 HRTF 파라미터들에 따른 제2 렌더링 방안
에 따라, 상기 역상관된 신호(62)로부터 보정 바이노럴 신호(64)를 계산하는 단계; 및
상기 바이노럴 출력 신호(24)를 획득하기 위해 상기 예비적 바이노럴 신호(54)를 상기 보정 바이노럴 신호(64)와 혼합(mix)하는 단계를 포함하는 바이노럴 렌더링 방법.
컴퓨터 상에서 동작할 때 청구항 10에 따른 방법을 수행하기 위한 명령어들을 갖는 컴퓨터 프로그램을 저장한 컴퓨터로 판독 가능한 저장 매체.