KR20220066996A

KR20220066996A - 오디오 인코더 및 디코더

Info

Publication number: KR20220066996A
Application number: KR1020227016227A
Authority: KR
Inventors: 예론 코펜스; 라스 빌레모스; 토니 히르보넨; 크리스토퍼 쿄어링
Original assignee: 돌비 인터네셔널 에이비
Priority date: 2014-10-01
Filing date: 2015-10-01
Publication date: 2022-05-24
Also published as: RU2017113711A3; US10163446B2; JP6732739B2; KR20170063657A; US20170249945A1; RU2696952C2; EP3201916A1; ES2709117T3; WO2016050899A1; BR112017006278A2; JP2017535153A; CN107077861B; KR102482162B1; CN107077861A; EP3201916B1; RU2017113711A

Abstract

본 개시내용은 오디오 코딩 분야에 포함되고, 구체적으로는 공간 오디오 코딩의 분야에 관한 것이며, 여기서 오디오 정보는 적어도 하나의 대화 객체를 포함하는 복수의 오디오 객체에 의해 표현된다. 구체적으로, 본 개시내용은 오디오 시스템 내의 디코더 내에서 대화를 증강시키기 위한 방법 및 장치를 제공한다. 더욱이, 본 개시내용은 오디오 시스템 내의 디코더에 의해 대화가 증강되는 것을 허용하기 위해 그러한 오디오 객체들을 인코딩하기 위한 방법 및 장치를 제공한다.

Description

오디오 인코더 및 디코더{AUDIO ENCODER AND DECODER}

관련 출원들에 대한 상호 참조

본 출원은 2014년 10월 1일자로 출원된 미국 가특허 출원 제62/058,157호의 우선권을 주장하며, 그 전체 내용은 참조에 의해 여기에 포함된다.

기술 분야

본 개시내용은 일반적으로 오디오 코딩에 관한 것이다. 구체적으로, 본 개시내용은 오디오 시스템 내의 디코더 내에서 대화(dialog)를 증강(enhancing)시키기 위한 방법 및 장치에 관한 것이다. 본 개시내용은 또한 대화를 표현하는 적어도 하나의 객체를 포함하는 복수의 오디오 객체를 인코딩하기 위한 방법 및 장치에 관한 것이다.

종래의 오디오 시스템들에서는, 채널 기반 접근법이 이용된다. 각각의 채널은 예를 들어 하나의 스피커 또는 하나의 스피커 어레이의 컨텐츠를 표현할 수 있다. 그러한 시스템들에 가능한 코딩 체계들은 이산 멀티 채널 코딩(discrete multi-channel coding), 또는 MPEG 서라운드와 같은 파라메트릭 코딩(parametric coding)을 포함한다.

더 최근에는, 새로운 접근법이 개발되었다. 이러한 접근법은 객체 기반이고, 이것은 예를 들어 시네마 애플리케이션에서 복잡한 오디오 장면들을 코딩할 때 유리할 수 있다. 객체 기반 접근법을 이용하는 시스템들에서, 3차원 오디오 장면은 연관된 메타데이터(예를 들어, 위치 메타데이터)를 갖는 오디오 객체들에 의해 표현된다. 이러한 오디오 객체들은 오디오 신호의 재생 동안 3차원 오디오 장면에서 여기저기 돌아다닌다. 시스템은 예를 들어 위에서 설명된 것과 같은 종래의 오디오 시스템의 특정 출력 채널들에 직접 맵핑되는 신호들로서 설명될 수 있는 소위 베드 채널들(bed channels)을 더 포함할 수 있다.

대화 증강은 음악, 배경 사운드 및 사운드 효과와 같은 다른 성분들에 대하여 대화 레벨을 증강 또는 증가시키기 위한 기술이다. 대화는 별개의 객체들에 의해 표현될 수 있으므로, 객체 기반 오디오 컨텐츠는 대화 증강에 잘 맞을 수 있다. 그러나, 일부 상황들에서, 오디오 장면은 엄청난 수의 객체들을 포함할 수 있다. 오디오 장면을 표현하는 데에 요구되는 데이터의 복잡도 및 양을 감소시키기 위해, 오디오 장면은 오디오 객체들의 수를 감소시키는 것에 의해, 즉 객체 클러스터링(object clustering)에 의해 단순화될 수 있다. 이러한 접근법은 객체 클러스터들 일부에서 대화와 다른 객체들 사이의 혼합을 도입할 수 있다.

그러한 오디오 클러스터들을 위한 대화 증강 가능성들을 오디오 시스템 내의 디코더에 포함시킴으로써, 디코더의 계산 복잡도가 증가될 수 있다.

이하에서는, 예시적인 실시예들이 첨부 도면들을 참조하여 기술될 것이다.
도 1은 예시적인 실시예들에 따라 오디오 시스템 내에서 대화를 증강시키기 위한 고품질 디코더의 일반화된 블록도를 도시한다.
도 2는 예시적인 실시예들에 따라 오디오 시스템 내에서 대화를 증강시키기 위한 저복잡도 디코더의 제1의 일반화된 블록도를 도시한다.
도 3은 예시적인 실시예들에 따라 오디오 시스템 내에서 대화를 증강시키기 위한 저복잡도 디코더의 제2의 일반화된 블록도를 도시한다
도 4는 예시적인 실시예들에 따라 대화를 표현하는 적어도 하나의 객체를 포함하는 복수의 오디오 객체를 인코딩하기 위한 방법을 기술한다.
도 5는 예시적인 실시예들에 따라 대화를 표현하는 적어도 하나의 객체를 포함하는 복수의 오디오 객체를 인코딩하기 위한 인코더의 일반화된 블록도를 도시한다.
모든 도면은 개략적이고, 본 개시내용을 명확하게 하기 위해 필요한 부분들만을 일반적으로 도시하는 반면, 다른 부분들은 생략되거나 단순히 시사될 수 있다. 달리 나타내어지지 않는 한, 유사한 참조 번호들은 상이한 도면들 내의 유사한 부분들을 지칭한다.

상술한 내용을 고려하여, 디코더 내의 대화 증강의 복잡도를 감소시키는 것을 목적으로 하는 인코더들 및 디코더들, 및 관련 방법들을 제공하는 것이 목적이다.

Ⅰ. 개요 - 디코더

제1 양태에 따르면, 예시적인 실시예들은 디코딩 방법들, 디코더들, 및 디코딩을 위한 컴퓨터 프로그램 제품들을 제안한다. 제안된 방법들, 디코더들, 및 컴퓨터 프로그램 제품들은 일반적으로 동일한 특징들 및 이점들을 가질 수 있다.

예시적인 실시예들에 따르면, 오디오 시스템 내의 디코더 내에서 대화를 증강시키기 위한 방법이 제공되며, 이 방법은 복수의 다운믹스 신호(downmix signals)를 수신하는 단계 - 다운믹스 신호들은 대화를 표현하는 적어도 하나의 객체를 포함하는 복수의 오디오 객체의 다운믹스임 - ; 복수의 다운믹스 신호로부터 복수의 오디오 객체를 재구성하는 것을 가능하게 하는 계수들을 나타내는 부가 정보(side information)를 수신하는 단계; 복수의 오디오 객체 중 어느 것이 대화를 표현하는지를 식별하는 데이터를 수신하는 단계; 복수의 오디오 객체 중 어느 것이 대화를 표현하는지를 식별하는 데이터, 및 증강 파라미터(enhancement parameter)를 사용하여 계수들을 수정하는 단계; 및 수정된 계수들을 이용하여, 대화를 표현하는 적어도 하나의 객체를 적어도 재구성하는 단계를 포함한다.

증강 파라미터는 전형적으로 디코더에서 이용가능한 사용자 세팅(user-setting)이다. 사용자는 대화의 음량(volume)을 증가시키기 위해 리모콘(remote control)을 이용할 수 있다. 결과적으로, 증강 파라미터는 전형적으로 오디오 시스템 내의 인코더에 의해 디코더에 제공되지 않는다. 많은 경우들에서, 증강 파라미터는 대화의 이득(gain)으로 변환되지만, 그것은 또한 대화의 감쇠로도 변환될 수 있다. 더욱이, 증강 파라미터는 대화의 특정 주파수들, 예를 들어 대화의 주파수 의존 이득 또는 감쇠에 관한 것일 수 있다.

본 명세서의 맥락에서, "대화"라는 용어에 의해, 일부 실시예들에서 예를 들어 백그라운드 채터(background chatter) 및 대화의 임의의 반향 버전(reverberant version)이 아니라 관련 대화만이 증강된다는 것이 이해되어야 한다. 대화는 사람들 간의 회화뿐만 아니라, 독백, 내레이션, 또는 다른 음성도 포함할 수 있다.

본 명세서에서 이용될 때, "오디오 객체(audio object)"는 오디오 장면의 구성요소(element)를 지칭한다. 오디오 객체는 전형적으로 오디오 신호, 및 3차원 공간 내에서의 객체의 위치와 같은 추가의 정보를 포함한다. 전형적으로, 추가의 정보는 주어진 재생 시스템 상에서 오디오 객체를 최적으로 렌더링하기 위해 이용된다. "오디오 객체"라는 용어는 또한 오디오 객체들의 클러스터, 즉 객체 클러스터(object cluster)를 포괄한다. 객체 클러스터는 적어도 2개의 오디오 객체의 혼합을 표현하고, 전형적으로는 오디오 신호, 및 3차원 공간 내에서의 객체 클러스터의 위치와 같은 추가의 정보로서 오디오 객체들의 혼합을 포함한다. 객체 클러스터 내의 적어도 2개의 오디오 객체는 그들의 개별 공간 위치들이 가까운 것, 및 객체 클러스터의 공간 위치가 개별 객체 위치들의 평균으로서 선택되는 것에 기초하여 혼합될 수 있다.

본 명세서에서 사용될 때, 다운믹스 신호는 복수의 오디오 객체 중의 적어도 하나의 오디오 객체의 결합인 신호를 지칭한다. 베드 채널들과 같은 오디오 장면의 다른 신호들도 다운믹스 신호 내에 결합될 수 있다. 전형적으로(필수적이지는 않음), 다운믹스 신호들의 수는 베드 채널들 및 오디오 객체들의 수의 합보다 적고, 이것은 다운믹스 신호들이 다운믹스라고 지칭되는 이유를 설명한다. 다운믹스 신호는 또한 다운믹스 클러스터라고도 지칭될 수 있다.

본 명세서에서 사용될 때, "부가 정보"는 메타데이터라고도 지칭될 수 있다.

본 명세서의 맥락에서, "계수들을 나타내는 부가 정보(side information indicative coefficients)"라는 용어에 의해, 계수들은 예를 들어 인코더로부터 비트스트림 내에 송신된 부가 정보에 직접 존재하거나, 또는 부가 정보에 존재하는 데이터로부터 계산된다는 것이 이해되어야 한다.

본 방법에 따르면, 추후에 재구성되는, 대화를 표현하는 적어도 하나의 오디오 객체의 증강을 제공하기 위해, 복수의 오디오 객체의 재구성을 가능하게 하는 계수들이 수정된다. 대화를 표현하는 적어도 하나의 오디오 객체가 재구성된 후, 즉 재구성을 가능하게 하는 계수들을 수정하지 않고서, 그 재구성된 대화를 표현하는 적어도 하나의 오디오 객체의 증강을 수행하는 종래의 방법과 비교하여, 본 방법은 수학적 복잡도의 감소를 제공하고, 그에 따라 본 방법을 구현하는 디코더의 계산 복잡도의 감소를 제공한다.

예시적인 실시예들에 따르면, 증강 파라미터를 이용하여 계수들을 수정하는 단계는 대화를 표현하는 적어도 하나의 객체의 재구성을 가능하게 하는 계수들을 증강 파라미터와 곱하는 단계를 포함한다. 이것은 계수들을 수정하기 위한, 계산적으로 복잡도가 낮은 연산이고, 이는 계수들 사이의 상호 비율(mutual ratio)을 계속하여 유지한다.

예시적인 실시예들에 따르면, 방법은 부가 정보로부터, 복수의 다운믹스 신호로부터 복수의 오디오 객체를 재구성하는 것을 가능하게 하는 계수들을 산출(calculating)하는 단계를 더 포함한다.

예시적인 실시예들에 따르면, 대화를 표현하는 적어도 하나의 객체를 적어도 재구성하는 단계는 대화를 표현하는 적어도 하나의 객체만을 재구성하는 단계를 포함한다.

많은 경우들에서, 다운믹스 신호들은 주어진 라우드스피커 구성, 예를 들어 표준 5.1 구성에 대한 오디오 장면의 렌더링 또는 출력에 대응할 수 있다. 그러한 경우들에서, 증강될 대화를 표현하는 오디오 객체들만을 재구성함으로써, 즉 오디오 객체들 전부의 완전한 재구성을 수행하지 않음으로써, 낮은 복잡도의 디코딩이 달성될 수 있다.

예시적인 실시예들에 따르면, 대화를 표현하는 적어도 하나의 객체만을 재구성하는 것은 다운믹스 신호들의 비상관화(decorrelation)를 수반하지 않는다. 이것은 재구성 단계의 복잡도를 감소시킨다. 더욱이, 모든 오디오 객체가 재구성되는 것이 아니므로, 즉 그러한 오디오 객체들에 대해 렌더링될 오디오 컨텐츠의 품질이 감소될 수 있으므로, 대화를 표현하는 적어도 하나의 객체를 재구성할 때 비상관화를 이용하는 것이, 증강되어 렌더링되는 오디오 컨텐츠의 감지되는(perceived) 오디오 품질을 개선하지는 않을 것이다. 결과적으로, 비상관화가 생략될 수 있다.

예시적인 실시예들에 따르면, 방법은 재구성된, 대화를 표현하는 적어도 하나의 객체를 적어도 하나의 개별 신호로서 다운믹스 신호들과 병합하는 단계를 더 포함한다. 결과적으로, 재구성된 적어도 하나의 객체는 다운믹스 신호들 내에 다시 혼합되거나 다운믹스 신호들과 결합될 필요가 없다. 결과적으로, 본 실시예에 따르면, 대화를 표현하는 적어도 하나의 객체가 오디오 시스템 내의 인코더에 의해 복수의 다운믹스 신호 내에 어떻게 혼합되었는지를 기술하는 정보가 필요하지 않다.

예시적인 실시예들에 따르면, 방법은 복수의 다운믹스 신호에 대한, 그리고 대화를 표현하는 적어도 하나의 객체에 대한 공간 위치들(spatial positions)에 대응하는 공간 정보(spatial information)를 갖는 데이터를 수신하는 단계; 및 공간 정보를 갖는 데이터에 기초하여, 복수의 다운믹스 신호, 및 재구성된, 대화를 표현하는 적어도 하나의 객체를 렌더링하는 단계를 더 포함한다.

예시적인 실시예들에 따르면, 방법은 대화를 표현하는 적어도 하나의 객체가 오디오 시스템 내의 인코더에 의해 복수의 다운믹스 신호에 어떻게 혼합되었는지를 기술하는 정보를 이용하여, 다운믹스 신호들 및 재구성된, 대화를 표현하는 적어도 하나의 객체를 결합하는 단계를 더 포함한다. 다운믹스 신호들은 특정한 라우드스피커 구성(예를 들어, 5.1 구성 또는 7.1 구성)을 위한 AAO(always-audio-out)를 지원하기 위해 다운믹싱될 수 있고, 즉 다운믹스 신호들은 그러한 라우드스피커 구성에서의 재생을 위해 직접 이용될 수 있다. 다운믹스 신호들, 및 재구성된, 대화를 표현하는 적어도 하나의 객체를 결합함으로써, AAO가 여전히 지원되는 동시에 대화 증강이 달성된다. 즉, 일부 실시예들에 따르면, 재구성되고 대화 증강된, 대화를 표현하는 적어도 하나의 객체는 AAO를 여전히 지원하기 위해 다운믹스 신호들 내에 다시 혼합된다.

예시적인 실시예들에 따르면, 방법은 다운믹스 신호들, 및 재구성된, 대화를 표현하는 적어도 하나의 객체의 결합을 렌더링하는 단계를 더 포함한다.

예시적인 실시예들에 따르면, 방법은 대화를 표현하는 적어도 하나의 객체가 오디오 시스템 내의 인코더에 의해 복수의 다운믹스 신호에 어떻게 혼합되었는지를 기술하는 정보를 수신하는 단계를 더 포함한다. 오디오 시스템 내의 인코더는 대화를 표현하는 적어도 하나의 객체를 포함하는 복수의 오디오 객체를 다운믹싱할 때 이러한 유형의 정보를 이미 가지고 있을 수 있거나, 또는 정보가 인코더에 의해 쉽게 산출될 수 있다.

예시적인 실시예들에 따르면, 대화를 표현하는 적어도 하나의 객체가 복수의 다운믹스 신호에 어떻게 혼합되었는지를 기술하는 수신된 정보는 엔트로피 코딩에 의해 코딩된다. 이것은 정보를 전송하기 위해 요구되는 비트 레이트를 감소시킬 수 있다.

예시적인 실시예들에 따르면, 방법은 복수의 다운믹스 신호에 대한, 그리고 대화를 표현하는 적어도 하나의 객체에 대한 공간 위치들에 대응하는 공간 정보를 갖는 데이터를 수신하는 단계; 및 공간 정보를 갖는 데이터에 기초하여, 대화를 표현하는 적어도 하나의 객체가 오디오 시스템 내의 인코더에 의해 복수의 다운믹스 신호에 어떻게 혼합되었는지를 기술하는 정보를 산출하는 단계를 더 포함한다. 본 실시예의 이점은, 복수의 다운믹스 신호에 대한, 그리고 대화를 표현하는 적어도 하나의 객체에 대한 공간 위치들에 대응하는 공간 정보가 어쨌든 디코더에 의해 수신될 수 있고, 어떠한 추가의 정보 또는 데이터도 디코더에 의해 수신될 필요가 없으므로, 다운믹스 신호들 및 부가 정보를 포함하는 비트스트림을 인코더에 전송하기 위해 요구되는 비트 레이트가 감소된다는 것일 수 있다.

예시적인 실시예들에 따르면, 대화를 표현하는 적어도 하나의 객체가 복수의 다운믹스 신호에 어떻게 혼합되었는지를 기술하는 정보를 산출하는 단계는, 대화를 표현하는 적어도 하나의 객체에 대한 공간 위치를 복수의 다운믹스 신호에 대한 공간 위치들에 맵핑하는 함수를 적용하는 단계를 포함한다. 예를 들어, 함수는 VBAP(vector base amplitude panning) 알고리즘과 같은 3D 패닝 알고리즘(3D panning algorithm)일 수 있다. 임의의 다른 적절한 함수가 이용될 수 있다.

예시적인 실시예들에 따르면, 대화를 표현하는 적어도 하나의 객체를 적어도 재구성하는 단계는 복수의 오디오 객체를 재구성하는 단계를 포함한다. 그 경우에서, 방법은 복수의 오디오 객체에 대한 공간 위치들에 대응하는 공간 정보를 갖는 데이터를 수신하는 단계; 및 공간 정보를 갖는 데이터에 기초하여, 재구성된 복수의 오디오 객체를 렌더링하는 단계를 포함할 수 있다. 위에서 설명된 바와 같이, 복수의 오디오 객체의 재구성을 가능하게 하는 계수들에 대해 대화 증강이 수행되므로, 복수의 오디오 객체의 재구성, 및 재구성된 오디오 객체에 대한 렌더링 둘 다는 행렬 연산들(matrix operations)일 수 있고 하나의 연산으로 결합될 수 있으며, 이는 2가지 연산의 복잡도를 감소시킨다.

예시적인 실시예들에 따르면, 처리 능력을 갖는 디바이스 상에서 실행될 때, 제1 양태의 임의의 방법을 수행하도록 적응된 컴퓨터 코드 명령어들을 포함하는 컴퓨터 판독가능한 매체가 제공된다.

예시적인 실시예들에 따르면, 오디오 시스템 내에서 대화를 증강시키기 위한 디코더가 제공된다. 디코더는 복수의 다운믹스 신호를 수신하고 - 다운믹스 신호들은 대화를 표현하는 적어도 하나의 객체를 포함하는 복수의 오디오 객체의 다운믹스임 - , 복수의 다운믹스 신호로부터 복수의 오디오 객체를 재구성하는 것을 가능하게 하는 계수들을 나타내는 부가 정보를 수신하고, 복수의 오디오 객체 중 어느 것이 대화를 표현하는지를 식별하는 데이터를 수신하도록 구성된 수신 스테이지를 포함한다. 디코더는 복수의 오디오 객체 중 어느 것이 대화를 표현하는지를 식별하는 데이터, 및 증강 파라미터를 이용하여 계수들을 수정하도록 구성된 수정 스테이지를 더 포함한다. 디코더는 수정된 계수들을 이용하여, 대화를 표현하는 적어도 하나의 객체를 적어도 재구성하도록 구성된 재구성 스테이지를 더 포함한다.

Ⅱ. 개요-인코더

제2 양태에 따르면, 예시적인 실시예들은 인코딩 방법들, 인코더들, 및 인코딩을 위한 컴퓨터 프로그램 제품들을 제안한다. 제안된 방법들, 인코더들, 및 컴퓨터 프로그램 제품들은 일반적으로 동일한 특징들 및 이점들을 가질 수 있다. 일반적으로, 제2 양태의 특징들은 제1 양태의 대응하는 특징들과 동일한 이점들을 가질 수 있다.

예시적인 실시예들에 따르면, 대화를 표현하는 적어도 하나의 객체를 포함하는 복수의 오디오 객체를 인코딩하기 위한 방법이 제공되고, 이 방법은 대화를 표현하는 적어도 하나의 객체를 포함하는 복수의 오디오 객체의 다운믹스인 복수의 다운믹스 신호를 결정하는 단계; 복수의 다운믹스 신호로부터 복수의 오디오 객체를 재구성하는 것을 가능하게 하는 계수들을 나타내는 부가 정보를 결정하는 단계; 복수의 오디오 객체 중 어느 것이 대화를 표현하는지를 식별하는 데이터를 결정하는 단계; 및 복수의 다운믹스 신호, 부가 정보 및 복수의 오디오 객체 중 어느 것이 대화를 표현하는지를 식별하는 데이터를 포함하는 비트스트림을 형성하는 단계를 포함한다.

예시적인 실시예들에 따르면, 방법은 복수의 다운믹스 신호에 대한, 그리고 대화를 표현하는 적어도 하나의 객체에 대한 공간 위치들에 대응하는 공간 정보를 결정하는 단계; 및 상기 공간 정보를 비트스트림 내에 포함시키는 단계를 더 포함한다.

예시적인 실시예들에 따르면, 복수의 다운믹스 신호를 결정하는 단계는 대화를 표현하는 적어도 하나의 객체가 복수의 다운믹스 신호에 어떻게 혼합되는지를 기술하는 정보를 결정하는 단계를 더 포함한다. 본 실시예에 따라, 대화를 표현하는 적어도 하나의 객체가 복수의 다운믹스 신호에 어떻게 혼합되는지를 기술하는 이러한 정보는 비트스트림 내에 포함된다.

예시적인 실시예들에 따르면, 대화를 표현하는 적어도 하나의 객체가 복수의 다운믹스 신호에 어떻게 혼합되는지를 기술하는 결정된 정보는 엔트로피 코딩을 이용하여 인코딩된다.

예시적인 실시예들에 따르면, 방법은 복수의 오디오 객체에 대한 공간 위치들에 대응하는 공간 정보를 결정하는 단계; 및 복수의 오디오 객체에 대한 공간 위치들에 대응하는 공간 정보를 비트스트림에 포함시키는 단계를 더 포함한다.

예시적인 실시예들에 따르면, 처리 능력을 갖는 디바이스 상에서 실행될 때, 제2 양태의 임의의 방법을 수행하도록 적응된 컴퓨터 코드 명령어들을 포함하는 컴퓨터 판독가능한 매체가 제공된다.

예시적인 실시예들에 따르면, 대화를 표현하는 적어도 하나의 객체를 포함하는 복수의 오디오 객체를 인코딩하기 위한 인코더가 제공된다. 인코더는 대화를 표현하는 적어도 하나의 객체를 포함하는 복수의 오디오 객체의 다운믹스인 복수의 다운믹스 신호를 결정하고, 복수의 다운믹스 신호로부터 복수의 오디오 객체를 재구성하는 것을 가능하게 하는 계수들을 나타내는 부가 정보를 결정하도록 구성되는 다운믹싱 스테이지; 및 복수의 다운믹스 신호 및 부가 정보를 포함하는 비트스트림을 형성하도록 구성되는 코딩 스테이지 - 비트스트림은 복수의 오디오 객체 중 어느 것이 대화를 표현하는지를 식별하는 데이터를 더 포함함 - 를 포함한다.

Ⅲ. 예시적인 실시예들

위에서 설명된 바와 같이, 대화 증강은 다른 오디오 성분들에 대하여 대화 레벨을 증가시키는 것에 관한 것이다. 컨텐츠 생성으로부터 적절하게 조직될(organized) 때, 대화는 별개의 객체들에 의해 표현될 수 있으므로, 객체 컨텐츠는 대화 증강에 잘 맞을 수 있다. 객체들(즉, 객체 클러스터들 또는 다운믹스 신호들)의 파라메트릭 코딩은 대화와 다른 객체들 사이의 혼합을 도입할 수 있다.

이제 이하에서는, 그러한 객체 클러스터들 내에 혼합되는 대화를 증강시키기 위한 디코더가 도 1-3과 함께 설명될 것이다. 도 1은 예시적인 실시예들에 따라 오디오 시스템 내에서 대화를 증강시키기 위한 고품질 디코더(100)의 일반화된 블록도를 도시한다. 디코더(100)는 수신 스테이지(104)에서 비트스트림(102)을 수신한다. 수신 스테이지(104)는 또한 비트스트림(102)을 디코딩하고 비트스트림(102)의 디코딩된 컨텐츠를 출력하는 코어 디코더로도 볼 수 있다. 비트스트림(102)은 예를 들어 대화를 표현하는 적어도 하나의 객체를 포함하는 복수의 오디오 객체의 다운믹스인 복수의 다운믹스 신호(110), 또는 다운믹스 클러스터들을 포함할 수 있다. 따라서, 수신 스테이지는 다운믹스 신호들(110)을 형성하기 위해 비트스트림(102)의 부분들을 디코딩하여, 그들이 돌비 디지털 플러스(Dolby Digital Plus) 또는 MPEG 표준들(MPEG standards), 예컨대 AAC, USAC 또는 MP3와 같은 디코더의 사운드 디코딩 시스템과 호환가능하게 하도록 적응될 수 있는 다운믹스 디코더 컴포넌트를 전형적으로 포함한다. 비트스트림(102)은 복수의 다운믹스 신호로부터 복수의 오디오 객체를 재구성하는 것을 가능하게 하는 계수들을 나타내는 부가 정보(108)를 더 포함할 수 있다. 효율적인 대화 증강을 위해, 비트스트림(102)은 복수의 오디오 객체 중 어느 것이 대화를 표현하는지를 식별하는 데이터(108)를 더 포함할 수 있다. 이러한 데이터(108)는 부가 정보(108)에 포함될 수 있거나, 또는 그것은 부가 정보(108)로부터 분리될 수 있다. 아래에 더 상세하게 논의되는 바와 같이, 부가 정보(108)는 드라이 업믹스 행렬(dry upmix matrix) C로 변환될 수 있는 드라이 업믹스 계수들(dry upmix coefficients), 및 웨트 업믹스 행렬(wet upmix matrix) P로 변환될 수 있는 웨트 업믹스 계수들(wet upmix coefficients)을 전형적으로 포함한다.

디코더(100)는 복수의 오디오 객체 중 어느 것이 대화를 표현하는지를 식별하는 데이터(108), 및 증강 파라미터(140)를 이용하여, 부가 정보(108) 내에 나타내어진 계수들을 수정하도록 구성된 수정 스테이지(112)를 더 포함한다. 증강 파라미터(140)는 수정 스테이지(112)에서 임의의 적절한 방식으로 수신될 수 있다. 실시예들에 따르면, 수정 스테이지(112)는 드라이 업믹스 행렬 C 및 웨트 업믹스 행렬 P 둘 다, 적어도 대화에 대응하는 계수들을 수정한다.

따라서, 수정 스테이지(112)는 원하는 대화 증강을, 대화 객체(들)에 대응하는 계수들에 적용하고 있다. 일 실시예에 따르면, 증강 파라미터(140)를 이용하여 계수들을 수정하는 단계는 대화를 표현하는 적어도 하나의 객체의 재구성을 가능하게 하는 계수들을 증강 파라미터(140)와 곱하는 단계를 포함한다. 즉, 수정은 대화 객체들에 대응하는 계수들의 고정된 증폭(fixed amplification)을 포함한다.

일부 실시예들에서, 디코더(100)는 사전 비상관화기 스테이지(pre-decorrelator stage)(114), 및 비상관화기 스테이지(decorrelator stage)(116)를 더 포함한다. 이러한 2개의 스테이지(114, 116)는 다운믹스 신호들(110)의 결합들의 비상관화된 버전들을 함께 형성하며, 이것은 복수의 다운믹스 신호(110)로부터의 복수의 오디오 객체의 재구성(예를 들어, 업믹싱)을 위해 추후에 이용될 것이다. 도 1에서 볼 수 있는 바와 같이, 부가 정보(108)는 수정 스테이지(112) 내의 계수들의 수정 이전에 사전 비상관화기 스테이지(114)에 피딩될 수 있다. 실시예들에 따르면, 부가 정보(108)에 나타내어진 계수들은 도 1에 참조번호 144로서 표기된 사전 비상관화기 행렬 Q, 수정된 드라이 업믹스 행렬(120), 및 수정된 웨트 업믹스 행렬(142)로 변환된다. 수정된 웨트 업믹스 행렬은 아래에 설명되는 것과 같은 재구성 스테이지(124)에서 비상관화기 신호들(122)을 업믹싱하기 위해 이용된다.

사전 비상관화기 행렬 Q는 사전 비상관화기 스테이지(114)에서 이용되고, 실시예들에 따라 이하에 의해 산출될 수 있다:

Q = (abs P) ^T C

여기서, abs P는 수정되지 않은 웨트 업믹스 행렬 P의 구성요소들의 절대값들을 취함으로써 구해지는 행렬을 나타내고, C는 수정되지 않은 드라이 업믹스 행렬을 나타낸다.

드라이 업믹스 행렬 C 및 웨트 업믹스 행렬 P에 기초하여 예비 비상관화 계수들 Q를 계산하는 대안적인 방식들이 예상된다. 예를 들어, 이것은 Q = (abs P ₀ ) ^T C로서 계산될 수 있고, 여기서 행렬 P ₀ 는 P의 각각의 컬럼을 정규화함으로써 구해진다.

사전 비상관화기 행렬 Q의 계산은 비교적 낮은 복잡도를 갖는 계산들을 수반하며, 따라서 디코더 측에서 편리하게 이용될 수 있다. 그러나, 일부 실시예들에 따르면, 사전 비상관화기 행렬 Q는 부가 정보(108)에 포함된다.

즉, 디코더는 부가 정보로부터, 복수의 다운믹스 신호로부터 복수의 오디오 객체(126)를 재구성하는 것을 가능하게 하는 계수들을 산출하도록 구성될 수 있다. 이러한 방식으로, 사전 비상관화기 행렬은 수정 스테이지 내의 계수들에 대해 이루어진 임의의 수정에 의해 영향을 받지 않고, 이것은 유리할 수 있는데, 왜냐하면 사전 비상관화기 행렬이 수정되는 경우, 사전 비상관화기 스테이지(114) 및 비상관화기 스테이지(116) 내에서의 비상관화 프로세스는 원하지 않을 수 있는 추가의 대화 증강을 도입할 수 있기 때문이다. 다른 실시예들에 따르면, 부가 정보는 수정 스테이지(112) 내에서의 계수들의 수정 이후에 사전 비상관화기 스테이지(114)에 피딩된다. 디코더(100)는 고품질 디코더이므로, 복수의 오디오 객체 전부를 재구성하도록 구성될 수 있다. 이것은 재구성 스테이지(124)에서 행해진다. 따라서, 디코더(100)의 재구성 스테이지(124)는 다운믹스 신호들(110), 비상관화된 신호들(122), 및 복수의 다운믹스 신호(110)로부터 복수의 오디오 객체를 재구성하는 것을 가능하게 하는 수정된 계수들(120, 142)을 수신한다. 따라서, 재구성 스테이지는 오디오 객체들을 오디오 시스템의 출력 구성, 예를 들어 7.1.4 채널 출력으로 렌더링하기 전에 오디오 객체들(126)을 파라미터 방식으로(parametrically) 재구성할 수 있다. 그러나, 전형적으로, 재구성 스테이지(124)에서의 오디오 객체 재구성 및 렌더링 스테이지(128)에서의 렌더링은 계산 효율적인 구현을 위해 결합[점선(134)으로 표시됨]될 수 있는 행렬 연산들이므로, 이것이 많은 경우들에서 발생하지는 않을 것이다. 3차원 공간 내의 올바른 위치에서 오디오 객체들을 렌더링하기 위해, 비트스트림(102)은 복수의 오디오 객체에 대한 공간 위치들에 대응하는 공간 정보를 갖는 데이터(106)를 더 포함한다.

일부 실시예들에 따르면, 디코더(100)는 재구성된 객체들이 디코더 외부에서 처리되고 렌더링될 수 있도록, 재구성된 객체들을 출력으로서 제공하도록 구성될 것이라는 점에 주목할 수 있다. 이러한 실시예에 따르면, 결과적으로, 디코더(100)는 재구성된 오디오 객체들(126)을 출력하고, 렌더링 스테이지(128)를 포함하지 않는다.

전형적으로, 오디오 객체들의 재구성은 주파수 영역, 예를 들어 QMF(Quadrature Mirror Filters) 영역 내에서 수행된다. 그러나, 오디오는 시간 영역에서 출력될 필요가 있을 수 있다. 이러한 이유로 인해, 디코더는 예를 들어 IQMF(inverse quadrature mirror filter) 뱅크를 적용함으로써, 렌더링된 신호들(130)이 시간 영역으로 변환되는 변환 스테이지(132)를 더 포함한다. 일부 실시예들에 따르면, 변환 스테이지(132)에서의 시간 영역으로의 변환은 렌더링 스테이지(128) 내에서 신호들을 렌더링하기 전에 수행될 수 있다.

요약하면, 도 1과 함께 설명되는 디코더 구현은 오디오 객체들의 재구성 전에, 복수의 다운믹스 신호로부터 복수의 오디오 객체를 재구성하는 것을 가능하게 하는 계수들을 수정함으로써, 대화 증강을 효율적으로 구현한다. 계수들에 대한 증강을 수행하는 것은 프레임 당 몇 회의 승산(multiplications)을 요구하는데, 즉 대화에 관련된 각각의 계수마다 1회 × 주파수 대역들의 개수에 대한 승산을 요구한다. 아마도 전형적인 경우들에서, 승산의 횟수는 다운믹스 채널들의 개수(예를 들어, 5-7)와 파라미터 밴드들의 개수(예를 들어, 20-40)를 곱한 것과 동일할 것이지만, 대화가 또한 비상관화 기여(decorrelation contribution)를 얻는 경우에는 더 많을 수 있다. 비교에 의하면, 재구성된 객체들에 대해 대화 증강을 수행하는 종래 기술의 해법은 각각의 샘플 × 주파수 대역들의 개수 × 복합 신호(complex signal)를 위한 2에 대한 승산을 야기한다. 전형적으로, 이것은 프레임마다 더 빈번한 16 * 64 * 2 = 2048회의 승산을 야기할 것이다.

전형적으로, 오디오 인코딩/디코딩 시스템들은 예를 들어 적절한 필터 뱅크들을 입력 오디오 신호들에 적용함으로써, 시간-주파수 공간을 시간/주파수 타일들(tiles)로 분할한다. 시간/주파수 타일은 일반적으로 시간 간격 및 주파수 대역에 대응하는 시간 주파수 공간의 일부분을 의미한다. 전형적으로, 시간 간격은 오디오 인코딩/디코딩 시스템 내에서 이용되는 시간 프레임의 지속시간에 대응할 수 있다. 주파수 대역은 인코딩 또는 디코딩되고 있는 오디오 신호/객체의 모든 주파수 범위(whole frequency range) 중의 전체 주파수 범위(entire frequency range)의 일부이다. 전형적으로, 주파수 대역은 인코딩/디코딩 시스템 내에서 이용되는 필터 뱅크에 의해 정의되는 하나 또는 수 개의 이웃하는 주파수 대역들에 대응할 수 있다. 주파수 대역이 필터 뱅크에 의해 정의되는 수 개의 이웃하는 주파수 대역에 대응하는 경우, 이것은 오디오 신호의 디코딩 프로세서에서 불균일한 주파수 대역들을 갖는 것, 예를 들어 오디오 신호의 더 높은 주파수들에 대해 더 넓은 주파수 대역들을 갖는 것을 허용한다.

대안적인 출력 모드에서는, 디코더 복잡도를 절감하기 위해, 다운믹싱된 객체들이 재구성되지 않는다. 이러한 실시예에서, 다운믹스 신호들은 출력 구성, 예를 들어 5.1 출력 구성으로 직접 렌더링될 신호들로서 고려된다. 이것은 AAO(always-audio-out) 동작 모드라고도 알려져 있다. 도 2 및 3은 이러한 낮은 복잡도의 실시예를 위해서도 대화의 증강을 허용하는 디코더들(200, 300)을 설명한다.

도 2는 제1의 예시적인 실시예들에 따라 오디오 시스템 내에서 대화를 증강시키기 위한 저복잡도 디코더(200)를 기술한다. 디코더(100)는 수신 스테이지(104) 또는 코어 디코더에서 비트스트림(102)을 수신한다. 수신 스테이지(104)는 도 1과 함께 기술된 것과 같이 구성될 수 있다. 결과적으로, 수신 스테이지는 부가 정보(108) 및 다운믹스 신호들(110)을 출력한다. 부가 정보(108)에 의해 나타내어지는 계수들은 수정 스테이지(112)에 의해 위에서 설명된 것과 같은 증강 파라미터(140)에 의해 수정되는데, 대화가 다운믹스 신호(110) 내에 이미 존재하고, 따라서 증강 파라미터가 부가 정보(108)의 수정을 위해 이용되기 전에 아래에 설명되는 것과 같이 스케일 다운될 필요가 있을 수 있다는 것이 고려되어야 한다는 점에서 차이가 있다. 다른 차이는, (아래에 설명되는 바와 같이) 저복잡도 디코더(200) 내에서는 비상관화가 이용되지 않기 때문에, 수정 스테이지(112)는 부가 정보(108) 내의 드라이 업믹스 계수들만을 수정하고 있고, 결과적으로 부가 정보(108) 내에 존재하는 임의의 웨트 업믹스 계수들을 무시한다는 것일 수 있다. 일부 실시예들에서, 정정(correction)은, 비상관화기 기여를 생략하는 것에 의해 야기되는 대화 객체의 예측에서의 에너지 손실을 고려할 수 있다. 수정 스테이지(112)에 의한 수정은 대화 객체들이 증강 신호들로서 재구성될 것을 보장하며, 이러한 증강 신호들은 다운믹스 신호들과 결합될 때, 증강된 대화를 야기한다. 수정된 계수들(218) 및 다운믹스 신호들은 재구성 스테이지(204)에 입력된다. 재구성 스테이지에서, 대화를 표현하는 적어도 하나의 객체만이 수정된 계수들(218)을 이용하여 재구성될 수 있다. 디코더(200)의 디코딩 복잡도를 더 감소시키기 위해, 재구성 스테이지(204)에서의 대화를 표현하는 적어도 하나의 객체의 재구성은 다운믹스 신호들(110)의 비상관화를 수반하지 않는다. 따라서, 재구성 스테이지(204)는 대화 증강 신호(들)(206)를 생성한다. 많은 실시예들에서, 재구성 스테이지(204)는 재구성 스테이지(124)의 일부분이고, 상기 부분은 대화를 표현하는 적어도 하나의 객체의 재구성에 관련된다.

지원되는 출력 구성, 즉 다운믹스 신호들(110)이 지원을 위해 다운믹싱된 출력 구성(예를 들어, 5.1 또는 7.1 서라운드 신호들)에 따라 신호들을 계속해서 출력하기 위해, 대화 증강된 신호들(206)은 다시 다운믹스 신호들(110) 내에 다운믹싱되거나 다운믹스 신호들과 결합될 필요가 있다. 이러한 이유로 인해, 디코더는 대화 객체들이 다운믹스 신호들(110) 내에서 어떻게 표현되는지에 대응하는 표현(210) 내에 대화 증강 객체들을 다시 혼합하기 위해, 대화를 표현하는 적어도 하나의 객체가 오디오 시스템 내의 인코더에 의해 복수의 다운믹스 신호에 어떻게 혼합되었는지를 기술하는 정보(202)를 이용하는 적응적 혼합 스테이지(208)를 포함한다. 다음으로, 이러한 표현은 다운믹스 신호(110)와 결합되고(212), 이에 의해, 결과적인 결합된 신호들(214)은 증강된 대화를 포함하게 된다.

위에서 설명된, 복수의 다운믹스 신호 내의 대화를 증강시키기 위한 개념적 단계들은 복수의 다운믹스 신호(110)의 하나의 시간-주파수 타일을 표현하는 행렬 D에 대한 단일 행렬 연산에 의해 구현될 수 있다:

여기서, D _b 는 부스팅된 대화 부분들을 포함하는 수정된 다운믹스(214)이다. 수정 행렬 M은 이하에 의해 구해진다:

여기서, G는 다운믹스 이득들의 [다운믹스 채널들의 수(nbr), 대화 객체들의 수] 행렬, 즉 대화를 표현하는 적어도 하나의 객체가 복수의 다운믹스 신호(110)의 현재 디코딩되는 시간-주파수 타일 D에 어떻게 혼합되었는지를 기술하는 정보(202)이다. C는 수정된 계수들(218)의 [대화 객체들의 수, 다운믹스 채널들의 수] 행렬이다.

복수의 다운믹스 신호 내의 대화를 증강시키기 위한 대안적인 구현은 컬럼 벡터 X[다운믹스 채널들의 수]에 대한 행렬 연산에 의해 구현될 수 있고, 여기서 각각의 구성요소는 복수의 다운믹스 신호(110)의 단일의 시간-주파수 샘플을 표현한다.

여기서 X _b 는 증강된 대화 부분들을 포함하는 수정된 다운믹스(214)이다. 수정 행렬 E는 이하에 의해 구해진다:

여기서, I는 [다운믹스 채널들의 수, 다운믹스 채널들의 수] 단위 행렬이고, G는 다운믹스 이득들의 [다운믹스 채널들의 수, 대화 객체들의 수] 행렬, 즉 대화를 표현하는 적어도 하나의 객체가 현재 디코딩되는 복수의 다운믹스 신호(110)에 어떻게 혼합되었는지를 기술하는 정보(202)이고, C는 수정된 계수들(218)의 [대화 객체들의 수, 다운믹스 채널들의 수] 행렬이다.

행렬 E는 프레임 내의 각각의 주파수 대역 및 시간 샘플에 대해 산출된다. 전형적으로, 행렬 E를 위한 데이터는 프레임마다 1회씩 전송되고, 행렬은 이전 프레임 내의 대응하는 행렬을 이용한 내삽(interpolation)에 의해 시간-주파수 타일 내의 각각의 시간 샘플에 대해 산출된다.

일부 실시예들에 따르면, 정보(202)는 비트스트림(102)의 일부이고, 대화 객체들을 다운믹스 신호들 내에 다운믹싱하기 위해 오디오 시스템 내의 인코더에 의해 이용된 다운믹스 계수들을 포함한다.

일부 실시예들에서, 다운믹스 신호들은 스피커 구성의 채널들에 대응하지 않는다. 그러한 실시예들에서는, 재생을 위해 이용되는 구성의 스피커들과 대응하는 위치들에 다운믹스 신호들을 렌더링하는 것이 이롭다. 이러한 실시예들에 대해, 비트스트림(102)은 복수의 다운믹스 신호(110)에 대한 위치 데이터를 반송(carry)할 수 있다.

이하에서는, 그러한 수신된 정보(202)에 대응하는 비트스트림의 예시적인 신택스(syntax)가 설명될 것이다. 대화 객체들은 하나보다 많은 다운믹스 신호에 혼합될 수 있다. 따라서, 각각의 다운믹스 채널을 위한 다운믹스 계수들은 이하의 테이블에 따라 비트스트림 내에 코딩될 수 있다:

<표 1: 다운믹스 계수 신택스>

따라서, 7 다운믹스 신호 중 다섯번째 것이 대화 객체만을 포함하도록 다운믹싱되는 오디오 객체를 위한 다운믹스 계수들을 표현하는 비트스트림은 0000111100과 같이 보인다. 그에 대응하여, 1/15에 대해 다섯번째 다운믹스 신호 내에 다운믹싱되고 14/15에 대해 일곱번째 다운믹스 신호 내에 다운믹싱되는 오디오 객체를 위한 다운믹스 계수들을 표현하는 비트스트림은 그에 따라 000010000011101과 같이 보인다.

이러한 신택스를 이용하면, 값 0이 가장 자주 전송되는데, 왜냐하면 전형적으로 대화 객체들은 모든 다운믹스 신호에 있지는 않고, 단 하나의 다운믹스 신호에만 있을 확률이 가장 높기 때문이다. 따라서, 다운믹스 계수들은 위의 테이블 내에서 정의되는 엔트로피 코딩에 의해 유리하게 코딩될 수 있다. 논-제로 계수들에 대해 1 비트 더 많이 소비하고 0 값에 대해 하나만 소비하면, 대부분의 경우들에 대해 5비트 미만의 평균 워드 길이로 된다. 예를 들어, 대화 객체가 7개의 다운믹스 신호 중 하나에 존재할 때, 평균적으로 계수 당 1/7 * (1[비트] * 6[계수들] + 5[비트] * 1[계수]) = 1.57 비트로 된다. 모든 계수들을 4 비트로 간단하게(straightforward) 코딩하면, 비용은 계수 당 1/7 * (4[비트들] * 7[계수들]) = 4 비트로 될 것이다. 이것은 대화 객체들이 (7개의 다운믹스 신호 중에서) 6 또는 7개의 다운믹스 신호 내에 있는 경우에만 단순 코딩(straightforward coding)보다 비용이 많이 든다. 위에서 기술된 바와 같이 엔트로피 코딩을 이용하면, 다운믹스 계수들을 전송하는 데에 요구되는 비트 레이트가 감소된다.

대안적으로, 허프만 코딩(Huffman coding)은 다운믹스 계수들을 전송하기 위해 이용될 수 있다.

다른 실시예들에 따르면, 대화를 표현하는 적어도 하나의 객체가 오디오 시스템 내의 인코더에 의해 복수의 다운믹스 신호에 어떻게 혼합되었는지를 기술하는 정보(202)는 디코더에 의해 수신되지 않고, 대신에 수신 스테이지(104)에서, 또는 디코더(200)의 다른 적절한 스테이지 상에서 산출된다. 이것은 디코더(200)에 의해 수신되는 비트스트림(102)을 전송하기 위해 요구되는 비트 레이트를 감소시킨다. 이러한 산출은 복수의 다운믹스 신호(110)에 대한, 그리고 대화를 표현하는 적어도 하나의 객체에 대한 공간 위치들에 대응하는 공간 정보를 갖는 데이터에 기초할 수 있다. 전형적으로, 그러한 데이터는 오디오 시스템 내의 인코더에 의해 비트스트림(102) 내에 포함되므로, 그것은 전형적으로 디코더(200)가 이미 알고 있다. 산출은 대화를 표현하는 적어도 하나의 객체에 대한 공간 위치를 복수의 다운믹스 신호(110)를 위한 공간 위치들에 맵핑하는 함수를 적용하는 것을 포함할 수 있다. 알고리즘은 3D 패닝 알고리즘, 예를 들어 VBAP(Vector Based Amplitude Panning) 알고리즘일 수 있다. VBAP는 복수의 물리적 사운드 소스, 예를 들어 라우드스피커들의 셋업, 즉 스피커 출력 구성을 이용하여, 가상 사운드 소스들, 예를 들어 대화 객체들을 임의적인 방향들로 위치시키기 위한 방법이다. 그러므로, 그러한 알고리즘들은 다운믹스 신호들의 위치들을 스피커 위치들로서 이용함으로써 다운믹스 계수들을 산출하기 위해 재사용될 수 있다.

위의 수학식 1 및 2의 표기법을 이용하면, G는 rendCoef=R(spkPos, sourcePos)로 함으로써 산출되고, 여기서 R은 spkPos(각각의 로우가 다운믹스 신호의 좌표들에 대응하는 행렬)에 위치되는 nbrSpeakers 다운믹스 채널들로 렌더링되는, sourcePos(예를 들어, 데카르트 좌표들)에 위치되는 대화 객체를 위한 렌더링 계수 벡터 rendCoef [nbrSpeakers x 1]를 제공하기 위한 3D 패닝 알고리즘(예를 들어, VBAP)이다. 그러면, G는 이하에 의해 구해진다:

여기서, rendCoef _i 는 n개의 대화 객체 중 대화 객체 i를 위한 렌더링 계수들이다.

전형적으로, 오디오 객체들의 재구성은 도 1과 함께 위에서 기술된 것과 같이 QMF 영역에서 수행되고, 사운드는 시간 영역에서 출력될 필요가 있을 수 있으므로, 디코더(200)는 결합된 신호들(214)이 예를 들어 역 QMF를 적용함으로써 시간 영역 내의 신호들(216)로 변환되는 변환 스테이지(132)를 더 포함한다.

실시예들에 따르면, 디코더(200)는 변환 스테이지(132)의 업스트림에, 또는 변환 스테이지(132)의 다운스트림에, 렌더링 스테이지(도시되지 않음)를 더 포함할 수 있다. 위에서 논의된 바와 같이, 일부 경우들에서, 다운믹스 신호들은 스피커 구성의 채널들에 대응하지 않는다. 그러한 실시예들에서는, 재생을 위해 이용되는 구성의 스피커들과 대응하는 위치들에 다운믹스 신호들을 렌더링하는 것이 이롭다. 이러한 실시예들에 대해, 비트스트림(102)은 복수의 다운믹스 신호(110)에 대한 위치 데이터를 반송할 수 있다.

오디오 시스템 내에서 대화를 증강시키기 위한 저복잡도 디코더의 대안적인 실시예가 도 3에 도시되어 있다. 도 3에 도시된 디코더(300)와 위에서 기술된 디코더(200) 사이의 주된 차이는 재구성된 대화 증강 객체들(206)이 재구성 스테이지(204) 이후에 다운믹스 신호들(110)에 다시 결합되지 않는다는 것이다. 대신에, 재구성된 적어도 하나의 대화 증강 객체(206)는 적어도 하나의 개별 신호로서 다운믹스 신호들(110)과 병합된다. 전형적으로 위에서 기술된 바와 같이 디코더(300)가 이미 알고 있는 적어도 하나의 대화 객체를 위한 공간 정보는, 추가의 신호(206)가 위에서 기술된 바와 같이 변환 스테이지(132)에 의해 시간 영역으로 변환되기 전에 또는 변환된 후에, 복수의 다운믹스 신호에 대한 공간 위치 정보(304)에 따른 다운믹스 신호들의 렌더링과 함께 추가의 신호(206)를 렌더링하기 위해 이용된다.

도 2-3과 함께 기술된 디코더(200, 300)의 실시예들 둘 다에 대해, 대화가 다운믹스 신호(110) 내에 이미 존재하며, 증강된 재구성된 대화 객체들이 도 2와 함께 기술된 바와 같이 다운믹스 신호들(110)과 결합되는지의 여부, 또는 그러한 객체들이 도 3과 함께 기술된 바와 같이 다운믹스 신호들(110)과 병합되는지의 여부에 상관없이, 증강된 재구성된 대화 객체들(206)이 이것에 더해진다는 점이 반드시 고려되어야 한다. 결과적으로, 예를 들어, 다운믹스 신호들 내의 기존 대화가 크기(magnitude) 1을 갖는다는 것에 기초하여 증강 파라미터의 크기가 산출되는 경우, 증강 파라미터 g _DE 에서 1이 감산될 필요가 있다.

도 4는 예시적인 실시예들에 따라 대화를 표현하는 적어도 하나의 객체를 포함하는 복수의 오디오 객체를 인코딩하기 위한 방법(400)을 기술한다. 도 4에 도시된 방법(400)의 단계들의 순서는 예시로서 보여진 것임에 주목해야 한다.

방법(400)의 제1 단계는 복수의 오디오 객체에 대한 공간 위치들에 대응하는 공간 정보를 결정하는 선택적인 단계(S401)이다. 전형적으로, 객체 오디오는 각각의 객체가 렌더링되어야 하는 장소의 기술(description)을 수반한다. 이것은 전형적으로 좌표들(예를 들어, 데카르트 좌표, 극좌표 등)에 관련하여 행해진다.

방법의 제2 단계는 대화를 표현하는 적어도 하나의 객체를 포함하는 복수의 오디오 객체의 다운믹스인 복수의 다운믹스 신호를 결정하는 단계(S402)이다. 이것은 다운믹싱 단계라고도 지칭될 수 있다.

예를 들어, 다운믹스 신호들 각각은 복수의 오디오 객체의 선형 결합일 수 있다. 다른 실시예들에서, 다운믹스 신호 내의 각각의 주파수 대역은 복수의 오디오 객체의 상이한 결합들을 포함할 수 있다. 따라서, 이러한 방법을 구현하는 오디오 인코딩 시스템은 오디오 객체들로부터 다운믹스 신호들을 결정하고 인코딩하는 다운믹싱 컴포넌트를 포함한다. 인코딩된 다운믹스 신호들은 예를 들어 5.1 또는 7.1 사운드 신호들일 수 있고, 이것은 AAO가 달성되도록 돌비 디지털 플러스 또는 MPEG 표준들, 예컨대 AAC, USAC 또는 MP3와 같은 설정된 사운드 디코딩 시스템들과 역방향 호환가능하다.

복수의 다운믹스 신호를 결정하는 단계(S402)는 대화를 표현하는 적어도 하나의 객체가 복수의 다운믹스 신호에 어떻게 혼합되는지를 기술하는 정보를 결정하는 단계(S404)를 선택적으로 포함할 수 있다. 많은 실시예들에서, 다운믹스 계수들은 다운믹스 동작에서의 처리로부터 나올 수 있다. 일부 실시예들에서, 이것은 MMSE(minimum mean square error) 알고리즘을 이용하여 대화 객체(들)를 다운믹스 신호들과 비교함으로써 행해질 수 있다.

오디오 객체들을 다운믹싱하기 위한 많은 방법들이 존재하는데, 예를 들어 공간적으로 서로 근접한 객체들을 다운믹싱하는 알고리즘이 이용될 수 있다. 이러한 알고리즘에 따르면, 공간 내의 어느 위치들에서 객체들이 집중되는지가 결정된다. 다음으로, 이것들은 다운믹스 신호 위치들을 위한 중심들(centroids)로서 이용된다. 이것은 일례일 뿐이다. 다른 예들은 대화 분리를 개선하고 디코더 측에서의 대화 증강을 더 단순화하기 위해, 가능하다면 다운믹싱 시에 대화 객체들을 다른 오디오 객체들로부터 분리시켜 유지하는 것을 포함한다.

방법(400)의 제4 단계는 복수의 다운믹스 신호에 대한 공간 위치들에 대응하는 공간 정보를 결정하는 선택적인 단계(S406)이다. 복수의 오디오 객체에 대한 공간 위치들에 대응하는 공간 정보를 결정하는 선택적인 단계(S401)가 생략된 경우, 단계(S406)는 대화를 표현하는 적어도 하나의 객체에 대한 공간 위치들에 대응하는 공간 정보를 결정하는 단계를 더 포함한다.

전형적으로, 공간 정보는 위에서 기술된 바와 같이 복수의 다운믹스 신호를 결정할 때(S402) 알려진다.

방법의 다음 단계는 복수의 다운믹스 신호로부터 복수의 오디오 객체를 재구성하는 것을 가능하게 하는 계수들을 나타내는 부가 정보를 결정하는 단계(S408)이다. 이 계수들은 업믹스 파라미터들이라고도 지칭될 수 있다. 업믹스 파라미터들은 예를 들어 MMSE 최적화에 의해, 예를 들어 다운믹스 신호들 및 오디오 객체들로부터 결정될 수 있다. 전형적으로, 업믹스 파라미터들은 드라이 업믹스 계수들 및 웨트 업믹스 계수들을 포함한다. 드라이 업믹스 계수들은 인코딩될 오디오 신호들에 근사한(approximating) 다운믹스 신호의 선형 맵핑을 정의한다. 따라서, 드라이 업믹스 계수들은 다운믹스 신호들을 입력으로서 취하고 인코딩될 오디오 신호들에 근사한 오디오 신호들의 세트를 출력하는 선형 변환의 정량적 속성들(quantitative properties)을 정의하는 계수들이다. 드라이 업믹스 계수들의 결정된 세트는 예를 들어 오디오 신호의 최소 평균 제곱 에러 근사법(minimum mean square error approximation)에 대응하는 다운믹스 신호의 선형 맵핑을 정의할 수 있고, 즉 다운믹스 신호의 선형 맵핑들의 세트 중에서, 드라이 업믹스 계수들의 결정된 세트는 최소 평균 제곱의 의미에서 오디오 신호에 가장 근사한 선형 맵핑을 정의할 수 있다.

웨트 업믹스 계수들은 예를 들어 수신된 대로의 오디오 신호들의 공분산(covariance)과 다운믹스 신호의 선형 맵핑에 의해 근사된 대로의 오디오 신호들의 공분산 사이의 차이에 기초하여, 또는 그러한 공분산들을 비교함으로써 결정될 수 있다.

즉, 업믹스 파라미터들은 다운믹스 신호들로부터의 오디오 객체들의 재구성을 허용하는 업믹스 행렬의 구성요소들에 대응할 수 있다. 전형적으로, 업믹스 파라미터들은 개별 시간/주파수 타일들에 대해 오디오 객체들 및 다운믹스 신호에 기초하여 산출된다. 따라서, 업믹스 파라미터들은 각각의 시간/주파수 타일에 대해 결정된다. 예를 들어, 업믹스 행렬(드라이 업믹스 계수들 및 웨트 업믹스 계수들을 포함함)은 각각의 시간/주파수 타일에 대해 결정될 수 있다.

도 4에 도시된 대화를 표현하는 적어도 하나의 객체를 포함하는 복수의 오디오 객체를 인코딩하기 위한 방법의 제6 단계는 복수의 오디오 객체 중 어느 것이 대화를 표현하는지를 식별하는 데이터를 결정하는 단계(S410)이다. 전형적으로, 복수의 오디오 객체는 어느 객체들이 대화를 포함하는지를 나타내는 메타데이터를 동반할 수 있다. 대안적으로, 본 기술분야에 알려져 있는 음성 검출기(speech detector)가 사용될 수 있다.

기술되는 방법의 최종 단계는, 다운믹싱 단계(S402)에 의해 결정되는 복수의 다운믹스 신호, 재구성을 위한 계수들이 결정되는 단계(S408)에 의해 결정되는 부가 정보, 및 단계(S410)와 함께 위에서 설명된 것과 같이 복수의 오디오 객체 중 어느 것이 대화를 표현하는지를 식별하는 데이터를 적어도 포함하는 비트스트림을 형성하는 단계(S412)이다. 비트스트림은 또한 위의 선택적인 단계들(S401, S404, S406, S408)에 의해 출력되거나 결정되는 데이터를 포함할 수 있다.

도 5에서, 인코더(500)의 블록도가 예시로서 도시되어 있다. 인코더는 대화를 표현하는 적어도 하나의 객체를 포함하는 복수의 오디오 객체를 인코딩하고, 최종적으로는 위의 도 1-3과 함께 설명된 것과 같은 디코더들(100, 200, 300) 중 임의의 것에 의해 수신될 수 있는 비트스트림(520)을 전송하도록 구성된다.

디코더는 다운믹싱 컴포넌트(504) 및 재구성 파라미터 산출 컴포넌트(506)를 포함하는 다운믹싱 스테이지(503)를 포함한다. 다운 혼합 컴포넌트는 대화를 표현하는 적어도 하나의 객체를 포함하는 복수의 오디오 객체(502)를 수신하고, 복수의 오디오 객체(502)의 다운믹스인 복수의 다운믹스 신호(507)를 결정한다. 다운믹스 신호들은 예를 들어 5.1 또는 7.1 서라운드 신호들일 수 있다. 위에서 설명된 바와 같이, 복수의 오디오 객체(502)는 실제로는 복수의 객체 클러스터(502)일 수 있다. 이것은 다운믹싱 컴포넌트(504)의 업스트림에, 더 많은 복수의 오디오 객체로부터 복수의 객체 클러스터를 결정하는 클러스터링 컴포넌트(도시되지 않음)가 존재할 수 있음을 의미한다.

다운믹스 컴포넌트(504)는 대화를 표현하는 적어도 하나의 객체가 복수의 다운믹스 신호 내에 어떻게 혼합되는지를 기술하는 정보(505)를 더 결정할 수 있다.

복수의 다운믹스 신호(507) 및 복수의 오디오 객체(또는 객체 클러스터들)는 재구성 파라미터 산출 컴포넌트(506)에 의해 수신되고, 재구성 파라미터 산출 컴포넌트는 MMSE(Minimum Mean Square Error) 최적화를 이용하여, 복수의 다운믹스 신호로부터 복수의 오디오 객체를 재구성하는 것을 가능하게 하는 계수들을 나타내는 부가 정보(509)를 결정한다. 위에서 설명된 바와 같이, 부가 정보(509)는 전형적으로 드라이 업믹스 계수들 및 웨트 업믹스 계수들을 포함한다.

예시적인 인코더(500)는 다운믹스 인코더 컴포넌트(508)를 더 포함할 수 있고, 다운믹스 인코더 컴포넌트는 다운믹스 신호들이 돌비 디지털 플러스 또는 MPEG 표준들, 예컨대 AAC, USAC 또는 MP3와 같은 설정된 사운드 디코딩 시스템들과 역방향 호환가능하도록 다운믹스 신호들(507)을 인코딩하도록 적응될 수 있다.

인코더(500)는 적어도, 인코딩된 다운믹스 신호들(510), 부가 정보(509), 및 복수의 오디오 객체 중 어느 것이 대화를 표현하는지를 식별하는 데이터(516)를 비트스트림(520) 내로 결합하는 다중화기(multiplexer)(518)를 더 포함한다. 비트스트림(520)은 또한 대화를 표현하는 적어도 하나의 객체가 엔트로피 코딩에 의해 인코딩될 수 있는 복수의 다운믹스 신호 내에 어떻게 혼합되는지를 기술하는 정보(505)를 포함할 수 있다. 더욱이, 비트스트림(520)은 복수의 다운믹스 신호에 대한, 그리고 대화를 표현하는 적어도 하나의 객체에 대한 공간 위치들에 대응하는 공간 정보(514)를 포함할 수 있다. 또한, 비트스트림(520)은 비트스트림 내의 복수의 오디오 객체에 대한 공간 위치들에 대응하는 공간 정보(512)를 포함할 수 있다.

요약하면, 본 개시내용은 오디오 코딩 분야에 포함되고, 구체적으로는 공간 오디오 코딩의 분야에 관한 것이며, 여기서 오디오 정보는 적어도 하나의 대화 객체를 포함하는 복수의 오디오 객체에 의해 표현된다. 구체적으로, 본 개시내용은 오디오 시스템 내의 디코더 내에서 대화를 증강시키기 위한 방법 및 장치를 제공한다. 더욱이, 본 개시내용은 대화가 오디오 시스템 내의 디코더에 의해 증강되는 것을 허용하기 위해 그러한 오디오 객체들을 인코딩하기 위한 방법 및 장치를 제공한다.

등가물, 확장, 대안, 및 기타

본 기술분야의 통상의 기술자는 상술한 설명을 숙지한 후에 본 개시내용의 추가의 실시예들을 분명히 알 것이다. 본 설명 및 도면들이 실시예들 및 예들을 개시하긴 하지만, 본 개시내용은 이러한 구체적인 예들로 한정되지 않는다. 첨부 도면들에 의해 정의되는 본 개시내용의 범위로부터 벗어나지 않고서 다수의 수정 및 변형이 이루어질 수 있다. 청구항들에 나타나는 임의의 참조 부호들은 그들의 범위를 제한하는 것으로서 이해되어서는 안 된다.

추가로, 개시된 실시예들에 대한 변경들은 본 개시내용을 실시하는 데에 있어서 통상의 기술자가 도면들, 개시내용, 및 첨부된 청구항들을 숙지함으로써 이해되고 시행될 수 있다. 청구항들에서, "포함하는(comprising)"이라는 용어는 다른 구성요소들 또는 단계들을 배제하지 않으며, 부정관사 "a" 또는 "an"은 복수를 배제하지 않는다. 특정 수단들이 서로 다른 종속 청구항들에 기재되어 있다는 단순한 사실이, 그러한 수단들의 조합이 유리하게 이용될 수 없음을 나타내지는 않는다.

위에서 본 명세서에 개시된 시스템들 및 방법들은 소프트웨어, 펌웨어, 하드웨어 또는 그들의 조합으로서 구현될 수 있다. 하드웨어 구현에서, 상술한 설명에서 언급되는 기능 유닛들 사이에서의 태스크들의 분할이 물리적 유닛들로의 분할에 반드시 대응하는 것은 아니고; 그와 반대로, 하나의 물리적 컴포넌트가 다수의 기능을 가질 수 있고, 하나의 태스크가 서로 협동하는 수 개의 물리적 컴포넌트들에 의해 수행될 수 있다. 특정한 컴포넌트들 또는 모든 컴포넌트들은 디지털 신호 프로세서 또는 마이크로프로세서에 의해 실행되는 소프트웨어로서 구현될 수 있거나, 하드웨어로서, 또는 애플리케이션 특정 집적 회로(application-specific integrated circuit)로서 구현될 수 있다. 그러한 소프트웨어는 컴퓨터 저장 매체[또는 비-일시적 매체(non-transitory media)] 및 통신 매체(또는 일시적 매체)를 포함할 수 있는 컴퓨터 판독가능한 매체 상에서 배포될 수 있다. 본 기술분야의 통상의 기술자에게 널리 공지되어 있는 바와 같이, 컴퓨터 저장 매체라는 용어는 컴퓨터 판독가능한 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성의 이동식 및/또는 비-이동식 매체 모두를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 다른 광학 디스크 저장소, 자기 카세트, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장 디바이스, 또는 원하는 정보를 저장하기 위해 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 그에 한정되지는 않는다. 또한, 통상의 기술자에게는, 통신 매체가 전형적으로 컴퓨터 판독가능한 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터를 반송파와 같은 변조된 데이터 신호, 또는 다른 전송 메커니즘으로 구현하고, 임의의 정보 전달 매체를 포함한다는 것이 널리 공지되어 있다.

Claims

제1항.