KR20160033769A

KR20160033769A - 오디오 채널들 및 오디오 객체들을 오디오 인코딩 및 디코딩하기 위한 개념

Info

Publication number: KR20160033769A
Application number: KR1020167004468A
Authority: KR
Inventors: 알렉산더 아다미; 크리스티안 보르스; 사샤 딕; 크리스티안 에르텔; 시모네 푸에그; 유르겐 헤레; 요하네스 힐퍼트; 안드레아스 홀저; 미하엘 크래슈머; 파비앙 쿠치; 아힘 쿤츠; 아드리안 무타자; 얀 프록스티스; 안드레아스 실즈레; 한네 스텐젤
Original assignee: 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date: 2013-07-22
Filing date: 2014-07-16
Publication date: 2016-03-28
Also published as: EP4033485A1; MX359159B; US20160133267A1; EP3025329A1; PL3025329T3; RU2641481C2; ES2913849T3; KR20180019755A; PT3025329T; MX2016000910A; KR101979578B1; US20190180764A1; CN105612577A; EP3025329B1; US20220101867A1; AR097003A1; TWI566235B; BR112016001143B1; CA2918148A1; TW201528252A

Abstract

오디오 출력 데이터(501)를 얻기 위해 오디오 입력 데이터(101)를 인코딩하기 위한 오디오 인코더는, 복수의 오디오 채널들, 복수의 오디오 객체들, 및 상기 복수의 오디오 객체들의 하나 이상에 관련된 메타데이터를 수신하기 위한 입력 인터페이스(100); 복수의 사전-믹싱된 채널들을 얻기 위해 상기 복수의 객체들 및 상기 복수의 채널들을 믹싱하기 위한 믹서(200)로서, 각 사전-믹싱된 채널은 채널의 오디오 데이터 및 적어도 하나의 객체의 오디오 데이터를 포함하는, 믹서(200); 코어 인코더 입력 데이터를 코어 인코딩하기 위한 코어 인코더(300); 및 상기 복수의 오디오 객체들의 하나 이상에 관련된 상기 메타데이터를 압축하기 위한 메타데이터 압축기(400)를 포함하고, 상기 오디오 인코더는, 상기 코어 인코더가 코어 인코더 입력 데이터로서 상기 입력 인터페이스에 의해 수신된 상기 복수의 오디오 채널들 및 상기 복수의 오디오 객체들을 인코딩하도록 구성되는 제 1 모드와, 상기 코어 인코더(300)가 상기 코어 인코더 입력 데이터로서 상기 믹서(200)에 의해 생성된 상기 복수의 사전-믹싱된 채널들을 수신하기 위해 구성되는 제 2 모드를 포함하는 적어도 2개의 모드들의 그룹의 모드들 모두에서 동작하도록 구성된다.

Description

오디오 채널들 및 오디오 객체들을 오디오 인코딩 및 디코딩하기 위한 개념{CONCEPT FOR AUDIO ENCODING AND DECODING FOR AUDIO CHANNELS AND AUDIO OBJECTS}

본 출원은 오디오 인코딩/디코딩에 관한 것으로, 특히 공간 오디오 코딩 및 공간 오디오 객체 코딩에 관한 것이다.

공간 오디오 코딩 툴들(tools)은 종래 기술에 잘 알려져 있고, 예를 들어 MPEG-서라운드 표준에서 표준화된다. 공간 오디오 코딩은 재생 설정에서의 그 배치에 의해 예를 들어, 좌측 채널, 센터 채널, 우측 채널, 좌측 서라운드 채널, 우측 서라운드 채널 및 저주파수 개선(LFE) 채널로서 식별되는 복수의 원 입력, 예를 들어, 5개 또는 7개의 입력 채널들에서 시작한다. 공간 오디오 인코더는 원 채널들로부터 하나 이상의 다운믹스 채널들을 도출할 수 있고, 추가로 채널 코히어런스(coherence) 값들에서의 채널간 레벨 차이들, 채널간 위상 차이들, 채널간 시간 차이들 등과 같은 공간 큐들(cues)에 관한 파라미터적 데이터를 도출할 수 있다. 하나 이상의 다운믹스 채널들은 원 입력 채널들의 근사적인(approximated) 버전인 출력 채널들을 마지막으로 얻기 위해 공간 큐들을 나타내는 파라미터적 부가 정보와 함께. 다운믹스 채널들 및 연관된 파라미터적 데이터를 디코딩하기 위한 공간 오디오 디코더로 송신된다. 예를 들어, 5.1 포맷, 7.1 포맷 등과 같이 출력 설정에서 채널들의 배치가 고정될 수 있다.

또한, 공간 오디오 객체 코딩 툴들은 종래 기술에 잘 알려져 있고, 예를 들어, MPEG SAOC 표준(SAOC=spatial audio object coding)에서 표준화된다. 원 채널들에서 시작하는 공간 오디오 코딩에 대조적으로, 공간 오디오 객체 코딩은 특정한 렌더링 재생 설정을 위해 자동적으로 지정되지 않는 오디오 객체들에서 시작한다. 오히려, 재생 장면에서의 오디오 객체들의 배치는 융통성있을 수 있고, 사용자에 의해 예를 들어, 특정 렌더링 정보를 공간 오디오 객체 코딩 디코더에 입력함으로써, 설정될 수 있다. 대안적으로 또는 추가적으로, 렌더링 정보는 추가 부가 정보 또는 메타데이터로서 송신될 수 있고; 렌더링 정보는, 재생 설정에서 특정 오디오 객체가 위치(예를 들어, 시간이 지남에 따라)되는 위치에서 정보를 포함한다. 특정 데이터 압축을 얻기 위해, 다수의 오디오 객체들은, 입력 객체들로부터 특정 다운믹스 정보에 따라 객체들을 다운믹싱함으로써 하나 이상의 전송 채널들을 계산하는 SAOC 인코더를 이용하여 인코딩된다. 더욱이, SAOC 인코더는 객체 레벨 차이들(OLD), 객체 코히어런스 값들 등과 같이 인터-객체 큐들을 나타내는 파라미터적 부가 정보를 계산한다. SAC(SAC=spatial Audio Coding)에서와 같이, 인터-객체 파라미터적 데이터는 개별적인 시간/주파수 타일들(tiles)에 대해 계산된다. 오디오 신호의 특정 프레임(예를 들어, 1024 또는 2048 샘플들)에 대해, 복수의 주파수 대역들(예를 들어, 24, 32, 또는 64 대역들)은, 파라미터적 데이터가 각 프레임 및 각 주파수 대역에 대해 제공되도록 고려된다. 예를 들어, 오디오 부품(piece)이 20 프레임들을 가질 때, 그리고 각 프레임이 32 주파수 대역들로 세분화될 때, 시간/주파수 타일들의 수는 640이다.

지금까지, 낮은 비트율에서의 수용가능한 오디오 품질들이 얻어지도록 한 편으로 채널 코딩과 다른 한 편으로 객체 코딩을 조합하는 융통성있는 기술은 존재하지 않는다.

본 발명의 목적은 오디오 인코딩 및 오디오 디코딩을 위한 개선된 개념을 제공하는 것이다.

이 목적은 제 1항의 오디오 인코더, 제 8항의 오디오 디코더, 제 22항의 오디오 인코딩 방법, 제 23항의 오디오 디코딩 방법, 또는 제 24항의 컴퓨터 프로그램에 의해 달성된다.

본 발명은, 한 편으로 융통성있고 다른 한 편으로 양호한 오디오 품질에서 양호한 압축 효율을 제공하는 최적의 시스템에 대해 공간 오디오 코딩, 즉 채널-기반의 오디오 코딩과 공간 오디오 객체 코딩, 즉 객체 기반의 코딩을 조합함으로써 달성된다는 발견에 기초한다. 특히, 인코더-측 상에서 객체들과 채널들을 미리 믹싱하기 위한 믹서를 제공하는 것은 특히 낮은 비트율 어플리케이션들에 대해 양호한 융통성을 제공하는데, 이는 임의의 객체 송신이 불필요할 수 있거나 송신될 객체들의 수가 감소될 수 있기 때문이다. 다른 한 편으로, 융통성은, 오디오 인코더가 2가지 상이한 모드들, 즉 객체들이 코어-인코딩(core-encoded)되기 전에 채널들과 믹싱되는 모드에서 제어될 수 있기 위해 요구되는데, 한편 다른 모드에서 한 편으로 객체 데이터 및 다른 한 편으로 채널 데이터는 그 사이에서 어떠한 믹싱 없이 직접 코어-인코딩된다.

이것은, 풀 융통성(full flexibility)이 디코더 측 상에서 이용가능하지만, 개선된 비트율의 비용으로 이용가능하도록 사용자가 인코더 측 상에서 처리된 객체들 및 채널들을 분리시킬 수 있는 것을 보장한다. 다른 한 편으로, 비트율 요건들이 더 엄격할 때, 본 발명은 인코더 측 상에서 믹싱/사전-렌더링을 미리 수행하도록 하는데, 즉 몇몇 또는 모든 오디오 객체들이 채널들과 미리 믹싱되어, 코어 인코더가 채널 데이터만을 인코딩하고 다운믹스의 형태 또는 파라미터적(parametric) 인터 객체 데이터의 형태로 오디오 객체 데이터를 송신하는데 요구된 임의의 비트들이 요구되지 않는다.

디코더 측상에서, 사용자는, 동일한 오디오 디코더가 2가지 상이한 모드들, 즉 개별 또는 별개의 채널 및 객체 코딩이 발생하고 디코더가 객체들의 렌더링 및 채널 데이터와의 믹싱에 대한 풀 융통성을 갖는 제 1 모드로 동작을 허용한다는 점으로 인해 다시 높은 융통성을 갖는다. 다른 한 편으로, 믹싱/사전-렌더링이 인코더 측 상에서 미리 발생하였을 때, 디코더는 어떠한 중간 객체 처리 없이 후치 처리를 수행하도록 구성된다. 다른 한 편으로, 후치 처리는 또한 다른 모드로, 즉 객체 렌더링/믹싱이 디코더 측 상에서 발생할 때 데이터에 다시 적용될 수 있다. 따라서, 본 발명은 인코더 측 뿐 아니라 디코더 측 상에서 리소스들의 고도의 재사용을 허용하는 처리 작업들의 프레임워크(framework)를 허용한다. 후치 처리는 의도된 재생 레이아웃(reproduction layout)과 같은 최종 채널 시나리오를 얻기 위해 다운믹싱 및 입체 음향(binauralizing) 또는 임의의 다른 처리로 언급될 수 있다.

더욱이, 매우 낮은 비트율 요건들의 경우에, 본 발명은 즉, 일부 융통성의 비용으로, 그럼에도 불구하고 인코더로부터 디코더로 더 이상 어떠한 객체 데이터도 제공하지 않음으로써 절감된 비트들이 채널 데이터를 더 미세하게 양자화함으로써 또는 품질을 개선하거나 충분한 비트들이 이용가능할 때 인코딩 손실을 감소시키기 위한 다른 수단에 의해서와 같이 채널 데이터를 더 양호하게 인코딩하는데 사용될 수 있다는 점으로 인해 디코더 측 상의 매우 양호한 오디오 품질이 얻어지도록 인코더 측 상의 사전-렌더링에 의해, 낮은 비트율 요건들에 반응할 정도로 충분한 융통성을 사용자에게 제공한다.

본 발명의 바람직한 실시예에서, 인코더는 SAOC 인코더를 추가로 포함하고, 더욱이 더욱 더 낮은 요구된 비트율에서 양호한 오디오 품질을 얻기 위해 인코더에 입력된 객체들을 인코딩할 뿐 아니라 채널 데이터를 SAOC 인코딩하도록 한다. 본 발명의 추가 실시예들은 입체 음향 렌더러 및/또는 포맷 변환기를 포함하는 후치 처리 기능을 허용한다. 더욱이, 디코더 측 상의 전체 처리가 22 또는 32 채널 스피커(loudspeaker) 설정과 같은 특정한 높은 수의 스피커들에 대해 미리 발생하는 것이 바람직하다. 하지만, 예를 들어, 포맷 변환기는, 최대 수의 채널들보다 낮은 수를 갖는 5.1 출력, 즉 재생 레이아웃을 위한 출력이 요구된다는 것을 결정하고, 포맷 변환기가 코어 디코딩 동작 및 SAOC 디코딩 동작을 제약하기 위해 USAC 디코더 또는 SAOC 디코더를 제어하여, 결국 그럼에도 불구하고, 포맷 변환으로 다운 믹싱된 임의의 채널들이 디코딩시 생성되지 않는 것이 바람직하다. 일반적으로, 업믹싱된(upmixed) 채널들의 생성은 역상관 처리를 요구하고, 각 역상관 처리는 결점들의 몇몇 레벨을 도입한다. 그러므로, 마지막으로 요구된 출력 포맷에 의해 코어 디코더 및/또는 SAOC 디코더를 제어함으로써, 많은 추가 역상관 처리는, 이러한 상호 작용(interaction)이 존재하지 않는 상황에 비해 절감되고, 이것은 개선된 오디오 품질 뿐 아니라 디코더의 감소된 복잡도를 초래하고, 결국, 본 발명의 인코더 또는 본 발명의 디코더를 수용하는 모바일 디바이스들에 특히 유용한 감소된 전력 소비를 초래한다. 하지만, 본 발명의 인코더들/디코더들은 모바일 폰들, 스마트 폰들, 노트북 컴퓨터들 또는 네비게이션(navigation) 디바이스들과 같은 모바일 디바이스들에 도입될 수 있을 뿐 아니라, 간단한 데스크탑 컴퓨터들 또는 임의의 다른 비-모바일 기기들에 사용될 수 있다.

즉, 몇몇 채널들을 생성하지 않는 상기 구현은 최적이 아닐 수 있는데, 이는 몇몇 정보(다운믹싱될 채널들 사이의 레벨 차이와 같은)가 손실될 수 있기 때문이다. 이러한 레벨 차이 정보는 중요하지 않을 수 있지만, 다운믹스가 상이한 다운믹스 이득들을 업믹스된 채널들에 적용하는 경우 상이한 다운믹스 출력 신호를 초래할 수 있다. 개선된 해법은 단지 업믹스에서 역상관을 스위칭 오프(switches off)하지만, 여전히 정확한 레벨 차이들{파라미터적 SAC에 의해 신호 발신된(signalled)}을 갖는 모든 업믹스 채널들을 생성한다. 제 2 해법은 더 양호한 오디오 품질을 초래하지만, 제 1 해법은 더 큰 복잡도 감소를 초래한다.

바람직한 실시예들은 첨부 도면들에 대해 후속하여 논의된다.

도 1은 인코더의 제 1 실시예를 도시한 도면.
도 2는 디코더의 제 1 실시예를 도시한 도면.
도 3은 인코더의 제 2 실시예를 도시한 도면.
도 4는 디코더의 제 2 실시예를 도시한 도면.
도 5는 인코더의 제 3 실시예를 도시한 도면.
도 6은 디코더의 제 3 실시예를 도시한 도면.
도 7은, 본 발명의 실시예들에 따른 인코더들/디코더들이 동작될 수 있는 개별적인 모드들을 나타내는 맵을 도시한 도면.
도 8은 포맷 변환기의 특정 구현을 도시한 도면.
도 9는 입체 음향 변환기의 특정 구현을 도시한 도면.
도 10은 코어 디코더의 특정 구현을 도시한 도면.
도 11은 쿼드 채널 요소(OCE)를 처리하기 위한 인코더 및 대응하는 QCE 디코더의 특정 구현을 도시한 도면.

도 1은 본 발명의 실시예에 따른 인코더를 도시한다. 인코더는 오디오 출력 데이터(501)를 얻기 위해 오디오 입력 데이터(101)를 인코딩하기 위해 구성된다. 인코더는 CH로 표시된 복수의 오디오 채널들 및 OBJ로 표시된 복수의 오디오 객체들을 수신하기 위한 입력 인터페이스를 포함한다. 더욱이, 도 1에 도시된 바와 같이, 입력 인터페이스(100)는 복수의 오디오 객체들(OBJ)의 하나 이상에 관련된 메타데이터(metadata)를 추가로 수신한다. 더욱이, 인코더는 복수의 사전-믹싱된 채널들을 얻기 위해 복수의 객체들 및 복수의 채널들을 믹싱하기 위한 믹서(200)를 포함하고, 각 사전-믹싱된 채널은 채널의 오디오 데이터 및 적어도 하나의 객체의 오디오 데이터를 포함한다.

더욱이, 인코더는 코어 인코더 입력 데이터를 코어 인코딩하기 위한 코어 인코더(300), 복수의 오디오 객체들의 하나 이상에 관련된 메타데이터를 압축하기 위한 메타데이터 압축기(400)를 포함한다. 더욱이, 인코더는 여러 동작 모드들 중 하나의 동작 모드로 믹서를 제어하기 위한 모드 제어기(600), 코어 인코더 및/또는 출력 인터페이스(500)를 포함할 수 있다. 제 1 모드에서, 코어 인코더는 믹서에 의한 어떠한 상호 작용 없이, 즉 믹서(200)에 의한 어떠한 믹싱 없이, 입력 인터페이스(100)에 의해 수신된 복수의 오디오 객체들 및 복수의 오디오 채널들을 인코딩하도록 구성된다. 하지만, 믹서(200)가 활성(active)인 제 2 모드에서, 코어 인코더는 복수의 믹싱된 채널들, 즉 블록(200)에 의해 생성된 출력을 인코딩한다. 이러한 후자의 경우에, 어떠한 객체 데이터도 더 이상 인코딩하지 않는 것이 바람직하다. 그 대신, 오디오 객체들의 위치들을 나타내는 메타데이터는 메타데이터에 의해 표시된 채널들 상으로 객체들을 렌더링하기 위해 믹서(200)에 의해 미리 사용된다. 즉, 믹서(200)는 오디오 객체들을 사전-렌더링하기 위해 복수의 오디오 객체들에 관련된 메타데이터를 이용하고, 그런 후에 사전-렌더링된 오디오 객체들은 믹서의 출력에서 믹싱된 채널들을 얻기 위해 채널들과 믹싱된다. 이 실시예에서, 임의의 객체들은 반드시 송신될 필요는 없고, 이것은 또한 블록(400)에 의해 출력으로서 압축된 메타데이터에 대해 적용된다. 하지만, 인터페이스(100)에 입력된 모든 객체들이 믹싱되지 않고, 특정 양의 객체들이 믹싱되면, 나머지 비-믹싱된 객체들 및 연관된 메타데이터는 그럼에도 불구하고 각각 코어 인코더(300) 또는 메타데이터 압축기(400)로 송신된다.

도 3은, SAOC 인코더(800)를 더 포함하는 인코더의 추가 실시예를 도시한다. SAOC 인코더(800)는 공간 오디오 객체 인코더 입력 데이터로부터 하나 이상의 전송 채널들 및 팔아미터적 데이터를 생성하기 위해 구성된다. 도 3에 도시된 바와 같이, 공간 오디오 객체 인코더 입력 데이터는 사전-렌더러/믹서에 의해 처리되지 않은 객체들이다. 대안적으로, 개별적인 채널/객체 코딩이 활성화되는 모드 1에서와 같이 사전-렌더러/믹서가 우회된 경우, 입력 인터페이스(100)에 입력된 모든 입력은 SAOC 인코더(800)에 의해 인코딩된다.

더욱이, 도 3에 도시된 바와 같이, 코어 인코더(300)는 USAC 인코더로서, 즉 MPEG-USAC 표준(USAC=unified speech and audio coding)에서 정의되고 표준화된 인코더로서 바람직하게 구현된다. 도 3에 도시된 전체 인코더의 출력은 개별적인 데이터 유형들에 대한 컨테이너-형(container-like) 구조들을 갖는 MPEG 4 데이터 스트림이다. 더욱이, 메타데이터는 "OAM" 데이터로서 표시되고, 도 1에서의 메타데이터 압축기(400)는 USAC 인코더(300)에 입력되는 압축된 OAM 데이터를 얻기 위해 OAM 인코더(400)에 대응한다. USAC 인코더(300)는 도 3에서 알 수 있듯이, 인코딩된 채널/객체 데이터를 가질 뿐 아니라 압축된 OAM 데이터를 갖는 MP4 출력 데이터 스트림을 얻기 위해 출력 인터페이스를 더 포함한다.

도 5는 인코더의 추가 실시예를 도시하며, 여기서 도 3에 비해, SAOC 인코더는, 이 모드에서 활성화되지 않는 사전-렌더러/믹서(200)에 제공된 채널들을 SAOC 인코딩 알고리즘을 통해 인코딩하거나, 대안적으로 사전-렌더링된 채널들과 객체들을 더한 것을 SAOC 인코딩하도록 구성될 수 있다. 따라서, 도 5에서, SAOC 인코더(800)는 3가지 상이한 종류들의 입력 데이터, 즉 어떠한 사전-렌더링된 객체들을 갖지 않는 채널들, 채널들 및 사전-렌더링된 객체들, 또는 객체들 전용 상에서 동작할 수 있다. 더욱이, 도 5에서의 추가 OAM 디코더(420)를 제공하는 것이 바람직하여, SAOC 인코더(800)는 처리를 위해, 디코더 측 상에서와 동일한 데이터, 즉 원본 OAM 데이터가 아니라 손실 압축에 의해 얻어진 데이터를 이용한다.

도 5의 인코더는 여러 개별적인 모드들로 동작할 수 있다.

도 1의 정황에서 논의된 제 1 및 제 2 모드들 외에도, 도 5의 인코더는, 사전-렌더러/믹서(200)가 활성화되지 않을 때 코어 인코더가 개별적인 객체들로부터 하나 이상의 전송 채널들을 생성하는 제 3 모드로 추가적으로 동작할 수 있다. 대안적으로 또는 추가적으로, 이러한 제 3 모드에서, SAOC 인코더(800)는, 즉 다시 도 1의 믹서(200)에 대응하는 사전-렌더러/믹서(200)가 활성화되지 않을 때, 원본 채널들로부터 하나 이상의 대안적인 또는 추가 전송 채널들을 생성할 수 있다.

마지막으로, SAOC 인코더(800)는, 인코더가 제 4 모드로 구성될 때, 사전-렌더러/믹서에 의해 생성된 사전-렌더링된 객체들을 채널들에 더한 것을 인코딩할 수 있다. 따라서, 제 4 모드에서, 가장 낮은 비트율 어플리케이션들은, 채널들 및 객체들이 "SAOC-SI"로서 도 3 및 도 5에 표시된 바와 같이 개별적인 SAOC 전송 채널들 및 연관된 부가 정보로 완전히 변형되었고, 추가적으로, 이러한 제 4 모드에서 어떠한 압축된 메타데이터도 송신될 필요는 없다.

도 2는 본 발명의 실시예에 따른 디코더를 도시한다. 디코더는 입력부로서, 인코딩된 오디오 데이터, 즉 도 1의 데이터(501)를 수신한다.

디코더는 메타데이터 압축 해제기(1400), 코어 디코더(1300), 객체 프로세서(1200), 모드 제어기(1600), 및 후치 프로세서(1700)를 포함한다.

특히, 오디오 디코더는 인코딩된 오디오 데이터를 디코딩하기 위해 구성되고, 입력 인터페이스는 인코딩된 오디오 데이터를 수신하기 위해 구성되고, 인코딩된 오디오 데이터는 복수의 인코딩된 채널들 및 복수의 인코딩된 객체들 및 특정 모드에서의 복수의 객체들에 관련된 압축된 메타데이터를 포함한다.

더욱이, 코어 디코더(1300)는 복수의 인코딩된 채널들 및 복수의 인코딩된 객체들을 디코딩하기 위해 구성되고, 추가적으로, 메타데이터 압축 해제기는 압축된 메타데이터를 압축 해제하기 위해 구성된다.

더욱이, 객체 프로세서(1200)는 객체 데이터를 포함하는 미리 결정된 수의 출력 채널들 및 디코딩된 채널들을 얻기 위해 압축 해제된 메타데이터를 이용하여 코어 디코더(1300)에 의해 생성된 복수의 디코딩된 객체들을 처리하기 위해 구성된다. 1205로서 표시된 이들 출력 채널들은 후치 프로세서(1700)에 입력된다. 후치 프로세서(1700)는 다수의 출력 채널들(1205)을 특정 출력 포맷으로 변환하기 위해 구성되며, 이러한 특정 출력 포맷은 5.1, 7.1, 등의 출력 포맷과 같이 입체 음향 출력 포맷 또는 스피커 출력 포맷일 수 있다.

바람직하게, 디코더는 모드 표시를 검출하기 위해 인코딩된 데이터를 분석하기 위해 구성되는 모드 제어기(1600)를 포함한다. 그러므로, 모드 제어기(1600)는 도 2에서의 입력 인터페이스(1100)에 연결된다. 하지만, 대안적으로, 모드 제어기는 반드시 입력 인터페이스에 있을 필요는 없다. 그 대신, 융통성있는 디코더는 사용자 입력 또는 임의의 다른 제어와 같은 임의의 다른 종류의 제어 데이터에 의해 사전 설정될 수 있다. 도 2에서의 오디오 디코더, 및 바람직하게 모드 제어기(1600)에 의해 제어된 오디오 디코더는 객체 프로세서를 우회하고, 복수의 디코딩된 채널들을 후치 프로세서(1700)에 공급하도록 구성된다. 이것은 모드 2, 즉 모드 2가 도 1의 인코더에 적용될 때, 즉 사전-렌더링된 채널들이 수신되는 모드 2에서의 동작이다. 대안적으로, 모드 1이 인코더에 적용될 때, 즉 인코더가 개별적인 채널/객체 코딩을 수행할 때, 객체 프로세서(1200)는 우회하지 않고, 복수의 디코딩된 채널들 및 복수의 디코딩된 객체들은 메타데이터 압축 해제기(1400)에 의해 생성된 압축 해제된 메타데이터와 함께 객체 프로세서(1200)에 공급된다.

바람직하게, 모드 1 또는 모드 2가 적용되는 지의 여부에 대한 표시는 인코딩된 오디오 데이터에 포함되고, 모드 제어기(1600)는 모드 표시를 검출하기 위해 인코딩된 데이터를 분석한다. 모드 1은, 인코딩된 오디오 데이터가 인코딩된 채널들을 포함한다는 것을 모드 표시가 표시할 때 사용되고, 모드 2는, 인코딩된 오디오 데이터가 임의의 오디오 객체들을 포함하지 않는데, 즉 도 1의 인코더의 모드 2에 의해 얻어진 사전-렌더링된 채널들만을 포함한다는 것을 표시할 때 적용된다.

도 4는 도 2의 디코더에 비해 바람직한 실시예를 도시하고, 도 4의 실시예는 도 3의 인코더에 대응한다. 도 2의 디코더 구현 외에도, 도 4에서의 디코더는 SAOC 디코더(1800)를 포함한다. 더욱이, 도 2의 객체 프로세서(1200)는 개별적인 객체 렌더러(1210) 및 믹서(1220)로서 구현되는 한편, 모드에 따라, 객체 렌더러(1210)의 기능은 또한 SAOC 디코더(1800)에 의해 구현될 수 있다.

더욱이, 후치 프로세서(1700)는 입체 음향 렌더러(1710) 또는 포맷 변환기(1720)로서 구현될 수 있다. 대안적으로, 도 2의 데이터(1205)의 직접 출력은 또한 1730으로 도시된 바와 같이 구현될 수 있다. 그러므로, 융통성을 갖고 그런 후에 더 작은 포맷이 요구되는 경우 후치-처리하기 위해 22.2 또는 32와 같은 채널들의 가장 높은 수 상에서 디코더에서의 처리를 수행하는 것이 바람직하다. 하지만, 5.1 포맷과 같은 작은 포맷이 요구되는 바로 개시부에서 명백하게 될 때, SAOC 디코더 및/또는 USAC 디코더를 통한 특정 제어가 불필요한 업믹싱 동작들 및 무속 다운믹싱 동작들을 피하기 위해 적용될 수 있다는 것이 도 2 또는 도 6에 의해 숏컷(shortcut)(1727)에 의해 표시된 바와 같이 바람직하다.

본 발명의 바람직한 실시예에서, 객체 프로세서(1200)는 SAOC 디코더(1800)를 포함하고, SAOC 디코더는, 코어 디코더에 의해 출력 하나 이상의 전송 패널들 및 연관된 파라미터적 데이터를 디코딩하고 압축된 메타데이터를 이용하여, 복수의 렌더링된 오디오 객체들을 얻기 위해 구성된다. 이 때문에, OAM 출력은 박스(1800)에 연결된다.

더욱이, 객체 프로세서(1200)는 코어 디코더에 의해 출력된 디코딩된 객체들을 렌더링하도록 구성되고, 코어 디코더는 SAOC 전송 채널들에서 인코딩되지 않고, 객체 렌더러(1210)에 의해 표시된 일반적으로 단일 채널링된 요소들에서 개별적으로 인코딩된다. 더욱이, 디코더는 믹서의 출력을 스피커들에 출력하기 위한 출력(1730)에 대응하는 출력 인터페이스를 포함한다.

추가 실시예에서, 객체 프로세서(1200)는 하나 이상의 전송 채널들, 및 인코딩된 오디오 객체들 또는 인코딩된 오디오 채널들을 나타내는 연관된 파라미터적 부가 정보를 디코딩하기 위한 공간 오디오 객체 코딩 디코더(1800)를 포함하고, 공간 오디오 객체 코딩 디코더는 연관된 파라미터적 정보 및 압축 해제된 메타데이터를 예를 들어 SAOC의 더 이른 버전에서 한정된 바와 같이, 출력 포맷을 직접 렌더링하는데 유용한 트랜스코딩된(transcoded) 파라미터적 부가 정보로 트랜스코딩하도록 구성된다. 후치 프로세서(1700)는 디코딩된 전송 채널들 및 트랜스코딩된 파라미터적 부가 정보를 이용하여 출력 포맷의 오디오 채널들을 계산하기 위해 구성된다. 후치 프로세서에 의해 수행된 처리는 MPEG 서라운드 처리와 유사할 수 있거나, BCC 처리 등과 같은 임의의 다른 처리일 수 있다.

추가 실시예에서, 객체 프로세서(1200)는 디코딩된(코어 디코더에 의해) 전송 채널들 및 파라미터적 부가 정보를 이용하여 출력 포맷에 대한 채널 신호들을 직접 업믹싱하고 렌더링하도록 구성된 공간 오디오 객체 코딩 디코더(1800)를 포함한다.

더욱이, 그리고 중요하게, 도 2의 객체 프로세서는 믹서(1220)를 추가로 포함하고, 믹서(1220)는 입력으로서, 채널들과 믹싱된 사전-렌더링된 객체들이 존재할 때, 즉 도 1의 믹서(200)가 활성화될 때 USAC 디코더(!300)에 의해 직접 출력된 데이터를 수신한다. 추가적으로, 믹서(1220)는 SAOC 디코딩 없이 객체 렌더링을 수행하는 객체 렌더러로부터 데이터를 수신한다. 더욱이, 믹서는 SAOC 디코더 출력 데이터, 즉 SAOC 렌더링된 객체들을 수신한다.

믹서(1220)는 출력 인터페이스(1730), 입체 음향 렌더러(1710) 및 포맷 변환기(1720)에 연결된다. 입체 음향 렌더러(1710)는 머리 관련 전달 함수들 또는 입체 음향 룸 임펄스 응답들(BRIR)을 이용하여 출력 채널들을 2개의 입체 음향 채널들로 렌더링하기 위해 구성된다. 포맷 변환기(1720)는, 믹서 및 포맷 변환기(1720)의 출력 채널들(1205)이 5.1 스피커들 등과 같이 재생 레이아웃에 관한 정보를 요구하기 보다 출력 채널들을 낮은 수의 채널들을 갖는 출력 포맷으로 변환하기 위해 구성된다.

도 6의 디코더는, SAOC 디코더가 렌더링된 객체들 뿐 아니라 렌더링된 채널들을 생성할 뿐 아니라 이것이 도 5의 인코더가 사용되었고 채널들/사전-렌더링된 객체들과 SAOC 인코더(800) 입력 인터페이스 사이의 연결(900)이 활성화될 때 그러하다는 점에서 도 4의 디코더와 상이하다.

더욱이, SAOC 디코더로부터 재생 레이아웃에 관한 정보를 수신하고, 렌더링 매트릭스를 SAOC 디코더에 출력하여, SAOC 디코더가 결국 1205의 높은 채널 포맷, 즉 32 스피커들에서 믹서의 어떠한 추가 동작 없이 렌더링된 채널들을 제공할 수 있는 벡터 기반의 진폭 패닝(VBAP) 스테이지(1810)가 구성된다.

VBAP 블록은 바람직하게 렌더링 매트릭스들을 도출하기 위해 디코딩된 OAM 데이터를 수신한다. 더 일반적으로, 바람직하게 재생 레이아웃의 기하학적 정보 뿐 아니라 입력 신호들이 재생 레이아웃 상으로 렌더링되어야 하는 위치들의 기하학적 정보를 요구한다. 이러한 기하학적 입력 데이터는 SAOC를 이용하여 송신된 채널들에 대한 객체들 또는 채널 위치 정보에 대한 OAM 데이터일 수 있다.

하지만, 특정 출력 인터페니스가 요구되는 경우, VBAP 상태(1810)는 예를 들어, 5.1 출력에 대한 요구된 렌더링 매트릭스를 미리 제공할 수 있다. SAOC 디코더(1800)는 SAOC 전송 채널들, 연관된 파라미터적 데이터 및 압축 해제된 메타데이터로부터의 직접 렌더링, 믹서(1220)의 어떠한 상호 작용 없이 요구된 출력 포맷으로의 직접 렌더링을 수행한다. 하지만, 모드들 사이의 특정 믹스가 적용될 때, 즉 여러 채널들이 SAOC 인코딩되지만 모든 채널들이 SAOC 인코딩되지 않는 경우, 또는 여러 객체들이 SAOC 인코딩되지만, 모든 객체들이 SAOC 인코딩되지 않은 경우, 또는 채널들을 갖는 특정 양의 사전-렌더링된 객체들이 SAOC 디코딩되고 나머지 채널들이 SAOC 처리되지 않을 때, 믹서는 개별적인 입력 부분들로부터, 예를 들어, 코어 디코더(1300)로부터 직접, 객체 렌더러(1210)로부터 그리고 SAOC 디코더(1800)로부터 데이터를 종합할 것이다.

후속하여, 도 7은 본 발명의 크게 융통성있고 높은 품질의 오디오 인코더/디코더 개념에 의해 적용될 수 있는 특정 인코더/디코더 모드들을 표시하기 위해 논의된다.

제 1 코딩 모드에 따라, 도 1의 인코더에서의 믹서(200)는 우회되므로, 도 2의 디코더에서의 객체 프로세서는 우회되지 않는다.

제 2 모드에서, 도 1에서의 믹서(200)는 활성화되고, 도 2에서의 객체 프로세서는 우회된다.

그런 후에, 제 3 코딩 모드에서, 도 3의 SAOC 인코더는 활성화되지만, 채널들 또는 믹서에 의해 출력된 채널들보다 객체들을 SAOC 인코딩한다. 그러므로, 모드 3은, 도 4에 도시된 디코더 측 상에서, SAOC 디코더가 객체들에 대해서만 활성화되고 렌더링된 객체들을 생성하는 것을 요구한다.

도 5에 도시된 제 4 코딩 모드에서, SAOC 인코더는 사전-렌더링된 채널들을 SAOC 인코딩하기 위해 구성되는데, 즉, 믹서는 제 2 모드로서 활성화된다. 디코더 측 상에서, SAOC 디코딩은, 객체 프로세서가 제 2 코딩 모드에서와 같이 우회되도록 사전-렌더링된 객체들에 대해 수행된다.

더욱이, 모드들 1 내지 4 중 임의의 믹스에 의한 것일 수 있는 제 5 코딩 모드가 존재한다. 특히, 믹스 코딩 모드는, 도 6에서의 믹서(1220)가 USAC 디코더로부터 직접 채널들을 수신하고, 추가로 USAC 디코더로부터 사전-렌더링된 객체들을 갖는 채널들을 수신할 때 존재할 것이다. 더욱이, 이러한 믹싱된 코딩 모드에서, 객체들은 바람직하게, USAC 디코더의 단일 채널 요소를 이용하여 직접 인코딩된다. 이러한 정황에서, 객체 렌더러(1210)는 이들 디코딩된 객체들을 렌더링할 것이고, 이들을 믹서(1220)에 송출할 것이다. 더욱이, 여러 객체들은 SAOC 인코더에 의해 추가로 인코딩되어, SAOC 디코더는, SAOC 기술에 의해 인코딩된 여러 채널들이 존재할 때 렌더링된 객체들 및/또는 렌더링된 채널들을 믹서에 출력할 것이다.

믹서(1220)의 각 입력 부분은 이 후, 예시적으로 1205로 표시된 32와 같은 채널들의 수를 수신하기 위한 적어도 잠재성을 가질 수 있다. 따라서, 기본적으로, 믹서는 USAC 디코더로부터 32 채널들을 수신할 수 있고, 추가적으로, USAC 디코더로부터 32 사전-렌더링/믹싱된 채널들을 수신할 수 있고, 추가적으로, 객체 렌더러로부터 32 "채널들"을 수신할 수 있고, 추가적으로, SAOC 디코더로부터 32 "채널들"을 수신할 수 있고, 여기서 한 편으로 1210 및 1218과 다른 한 편으로 블록(1220) 사이의 각 "채널"은 대응하는 스피커 채널에서의 대응하는 객체들의 기여를 갖고, 그런 후에 믹서(1220)는 믹싱하는데, 예를 들어, 각 스피커 채널에 대한 개별적인 기여들을 가산한다.

본 발명의 바람직한 실시예에서, 인코딩/디코딩 시스템은 채널 및 객체 신호들의 코딩에 대한 MPEG-D USAC 코덱에 기초한다. 다량의 객체들을 코딩하기 위한 효율을 증가시키기 위해, MPEG SAOC 기술이 적응되었다. 3가지 유형들의 렌더러들은 객체들을 채널들로 렌더링하고, 채널들을 헤드폰들에 렌더링하거나, 채널들을 상이한 스피커 설정에 렌더링하는 작업을 수행한다. 객체 신호들이 SAOC를 이용하여 명시적으로 송신되거나 파라미터적으로 인코딩될 때, 대응하는 객체 메타데이터 정보는 압축되어 인코딩된 출력 데이터로 멀티플렉싱된다.

실시예에서, 사전-렌더러/믹서(200)는 채널을 더한 객체 입력 장면을 인코딩 이전에 채널 장면으로 변환하는데 사용된다. 기능적으로, 도 4 또는 도 6에 도시되고 도 2의 객체 프로세서(1200)에 의해 표시된 바와 같이 디코더 측 상의 객체 렌더러/믹서 조합과 동일하다. 객체들의 사전-렌더링은 다수의 동시에 활성의 객체 신호들에 기본적으로 독립적인 인코더 입력에서 결정론적 신호 엔트로피를 보장한다. 객체들의 사전-렌더링을 통해, 객체 메타데이터 송신은 요구되지 않는다. 이산 객체 신호들은, 인코더가 사용하도록 구성되는 채널 레이아웃으로 렌더링된다. 각 채널에 대한 객체들의 가중치들은 화살표(402)로 표시된 바와 같이 연관된 객체 메타데이터(OAM)로부터 얻어진다.

스피커 채널 신호들, 이산 객체 신호들, 객체 다운믹스 신호들 및 사전-렌더링된 신호들에 대한 코어/인코더/디코더로서, USAC 기술이 바람직하다. 이것은 채널 및 객체 매핑 정보(입력 채널 및 객체 할당의 기하학적 및 구문적 정보)를 생성함으로써 신호들의 크기의 코딩을 다룬다. 이러한 매핑 정보는, 입력 채널들 및 객체들이 도 10에 도시된 USAC 채널 요소들, 예를 들어, 채널 쌍 요소들(CPEs), 단일 채널 요소들(SCEs), 채널 쿼드 요소들(QCEs)에 어떻게 매핑되는 지를 기재하고, 대응하는 정보는 코어 인코더로부터 코어 디코더로 송신된다. SAOC 데이터 또는 객체 메타데이터와 같은 모든 추가 페이로드들(payloads)은 연장 요소들을 통과하였고, 인코더의 속도(rate) 제어에서 고려되었다.

객체들의 코딩은 속도/왜곡 요건들 및 렌더러에 대한 상호 작용성(interactivity) 요건들에 따라 상이한 방식들로 가능하다. 다음의 객체 코딩 변경들이 가능하다:

- 사전 렌더링된 객체들: 객체 신호들은 사전 렌더링되고 인코딩 이전에 22.2 채널 신호들로 믹싱된다. 후속 코딩 체인은 22.2 채널 신호들을 본다.

- 이산 객체 파형들: 객체들은 모노포닉(monophonic) 파형들로서 인코더에 공급된다. 인코더는 채널 신호들 외에도 객체들을 송신하기 위해 단일 채널 요소들(SCEs)을 이용한다. 디코딩된 객체들은 렌더링되고, 수신사 측에서 믹싱된다. 압축된 객체 메타데이터 정보는 수신기/렌더러로 함께 송신된다.

- 파라미터적 객체 파형들: 객체 특성들 및 서로에 대한 관계는 SAOC 파라미터들에 의해 기재된다. 객체 신호들의 다운-믹스는 USAC로 코딩된다. 파라미터적 정보는 함께 송신된다. 다운믹스 채널들의 수는 객체들의 수 및 전체 데이터 속도에 따라 선택된다. 압축된 객체 메타데이터 정보는 SAOC 렌더러로 송신된다.

객체 신호들에 대한 SAOC 인코더 및 디코더는 MPEG SAOC 기술에 기초한다. 시스템은 더 작은 수의 송신된 채널들 및 추가 파라미터적 데이터{OLD들, IOC들(Inter Object Coherence), DMG들(Down Mix Gains)}에 기초하여 다수의 오디오 객체들을 재생성하고, 변형하고, 렌더링할 수 있다. 추가 파라미터적 데이터는 모든 객체들을 개별적으로 송신하기 위해 요구된 것보다 상당히 더 낮은 데이터 속도를 나타내어, 이것은 코딩을 매우 효율적이게 만든다.

SAOC 인코더는 모노포닉 파형들로서 객체/채널 신호들을 입력으로서 취하고, 파라미터적 정보(3D-오디오 비트스트림으로 패킹됨) 및 SAOC 전송 채널들(단일 채널 요소들을 이용하여 인코딩되고, 송신됨)을 출력한다.

SAOC 디코더는 디코딩된 SAOC 전송 채널들 및 파라미터적 정보로부터 객체/채널 신호들을 재구성하고, 재생 레이아웃, 압축 해제된 객체 메타데이터 정보 및, 선택적으로 사용자 상호 작용 정보에 기초하여 출력 오디오 장면을 생성한다.

각 객체에 대해, 3D 공간에서의 객체의 기하학적 위치 및 부피를 규정하는 연관된 메타데이터는 시간 및 공간에서 객체 특성들의 양자화에 의해 효율적으로 코딩된다. 압축된 객체 메타데이터(cOAM)는 부가 정보로서 수신기에 송신된다. 객체의 부피는 이러한 오디오 객체의 오디오 신호의 신호 레벨의 정보 및/또는 공간 연장에 관한 정보를 포함할 수 있다.

객체 렌더러는 주어진 재생 포맷에 따라 객체 파형들을 생성하기 위해 압축된 객체 메타데이터를 이용한다. 각 객체는 그 메타데이터에 따라 특정 출력 채널들로 렌더링된다. 이러한 블록의 출력은 부분 결과들의 합으로부터 초래된다.

채널 기반의 컨텐트 및 이산/파라미터적 객체들이 디코딩되면, 채널 기반의 파형들 및 렌더링된 객체 파형들은 결과적인 파형들을 출력하기 전에(또는 입체 음향 렌더러와 같은 후치 프로세서 모듈 또는 스피커 렌더러 모듈에 공급하기 전에) 믹싱된다.

입체 음향 렌더러 모듈은 다중 채널 오디오 재료의 입체 음향 다운믹스를 발생시켜, 각 입력 채널은 가상 사운드 소스에 의해 표현된다. 처리는 QMF(Quadrature Mirror Filterbank) 도메인에서 프레임 방식으로 수행된다.

입체 음향화는 측정된 입체 음향 룸 임펄스 응답들에 기초한다.

도 8은 포맷 변환기(1720)의 바람직하 실시예를 도시한다. 스피커 렌더러 또는 포맷 변환기는 송신기 채널 구성과 원하는 재생 포맷 사이에서 변환한다. 이러한 포맷 변환기는 낮은 수의 출력 채널들로의 변환을 수행하는데, 즉, 다운믹스들을 생성한다. 이 때문에, QMF 도메인에서 바람직하게 동작하는 다운믹서(1722)는 믹서 출력 신호들(1205)을 수신하고, 스피커 신호들을 출력한다. 바람직하게, 다운믹서(1722)를 구성하기 위한 제어기(1724)가 제공되고, 이것은 제어 입력으로서 믹서 출력 레이아웃, 즉 데이터(1205)가 결정되고 원하는 재생 레이아웃이 일반적으로 도 6에 도시된 포맷 변환 블록(1720)에 입력된 레이아웃을 수신한다. 이러한 정보에 기초하여, 제어기(1724)는 바람직하게 입력과 출력 포맷들의 주어진 조합에 대한 최적화된 다운믹스 매트릭스들을 자동으로 생성하고, 다운믹스 프로세스에서 다운믹서 블록(1722)에서의 이들 매트릭스들을 적용한다. 포맷 변환기는 표준 스피커 구성들 및 비-표준 스피커 위치들을 갖는 무작위 구성들을 허용한다.

도 6의 정황에 도시된 바와 같이, SAOC 디코더는 목표 재생 레이아웃으로의 후속 포맷 변환을 가지고 22.2와 같은 미리 한정된 채널 레이아웃으로 렌더링하도록 설계된다. 하지만, 대안적으로, SAOC 디코더는, SAOC 디코더가 후속 포맷 변환 없이 재생 레이아웃에 직접 디코딩하도록 구성되는 "저전력" 모드를 지원하도록 구성된다. 이러한 구현에서, SAOC 디코더(1800)는 5.1 스피커 신호들과 같은 스피커 신호를 직접 출력하고, SAOC 디코더(1800)는 재생 레이아웃 정보 및 렌더링 매트릭스를 요구하여, 벡터 기반의 진폭 패닝 또는 다운믹스 정보를 생성하기 위한 임의의 다른 종류의 프로세서가 동작할 수 있다.

도 9는 도 6의 입체 음향 렌더러(1710)의 추가 실시예를 도시한다. 특히, 모바일 디바이스들에 대해, 입체 음향 렌더링은 그러한 모바일 디바이스들에 부착된 헤드폰들 또는 일반적으로 소형 모바일 디바이스들에 직접 부착된 스피커들에 대해 요구된다. 그러한 모바일 디바이스들에 대해, 디코더 및 렌더링 복잡도를 제한하기 위한 제약들이 존재할 수 있다. 그러한 처리 시나리오들에서 역상관을 생략하는 것 외에도, 먼저 다운믹서(1712)를 이용하여 중간 다운믹스로 다운믹싱하는 것이 바람직한데, 즉 낮은 수의 출력 채널들로 다운믹싱하는 것이 바람직하며, 이것은 입체 음향 변환기(1714)에 대한 낮은 수의 입력 채널을 초래한다. 경험적으로, 22.2 채널 자료는 다운믹서(1712)에 의해 5.1 중간 다운믹스로 다운믹싱되거나, 대안적으로, 중간 다운믹스는 일종의 "숏컷" 모드로 도 6의 SAOC 디코더(1800)에 의해 직접 계산된다. 그런 후에, 입체 음향 렌더링만이 10개의 HRTF들(Head Related Transfer Functions) 또는, 22.2 입력 채널들이 미리 직접 렌더링된 경우 BRIR 함수들에 대한 44 HRTF를 적용하는 것과 대조적으로 상이한 위치들에서 5개의 개별적인 채널들을 렌더링하기 위한 BRIR 함수들을 적용해야만 한다. 특히, 입체 음향 렌더링에 필요한 컨볼루션 동작들은 많은 처리 전력을 요구하므로, 여전히 수용가능한 오디오 품질을 얻으면서 이러한 처리 전력을 감소시키는 것이 특히 모바일 디바이스들에 유용하다.

바람직하게, 제어 라인(1727)에 의해 예시된 "솟컷"은 낮은 수의 채널들로 디코딩하기 위해 디코더(1300)를 제어하는 것, 즉 디코더에서의 완전한 OTT 처리 블록의 스키핑(skipping) 또는 낮은 수의 채널들로의 포맷 변환을 포함하고, 도 9에 도시된 바와 같이, 입체 음향 렌더링은 낮은 수의 채널들에 대해 수행된다. 동일한 처리는 도 6에서 라인(1727)에 의해 예시된 바와 같이 입체 음향 처리 뿐 아니라 포맷 변환에 대해 적용될 수 있다.

추가 실시예에서, 처리 블록들 사이의 효율적인 인터페이싱(interfacinbg)이 요구된다. 특히 도 6에서, 상이한 처리 블록들 사이의 오디오 신호 경로가 도시된다. 입체 음향 렌더러(1710), 포맷 변환기(1720), SAOC 디코더(1800) 및 USAC 디코더(1300)는, SBR(spectral band replication)이 적용되는 경우, 모두 QMF 또는 하이브리드 QMF 도메인에서 동작한다. 실시예에 따라, 이들 모든 처리 블록들은 효율적인 방식으로 QMF 도메인에서 서로 간에 오디오 신호들의 통과를 허용하기 위해 QMF 또는 하이브리드 QMF를 제공한다. 추가적으로, QMF 또는 하이브리드 QMF 도메인에서 작용하기 위해 믹서 모듈 및 객체 렌더러 모듈을 구현하는 것이 바람직하다. 그 결과, 개별적인 QMF 또는 하이브리드 QMF 분석 및 합성 스테이지들이 회피될 수 있고, 이것은 상당한 복잡도 절감을 초래하고, 최종 QMF 분석 스테이지는 1730에 표시된 스피커들을 생성하거나, 블록(1710)의 출력에서 입체 음향 데이터를 생성하거나, 블록(1720)의 출력에서 재생 레이아웃 스피커 신호들을 생성하기 위해 요구된다.

후속하여, 쿼드 채널 요소들(QCE)을 설명하기 위해 도 11이 참조된다. US AC-MPEG 표준에서 한정된 채널 쌍 요소와 대조적으로, 쿼드 채널 요소는 4개의 입력 채널들(90)을 요구하고, 인코딩된 QCE 요소(91)를 출력한다. 일실시예에서, 2-1-2 모드에서의 2개의 MPEG 서라운드 박스들 또는 2개의 TTO 박스들(TTO=Two To One) 및 MPEG USAC 또는 MPEG 서라운드에 한정된 추가 조인트 스테레오 코딩 툴들(예를 들어, MS-스테레오)의 계층이 제공되고, QCE 요소는 2개의 결합하여 스테레오 코딩된 다운믹스 채널들 뿐 아니라 선택적으로 2개의 결합하여 스테레오 코딩된 잔류 채널들, 및 추가적으로 예를 들어 2개의 TTO 박스들로부터 도출된 파라미터적 데이터를 포함한다. 디코더 측 상에서, 2개의 다운믹스 채널들 및 선택적으로 2개의 잔류 채널들의 조인트 스테레오 디코딩이 적용되고 2개의 OTT 박스들을 갖는 제 2 스테이지에서 다운믹스 및 선태 잔류 채널들이 4개의 출력 채널들로 업믹싱되는 구조가 적용된다. 하지만, 하나의 QCE 인코더에 대한 대안적인 처리 동작들은 계층적 동작 대신에 적용될 수 있다. 따라서, 2개의 채널들의 그룹의 결합 채널 코딩 외에도, 코어 인코더/디코더는 추가적으로 4개의 채널들의 그룹의 결합 채널 코딩을 이용한다.

더욱이, 1200 kbps에서 절충되지 않은 풀-밴드(18kHz) 코딩을 가능하게 하기 위해 개선된 잡음 충진 절차를 수행하는 것이 바람직하다.

인코더는 동적 데이터에 대한 속도 버퍼(rate buffer)로서 채널당 6144 비트의 최대치를 이용하여 '비트-저장소를 갖는 일정한 속도' 방식으로 동작되었다.

SAOC 데이터 또는 객체 메타데이터와 같은 모든 추가 페이로드들은 확장 요소들을 통과하였고, 인코더의 속도 제어에서 고려되었다.

또한 3D 오디오 컨텐트에 대한 SAOC 기능들을 이용하기 위해, MPEG SOAC로의 다음의 확장들이 구현되었다:

- SAOC 전송 채널들의 임의의 수로의 다운믹싱.

- 높은 수의 스피커들(최대 22.2)을 갖는 출력 구성들로의 개선된 렌더링.

입체 음향 렌더러 모듈은 다중 채널 오디오 자료의 입체 음향 다운믹스를 발생하여, 각 입력 채널(LFE 채널들을 제외)은 가상 사운드 소스에 의해 표현된다. 처리는 QMF 도메인에서 프레임 방식으로 수행된다.

입체 음향화는 측정된 입체 음향 룸 임펄스 응답들에 기초한다. 직접 사운드 및 초기 반사들은 QMF 도메인의 상부 상의 고속 컨볼루션을 이용하여 의사-FFT 도메인에서 컨볼루셔널 접근법을 통해 오디오 자료에 날인(imprinted)된다.

몇몇 양상들이 장치의 정황에서 기재되었지만, 이들 양상들이 또한, 블록 또는 디바이스가 방법 단계 또는 방법 단계의 특징에 대응하는 대응하는 방법의 설명을 나타낸다는 것이 또한 명백하다. 유사하게, 방법 단계의 정황에서 기재된 양상들은 또한 대응하는 장치의 대응하는 블록 또는 항목 또는 특징의 설명을 나타낸다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그래밍가능 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 실행될 수 있다. 몇몇 실시예들에서, 하나 이상의 가장 중요한 방법 단계들의 몇몇은 그러한 장치에 의해 실행될 수 있다.

특정 구현 요건들에 따라, 본 발명의 실시예들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은 디지털 저장 매체, 예를 들어, 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM, 또는 FLASH 메모리를 이용하여 수행될 수 있는데, 이러한 디지털 저장 매체는 그 위에 저장된 전자적으로 판독가능한 제어 신호들을 갖고, 각 방법이 수행되도록 프로그래밍가능 컴퓨터 시스템과 협력한다(또는 협력할 수 있다). 그러므로, 디지털 저장 매체는 컴퓨터 판독가능할 수 있다.

본 발명에 따른 몇몇 실시예들은, 본 명세서에 기재된 방법들 중 하나가 수행되도록, 프로그래밍가능 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.

일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있고, 프로그램 코드는, 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 방법들 중 하나를 수행하기 위해 동작가능하다. 프로그램 코드는 예를 들어, 기계 판독가능한 캐리어 상에 저장될 수 있다.

다른 실시예들은 기계 판독가능한 캐리어 상에 저장된, 본 명세서에 기재된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.

즉, 그러므로, 본 발명의 방법의 실시예는, 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때, 본 명세서에 기재된 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.

그러므로, 본 발명의 방법들의 추가 실시예는 본 명세서에 기재된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 그 위에 리코딩되게 포함하는 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터-판독가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 리코딩된 매체는 일반적으로 실체적(tangible)이고 및/또는 비-과도적이다.

그러므로, 본 발명의 방법의 추가 실시예는 본 명세서에 기재된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 시퀀스 또는 데이터 스트림이다. 예를 들어, 신호들의 시퀀스들 또는 데이터 스트림은 데이터 통신 연결부를 통해, 예를 들어, 인터넷을 통해, 전송되도록 구성될 수 있다.

추가 실시예는 본 명세서에 기재된 방법들 중 하나를 수행하도록 프로그래밍되고, 구성되거나 적응된 처리 수단, 예를 들어, 컴퓨터, 또는 프로그래밍가능 논리 디바이스를 포함한다.

추가 실시예는 본 명세서에 기재된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 그 위에 설치된 컴퓨터를 포함한다.

본 발명에 따른 추가 실시예는 본 명세서에 기재된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에 (예를 들어, 전자적으로 또는 광학적으로) 전달하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예를 들어, 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수 있다. 장치 또는 시스템은 예를 들어, 컴퓨터 프로그램을 수신기에 전달하기 위한 파일 서버를 포함할 수 있다.

몇몇 실시예들에서, 프로그래밍가능 논리 디바이스(예를 들어, 전계 프로그래밍가능 게이트 어레이)는 본 명세서에 기재된 방법들의 기능들 중 몇몇 또는 전부를 수행하는데 사용될 수 있다. 몇몇 실시예들에서, 전계 프로그래밍가능 게이트 어레이는 본 명세서에 기재된 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 임의의 하드웨어 장치에 의해 바람직하게 수행된다.

전술한 실시예들은 본 발명의 원리들을 위해 단지 예시적이다. 본 명세서에 기재된 세부사항들 및 배치들의 변형들 및 변경들이 당업자에게 명백하다는 것이 이해된다. 그러므로, 본 명세서에서 실시예들의 기재 및 설명에 의해 제공된 특정 세부사항들에 의해서가 아니라 다음의 특허 청구항들의 범주에 의해서만 제한되도록 의도된다.

Claims

오디오 출력 데이터(501)를 얻기 위해 오디오 입력 데이터(101)를 인코딩하기 위한 오디오 인코더로서,
복수의 오디오 채널들, 복수의 오디오 객체들, 및 상기 복수의 오디오 객체들의 하나 이상에 관련된 메타데이터를 수신하기 위한 입력 인터페이스(100);
복수의 사전-믹싱된 채널들을 얻기 위해 상기 복수의 객체들 및 상기 복수의 채널들을 믹싱하기 위한 믹서(200)로서, 각 사전-믹싱된 채널은 채널의 오디오 데이터 및 적어도 하나의 객체의 오디오 데이터를 포함하는, 믹서(200);
코어 인코더 입력 데이터를 코어 인코딩하기 위한 코어 인코더(300); 및
상기 복수의 오디오 객체들의 하나 이상에 관련된 상기 메타데이터를 압축하기 위한 메타데이터 압축기(400)를 포함하고,
상기 오디오 인코더는, 상기 코어 인코더가 코어 인코더 입력 데이터로서 상기 입력 인터페이스에 의해 수신된 상기 복수의 오디오 채널들 및 상기 복수의 오디오 객체들을 인코딩하도록 구성되는 제 1 모드와, 상기 코어 인코더(300)가 상기 코어 인코더 입력 데이터로서 상기 믹서(200)에 의해 생성된 상기 복수의 사전-믹싱된 채널들을 수신하기 위해 구성되는 제 2 모드를 포함하는 적어도 2개의 모드들의 그룹의 모드들 모두에서 동작하도록 구성되는, 오디오 인코더.
제 1항에 있어서,
공간 오디오 객체 인코더 입력 데이터로부터 하나 이상의 전송 채널들 및 파라미터적(parametric) 데이터를 생성하기 위한 공간 오디오 객체 인코더(800)를 더 포함하고,
상기 오디오 인코더는, 상기 코어 인코더(300)가 상기 공간 오디오 객체 인코더 입력 데이터로부터 도출된 상기 하나 이상의 전송 채널들을 인코딩하는 제 3 모드로 추가적으로 동작하도록 구성되고, 상기 공간 오디오 객체 인코더 입력 데이터는 상기 복수의 오디오 객체들, 또는 추가적으로 또는 대안적으로, 상기 복수의 오디오 채널들의 2개 이상을 포함하는, 오디오 인코더.
제 1항 또는 제 2항에 있어서,
공간 오디오 객체 인코더 입력 데이터로부터 하나 이상의 전송 채널들 및 파라미터적 데이터를 생성하기 위한 공간 오디오 객체 인코더(800)를 더 포함하고,
상기 오디오 인코더는, 상기 코어 인코더가 상기 공간 오디오 객체 인코더 입력 데이터로서 상기 사전-믹싱된 채널들로부터 상기 공간 오디오 객체 인코더(800)에 의해 도출된 전송 채널들을 인코딩하는 제 4 모드로 추가적으로 동작하도록 구성되는, 오디오 인코더.
제 1항 내지 제 3항 중 어느 한 항에 있어서, 상기 제 1 모드로 상기 입력 인터페이스(100)의 출력을 상기 코어 인코더(300)의 입력에 연결하고, 상기 입력 인터페이스(100)의 상기 출력을 상기 믹서(200)의 입력에 연결하고, 상기 제 2 모드로 상기 믹서(200)의 출력을 상기 코어 인코더(300)의 상기 입력에 연결하기 위한 연결기, 및
사용자 인터페이스로부터 수신되거나 상기 오디오 입력 데이터(101)로부터 추출된 모드 표시(mode indication)에 따라 상기 연결기를 제어하기 위한 모드 제어기(600)를
더 포함하는, 오디오 인코더.
제 1항 내지 제 4항 중 어느 한 항에 있어서,
상기 오디오 출력 데이터(501)로서 출력 신호를 제공하기 위한 출력 인터페이스(500)로서, 상기 출력 신호는 상기 제 1 모드에서, 상기 코어 인코더(300)의 출력 및 압축된 메타데이터를 포함하고, 상기 제 2 모드에서, 어떠한 메타데이터 없이 상기 코어 인코더(300)의 출력을 포함하고, 상기 제 3 모드에서, 상기 코어 인코더(300)의 출력, SAOC 부가 정보 및 상기 압축된 메타데이터를 포함하고, 상기 제 4 모드에서, 상기 코어 인코더(300)의 출력 및 SAOC 부가 정보를 포함하는, 출력 인터페이스(500)를 더 포함하는, 오디오 인코더.
제 1항 내지 제 5항 중 어느 한 항에 있어서,
상기 믹서(200)는, 상기 복수의 채널들이 연관되는 리플레이 설정(replay setup)에서 각 채널의 위치의 표시와 상기 메타데이터를 이용하여 상기 복수의 오디오 객체들을 사전-렌더링하기 위해 구성되고,
상기 믹서(200)는, 상기 오디오 객체가 상기 메타데이터에 의해 결정된 바와 같이 상기 리플레이 설정에서의 상기 적어도 2개의 오디오 채널들 사이에 위치될 때, 오디오 객체를 적어도 2개의 오디오 채널들 및 이를 통해 오디오 채널들의 총 수로 믹싱하도록 구성되는, 오디오 인코더.
제 1항 내지 제 6항 중 어느 한 항에 있어서,
상기 메타데이터 압축기(400)에 의해 출력된 압축된 메타데이터를 압축 해제(decompressing)하기 위한 메타데이터 압축 해제기(420)를 더 포함하고,
상기 믹서(200)는 압축 해제된 메타데이터에 따라 상기 복수의 객체들을 믹싱하도록 구성되고, 상기 메타데이터 압축기(400)에 의해 수행된 압축 동작은 양자화 단계를 포함하는 손실 압축 동작인, 오디오 인코더.
인코딩된 오디오 데이터를 디코딩하기 위한 오디오 디코더로서,
상기 인코딩된 오디오 데이터를 수신하기 위한 입력 인터페이스(1100)로서, 상기 인코딩된 오디오 데이터는 복수의 인코딩된 채널들 또는 복수의 인코딩된 객체들 또는 상기 복수의 객체들에 관련된 압축 메타데이터를 포함하는, 입력 인터페이스(1100);
상기 복수의 인코딩된 채널들 및 상기 복수의 인코딩된 객체들을 디코딩하기 위한 코어 디코더(1300);
상기 압축된 메타데이터를 압축 해제하기 위한 메타데이터 압축 해제기(1400),
상기 객체들로부터 오디오 데이터를 포함하는 출력 채널들(1205)의 수 및 상기 디코딩된 채널들을 얻기 위해 상기 압축 해제된 메타데이터를 이용하여 상기 복수의 디코딩된 객체들을 처리하기 위한 객체 프로세서(1200); 및
상기 출력 채널들(1205)의 수를 출력 포맷으로 변환하기 위한 후치 프로세서(1700)를 포함하고,
상기 오디오 디코더는, 상기 객체 프로세서를 우회하고, 상기 인코딩된 오디오 데이터가 어떠한 오디오 객체들도 포함하지 않을 때 복수의 디코딩된 채널들을 상기 후치 프로세서(1700)에 공급하고, 상기 인코딩된 오디오 데이터가 인코딩된 채널들 및 인코딩된 객체들을 포함할 때 복수의 디코딩된 객체들 및 상기 복수의 디코딩된 채널들을 상기 객체 프로세서(1200)에 공급하도록 구성되는, 오디오 디코더.
제 8항에 있어서, 상기 후치 프로세서(1700)는 상기 출력 채널들(1205)의 수를 입체 음향 표현, 또는 상기 출력 채널들의 수보다 더 작은 수의 채널들을 갖는 재생 포맷으로 변환하도록 구성되고,
상기 오디오 디코더는 사용자 인터페이스로부터 도출되거나 상기 인코딩된 오디오 신호로부터 추출된 제어 입력에 따라 상기 후치 프로세서(1700)를 제어하도록 구성되는, 오디오 디코더.
제 8항 또는 제 9항에 있어서, 상기 객체 프로세서는
압축 해제된 메타데이터를 이용하여 디코딩된 객체들을 렌더링하기 위한 객체 렌더러; 및
상기 출력 채널들(1205)의 수를 얻기 위해 렌더링된 객체들 및 디코딩된 채널들을 믹싱하기 위한 믹서(1220)를
포함하는, 오디오 디코더.
제 8항 내지 제 10항 중 어느 한 항에 있어서, 상기 객체 프로세서(1200)는
하나 이상의 전송 채널들과, 인코딩된 오디오 객체들을 나타내는 연관된 파라미터적 부가 정보를 디코딩하기 위한 공간 오디오 객체 코딩 디코더로서, 상기 공간 오디오 객체 코딩 디코더는 상기 오디오 객체들의 배치에 관련된 렌더링 정보에 따라 상기 디코딩된 오디오 객체들을 렌더링하고, 상기 출력 채널들(1205)의 수를 얻기 위해 상기 렌더링된 오디오 객체들과 상기 디코딩된 오디오 채널들을 믹싱하기 위해 상기 객체 프로세서를 제어하도록 구성되는, 오디오 디코더.
제 8항 내지 제 10항 중 어느 한 항에 있어서, 상기 객체 프로세서(1200)는 하나 이상의 전송 채널들, 및 인코딩된 오디오 객체들과 인코딩된 오디오 채널들을 나타내는 연관된 파라미터적 부가 정보를 디코딩하기 위한 공간 오디오 객체 코딩 디코더(1800)를 포함하고,
상기 공간 오디오 객체 코딩 디코더는 상기 하나 이상의 전송 채널들 및 상기 파라미터적 부가 정보를 이용하여 상기 인코딩된 오디오 객체들 및 상기 인코딩된 오디오 채널들을 디코딩하도록 구성되고, 상기 객체 프로세서는 상기 압축 해제된 메타데이터를 이용하여 상기 복수의 오디오 객체들을 렌더링하고, 상기 채널들을 디코딩하고, 이들을 상기 렌더링된 객체들과 믹싱하여 상기 출력 채널들(1205)의 수를 얻도록 구성되는, 오디오 디코더.
제 8항 내지 제 10항 중 어느 한 항에 있어서, 상기 객체 프로세서(1200)는 하나 이상의 전송 채널들과, 인코딩된 오디오 객체들 또는 인코딩된 오디오 채널들을 나타내는 연관된 파라미터적 부가 정보를 디코딩하기 위한 공간 오디오 객체 코딩 디코더(1800)를 포함하고,
상기 공간 오디오 객체 코딩 디코더는 상기 연관된 파라미터적 정보 및 상기 압축 해제된 메타데이터를, 상기 출력 포맷을 직접 렌더링하는데 사용가능한 트랜스코딩된(transcoded) 파라미터적 부가 정보로 트랜스코딩하도록 구성되고, 상기 후치 프로세서(1700)는 상기 디코딩된 전송 채널들 및 상기 트랜스코딩된 파라미터적 부가 정보를 이용하여 상기 출력 포맷의 오디오 채널들을 계산하기 위해 구성되고, 또는
상기 공간 오디오 객체 코딩 디코더는 상기 디코딩된 전송 채널들 및 상기 파라미터적 부가 정보를 이용하여 상기 출력 포맷에 대한 채널 신호들을 직접 업믹싱(upmix)하고 렌더링하도록 구성되는, 오디오 디코더.
제 8항 내지 제 13항 중 어느 한 항에 있어서,
상기 객체 프로세서(1200)는 복수의 렌더링된 오디오 객체들을 얻기 위해 상기 코어 디코더(1300)에 의해 출력된 하나 이상의 전송 채널들, 및 연관된 파라미터적 데이터, 및 압축 해제된 메타데이터를 디코딩하기 위한 공간 오디오 객체 코딩 디코더를 포함하고,
상기 객체 프로세서(1200)는 상기 코어 디코더(1300)에 의해 출력된 디코딩된 객체들을 렌더링하도록 더 구성되고;
상기 객체 프로세서(1200)는 렌더링된 디코딩된 객체들을 디코딩된 채널들과 믹싱하도록 더 구성되고,
상기 오디오 디코더는 상기 믹서(1220)의 출력을 스피커들에 출력하기 위한 출력 인터페이스(1730)를 더 포함하고,
상기 후치 프로세서는
머리 관련 전달 함수들 또는 입체 음향 임펄스 응답들을 이용하여 상기 출력 채널들을 2개의 입체 음향 채널들로 렌더링하기 위한 입체 음향 렌더러, 및
상기 출력 채널들을 출력 포맷으로 변환하기 위한 포맷 변환기(1720)로서, 상기 출력 포맷은 재생 레이아웃에 관한 정보를 이용하여 상기 믹서(1220)의 상기 출력 채널들보다 더 낮은 수의 채널들을 갖는, 포맷 변환기(1720)를 더 포함하는, 오디오 디코더.
제 8항 내지 제 14항 중 어느 한 항에 있어서,
상기 복수의 인코딩된 채널 요소들 또는 상기 복수의 인코딩된 오디오 객체들은 채널 쌍 요소들, 단일 채널 요소들, 저주파수 요소들 또는 쿼드 채널 요소들로서 인코딩되고, 쿼드 채널 요소는 4개의 원본 채널들 또는 객체들을 포함하고,
상기 코어 디코더(1300)는 채널 쌍 요소, 단일 채널 요소, 저주파수 요소 또는 쿼드 채널 요소를 나타내는 상기 인코딩된 오디오 데이터에 포함된 부가 정보에 따라 상기 채널 쌍 요소들, 단일 채널 요소들, 저주파수 요소들 또는 쿼드 채널 요소들을 인코딩하도록 구성되는, 오디오 디코더.
제 8항 내지 제 15항 중 어느 한 항에 있어서,
상기 코어 디코더(1300)는 스펙트럼 대역 복제 동작 없이 잡음 충진(noise filling) 동작을 이용하여 풀-밴드(full-band) 디코딩 동작을 적용하도록 구성되는, 오디오 디코더.
제 14항에 있어서, 상기 입체 음향 렌더러(1710), 상기 포맷 변환기(1720), 상기 믹서(1220), 상기 SAOC 디코더(1800) 및 상기 코어 디코더(1300)를 포함하고, 상기 객체 렌더러(1210)는 쿼드래처 미러 필터뱅크(QMF) 도메인에서 동작하고, 쿼드래처 미러 필터 도메인 데이터는 어떠한 합성 필터뱅크 및 후속 분석 필터뱅크 처리 없이 상기 요소들 중 하나로부터 상기 요소들의 다른 것으로 송신되는, 오디오 디코더.
제 8항 내지 제 17항 중 어느 한 항에 있어서,
상기 후치 프로세서(1700)는 중간 다운믹스를 얻기 위해 상기 객체 프로세서(1200)에 의해 출력된 채널들을 3개 이상의 채널들 및 상기 객체 프로세서(1200)의 상기 출력 채널들(1205)의 수보다 적은 채널들을 갖는 포맷으로 다운믹싱하고, 상기 중간 다운믹스의 상기 채널들을 2-채널 입체 음향 출력 신호로 입체 음향적으로 렌더링(1210)하도록 구성되는, 오디오 디코더.
제 8항 내지 제 15항 중 어느 한 항에 있어서,
상기 후치 프로세서(1700)는
다운믹스 매트릭스를 적용하기 위한 제어된 다운믹서(1722); 및
상기 객체 프로세서(1200)의 출력의 채널 구성에 관한 정보 및 의도된 재생 레이아웃에 관한 정보를 이용하여 특정 다운믹스 매트릭스를 결정하기 위한 제어기(1724)를
포함하는, 오디오 디코더.
제 8항 내지 제 19항 중 어느 한 항에 있어서,
상기 코어 디코더(1300) 또는 상기 객체 프로세서(1200)는 제어가능하고,
상기 후치 프로세서(1700)는 상기 출력 포맷에 관한 정보에 따라 상기 코어 디코더(1300) 또는 상기 객체 프로세서(1200)를 제어하도록 구성되어, 상기 출력 포맷에서 개별적인 채널들로서 발생하지 않는 객체들 또는 채널들의 역상관 처리를 초래하는 렌더링은 감소되거나 제거되고, 또는 상기 출력 포맷에서의 상기 개별적인 채널들로서 발생하지 않는 객체들 또는 채널들에 대해, 상기 출력 포맷에서의 상기 개별적인 채널들로서 발생하지 않는 상기 객체들 또는 상기 채널들에 대한 임의의 역상관 처리가 비활성화된다는 것을 제외하고, 상기 객체들 또는 채널들이 상기 출력 포맷에서의 상기 개별적인 채널들로서 발생하는 것처럼 업믹싱 또는 디코딩 동작들이 수행되는, 오디오 디코더.
제 8항 내지 제 20항 중 어느 한 항에 있어서,
상기 코어 디코더(1300)는 단일 채널 요소에 대한 변환 디코딩 및 스펙트럼 대역 복제 디코딩을 수행하고, 채널 쌍 요소들 및 쿼드 채널 요소들에 대한 변환 디코딩, 파라미터적 스테레오 디코딩 및 스펙트럼 대역 재생 디코딩을 수행하도록 구성되는, 오디오 디코더.
오디오 출력 데이터(501)를 얻기 위해 오디오 입력 데이터(101)를 인코딩하는 방법으로서,
복수의 오디오 채널들, 복수의 오디오 객체들 및 상기 복수의 오디오 객체들의 하나 이상에 관련된 메타데이터를 수신하는 단계(100);
복수의 사전-믹싱된 채널들을 얻기 위해 상기 복수의 객체들과 상기 복수의 채널들을 믹싱하는 단계(200)로서, 각 사전-믹싱된 채널은 채널의 오디오 데이터 및 적어도 하나의 객체의 오디오 데이터를 포함하는, 믹싱하는 단계(200);
입력 데이터를 코어 인코딩하는 코어 인코딩 단계(300); 및
상기 복수의 오디오 객체들의 하나 이상에 관련된 상기 메타데이터를 압축하는 단계(400)를 포함하고,
상기 오디오 인코딩 방법은, 상기 코어 인코딩 단계가 코어 인코딩 입력 데이터로서 수신된 상기 복수의 오디오 채널들 및 상기 복수의 오디오 객체들을 인코딩하는 제 1 모드와, 상기 코어 인코딩 단계(300)가 상기 코어 인코딩 입력 데이터로서 상기 믹싱 단계(200)에 의해 생성된 상기 복수의 사전-믹싱된 채널들을 수신하는 제 2 모드를 포함하는 2개 이상의 모드들의 그룹의 2개의 모드들에서 동작하는, 오디오 출력 데이터를 얻기 위해 오디오 입력 데이터를 인코딩하는 방법.
인코딩된 오디오 데이터를 디코딩하는 방법으로서,
상기 인코딩된 오디오 데이터를 수신하는 단계(1100)로서, 상기 인코딩된 오디오 데이터는 복수의 인코딩된 채널들 또는 복수의 인코딩된 객체들 또는 상기 복수의 객체들에 관련된 압축 메타데이터를 포함하는, 수신하는 단계(1100);
상기 복수의 인코딩된 채널들 및 상기 복수의 인코딩된 객체들을 코어 디코딩하는 단계(1300);
상기 압축된 메타데이터를 압축 해제하는 단계(1400),
상기 객체들로부터 오디오 데이터를 포함하는 출력 채널들(1205)의 수 및 상기 디코딩된 채널들을 얻기 위해 상기 압축 해제된 메타데이터를 이용하여 상기 복수의 디코딩된 객체들을 처리하는 단계(1200); 및
상기 출력 채널들(1205)의 수를 출력 포맷으로 변환하는 단계(1700)를 포함하고,
상기 오디오 디코딩 방법에서, 상기 복수의 디코딩된 객체들을 처리하는 단계(1200)는 우회되고, 상기 인코딩된 오디오 데이터가 어떠한 오디오 객체들로 포함하지 않을 때 복수의 디코딩된 채널들은 상기 후치 처리 단계(1700)에 공급되고, 상기 인코딩된 오디오 데이터가 인코딩된 채널들 및 인코딩된 객체들을 포함할 때 상기 복수의 디코딩된 객체들 및 상기 복수의 디코딩된 채널들은 상기 복수의 디코딩된 객체들을 처리하는 단계(1200)에 공급되는, 인코딩된 오디오 데이터를 디코딩하는 방법.
컴퓨터 또는 프로세서 상에서 실행될 때, 제 22항 또는 제 23항의 방법을 수행하기 위한 컴퓨터 프로그램.