KR101546744B1

KR101546744B1 - 다양한 채널로 구성된 다객체 오디오 신호의 트랜스코딩 장치

Info

Publication number: KR101546744B1
Application number: KR1020110014763A
Authority: KR
Inventors: 백승권; 서정일; 이태진; 이용주; 장대영; 홍진우; 김진웅
Original assignee: 한국전자통신연구원
Priority date: 2006-12-27
Filing date: 2011-02-18
Publication date: 2015-08-24
Also published as: US20130132098A1; CN102883257B; US9257127B2; JP2010515099A; EP2595151A3; KR20130007526A; JP2019074743A; JP2013127635A; CN103137132A; KR101086347B1; CN103137130A; EP2595148A3; JP5941610B2; KR101309673B1; EP2595149A3; KR20080063155A; CN103137130B; CN101632118B; CN103137132B; CN103137131A

Abstract

다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법에 관한 것으로서, 다양한 채널을 갖는 다객체 오디오 신호를 부호화 및 복호화하며, 종래SAC 비트스트림에 대한 역호환성을 제공하는 다양한 채널로 구성된 다객체 오디오 신호 부호화 및 복호화 장치 및 방법이 개시됨.
부호화 장치로 입력되는 오디오 객체 신호를 공간큐 기반으로 부호화하고 상기 부호화된 오디오 객체 신호에 대한 랜더링 정보를 생성하는 오디오 객체 부호화 수단을 포함하되, 상기 랜더링 정보는 상기 오디오 객체 신호에 대한 공간큐 정보; 상기 오디오 객체 신호의 채널 정보; 및 상기 오디오 객체 신호의 식별 정보를 포함하는 부호화 장치가 개시됨.
오디오 신호의 부호화 및 복호화에서 이용됨.

Description

다양한 채널로 구성된 다객체 오디오 신호의 트랜스코딩 장치{Apparatus For Transcoding multi-object Audio Signal with various channel}

본 발명은 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법에 관한 것으로, 보다 상세하게는 부가정보 비트스트림을 변환하고, 변환된 부가정보 비트스트림을 이용하여 원하는 출력 신호, 즉 다양한 채널을 갖는 다객체 오디오 신호를 복원하는 부가정보 비트스트림 변환을 포함하는 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법에 관한 것이다.

여기서, 다양한 채널을 갖는 다객체 오디오 신호란, 다객체 오디오 신호로서 각각의 오디오 객체가 서로 상이한 채널(예를 들어, 모노, 스테레오, 5.1채널)로 구성된 오디오를 신호를 의미한다.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT차세대핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-403-02, 과제명: 지능형 통합정보방송(SmaRTV)기술(Development of Super-intelligent Multimedia Anytime-anywhere Realistic TV(SmarTV) Technology)].

종래의 오디오 부복호화 기술에 따르면, 사용자는 오디오 컨텐츠를 수동적으로 청취할 수 밖에 없었으므로, 사용자의 필요에 따라 서로 상이한 채널로 구성된 각 오디오 객체를 제어하여 하나의 오디오 컨텐츠를 다양한 방법으로 조합함으로써 다양한 오디오 객체를 소비할 수 있는 다양한 채널로 구성된 복수의 오디오 객체별 부호화 및 복호화 장치 및 방법이 요구된다.

이와 관련하여, 종래의 SAC(Spatial Audio Coding)는 다채널 오디오 신호를 다운믹스된 모노 또는 스테레오 신호 및 공간큐로 표현, 전송 및 복원하는 기술로서 낮은 비트율에서도 고품질의 다채널 오디오 신호를 전송할 수 있다.

그러나, 종래 SAC는 다채널이되 1개 오디오 객체에 대해서만 부호화 및 복호화가 가능한 기술이기 때문에, 다채널이면서 동시에 다객체 오디오 신호, 예를 들어, 모노, 스테레오 및 5.1 채널로 구성된 다양한 객체의 오디오 신호를 부복호화할 수 없다는 문제점이 있다.

또한, 종래의 바이노럴 큐 코딩(Binaural Cue Coding, BCC)은 다객체 오디오 신호를 부복호화할 수 있으나, 당해 오디오 객체는 모노 채널인 경우로 한정되기 때문에, 모노 채널 이외의 다양한 채널로 구성된 다객체 오디오 신호를 부복호화할 수 없다는 단점이 있다.

정리하면, 종래기술에 따르면, 단일 채널로 구성된 다객체 오디오 신호 또는 다채널의 단일 객체 오디오 신호에 대해서만 부복호화를 수행할 수 있기 때문에, 다양한 채널로 구성된 다객체 오디오 신호에 대해서는 부복호화를 수행할 수 없다는 문제점이 있으며, 따라서 종래의 오디오 부복호화 기술에 따르면, 사용자는 오디오 컨텐츠를 수동적으로 청취할 수 밖에 없다는 문제점이 있다.

따라서, 사용자의 필요에 따라 서로 상이한 채널로 구성된 복수의 오디오 객체 각각을 제어하여 하나의 오디오 컨텐츠를 다양한 방법으로 조합함으로써 다양한 오디오 객체를 소비할 수 있는 다양한 채널로 구성된 복수의 오디오 객체별 부호화 및 복호화 장치 및 방법이 요구된다.

또한, 다객체 오디오 부호화기로부터 생성된 부가정보 비트스트림이 종래의SAC 부복호화기의 부가정보 비트스트림에 대한 역호환성을 제공하기 위하여, 다객체 오디오 비트스트림과 종래의 SAC 비트스트림간 변환이 가능한 변환 장치 및 방법이 요구된다.

상기한 바와 같이, 서로 상이한 채널로 구성된 복수의 오디오 객체 각각을 제어하여 하나의 오디오 컨텐츠를 다양한 방법으로 조합할 수 있는 다양한 채널의 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법으로서, 상기 다객체 오디오 부호화 및 복호화 장치 및 방법은 종래 SAC 비트스트림과의 역호환성을 제공하기 위한 비트스트림 변환이 가능한, 다양한 채널의 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법이 요구된다.

본 발명은 상기 요구에 부응하기 위하여 제안된 것으로, 다양한 채널을 갖는 다객체 오디오 신호를 부호화 및 복호화하며, 종래 SAC 비트스트림에 대한 역호환성을 제공하는 다양한 채널로 구성된 다객체 오디오 신호 부호화 및 복호화 장치 및 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명은, 다객체 오디오 신호의 부호화 장치에 있어서, 상기 부호화 장치로 입력되는 오디오 객체 신호를 공간큐 기반으로 부호화하고 상기 부호화된 오디오 객체 신호에 대한 랜더링 정보를 생성하는 오디오 객체 부호화 수단을 포함하되, 상기 랜더링 정보는 상기 오디오 객체 신호에 대한 공간큐 정보; 상기 오디오 객체 신호의 채널 정보; 및 상기 오디오 객체 신호의 식별 정보를 포함하는 부호화 장치를 제공한다.

또한, 상기 목적을 달성하기 위한 본 발명은, 다객체 오디오 신호를 복호화하기 위한 랜더링 정보를 생성하는 트랜스코딩 장치에 있어서, 부호화된 오디오 객체 신호에 대한 객체 제어 정보 및 재생 정보에 기초하여 상기 부호화된 오디오 객체 신호에 대한 파워 이득 정보 및 출력 위치 정보를 포함하는 랜더링 정보를 생성하는 제1행렬 수단; 및 상기 제1행렬 수단에 의해 생성된 랜더링 정보 및 부호화 장치로부터 입력되는 상기 부호화된 오디오 객체 신호에 대한 랜더링 정보에 기초하여 복호화 장치에서 출력될 오디오 신호에 대한 공간큐 정보를 생성하는 랜더링 수단을 포함하는 트랜스코딩 장치를 제공한다.

또한, 상기 목적을 달성하기 위한 본 발명은, 다채널 오디오 신호 및 다객체 오디오 신호를 복호화하기 위한 랜더링 정보를 생성하는 트랜스코딩 장치에 있어서, 부호화 장치로부터 입력되는 부호화된 오디오 신호에 대한 랜더링 정보로부터 부호화된 오디오 객체 신호에 대한 랜더링 정보, 및 다채널 오디오 신호에 대한 랜더링 정보를 분리하는 파싱 수단; 부호화된 오디오 객체 신호에 대한 객체 제어 정보 및 재생 정보에 기초하여 상기 부호화된 오디오 객체 신호에 대한 파워 이득 정보 및 출력 위치 정보를 포함하는 랜더링 정보를 생성하는 제1행렬 수단; 상기 파싱 수단에 의해 분리된 부호화된 다채널 오디오 신호에 대한 랜더링 정보에 기초하여 상기 다채널 오디오 신호에 대한 채널별 파워 이득 정보를 포함하는 랜더링 정보를 생성하는 제2행렬 수단; 및 상기 제1행렬 수단에 의해 생성된 랜더링 정보, 상기 제2행렬 수단에 의해 생성된 랜더링 정보, 및 상기 파싱 수단에 의해 분리된 부호화된 오디오 객체 신호에 대한 랜더링 정보에 기초하여 복호화 장치에서 출력될 오디오 신호에 대한 공간큐 정보를 생성하는 랜더링 수단을 포함하는 트랜스코딩 장치를 제공한다.

또한, 상기 목적을 달성하기 위한 본 발명은, 다객체 오디오 신호의 부호화 방법에 있어서, 입력되는 오디오 객체 신호를 공간큐 기반으로 부호화하고 상기 부호화된 오디오 객체 신호에 대한 랜더링 정보를 생성하는 오디오 객체 부호화 단계를 포함하되, 상기 랜더링 정보는 상기 오디오 객체 신호에 대한 공간큐 정보; 상기 오디오 객체 신호의 채널 정보; 및 상기 오디오 객체 신호의 식별 정보를 포함하는 부호화 방법을 제공한다.

또한, 상기 목적을 달성하기 위한 본 발명은, 다객체 오디오 신호를 복호화하기 위한 랜더링 정보를 생성하는 트랜스코딩 방법에 있어서, 부호화된 오디오 객체 신호에 대한 객체 제어 정보 및 재생 정보에 기초하여 상기 부호화된 오디오 객체 신호에 대한 파워 이득 정보 및 출력 위치 정보를 포함하는 랜더링 정보를 생성하는 제1행렬 단계; 및 상기 제1행렬 단계에 의해 생성된 랜더링 정보 및 부호화 단계로부터 입력되는 상기 부호화된 오디오 객체 신호에 대한 랜더링 정보에 기초하여 복호화 단계에서 출력될 오디오 신호에 대한 공간큐 정보를 생성하는 랜더링 단계를 포함하는 트랜스코딩 방법을 제공한다.

또한, 상기 목적을 달성하기 위한 본 발명은, 다채널 오디오 신호 및 다객체 오디오 신호를 복호화하기 위한 랜더링 정보를 생성하는 트랜스코딩 방법에 있어서, 부호화 단계로부터 입력되는 부호화된 오디오 신호에 대한 랜더링 정보로부터 부호화된 오디오 객체 신호에 대한 랜더링 정보, 및 다채널 오디오 신호에 대한 랜더링 정보를 분리하는 파싱 단계; 부호화된 오디오 객체 신호에 대한 객체 제어 정보 및 재생 정보에 기초하여 상기 부호화된 오디오 객체 신호에 대한 파워 이득 정보 및 출력 위치 정보를 포함하는 랜더링 정보를 생성하는 제1행렬 단계; 상기 파싱 단계에 의해 분리된 부호화된 다채널 오디오 신호에 대한 랜더링 정보에 기초하여 상기 다채널 오디오 신호에 대한 채널별 파워 이득 정보를 포함하는 랜더링 정보를 생성하는 제2행렬 단계; 및 상기 제1행렬 단계에 의해 생성된 랜더링 정보, 상기 제2행렬 단계에 의해 생성된 랜더링 정보, 및 상기 파싱 단계에 의해 분리된 부호화된 오디오 객체 신호에 대한 랜더링 정보에 기초하여 복호화 단계에서 출력될 오디오 신호에 대한 공간큐 정보를 생성하는 랜더링 단계를 포함하는 트랜스코딩 방법을 제공한다.

본 발명은 부가정보 비트스트림 변환을 포함하며 다양한 채널을 갖는 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법을 제공함으로써, 다양한 채널을 갖는다객체 오디오 컨텐츠를 효율적으로 부호화 및 복호화하여 사용자의 필요에 따라 능동적으로 오디오 컨텐츠를 소비할 수있으며, 종래 이용되는 비트스트림에 대하여 역호환성을 제공함으로써, 종래 부호화 및 복호화 장치와의 호환성을 제공할 수 있다.

도 1은 본 발명에 따른 다객체 오디오 부호화기 및 복호화기를 나타내는 일실시예 구성도.
도 2는 본 발명에 따른 다객체 오디오 부호화기 및 복호화기를 나타내는 또 다른 일실시예 구성도.
도 3은 도 2의 트랜스코더(103)를 나타내는 일실시예 상세 구성도.
도 4는 도 2의 비트스트림 포맷터(205)로부터 생성되는 대표 SAOC 비트스트림을 나타내는 일실시예 구성도.
도 5는 도 2의 대표 SAOC 비트스트림을 나타내는 또 다른 일실시예 구성도.
도 6은 도 2의 트랜스코더(103)를 나타내는 또 다른 일실시예 구성도.
도 7은 도 2의 다객체 오디오 부호화기 및 복호화기에 오디오 객체 제거부(701)가 추가적으로 포함된 경우를 나타내는 일실시예 구성도.
도 8은 도 2의 SAC 인코더(201) 및 SAC 디코더(105)를 MPEG Surround 인코더 및 디코더로 대체한 경우를 나타내는 일실시예 구성도.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 1은 본 발명에 따른 다객체 오디오 부호화기 및 복호화기를 나타내는 일실시예 구성도이다.

도 1에 도시된 바와 같이, 본 발명은 SAOC(Spatial Audio Object Coding) 인코더(101), 트랜스코더(103) 및 SAC(Spatial Audio Coding) 디코더(105)를 포함한다.

다객체 공간큐 기반 코딩(SAOC: Spatial Audio Object Coding) 방식은 인코더로 입력되는 신호를 오디오 객체로서 부호화한다. 여기서, 각 오디오 객체들이 디코더에 의해 복원되어 각각 독립적으로 재생되는 것이 아니라, 원하는 오디오 장면을 구성하기 위해 오디오 객체에 대한 정보가 렌더링되어 다양한 채널을 갖는 다객체 오디오 신호가 출력된다. 따라서, SAC 디코더는 원하는 오디오 장면을 얻기 위해 입력되는 오디오 객체에 대한 정보를 렌더링 할 수 있는 장치가 요구된다.

상기 SAOC 인코더(101)는 공간큐 기반의 인코더로서, 입력 오디오 신호를 오디오 객체로서 부호화한다. 여기서, 상기 SAOC 인코더(101)로 입력되는 오디오 객체는 모노 또는 스테레오 신호이다.

상기 SAOC 인코더(101)는 입력되는 1개 이상의 오디오 객체로부터 다운믹스 신호를 출력하고, 공간큐 및 부가정보를 추출하여 SAOC 비트스트림을 생성한다. 여기서, 출력되는 다운믹스 신호는 모노 또는 스테레오 신호이다. 여기서, 상기 SAOC 인코더(101)는 "이질적인 레이아웃 SAOC" 또는 "Faller" 기법을 이용하여 입력되는 오디오 객체 신호를 분석할 수 있다.

상기 추출된 SAOC 비트스트림은 공간큐 및 부가정보를 포함하며, 상기 부가정보는 입력 오디오 객체들의 공간 정보를 포함하며, 상기 공간큐는 일반적으로 주파수 영역 부밴드 단위로 분석되어 추출된다.

여기서, 공간큐(spatial cue)란 오디오 신호를 부호화 및 복호화하는 과정에서 이용되는 정보로서, 주파수 영역에서 추출되며, 입력되는 두 신호의 크기 차, 지연 차, 상관성 등의 정보를포함한다. 예를 들어, 오디오 신호의 파워 이득 정보를 나타내는 오디오 신호간 레벨차(Channel Level Difference, CLD), 오디오 신호간 에너지비(Inter-Channel Level Difference, ICLD), 오디오 신호간 시간차(Inter Channel Time Difference, ICTD), 오디오 신호간 상관성 정보를 나타내는 오디오 신호간 상관성(Inter Channel Correlation, ICC) 및 가상음원 위치 정보(Virtual Source Location Information)가 있으며, 이에 한정되지 않는다.

또한 상기 부가정보는 오디오 신호 복원 및 제어를 위한 정보가 포함된다. 상기 부가정보는 헤더정보를 포함한다. 상기 헤더정보는 다양한 채널로 구성된 다객체 오디오 신호의 복원 및 재생을 위한 정보를 포함하며, 오디오 객체에 대한 채널 정보 및 해당 오디오 객체의 ID를 정의함으로써 모노, 스테레오, 다채널의 오디오 객체에 대한 복호화 정보를 제공할 수 있다. 즉, 예를 들어, 부호화된 특정 오디오 객체가 모노 오디오 신호인지 스테레오 오디오 신호인지 구분될 수 있도록 식별 ID 및 객체별 정보가 정의될 수 있다. 상기 헤더정보는 일실시예로서 SAC(Spatial Audio Coding) 헤더 정보, 오디오 객체 정보 및 프리셋(preset) 정보를 포함할 수 있다.

상기 트랜스코더(103)는 SAOC 인코더(101)로 입력되는 오디오 객체에 대한 렌더링을 수행하고, 외부로부터 입력되는 제어신호, 즉 객체별 음향정보 및 재생환경정보를 이용하여 상기 SAOC 인코더(101)로부터 추출된 SAOC 비트스트림을 SAC 비트스트림으로 변환한다.

즉, 상기 트랜스코더(103)는 SAOC 인코더(101)로 입력되는 오디오 객체를 다양한 채널의 다객체 오디오 신호로 복원하기 위해 추출된 SAOC 비트스트림을 이용하여 렌더링한다. 부가정보를 이용한 렌더링은 파라미터 영역에서 수행될 수 있다.

또한, 상기 트랜스코더(103)는 SAOC 비트스트림을 SAC 비트스트림으로 변환한다. 먼저, 상기 트랜스코더(103)는 SAOC 비트스트림으로부터 입력 오디오 객체들의 정보를 얻고, 입력 오디오 객체들의 정보를 원하는 오디오 장면에 대응되도록 랜더링한다. 상기 렌더링 과정에서 상기 트랜스코더(103)는 원하는 오디오 장면에 대응되는 공간정보를 예측하며, 상기 예측된 공간정보를 변환하여 SAC 비트스트림으로서 출력한다.

상기 트랜스코더(103)에 대해서는 이하 도 3에서 상세하게 설명한다.

상기 SAC 디코더(105)는 공간큐 기반의 다채널 오디오 디코더로서, 상기 트랜스코더(103)로부터 출력되는 SAC 비트스트림을 이용하여, 상기 SAOC 인코더(101)로부터 출력되는 다운믹스 신호를 객체별 오디오 신호로 복원하여 다양한 채널의 다객체 오디오 신호로 복원한다. 상기 SAC 디코더(105)는 MPEG Surround 복호화기, BCC 복호화기 등으로 대체될 수 있다.

도 2는 본 발명에 따른 다객체 오디오 부호화기 및 복호화기를 나타내는 또 다른 일실시예 구성도로서, 입력 신호가 다양한 채널을 갖는 신호인 경우를 나타낸다.

도 2에 도시된 바와 같이, 본 발명은 SAOC 인코더(101), 트랜스코더(103), SAC 디코더(105), SAC 인코더(201), 프리셋 ASI부(203) 및 비트스트림 포맷터(205)를 포함한다.

상기 SAOC 인코더(101)가 모노 또는 스테레오의 오디오 객체만을 지원하는 경우, 상기 SAC 인코더(201)는 입력되는 다채널 오디오 신호로부터 하나의 오디오 객체를 출력한다. 상기 출력된 하나의 오디오 객체는 다운믹스된 모노 또는 스테레오 신호이다. 또한 상기 SAC 인코더(201)는 공간큐 및 부가정보를 추출하여 SAC 비트스트림을 생성한다.

상기 SAOC 인코더(101)는 상기 SAC 인코더(201)로부터 출력되는 하나의 오디오 객체를 포함하는 1개 이상의 오디오 객체로부터 대표 다운믹스 신호를 출력하고, 공간큐 및 부가정보를 추출하여 SAOC 비트스트림을 생성한다.

상기 프리셋 ASI부(203)는 외부로부터 입력되는 제어신호, 즉 객체별 음향정보 및 재생환경정보를 Preset-ASI(Preset-Audio Scene Information) 정보로 구성하고, 상기 Preset-ASI 정보를 포함하는 프리셋 ASI 비트스트림을 생성한다. 상기 Preset-ASI 정보에 대해서는 이하 도 4에서 상세하게 설명한다.

상기 비트스트림 포맷터(205)는 상기 SAOC 인코더(101)에 의해 생성된 SAOC 비트스트림, 상기 SAC 인코더(201)에 의해 생성된 SAC 비트스트림 및 상기 프리셋 ASI부(203)에 의해 생성된 프리셋 ASI 비트스트림를 이용하여 대표 SAOC 비트스트림을 생성한다.

상기 트랜스코더(103)는 SAOC 인코더(101)로 입력되는 오디오 객체에 대한 렌더링을 수행하고, 외부로부터 입력되는 객체별 음향정보 및 재생환경정보를 이용하여 상기 비트스트림 포맷터(205)에 의해 생성된 대표 SAOC 비트스트림을 대표 SAC 비트스트림으로 변환한다. 상기 트랜스코더(103)는 상기 SAC 디코더(105)에 포함되어 상기와 같은 역할을 할 수 있다.

상기 SAC 디코더(105)는 상기 트랜스코더(103)로부터 출력되는 SAC 비트스트림을 이용하여, 상기 SAOC 인코더(101)로부터 출력되는 다운믹스 신호를 다양한 채널의 다객체 오디오 신호로 복원한다. 상기 SAC 디코더(105)는 MPEG Surround 복호화기, BCC 복호화기 등으로 대체될 수 있다.

도 3은 도 2의 트랜스코더(103)를 나타내는 일실시예 상세 구성도이다.

도 3에 도시된 바와 같이, 트랜스코더(103)는 파싱부(301), 렌더링부(303), 제2행렬부(311) 및 제1행렬부(313)를 포함하고, 대표 SAOC 비트스트림을 대표 SAC 비트스트림으로 변환한다.

한편, 도 1의 경우 상기 트랜스코더(103)는 SAOC 비트스트림을 SAC 비트스트림으로 변환한다.

상기 파싱부(301)는 상기 비트스트림 포맷터(205)로부터 생성된 대표 SAOC 비트스트림 또는 도 1의 SAOC 인코더(101)로부터 생성된 SAOC 비트스트림을 파싱하여, 상기 대표 SAOC 비트스트림에 포함된 SAOC 비트스트림과 SAC 비트스트림을 분리한다. 또한 상기 파싱부(301)는 상기 분리된 SAOC 비트스트림으로부터 SAOC 인코더(101)로 입력되는 오디오 객체의 개수에 대한 정보를 추출한다. 여기서, 도 1의 SAOC 인코더(101)로부터 생성된 SAOC 비트스트림을 파싱하는 경우, SAC 비트스트림이 존재하지 않으므로 분리될 필요가 없다.

상기 제2행렬부(311)는 상기 파싱부(301)에 의해 분리된 SAC 비트스트림을 이용하여 제2행렬을 생성한다. 상기 제2행렬은 SAC 인코더(201)에 입력되는 다채널 오디오 신호에 대한 행렬식이다. 만약, 상기 대표 SAOC 비트스트림에 SAC 비트스트림이 포함되지 않은 경우, 즉 도 1의 SAOC 인코더(101)로부터 생성된 SAOC 비트스트림을 파싱하는 경우, 상기 제2행렬부(311)는 불필요하다.

제2행렬은 SAC 인코더(201)에 입력되는 다채널 오디오 신호의 파워 이득 값에 대한 것으로서, 하기 [수학식 1]과 같다.

일반적으로, 하나의 프레임을 서브밴드로 분할하여 해석하는 것이 SAC의 기본 분석 과정이다.

여기서,

는 SAC 인코더(201)로부터 출력되는 다운믹스 신호로서, k는 주파수 계수 인덱스이며, b는 서브밴드 인덱스이다.

는 상기 SAC 비트스트림으로부터 얻을 수 있는 다채널 신호의 공간큐 정보로서, i번째 채널 신호(1≤i≤M)의 주파수 정보를 복원하기 위해 이용된다. 따라서,

는 주파수 계수의 크기정보나 위상정보로서 표현될 수 있다. 따라서, [수학식 1]의 오른쪽 항을 보면,

는 [수학식 1]의 결과로서, SAC 디코더(105)로부터 출력되는 다채널 오디오 신호를 나타낸다.

상기

과

는 벡터이며,

의 전치 행렬 차원(Transpose Matrix Dimension)이

의 차원이 된다. 예를 들어, 하기 [수학식2]와 같이 정의될 수 있다. 여기서, SAC 인코더(201)로부터 출력되는 다운믹스 신호는 모노 또는 스테레오 이므로 m은 1 또는 2이다.

상기한 바와 같이,

는 SAC 비트스트림에 포함된 공간큐 정보이다.

가 각 채널의 서브밴드에서의 파워 이득을 나타내는 경우,

는 채널 레벨 차 공간큐 (Channel Level Difference, CLD)로부터 예측될 수 있다.

가 주파수 계수들의 위상 차를 보상하기 위한 계수로 이용되는 경우,

는 채널 시간차 공간큐 (Channel Time Difference) 또는 상관성 공간큐(Inter-Channel Coherence)로부터 예측될 수 있다.

이하, 예시적으로,

를 주파수 계수들의 위상 차를 보상하기 위한 계수로 이용되는 경우를 기준으로 설명한다.

SAC 인코더(201)로부터 출력되는 다운믹스 신호와의 행렬 연산을 통해 출력신호

가 생성될 수 있도록, [수학식 1]의 제2행렬은 각 채널별 파워 이득값을 표현하고, 상기 다운믹스 신호의 벡터의 차원에 역이 되어야 한다.

상기 제2행렬부(311)가 [수학식 1] 및 [수학식 2]를 만족하는 제2행렬을 생성하면, 상기 렌더링부(303)는 상기 생성된 제2행렬을 상기 제1행렬부(313)의 출력과 결합한다.

상기 제1행렬부(313)는 제어신호(예를 들어, 객체 제어정보, 재생 시스템 정보)를 이용하여, 상기 SAOC 인코더(101)에 입력되는 1개 이상의 오디오 객체를 원하는 출력, 즉 다양한 채널의 다객체 오디오 신호로 매핑시키기 위한 제1행렬을 생성한다.

상기 SAOC 인코더(101)에 입력된 오디오 객체의 개수가 N인 경우, SAC 인코더(201)로부터 출력되는 다운믹스 신호도 하나의 오디오 객체로 간주되며, 입력되는 N개의 오디오 객체에 포함된다. 이와 같은 경우, SAC 인코더(201)로부터 출력되는 다운믹스 신호를 제외한 각 오디오 객체들은 제1행렬을 이용하여 SAC 디코더(105)로부터 출력되는 채널로 매핑될 수 있다.

SAC 디코더(105)로부터 출력되는 채널의 개수를 M이라 할 때, 제1행렬은 하기의 조건을 만족할 수 있다.

여기서,

는 b번째 서브밴드의 i번째 오디오 객체 신호(1≤i≤N-1)를 나타내는 벡터로서, 상기 SAOC 비트스트림으로부터 얻을 수 있는 공간큐 정보이다. 만약, 오디오 객체 i가 스테레오라면

는 2x1 행렬 벡터이다.

는 j번째 오디오 객체가 i번째 출력 채널에 매핑되기 위한 파워이득 정보 또는 위상정보를 나타내는 제1행렬의 요소 벡터로서, 외부에서 입력되거나 초기값으로 설정된 제어정보(예를 들어, 객체 제어정보, 재생 시스템 정보)로부터 얻을 수 있다.

상기 [수학식 3] 조건에 맞는 제1행렬은 상기 렌더링부(303)로 전송되고, 상기 [수학식 3]은 상기 렌더링부(303)에서 연산된다.

[수학식 3]의 연산자

및 연산과정은 하기 [수학식4]와 [수학식 5]에서 상세하게 설명한다.

여기서, 입력되는 오디오 객체가 스테레오인 경우, m은 2가 된다.

예를 들면, 입력되는 오디오 객체의 개수가 Y이며, m=2이고, 출력되는 채널의 개수가 M인 경우, 제1행렬의 차원은 MxY가 되며, Y개의

는 2x1 행렬로 구성된다. 여기서, SAC 인코더(201)로부터 출력되는 오디오 객체가 포함되는 경우, Y=Y-1로 간주된다. 상기 [수학식 3]의 연산 결과, 출력되는 채널의 파워 이득 벡터

로 구성된 행렬이 표현될 수 있어야 한다. 상기 표현된 벡터의 차원이 Mx2인 경우, 출력되는 채널 개수 M 및 입력되는 오디오 객체의 레이아웃인 2를 반영한다.

다시, 도 3의 설명으로 돌아와서, 상기 렌더링부(303)는 상기 제1행렬부(313) 및 제2행렬부(311)로부터 제1행렬 및 제2행렬을 전송받는다. 상기 렌더링부(303)는 상기 파싱부(301)에 의해 분리된 SAOC 비트스트림으로부터 획득되는 각 오디오객체의 공간큐 정보

를 얻고, 제1행렬 및 제2행렬을 이용하여 계산된 출력 벡터를 결합하여 원하는 공간큐 정보를 획득하고, 상기 원하는 공간큐 정보를 포함하는 대표 SAC 비트스트림을 생성한다. 여기서, 원하는 공간큐란, 사용자가 상기 SAC 디코더(105)로부터 출력되기 원하는 출력 다채널 오디오 신호와 관련된 공간큐를 의미한다.

상기 제1행렬 및 제2행렬에 기초하여 원하는 공간큐 정보를 획득하기 위한 연산은 하기 [수학식 6]과 같다.

여기서,

은 제1행렬을 생성할 때 고려되지 않은 사항으로서, SAC 인코더(201)로부터 출력되는 오디오 객체의 파워와 SAOC 인코더(101)로 직접 입력되는 오디오 객체의 파워 합의 비를 나타낸다.

상기

은 [수학식 7]과 같이 나타낼 수 있다.

따라서,

이 출력되는 채널의 파워라면, 오디오 객체들이 렌더링 된 후 각 채널들의 파워 비는

로서 나타난다.

로부터 원하는 공간큐 파라미터를 새롭게 추출할 수 있다. 예를 들어, ch_2와 ch_1 사이의 CLD 파라미터를 추출하려 한다면, 하기 [수학식 8]과 같다.

만일 전송되는 다운믹스 신호가 모노 신호라면, CLD 파라미터는 하기 [수학식 9]와 같다.

출력되는 채널의 파워비는 공간큐 파라미터인 CLD로 표현할 수 있으며, 인접 채널간의 공간큐 파라미터는 주어진

정보로부터 다양한 조합의 형태로 나타낼 수 있다. 상기 렌더링부(303)는

로부터 추출된 공간큐(예를 들어, CLD 파라미터)를 Huffman 코딩 방식 등을 이용하여 SAC 비트스트림을 생성한다.

상기 렌더링부(303)에 의해 생성된 SAC 비트스트림에 포함되는 공간큐는 디코더의 특성에 따라 분석 및 추출되는 방법이 달라진다.

예를 들어, BCC 디코더의 경우, 하나의 채널을 기준으로 상기 [수학식 8]을 이용하여 N-1개의 CLD 파라미터를 추출할 수 있다. 또한, MPEG Surround 디코더의 경우, MPEG Surround의 채널별 비교 순서에 따라 CLD 파라미터를 추출할 수 있다.

정리하면, 상기 파싱부(301)는 SAC 비트스트림 및 SAOC 비트스트림을 분리하고, 상기 제2행렬부(311)는 상기 파싱부(301)에 의해 분리된 SAC 비트스트림을 이용하여 하기 [수학식 1]에 따라 제2행렬을 생성하고, 상기 제1행렬부(313)는 제어신호에 대응되는 제1행렬을 생성한다. 상기 파싱부(301)에 의해 분리된 SAOC 비트스트림은 상기 렌더링부(303)로 전송되고, 상기 렌더링부(303)는 전송된 SAOC 비트스트림으로부터 객체들의 정보를 얻어 제1행렬과 연산하고, 상기 연산 결과를 제2행렬과 결합하여 상기

를 생성하고, 생성된

로부터 공간큐를 추출하여 대표 SAC 비트스트림을 생성한다. 즉, 생성된

로부터 공간큐가 원하는 공간큐가 된다. 상기 대표 SAC 비트스트림은 MPEG Surround 디코더 또는 BCC 디코더의 특성에 따라 적절하게 변환된 비트스트림으로서, 다양한 채널을 갖는 다객체 신호로 복원될 수 있다.

도 4는 도 2의 비트스트림 포맷터(205)로부터 생성되는 대표 SAOC 비트스트림을 나타내는 일실시예 구성도이다.

도 4에 도시된 바와 같이, 비트스트림 포맷터(205)에 의해 생성된 대표 SAOC 비트스트림은 상기 SAOC 인코더(101)에 의해 생성된 SAOC 비트스트림 및 상기 SAC 인코더(201)에 의해 생성된 SAC 비트스트림을 결합하여 생성되며, 상기 대표 SAOC 비트스트림은 상기 프리셋 ASI부(203)에 의해 생성된 Preset-ASI 비트스트림을 포함한다. 상기 Preset-ASI 비트스트림은 하기 도 5에서 상세하게 설명한다.

상기 SAOC 비트스트림 및 SAC 비트스트림을 결합하는 방법은, 첫째, 각각의 비트스트림을 직접적으로 MUX 시켜 하나의 비트스트림을 생성하는 방법으로서, 대표 SAOC 비트스트림에서 SAOC 비트스트림 및 SAC 비트스트림이 직렬적으로 연결된다(401).

둘째, SAOC 보조 데이터(ancillary data)영역이 존재하는 경우, 상기 보조 영역에 SAC 비트스트림 정보를 포함시켜 하나의 비트스트림을 생성하는 방법으로서, 대표 SAOC 비트스트림에서 SAOC 비트스트림 및 보조 데이터 영역이 직렬적으로 연결되며, 상기 보조 데이터 영역은 SAC 비트스트림을 포함한다(403).

셋째, 상기 SAOC 비트스트림 및 SAC 비트스트림 중에서, 유사한 공간큐를 부호화한 영역을 같은 비트스트림으로 표현하는 방법으로서, 예를 들어, 대표 SAOC 비트스트림의 헤더정보 영역에는 SAOC 비트스트림 헤더정보 및 SAC 비트스트림 헤더정보가 포함되고, 대표 SAOC 비트스트림의 임의의 영역 각각에는 특정 CLD와 관련된 SAOC 비트스트림 및 SAC 비트스트림이 포함된다(405).

도 5는 도 2의 대표 SAOC 비트스트림을 나타내는 또 다른 일실시예 구성도로서, 상기 대표 SAOC 비트스트림이 다수의 Preset-ASI 정보를 포함하는 경우를 나타낸다..

도 5에 도시된 바와 같이, 대표 SAOC 비트스트림은 Preset-ASI 영역을 포함한다. 상기 Preset-ASI 영역은 다수의 Preset-ASI를 포함하며, 상기 Preset-ASI 정보는 오디오 객체의 제어정보 및 레이아웃 정보 등을 포함한다.

상기 트랜스코더(103)를 이용하여 오디오 객체를 렌더링 하는 경우, 각 오디오 객체의 위치 정보 및 제어 정보, 출력되는 재생스피커 레이아웃 정보가 입력되어야 한다. 상기 제어정보 및 재생스피커 레이아웃 정보가 입력되지 않는 경우, 트랜스코더(103)에서 각 오디오 객체의 제어정보 및 레이아웃 정보는 기본값으로 설정된다.

기본값으로 설정된 제어정보 및 레이아웃 정보를 이용하거나, 입력되는 오디오 객체 제어정보 및 레이아웃 정보는 대표 SAOC 비트스트림 또는 대표 SAC 비트스트림의 부가정보 또는 헤더정보에 포함된다. 상기 제어정보는 두 가지로 표현될 수 있다. 첫째, 각 오디오 객체들에 대한 제어정보 (위치 및 레벨) 및 스피커의 레이아웃 정보를 직접적으로 표현하거나, 둘째, 제어정보 및 스피커의 레이아웃 정보를 제1행렬 형태로 표현하여, 상기 제1행렬부(313)의 제1행렬 대신 이용될 수 있다.

Preset-ASI 정보란, 오디오 객체 제어정보 및 스피커의 레이아웃 정보를 나타낸다. 즉, 스피커의 레이아웃 정보 및 스피커의 레이아웃 정보에 적합한 오디오 장면을 구성하기 위한 각 오디오 객체의 위치 및 레벨정보 등을 포함한다.

상기 파싱부(301)에 의해 추출된 Preset-ASI 정보를 대표 SAC 비트스트림으로 전송 하기 위해서, 상기한 바와 같이, 상기 Preset-ASI 정보는 직접적으로 표현되거나, 제1행렬 형태로 표현된다.

Preset-ASI 정보가 직접적으로 표현되는 경우, Preset-ASI 정보는 재생 시스템의 레이아웃(모노/스테레오/멀티채널), 오디오 객체 ID, 오디오 객체 레이아웃 (모노 or 스테레오), 오디오 객체 위치, 방위(Azimuth, 0 degree ~ 360 degree), 스테레오 재생시 높낮이(Elevation, -50 degree ~ 90 degree), 오디오 객체 레벨정보(-50 dB ~ 50dB)를 포함할 수 있다.

Preset-ASI 정보가 제1행렬 형태로 표현되는 경우, 상기 Preset-ASI 정보들을 반영한 [수학식 3]의

행렬을 구성하고, 상기

행렬을 렌더링부(303)로 전송한다. 상기

행렬은 각 오디오 객체들이 출력되는 채널에 매핑되기 위한 파워 이득 정보 또는 위상정보를 요소 벡터로 포함한다.

삭제

상기 Preset-ASI 정보는 입력되는 동일한 오디오 객체에 대하여, 원하는 재생 시나리오에 대응되는 여러가지 오디오 장면을 정의할 수 있다. 예를 들어, 스테레오 또는 다채널(5.1, 7.1) 재생 시스템에 요구되는 Preset-ASI 정보가 콘텐츠 제작자 및 재생 서비스의 목적에 맞게 추가적으로 전송될 수 있다.

도 6은 도 2의 트랜스코더(103)를 나타내는 또 다른 일실시예 구성도로서, 외부로부터 입력되는 제어신호가 없는 경우에 Preset-ASI 정보를 활용하는 일실시예 구성도를 나타낸다.

도 6에 도시된 바와 같이, 트랜스코더(103)는 파싱부(301) 및 렌더링부(303)를 포함한다. 상기 트랜스코더(103)는 제2행렬부(311), 제1행렬부(313), Preset-ASI 추출부(601) 및 행렬판단부(603)의 도움을 받을 수 있다.

상기 파싱부(301)는 상기 대표 SAOC 비트스트림에 포함된 SAOC 비트스트림과 SAC 비트스트림을 분리하고, 상기 대표 SAOC 비트스트림에 포함된 Preset-ASI 비트스트림을 파싱하여 Preset-ASI 추출부(601)로 전송한다.

상기 Preset-ASI 추출부(601)는 파싱된 Preset-ASI 비트스트림으로부터 디폴트(default) Preset-ASI를 출력하지만, 만약 Preset-ASI에 대한 분리(selection) 요청이 있는 경우, 분리 요청된 Preset-ASI를 출력한다.

상기 행렬판단부(603)는 상기 Preset-ASI 추출부(601)에 의해 출력된 Preset-ASI가 분리된 Preset-ASI의 경우, 분리된 Preset-ASI가 제1행렬의 형태인지 판단한다. 분리된 Preset-ASI가 정보를 직접적으로 표현한 경우, 상기 제1행렬부(313)로 전송되며, 상기 제1행렬부(313)는 상기 Preset-ASI 정보를 이용하여 제1행렬을 생성한다. 분리된 Preset-ASI가 제1행렬인 경우, 렌더링부(303)로 직접 입력되는 신호로 이용된다.

도 7은 도 2의 다객체 오디오 부호화기 및 복호화기에 오디오 객체 제거부(701)가 추가적으로 포함된 경우를 나타내는 일실시예 구성도이다.

도 7에 도시된 바와 같이, 오디오 객체 제거부(701)는 상기 SAOC 인코더(101)에 의해 생성된 대표 다운믹스 신호로부터 임의의 오디오 객체를 제거하기 위해 이용된다. 상기 오디오 객체 제거부(701)는 상기 SAOC 인코더(101)에 의해 생성된 대표 다운믹스 신호 및 상기 트랜스코더(103)로부터 대표 SAOC 비트스트림 정보를 전송받아 임의의 오디오 객체를 제거한다. 상기 오디오 객체 제거부(701)로 전송되는 대표 SAOC 비트스트림 정보는 예를 들어 랜더링부(303)에 의해 제공될 수 있다.

예를 들어, 상기 SAC 인코더(201)의 다운믹스 신호인 오디오 객체(object#N)만을 상기 SAC 디코더(105)의 입력 신호로서 이용하고자 하는 경우를 설명한다.

상기 SAOC 인코더(101)는 입력되는 각각 오디오 객체들의 파워 크기를 서브밴드 별로 추출하여 CLD 값으로 추출하고, 상기 CLD 값을 포함하는 SAOC 비트스트림을 생성한다. 임의의 서브밴드 m에 대한 파워 정보는 다음과 같이 얻을 수 있다.

여기서

은 SAOC 인코더(101)에 의해 출력되는 대표 다운믹스 신호의 m번째 밴드의 파워크기이다. 따라서, 오디오 객체 제거부(701)로 입력되는 대표 다운믹스 신호를

이라 하고, 상기 대표 다운믹스 신호를 주파수 영역으로 변환한 것을

라 하고, 오디오 객체 제거부(701)의 출력신호, 즉 상기 SAC 디코더(105)의 입력 신호를

라 하면,

은 상기 SAC 인코더(201)의 다운믹스 신호인 오디오 객체(object#N)와 대응되며, 하기 [수학식 10]으로 나타낼 수 있다.

여기서, A(m)은 m번째 서브밴드의 주파수 영역에서 경계를 나타내며,

는 레벨 크기를 조절하기 위한 임의의 상수 값이고,

는 모노 또는 스테레오이다.

이하,

가 모노인 경우를 설명한다. 다만,

가 스테레오인 경우,

가 좌/우 채널로 분리되어 처리되는 것 이외에는 모노인 경우와 동일하다.

상기

는 상기 SAC 인코더(201)의 다운믹스 신호인 오디오 객체(object#N)와 동일하게 볼 수 있다. 따라서, 상기 SAC 디코더(105)로 입력되는 대표 SAC 비트스트림은 상기 대표 SAOC 비트스트림으로부터 상기 SAOC 비트스트림이 제외된 비트스트림으로서, SAC 인코더(201)로부터 출력되는 SAC 비트스트림과 동일하게 이용될 수 있다. 즉, 상기 SAC 디코더(105)는 object#N를 전송받아, M개의 다채널 신호로 복원할 수 있다. 그러나, 전체 신호의 레벨은 트랜스코더(103)의 렌더링부(303)에 의해 조절되거나, 또는 [수학식 10]에 임의의 상수 값을 곱하여 object#N의 신호 레벨을 조정함으로써 조절될 수 있다.

한편, 일실시예로, 상기 SAC 인코더(201)의 다운믹스 신호인 오디오 객체(object#N)만을 상기 SAC 디코더(105)의 입력 신호에서 제거하고자 하는 경우를 설명한다. 상기 [수학식 10]은 하기 [수학식 11]과 같이 나타난다.

따라서, 상기 SAC 디코더(105)로 입력되는 대표 SAC 비트스트림은 상기 대표 SAOC 비트스트림으로부터 SAC 인코더(201)의 상기 SAC 비트스트림이 제외된 비트스트림으로서, 렌더링부(303)의 제2행렬에 대한 출력이 없는 것으로 볼 수 있다. 즉, 상기 트랜스코더(103)는 대표 SAOC 비트스트림블록을 파싱하고, object#N에 관한 정보를 제외한 나머지 오디오 객체 정보만을 랜더링하여 대표 SAC 비트스트림을 생성한다.

따라서, object#N에 해당하는 파워 이득정보, 상관성 정보 등은 대표 SAC 비트스트림에 포함되지 않는다. 상기 [수학식 11]은 [수학식 10]과 마찬가지로,

는 레벨 크기를 조절하기 위한 임의의 상수 값으로서, 전체 출력신호 레벨을 조절할 수 있다.

상기 오디오 객체 제거부(701)는 대표 다운믹스 신호에서 오디오 객체를 제거하며, 제거 명령은 트랜스코더(103)로 입력되는 제어 신호에 의해 결정된다. 상기 오디오 객체 제거부(701)는 시간영역 신호 및 주파수영역 신호 모두 적용 가능하다. 또한, 상기 대표 다운믹스 신호를 서브밴드로 분할하기 위해 DFT(Discrete Fourier Transform) 또는 QMF(Quadrature Mirror Filterbank)를 이용할 수 있다.

트랜스코더(103)의 렌더링부(303)는 SAOC 비트스트림 또는 SAC 비트스트림을 제거하여 SAC 디코더(105)로 전송하며, 상기 오디오 객체 제거부(701)는 상기 SAC 디코더(105)로 전송되는 비트스트림에 대응되도록 오디오 객체를 적절이 제거한다.

상기 트랜스코더(103)가 SAC 디코더(105)에 포함되는 경우, 상기 트랜스코더(103)로부터 출력되는 대표 SAC 비트스트림은 부가의 변환 과정 없이 SAC 디코더(105)로 전송될 수 있다. 여기서, 부가의 변환 과정이란, 양자화나 Huffman 코딩 방법과 같은 일반적인 코딩과정을 의미한다.

또한 SAOC 인코더(101)가 SAC 인코더(201)와 연결되지 않은 것으로 보고, SAC 인코더(201)의 출력 오디오 객체를 제외한 SAOC 인코더(101)로 입력되는 오디오 객체, 즉 object#1~object#N-1만을 제어하여 복원할 수 있다.

도 8은 도 2의 SAC 인코더(201) 및 SAC 디코더(105)를 MPEG Surround 인코더 및 디코더로 대체한 경우를 나타내는 일실시예 구성도이다.

도 8에 도시된 바와 같이, SAC 인코더(201)는 MPEG Surround 인코더(MPS 인코더, 801)로, SAC 디코더(105)는 MPEG Surround 디코더(MPS 디코더, 805)로 대체된다. 또한, 상기 SAOC 인코더(101)로부터 출력되는 대표 다운믹스 신호가 스테레오인 경우, 추가적으로 신호처리부(803)가 요구된다.

상기 MPS 인코더(801)는 도 2의 SAC 인코더(201)와 동일한 역할을 한다. 즉, 상기 MPS 인코더(801)는 입력되는 다채널 오디오 신호로부터 하나의 오디오 객체를 출력하고, 공간큐 및 부가정보를 추출하여 MPS 비트스트림을 생성한다. 상기 출력된 하나의 오디오 객체는 다운믹스된 모노 또는 스테레오 신호이다.

또한, 상기 MPS 디코더(805)는 도 2의 SAC 디코더(805)와 동일한 역할을 한다. 즉, 상기 MPS 디코더(805)는 상기 트랜스코더(103)로부터 출력되는 SAC 비트스트림을 이용하여, 상기 SAOC 인코더(101)로부터 출력되는 다운믹스 신호 또는 신호처리부(803)로부터 출력되는 대표 재다운믹스 신호를 다양한 채널의 다객체 오디오 신호로 복원한다.

한편, 상기 신호처리부(805)는 상기 SAOC 인코더(101)로부터 출력되는 다운믹스 신호가 스테레오인 경우, 즉 상기 MPS 디코더(805)가 스테레오 신호를 처리하는 경우, MPS 디코더(805)가 스테레오 신호의 Left/Right 처리에 제약이 있기 때문에 요구된다.

상기 [수학식 2]는 일반적인 SAC 디코더에서 다운믹스 신호가 m개로 일반화된 경우를 나타낸다. 다운믹스 신호가 스테레오인 경우, 복원되는 출력 채널 1에 대한 [수학식 2]는 하기 [수학식 12]와 같다.

여기서, 출력 채널의 벡터는 모든 다운믹스 신호에 대해 적용 가능하여야 하나, 현재 MPS 디코더(805)에서는 불가능하다. 상기 MPS 디코더(805)는 하기 [수학식 13]과 같이, 행렬 값이 0으로 제한되기 때문이다.

즉, 출력 채널 1을 복원함에 있어서,

요소가 반영되지 못하므로, 상기 [수학식 3], [수학식 4], [수학식 5]에의해 생성된

가 적용될 수 없다. 따라서, 스테레오 이상의 레이아웃을 갖는 신호에 대하여 유동적인 위치 선정(flexible positioning)이 불가능하다. 즉, 스테레오 신호의 좌측 신호 및 우측 신호 상호간에 자유로운 렌더링이 불가능하다.

그러나, 상기 신호처리부(803)를 이용하여 상기 SAOC 인코더(101)로부터 출력되는 대표 다운믹스 신호를 다시 다운믹스하여 대표 재다운믹스 신호로 출력한다. 상기 신호처리부(803)의 처리 과정은 하기 [수학식 14]와 같다.

상기 SAOC 인코더(101)로부터 출력되는 대표 다운믹스 신호가 스테레오인 경우, 상기 신호처리부(803)의 출력신호는 하기 [수학식 15]와 같다.

여기서,

,

는 상기 신호처리부(803)에 의해 출력되는 신호로서, 상기 MPS 디코더(805)로 입력된다.

및

는 [수학식 15]와 같이 좌측 신호 및 우측 신호의 렌더링이 모두 반영된 신호이므로, 상기 MPS 디코더(805)가 상기 [수학식 13]과 같이 제한되어도, 상기 MPS 디코더(805)는 좌측 신호 및 우측 신호가 자유롭게 렌더링된 신호를 출력할 수 있다.

예를 들어, 상기

이 MPS 디코더(805)에 의해 5 채널로 복원되는 경우, 상기 [수학식 14]에서

는 다음과 같이 표현될 수 있다.

상기한 바와 같이, MPEG Surround의 제약에 의하여 MPS 디코더(805)가 스테레오 신호를 처리하기 어려운 경우, 상기 신호처리부(803)는 상기 트랜스코더(103)로부터 전송된 객체 위치 정보를 이용하여 한번 더 다운믹스하여 대표 재다운믹스 신호를 출력한다. 상기 신호처리부(803)로 전송되는 객체 위치 정보는 예를 들어 랜더링부(303)에 의해 제공될 수 있다. 여기서, 랜더링부(303)는 앞서 설명된 바와 유사한 방식으로 상기 대표 SAOC 비트스트림에 기초하여 상기 SAOC 인코더(101) 및 MPS 인코더(801)로 입력되는 오디오 신호에 대하여 MPS 디코더(805)에 의해 출력될 오디오 신호의 좌측 신호 및 우측 신호 각각에 대한 공간큐 정보가 포함된 대표 MPS 비트스트림을 생성할 수 있다.

상기 MPS 디코더(805)는 상기 신호처리부(805)와 함께 동작함으로써, 도 2의 SAC 디코더(205)와 동일한 역할을 할 수 있다.

상기 MPS 디코더(805)는 상기 신호처리부(803)로부터 출력된 대표 재다운믹스 신호를 원하는 출력, 즉 다양한 채널을 갖는 다객체 신호로 복원한다.

상기 도 2의 SAC 디코더(205) 또는 상기 신호처리부(805)와 함께 동작하는 상기 MPS 디코더(805)의 복호화 방법은 다채널 다객체 다운믹스 신호와 다채널 다객체 부가정보(side information) 신호를 수신하는 단계;상기 다채널 다객체 다운믹스 신호를 다채널 다운믹스 신호로 변환하는 단계;상기 다채널 다객체 부가정보 신호를 다채널 부가정보 신호로 변환하는 단계; 상기 변환된 다채널 다운믹스 신호 및 다채널 부가정보 신호를 이용하여 오디오 신호를 합성하는 단계를 포함한다.

상기 다채널 다운믹스 신호 변환단계는, 상기 다채널 다객체 부가정보 신호로부터 얻어지는 객체 관련 정보를 이용하여 상기 다채널 다객체 다운믹스 신호로부터 객체 정보를 제거하는 단계를 포함한다. 상기 다채널 다운믹스 신호 변환단계는, 상기 다채널 다객체 부가정보 신호로부터 얻어지는 객체 관련 정보를 이용하여 상기 다채널 다객체 다운믹스 신호로부터 객체 정보를 제어하는 단계를 포함한다.

여기서, 상기 다채널 다운믹스 신호 변환단계에서, 상기 객체 관련 정보는 객체 제어 정보에 의해 제어될 수 있다. 여기서, 상기 객체 관련 정보는 복호화 시스템 정보에 의해 제어될 수 있다.

이상에서 설명된 본 발명에 따른 부호화 및 복호화 과정은 장치의 관점에서 설명되었으나, 상기 장치에 포함된 각 장치적 구성요소는 프로세스적 구성요소로 대체될 수 있으며, 이 경우, 본 발명에 따른 부호화 및 복호화 과정은 방법의 관점으로 이해될 수 있다는 것은 자명하다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

Claims

부호화된 다채널 오디오 신호 및 부호화된 다객체 오디오 신호를 포함하는 다운믹스 오디오 신호와, 상기 부호화된 다채널 오디오 신호에 대한 공간큐 정보 및 부호화된 오디오 객체 신호에 대한 공간큐 정보를 포함하는 비트스트림을 오디오 부호화 장치로부터 오디오 복호화 장치로 전달하는 트랜스코딩 장치에 있어서,
랜더링 유닛을 포함하며, 상기 비트스트림을 상기 오디오 부호화 장치로부터 수신하여, 상기 랜더링 유닛을 통해 상기 비트스트림으로부터 일부 정보를 제거함으로써 제1비트스트림 및 제2비트스트림중 어느 하나를 상기 복호화 장치로 전송하는 트랜스코딩 수단; 및
상기 다운믹스 오디오 신호를 상기 오디오 부호화 장치로부터 수신하여, 제1다운믹스 신호 및 제2다운믹스 신호 중에서 어느 하나를 상기 복호화 장치로 전송하는 오디오 객체 제거 수단
을 포함하며,
상기 제1비트스트림은 상기 비트스트림으로부터 상기 부호화된 다객체 오디오 신호에 대한 공간큐 정보를 제거하고 남은 비트스트림이고,
상기 제2비트스트림은 상기 비트스트림으로부터 상기 부호화된 다채널 오디오 신호에 대한 공간큐 정보를 제거하고 남은 비트스트림이고,
상기 제1다운믹스 신호는 상기 부호화된 다채널 오디오 신호이고,
상기 제2다운믹스 신호는 상기 다운믹스 오디오 신호로부터 상기 부호화된 다채널 오디오 신호를 제거하고 남은 오디오 객체 신호이며,
상기 제1다운믹스 신호 및 상기 제2다운믹스 신호 각각은 상기 제1비트스트림 및 상기 제2비트스트림에 따라 전송되는
트랜스코딩 장치.