WO2014021588A1

WO2014021588A1 - 오디오 신호 처리 방법 및 장치

Info

Publication number: WO2014021588A1
Application number: PCT/KR2013/006732
Authority: WO
Inventors: 오현오; 송정욱; 송명석; 전세운; 이태규
Original assignee: 인텔렉추얼디스커버리 주식회사
Priority date: 2012-07-31
Filing date: 2013-07-26
Publication date: 2014-02-06
Also published as: US20170125023A1; EP2863657A4; US9646620B1; EP2863657B1; JP6045696B2; CN104541524B; US20150194158A1; CN104541524A; EP2863657A1; JP2015531078A; US9564138B2

Abstract

본 발명은 객체 오디오 신호 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 객체 오디오 신호의 부호화 및 복호화하거나 3차원 공간에 렌더링하기 위한 방법 및 장치에 관한 것이다. 본 발명의 일 양상에 따르면, 복수의 객체신호를 정해진 방법에 따라 분류한 제1 객체신호그룹과 제2 객체신호그룹을 생성하는 단계, 제1객체신호그룹에 대해 제1다운믹스신호를 생성하는 단계, 제2객체신호그룹에 대해 제2다운믹스신호를 생성하는 단계, 제1객체신호그룹에 포함된 객체신호들에 대해 제1다운믹스신호에 대응하여 제1객체추출정보들을 생성하는 단계, 및 제2객체신호그룹에 포함된 객체신호들에 대해 제2다운믹스신호에 대응하여 제2객체추출정보들을 생성하는 단계를 포함하는 오디오 신호 처리 방법이 제공될 수 있다.

Description

오디오 신호 처리 방법 및 장치

본 발명은 객체 오디오 신호 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 객체 오디오 신호의 부호화 및 복호화하거나 3차원 공간에 렌더링하기 위한 방법 및 장치에 관한 것이다.

3D 오디오란 기존의 서라운드 오디오에서 제공하는 수평면 상의 사운드 장면(2D)에 높이 방향으로 또 다른 축(dimension)을 제공함으로써, 말그대로 3차원 공간에서의 임장감있는 사운드를 제공하기 위한 일련의 신호처리, 전송, 부호화, 재생 기술 등을 통칭한다. 특히, 3D 오디오를 제공하기 위해서는 종래보다 많은 수의 스피커를 사용하거나 혹은 적은 수의 스피커를 사용하더라도 스피커가 존재하지 않는 가상의 위치에서 음상이 맺히도록 하는 렌더링 기술이 널리 요구된다.

3D 오디오는 향후 출시될 초고해상도 TV (UHDTV)에 대응되는 오디오 솔루션이 될 것으로 예상되며, 고품질 인포테인먼트 공간으로 진화하고 있는 차량에서의 사운드를 비롯하여 그밖에 극장 사운드, 개인용 3DTV, 테블릿, 스마트폰, 클라우드 게임 등 다양하게 응용될 것으로 예상된다.

3D 오디오는 우선 최대 22.2채널까지 종래보다 많은 채널의 신호를 전송하는 것이 필요한데, 이를 위해서는 이에 적합한 압축 전송 기술이 요구된다. 종래의 MP3, AAC, DTS, AC3 등의 고음질 부호화의 경우, 주로 5.1채널 미만의 채널만을 전송하는데 최적화되어 있었다.

또한 22.2채널 신호를 재생하기 위해서는 24개의 스피커 시스템을 설치한 청취공간에 대한 인프라가 필요한데, 시장에 단기간 확산이 용이하지 않으므로, 22.2채널 신호를 그보다 작은 수의 스피커를 가진 공간에서 효과적으로 재생하기 위한 기술, 반대로 기존 스테레오 혹은 5.1채널 음원을 그보다 많은 수의 스피커인 10.1채널, 22.2채널 환경에서 재생할 수 있도록 하는 기술, 나아가서, 규정된 스피커 위치와 규정된 청취실 환경이 아닌 곳에서도 원래의 음원이 제공하는 사운드 장면을 제공할 수 있도록 하는 기술, 그리고 헤드폰 청취환경에서도 3D 사운드를 즐길 수 있도록 하는 기술 등이 요구된다. 이와 같은 기술들을 본원에서는 통칭 렌더링(rendering)이라고 하고, 세부적으로는 각각 다운믹스, 업믹스, 유연한 렌더링(flexible rendering), 바이노럴 렌더링 (binaural rendering) 등으로 부른다.

한편, 이와 같은 사운드 장면을 효과적으로 전송하기 위한 대안으로 객체 기반의 신호 전송 방안이 필요하다. 음원에 따라서 채널 기반으로 전송하는 것보다 객체 기반으로 전송하는 것이 더 유리한 경우가 있을 뿐 아니라, 객체 기반으로 전송하는 경우, 사용자가 임의로 객체들의 재생 크기와 위치를 제어할 수 있는 등 인터렉티브한 음원 청취를 가능하게 한다. 이에 따라 객체 신호를 높은 전송률로 압축할 수 있는 효과적인 전송 방법이 필요하다.

또한, 상기 채널 기반의 신호와 객체 기반의 신호가 혼합된 형태의 음원도 존재할 수 있으며, 이를 통해 새로운 형태의 청취 경험을 제공할 수도 있다. 따라서, 채널 신호와 객체 신호를 함께 효과적으로 전송하고, 이를 효과적으로 렌더링하기 위한 기술도 필요하다.

본 발명의 일 양상에 따르면, 복수의 객체신호를 정해진 방법에 따라 분류한 제1 객체신호그룹과 제2 객체신호그룹을 생성하는 단계, 제1객체신호그룹에 대해 제1다운믹스신호를 생성하는 단계, 제2객체신호그룹에 대해 제2다운믹스신호를 생성하는 단계, 제1객체신호그룹에 포함된 객체신호들에 대해 제1다운믹스신호에 대응하여 제1객체추출정보들을 생성하는 단계, 및

제2객체신호그룹에 포함된 객체신호들에 대해 제2다운믹스신호에 대응하여 제2객체추출정보들을 생성하는 단계를 포함하는 오디오 신호 처리 방법이 제공될 수 있다.

본 발명의 다른 양상에 따르면, 제1다운믹스신호와 제2다운믹스신호를 포함한 복수의 다운믹스 신호를 수신하는 단계, 제1다운믹스신호에 대응하는 제1객체신호그룹에 대한 제1객체추출정보를 수신하는 단계, 제2다운믹스신호에 대응하는 제2객체신호그룹에 대한 제2객체추출정보를 수신하는 단계, 제1다운믹스신호와 제1객체추출정보를 이용하여 제1객체신호그룹에 속하는 객체신호를 생성하는 단계, 및 제2다운믹스신호와 제2객체추출정보를 이용하여 제2객체신호그룹에 속하는 객체신호를 생성하는 단계를 포함하는 오디오 신호 처리 방법이 제공될 수 있다.

본 발명에 의하면, 오디오 신호를 효과적으로 표현하고, 부호화하고, 전송 및 저장 할 수 있으며, 다양한 재생 환경 및 기기를 통해 고품질 오디오 신호를 재생할 수 있다.

본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 동일한 시청 거리에서 영상 크기에 따른 시청 각도를 설명하기 위한 도면

도 2는 멀티 채널의 일 예로서 22.2ch의 스피커 배치 구성도

도 3은 청자가 3D 오디오를 청취하는 청취 공간상에서의 각 사운드 객체들의 위치를 나타내는 개념도

도 4는 도 3에 도시된 객체들에 대해 본 발명에 따른 그룹핑 방법을 이용하여 객체신호그룹을 형성한 예시적 구성도

도 5는 본 발명에 따른 객체 오디오 신호의 부호화기의 일 실시예에 대한 구성도

도 6는 본 발명의 일 실시예에 따른 복호화장치의 예시적인 구성도

도 7은 본 발명에 따른 부호화 방법에 의해 부호화하여 생성한 비트열의 일 실시예

도 8은 본 발명에 따른 객체 및 채널 신호 복호화 시스템을 블록도로 나타낸 일 실시예

도 9는 본 발명에 따른 또 다른 형태의 객체 및 채널 신호 복호화 시스템의 블록도

도 10은 본 발명에 따른 복호화 시스템의 일 실시예

도 11은 본 발명에 따른 복수 객체 신호에 대한 마스킹 임계치를 설명하기 위한 도면

도 12는 본 발명에 따른 복수 객체 신호에 대한 마스킹 임계치를 산출하는 부호화기의 일 실시예

도 13은 5.1채널 셋업에 대해 ITU-R 권고안에 따른 배치와 임의 위치에 배치된 경우를 설명하기 위한 도면

도 14는 본 발명에 따른 객체 비트열에 대한 복호화기와 이를 이용한 플렉서블 렌더링 시스템이 연결된 일 실시예의 구조

도 15는 본 발명에 따른 객체 비트열에 대한 복호화와 렌더링을 구현한 또 다른 실시예의 구조

도 16은 복호화기와 렌더러 사이의 전송계획을 결정하여 전송하는 구조를 나타내는 도면

도 17은 22.2 채널 시스템에서 전면 배치 스피커 가운데 디스플레이에 의해 부재한 스피커들을 그 주변 채널들을 이용하여 재생하는 개념을 설명하기 위한 개념도

도 18은 본 발명에 따른 부재 스피커 위치에의 음원 배치를 위한 처리 방법의 일 실시예

도 19는 각 밴드에서 생성된 신호를 TV 주변에 배치된 스피커와 매핑시키는 일 실시예

도 20은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 구현된 제품들의 관계를 보여주는 도면

여기서, 상기 오디오 신호 처리 방법은 상기 제1객체신호그룹과 제2객체신호그룹은 혼합되어 하나의 사운드 장면을 이루는 신호를 더 포함할 수 있다.

또한, 상기 오디오 신호 처리 방법은 상기 제1객체신호그룹과 제2객체신호그룹은 동일한 시간에 재생되는 신호로 구성될 수 있다.

본 발명에 있어서, 제1객체신호그룹과 제2객체신호그룹은 하나의 객체신호 비트열로 부호화될 수 있다.

여기서, 상기 제1다운믹스 신호를 생성하는 단계는 상기 제1객체신호그룹에 포함된 객체신호들에 대해 각 객체별 다운믹스 게인 정보를 적용하여 얻으며, 상기 객체별 다운믹스 게인 정보는 상기 제1객체추출정보에 포함된다.

여기서, 상기 오디오 신호 처리 방법은 상기 제1객체추출정보와 상기 제2객체추출정보를 부호화하는 단계를 더 포함할 수 있다.

본 발명에 있어서, 상기 오디오 신호 처리 방법은 상기 제1 객체신호그룹과 제2 객체 신호그룹을 포함한 상기 객체신호 전체에 대한 글로벌 게인 정보를 생성하는 단계를 더 포함하며, 상기 글로벌 게인 정보는 상기 객체신호 비트열로 부호화될 수 있다.

여기서, 상기 오디오 신호 처리 방법은 상기 제1객체신호그룹에 속하는 객체신호 중 적어도 하나의 객체신호와 상기 제2객체신호그룹에 속하는 적어도 하나의 객체신호를 이용하여 출력 오디오 신호를 생성하는 단계를 더 포함할 수 있다.

여기서, 상기 제1객체추출정보와 제2객체추출정보는 하나의 비트열로부터 수신할 수 있다.

또한, 상기 오디오 신호 처리 방법은 제1객체추출정보로부터 제1객체신호그룹에 속한 적어도 하나의 객체신호에 대한 다운믹스 게인정보를 얻고, 상기 다운믹스 게인정보를 이용하여 상기 적어도 하나의 객체신호를 생성할 수 있다.

또한, 상기 오디오 신호 처리 방법은 글로벌 게인 정보를 수신하는 단계를 더 포함하고, 상기 글로벌 게인 정보는 상기 제1객체신호그룹과 상기 제2객체신호그룹에 모두 적용되는 게인값일 수 있다.

또한, 상기 제1객체신호그룹에 속하는 객체신호 중 적어도 하나의 객체신호와 상기 제2객체신호그룹에 속하는 적어도 하나의 객체신호는 같은 시간대에 재생될 수 있다.

본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.

본 명세서에서 사용되는 용어와 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것이고, 도면에 도시된 형상은 필요에 따라 본 발명의 이해를 돕기 위하여 과장되어 표시된 것이므로, 본 발명이 본 명세서에서 사용되는 용어와 첨부된 도면에 의해 한정되는 것은 아니다.

본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략한다.

본 발명에서 다음 용어는 다음과 같은 기준으로 해석될 수 있고, 기재되지 않은 용어라도 하기 취지에 따라 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있고, 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 아우르는 용어로서, 경우에 따라 의미는 달리 해석될 수 있는 바, 그러나 본 발명은 이에 한정되지 아니한다.

이하에서는 본 발명의 실시예에 따른 객체 오디오 신호의 처리 방법 및 장치에 관하여 설명한다.

도 1은 동일한 시청 거리상에서 영상 크기(예: UHDTV 및 HDTV)에 따른 시청 각도를 설명하기 위한 도면이다. 디스플레이의 제작 기술이 발전되고, 소비자의 요구에 따라서 영상크기가 대형화 되어가는 추세이다. 도 1에 나타난 바와 같이 HDTV(1920*1080픽셀 영상)인 경우보다 UHDTV(7680*4320픽셀 영상)는 약 16배가 커진 영상이다. HDTV가 거실 벽면에 설치되고 시청자가 일정 시청거리를 두고 거실 쇼파에 앉은 경우 약 시청 각도가 30도일 수 있다. 그런데 동일 시청 거리에서 UHDTV가 설치된 경우 시청 각도는 약 100도에 이르게 된다. 이와 같이 고화질 고해상도의 대형 스크린이 설치된 경우, 이 대형 컨텐츠에 걸맞게 높은 현장감과 임장감을 갖는 사운드가 제공되는 것이 바람직할 수 있다. 시청자가 마치 현장에 있는 것과 거의 동일한 환경을 제공하기 위해서는, 1-2개의 서라운드 채널 스피커가 존재하는 것만으로는 부족할 수 있다. 따라서, 보다 많은 스피커 및 채널 수를 갖는 멀티채널 오디오 환경이 요구될 수 있다.

위에 설명한 바와 같이 홈 시어터 환경 이외에도 개인 3D TV(personal 3D TV), 스마트폰 TV, 22.2채널 오디오 프로그램, 자동차, 3D video, 원격 현장감 룸(telepresence room), 클라우드 기반 게임(cloud-based gaming) 등이 있을 수 있다.

도 2는 멀티 채널의 일 예로서 22.2ch의 스피커 배치를 나타낸 도면이다. 22.2ch는 음장감을 높이기 위한 멀티 채널 환경의 일 예일 수 있으며, 본 발명은 특정 채널 수 또는 특정 스피커 배치에 한정되지 아니한다. 도 2를 참조하면, 가장 높은 레이어(top layer, 1010)에 총 9개 채널이 제공될 수 있다. 전면에 3개, 중간 위치에 3개, 서라운드 위치에 3개 총 9개의 스피커가 배치되어 있음을 알 수 있다. 중간 레이어(middle layer, 1020)에는 전면에 5개, 중간 위치에 2개, 서라운드 위치에 총 3개의 스피커가 배치될 수 있다. 전면의 5개 스피커 중에 중앙 위치의 3개는 TV 스크린의 내에 포함될 수 있다. 바닥(bottom layer, 1030)에는 전면에 총 3개의 채널 및 2개의 LFE 채널(1040)이 설치될 수 있다.

이와 같이 최대 수십 개 채널에 이르는 멀티 채널 신호를 전송하고 재생하는 데 있어서, 높은 연산량이 필요할 수 있다. 또한 통신 환경 등을 고려할 때 높은 압축률이 요구될 수 있다. 뿐만 아니라, 일반 가정에서는 멀티채널(예: 22.2ch) 스피커 환경을 구비하는 경우는 많지 않고 2ch 또는 5.1ch 셋업을 갖는 청취자가 많기 때문에, 모든 유저에게 공통적으로 전송하는 신호가 멀티채널을 각각 인코딩해서 보내는 경우에는, 그 멀티채널을 2ch 및 5.1ch로 다시 변환하여 재생해야하는 경우 통신적인 비효율이 발생할 뿐만 아니라 22.2ch의 PCM 신호를 저장해야 하므로, 메모리 관리에 있어서의 비효율이 발생할 수 있다.

도 3은 청자(110)가 3D 오디오를 청취하는 청취 공간상(130)에서 3차원의 사운드 장면을 구성하는 각 사운드 객체(120)들의 위치를 나타내는 개념도이다. 도 3을 참조하면, 도식화의 편의상 각 객체(120)들이 점소스(point source)인 것으로 나타내었으나, 점소스 이외에도 평면파(plain wave) 형태의 음원이나, 엠비언트(ambient) 음원 (사운드 장면의 공간을 인식할 수 있는 전 방위에 걸쳐 퍼져있는 여음) 등도 있을 수 있다.

도 4는 도 3의 도식화된 객체들에 대해 본 발명에 따른 그룹핑 방법을 이용하여 객체신호그룹(410, 420)을 형성한 것을 표시한다. 본 발명에 따르면, 객체신호에 대한 부호화 혹은 처리를 함에 있어, 객체신호그룹을 형성하여 그룹핑된 객체들을 단위로 부호화하거나 처리하는 것이 특징이다. 이때 부호화의 경우 객체를 개별 신호로써 독립 부호화(discrete coding)하는 경우나 객체 신호에 대한 파라메트릭 부호화를 하는 경우를 포함한다. 특히 본 발명에 따르면, 객체신호에 대한 파라메터 부호화를 위한 다운믹스 신호의 생성과 다운믹스에 대응한 객체들의 파라메터 정보를 생성함에 있어서 그룹핑된 객체들을 단위로 생성하는 것이 특징이다. 즉, 종래의 예를 들어 SAOC 부호화 기술의 경우, 사운드 장면을 구성하는 모든 객체를 하나의 다운믹스 신호 (이때 다운믹스 신호는 모노(1채널), 혹은 스테레오(2채널) 일 수 있으나, 편의상 하나의 다운믹스 신호로 표현한다)와 그에 대응하는 객체 파라메터 정보로 표현하였으나, 이와 같은 방법을 본 발명에서 고려하는 시나리오에서처럼 20개 객체 이상, 많게는 200개, 500개를 하나의 다운믹스와 그에 대응한 파라메터로 표현할 경우 원하는 수준의 음질을 제공하는 업믹스 및 렌더링이 사실상 불가능하다. 이에 따라 본 발명에서는 부호화 대상이 되는 객체들을 그룹화하여 그룹단위로 다운믹스를 생성하는 방법을 이용한다. 그룹단위로 다운믹스되는 과정에서 각 객체가 다운믹스될 때 다운믹스 게인이 적용될 수 있으며, 적용된 객체별 다운믹스 게인은 부가정보로써 각 그룹에 대한 비트열에 포함된다. 한편, 부호화의 효율성 혹은 전체 게인에 대한 효과적인 제어를 위해 각 그룹에 공통으로 적용되는 글로벌 게인과 각 그룹별 객체들에 한정하여 적용되는 객체그룹게인이 사용될 수 있으며, 이들은 부호화되어 비트열에 포함되어 수신단에 전송된다.

그룹을 형성하는 첫번째 방법은 사운드 장면상에서 각 객체의 위치를 고려하여 가까운 객체들끼리 그룹을 형성하는 방법이다. 도 4의 객체그룹(410, 420)은 이와 같은 방법으로 형성한 한 예이다. 이는 파라메터 부호화의 불완전성으로 각 객체들간에 발생하는 크로스토크 왜곡이나, 객체들을 제3의 위치로 이동하거나 크기를 변경하는 렌더링을 수행할 때 발생하는 왜곡들이 청자(110)에게 가급적 들리지 않도록 하기위한 방법이다. 같은 위치에 있는 객체들에 발생한 왜곡은 상대적으로 마스킹에 의해 청자에게 들리지 않을 가능성이 높다. 같은 이유로 개별 부호화를 하는 경우도 공간적으로 유사 위치에 있는 객체들간의 그룹핑을 통해 부가정보를 공유하는 등의 효과를 기대할 수 있다.

도 5는 본 발명의 일 실시예에 따른 객체 오디오 신호 부호화기(500)를 나타낸 블록도이다. 도시된 바와 같이 객체 오디오 신호 부호화기(500)는 객체 그룹핑부(550) 다운믹서 및 파라미터 부호화기(520, 540)를 포함할 수 있다. 객체그룹핑부(550)는 본 발명의 실시예에 따라 복수의 객체를 그룹핑하여 적어도 하나의 객체 신호 그룹을 생성한다. 도 5의 실시예에서는 제1 객체 신호 그룹(510) 및 제2 객체 신호 그룹(530)이 생성된 것을 도시하였으나, 본 발명의 실시예에서 객체 신호 그룹의 수는 이에 한정하지 않는다. 이때 각 객체 신호 그룹은 도 4의 예에서 설명한 방법과 같이 공간적인 유사도를 고려하여 생성될 수도 있고, 음색, 주파수 분포, 음압 등의 신호 특성들에 따라 분하여 생성될 수도 있다. 다운믹서 및 파라미터 부호화기(520, 540)는 생성된 각 그룹별로 다운믹스를 수행하며 이 과정에서 다운믹스된 객체들을 복원하는데 필요한 파라메터를 생성한다. 각 그룹별로 생성된 다운믹스 신호들은 AAC, MP3와 같은 채널별 웨이브폼(waveform)을 부호화하는 웨이브폼 부호화기(560)를 통해 추가적으로 부호화된다. 이를 흔히 코어코덱(Core codec)이라고 부른다. 또한 각 다운믹스 신호간의 커플링 등을 통한 부호화가 이뤄질 수 있다. 각 부호화기(520, 540, 560)를 통해 생성된 신호는 먹스(570)를 통해 하나의 비트열로 형성되어 전송된다. 따라서, 다운믹서 및 파라메터 부호화기(520, 540)와 웨이브폼 부호화기(560)을 통해 생성된 비트열은 모두 하나의 사운드 장면을 이루는 구성객체들을 부호화한 신호로 볼 수 있다. 또한, 생성된 비트열내 서로 다른 객체 그룹에 속한 객체 신호는 동일한 시간 프레임을 가지고 부호화되며, 따라서, 같은 시간대에 재생되는 특징을 갖기도 한다. 한편, 객체그룹핑부(550)에서 생성한 그룹핑정보는 부호화되어 수신단에 전달되는 것이 가능하다.

도 6은 본 발명의 일 실시예에 따른 객체 오디오 신호 복호화기(600)를 나타낸 블록도이다. 객체 오디오 신호 복호화기(600)는 도 5의 실시예에 따라 부호화되어 전송된 신호를 복호화할 수 있다. 복호화 과정은 부호화의 역과정으로써, 디먹스(610)는 부호화기로부터 비트열을 수신하고, 비트열로부터 적어도 하나의 객체 파라미터셋과 웨이브폼 부호화 된 신호를 추출한다. 만약 도 5의 객체그룹핑부(550)가 생성한 그룹핑 정보가 비트열에 포함될 경우, 디먹스(610)는 비트열로부터 해당 그룹핑 정보를 추출할 수 있다. 웨이브폼 복호화기(620)는 웨이브폼 복호화를 수행하여 복수의 다운믹스 신호들을 생성하며, 생성된 복수의 다운믹스 신호들은 각각 대응되는 객체 파라미터셋과 함께 업믹서 및 파라메터 복호화기(630, 650)에 입력된다. 업믹서 및 파라메터 복호화기(630, 650)는 입력된 다운믹스 신호를 각각 업믹싱하여 적어도 하나의 객체 신호 그룹(640, 660)으로 복호화한다. 이때, 각 객체 신호 그룹(640, 660)의 복원에는 다운믹스 신호 및 이에 대응하는 객체 파라미터 셋이 이용된다. 도 6의 실시예에서, 복수의 다운믹스 신호가 존재하므로 복수의 파라메터 복호화가 필요하다. 도 6에서는 제1 다운믹스 신호 및 제2 다운믹스 신호가 각각 제1 객체 신호 그룹(640) 및 제2 객체 신호 그룹(660)으로 복호화되는 것을 도시하였으나, 본 발명의 실시예에서 추출된 다운믹스 신호의 개수 및 대응하는 객체 신호 그룹의 수는 이에 한정하지 않는다. 한편, 객체디그룹핑부(670)는 그룹핑 정보를 이용하여 각 객체 신호 그룹을 개별 객체 신호로 디그룹핑할 수 있다.

본 발명의 실시예에 따르면, 전송된 비트열에 글로벌 게인 및 객체그룹 게인이 포함되어 있는 경우, 이들을 적용하여 정상적인 객체 신호의 크기를 복원할 수 있다. 한편, 렌더링 혹은 트랜스 코딩 과정에서 이 게인값들은 제어가 가능하며, 글로벌 게인의 조절을 통해 전체 신호의 크기를, 객체그룹 게인의 조절을 통해 그룹별 신호의 크기를 조절할 수 있다. 이를테면, 재생 스피커 단위로 객체 그룹핑이 이루어진 경우, 후술할 유연한 렌더링을 구현하기 위해 게인을 조절할 때, 객체그룹 게인의 조절을 통해 쉽게 구현할 수 있을 것이다.

도 5 및 도 6에서 복수의 파라메터 부호화기 혹은 복호화기는 설명의 편의상 병렬로 처리되는 것처럼 도시되었으나, 하나의 시스템을 통해 순차적으로 복수 객체 그룹에 대한 부호화 혹은 복호화를 수행하는 것도 가능하다.

객체 그룹을 형성하는 또 다른 방법은 서로 상관도가 낮은 객체끼리 하나의 그룹으로 그룹핑하는 방법이다. 이는 파라메터 부호화의 특징으로 상관도가 높은 객체들은 다운믹스로부터 각각을 분리하기 어려운 특징을 고려한 것이다. 이때, 다운믹스 시 다운믹스 게인 등의 파라메터를 조절하여, 그룹핑된 각 객체들이 보다 상관성이 멀어지도록 하는 부호화 방법도 가능하다. 이때 사용된 파라메터는 복호화 시 신호 복원에 사용될 수 있도록 전송되는 것이 바람직하다.

객체 그룹을 형성하는 또 다른 방법은 서로 상관도가 높은 객체들을 하나의 그룹으로 그룹핑하는 방법이다. 이는 상관도가 높은 객체들의 경우 파라메터를 이용한 분리에 어려움이 있지만, 그런 활용도가 높지 않은 응용에서 압축 효율을 높이기 위한 방법이다. 다양한 스펙트럼을 가진 복잡한 신호일 경우 코어코덱에서의 신호 처리에 그만큼 비트가 많이 필요하므로, 상관도가 높은 객체를 묶어 하나의 코어코덱을 활용하면 부호화 효율이 높다.

객체 그룹을 형성하는 또 다른 방법은 객체간 마스킹 여부를 판단하여 부호화하는 것이다. 예를 들어 객체 A가 객체 B를 마스킹하는 관계에 있는 경우, 두 신호를 하나의 다운믹스에 포함하여 코어코덱으로 부호화하면 객체 B는 부호화 과정에서 생략될 수 있다. 이 경우 복호화단에서 파라메터를 이용하여 객체 B를 얻을 경우 왜곡이 크다. 따라서, 이와 같은 관계를 가지는 객체 A와 객체 B는 별도의 다운믹스에 포함하는 것이 바람직하다. 반면, 객체 A와 객체 B가 마스킹 관계에 있지만, 두 객체를 분리하여 렌더링할 필요가 없는 응용이나, 적어도 마스킹된 객체에 대한 별도 처리의 필요가 없는 경우는 반대로 객체 A와 B를 하나의 다운믹스에 포함시키는 것이 바람직하다. 따라서 응용에 따라 선택 방법이 다를 수 있다. 이를테면 부호화 과정에서 바람직한 사운드 장면상에서 특정 객체가 마스킹되어 없어지거나 최소한 미약한 경우라면, 이를 객체 리스트에서 제외하고 마스커가 되는 객체에 포함시키거나 두 객체를 합쳐 하나의 객체로 표현하는 식으로 구현할 수 있다.

객체 그룹을 형성하는 또 다른 방법은 평면파 소스 객체나 엠비언트 소스 객체 등 점 소스 객체가 아닌 것들을 분리하여 별도로 그룹화하는 것이다. 이와 같은 소스들은 점 소스와 다른 특성으로 인해, 다른 형태의 압축 부호화 방법이나 파라메터가 필요하며, 따라서, 별도로 분리하여 처리하는 것이 바람직하다.

본 발명의 실시예에 따르면, 그룹핑 정보는 전술한 객체 그룹이 형성된 방법에 대한 정보를 포함할 수 있다. 오디오 신호 복호화기는 전송된 그룹핑 정보를 참조하여, 복호화된 객체 신호 그룹을 원래의 객체들로 환원하는 객체디그룹핑을 수행할 수 있다.

도 7은 본 발명에 따른 부호화 방법에 의해 부호화하여 생성한 비트열의 일 실시예이다. 도 7을 참조하면, 부호화된 채널 혹은 객체 데이터가 전송되는 주비트열(700)이 채널 그룹(720,730,740) 혹은 객체 그룹(750,760,770) 순으로 정렬되어 있는 것을 알 수 있다. 각 채널 그룹에는 채널 그룹에 속한 개별 채널이 설정된 순서에 따라 정렬되어 배치된다. 도면부호 721, 731, 751은 각각 채널 1, 채널 8, 채널 92 신호를 나타내는 예이다. 또한 헤더(710)에 각 그룹의 비트열내에서의 위치정보인 채널 그룹 포지션 정보 CHG_POS_INFO (711), 객체 그룹 포지션 정보 OBJ_POS_INFO (712)를 포함하고 있으므로, 이를 참조하면 비트열을 순차적으로 복호화하지 않고도 원하는 그룹의 데이터만을 우선 복호화할 수 있다. 따라서 복호화기는 일반적으로 그룹단위로 먼저 도착한 데이터부터 복호화를 수행하나, 다른 정책이나 이유에 의해 복호화하는 순서를 임의로 변경할 수 있다. 또한 도7은 주비트열(700) 외에 별도로 주요 복호화 관련 정보와 함께 각 채널 혹은 객체 대한 메타데이터(703,704)를 담고 있는 부비트열(701)을 예시한다. 부비트열은 주비트열이 전송되는 중간에 간헐적으로 전송되거나, 별도 전송채널을 통해 전송될 수 있다. 한편, 채널과 객체 신호에 이어 선택적으로 ANC (Ancillary data, 780)이 포함될 수 있다.

(객체 그룹별로 비트할당하는 방법)

복수 그룹별로 다운믹스를 생성하고, 각 그룹별로 독립된 파라메트릭 객체 부호화를 수행하는데 있어서, 각 그룹에서 사용되는 비트수는 서로 다를 수 있다. 그룹별 비트를 할당하는 기준은 그룹내 포함된 객체의 수, 그룹내 객체간의 마스킹 효과를 고려한 유효 객체수, 사람의 공간 해상도를 고려한 위치에 따른 가중치, 객체들의 음압 크기, 객체간 상관도, 사운드 장면상의 객체의 중요도 등을 고려할 수 있다. 예를 들면 A,B,C 세개의 공간적 객체 그룹을 갖는 경우, 각각 그룹의 object신호가 3,2,1개씩 포함되어 있다면, 할당된 비트는 3a1(n-x), 2a2(n-y), a3n으로 할당될 수 있다. 여기서 x,y는 각 그룹 내에서 객체간 그리고 객체내에서 마스킹효과에 의해서 비트를 덜 할당해도 되는 정도를 나타내며, a1,a2 a3는 그룹별로 상기 언급한 다양한 요소들에 의해 결정될 수 있다.

(객체 그룹내에서 주객체,부객체 위치정보 부호화)

한편, 객체 정보의 경우 프로듀서가 생성한 의도에 따라 권고하거나 다른 사용자가 제안하는 믹스 정보 등을 객체의 위치 및 크기 정보로써 메타데이터를 통해 전달하는 수단을 갖는 것이 바람직하다. 본 발명에서는 이를 편의상 프리셋 정보라 부른다. 객체가 시간에 따라 위치가 가변하는 다이내믹 객체의 경우, 프리셋 정보를 통해 전송되야할 위치 정보의 정보량이 적지 않다. 예를들어 1000개의 객체에 대해 매 프레임 가변하는 위치 정보를 전송한다면 매우 큰 데이터량이 된다. 따라서, 객체의 위치 정보 역시 효과적으로 전송하는 것이 바람직하다. 이에 본 발명에서는 주 객체와 부 객체라는 정의를 이용하여 위치 정보의 효과적인 부호화 방법을 사용한다.

주 객체는 객체의 위치정보를 3차원 공간상의 절대적인 좌표값으로 표현하는 객체를 의미한다. 부 객체는 3차원 공간상의 위치를 주 객체에 대한 상대적인 값으로 표현하여 위치정보를 갖는 객체를 의미한다. 따라서 부 객체의 위치정보를 알기 위해서는 대응되는 주 객체가 무엇인지 알아야 한다. 본 발명의 실시예에 따르면 그룹핑을 수행하는 경우, 특히 공간상의 위치를 기준으로 그룹핑을 하는 경우, 동일 그룹내에 하나의 객체를 주 객체로 나머지 객체를 부 객체로 두고 위치 정보를 표현하는 방법으로 구현 가능하다. 부호화를 위한 그룹핑이 없거나 이를 이용하는 것이 부 객체 위치정보 부호화에 유리하지 않은 경우, 위치 정보 부호화를 위한 별도의 집합을 형성할 수 있다. 부 객체 위치 정보를 상대적으로 표현하는 것이 절대값으로 표현하는 것보다 유리하기 위해서는 그룹 혹은 집합내에 속하는 객체들은 공간상에서 일정 범위내에 위치하는 것이 바람직하다.

본 발명의 또다른 위치정보 부호화 방법은 주 객체에 대한 상대적인 표현 대신, 고정된 스피커 위치에 대한 상대 정보로써 각 객체의 위치정보를 표현하는 것이다. 이를테면, 22채널 스피커의 지정된 위치값을 기준으로 객체의 상대적 위치 정보를 표현한다. 이때 기준으로 사용할 스피커 개수와 위치 값 등은 현재 컨텐츠에서 설정한 값을 참조할 수 있다.

본 발명의 또다른 실시 예에따르면, 위치정보를 절대값 혹은 상대값으로 표현한 뒤 양자화를 수행하되, 양자화 스텝은 절대위치를 기준으로 가변적인 것을 특징으로 한다. 예를들어, 청자의 정면 부근은 측면 혹은 후면에 비해 위치에 대한 구별 능력이 월등히 높은 것으로 알려져 있으므로, 정면 영역에 대한 해상도는 측면 영역에 대한 해상도보다 높도록 양자화 스텝을 설정하는 것이 바람직하다. 마찬가지로 사람은 방위에 대한 해상도가 높낮이에 대한 해상도보다 높으므로 방위각에 대한 양자화를 고도에 대한 해상도보다 높게 하는 것이 바람직하다.

본 발명의 또다른 실시 예에서는, 위치가 시변하는 다이내믹 객체의 경우, 주 객체 혹은 다른 기준점에 대한 상대적인 위치값을 표현하는 대신, 해당 객체의 이전 위치값에 대한 상대적인 값으로 표현하는 것이 가능하다. 따라서 다이내믹 객체에 대한 위치 정보는 시간적으로 이전, 공간적으로 이웃 기준점 중 어디를 기준으로 했는지를 구별하기 위한 플래그 정보를 함께 전송하는 것이 바람직하다.

(복호화기 전체 아키텍처)

도 8은 본 발명에 따른 객체 및 채널 신호 복호화 시스템(800)을 블록도로 나타낸 일 실시예이다. 시스템(800)은 객체 신호(801), 채널 신호(802) 혹은 객체 신호와 채널 신호의 조합을 받을 수 있다. 또한 객체 신호 혹은 채널 신호는 각각 웨이브폼 부호화(801, 802) 되거나 파라메트릭 부호화(803, 804) 되어 있을 수 있다. 복호화 시스템(800)은 크게 3DA 복호화부(860)와 3DA 렌더링부(870)로 구분될 수 있으며, 3DA 렌더링부(870)는 임의의 외부 시스템 혹은 솔루션이 사용될 수도 있다. 따라서, 3DA 복호화부(860)와 3DA 렌더링부(870)는 외부와 쉽게 호환되는 표준화된 인터페이스를 제공하는 것이 바람직하다.

도 9는 본 발명의 또 다른 형태의 객체 및 채널 신호 복호화 시스템(900)의 블록도이다. 마찬가지로 본 시스템(900)은 객체 신호(901), 채널 신호(902) 혹은 객체 신호와 채널 신호의 조합을 받을 수 있다. 또한 객체 신호 혹은 채널 신호는 각각 웨이브폼 부호화(901,902) 되거나 파라메트릭 부호화(903,904) 되어 있을 수 있다. 도 8의 시스템(800)과 비교할 때 차이점은, 도 9의 복호화 시스템(900)에서는 각각 분리되어 있던 개별 객체 복호화기(810)와 개별 채널 복호화기(820), 그리고 파라메트릭 채널 복호화기(840)와 파라메트릭 객체 복호화기(830)가 각각 하나의 개별 복호화기(910)와 파라메트릭 복호화기(920)로 통합되었다는 점이다. 또한, 도 9의 복호화 시스템(900)에는 3DA 렌더링부(940)와, 편리하고 표준화된 인터페이스를 위한 렌더러 인터페이부(930)가 추가되었다. 렌더러 인터페이스부(930)는 내부 혹은 외부에 존재하는 3DA 렌더러(940)로부터 사용자 환경정보, 렌더러 버전 등을 입력받고, 이에 호환되는 형태의 채널 신호 혹은 객체 신호를 생성하여 3DA Renderer(940)에 전달하는 역할을 수행한다. 또한, 채널 수, 객체별 이름 등과 같이 재생에 필요한 부가 정보를 사용자에게 제공하기 위해 필요한 메타데이터를 표준화된 형식으로 생성하여 3DA Renderer(940)에 전달할 수 있다. 렌더러 인터페이스부(930)는 후술할 순서 제어부(1630)를 포함할 수 있다.

파라메트릭 복호화기(920)는 객체 신호 혹은 채널 신호를 생성하기 위해 다운믹스 신호가 필요한데, 필요한 다운믹스 신호는 개별 복호화기(910)를 통해 복호화되어 입력된다. 객체 및 채널 신호 복호화 시스템에 대응되는 부호화기는 여러가지 타입이 될 수 있으며, 도 8 및 도 9에 표현된 형태의 비트열(801,802,803,804,901,902,903,904) 중 적어도 하나를 생성할 수 있으면 호환되는 부호화기로 볼 수 있다. 또한 본 발명에 따르면, 도 8 및 도 9에 제시된 복호화 시스템은 과거 시스템 혹은 비트열과의 호환성을 보장하도록 디자인되었다. 예를들어 AAC로 부호화된 개별 채널 비트열이 입력된 경우 해당 비트열은 개별 (채널) 복호화기를 통해 복호화되어 3DA 렌더러로 송부될 수 있다. MPS (MPEG Surround) 비트열의 경우 다운믹스 신호와 함께 송부되는데, 다운믹스된 후 AAC로 부호화된 신호는 개별 (채널) 복호화기를 통해 복호화되어 파라메트릭 채널 복호화기에 전달되고, 파라메트릭 채널 복호화기는 마치 MPEG Surround 복호화기처럼 동작한다. SAOC (Spatial Audio Object Coding) 으로 부호화된 비트열의 경우도 마찬가지로 동작한다. 도 8의 시스템(800)에서 SAOC 비트열은 종래와 같이 SAOC 트랜스코더(830)에서 트랜스코딩 된 후 MPEG Surround 디코더(840)를 통해 개별 채널로 렌더링이 되는 구조를 갖는다. 이를 위해서는 SAOC 트랜스코더(830)는 재생 채널 환경정보를 받아서, 이에 맞도록 최적화된 채널 신호를 생성해서 전송하는 것이 바람직하다. 따라서, 본 발명의 객체 및 채널 신호 복호화 시스템은 종래 SAOC 비트열을 받아서 복호화 하되, 사용자 혹은 재생 환경에 특화된 렌더링을 수행할 수 있다. 도 9의 시스템(900)에서는 SAOC 비트열이 입력될 경우 MPS 비트열로 변환하는 트랜스코딩 동작대신 바로 채널 혹은 렌더링에 적합한 개별 객체 형태로 변환하는 방법으로 구현된다. 따라서, 트랜스코딩하는 구조에 비해 연산량이 낮으며, 음질 면에서도 유리하다. 도 9에서 객체 복호화기의 출력을 channel 로만 표시하였으나, 개별 객체 신호로써 렌더러 인터페이스(930)에 전달될 수도 있다. 또한 도 9에서만 표기되었으나, 도 8의 경우를 포함하여 파라메트릭 비트열상에 레지듀얼 신호가 포함된 경우 이에 대한 복호화는 개별 복호화기를 통해 복호화되는 것이 특징이다.

(채널에 대한 개별, 파라미터 조합, 레지듀얼)

도 10은 본 발명의 다른 실시예에 따른 인코더 및 디코더의 구성을 보여주는 도면이다.

도 10은 디코더의 스피커 셋업이 각기 다를 경우에 스케일러블한 코딩을 위한 구조를 나타낸다.

인코더는 다운믹싱부(210)를 포함하고, 디코더는 제1 디코딩부(230) 내지 제3 디코딩부(250) 중 하나 이상과 디멀티플렉싱부(220)를 포함한다.

다운믹싱부(210)는 멀티채널에 해당하는 입력신호(CH_N)을 다운믹싱함으로써, 다운믹스 신호(DMX)를 생성한다. 이 과정에서 업믹스 파라미터(UP) 및 업믹스 레지듀얼(UR) 중 하나 이상을 생성한다. 그런 다음 다운믹스 신호(DMX), 업믹스 파라미터(UP) (및 업믹스 레지듀얼(UR))를 멀티플렉싱함으로써, 하나 이상의 비트스트림을 생성하여 디코더에 전송한다.

여기서 업믹스 파라메터(UP)는 하나 이상의 채널을 둘 이상을 채널로 업믹싱하기 위해 필요한 파라미터로서, 공간 파라메터 및 채널간 위상 차이(IPD) 등이 포함될 수 있다.

그리고 업믹스 레지듀얼(UR)은 원본 신호인 입력 신호(CH_N)과 복원된 신호와의 차이인 레지듀얼 신호에 해당한다. 여기서 복원된 신호는 다운믹스 신호(DMX)에 업믹스 파라미터(UP)를 적용하여 업믹싱된 신호일 수도 있고, 다운믹싱부(210)에 의해 다운믹싱되지 않은 채널이 discrete한 방식으로 인코딩된 신호일 수 있다.

디코더의 디멀티플렉싱부(220)는 하나 이상의 비트스트림으로부터 다운믹스 신호(DMX) 및 업믹스 파라미터(UP)를 추출하고 업믹스 레지듀얼(UR)를 더 추출할 수 있다. 여기서 레지듀얼 신호는 다운믹스 신호에 대한 개별 부호화 유사한 방법으로 부호화될 수 있다. 따라서, 레지듀얼 신호의 복호화는 도 8 혹은 도 9에 제시된 시스템에서는 개별 (채널) 복호화기를 통해 이뤄지는 것이 특징이다.

디코더는 스피커 셋업 환경에 따라서, 제1 디코딩부(230) 내지 제3 디코딩부(250) 중 하나(또는 하나 이상)를 선택적으로 포함할 수 있다. 디바이스의 종류(스마트폰, 스테레오 TV, 5.1ch 홈시어터, 22.2ch 홈시어터 등)에 따라서 라우드 스피커의 셋업 환경이 다양할 수 있다. 이와 같이 다양한 환경에도 불구하고, 22.2ch 등의 멀티채널 신호를 생성하기 위한 비트스트림 및 디코더가 선택적이지 않다면, 22.2ch의 신호를 모두 복원한 후에, 스피커 재생환경에 따라서, 다시 다운믹스 해야 한다. 이러한 경우, 복원 및 다운믹스에 소요되는 연산량이 매우 높을 뿐만 아니라, 지연이 발생할 수도 있다.

그러나 본 발명의 다른 실시예에 따르면, 각 디바이스의 셋업 환경에 따라서 디코더가 제1 디코딩부 내지 제3 디코딩부 중 하나(또는 하나 이상)을 선택적으로 구비함으로써, 상기와 같은 불리함으로 해소할 수 있다.

제1 디코딩부(230)는 다운믹스 신호(DMX)만을 디코딩하는 구성으로써, 채널 수의 증가를 동반하지 않는다. 즉, 제1 디코딩부(230)는 다운믹스 신호가 모노인 경우 모노 채널 신호를 출력하고, 스테레오인 경우 스테레오 신호를 출력하는 것이다. 제1 디코딩부(230)는 스피커 채널 수가 하나 또는 두 개인 헤드폰이 구비된 장치, 스마트폰, TV 등에 적합할 수 있다.

한편, 제2 디코딩부(240)는 다운믹스 신호(DMX) 및 업믹스 파라미터(UP)를 수신하고, 이를 근거로 파라메트릭 M채널(PM)을 생성한다. 제2 디코딩부(240)는 제1 디코딩부(230)에 비해서 출력 채널 수가 증가한다. 그러나 업믹스 파라미터(UP)가 총 M채널까지의 업믹스에 해당하는 파라미터만 존재하는 경우, 제2 디코딩부(240)는 원본 채널 수(N)에 못미치는 M채널 수의 신호를 출력할 수 있다. 예를 들어 인코더의 입력신호인 원본 신호가 22.2ch 신호이고, M채널은 5.1ch, 7.1ch 채널 등일 수 있다.

제3 디코딩부(250)는 다운믹스 신호(DMX) 및 업믹스 파라미터(UP) 뿐만 아니라, 업믹스 레지듀얼(UR)까지 수신한다. 제2 디코딩부(240)는 M채널의 파라메트릭 채널을 생성하는 데 비해, 제3 디코딩부(250)는 이에 업믹스 레지듀얼 신호(UR)까지 추가적으로 적용함으로써, N개 채널의 복원된 신호를 출력할 수 있다.

각 디바이스는 제1 디코딩부 내지 제3 디코딩부 중 하나 이상을 선택적으로 구비하고, 비트스트림 중에서 업믹스 파라미터(UP) 및 업믹스 레지듀얼(UR)을 선택적으로 파싱함으로써, 각 스피커 셋업 환경에 맞는 신호를 바로 생성함으로써, 복잡도 및 연산량을 줄일 수 있다.

(마스킹 고려한 객체 웨이브폼 부호화)

본 발명에 따른 객체의 웨이브폼 부호화기(이하 웨이브폼(waveform) 부호화기는 채널 오디오 신호 혹은 객체 오디오 신호를 각 채널 혹은 객체별로 독립적으로 복호화가 가능하도록 부호화하는 경우를 말하며, 파라메트릭 부호화/복호화에 상대되는 개념으로 또한 개별(discrete) 부호화/복호화라고 부르기도 한다)는 객체의 사운드 장면상의 위치를 고려하여 비트할당한다. 이는 심리음향의 BMLD (Binaural Masking Level Difference) 현상과 객체 신호 부호화의 특징을 이용한 것이다.

BMLD 현상을 설명하기 위해 기존 오디오 부호화 방법에서 사용하던 MS (Mid-Side) 스테레오 부호화를 설명하면 다음과 같다. 즉, 심리음향에서의 마스킹 현상은 마스킹을 발생시키는 마스커(Masker)와 마스킹이 되는 마스키(Maskee)가 공간적으로 동일한 방향에 있을 때 가능하다는 것이 BMLD이다. 스테레오 오디오 신호의 두 채널 오디오 신호간의 상관성이 매우 높고, 그 크기가 같은 경우 그 소리에 대한 상(음상)이 두 스피커 사이 중앙에 맺히게 되며, 상관성이 없는 경우 각 스피커에서 독립된 소리가 나와 그 상이 각각 스피커에 맺히게된다. 만일 상관성이 최대인 입력 신호에 대해 각 채널을 독립적으로 부호화(dual mono)할 경우 오디오 신호의 음상은 중앙에, 양자화 잡음의 음상은 각 스피커에 따로 맺히게 될 것이다. 즉, 각 채널에서의 양자화 잡음은 서로 상관성이 없으므로, 그 상이 각 스피커에 따로 맺히게 되는 것이다. 따라서, 마스키가 되야하는 양자화 잡음이 공간적 불일치로 인해 마스킹되지 않아, 결국 사람에게 왜곡으로 들리는 문제가 발생한다. 합차부호화는 이와 같은 문제를 해결하고자, 두 채널 신호를 더한 신호 (Mid 신호)와 뺀 신호 (Difference)를 생성한 후 이를 이용하여 심리음향 모델을 수행하고, 이를 이용하여 양자화한다. 이러한 방법에 따르면, 발생한 양자화 잡음의 음상이 오디오 신호의 음상과 같은 위치에 맺히게 된다.

종래의 채널 부호화의 경우 각 채널은 재생되는 스피커에 매핑되며, 해당 스피커의 위치는 고정되고 서로 떨어져 있기 때문에, 채널간의 마스킹은 고려될 수 없었다. 그러나, 각 객체를 독립적으로 부호화 하는 경우는 해당 객체들의 사운드 장면상의 위치에 따라 마스킹 되는지 여부가 달라질 수 있다. 따라서 타 객체에 의해 현재 부호화되는 객체의 마스킹 여부를 판단하여 그에 따라 비트를 할당하여 부호화하는 것이 바람직하다.

도 11은 객체 1과 객체 2에 대한 각각의 신호와 이 신호들로부터 취득될 수 있는 마스킹 임계치(1110, 1120)와 객체 1과 객체 2를 합친 신호에 대한 마스킹 임계치(1130)를 도시한다. 객체 1과 객체 2가 적어도 청자의 위치를 기준으로 동일한 위치 혹은 BMLD의 문제가 발생하지 않을 만큼의 범위내에 위치하는 것으로 간주한다면, 청자에게 해당 신호에 의해 마스킹되는 영역은 1130과 같이 될 것이므로, 객체 1에 포함된 S2신호는 완전히 마스킹되어 들리지 않는 신호가 될 것이다. 그러므로, 객체 1을 부호화하는 과정에 있어서 객체 2에 대한 마스킹 임계치를 고려하여 부호화하는 것이 바람직하다. 마스킹 임계치는 서로 가산적으로 합쳐지는 성질이 있으므로, 결국 객체 1과 객체 2에 대한 각각의 마스킹 임계치를 더하는 방법으로 구할 수 있다. 혹은 마스킹 임계치를 계산하는 과정 자체도 연산량이 매우 높으므로 객체 1과 객체 2를 미리 합하여 생성한 신호를 이용하여 하나의 마스킹 임계치를 계산하여 객체 1과 객체 2를 각각 부호화 하는 것도 바람직하다.

도 12는 도 11과 같은 예시의 내용을 구현하기 위해 본 발명에 따른 복수 객체 신호에 대한 마스킹 임계치를 산출하는 부호화기(1200)의 일 실시예이다. 두 객체 신호가 입력되면 이에 대한 SUM(1210)에서 합신호를 생성한다. 합신호를 입력으로 심리음향모델 연산부(1230)에서는 객체 1, 객체 2에 대응하는 마스킹 임계치를 각각 산출한다. 이때 도 12에 나타내지 않았지만 심리음향 모델 연산부(1230)의 입력으로 합신호 이외에도 객체 1과 객체 2신호도 추가로 제공될 수 있다. 생성된 마스킹 임계치 1을 이용하여 객체 신호 1에 대한 웨이브폼 부호화 (1220)가 수행되어 부호화된 객체 신호 1을 출력하며, 마스킹 임계치 2를 이용하여 객체 신호 2에 대한 웨이브폼 부호화 (1240)가 수행되어 부호화된 객체 신호 2를 출력한다.

본 발명의 또다른 마스킹 임계치 산출 방법은 두 개의 객체 신호의 위치가 청음각 기준으로 완전히 일치 하지 않는 경우 두 객체에 대한 마스킹 임계치를 더하는 것 대신 두 객체가 공간상에 떨어진 정도를 고려하여 마스킹 레벨을 감쇄하여 반영하는 것도 가능하다. 즉 객체 1에 대한 마스킹 임계치를 M1(f), 객체 2에 대한 마스킹 임계치를 M2(f)라고 할 때, 각 객체를 부호화화는데 사용할 최종 조인트 마스킹 임계치 M1’(f), M2’(f)는 다음과 같은 관계를 갖도록 생성된다.

수학식 1

이때, A(f)는 두 객체간 공간상의 위치와 거리 및 두 객체의 속성 등을 통해 생성되는 감쇄팩터로써 0.0=<A(f)=<1.0 의 범위를 갖는다.

사람의 방향에 대한 해상도는 정면을 기준으로 좌우로 갈 수록 나빠지고 뒤쪽으로 갈 때 더욱 나빠지는 특성을 갖는데, 따라서, 객체의 절대적 위치는 A(f)를 결정하는 또다른 요소로 작용할 수 있다.

본 발명의 또 다른 실시예에서는, 두 객체 가운데 하나의 객체에 대해서는 자신의 마스킹 임계치만을 이용하고, 또 다른 객체에 대해서만 상대 객체에 대한 마스킹 임계치를 가져오는 방법으로 구현할 수 있다. 이를 각각 독립객체, 의존객체라고 한다. 자기 자신의 마스킹 임계치만을 이용하는 객체는 상대 객체와 무관하게 고음질 부호화 되므로, 해당 객체로부터 공간적으로 분리되는 렌더링이 수행되더라도 음질이 보존되는 장점을 가질 수 있다. 객체 1을 독립객체, 객체 2를 의존객체라고 하면, 다음과 같은 식으로 마스킹 임계치가 표현될 수 있다.

수학식 2

독립객체와 의존객체 여부는 각 객체에 대한 부가정보로써 복호화 및 렌더러에 전달하는 것이 바람직하다.

본 발명의 또 다른 실시예에서는, 두 객체가 공간상에서 일정정도 유사한 경우, 마스킹 임계치만을 합쳐서 생성하는 것이 아니라, 신호 자체를 하나의 객체로 합쳐서 처리하는 것도 가능하다.

본 발명의 또 다른 실시예에서는, 특히 파라미터 부호화를 수행하는 경우, 두 신호의 상관도와 두 신호의 공간 상의 위치를 고려하여, 하나의 객체로 합쳐서 처리하는 것이 바람직하다.

(트랜스코딩 특징)

본 발명의 또 다른 실시예에서는, 커플링된 객체를 포함한 비트열을 더 낮은 비트율로 트랜스 코딩 하기 위해, 데이터 크기를 줄이기 위해 객체의 숫자를 줄여야 할 경우(즉, 복수 객체를 하나로 다운믹스 하여 하나의 객체로 표현할 경우), 커플링된 객체에 대해 하나의 객체로 표현하는 것이 바람직하다.

이상의 객체간 커플링을 통한 부호화를 설명함에 있어서, 설명의 편의를 위해 2개의 객체만을 커플링하는 경우만을 예로 들었으나, 2개 이상 다수의 객체에 대한 커플링도 유사한 방법으로 구현 가능하다.

(유연한 렌더링 필요)

3D 오디오를 위해 필요한 기술 가운데 유연한 렌더링은 3D 오디오의 품질을 최상으로 끌어올리기 위해 해결해야할 중요한 과제 가운데 하나이다. 거실의 구조, 가구 배치에 따라 5.1 채널 스피커의 위치가 매우 비정형적인 것은 주지의 사실이다. 이와 같은 비정형적 위치에 스피커가 존재하더라도, 컨텐츠 제작자가 의도한 사운드 장면을 제공할 수 있도록 해야한다. 이를 위해서는 사용자마다 제각각인 재생 환경에서의 스피커 환경을 알아야 하는 것과 함께, 규격에 따른 위치 대비 차이를 보정하기 위한 렌더링 기술이 필요하다. 즉, 전송된 비트열을 디코딩하는 것으로 코덱의 역할이 끝나는 것이 아니라, 이를 사용자의 재생 환경에 맞게 최적화 변형하는 과정에 대한 일련의 기술이 요구된다.

도 13은 5.1채널 셋업에 대해 ITU-R 권고안에 따라 배치된 스피커(회색, 1310)와 임의 위치에 배치된 스피커(흰색, 1320)를 나타낸다. 실제 거실 환경에서는 이처럼 ITU-R 권고안과 대비하여 스피커의 방향각과 거리가 모두 달라지는 문제가 발생할 수 있다. (그림에 나타내지 않았지만 스피커의 높이에도 차이가 있을 수 있다.) 이와 같이 달라진 스피커 위치에서 원래의 채널 신호를 그대로 재생할 경우 이상적인 3D 사운드 장면을 제공하기 힘들다.

(플렉서블 렌더링)

신호의 크기를 기준으로 두 스피커 사이의 음원의 방향 정보를 결정하는 Amplitude Panning이나 3차원 공간상에서 3개의 스피커를 이용하여 음원의 방향을 결정하는데 널리 사용되는 VBAP (Vector-Based Amplitude Panning)을 이용하면 객체별로 전송된 객체 신호에 대해서는 상대적으로 편리하게 플렉서블 렌더링을 구현할 수 있는 것을 알 수 있다. 채널 대신 객체 신호를 전송하는 것의 장점 중 하나이다.

(객체 복호화와 렌더링 구조)

도 14는 본 발명에 따른 객체 비트열에 대한 복호화기와 이를 이용한 플렉서블 렌더링 시스템이 연결된 두가지 실시예의 구조(1400, 1401)를 나타낸다. 전술한 바와 같이 객체의 경우 원하는 사운드 장면에 맞춰 객체를 음원으로 위치시키기 용이한 장점이 있으며, 여기서는 믹스(Mix, 1420)부에서 믹싱행렬로 표현된 위치정보를 입력받아서 우선 채널 신호로 변경한다. 즉, 사운드 장면에 대한 위치정보를 출력 채널에 대응되는 스피커로부터의 상대적인 정보로써 표현되는 것이다. 이때, 실제 스피커의 개수와 위치가 정해진 위치에 존재하지 않는 경우 해당 위치 정보(Speaker Config)를 이용하여 다시 렌더링 하는 과정이 필요하다. 아래 기술하는 것처럼 채널 신호를 다시 다른 형태의 채널 신호로 렌더링하는 것은 객체를 최종 채널에 직접 렌더링하는 경우보다 구현하기 어렵다.

도 15는 본 발명에 따른 객체 비트열에 대한 복호화와 렌더링을 구현한 또 다른 실시예의 구조(1500)를 나타낸다. 도 14의 경우와 비교하면, 비트열로부터 복호화와 함께 최종 스피커 환경에 맞는 플렉서블 렌더링(1510)을 직접 구현하는 것이다. 즉, 믹싱 행렬에 바탕하여 정형의 채널로 수행하는 믹싱과 이렇게 생성된 정형 채널로부터 플렉서블 스피커로 렌더링하는 과정의 두 단계를 거치는 대신 믹싱행렬과 스피커 위치정보(1520)를 이용하여 하나의 렌더링 행렬 혹은 렌더링 파라미터를 생성하여, 이를 이용하여 객체 신호를 대상 스피커로 바로 렌더링하는 것이다.

(채널로 붙여서 플렉서블 렌더링)

한편, 채널 신호가 입력으로 전송되고 해당 채널에 대응되는 스피커의 위치가 임의 위치로 변경된 경우, 객체 신호에 대한 패닝 기법과 같은 방법이 적용되기 어렵고 별도의 채널 매핑 프로세스가 필요하다. 더 큰 문제는 이처럼 객체 신호와 채널 신호에 대해 렌더링을 위해 필요한 과정과 해결 방법이 다르기 때문에, 객체 신호와 채널 신호가 동시에 전송되어 두 신호를 믹스한 형태의 사운드 장면을 연출하고자 하는 경우는 공간의 부정합에 의한 왜곡이 발생하기 쉽다는 것이다. 이와 같은 문제를 해결하기 위해 본 발명의 또다른 실시예에서는 객체에 대한 플렉서블 렌더링을 별도로 수행하지 않고 채널 신호에 믹스를 먼저 수행한 후 채널 신호에 대한 플렉서블 렌더링을 수행하도록 한다. HRTF를 이용한 렌더링 등도 마찬가지 방법으로 구현되는 것이 바람직하다.

(복호화단 다운믹스: 파라미터 전송 혹은 자동생성)

다운믹스 렌더링에서 멀티채널 컨텐츠를 그보다 적은 수의 출력 채널을 통해 재생하는 경우 지금까지는 M-N 다운믹스 매트릭스 (M은 입력채널 수, N은 출력 채널 수)를 이용하여 구현하는 것이 일반적이었다. 즉, 5.1 채널 컨텐츠를 스테레오로 재생할 때, 주어진 수식에 의해 다운믹스를 수행하는 식으로 구현된다. 그런데, 이와 같은 다운믹스 구현 방법은 우선 사용자의 재생 스피커 환경이 5.1채널 뿐임에도 불구하고, 전송된 22.2채널에 해당하는 모든 비트열을 복호화해야하는 연산량의 문제가 발생한다. 휴대기기에서의 재생을 위한 스테레오 신호 생성을 위해서도 22.2채널 신호를 모두 복호화 해야한다면, 그 연산량 부담이 매우 높을 뿐 아니라 엄청난 양의 메모리 낭비(22.2채널 복호화된 오디오 신호의 저장)가 발생한다.

(다운믹스 대안으로의 트랜스코딩)

이에 대한 대안으로 거대한 22.2채널 원본 비트열로부터 효과적인 트랜스코딩을 통해 목표 기기 혹은 목표 재생 공간에 적합한 수의 비트열로 전환하는 방법을 생각할 수 있다. 예를 들어 클라우드 서버에 저장된 22.2채널 컨텐츠라면, 클라이언트 단말로부터 재생 환경 정보를 수신하고 이에 맞게 변환하여 전송하는 시나리오가 구현가능하다.

(복호화 순서 혹은 다운믹스 순서; 순서제어부)

한편, 복호화기와 렌더링이 분리되어 있는 시나리오의 경우, 예를 들어 22.2채널의 오디오 신호와 함께 50개의 객체신호를 복호화하여 이를 렌더러에 전달해야하는 경우가 발생할 수 있다. 이때, 전송되는 오디오 신호는 복호화가 완료된 높은 데이터율의 신호이므로, 복호화기와 렌더러 사이에 매우 큰 대역폭을 요구하는 문제가 있다. 따라서, 한번에 이와 같이 많은 데이터를 동시에 전송하는 것은 바람직하지 않으며, 효과적인 전송계획을 세우는 것이 바람직하다. 그리고, 이에 맞게 복호화기가 복호화 순서를 결정하여 전송하는 것이 바람직하다. 도 16은 이와 같이 복호화기와 렌더러 사이의 전송계획을 결정하여 전송하는 구조(1600)를 나타내는 블록도이다.

순서제어부(1630)는 비트열에 대한 복호화를 통해 부가정보를 취득하고, 메타데이터와 렌더러(1620)로부터 재생 환경, 렌더링 정보 등을 수신한다. 다음으로, 순서제어부(1630)는 상기 수신된 정보를 이용하여 복호화 순서, 복호화된 신호를 렌더러(1620)에 전송하는 전송 순서 및 단위 등의 통제 정보를 결정하고, 결정된 통제 정보를 복호화기(1610)와 렌더러(1620)에 다시 전달한다. 예를 들어 렌더러(1620)에서 특정 객체를 완전히 제거하도록 명령한 경우, 이 객체는 렌더러(1620)로의 전송이 불필요할 뿐 아니라, 복호화도 할 필요가 없다. 혹은 다른 예로 특정 객체들을 특정 채널로만 렌더링하는 상황인 경우, 해당 객체를 별도로 전송하는 대신 전송되는 해당 채널에 미리 다운믹스하여 전송하면 전송 대역이 줄어들 것이다. 또 다른 실시 예로, 사운드 장면을 공간적으로 그룹핑하여, 각 그룹별로 렌더링에 필요한 신호들을 같이 전송하면, 렌더러 내부 버퍼에서 불필요하게 대기해야하는 신호의 양을 최소화할 수 있다. 한편 렌더러(1620)에 따라 한번에 수용 가능한 데이터 크기가 다를 수 있는데 이와 같은 정보도 순서제어부(1630)에 통지하여 이에 맞게 복호화기(1610)가 복호화 타이밍 및 전송량을 결정할 수 있다.

한편, 순서제어부(1630)에 의한 복호화 통제는 부호화단에 전달되어, 부호화 과정까지 통제할 수 있다. 즉, 부호화기에서 불필요한 신호를 부호화 시 제외하거나, 객체, 채널에 대한 그룹핑을 결정하는 등이 가능하다.

(음성 고속도로)

한편, 비트열 가운데 양방향 통신의 음성에 해당하는 객체가 포함될 수 있다. 양방향 통신은 다른 컨텐츠와 다르게 시간 지연에 매우 민감하므로, 이에 해당하는 객체 혹은 채널 신호가 수신된 경우, 이를 우선하여 렌더러에 전송해야한다. 이에 해당하는 객체 혹은 채널신호는 별도의 플래그 등으로 표시할 수 있다. 우선 전송 객체는 타 객체/채널과 다르게 같은 프레임에 들어있는 다른 객체/채널 신호와 재생 시간(presentation time)에 있어서 독립적인 특성을 갖는다.

(AV 정합 및 Phantom Center)

UHDTV 즉 초고해상도 TV를 고려할 때, 발생하는 새로운 문제 가운데 하나로, 흔히 Near Field라고 부르는 상황이 있다. 즉, 일반적인 사용자 환경(거실)의 시청 거리를 고려할 때, 재생되는 스피커로부터의 청자까지의 거리가 각 스피커 사이의 거리보다 짧아짐으로 인해, 각 스피커가 점 음원으로 동작하게 된다는 점과 넓고 큰 스크린에 의해 중앙부에 스피커가 부재하게 된 상황에서 비디오에 동기화된 소리 객체의 공간 해상도가 매우 높아야만 고품질 3D 오디오 서비스가 가능하다는 점이다.

종래의 30도 정도의 시청각에서는 좌우에 배치된 스테레오 스피커가 Near Field 상황에 놓이지 않으며, 화면상의 객체의 이동 (예를 들어 왼쪽에서 오른쪽으로 이동하는 자동차)에 맞는 사운드 장면을 제공하기에 충분하다. 그러나, 시청각이 100도에 이르는 UHDTV 환경에서는 좌우 해상도뿐 아니라 화면의 상하를 구성하는 추가의 해상도가 필요하다. 예를 들어, 화면상의 2명의 등장 인물이 있을 경우, 현재의 HDTV에서는 두 명의 소리가 모두 가운데서 발화되는 것으로 들려도 현실감에 있어 큰 문제로 느껴지지 않았지만, UHDTV 크기에서는 화면과 그에 대응하는 소리의 불일치가 새로운 형태의 왜곡으로 인식될 것이다.

이에 대한 해결방안 중 하나로 22.2 채널 스피커 configuration의 형태를 들 수 있다. 도 2는 22.2채널 배치의 한 예이다. 도 2에 따르면, 전면부에 총 11개의 스피커를 배치하여 전면의 좌우 및 상하 공간 해상도를 크게 높이고 있다. 종전 3개의 스피커가 담당하던 중간층에 5개의 스피커를 배치한다. 그리고, 상위 개층 3개, 하위 계층에 3개를 추가하여 소리의 높낮이도 충분히 대응할 수 있도록 하였다. 이와 같은 배치를 이용하면 종전에 비해 전면의 공간 해상도가 높아지므로, 그만큼 비디오 신호와의 정합에 유리해질 것이다. 그런데, LCD, OLED 등의 디스플레이 소자를 이용하는 현재의 TV들에 있어, 스피커가 존재해야할 위치를 디스플레이가 차지한다는 문제가 있다. 즉, 디스플레이 자체가 소리를 제공하거나 혹은 소리를 관통하는 소자성격을 갖지 않는한 디스플레이 영역 밖에 존재하는 스피커들을 이용하여, 화면내의 각 오브젝트 위치에 정합된 소리를 제공해야하는 문제가 존재한다. 도 2에서 최소 FLc, FC, FRc에 해당하는 스피커는 디스플레이와 중복된 위치에 배치된다.

도 17은 22.2 채널 시스템에서 전면 배치 스피커 가운데 디스플레이에 의해 부재한 스피커들을 그 주변 채널들을 이용하여 재생하는 개념을 설명하기 위한 개념도이다. FLc, FC, FRc 부재를 대응하기 위해 점선으로 표시한 원과 같이 추가 스피커를 디스플레이의 상하 주변부에 배치하는 경우도 고려할 수 있다. 도 17에 따르면 FLc를 생성하는데 사용할 수 있는 주변 채널은 7개가 있을 수 있다. 이 7개의 스피커를 이용하여 가상 소스를 생성하는 원리로 부재 스피커 위치에 해당하는 소리를 재생할 수 있다.

주변 스피커를 이용하여 가상 소스를 생성하는 방법으로 VBAP이나 HAAS Effect (선행 효과)와 같은 기술 및 성질을 이용할 수 있다. 혹은 주파수 대역에 따라 서로 다른 패닝 기법을 적용할 수 있다. 나아가서는 HRTF를 이용한 방위각 변경 및 높이 조절 등을 고려할 수 있다. 예를들어 BtFC를 이용하여 FC를 대체할 경우, 상승 성질을 갖는 HRTF를 적용하여 FC 채널 신호를 BtFC에 더하는 방법으로 구현할 수 있다. HRTF 관찰을 통해 파악할 수 있는 성질은 소리의 높이를 조절하기 위해서는 고주파수 대역의 특정 Null의 위치(이는 사람에 따라 다름)를 제어해야한다는 것이다. 그런데, 사람에 따라 다른 Null을 일반화하여 구현하기 위해서는 고주파수 대역을 넓게 키우거나 줄이는 방법으로 높이 조절을 구현할 수 있다. 이와 같은 방법을 사용하면 대신 필터의 영향으로 신호에 왜곡이 발생하는 단점이 있다.

본 발명에 따른 부재 스피커 위치에의 음원 배치를 위한 처리 방법은 도 18에 제시된 것과 같다. 도 18에 따르면 팬텀 스피커 위치에 대응하는 채널 신호가 입력신호로 사용되며, 입력신호는 3개의 밴드로 분할하는 서브밴드 필터부(1810)를 거친다. 스피커 어레이가 없는 방법으로 구현될 수도 있는데, 이 경우 3개 밴드 대신 2개 밴드로 구분하거나 3개 밴드로 분할한 대신 상위 2개 밴드에 대해 각기 다른 처리를 거치는 방법으로 구현될 수도 있다. 첫번째 밴드(SL, S1)는 저주파 대역으로 상대적으로 위치에 둔감한 대신 크기가 큰 스피커를 통해 재생하는 것이 바람직하므로, 우퍼 혹은 서브우퍼를 통해 재생될 수 있는 신호이다. 이때, 선행 효과를 이용하기 위해 첫번째 밴드 신호는 시간 지연 필터부(1820)에 의해 지연될 수 있다. 이때 시간 지연은 다른 밴드에서의 처리 과정에서 발생하는 필터의 시간 지연을 보상하기 위한 것이 아니라, 다른 밴드 신호 대비 더 늦게 재생되도록 하기 위해 즉, 선행 효과를 제공하기 위한 추가적인 시간 지연을 제공한다.

두번째 밴드(SM, S2~S5)는 팬텀 스피커 주변의 (TV 디스플레이의 배젤 및 그 주변에 배치되는 스피커) 스피커를 통해 재생되는데 사용될 신호로써, 적어도 2개의 스피커로 분할되어 재생되며, VBAP 등의 패닝 알고리즘(1830)을 적용하기 위한 계수가 생성되어 적용된다. 따라서, 두번째 밴드 출력이 재생되는 스피커의 개수와 위치(팬텀 스피커에 대해 상대적인)를 정확히 제공해야 이를 통한 패닝효과가 향상될 수 있다. 이때 VBAP 패닝 이외에도 HRTF를 고려한 필터의 적용이나, 시간 패닝 효과를 제공하기 위해 서로 다른 위상 필터 혹은 시간 지연 필터를 적용하는 것도 가능하다. 이와 같이 밴드를 나누어 HRTF를 적용할 때 얻을 수 있는 또다른 장점은 HRTF에 의해 발생하는 신호 왜곡의 범위를 처리하는 대역내로 제한할 수 있다는 점이다.

세번째 밴드(SH, S6~S_N)는 스피커 어레이가 존재하는 경우 이를 이용하여 재생되는 신호를 생성하기 위함이며, 스피커 어레이 제어부(1840)에서 적어도 3개의 스피커를 통한 음원 가상화를 위한 어레이 신호처리 기술을 적용할 수 있다. 혹은 WFS (Wave Field Synthesis)를 통해 생성되는 계수를 적용할 수 있다. 이때, 세번째 밴드와 두번째 밴드는 실제로 같은 밴드일 수도 있다.

도 19는 각 밴드에서 생성된 신호를 TV 주변에 배치된 스피커와 매핑시키는 일 실시예를 나타낸다. 도 19에 따르면, 두번째 밴드(S2~S5) 및 세번째 밴드(S6~S_N)에 대응되는 스피커의 개수 및 위치 정보는 상대적으로 정확히 정의된 위치에 있어야 하며, 그 위치 정보는 도 18의 처리 시스템에 제공되는 것이 바람직하다.

도 20은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 구현된 제품들의 관계를 보여주는 도면이다. 우선 도 20을 참조하면, 유무선 통신부(310)는 유무선 통신 방식을 통해서 비트스트림을 수신한다. 구체적으로 유무선 통신부(310)는 유선통신부(310A), 적외선통신부(310B), 블루투스부(310C), 무선랜통신부(310D) 중 하나 이상을 포함할 수 있다.

사용자 인증부는(320)는 사용자 정보를 입력 받아서 사용자 인증을 수행하는 것으로서 지문인식부(320A), 홍채인식부(320B), 얼굴인식부(320C), 및 음성인식부(320D) 중 하나 이상을 포함할 수 있는데, 각각 지문, 홍채정보, 얼굴 윤곽 정보, 음성 정보를 입력받아서, 사용자 정보로 변환하고, 사용자 정보 및 기존 등록되어 있는 사용자 데이터와의 일치여부를 판단하여 사용자 인증을 수행할 수 있다.

입력부(330)는 사용자가 여러 종류의 명령을 입력하기 위한 입력장치로서, 키패드부(330A), 터치패드부(330B), 리모컨부(330C) 중 하나 이상을 포함할 수 있지만, 본 발명은 이에 한정되지 아니한다.

신호 코딩 유닛(340)는 유무선 통신부(310)를 통해 수신된 오디오 신호 및/또는 비디오 신호에 대해서 인코딩 또는 디코딩을 수행하고, 시간 도메인의 오디오 신호를 출력한다. 상기 신호 코딩 유닛(340)은 오디오 신호 처리 장치(345)를 포함할 수 있다. 이때, 오디오 신호 처리 장치(345)는 앞서 설명한 본 발명의 실시예(즉, 일 실시예에 따른 디코더(600) 및 다른 실시예에 따른 인코더 및 디코더(1400))에 해당하는 것으로서, 이와 같이 오디오 처리 장치(345) 및 이를 포함한 신호 코딩 유닛(340)은 하나 이상의 프로세서에 의해 구현될 수 있다.

제어부(350)는 입력장치들로부터 입력 신호를 수신하고, 신호 코딩 유닛(340)와 출력부(360)의 모든 프로세스를 제어한다. 출력부(360)는 신호 디코딩유닛(340)에 의해 생성된 출력 신호 등이 출력되는 구성요소로서, 스피커부(360A) 및 디스플레이부(360B)를 포함할 수 있다. 출력 신호가 오디오 신호일 때 출력 신호는 스피커로 출력되고, 비디오 신호일 때 출력 신호는 디스플레이를 통해 출력된다.

본 발명에 따른 오디오 신호 처리 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

전술한 바와 같이, 발명의 실시를 위한 최선의 형태에서 관련 사항을 기술하였다.

본 발명은 오디오 신호를 인코딩 및 디코딩하거나 오디오 신호에 다양한 처리를 하는 과정에 적용될 수 있다.

Claims

제1다운믹스신호와 제2다운믹스신호를 포함한 복수의 다운믹스 신호를 수신하는 단계;

제1다운믹스신호에 대응하는 제1객체신호그룹에 대한 제1객체추출정보를 수신하는 단계;

제2다운믹스신호에 대응하는 제2객체신호그룹에 대한 제2객체추출정보를 수신하는 단계;

제1다운믹스신호와 제1객체추출정보를 이용하여 제1객체신호그룹에 속하는 객체신호를 생성하는 단계; 및

제2다운믹스신호와 제2객체추출정보를 이용하여 제2객체신호그룹에 속하는 객체신호를 생성하는 단계;

를 포함하는 오디오 신호 처리 방법.
제 1 항에 있어서,

상기 제1객체신호그룹에 속하는 객체신호 중 적어도 하나의 객체신호와 상기 제2객체신호그룹에 속하는 적어도 하나의 객체신호를 이용하여 출력 오디오 신호를 생성하는 단계를 더 포함하는 오디오 신호 처리 방법.
제 1 항에 있어서,

상기 제1객체추출정보와 제2객체추출정보는 하나의 비트열로부터 수신하는 오디오 신호 처리 방법.
제 1 항에 있어서,

제1객체추출정보로부터 제1객체신호그룹에 속한 적어도 하나의 객체신호에 대한 다운믹스 게인정보를 얻고, 상기 다운믹스 게인정보를 이용하여 상기 적어도 하나의 객체신호를 생성하는 오디오 신호 처리 방법.
제 1 항에 있어서,

글로벌 게인 정보를 수신하는 단계를 더 포함하고, 상기 글로벌 게인 정보는 상기 제1객체신호그룹과 상기 제2객체신호그룹에 모두 적용되는 게인값인 오디오 신호 처리 방법.
제 1 항에 있어서,

상기 제1객체신호그룹에 속하는 객체신호 중 적어도 하나의 객체신호와 상기 제2객체신호그룹에 속하는 적어도 하나의 객체신호는 같은 시간대에 재생되는 오디오 신호 처리 방법.