KR20150111117A - 오디오 신호 처리 장치 및 방법 - Google Patents

Abstract

본 발명인 오디오 신호 처리 장치는 사용자의 사용 가능한 스피커 정보를 입력받는 스피커 정보 입력부, 채널 신호 및/또는 객체 신호를 포함하는 오디오 비트열 신호를 수신하는 수신부, 상기 오디오 비트열 신호에 포함된 상기 채널 신호 또는 객체 신호를 복호화하는 복호화부, 상기 객체 신호에 대응하는 객체가 상기 사용 가능한 스피커 영역 내에 위치하는지 여부를 판별하는 객체 판별부, 상기 복호화된 채널 신호 및 상기 복호화된 객체 신호를 각각 렌더링하는 채널 렌더러 및 객체 렌더러를 포함하며, 상기 판별 결과에 기초하여 렌더링 방법을 설정하는 렌더링 설정부를 포함하는 렌더링부 및 상기 렌더링된 채널 신호 및 상기 렌더링된 객체 신호를 합성하는 합성부를 포함한다.

Description

오디오 신호 처리 장치 및 방법{SYSTEM AND METHOD FOR PROCESSING AUDIO SIGNAL}

본 발명은 오디오 신호 처리 장치 및 방법에 관한 것으로, 보다 구체적으로는 예외 객체 신호를 채널 신호에 합성하고 이를 렌더링함으로써 예외 객체 신호를 처리할 수 있는 오디오 신호 처리 장치 및 방법에 관한 것이다.

3D 오디오란 기존의 서라운드 오디오에서 제공하는 수평면상의 사운드 장면(2D)에 높이 방향에 해당하는 또 다른 축을 제공함으로써, 3차원 공간상에서 임장감 있는 사운드를 제공하기 위한 일련의 신호 처리, 전송, 부호화 및 재생기술 등을 통칭한다. 특히, 3D 오디오를 제공하기 위해서는 종래보다 많은 수의 스피커를 사용하거나 혹은 적은 수의 스피커를 사용하더라도 스피커가 존재하지 않는 가상의 위치에서 음상이 맺히도록 하는 렌더링 기술이 요구된다.

3D 오디오는 향후 출시될 초고해상도 TV(UHDTV)에 대응되는 오디오 솔루션이 될 것으로 예상되며, 고품질 인포테인먼트 공간으로 진화하고 있는 차량에서의 사운드를 비롯하여 그밖에 극장 사운드, 개인용 3DTV, 태블릿, 스마트폰 및 클라우드 게임 등 다양한 분야에서 응용될 것으로 예상된다.

한편, 3D 오디오에 제공되는 음원의 형태로 채널 기반의 신호만이 존재하거나, 객체 기반의 신호만이 존재할 수 있다. 이뿐만 아니라, 채널 기반의 신호와 객체 기반의 신호가 혼합된 형태의 음원이 존재할 수 있으며, 이를 통해 사용자로 하여금 새로운 형태의 청취 경험을 제공할 수 있다.

이때, 채널 기반 신호 및 객체 기반 신호를 처리하기 위한 MPEG-H 3D 오디오는 채널 렌더러와 객체 렌더러의 성능 차이로 인하여 여러가지 문제점을 가지고 있으며, 이와 같은 성능 차이로 인해 사운드 신이 의도한대로 재생되지 않는 등, 음원의 왜곡이 발생하게 된다. 따라서, 채널 렌더러와 객체 렌더러의 성능 차이로 인해 발생하는 문제점을 해결할 필요가 있다.

이와 관련하여 한국공개특허 제2011-0002504호(발명의 명칭: 멀티채널 다운믹스된 객체 코딩의 개선된 코딩 및 파라미터 표현)에는 복수의 오디오 객체를 적어도 두 개의 다운믹스 채널들로 분배하여 다운믹스 정보를 생성하고, 객체 파라미터들을 생성하여 인코딩된 오디오 객체 신호를 생성하는 기술이 개시되어 있다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명의 일부 실시예는 예외 객체에 대응하는 예외 객체 신호가 존재할 경우, 렌더링된 예외 객체 신호를 채널 신호에 합성하고 이를 렌더링함으로써 예외 객체 신호를 처리할 수 있는 오디오 신호 처리 장치 및 방법을 제공하는 것을 그 목적으로 한다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 오디오 신호 처리 장치는 사용자의 사용 가능한 스피커 정보를 입력받는 스피커 정보 입력부, 채널 신호 및/또는 객체 신호를 포함하는 오디오 비트열 신호를 수신하는 수신부, 상기 오디오 비트열 신호에 포함된 상기 채널 신호 또는 객체 신호를 복호화하는 복호화부, 상기 객체 신호에 대응하는 객체가 상기 사용 가능한 스피커 영역 내에 위치하는지 여부를 판별하는 객체 판별부, 상기 복호화된 채널 신호 및 상기 복호화된 객체 신호를 각각 렌더링하는 채널 렌더러 및 객체 렌더러를 포함하며, 상기 판별 결과에 기초하여 렌더링 방법을 설정하는 렌더링 설정부를 포함하는 렌더링부 및 상기 렌더링된 채널 신호 및 상기 렌더링된 객체 신호를 합성하는 합성부를 포함한다.

또한, 본 발명의 제 2 측면에 따른 오디오 신호 처리 장치에서의 오디오 신호 처리 방법은 수신한 오디오 비트열로부터 채널 신호 또는 객체 신호를 복호화하는 단계, 상기 복호화된 채널 신호 또는 객체 신호를 렌더링하는 단계 및 상기 렌더링된 채널 신호 및 객체 신호를 합성하는 단계를 포함하되, 상기 렌더링하는 단계는, 상기 복호화된 채널 신호를 렌더링하고, 상기 렌더링된 채널 신호 및 렌더링된 객체 신호를 합성하는 제 1 방법 및 상기 렌더링된 객체 신호를 상기 채널 신호와 합성하고, 상기 합성된 채널 신호를 렌더링하는 제 2 방법 중 어느 하나를 선택적으로 수행한다.

전술한 본 발명의 과제 해결 수단에 의하면, 예외 채널에 해당하는 스피커가 재생단에서 부재할 경우 효과적으로 다른 스피커들을 이용하여 재생할 수 있다.

또한, 객체 신호를 채널 신호에 합성하고 이를 채널 렌더러를 통해 렌더링함으로써 객체 렌더러와 채널 렌더러 간의 성능 차이로 인해 발생하는 음원의 왜곡 현상을 방지할 수 있다.

도 1은 동일한 시청 거리에서 영상 크기에 따른 시청 각도를 설명하기 위한 도면이다.
도 2는 멀티채널 오디오 환경의 일 예시로서 22.2 채널 스피커의 배치 구성도이다.
도 3은 청취 공간상에서 3차원의 사운드 장면을 구성하는 각 사운드 객체들의 위치를 나타내는 개념도이다.
도 4는 채널 또는 객체 렌더러가 포함된 3D 오디오 디코더 및 렌더러의 전체 구조도를 도시한 도면이다.
도 5는 ITU-R 권고안에 따른 위치 및 임의의 위치에 5.1채널을 배치한 도면이다.
도 6은 객체 신호 디코더 및 플렉서블 스피커 렌더링부가 결합된 연결된 구조를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치의 블록도이다.
도 8은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치에서 채널 신호 또는 객체 신호를 렌더링하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 오디오 신호 처리 방법의 순서도이다.
도 10는 본 발명의 일 실시예에 따른 오디오 신호 처리 방법이 구현된 장치의 일 예시를 도시한 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

먼저, 도 1 내지 도 6을 참조하여 본 발명에 따른 오디오 신호 처리 장치 및 오디오 신호 처리 방법이 구현되기 위한 환경에 대하여 설명하도록 한다.

도 1은 동일한 시청 거리에서 영상 크기(예: UHDTV 및 HDTV)에 따른 시청 각도를 설명하기 위한 도면이다.

디스플레이의 제작 기술이 발전되고, 소비자의 요구에 따라서 영상 크기는 대형화가 되어가는 추세이다. 도 1에 도시된 바와 같이, UHDTV(7680*4320 픽셀영상, 110)는 HDTV(1920*1080 픽셀영상,120)보다 약 16배가 커진 영상이다. HDTV(120)가 거실 벽면에 설치되고 시청자가 일정 시청거리를 두고 거실 쇼파에 앉은 경우 시청각도는 약 30도일 수 있다. 이와 동일한 시청거리에서 UHDTV(110)가 설치된 경우 시청각도는 약 100도에 이르게 된다.

이와 같이 고화질 및 고해상도 대형 스크린이 설치된 경우, 대형 컨텐츠에 걸맞게 높은 현장감 및 임장감을 갖는 사운드가 제공되는 것이 바람직하다. 시청자가 마치 현장에 있는 것과 거의 동일한 환경을 제공하기 위해서는 1-2개의 서라운드 채널 스피커가 존재하는 것만으로는 부족할 수 있다. 따라서, 보다 많은 스피커 및 채널 수를 갖는 멀티채널 오디오 환경이 요구된다.

상기 설명한 바와 같이 멀티채널 오디오 환경이 요구되는 환경으로 홈시어터 환경 이외에도 개인 3DTV, 스마트폰 TV, 22.2 채널 오디오 프로그램, 자동차, 3D 비디오, 원격 현장감 룸, 클라우드 기반 게임 등이 있다.

도 2는 멀티채널 오디오 환경의 일 예시로서 22.2 채널 스피커의 배치 구성도이다.

22.2 채널은 음장감을 높이기 위한 멀티채널 오디오 환경의 일 예시일 수 있으며, 본 발명은 특정 채널 수 또는 특정 스피커의 배치에 한정되지 않는다. 도 2를 참조하면, 가장 높은 레이어(top layer, 210)에 총 9개의 채널이 배치될 수 있다. 전면에 3개, 중간 위치에 3개, 서라운드 위치에 3개가 배치되어 총 9개의 스피커가 배치되어 있다. 중간 레이어(middle layer, 220)에는 전면에 5개, 중간 위치에 2개, 서라운드 위치에 3개가 배치되오 총 10개의 스피커가 배치되어 있다. 가장 낮은 레이어(bottom layer,230)에는 전면에 3개의 채널이 배치되어 있고, 2개의 LFE 채널(240)이 설치되어 있다.

이와 같이, 최대 수십 개 채널에 이르는 멀티채널 신호를 전송 및 재생하기 위해서는 높은 연산량이 요구된다. 또한, 통신 환경 등을 고려할 때 높은 압축률이 요구될 수 있다. 뿐만 아니라, 일반 가정에서는 22.2채널과 같은 멀티채널 스피커 환경을 구비하는 경우는 극히 드물고 2채널 또는 5.1채널 셋업을 갖는 청취자가 많기 때문에, 모든 유저에게 공통적으로 전송하는 신호가 멀티채널을 각각 인코딩하여 보내는 신호인 경우, 그 멀티채널 신호를 2채널 또는 5.1채널에 대응하도록 다시 변환하여 재생해야 된다. 이에 따라, 통신적인 비효율이 발생할 뿐만 아니라 22.2채널의 PCM 신호를 저장해야 하므로, 메모리 관리에 있어서 비효율적인 문제가 발생할 수 있다.

도 3은 청취 공간상에서 3차원의 사운드 장면을 구성하는 각 사운드 객체들의 위치를 나타내는 개념도이다.

청자(320)가 3D 오디오를 청취하는 청취 공간상(300)에서 3차원의 사운드 장면을 구성하는 각 사운드 객체(310)들의 위치는 도 3에 도시된 바와 같이 점 소스(point source, 310) 형태로 다양한 위치에 분포될 수 있다.

한편, 도 3에서는 도식화의 편의상 각 객체들이 점 소스(310)인 것으로 나타냈으나, 점 소스(310) 이외에 평면파(plain wave) 형태의 음원이나, 사운드 장면의 공간을 인식할 수 있는 전 방위에 걸쳐 퍼져있는 여음인 앰비언트(ambient) 음원 등이 있을 수 있다.

도 4는 채널 또는 객체 렌더러가 포함된 3D 오디오 디코더 및 렌더러의 전체 구조도를 도시한 도면이다.

도 4에 도시된 디코더 시스템은 크게 3D 오디오 디코더부(400) 및 3D 오디오 렌더링부(450)로 구분될 수 있다.

3D 오디오 디코더부(400)는 개별 객체 디코더(410), 개별 채널 디코더(420), SAOC 트랜스듀서(430) 및 MPS 디코더(440)을 포함할 수 있다.

개별 객체 디코더(410)는 객체 신호를 입력받으며, 개별 채널 디코더(420)는 채널 신호를 입력받는다. 이때, 오디오 비트열은 객체 신호만을 포함하거나, 채널 신호만을 포함할 수 있으며, 이뿐만 아니라 객체 신호와 채널 신호를 모두 포함할 수 있다.

또한, 3D 오디오 디코더부(400)는 SAOC 트랜스듀서(430) 및 MPS 디코더(440)를 통해 객체 신호 또는 채널 신호가 각각 웨이브폼 부호화되거나 파라메트릭 부호화된 신호를 입력 받을 수 있다.

3D 오디오 렌더링부(450)는 3DA 렌더러(460)을 포함하고 있으며, 3DA 렌더러(460)을 통해 채널 신호 또는 객체 신호, 또는 파라메트릭 부호화된 신호를 각각 렌더링할 수 있다.

그리고 3D 오디오 디코더부(400)를 통해 출력된 객체 신호, 채널 신호 또는 이들이 조합된 신호를 입력 받아 청자가 있는 청취 공간의 스피커의 환경에 맞게 소리를 출력한다. 이때, 청자가 있는 청취 공간에서의 스피커의 개수 및 위치 정보 등에 기초하여 3D 오디오 디코더부(400) 및 3D 오디오 렌더링부(450)의 가중치를 설정할 수 있다.

한편, 3D 오디오를 위해 필요한 기술 중 하나로 유연한 렌더링이 있으며, 유연한 렌더링 기술은 3D 오디오의 품질을 최상으로 끌어올리기 위해 해결해야 할 중요한 과제 중 하나이다. 유연한 렌더링 기술이 필요한 이유는 다음과 같다.

거실의 구조, 가구의 배치에 따라 5.1 채널 스피커의 위치가 매우 비정형적인 것은 주지의 사실이다. 이와 같은 비정형적 위치에 스피커가 존재하더라도, 컨텐츠 제작자가 의도한 사운드 장면을 제공할 수 있어야 한다. 이를 위해서는 사용자마다 각각 상이한 재생 환경에서의 스피커 환경을 알아야 하는 것과 동시에, 규격에 따른 위치 대비 차이를 보정하기 위한 렌더링 기술이 필요하다. 즉, 전송된 비트열을 디코딩 방법에 따라 디코딩하는 것으로 코덱의 역할이 끝나는 것이 아니라, 이를 사용자의 재생 환경에 맞게 최적화 변형하는 과정에 대한 일련의 기술이 요구된다.

도 5는 ITU-R 권고안에 따른 위치 및 임의의 위치에 5.1채널을 배치한 도면이다.

실제 거실 환경에 배치된 스피커(520)는 ITU-R 권고안(510) 대비 방향각과 거리가 모두 달라지게 되는 문제가 발생한다. 즉, 스피커의 높이, 방향이 권고안에 따른 스피커(510)와 상이하게 배치됨에 따라 변경된 스피커(520)의 위치에서 원래 신호를 그대로 재생할 경우 이상적인 3D 사운드 장면을 제공하기 어렵게 된다.

이와 같은 상황에서, 신호의 크기를 기준으로 두 스피커 사이의 음원의 방향 정보를 결정하는 진폭 패닝(Amplitude Panning)이나 3차원 공간상에서 3개의 스피커를 이용하여 음원의 방향을 결정하는데 널리 사용되는 VBAP(Vector-Based Amplitude Panning)를 이용하면 객체별로 전송된 객체 신호에 대해서는 상대적으로 편리하게 유연한 렌더링을 구현할 수 있다. 따라서, 채널 신호 대신 객체 신호를 전송하여 스피커가 달라지는 환경에서도 용이하게 3D 사운드 장면을 제공할 수 있게 된다.

도 6은 객체 신호 디코더 및 플렉서블 스피커 렌더링부가 결합된 연결된 구조를 도시한 도면이다.

도 5에서 설명한 바와 같이, 객체 신호를 이용할 경우 원하는 사운드 장면에 맞춰 객체를 음원으로 위치시키킬 수 있다는 장점이 있다. 이와 같은 장점이 반영된 객체 신호 디코더 및 플렉서블 렌더링부가 결합된 제 1 실시예(600) 및 제 2 실시예(601)를 설명하도록 한다.

객체 신호 디코더 및 플렉서블 스피커 렌더링부가 결합된 제 1 실시예(600)는 믹스부(620)가 객체 디코더부(610)로부터 객체 신호를 전달받고, 믹싱 행렬로 표현된 위치정보를 입력받아 채널 신호 형태로 출력한다. 즉, 사운드 장면에 대한 위치 정보를 출력 채널에 대응되는 스피커로부터의 상대적인 정보로 표현되는 것이다.

출력된 채널 신호는 플렉서블 스피커 렌더링부(630)를 통해 플렉서블 렌더링되어 출력된다. 이때, 실제 스피커의 개수와 위치가 정해진 위치에 존재하지 않는 경우 해당 스피커의 위치정보를 입력받아 플렉서블 렌더링을 수행할 수 있다.

이와 달리, 제 2 실시예(601)에서는 객체 디코더부(640)가 오디오 비트열 신호를 입력받아 객체 신호를 디코딩하면, 플렉서블 스피커 믹싱부(650)가 이를 전달받아 플렉서블 렌더링을 수행한다. 이때, 행렬 업데이트부(660)는 믹싱 행렬 및 스피커의 위치정보를 반영한 행렬을 플렉서블 스피커 믹싱부(650)에 전달함으로써 플렉서블 렌더링 수행시 이를 반영하게 된다.

제 1 실시예(600)와 같이 채널 신호를 다시 다른 형태의 채널 신호로 렌더링하는 것은 제 2 실시예(601)와 같이 객체를 최종 채널에 직접 렌더링하는 경우보다 구현이 어렵다. 이와 관련하여 아래에서 구체적으로 설명하도록 한다.

채널 신호가 입력으로 전송된 경우, 해당 채널에 대응되는 스피커의 위치가 임의의 위치로 변경되면 객체의 경우 같은 패닝 기법을 이용하여 구현되기 어려우므로 별도의 채널 매핑 프로세스가 필요하다. 이와 더불어, 객체 신호와 채널 신호에 대한 렌더링시 필요한 과정과 해결 방법이 다르기 때문에 객체 신호와 채널 신호가 동시에 전송되어 두 신호를 믹스한 형태의 사운드 장면을 연출하고자 하는 경우 공간의 부정합에 의한 왜곡이 발생하기 쉬운 문제가 발생한다.

이와 같은 문제를 해결하기 위하여 객체에 대한 유연한 렌더링을 별도로 수행하지 않고 채널 신호에 믹스를 먼저 수행한 후 채널 신호에 대한 유연한 렌더링을 수행하도록 한다. 이때, HRTF(Head Related Transfer Function)을 이용한 렌더링 등도 위와 같은 방법과 마찬가지로 구현되는 것이 바람직하다.

이하에서는 도 7 내지 도 9를 참조하여 본 발명에 따른 오디오 신호 처리 장치 및 방법에 대하여 구체적으로 설명하도록 한다.

도 7은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치(700)의 블록도이다.

본 발명에 따른 오디오 신호 처리 장치(700)는 스피커 정보 입력부(710), 수신부(720), 복호화부(730), 객체 판별부(740), 렌더링부(750) 및 합성부(760)를 포함한다.

스피커 정보 입력부(710)는 사용자의 사용 가능한 스피커 정보를 입력받는다.

수신부(720)는 채널신호 및/또는 객체 신호를 포함하는 오디오 비트열 신호를 수신한다. 즉, 오디오 비트열은 채널 신호만을 포함할 수 있으며, 객체 신호만을 포함할 수 있다. 또한, 오디오 비트열은 채널 신호와 객체 신호를 모두 포함할 수 있다.

복호화부(730)는 오디오 비트열에 포함된 채널 신호 또는 객체 신호를 복호화한다. 이때, 복호화부(730)는 객체 신호에 대한 메타데이터를 복호화할 수 있다. 한편, 채널 신호는 USAC(Unified Speech and Audio Coding)와 같은 코어 코덱으로 복호화될 수 있다. 그리고 객체 신호는 USAC와 같은 코어 코덱으로 복호화될 수 있으며, 또한 SAOC(Spatial Audio Object Coding)와 같은 파라메트릭 코덱으로 복호화된 파라메트릭 객체 신호일 수 있다.

객체 판별부(740)는 객체 신호에 대응하는 객체가 사용 가능한 스피커 영역 내에 위치하는지 여부를 판별한다. 즉, 객체 판별부(740)는 스피커 정보 입력부(710)에서 입력받은 사용 가능한 스피커 정보에 기초하여 렌더링할 객체가 스피커 영역 내에 위치하는지 여부를 판별한다. 이때, 하기에서 설명할 렌더링 설정부(755)는 객체가 스피커 영역 내에 위치하는지 여부에 따라 렌더링 방법을 설정하게 된다.

렌더링부(750)는 복호화된 채널 신호를 렌더링하는 채널 렌더러(751), 복호화된 객체 신호를 렌더링하는 객체 렌더러(753)를 포함한다. 그리고 예외 객체인지 여부에 대하여 객체 판별부(740)에서 판별한 결과에 기초하여 렌더링 방법을 설정하는 렌더링 설정부(755)를 포함한다.

이때, 렌더링부(750)는 오디오 비트열 신호에 채널 신호만이 포함된 경우 채널 렌더러(751)로 하여금 채널 렌더링을 통해 렌더링을 하고 이를 합성부(760)에 전달한다. 이에 따라, 합성부(760)는 렌더링된 채널 신호를 출력한다. 채널 렌더러(751)는 포맷 컨버터(Format Converter)일 수 있으며, 스펙트럴 EQ를 더 포함할 수 있다.

이와 달리, 렌더링부(750)는 오디오 비트열 신호에 객체 신호만이 포함된 경우, 객체 렌더러(753)로 하여금 객체 렌더링을 통해 렌더링을 하고 이를 합성부(760)에 전달한다. 이에 따라, 합성부(760)는 렌더링된 객체 신호를 출력한다. 이때, 객체 렌더러(753)는 가상 VBAP(Vector Based Amplitude Panning) 방법을 통해 렌더링 할 수 있다.

이하에서는, 도 8을 참조하여 수신한 오디오 비트열 신호에 채널 신호와 객체 신호가 모두 포함된 경우에 대한 렌더링 방법을 설명하도록 한다.

도 8은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치(700)에서 채널 신호 또는 객체 신호를 렌더링하는 과정을 설명하기 위한 도면이다.

수신부(720)가 수신한 오디오 비트열 신호에 채널 신호 및 객체 신호가 모두 포함된 경우, 렌더링 설정부(755)는 객체 판별부(740)에서 객체가 사용 가능한 스피커 영역 내에 위치하는 객체인지 아니면, 예외 객체인지 여부에 대한 판별 결과에 기초하여 렌더링 방법을 설정할 수 있다.

먼저, 렌더링 설정부(755)는 객체 판별부(740)가 객체를 사용 가능한 스피커 영역 밖에 위치한 예외 객체인 것으로 판별한 경우, 객체 렌더러(753)는 객체 신호를 렌더링하고, 렌더링된 객체 신호를 채널 렌더러(751)에 전달한다. 채널 렌더러(751)는 전달받은 렌더링된 객체 신호를 채널 신호와 합성하고, 합성된 채널 신호를 렌더링할 수 있다.

한편, 사용 가능한 스피커 영역 밖에 위치한 예외 객체의 경우, 기존 스피커만으로 재생할 경우 컨텐츠 제작자의 의도에 맞는 소리를 재생할 수 없다는 문제가 있다. 따라서, 예외 객체가 존재하는 경우 예외 객체의 위치에 대응하는 가상 스피커를 생성하고, 사용 가능한 스피커 정보 및 가상 스피커에 기초하여 렌더링을 수행할 수 있다.

예를 들어 도 2를 참조하면, 22.2 채널에서 최상위 레이어(210)의 정중앙에 위치한 스피커가 부재하고, 최상위 레이어(210)의 정중앙에 위치한 스피커에서 재생되는 VoG(Voice of God)와 같은 소리를 재생하기 위한 신호가 수신될 경우, VoG에 해당하는 객체 신호를 최상위 레이어(210)의 기 설치된 스피커에 렌더링하고, 렌더링된 신호를 중간 레이어(220)에 다운믹스함으로써 예외 객체 신호를 처리할 수 있다.

이와 더불어, 최상위 레이어(210)의 정중앙에 위치한 스피커 뿐만 아니라 전면 또는 서라운드면에 위치한 스피커의 일부가 부재한 경우에도, 전면 또는 서라운드면에 부재한 스피커의 위치에 가상 스피커를 생성하여 예외 객체를 처리할 수 있다. 즉, 최상위 레이어(210)의 가상 스피커 및 기 설치된 스피커에 예외 객체 신호를 렌더링하고, 렌더링된 신호를 전달받은 최상위 레이어(210)에 위치한 가상 스피커 및 기 설치된 스피커와 동일 수직선상에 위치한 중간 레이어(220) 상의 스피커로 다운믹스를 수행함으로써 예외 객체를 처리할 수 있다.

또한, 가상 스피커와 기 설치된 스피커 간의 VBAP 렌더링 방법에 의하여 예외 객체를 렌더링할 수 있다. 이와 같이, 예외 객체가 존재하는 경우 가상 스피커를 이용하여 렌더링할 수 있으며, 이때 적용되는 렌더링 방법은 위 예시에 한정되는 것은 아니고 다양한 방법에 의해 렌더링될 수 있다.

다시 도 8을 참조하면, 렌더링 설정부(755)는 객체 판별부(740)가 객체를 사용 가능한 스피커 영역 내에 위치한 것으로 판별한 경우, 제 1 단계 및 제 2 단계를 선택하여 렌더링하도록 설정할 수 있다. 이때, 제 1 단계는 채널 렌더러(751)로 하여금 채널 신호를 렌더링하고, 객체 렌더러(753)로 하여금 객체 신호를 렌더링하게 한 후, 렌더링된 채널 신호 및 렌더링된 객체 신호 각각을 합성부(760)에 전달하여 합성하게 할 수 있다.

제 2 단계는 렌더링된 객체 신호를 채널 신호와 합성하고, 합성된 채널 신호를 채널 렌더러(751)로 하여금 렌더링하게 할 수 있다. 즉, 객체가 사용 가능한 스피커 영역 내에 위치한 경우, 제 1 단계에 따른 렌더링 방법 뿐만 아니라, 예외 객체인 것으로 판별된 경우에 적용된 렌더링 방법에 의해서도 렌더링될 수 있다.

다시 도 7을 참조하면, 합성부(760)는 렌더링된 채널 신호 및 렌더링된 객체 신호를 합성한다. 즉, 합성부(760)는 렌더링된 채널 신호와 렌더링된 객체 신호가 모두 존재하는 경우 이를 합성하고, 합성된 신호를 출력한다. 이와 달리, 채널 신호만이 존재하거나 객체 신호만이 존재하는 경우 별도의 합성 없이 채널 신호 또는 객체 신호를 출력한다.

한편, 오디오 비트열에 포함된 객체가 파라메트릭 코덱으로 복호화된 파라메트릭 객체 신호인 경우, 오디오 비트열에 개별 객체 신호가 포함된 경우와 상이한 방법에 의해 처리될 수 있다. 즉, 파라메트릭 객체 신호의 경우 파라메트릭 다운믹스 채널 신호에 객체 파라미터가 적용되고 입력된 타겟 렌더링 행렬에 맞춰 복호화 되는데, 이때, 출력되는 신호는 타겟이 되는 유연한 렌더링 채널에 바로 매핑될 수 있는 채널 신호로 출력되는 것을 기본으로 한다. 즉, 파라메트릭 복호화 과정에서 요구되는 렌더링 행렬의 출력 채널을 유연한 렌더링 채널에 대응되도록 할 경우 개별 객체 신호인 경우와 유사하게 타겟 채널 포맷으로 직접 렌더링이 구현될 수 있다. 이와 같이 얻게되는 파라메트릭 객체의 공간 해상도가 채널 렌더러의 출력과 비교할 때 미스매치가 발생될 우려가 있는 경우는 마찬가지로 채널 신호에 합성할 수 있는 렌더링 행렬을 우선 적용하고 출력한 후, 채널 렌더러(751)로 하여금 렌더링하게 할 수 있다.

도 9는 본 발명의 일 실시예에 따른 오디오 신호 처리 방법의 순서도이다.

본 발명에 따른 오디오 신호 처리 장치에서의 오디오 신호 처리 방법은 사용자의 사용 가능한 스피커 정보를 입력받을 수 있으며, 또한, 채널 신호 또는 객체 신호 중 하나 이상을 포함하는 오디오 비트열을 수신할 수 있다. 즉, 오디오 비트열은 채널 신호만을 포함하거나 객체 신호만을 포함할 수 있으며, 채널 신호 및 객체 신호를 모두 포함할 수 있다.

이와 같이 오디오 비트열을 수신하면, 본 발명에 따른 오디오 신호 처리 방법은 수신한 오디오 비트열 신호로부터 채널 신호 또는 객체 신호를 복호화한다(S110). 이때, 채널 신호는 USAC와 같은 코어 코덱으로 복호화될 수 있다. 객체 신호는 USAC와 같은 코어 코덱으로 복호화될 수 있으며, 또한 SAOC와 같은 파라메트릭 코덱으로 복호화된 파라메트릭 객체 신호일 수 있다.

다음으로, 복호화된 채널 신호 또는 객체 신호를 렌더링한다(S120). 이때, 상기 렌더링하는 단계는 상기 복호화된 채널 신호를 렌더링하고, 상기 렌더링된 채널 신호 및 렌더링된 객체 신호를 합성하는 제 1 방법 및 상기 렌더링된 객체 신호를 상기 채널 신호와 합성하고, 상기 합성된 채널 신호를 렌더링하는 제 2 방법 중 어느 하나를 선택적으로 수행하게 된다.

이와 같은 제 1 방법 및 제 2 방법을 선택하기 위해 본 발명에 따른 오디오 신호 처리 방법은 객체 신호에 대응하는 객체가 사용 가능한 스피커 영역 내에 위치하는지 여부를 판별하는 단계를 더 포함할 수 있다. 즉, 객체가 스피커 영역 밖에 있는 예외 객체인지 여부를 판별하는 것으로서, 예외 객체인지 여부에 따라 각각 상이한 방법으로 렌더링을 한다. 이에 대해 구체적으로 설명하면 다음과 같다.

먼저, 예외 객체로 판별된 경우 객체 렌더러는 객체 신호를 렌더링하고, 렌더링된 객체 신호를 채널 렌더러에 전달한다. 채널 렌더러는 렌더링된 객체 신호와 채널 신호를 합성하고, 합성된 채널 신호를 렌더링할 수 있다. 이때, 채널 렌더러는 예외 객체의 위치에 대응하는 가상 스피커를 생성하고, 사용 가능한 스피커 정보 및 가상 스피커에 기초하여 렌더링을 수행할 수 있다. 채널 렌더러에서 렌더링하는 방법에 대해서는 도 8에서 설명하였으므로 구체적인 설명은 이하 생략하도록 한다.

이와 달리, 예외 객체가 아닌 것으로 판별된 경우 제 1 방법 및 제 2 방법을 선택하여 렌더링하도록 설정할 수 있다. 제 1 방법은 위에서 설명한 바와 같이 채널 렌더러로 하여금 채널 신호를 렌더링하고, 객체 렌더러로 하여금 객체 신호를 렌더링하게 한 후, 렌더링된 채널 신호 및 렌더링 된 객체 신호 각각을 합성하게 할 수 있다.

제 2 방법은 렌더링된 객체 신호를 채널 신호와 합성하고, 합성된 채널 신호를 채널 렌더러로 하여금 렌더링하게 할 수 있다. 즉, 예외 객체가 아닌 경우, 제 1 방법에 따른 렌더링 방법뿐만 아니라, 예외 객체인 것으로 판별된 경우에 적용되는 렌더링 방법에 의해서도 렌더링될 수 있다. 이때, 제 2 방법을 통한 렌더링 방법을 선택하는 방법으로써 일 실시예는 채널 렌더러의 렌더링 성능에 대한 판단이 될 수 있다. 즉, 채널 렌더러의 렌더링 성능은 입력 채널 포맷과 타겟 스피커 포맷의 상이성에 따라 예측이 가능한데, 이 값이 미리 설정한 기준 값 이하인 경우, 예외 객체가 아닌 경우라도 제 2 방법에 의한 렌더링을 수행하도록 할 수 있다.

또한, 객체 렌더러는 모든 입력 객체 신호에 대해 일괄적으로 제 1 방법 및 제 2 방법을 선택하는 대신 일부 객체 신호에 대해서는 제 1 방법을, 다른 일부 객체 신호에 대해서는 제 2 방법을 선택하여 렌더링할 수 있다.

다음으로, 렌더링된 채널 신호 및 객체 신호를 합성한다(S130). 즉, 렌더링된 채널 신호와 렌더링된 객체 신호가 모두 존재하는 경우 이를 합성하고, 합성된 신호를 출력한다. 이와 달리, 채널 신호만이 존재하거나 객체 신호만이 존재하는 경우 별도의 합성 없이 채널 신호 또는 객체 신호를 출력한다.

도 10은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치 및 방법이 구현된 장치의 일 예시를 도시한 도면이다.

본 발명에 따른 오디오 신호 처리 방법은 도10에 도시된 오디오 재생 장치(1)에 의해 구현될 수 있다.

오디오 재생 장치(1)는 유무선 통신부(10), 사용자 인증부(20), 입력부(30), 신호 코딩부(40), 제어부(50) 및 출력부(60)를 포함할 수 있다.

유무선 통신부(10)는 유무선 통신 방식을 통해서 오디오 비트열을 수신한다. 유무선 통신부(10)는 적외선 통신부, 블루투스부, 무선랜 통신부와 같은 구성을 포함할 수 있으며, 기타 여러가지 통신 방법으로 오디오 비트열을 수신할 수 있다.

사용자 인증부(20)는 사용자 정보를 입력 받아 사용자 인증을 수행한다. 이때, 사용자 인증부(20)는 지문 인식부, 홍채 인식부, 안면 인식부, 음성 인식부 중 하나 이상을 포함할 수 있다. 즉, 지문, 홍채 정보, 얼굴 윤곽 정보, 음성 정보를 입력받아 사용자 정보로 변환하고, 기 등록된 사용자 정보와의 매칭 여부를 판단함으로써 사용자 인증을 수행할 수 있다.

입력부(30)는 사용자가 여러 종류의 명령을 입력하기 위한 입력 장치로서, 키패드부, 터치패드부, 리모컨부 중 하나 이상을 포함할 수 있다.

신호 코딩부(40)는 유무선 통신부(10)를 통해 수신된 오디오 신호, 비디오 신호 또는 이들이 조합된 신호에 대하여 인코딩 또는 디코딩을 수행하고, 시간 도메인의 오디오 신호를 출력할 수 있다. 신호 코딩부(40)는 오디오 신호 처리 장치를 포함할 수 있으며, 오디오 신호 처리 장치는 본 발명에 따른 오디오 신호 처리 방법이 적용될 수 있다.

제어부(50)는 입력 장치들로부터 입력 신호를 수신하고, 신호 코딩부(40)와 출력부(60)의 모든 프로세스를 제어한다. 출력부(60)는 신호 코딩부(40)에 의해 생성된 출력 신호 등이 출력되며, 스피커부, 디스플레이부와 같은 구성요소를 포함할 수 있다. 이때, 출력 신호가 오디오 신호일 경우 출력 신호는 스피커로 출력되고, 비디오 신호일 경우 디스플레이를 통해 출력될 수 있다.

참고로, 본 발명의 실시예에 따른 도 4, 도 6, 도 7 내지 도8 및 도 10에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 구성 요소를 의미하며, 소정의 역할들을 수행한다.

그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.

따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.

구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.

한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

1: 오디오 재생 장치 10: 유무선 통신부
20: 사용자 인증부 30: 입력부
40: 신호 코딩부 50: 제어부
60: 출력부 110:UHDTV
120: HDTV 300: 청취 공간
310: 점소스 320: 청자
400: 3DA 디코더부 410: 개별 객체 디코더
420: 개별 채널 디코더 430: SAOC 트랜스코더
440: MPS 디코더 450: 3DA 렌더링부
460: 3DA 렌더러 700: 오디오 신호 처리 장치
710: 입력부 720: 수신부
730: 복호화부 740: 객체 판별부
750: 렌더링부 760: 합성부

Claims (9)

1. 오디오 신호 처리 장치에 있어서,
   사용자의 사용 가능한 스피커 정보를 입력받는 스피커 정보 입력부,
   채널 신호 및/또는 객체 신호를 포함하는 오디오 비트열 신호를 수신하는 수신부,
   상기 오디오 비트열 신호에 포함된 상기 채널 신호 또는 객체 신호를 복호화하는 복호화부,
   상기 객체 신호에 대응하는 객체가 상기 사용 가능한 스피커 영역 내에 위치하는지 여부를 판별하는 객체 판별부,
   상기 복호화된 채널 신호 및 상기 복호화된 객체 신호를 각각 렌더링하는 채널 렌더러 및 객체 렌더러를 포함하며, 상기 판별 결과에 기초하여 렌더링 방법을 설정하는 렌더링 설정부를 포함하는 렌더링부 및
   상기 렌더링된 채널 신호 및 상기 렌더링된 객체 신호를 합성하는 합성부를 포함하는 오디오 신호 처리 장치.
2. 제 1 항에 있어서,
   상기 렌더링 설정부는,
   상기 객체가 사용 가능한 스피커 영역 밖에 위치한 것으로 판별된 경우,
   상기 렌더링된 객체 신호를 상기 채널 신호와 합성하고, 상기 합성된 채널 신호를 렌더링하는 것인 오디오 신호 처리 장치.
3. 제 2 항에 있어서,
   상기 객체 렌더러는 상기 사용 가능한 스피커 영역 밖에 위치한 예외 객체에 대응하는 가상 스피커를 생성하고,
   상기 사용 가능한 스피커 정보 및 상기 생성된 가상 스피커에 기초하여 상기 예외 객체를 렌더링하는 것인 오디오 신호 처리 장치.
4. 제 1 항에 있어서,
   상기 렌더링 설정부는,
   상기 객체가 사용 가능한 스피커 영역 내에 위치한 것으로 판별된 경우,
   상기 채널 렌더러는 상기 채널 신호를 렌더링하고, 상기 합성부는 렌더링된 채널 신호 및 렌더링된 객체 신호를 합성하는 제 1 단계 및
   상기 렌더링된 객체 신호를 상기 채널 신호와 합성하고, 상기 합성된 채널 신호를 렌더링하는 제 2 단계 중 어느 하나를 선택적으로 수행하는 것인 오디오 신호 처리 장치.
5. 제 1 항에 있어서,
   상기 복호화부는 상기 복수의 객체 신호에 대한 메타데이터를 복호화하는 것인 오디오 신호 처리 장치.
6. 오디오 신호 처리 장치에서의 오디오 신호 처리 방법에 있어서,
   수신한 오디오 비트열로부터 채널 신호 또는 객체 신호를 복호화하는 단계,
   상기 복호화된 채널 신호 또는 객체 신호를 렌더링하는 단계 및
   상기 렌더링된 채널 신호 및 객체 신호를 합성하는 단계를 포함하되,
   상기 렌더링하는 단계는,
   상기 복호화된 채널 신호를 렌더링하고, 상기 렌더링된 채널 신호 및 렌더링된 객체 신호를 합성하는 제 1 방법 및
   상기 렌더링된 객체 신호를 상기 채널 신호와 합성하고, 상기 합성된 채널 신호를 렌더링하는 제 2 방법 중 어느 하나를 선택적으로 수행하는 것인 오디오 신호 처리 방법.
7. 제 6 항에 있어서,
   사용자의 사용 가능한 스피커 정보를 입력받는 단계를 더 포함하되,
   상기 객체가 사용 가능한 스피커 영역 밖에 위치한 것으로 판별된 경우, 상기 객체 신호는 제 2 방법에 따라 렌더링되는 것인 오디오 신호 처리 방법.
8. 제 6 항에 있어서,
   상기 객체 신호에 대응하는 객체가 상기 사용 가능한 스피커 영역 내에 위치하는지 여부를 판별하는 단계를 더 포함하는 오디오 신호 처리 방법.
9. 제 6 항에 있어서,
   상기 채널 신호 또는 객체 신호 중 하나 이상을 포함하는 오디오 비트열을 수신하는 단계를 더 포함하는 오디오 신호 처리 방법.

Images