KR102574478B1 - 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

Abstract

수신된 비트스트림으로부터 높이 입력 채널 신호를 포함하는 멀티채널 신호들과 렌더링 타입 파라미터를 획득하는 단계, 렌더링 타입 파라미터에 기초하여 공간 고도 렌더링 및 음색 고도 렌더링 중 하나의 렌더링 타입을 식별하는 단계 및 식별된 렌더링 타입에 따라 높이 입력 채널 신호를 포함하는 멀티채널 신호를 렌더링하는 단계를 포함하고, 렌더링하는 단계는 식별된 렌더링 타입에 따라 제 1 다운믹스 매트릭스 및 제 2 다운믹스 매트릭스 중 하나를 선택하는 단계를 포함하는, 음향 신호를 렌더링하는 방법이 개시된다.

Description

음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체{METHOD AND APPARATUS FOR RENDERING SOUND SIGNAL, AND COMPUTER-READABLE RECORDING MEDIUM}

본 발명은 음향 신호를 렌더링하는 방법 및 그 장치에 대한 것으로, 보다 상세하게는, 멀티채널 신호를 렌더링 타입에 따라 다운믹싱하는 렌더링 방법 및 장치에 관한 것이다.

영상 및 음향 처리 기술의 발달에 힘입어 고화질 고음질의 컨텐츠가 다량 생산되고 있다. 고화질 고음질의 컨텐츠를 요구하던 사용자는 현실감 있는 영상 및 음향을 원하고 있으며, 이에 따라 입체 영상 및 입체 음향에 대한 연구가 활발히 진행되고 있다.

입체 음향이란, 음의 고저, 음색뿐만 아니라 수평 및 수직을 포함한 3차원 방향이나 거리감까지 재생하여 임장감을 가지게 하고, 음원이 발생한 공간에 위치하지 않은 청취자에게 방향감, 거리감 및 공간감을 지각할 수 있게 하는 공간 정보를 부가한 음향을 의미한다.

가상 렌더링 기술을 이용하면 22.2 채널과 같은 채널 신호를 5.1 채널로 렌더링 하는 경우 2차원 출력 채널을 통해 3차원 입체 음향을 재생할 수 있다.

가상 렌더링 기술을 이용하면 22.2 채널과 같은 채널 신호를 5.1 채널로 렌더링 하는 경우 2차원 출력 채널을 통해 3차원 입체 음향을 재생할 수 있지만, 신호의 특성에 따라 가상 렌더링을 적용하기에 적합하지 않은 경우가 발생한다.

본 발명은 입체 음향 재생 방법 및 장치에 관한 것으로, 고도 음향 신호를 포함하는 다채널 오디오 신호를 수평면 레이아웃 환경에서 재생하기 위한 방법에 관한 것으로, 렌더링 타입에 따라 렌더링 파라미터를 획득하여 다운믹스 매트릭스를 구성한다.

실시 예에 따른 음향 신호를 렌더링하는 방법은 수신된 비트스트림으로부터 높이 입력 채널 신호를 포함하는 멀티채널 신호들과 렌더링 타입 파라미터를 획득하는 단계, 상기 렌더링 타입 파라미터에 기초하여 공간 고도 렌더링 및 음색 고도 렌더링 중 하나의 렌더링 타입을 식별하는 단계 및 상기 식별된 렌더링 타입에 따라 상기 높이 입력 채널 신호를 포함하는 멀티채널 신호를 렌더링하는 단계를 포함하고, 상기 렌더링하는 단계는 상기 식별된 렌더링 타입에 따라 제 1 다운믹스 매트릭스 및 제 2 다운믹스 매트릭스 중 하나를 선택하는 단계를 포함할 수 있다.

가상 렌더링 기술을 이용하면 22.2 채널과 같은 채널 신호를 5.1 채널로 렌더링 하는 경우 2차원 출력 채널을 통해 3차원 입체 음향을 재생할 수 있지만, 신호의 특성에 따라 가상 렌더링을 적용하기에 적합하지 않은 경우가 발생한다.

본 발명은 고도 음향 신호를 포함하는 다채널 오디오 신호를 수평면 레이아웃 환경에서 재생하기 위한 방법에 관한 것으로, 렌더링 타입에 따라 렌더링 파라미터를 획득하여 다운믹스 매트릭스를 구성함으로써, 가상 렌더링을 적용하기에 적합하지 않은 음향 신호에 대해서도 효과적인 렌더링 성능을 얻을 수 있다.

도 1 은 일 실시예에 의한 입체 음향 재생 장치의 내부 구조를 나타내는 블록도이다.
도 2 는 일 실시예에 의한 입체 음향 재생 장치의 구성 중 디코더 및 입체 음향 렌더러의 구성을 나타내는 블록도이다.
도 3 은 일 실시예에 의한 복수 개의 입력 채널이 복수 개의 출력 채널로 다운믹스 되는 경우의 각 채널의 레이아웃에 대한 도면이다.
도 4 는 일 실시 예에 의한 렌더러 포맷 변환기의 주요 구성부를 나타낸 블록도이다.
도 5 는 일 실시예에 의한 렌더링 타입 결정 파라미터에 기초하여 렌더링 타입 및 다운믹스 매트릭스를 선택하는 선택부의 구성을 나타낸 것이다.
도 6 은 일 실시예에 의한 렌더링 타입 결정 파라미터에 기초하여 렌더링 타입 구성을 결정하는 신택스(syntax)를 나타낸다.
도 7 은 일 실시예에 의한 음향 신호를 렌더링 하는 방법의 순서도이다.
도 8 은 일 실시예에 의한 렌더링 타입에 기초하여 음향 신호를 렌더링 하는 방법의 플로우차트이다.
도 9 는 또 다른 일 실시예에 의한 렌더링 타입에 기초하여 음향 신호를 렌더링 하는 방법의 플로우차트이다.

실시 예에 따른 음향 신호를 렌더링하는 방법은 적어도 하나의 높이 입력 채널 신호를 포함하는 복수의 입력 채널 신호들 및 부가 정보를 수신하는 단계, 상기 복수의 입력 채널 신호들 중 하나의 입력 채널 신호에 대응하는 출력 채널이 가상 채널인지 결정하는 단계, 상기 입력 채널 신호를 복수의 출력 채널 신호들에 맵핑하기 위한 소정의 테이블에 기초하여 고도 렌더링이 가능한지 결정하는 단계, 상기 입력 채널 신호에 대응하는 상기 출력 채널이 가상 채널이고, 고도 렌더링이 가능한 경우, 고도 렌더링 파라미터를 획득하는 단계, 상기 입력 채널 신호에 대응하는 상기 출력 채널이 가상 채널이 아닌 경우, 비고도 렌더링 파라미터를 획득하는 단계, 상기 고도 렌더링 파라미터 및 상기 비고도 렌더링 파라미터 중 적어도 하나에 기초하여, 제1 다운믹스 매트릭스와 제2 다운믹스 매트릭스를 획득하는 단계 및 상기 부가 정보에 따라 선택된 상기 제1 다운믹스 매트릭스와 상기 제2 다운믹스 매트릭스 중 하나를 이용하여 상기 복수의 입력 채널 신호를 상기 복수의 출력 채널 신호들로 렌더링하는 단계를 포함하고, 상기 렌더링하는 단계는 상기 부가 정보가 일반 모드를 위한 렌더링 타입을 나타내면, 상기 복수의 입력 채널 신호를 상기 제1 다운믹스 매트릭스를 이용하여 렌더링하는 단계 및 상기 부가 정보가 상기 복수의 입력 채널 신호가 상관도가 낮은(highly decorrelated) 광대역(wideband) 신호를 포함한다는 것을 나타내면, 상기 복수의 입력 채널 신호를 상기 제2 다운믹스 매트릭스를 이용하여 렌더링하는 단계를 포함하고, 여기서 상기 부가 정보는 각 프레임에 대해 수신될 수 있다.

실시 예에서, 상기 복수의 출력 채널 신호들의 레이아웃은 5.0 채널 레이아웃 또는 5.1 채널 레이아웃일 수 있다.

실시 예에 따른, 적어도 하나의 프로세서를 포함하는 음향 신호 렌더링 장치에서 상기 적어도 하나의 프로세서는 적어도 하나의 높이 입력 채널 신호를 포함하는 복수의 입력 채널 신호들 및 부가 정보를 수신하고, 상기 복수의 입력 채널 신호들 중 하나의 입력 채널 신호에 대응하는 출력 채널이 가상 채널인지 결정하고,상기 입력 채널 신호를 복수의 출력 채널 신호들에 맵핑하기 위한 소정의 테이블에 기초하여 고도 렌더링 이 가능한지 결정하고, 상기 입력 채널 신호에 대응하는 상기 출력 채널이 가상 채널이고, 고도 렌더링이 가능한 경우, 고도 렌더링 파라미터를 획득하고, 상기 입력 채널 신호에 대응하는 상기 출력 채널이 가상 채널이 아닌 경우, 비고도 렌더링 파라미터를 획득하고, 상기 고도 렌더링 파라미터 및 상기 비고도 렌더링 파라미터 중 적어도 하나에 기초하여, 제1 다운믹스 매트릭스와 제2 다운믹스 매트릭스를 획득하고, 상기 부가 정보에 따라 선택된 상기 제1 다운믹스 매트릭스와 상기 제2 다운믹스 매트릭스 중 하나를 이용하여 상기 복수의 입력 채널 신호를 상기 복수의 출력 채널 신호들로 렌더링하고, 상기 적어도 하나의 프로세서는 상기 부가 정보가 일반 모드를 위한 렌더링 타입을 나타내면, 상기 복수의 입력 채널 신호를 상기 제1 다운믹스 매트릭스를 이용하여 렌더링하고, 상기 부가 정보가 상기 복수의 입력 채널 신호가 상관도가 낮은(highly decorrelated) 광대역(wideband) 신호를 포함한다는 것을 나타내면, 상기 복수의 입력 채널 신호를 상기 제2 다운믹스 매트릭스를 이용하여 렌더링하고, 여기서 상기 부가 정보는 각 프레임에 대해 수신될 수 있다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다.

예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다.

도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1 은 일 실시 예에 의한 입체 음향 재생 장치의 내부 구조를 나타내는 블록도이다.

일 실시 예에 의한 입체 음향 재생 장치(100)는 복수 개의 입력 채널이 재생될 복수 개의 출력 채널로 믹싱(mixing)된 멀티채널(multi-channel) 음향 신호를 출력할 수 있다. 이 때, 출력 채널의 개수가 입력 채널의 개수보다 더 적다면, 입력 채널은 출력 채널 개수에 맞추어 다운믹싱(downmixing) 된다.

입체 음향이란, 음의 고저, 음색뿐만 아니라 방향이나 거리감까지 재생하여 임장감을 가지게 하고, 음원이 발생한 공간에 위치하지 않은 청취자에게 방향감, 거리감 및 공간감을 지각할 수 있게 하는 공간 정보를 부가한 음향을 의미한다.

이하 설명에서 음향 신호의 출력 채널은 음향이 출력되는 스피커의 개수를 의미할 수 있다. 출력 채널 수가 많을수록, 음향이 출력되는 스피커의 개수가 많아질 수 있다. 일 실시 예에 의한 입체 음향 재생 장치(100)는 입력 채널 수가 많은 멀티채널 음향 신호가 출력 채널 수가 적은 환경에서 출력되고 재생될 수 있도록, 멀티채널 음향 입력 신호를 재생될 출력 채널로 렌더링하고 믹싱할 수 있다. 이때 멀티채널 음향 신호는 고도 음향(elevated sound)을 출력할 수 있는 채널을 포함할 수 있다.

고도 음향을 출력할 수 있는 채널은 고도감을 느낄 수 있도록 청취자의 머리 위에 위치한 스피커를 통해 음향 신호를 출력할 수 있는 채널을 의미할 수 있다. 수평면 채널은 청취자와 수평한 면에 위치한 스피커를 통해 음향 신호를 출력할 수 있는 채널을 의미할 수 있다.

상술된 출력 채널 수가 적은 환경은 고도 음향을 출력할 수 있는 출력 채널을 포함하지 않고, 수평면 상에 배치된 스피커를 통해 음향을 출력할 수 있는 환경을 의미할 수 있다.

또한, 이하 설명에서 수평면 채널(horizontal channel)은 수평면 상에 배치된 스피커를 통해 출력될 수 있는 음향 신호를 포함하는 채널을 의미할 수 있다. 오버헤드 채널(Overhead channel)은 수평면이 아닌 고도 상에 배치되어 고도음을 출력할 수 있는 스피커를 통해 출력될 수 있는 음향 신호를 포함하는 채널을 의미할 수 있다.

도 1 을 참조하면, 일 실시예에 의한 입체 음향 재생 장치(100)는 오디오 코어(110), 렌더러(120), 믹서(130) 및 후처리부(140)를 포함할 수 있다.

일 실시 예에 의한, 입체 음향 재생 장치(100)는 멀티채널 입력 음향 신호를 렌더링하고, 믹싱하여 재생될 출력 채널로 출력할 수 있다. 예를 들면, 멀티채널 입력 음향 신호는 22.2 채널 신호이고, 재생될 출력 채널은 5.1 또는 7.1 채널일 수 있다. 입체 음향 재생 장치(100)는 멀티채널 입력 음향 신호의 각 채널들을 대응시킬 출력 채널을 정함으로써 렌더링을 수행하고 재생될 채널과 대응된 각 채널들의 신호를 합쳐 최종 신호로 출력함으로써 렌더링된 음향 신호들을 믹싱할 수 있다.

인코딩된 음향 신호는 오디오 코어(110)에 비트스트림 형태로 입력되며, 오디오 코어(110)는 음향 신호가 인코딩 된 방식에 적합한 디코더 도구를 선택하여 입력된 음향 신호를 디코딩한다. 오디오 코어(110)는 코어디코더와 같은 의미로 혼용될 수 있다.

렌더러(120)는 멀티채널 입력 음향 신호를 채널 및 주파수에 따라 멀티채널 출력 채널로 렌더링할 수 있다. 렌더러(120)는 멀티채널 음향 신호를 오버헤드 채널과 수평면 채널에 따른 신호를 각각 3D(dimensional) 렌더링 및 2D(dimensional) 렌더링할 수 있다. 렌더러의 구성 및 구체적 렌더링 방법에 관하여는 이하 도 2 에서 더 자세히 설명한다.

믹서(130)는 렌더러(120)에 의해 수평 채널과 대응된 각 채널들의 신호를 합쳐 최종 신호로 출력할 수 있다. 믹서(130)는 소정 구간별로 각 채널들의 신호를 믹싱할 수 있다. 예를 들면, 믹서(130)는 1 프레임 별로 각 채널들의 신호를 믹싱할 수 있다.

일 실시 예에 의한 믹서(130)는 재생될 각 채널들에 렌더링된 신호들의 파워 값에 기초하여 믹싱할 수 있다. 다시 말하면, 믹서(130)는 재생될 각 채널들에 렌더링된 신호들의 파워 값에 기초하여 최종 신호의 진폭 또는 최종 신호에 적용될 게인(gain)을 결정할 수 있다.

후처리부(140)는 믹서(130)의 출력 신호를 각 재생장치(스피커 또는 헤드폰 등)에 맞추어 멀티밴드 신호에 대한 동적 범위 제어 및 바이노럴라이징(binauralizing) 등을 수행한다. 후처리부(140)에서 출력된 출력 음향 신호는 스피커 등의 장치를 통해 출력되며, 출력 음향 신호는 각 구성부의 처리에 따라 2D 또는 3D 로 재생될 수 있다.

도 1 에 도시된 일 실시에에 의한 입체 음향 재생 장치(100)는 오디오 디코더의 구성을 중심으로 도시되어 있으며 부수적인 구성은 생략되어 있다.

도 2 는 일 실시 예에 의한 입체 음향 재생 장치의 구성 중 디코더 및 입체 음향 렌더러의 구성을 나타내는 블록도이다.

도 2 를 참조하면, 일 실시예에 의한 입체 음향 재생 장치(100)는 디코더(110) 및 입체음향 렌더러(120)의 구성을 중심으로 도시되어 있으며 그 외의 구성은 생략되어 있다.

입체 음향 재생 장치에 입력된 음향 신호는 인코딩 된 신호로, 비트스트림의 형태로 입력된다. 디코더(110)는 입력 음향 신호를 음향 신호가 인코딩 된 방식에 적합한 디코더 도구를 선택하여 입력된 음향 신호를 디코딩하고, 디코딩 된 음향 신호를 입체 음향 렌더러(120)로 전달한다.

고도 렌더링을 수행하면, 수평면 채널들만으로 구성된 5.1 채널 레이아웃에 의해서도 가상의 입체(3D) 고도 음상을 얻을 수 있다. 이와 같은 고도 렌더링 알고리즘은 공간 음색 필터링과 공간 위치 패닝 과정을 포함한다.

입체 음향 렌더러(120)는 필터 계수와 패닝 계수를 획득하고 갱신하는 초기화부(121) 및 필터링과 패닝을 수행하는 렌더링부(123)로 구성된다.

렌더링부(123)는 디코더에서 전달된 음향 신호에 대해 필터링 및 패닝을 수행한다. 패닝부(1231)는 소리의 위치에 대한 정보를 처리하여 렌더링된 음향 신호가 원하는 위치에서 재생될 수 있도록 하며, 필터링부(1232)는 소리의 음색에 대한 정보를 처리하여 렌더링된 음향 신호가 원하는 위치에 적합한 음색을 가질 수 있도록 한다.

공간 음색 필터링부(1231)는 HRTF(Head Related Transfer Function, 머리 전달 함수) 모델링에 기초한 음색을 보정하도록 설계되며 입력 채널이 출력 채널로 전파되는 경로차를 반영한다. 예를 들어, 1~10kHz의 주파수 대역 신호에 대하여는 에너지를 증폭하고, 이외의 주파수 대역에 대하여는 에너지를 감소시키도록 보정함으로써 보다 자연스러운 음색을 갖도록 할 수 있다.

공간 위치 패닝(1232)은 멀티채널 패닝을 통해 오버헤드(overhead) 음상을 제공하도록 설계된다. 각각의 입력 채널에는 서로 다른 패닝 계수(게인)이 적용된다. 공간 위치 패닝을 수행하면 오버헤드 음상을 얻을 수 있으나, 채널간 유사도가 높아져 전체 오디오씬(scene)의 상관도를 증가시킨다. 상관도가 없는(highly uncorrelated) 오디오씬에 대해 가상 렌더링을 수행하는 경우 렌더링 품질이 열화되는 현상을 방지하기 위해, 오디오씬의 특성에 기초하여 렌더링 타입을 결정하도록 할 수 있다.

또는, 음향 신호 제작 시 음향 신호 제작자(창작자)의 의도에 따라 렌더링 타입을 결정할 수 있다. 이와 같은 경우 제작자가 음향 신호에 수동(manual)으로 해당 음향 신호의 렌더링 타입에 대한 정보를 결정할 수 있으며, 음향 신호에 렌더링 타입을 결정하는 파라미터를 포함시킬 수 있다.

예를 들어, 인코더에서 인코딩된 데이터 프레임에 렌더링 타입을 결정하는 파라미터인 rendering3DType 과 같은 부가정보를 생성하고, 디코더로 전송한다. 디코더에서는 rendering3DType 정보를 확인하여, rendering3DType이 3D 렌더링 타입을 나타낸다면 공간 음색 필터링 및 공간 위치 패닝을 수행하도록 하고, 2D 렌더링 타입을 나타낸다면 공간 음색 필터링 및 일반 패닝을 수행하도록 할 수 있다.

이 때, 일반 패닝은 입력 음향 신호의 고도각 정보는 고려하지 않고, 수평각 정보에 기초하여 멀티 채널 신호를 패닝한다. 이와 같은 일반 패닝을 거친 음향 신호는 고도감을 갖는 음상을 제공하지 않으므로, 수평면 상의 2차원 음상이 사용자에게 전달된다.

3D 렌더링에 적용되는 공간 위치 패닝은 주파수별로 서로 다른 패닝 계수를 가질 수 있다.

이 때, 필터링을 수행하기 위한 필터 계수 및 패닝을 수행하기 위한 패닝 계수는 초기화부(121)로부터 전달된다. 초기화부(121)는 고도 렌더링 파라미터 획득부(1211) 및 고도 렌더링 파라미터 갱신부(1212)로 구성된다.

고도 렌더링 파라미터 획득부(1211)는 출력 채널, 즉 라우드 스피커의 구성 및 배치를 이용하여 고도 렌더링 파라미터의 초기값을 획득한다. 이 때, 고도 렌더링 파라미터의 초기값은 표준 레이아웃에 따른 출력 채널의 구성 및 고도 렌더링 설정에 따른 입력 채널의 구성에 기초하여 고도 렌더링 파라미터의 초기값을 산출하거나, 입력/출력 채널간의 매핑 관계에 따라 기 저장된 초기값을 읽어온다. 고도 렌더링 파라미터는, 필터링부(1211)에서 이용하기 위한 필터 계수 또는 패닝부(1212)에서 이용하기 위한 패닝 계수를 포함할 수 있다.

그러나, 상술한 바와 같이 고도 렌더링을 위한 고도 설정값이 입력 채널의 설정과 편차가 존재할 수 있다. 이러한 경우 고정된 고도 설정값을 이용하면 원래의 입력 입체 음향 신호를, 입력 채널과 구성이 다른 출력 채널을 통해 보다 유사하게 입체적으로 재생하고자 하는 가상 렌더링의 목적을 달성하기 어렵다.

일 예로, 고도감이 너무 높을 경우 음상이 좁고 음질이 열화되는 현상이 발생되며, 고도감이 너무 낮을 경우 가상 렌더링의 효과를 느끼기 어려운 문제가 발생할 수 있다. 따라서, 사용자의 설정에 따라 또는 입력 채널에 적합한 가상 렌더링 정도에 따라 고도감을 조절하는 것이 필요하다.

고도 렌더링 파라미터 갱신부(1212)는 고도 렌더링 파라미터 획득부(1211)에서 획득한 고도 렌더링 파라미터의 초기값들을 입력 채널의 고도 정보 또는 사용자 설정 고도에 기초하여 고도 렌더링 파라미터를 갱신한다. 이 때, 만일 출력 채널의 스피커 레이아웃이 표준 레이아웃과 비교하여 편차가 존재한다면, 이에 따른 영향을 보정하기 위한 과정이 추가될 수 있다. 이때의 출력 채널의 편차는 고도각 또는 방위각 차이에 따른 편차 정보를 포함할 수 있다.

초기화부(121)에서 획득 및 갱신된 고도 렌더링 파라미터를 이용하여 렌더링부(123)에서 필터링 및 패닝을 마친 출력 음향 신호는 각 출력 채널에 대응하는 스피커를 통해 재생된다.

도 3 은 일 실시 예에 의한 복수 개의 입력 채널이 복수 개의 출력 채널로 다운믹스 되는 경우의 각 채널의 레이아웃에 대한 도면이다.

도 3 은 일 실시 예에 의한 복수 개의 입력 채널이 복수 개의 출력 채널로 다운믹스 되는 경우의 각 채널의 레이아웃에 대한 도면이다.

3차원 영상과 같이 실제와 동일하거나 더욱 과장된 현장감과 몰입감을 제공하기 위해 3차원 입체 영상과 함께 3차원 입체 음향을 제공하기 위한 기술이 개발되고 있다. 입체 음향은 음향 신호 자체가 음의 고저 및 공간감을 가지는 음향을 의미하는 것으로, 이와 같은 입체 음향을 재생하기 위해서는 최소 2개 이상의 라우드스피커, 즉 출력 채널이 필요하다. 또한, HRTF를 이용하는 바이노럴(binaural) 입체 음향을 제외하고는 음의 고저감, 거리감 및 공간감을 보다 정확하게 재현하기 위해 많은 수의 출력 채널을 필요로 한다.

따라서, 2 채널 출력을 가지는 스테레오 시스템에 이어, 5.1 채널 시스템, Auro 3D 시스템, Holman 10.2 채널 시스템, ETRI/Samsung 10.2 채널 시스템, NHK 22.2 채널 시스템 등 다양한 멀티 채널 시스템이 제안되고 개발되어 있다.

도 3 은 22.2 채널의 입체 음향 신호를 5.1 채널의 출력 시스템으로 재생하는 경우를 설명하기 위한 도면이다.

5.1 채널 시스템은 5채널 서라운드 멀티채널 사운드 시스템의 일반적인 명칭으로, 가정의 홈씨어터 및 극장용 사운드 시스템으로 가장 보편적으로 보급되어 사용되고 있는 시스템이다. 모든 5.1 채널은 FL(Front Left) 채널, C(Center) 채널, FR(Frong Right)채널, SL(Surround Left) 채널 및 SR(Surround Right) 채널을 포함한다. 도 3 에서 알 수 있는 바와 같이, 5.1 채널의 출력은 모두 같은 평면상에 존재하기 때문에 물리적으로는 2차원 시스템에 해당하며 5.1 채널 시스템으로 3차원 입체 음향 신호를 재생하기 위해서는 재생될 신호에 입체감을 부여하기 위한 렌더링 과정을 거쳐야 한다.

5.1 채널 시스템은 영화에서뿐만 아니라, DVD 영상, DVD 음향, SACD(Super Audio Compact Disc) 또는 디지털 방송에 이르기까지 다양한 분야에서 널리 사용되고 있다. 그러나, 5.1 채널 시스템이 비록 스테레오 시스템에 비하여 향상된 공간감을 제공하기는 하지만, 22.2채널과 같은 다채널 오디오 표현 방식보다 넓은 청취공간을 형성하는 데 있어서 여러가지 제약이 있다. 특히 가상 렌더링을 수행할 경우 스위트 스팟이 좁게 형성되고, 일반 렌더링을 수행할 경우 고도각(elevation angle)을 가지는 수직 음상을 제공할 수 없기 때문에 극장과 같이 넓은 청취공간에는 적합하지 않을 수 있다.

NHK에서 제안한 22.2 채널 시스템은 도 3 과 같이 세 층의 출력채널로 이루어져 있다. 어퍼레이어(Upper Layer, 310)는 VOG(Voice of God), T0, T180, TL45, TL90, TL135, TR45, TR90 및 TR45 채널을 포함한다. 이 때, 각 채널 이름의 제일 앞의 T라는 인덱스는 어퍼레이어를 의미하고, L 또는 R이라는 인덱스는 각각 좌측 또는 우측를 의미하며 뒤의 숫자는 중심 채널(center channel)로부터의 방위각(azimuth angle)을 의미한다. 어퍼레이어는 흔히 탑레이어라고 불리기도 한다.

VOG 채널은 청자의 머리 위에 존재하는 채널로, 90도의 고도각을 가지며 방위각은 없다. 다만, VOG 채널은 위치가 조금만 틀어져도 방위각을 가지며 고도각이 90도가 아닌 값을 가지게 되므로 더 이상 VOG 채널이 아닐 수 있다.

미들레이어(Middle Layer 320)는 기존 5.1 채널과 같은 평면으로, 5.1 채널의 출력 채널 외에 ML60, ML90, ML135, MR60, MR90 및 MR135 채널을 포함한다. 이 때, 각 채널 이름의 제일 앞의 M이라는 인덱스는 미들레이어를 의미하고, 뒤의 숫자는 중심(center) 채널로부터의 방위각을 의미한다.

로우레이어(Low Layer, 330)는 L0, LL45, LR45 채널을 포함한다. 이 때, 각 채널 이름의 제일 앞의 L이라는 인덱스는 로우레이어를 의미하고, 뒤의 숫자는 중심(center) 채널로부터의 방위각을 의미한다.

22.2 채널에서 미들레이어는 수평 채널(horizontal channel)이라고 부르며, 방위각 0도 또는 방위각 180도에 해당하는 VOG, T0, T180, T180, M180, L 및 C 채널들은 수직 채널(vertical channel)이라고 부른다.

22.2 채널 입력 신호를 5.1 채널 시스템으로 재생할 경우, 가장 일반적인 방법은 다운믹스 수식을 이용하여 채널 간 신호를 분배할 수 있다. 또는, 가상의 고도감을 제공하는 렌더링을 수행하여 5.1 채널 시스템으로 고도감을 가지는 음향 신호를 재생하도록 할 수 있다.

도 4 는 일 실시 예에 의한 렌더러 포맷 변환기의 주요 구성부를 나타낸 블록도이다.

렌더러는 Nin개의 채널을 갖는 멀티채널 입력 신호를 Nout 개의 채널을 갖는 재생 포맷으로 변환하는 다운믹서로, 포맷 변환기 라고도 부른다. 이 때, Nout<Nin 이다. 도 4 는 렌더러의 구성을, 다운믹스 관점에서 구성한 포맷 변환기의 주요 구성부를 도시한 블록도이다.

인코딩 된 음향 신호는 비트스트림의 형태로 코어디코더(110)에 입력된다. 코어디코더(110)에 입력된 신호는 인코딩 방식에 적합한 디코더 도구에 의해 디코딩 되고, 포맷 변환기(125)로 입력된다.

포맷 변환기(125)는 두 개의 메인 블록으로 구성된다. 첫번째는, 입력 및 출력 포맷과 같은 정적 파라미터들을 담당하는 초기화 알고리즘을 수행하는 다운믹스 구성부(1251)이다. 두번째는, 초기화 알고리즘에 의해 획득된 다운믹스 파라미터에 기초하여 믹서 출력 신호를 다운믹스하는 다운믹스부(1252)이다.

다운믹스 구성부(1251)는 입력 채널 신호의 레이아웃에 해당하는 믹서 출력 레이아웃과, 출력 채널의 레이아웃에 해당하는 재생 레이아웃에 기초하여 최적화된 다운믹스 파라미터를 생성한다. 다운믹스 파라미터는 다운믹스 매트릭스일 수 있으며, 주어진 입력 포맷과 출력 채널의 가능한 조합에 의해 결정된다.

이 때, 각각의 입력 채널에 대하여, 심리음향을 고려하여 매핑 규칙 리스트 중에서 가장 적합한 매핑 규칙에 의해, 출력 라우드 스피커(출력 채널)를 선택하는 알고리즘이 적용된다. 매핑 규칙은 하나의 입력 채널을 하나 또는 여러 개의 출력 라우드 스피커 채널로 매핑하도록 되어 있다.

입력 채널은 하나의 출력 채널로 매핑되거나, 두개의 출력 채널로 패닝될 수 있으며 VOG 채널과 같은 경우에는 여러 개의 출력 채널로 분배될 수 있다. 또는 주파수에 따라 서로 다른 패닝 계수를 갖는 복수 개의 출력 채널로 패닝되어 임장감을 가지도록 렌더링(immersive rendering) 될 수 있다. 5.1 채널과 같이 수평 채널만을 가지는 출력 채널인 경우, 출력 신호가 임장감을 가지기 위해서는 가상의 고도(높이) 채널을 가져야 하므로 고도 렌더링이 적용된다.

각각의 입력 채널에 대한 최적의 매핑은 원하는 출력 포맷으로 렌더링 가능한 출력 라우드스피커의 리스트에 따라 선택되며 생성되는 매핑 파라미터는 입력 채널에 대한 다운믹스 게인뿐 아니라 이퀄라이저(음색 필터) 계수를 포함할 수 있다.

다운믹스 파라미터를 생성하는 과정에서는, 출력 채널이 표준 레이아웃에서 벗어난 경우, 예를 들어 고도(elevation) 또는 방위(azimuth) 편차가 있는 경우뿐 아니라 거리 편차가 있는 경우 이를 고려하여 다운믹스 파라미터를 갱신하거나 수정하는 과정이 추가될 수 있다.

다운믹스부(1252)는 코어디코더의 출력 신호에 포함된 렌더링 타입을 결정하는 파라미터에 따라 렌더링 모드를 결정하고, 결정된 렌더링 모드에 따라 코어디코더의 믹서 출력 신호를 주파수 영역에서 다운믹스한다. 이 때, 렌더링 타입을 결정하는 파라미터는 멀티채널 신호를 부호화하는 인코더에서 결정될 수 있으며 코어디코더에 의해 복호화되는 멀티채널 신호에 포함될 수 있다.

렌더링 타입을 결정하는 파라미터는 음향 신호의 각 프레임마다 결정될 수 있으며, 프레임 내의 부가 정보를 표시하는 필드에 저장될 수 있다. 렌더러에서 렌더링할 수 있는 렌더링 타입의 개수가 제한적이라면, 렌더링 타입을 결정하는 파라미터는 적은 비트수로도 가능하며, 예를 들어 두가지의 렌더링 타입을 표시하고자 하는 경우라면 1비트를 갖는 플래그(flag)로 구성될 수 있다.

다운믹스부(1252)에서는 주파수 영역, 하이브리드 QMF (hybrid Quadrature Mirror Filter) 서브밴드 영역에서 수행되며 콤필터(comb filtering), 음색화(coloration) 또는 신호 변조(modulation)의 결함에 의해 발생하는 신호 열화를 방지하기 위해 위상 정렬(phase alignment) 및 에너지 노말라이즈를 수행한다.

위상 정렬은 상관도(correlation)가 있지만 위상이 다른 입력 신호들을 다운믹싱 전에 위상을 맞춰주는 것이다. 위상 정렬 과정은 관련된 채널들만을, 관련된 시간-주파수 타일에 대해 정렬하고, 입력 신호의 다른 부분이 변경되지 않도록 주의해야 한다. 또한, 위상 정렬은 정렬을 위해 위상을 수정하는 간격이 빨리 변화하기 때문에 결함이 발생하지 않도록 주의해야 한다.

위상 정렬 과정을 거치면 제한된 주파수 해상도 때문에 발생하는, 에너지 노말라이즈에 의해서도 보상할 수 없는, 좁은 스펙트럴 노치를 피할 수 있어 출력 신호의 품질이 향상된다. 또한 에너지 보존 노말라이즈에서 신호를 증폭시킬 필요가 없기 때문에 변조 결함을 줄일 수 있다.

고도 렌더링의 경우, 고주파 대역의 입력 신호에 대해서는 렌더링 된 멀티채널 신호의 정확한 동기화(synchronization)를 위해 위상 정렬을 수행하지 않는다.

다운믹스 과정에서 에너지 노말라이즈는 입력 에너지를 보존하기 위해 수행되며 다운믹스 매트릭스 자체에서 에너지 스케일링을 하는 경우는 해당되지 않는다.

도 5 는 일 실시예에 의한 렌더링 타입 결정 파라미터에 기초하여 렌더링 타입 및 다운믹스 매트릭스를 선택하는 선택부의 구성을 나타낸 것이다.

본 발명의 일 실시예에 따르면, 렌더링 타입을 결정하는 파라미터에 기초하여 렌더링 타입을 결정하고, 결정된 렌더링 타입에 따라 렌더링을 수행한다. 렌더링 타입을 결정하는 파라미터가 1비트의 크기를 갖는 rendering3DType 라는 플래그라 가정하면, 선택부는 rendering3DType이 1(TRUE) 이면 3D 렌더링을, rendering3DType이 0(FALSE) 이면 2D 렌더링을 수행하도록 동작하며 rendering3DType의 값에 따라 스위칭된다.

이 때, 3D 렌더링을 위한 다운믹스 매트릭스는 M_DMX가 선택되고, 2D 렌더링을 위한 다운믹스 매트릭스는 M_DMX2로 선택된다. 각각의 다운믹스 매트릭스 M_DMX 및 M_DMX2는 도 2 의 초기화부(121) 또는 도 4 의 다운믹스 구성부(1251)에서 결정된다. M_DMX는 음이 아닌 실수인 다운믹스 계수(게인)를 포함하는, 공간 고도 렌더링을 위한 기본 다운믹스 매트릭스로, M_DMX의 크기는 (Nout x Nin)이고, 이 때 Nout는 출력 채널의 개수, Nin은 입력 채널의 개수이다. M_DMX2는 음이 아닌 실수인 다운믹스 계수(게인)를 포함하는, 음색(timbral) 고도 렌더링을 위한 다운믹스 매트릭스로, M_DMX2의 크기는 M_DMX과 마찬가지로 (Nout x Nin)이다.

입력 신호는 선택된 렌더링 타입에 따라 각 렌더링 타입에 적합한 다운믹스 매트릭스를 이용해, 하이브리드QMF 주파수 서브밴드별로, 다운믹스된다.

도 6 은 일 실시예에 의한 렌더링 타입 결정 파라미터에 기초하여 렌더링 타입 구성을 결정하는 신택스(syntax)를 나타낸다.

도 5 와 마찬가지로, 렌더링 타입을 결정하는 파라미터는 1비트의 크기를 갖는 rendering3DType 플래그이고, RenderingTypeConfig()는 포맷 변환을 위한 적절한 렌더링 타입을 정의 한다.

rendering3DType는 인코더에서 생성될 수 있다. 이 때, rendering3DType 는 음향 신호의 오디오씬에 기초하여 결정될 수 있으며, 오디오씬이 광대역(wideband)이거나 빗소리나 박수 소리등과 같이 상관도가 낮은(highly decorrelated)신호라면 rendering3DType는 FALSE 가 되어 2D 렌더링을 위한 다운믹스 매트릭스 M_DMX2를 이용하여 다운믹스한다. 그 외의 경우, 일반적인 오디오 씬에 대해서 rendering3DType는 TRUE가 되어 3D 렌더링을 위한 다운믹스 매트릭스 M_DMX를 이용하여 다운믹스한다.

또는, rendering3DType 는 음향 신호 제작자(창작자)의 의도에 따라 결정될 수 있으며, 창작자가 2D 렌더링을 하도록 설정된 음향 신호(프레임)에 대해서는 2D 렌더링을 위한 다운믹스 매트릭스 M_DMX2를 이용하여 다운믹스하고, 그 외의 경우, 일반적인 오디오 씬에 대해서 rendering3DType는 TRUE가 되어 3D 렌더링을 위한 다운믹스 매트릭스 M_DMX를 이용하여 다운믹스한다.

이 때, 3D 렌더링을 하는 경우는 공간 음색 필터링과 공간 위치 패닝을 모두 수행하지만, 2D 렌더링을 하는 경우는 공간 음색 필터링만을 수행한다.

도 7 은 일 실시예에 의한 음향 신호를 렌더링 하는 방법의 순서도이다.

코어디코더(110)에서 복호화된 멀티채널 신호가 포맷 변환기(125) 또는 렌더러(120)에 입력되면, 입력 채널과 출력 채널의 표준 레이아웃에 기초하여, 렌더링 파라미터의 초기값을 획득한다(710). 이 때, 획득되는 렌더링 파라미터의 초기값은 렌더러(120)에서 렌더링 가능한 렌더링 타입에 따라 각각 다르게 결정될 수 있으며, 음향 신호 재생 시스템의 ROM(Read Only Memory)과 같은 비휘발성 메모리에 저장되어 있을 수 있다.

고도 렌더링 파라미터의 초기값은 표준 레이아웃에 따른 출력 채널의 구성 및 고도 렌더링 설정에 따른 입력 채널의 구성에 기초하여 고도 렌더링 파라미터의 초기값을 산출하거나, 입력/출력 채널간의 매핑 관계에 따라 기 저장된 초기값을 읽어온다. 고도 렌더링 파라미터는, 도 2 의 필터링부(1251)에서 이용하기 위한 필터 계수 또는 패닝부(1252)에서 이용하기 위한 패닝 계수를 포함할 수 있다.

이 때, 입출력 채널의 레이아웃이 모두 표준 레이아웃과 일치한다면, 710에서 획득한 렌더링 파라미터의 초기값을 이용하여 렌더링을 수행할 수 있다. 그러나, 렌더링을 위한 고도 설정값이 입력 채널의 설정과 편차가 존재하거나, 라우드 스피커가 실제로 설치된 레이아웃이 출력 채널의 표준 레이아웃과 편차가 존재하는 경우 710에서 획득한 초기값을 그대로 렌더링에 이용하는 경우 음상의 왜곡 또는 렌더링 된 신호가 원래의 위치가 아닌 곳에 출력되는 현상이 발생한다.

따라서, 입출력 채널의 표준 레이아웃과 실제 레이아웃 편차에 기초하여 렌더링 파라미터를 갱신한다(720). 이 때, 갱신되는 렌더링 파라미터는 렌더러(120)에서 렌더링 가능한 렌더링 타입에 따라 각각 다르게 결정될 수 있다.

갱신된 렌더링 파라미터는 각각의 렌더링 타입에 따라, 하이브리드 QMF 서브밴드별로, Nin x Nout의 크기를 가지는 매트릭스의 형태로 나타날 수 있으며 Nin은 입력 채널의 개수를, Nout은 출력 채널의 개수를 의미한다. 이 때, 렌더링 파라미터를 나타내는 매트릭스를 다운믹스매트릭스라고 부르며, 각 렌더링 타입에 따라 3D 렌더링을 위한 다운믹스 매트릭스는 M_DMX로, 2D 렌더링을 위한 다운믹스 매트릭스는 M_DMX2로 지칭한다.

다운믹스 매트릭스 M_DMX 및 M_DMX2가 결정되면, 렌더링 타입을 결정하는 파라미터에 기초하여 현재 프레임에 적합한 렌더링 타입을 결정한다(730).

렌더링 타입을 결정하는 파라미터는 코어디코더에 입력되는 비트스트림에 포함되며, 인코더에서 음향 신호를 인코딩할 때 생성하여 비트스트림에 포함시킬 수 있다. 렌더링 타입을 결정하는 파라미터는 현재 프레임의 오디오 씬 특성에 따라 결정될 수 있는데, 음향 신호에 박수소리나 빗소리와 같이 트랜지언트(transient) 신호가 많은 경우는 순간적이고 일시적인 신호가 많아 채널간 상관도(correlation)가 낮게 나타나는 특성을 가진다.

채널간 상관도가 낮은(highly decorrelated) 신호 또는, 다수의 입력 채널에 토널(tonal)하지 않은 광대역(wideband) 신호가 존재하거나 신호의 레벨이 채널별로 유사한 경우 또는 짧은 구간의 임펄스 형태가 반복되는 경우는 한 채널에 여러 채널의 신호가 다운믹스될 경우 주파수 상호 간섭에 의한 상쇄효과가 발생하여 음색이 달라지는 페이지니스(phaseyness) 현상 및 한 채널에 트랜지언트의 개수가 증가하여 백색화(whitening)되는 음색 왜곡 현상이 발생하게 된다.

이와 같은 경우라면 3차원 렌더링으로 공간 고도 렌더링(spatial elevation rendering)을 수행하는 것 보다는, 2차원 렌더링으로 음색 고도 렌더링(timbral elevation rendering)을 수행하는 것이 바람직하다.

따라서, 오디오 씬의 특성을 분석한 결과 일반적인 경우라면 렌더링 타입을 3차원 렌더링으로 결정하고, 오디오 씬의 특성이 광대역 신호가 존재하거나, 채널간 상관도가 낮은 경우라면 렌더링 타입을 2차원 렌더링으로 결정할 수 있다.

현재 프레임에 적합한 렌더링 타입이 결정되면, 결정된 렌더링 타입에 따른 렌더링 파라미터를 획득하고(740), 획득된 렌더링 파라미터에 기초하여 현재 프레임을 렌더링한다(750).

결정된 렌더링 타입이 3D 렌더링이라면 다운믹스 매트릭스가 저장된 저장부에서 3D 렌더링을 위한 다운믹스 매트릭스 M_DMX를 획득할 수 있으며, 다운믹스 매트릭스 M_DMX는 하이브리드 QMF 서브밴드별로, Nin x Nout의 크기를 가지는 매트릭스로 하나의 하이브리드 QMF 서브밴드에 대한 Nin 개 입력 채널의 신호를 Nout개의 출력 채널로 다운믹스한다.

결정된 렌더링 타입이 2D 렌더링이라면 다운믹스 매트릭스가 저장된 저장부에서 2D 렌더링을 위한 다운믹스 매트릭스 M_DMX2를 획득할 수 있으며, 다운믹스 매트릭스 M_DMX2는 하이브리드 QMF 서브밴드별로, Nin x Nout의 크기를 가지는 매트릭스로 하나의 하이브리드 QMF 서브밴드에 대한 Nin개 입력 채널의 신호를 Nout개 출력 채널로 다운믹스한다.

현재 프레임에 적합한 렌더링 타입을 결정(730)하고, 렌더링 타입에 따른 렌더링 파라미터를 획득(740)하고, 획득된 렌더링 파라미터에 기초하여 현재 프레임을 렌더링(750)하는 과정은 각 프레임마다 수행되며, 코어디코더에서 디코딩된 멀티채널 신호의 입력이 끝날 때까지 반복된다.

도 8 은 일 실시예에 의한 렌더링 타입에 기초하여 음향 신호를 렌더링 하는 방법의 플로우차트 이다.

도 8 의 실시예에서는 입출력 채널의 관계로부터 고도 렌더링 가능 여부를 판단(810)하는 과정이 추가되어 있다. 이와 같은 고도 렌더링 가능 여부에 대한 판단은, 입력 채널 및 재생 레이아웃에 따른 다운믹스 규칙의 우선 순위에 의해 이루어진다.

입력 채널 및 출력 채널의 레이아웃에 따른 다운믹스 규칙에 의해 고도 렌더링을 할 수 없다면, 일반 렌더링을 하기 위해 일반 렌더링을 위한 렌더링 파라미터를 획득(850)한다.

단계 810의 판단 결과 고도 렌더링이 가능하다면, 고도 렌더링 타입 파라미터로부터 렌더링 타입을 결정(820)한다. 고도 렌더링 타입 파라미터가 2D 렌더링을 나타낸다면 렌더링 타입은 2D 렌더링으로 결정되며 2D 렌더링을 하기 위한 2D 렌더링 파라미터를 획득(830)한다. 반면에, 고도 렌더링 타입 파라미터가 3D 렌더링을 나타낸다면 렌더링 타입은 3D 렌더링으로 결정되며 3D 렌더링을 하기 위한 3D 렌더링 파라미터를 획득(840)한다.

이와 같은 과정에 의해 획득된 렌더링 파라미터는 하나의 입력 채널에 대한 렌더링 파라미터로, 각 입력 채널에 대해 동일한 과정을 반복하여 채널별 렌더링 파라미터를 획득하고, 이를 이용하여 전체 입력 채널에 대한 전체 다운믹스 매트릭스를 획득(860)한다. 다운믹스 매트릭스는 입력 채널 신호를 출력 채널 신호로 다운믹스하여 렌더링하기 위한 매트릭스로, 하이브리드QMF 서브밴드별로 Nin x Nout 의 사이즈를 갖는다.

다운믹스 매트릭스가 획득되면, 획득된 다운믹스 매트릭스를 이용하여 입력 채널 신호를 다운믹싱(870)하여 렌더링 된 출력 신호를 생성한다.

고도 렌더링 타입 파라미터가 디코딩 된 신호의 프레임마다 존재한다면, 도 8 에 도시된 810부터 870의 과정은 각 프레임마다 반복되고, 마지막 프레임에 대한 처리가 완료되면 전체 렌더링 과정이 종료된다.

이 때, 일반 렌더링을 하는 경우는 모든 주파수 대역에 대해 액티브 다운믹스를 할 수 있고, 고도 렌더링을 하는 경우는 저주파 대역에 대해서만 위상 정렬을 수행하고 고주파 대역에 대해서는 위상 정렬을 수행하지 않도록 할 수 있다. 고주파 대역에 대해서 위상 정렬을 수행하지 않는 이유는 앞서 언급한 바와 같이 렌더링 된 멀티채널 신호의 정확한 동기화를 위해서이다.

도 9 는 또 다른 일 실시예에 의한 렌더링 타입에 기초하여 음향 신호를 렌더링 하는 방법의 플로우차트 이다.

도 9 의 실시예에서는 출력 채널이 가상 채널인지 여부를 판단(910)하는 과정이 추가되어 있다. 출력 채널이 가상 채널이 아니라면, 고도 렌더링 또는 가상 렌더링을 수행할 필요가 없으므로 유효한 다운믹스규칙의 우선순위에 따라 일반 렌더링(non-elevation rendering)을 수행하게 된다. 따라서, 일반 렌더링을 하기 위해 일반 렌더링을 위한 렌더링 파라미터를 획득(960)한다.

출력 채널이 가상채널이라면, 입출력 채널의 관계로부터 고도 렌더링 가능 여부를 판단(920)한다. 이와 같은 고도 렌더링 가능 여부에 대한 판단은, 입력 채널 및 재생 레이아웃에 따른 다운믹스 규칙의 우선 순위에 의해 이루어진다.

입력 채널 및 출력 채널의 레이아웃에 따른 다운믹스 규칙에 의해 고도 렌더링을 할 수 없다면, 일반 렌더링을 하기 위해 일반 렌더링을 위한 렌더링 파라미터를 획득(960)한다.

단계 920의 판단 결과 고도 렌더링이 가능하다면, 고도 렌더링 타입 파라미터로부터 렌더링 타입을 결정(930)한다. 고도 렌더링 타입 파라미터가 2D 렌더링을 나타낸다면 렌더링 타입은 2D 렌더링으로 결정되며 2D 렌더링을 하기 위한 2D 렌더링 파라미터를 획득(940)한다. 반면에, 고도 렌더링 타입 파라미터가 3D 렌더링을 나타낸다면 렌더링 타입은 3D 렌더링으로 결정되며 3D 렌더링을 하기 위한 3D 렌더링 파라미터를 획득(950)한다.

2D 렌더링은 음색 고도 렌더링(timbral elevation rendering) 3D 렌더링은 공간 고도 렌더링(spatial elevation rendering)이라는 용어와 혼용 가능하다.

이와 같은 과정에 의해 획득된 렌더링 파라미터는 하나의 입력 채널에 대한 렌더링 파라미터로, 각 입력 채널에 대해 동일한 과정을 반복하여 채널별 렌더링 파라미터를 획득하고, 이를 이용하여 전체 입력 채널에 대한 전체 다운믹스 매트릭스를 획득(970)한다. 다운믹스 매트릭스는 입력 채널 신호를 출력 채널 신호로 다운믹스하여 렌더링하기 위한 매트릭스로, 하이브리드QMF 서브밴드별로 Nin x Nout 의 사이즈를 갖는다.

다운믹스 매트릭스가 획득되면, 획득된 다운믹스 매트릭스를 이용하여 입력 채널 신호를 다운믹싱(980)하여 렌더링 된 출력 신호를 생성한다.

고도 렌더링 타입 파라미터가 디코딩 된 신호의 프레임마다 존재한다면, 도 9 에 도시된 910부터 980의 과정은 각 프레임마다 반복되고, 마지막 프레임에 대한 처리가 완료되면 전체 렌더링 과정이 종료된다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (7)

1. 고도 입력 채널 신호를 포함하는 복수의 입력 채널 신호들을 수신하는 단계;
   상기 복수의 입력 채널 신호들 각각이 가상 출력 채널로 변환 되는지 여부를 식별하는 단계;
   상기 복수의 입력 채널 신호들 중 상기 가상 출력 채널로 변환되는 입력 채널 신호와 복수의 출력 채널 신호들 간의 매핑 관계에 기초하여, 고도 렌더링이 가능한지를 결정하는 단계;
   상기 고도 입력 채널 신호가 상기 가상 출력 채널로 변환되고, 상기 고도 렌더링이 가능하면, 고도 렌더링 파라미터를 획득하는 단계;
   상기 고도 입력 채널 신호가 상기 가상 출력 채널로 변환되지 않는 경우, 비고도 렌더링 파라미터를 획득하는 단계; 및
   상기 고도 렌더링 파라미터 및 상기 비고도 렌더링 파라미터 중 적어도 하나를 이용하여 획득한 다운믹스 매트릭스에 기초하여 상기 복수의 입력 채널 신호를 상기 복수의 출력 채널 신호로 변환하는 단계를 포함하고,
   상기 복수의 출력 채널 신호는 복수의 라우드스피커를 통해 출력되고,
   상기 복수의 출력 채널 신호의 출력 포맷은 5.1 채널 포맷이고, 출력 채널 신호의 고도각은 상기 고도 입력 채널 신호의 고도각과 서로 다른, 오디오 신호 렌더링 방법.
2. 제1 항에 있어서, 상기 다운믹스 매트릭스는 3D 렌더링을 위한 제1 다운믹스 매트릭스 및 2D 렌더링을 위한 제2 다운믹스 매트릭스 중 적어도 하나를 포함하는, 오디오 신호 렌더링 방법.
3. 제2 항에 있어서,
   렌더링 3D 타입을 포함하는 비트스트림을 수신하는 단계;
   상기 렌더링 3D 타입이 TRUE이면, 상기 제1 다운믹스 매트릭스를 선택하고, 상기 렌더링 3D 타입이 FALSE이면, 상기 제2 다운믹스 매트릭스를 선택하는 단계를 더 포함하는, 오디오 신호 렌더링 방법.
4. 오디오 신호 렌더링 장치에 있어서,
   고도 입력 채널 신호를 포함하는 복수의 입력 채널 신호들을 수신하는 수신부; 및
   적어도 하나의 프로세서를 포함하고,
   상기 적어도 하나의 프로세서는,
   상기 복수의 입력 채널 신호들 각각이 가상 출력 채널로 변환 되는지 여부를 식별하고, 상기 복수의 입력 채널 신호들 중 상기 가상 출력 채널로 변환되는 입력 채널 신호와 복수의 출력 채널 신호들 간의 매핑 관계에 기초하여, 고도 렌더링이 가능한지를 결정하고,
   상기 고도 입력 채널 신호가 상기 가상 출력 채널로 변환되고, 상기 고도 렌더링이 가능하면, 고도 렌더링 파라미터를 획득하고,
   상기 고도 입력 채널 신호가 상기 가상 출력 채널로 변환되지 않는 경우, 비고도 렌더링 파라미터를 획득하고,
   상기 고도 렌더링 파라미터 및 상기 비고도 렌더링 파라미터 중 적어도 하나를 이용하여 획득한 다운믹스 매트릭스에 기초하여 상기 복수의 입력 채널 신호를 상기 복수의 출력 채널 신호로 변환하고,
   상기 복수의 출력 채널 신호는 복수의 라우드스피커를 통해 출력되고,
   상기 복수의 출력 채널 신호의 출력 포맷은 5.1 채널 포맷이고, 출력 채널 신호의 고도각은 상기 고도 입력 채널 신호의 고도각과 서로 다른, 오디오 신호 렌더링 장치.
5. 제4 항에 있어서, 상기 다운믹스 매트릭스는 3D 렌더링을 위한 제1 다운믹스 매트릭스 및 2D 렌더링을 위한 제2 다운믹스 매트릭스 중 적어도 하나를 포함하는, 오디오 신호 렌더링 장치.
6. 제5 항에 있어서,
   상기 수신부는 렌더링 3D 타입을 포함하는 비트스트림을 수신하고,
   상기 적어도 하나의 프로세서는 상기 렌더링 3D 타입이 TRUE이면, 상기 제1 다운믹스 매트릭스를 선택하고, 상기 렌더링 3D 타입이 FALSE이면, 상기 제2 다운믹스 매트릭스를 선택하는, 오디오 신호 렌더링 장치.
7. 제 1 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.