KR101100223B1

KR101100223B1 - 오디오 처리 방법 및 장치

Info

Publication number: KR101100223B1
Application number: KR1020097014215A
Authority: KR
Inventors: 오현오; 정양원
Original assignee: 엘지전자 주식회사
Priority date: 2006-12-07
Filing date: 2007-12-06
Publication date: 2011-12-28
Also published as: EP2122613A4; TWI371743B; US8340325B2; CN101553865A; EP2122613A1; CN101568958A; AU2007328614B2; US20100010821A1; EP2102856A1; EP2102857A1; EP2102856A4; JP5209637B2; KR20090098863A; JP2010511909A; JP5302207B2; EP2102857A4; EP2187386A2; TW200834544A; JP2010511910A; JP2010511911A

Abstract

다운믹스 신호, 오브젝트 정보 및 믹스 정보를 수신하는 단계; 및, 상기 오브젝트 정보 및 상기 믹스 정보를 이용하여, 하나 이상의 게인 변형 팩터를 포함하는 멀티채널 정보를 생성하는 단계를 포함하고, 상기 게인 변형 팩터는 상기 다운믹스 신호의 게인을 제어하기 위한 시간-서브밴드 변화 팩터에 해당하는 오디오 신호 처리 방법이 개시된다.

오디오, 오브젝트

Description

오디오 처리 방법 및 장치{A METHOD AN APPARATUS FOR PROCESSING AN AUDIO SIGNAL}

본 발명은 오디오 신호 처리 방법 및 장치에 관한 것으로서, 보다 구체적으로, 디지털 매체 또는 방송 신호를 통해 수신한 오디오 신호의 디코딩 방법 및 장치에 관한 것이다.

여러 개의 오디오 오브젝트를 하나 또는 두개의 신호로 다운믹스하는 과정에서, 개별 오브젝트 신호들로부터 파라미터가 추출될 수 있다. 이 파라미터들은 오디오 신호 디코더에서 사용될 수 있는데, 개별 소스들의 리포지션닝(repositioning) 및 패닝(panning)은 사용자에 선택에 의해 제어될 수 있다.

개별 오브젝트 신호를 제어하는 데 있어서, 다운믹스 신호에 포함된 개별 소스의 리포지셔닝 및 패닝은 자유롭게 수행되어야 한다.

그런데, 채널 기반 디코딩 방법(예: MPEG surround)에 관한 하향 호환성(backward compatibility)을 위해, 오브젝트 파라미터는 업믹싱 프로세스에 요구되는 멀티채널 파라미터로 자유롭게 변환되어야 한다.

따라서 본 발명은 상기와 같이 관련 기술의 제한 및 불리함 때문에 발생하는 문제점을 실질적으로 회피하는 오디오 신호 처리 방법 및 장치를 지향한다.

본 발명은 오브젝트 게인 및 패닝을 자유로이 제어하기 위한 오디오 신호 처리 방법 및 장치를 제공할 수 있다.

본 발명은 유저 선택을 기반으로 오브젝트 게인 및 패닝을 제어하기 위한 오디오 신호 처리 방법 및 장치를 제공할 수 있다.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 오디오 신호 처리 방법은 다운믹스 신호, 오브젝트 정보 및 믹스 정보를 수신하는 단계; 및, 상기 오브젝트 정보 및 상기 믹스 정보를 이용하여, 하나 이상의 게인 변형 팩터를 포함하는 멀티채널 정보를 생성하는 단계를 포함하고, 상기 게인 변형 팩터는 상기 다운믹스 신호의 게인을 제어하기 위한 시간-서브밴드 변화 팩터에 해당한다.

본 발명에 있어서, 상기 다운믹스 신호가 모노 신호에 해당될 때, 상기 멀티채널 정보를 생성하는 단계가 수행된다.

본 발명에 있어서, 상기 게인 변형 팩터는, 상기 믹스 정보 및 상기 오브젝트 정보를 기반으로 추정된 제1 게인, 및 상기 오브젝트 정보를 기반으로 추정된 제2 게인간의 비율을 나타낸다.

본 발명에 있어서, 상기 게인 변경 팩터를 포함하는 상기 멀티채널 정보를 이용하여 멀티채널 비트스트림을 생성하는 단계를 더 포함한다.

본 발명에 있어서, 상기 오브젝트 정보 및 상기 믹스 정보를 이용하여 다운믹스 프로세싱 정보를 생성하는 단계; 상기 다운믹스 프로세싱 정보를 이용하여 상기 다운믹스 신호를 프로세싱하는 단계를 더 포함하고, 상기 다운믹스 신호가 스테레오 신호에 해당하는 경우, 상기 다운믹스 프로세싱 정보는 상기 오브젝트 패닝을 제어하기 위한 정보에 해당한다.

본 발명에 있어서, 상기 믹스 정보는 오브젝트 위치 정보 및 재생 환경 정보 중 하나 이상을 이용하여 생성된 것이다.

본 발명에 있어서, 상기 다운믹스 신호는 방송 신호를 통해 수신된다.

본 발명에 있어서, 상기 다운믹스 신호는 디지털 매체를 통해 수신된다.

본 발명의 또 다른 측면에 따르면, 오브젝트 정보 및 믹스 정보를 수신하는 단계; 상기 오브젝트 정보 및 상기 믹스 정보를 이용하여 멀티채널 정보를 생성하는 단계; 상기 믹스 정보를 이용하여 추가 멀티채널 정보를 생성하는 단계; 및, 상기 멀티채널 정보 및 상기 추가 멀티채널 정보를 전송하는 단계를 포함하고, 상기 멀티채널 정보는 다운믹스 신호를 멀티채널 신호로 업믹싱하기 위한 정보에 해당하고, 상기 추가 멀티채널 정보는 상기 멀티채널 신호를 변형하기 위한 정보에 해당하는 오디오 신호 처리 방법이 제공된다.

본 발명에 있어서, 상기 추가 멀티채널 정보는 바이노럴(binaural) 모드를 위한 HRTF 정보를 포함한다.

본 발명에 있어서, 상기 HRTF 정보는 특정 시간에 오브젝트의 가상 위치를 나타낸다.

본 발명에 있어서, 상기 HRTF 정보는 HRTF 데이터베이스를 이용하여 생성된 것이다.

본 발명에 있어서, 상기 멀티채널 정보를 생성하는 단계 및 상기 추가 멀티채널 정보를 생성하는 단계는, 동일한 서브밴드 도메인에서 수행된다.

본 발명에 있어서, 상기 추가 멀티채널 정보는 상기 멀티채널 정보와 동기화되어서 전송된다.

본 발명의 또 다른 측면에 따르면, 다운믹스 신호, 오브젝트 정보 및 믹스 정보를 수신하는 단계; 및, 상기 오브젝트 정보 및 상기 믹스 정보를 이용하여, 하나 이상의 게인 변형 팩터를 포함하는 멀티채널 정보를 생성하는 단계를 포함하고, 상기 게인 변형 팩터는 상기 다운믹스 신호의 게인을 제어하기 위한 시간-서브밴드 변화 팩터에 해당하고, 프로세서가 실행될 때, 상기 프로세서에 의해 상기 동작이 수행되는 명령이 저장되어 있는, 컴퓨터로 읽을 수 있는 매체가 제공된다.

본 발명의 또 다른 측면에 따르면, 오브젝트 정보 및 믹스 정보를 수신하는 단계; 상기 오브젝트 정보 및 상기 믹스 정보를 이용하여 멀티채널 정보를 생성하는 단계; 상기 믹스 정보를 이용하여 추가 멀티채널 정보를 생성하는 단계; 및, 상기 멀티채널 정보 및 상기 추가 멀티채널 정보를 전송하는 단계를 포함하고, 상기 멀티채널 정보는 다운믹스 신호를 멀티채널 신호로 업믹싱하기 위한 정보에 해당하고, 상기 추가 멀티채널 정보는 상기 멀티채널 신호를 변형하기 위한 정보에 해당하고 프로세서가 실행될 때, 상기 프로세서에 의해 상기 동작이 수행되는 명령이 저장되어 있는, 컴퓨터로 읽을 수 있는 매체가 제공된다.

본 발명의 또 다른 측면에 따르면, 믹스 정보를 수신하는 유저 인터페이스; 및, 오브젝트 정보 및 상기 믹스 정보를 수신하고, 상기 오브젝트 정보 및 상기 믹스 정보를 이용하여 하나 이상의 게인 변형 팩터를 포함하는 멀티채널 정보를 생성하는 정보 생성 유닛을 포함하고, 상기 게인 변형 팩터는, 상기 다운믹스 신호의 게인을 제어하기 위한 시간-서브밴드 변화 팩터에 해당하는 것을 특징으로 하는 오디오 신호 처리 장치가 제공된다.

본 발명의 또 다른 측면에 따르면, 믹스 정보를 수신하는 유저 인터페이스; 및, 오브젝트 정보를 수신하고, 상기 오브젝트 정보 및 상기 믹스 정보를 이용하여 멀티채널 정보를 생성하고, 상기 믹스 정보를 이용하여 추가 멀티채널 정보를 생성하고, 상기 멀티채널 정보 및 상기 추가 멀티채널 정보를 전송하는 정보 생성 유닛을 포함하고, 상기 멀티채널 정보는 다운믹스 신호를 멀티채널 신호로 업믹싱하기 위한 정보에 해당하고, 상기 추가 멀티채널 정보는 상기 멀티채널 신호를 변형하기 위한 정보에 해당하는 것을 특징으로 하는 오디오 신호 처리 장치가 제공된다.

도 1은 재생 환경 및 유저 컨트롤을 기반으로 다운믹스 신호를 렌더링하는 기본 개념을 설명하기 위한 도면.

도 2는 제1 방식의 본 발명의 일 실시예에 따른 오디오 신호 처리 장치의 예시적인 구성도.

도 3은 제1 방식의 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치의 예시적인 구성도.

도 4는 제2 방식의 본 발명의 일 실시예에 따른 오디오 신호 처리 장치의 예 시적인 구성도.

도 5는 제2 방식의 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치의 예시적인 구성도.

도 6은 제2 방식의 본 발명의 또 다른 실시예에 따른 오디오 신호 처리 장치의 예시적인 구성도.

도 7은 제3 방식의 본 발명의 일 실시예에 따른 오디오 신호 처리 장치의 예시적인 구성도.

도 8은 제3 방식의 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치의 예시적인 구성도.

도 9는 렌더링 유닛의 기본 개념을 설명하기 위한 도면.

도 10A 내지 도 10C는 도 7에 도시된 다운믹스 처리 유닛의 제1 실시예의 예시적인 구성도.

도 11은 도 7에 도시된 다운믹스 처리 유닛의 제2 실시예의 예시적인 구성도.

도 12는 도 7에 도시된 다운믹스 처리 유닛의 제3 실시예의 예시적인 구성도.

도 13은 도 7에 도시된 다운믹스 처리 유닛의 제4 실시예의 예시적인 구성도.

도 14는 본 발명의 제2 실시예에 따른 압축된 오디오 신호의 비트스트림 구조의 예시적인 구성도.

도 15는 본 발명의 제2 실시예에 따른 오디오 신호 처리 장치의 예시적인 구성도.

도 16은 본 발명의 제3 실시예에 따른 압축된 오디오 신호의 비트스트림 구조의 예시적인 구성도.

도 17은 본 발명의 제4 실시예에 따른 오디오 신호 처리 장치의 예시적인 구성도.

도 18은 다양한 타입의 오브젝트의 전송 방식을 설명하기 위한 예시적인 구성도.

도 19는 본 발명의 제5 실시예에 따른 오디오 신호 처리 장치의 예시적인 구성도.

본원의 '파라미터'는 값(values), 협의의 파라미터(parameters), 계수(coefficients), 성분(elements)등을 포함하는 정보를 의미한다. 이하 파라미터(parameter)라는 용어는 오브젝트 파라미터, 믹스 파라미터, 다운믹스 프로세싱 파라미터 등과 같이, 정보(information)를 대신하여 사용될 수 있으나, 본 발명은 이에 한정되지 아니한다.

몇 개의 채널 신호 또는 몇 개의 오브젝트 신호를 다운믹스하는 데 있어서, 오브젝트 파라미터 및 공간 파라미터가 추출될 수 있다. 디코더는 다운믹스 신호 및 오브젝트 파라미터(또는 공간 파라미터)를 이용하여 출력 신호를 생성할 수 있다. 출력 신호는 재생 환경(playback configuration) 및 유저 컨트롤을 기반으로 렌더링될 수 있다. 렌더링 프로세스는 도 1을 참조하면서 다음과 같이 상세히 설명될 것이다.

도 1은 재생 환경 및 유저 컨트롤을 기반으로 다운믹스를 렌더링하는 기본 개념을 설명하기 위한 도면이다. 도 1을 참조하면, 디코더(100)는 렌더링 정보 생성 유닛(110) 및 렌더링 유닛(120)을 포함하고, 또는 렌더링 정보 생성 유닛(110) 및 렌더링 유닛(120)을 포함하는 대신에, 렌더러(110a) 및 합성(120a)을 포함할 수 있다.

렌더링 정보 생성 유닛(110)은 인코더로부터 오브젝트 파라미터 또는 공간 파라미터를 포함하는 부가 정보(side information)를 수신하고, 또한 장치 설정 또는 유저 인터페이스로부터 재생 환경 또는 유저 컨트롤을 수신한다. 오브젝트 파라미터(object parameter)는 하나 이상의 오브젝트 신호를 다운믹스하는 과정에서 추출되는 파라미터에 대응할 수 있고, 공간 파라미터(spatial parameter)는 하나 이상의 채널 신호를 다운믹스하는 과정에서 추출되는 파라미터에 대응될 수 있다. 나아가, 각 오브젝트의 타입 정보 및 특성 정보가 상기 부가 정보에 포함될 수 있다. 타입 정보 및 특성 정보는 악기 이름, 연주자 이름 등을 기술할 수 있다. 재생 환경은 스피커 위치 및 앰비언트 정보(ambient information)(스피커의 가상 위치)를 포함할 수 있고, 상기 유저 컨트롤은 오브젝트 위치 및 오브젝트 게인을 제어하기 위해 사용자에 의해 입력되는 정보에 해당할 수 있는데, 재생환경을 위한 제어정보에 해당할 수도 있다. 한편, 재생 환경 및 유저 컨트롤은 믹스 정보로서 표현될 수도 있는데, 본 발명은 이에 한정되지 아니한다.

렌더링 정보 생성 유닛(110)은 믹스 정보(재생 환경 및 유저 컨트롤) 및 수신된 부가 정보를 이용하여 렌더링 정보를 생성할 수 있다. 렌더링 유닛(120)은 오디오 신호의 다운믹스(약칭, 다운믹스 신호)가 전송되지 않는 경우, 렌더링 정보를 이용하여 멀티채널 파라미터를 생성할 수 있고, 오디오 신호의 다운믹스가 전송되는 경우, 렌더링 정보 및 다운믹스를 이용하여 멀티채널 신호를 생성할 수 있다.

렌더러(110a)는 믹스 정보( 재생 환경 및 유저 컨트롤) 및 수신된 부가 정보를 이용하여 멀티채널 신호를 생성할 수 있다. 합성(120a)은 렌더러(110a)에 의해 생성된 멀티채널 신호를 이용하여 멀티채널 신호를 합성할 수 있다.

앞서 설명한 바와 같이, 디코더는 재생 환경 및 유저 컨트롤을 기반으로 다운믹스 신호를 렌더링한다. 한편, 개별적인 오브젝트 신호를 제어하기 위해서, 디코더는 부가정보로서 오브젝트 파라미터를 수신할 수 있고, 전송된 오브젝트 파라미터를 기초로 오브젝트 패닝 및 오브젝트 게인을 제어할 수 있다.

1. 오브젝트 신호의 게인 및 패닝 제어

개별 오브젝트 신호를 제어하기 위한 다양한 방법들이 제공될 수 있다. 우선, 디코더가 오브젝트 파라미터를 수신하고 오브젝트 파라미터를 이용하여 개별 오브젝트 신호를 생성하는 경우, 디코더는 믹스 정보(재생환경, 오브젝트 레벨 등)를 기반으로 개별 오브젝트 신호를 제어할 수 있다.

둘째, 디코더가 멀티채널 디코더에 입력되는 멀티채널 파라미터를 생성하는 경우, 멀티채널 디코더는 멀티채널 파라미터를 이용하여, 인코더로부터 수신되는 다운믹스 신호를 업믹싱할 수 있다. 상기 언급된 두 번째 방법은 다음 세 가지 방 식으로 분류될 수 있다. 구체적으로, 1) 종래의 멀티채널 디코더를 이용하는 방식, 2) 멀티채널 디코더를 수정하는 방식, 3) 멀티채널 디코더에 입력되기 전에 오디오 신호의 다운믹스를 프로세싱하는 방식이 제공될 수 있다. 종래의 멀티채널 디코더는 채널 기반의 공간 오디오 코딩(예: MPEG Surround 디코더)에 해당할 수 있지만, 본 발명은 이에 한정되지 아니한다. 세 가지 방식은 다음과 같이 구체적으로 설명될 것이다.

1.1 멀티채널 디코더를 이용하는 방식

첫 번째 방식은 종래의 멀티채널 디코더를 수정하지 않고 있는 그대로 이용할 수 있다. 우선, 오브젝트 게인을 제어하기 위해 ADG(임의적 다운믹스 게인: arbitrary downmix gain)를 이용하는 경우, 오브젝트 패닝을 제어하기 위해 5-2-5 구성(configuration)을 이용하는 경우가 도 2를 참조하면서 설명될 것이다. 이어서, 씬 리믹싱 유닛(scene remixing unit)과 연계되는 경우는 도 3을 참조하면서 설명될 것이다.

도 2는 제1 방식의 본 발명의 제1 실시예에 따른 오디오 신호 처리 장치의 구성도이다. 도 2를 참조하면, 오디오 신호 처리 장치(200)(이하, 디코더(200))는 정보 생성 유닛(210) 및 멀티채널 디코더(230)를 포함할 수 있다. 정보 생성 유닛(210)은 인코더로부터 오브젝트 파라미터를 포함하는 부가정보를, 유저 인터페이스로부터 믹스 정보를 수신할 수 있고, 임의적 다운믹스 게인 또는 게인 변형 게인(이후 간단히, ADG)을 포함하는 멀티채널 파라미터를 생성할 수 있다. ADG는 믹스 정보 및 오브젝트 정보를 기초로 추정된 제1 게인, 및 오브젝트 정보를 기초 로 추정된 제2 게인과의 비율(ratio)이다. 구체적으로, 다운믹스 신호가 모노 신호인 경우, 정보 생성 유닛(210)은 ADG만을 생성할 수 있다. 멀티채널 디코더(230)는 인코더로부터 오디오 신호의 다운믹스를, 정보 생성 유닛(210)으로부터 멀티채널 파라미터를 수신하고, 다운믹스 신호 및 멀티채널 신호를 이용하여 멀티채널 출력을 생성한다.

멀티채널 파라미터는 채널 레벨 차이(channel level difference)(이하, 약칭 CLD), 채널 간 상관관계(inter channel correlation)(이하, 약칭 ICC), 채널 예측 계수(channel prediction coefficient)(이하, 약칭 CPC)를 포함할 수 있다.

CLD, ICC, 및 CPC는 세기 차이(intensity difference) 또는 두 채널간 상관 관계(correlation between two channels)을 기술하고, 오브젝트 패닝 및 상관 관계를 제어할 수 있다. CLD, ICC 등을 이용하여 오브젝트 위치나 오브젝트 울려퍼짐정도(diffuseness)(sonority)를 제어하는 것이 가능하다. 한편, CLD는 절대 레벨이 아닌 상대적인 레벨 차이를 기술하고, 분리된 두 채널의 에너지는 유지된다. 따라서 CLD 등을 조절함으로써 오브젝트 게인을 제어하는 것은 불가능하다. 다시 말해서 CLD 등을 이용함으로써 특정 오브젝트를 무음(mute)화 하거나 볼륨을 높일 수 없다.

나아가, ADG는 유저에 의한 상관성 팩터를 조정하기 위한 시간 및 주파수 종속 게인을 나타낸다. 상관성 팩터가 적용되면, 멀티채널을 업믹싱하기 전에 다운믹스 신호의 변형(modification)을 조작할 수 있다. 따라서 ADG 파라미터가 정보 생성 유닛(210)으로부터 수신되는 경우, 멀티채널 디코더(230)는 ADG 파라미터를 이 용하여 특정 시간 및 주파수의 오브젝트 게인을 제어할 수 있다.

한편, 수신된 스테레오 다운믹스 신호가 스테레오 채널로서 출력되는 경우는 다음 수학식 1로 정의될 수 있다.

[수학식 1]

여기서

는 입력 채널,

는 출력 채널,

는 게인,

는 가중치

오브젝트 패닝을 위해서, 좌측 채널 및 우측 채널간의 크로스 토크(cross-talk)를 제어하는 것이 필요하다. 구체적으로 다운믹스 신호의 좌측 채널의 일부가 출력 채널의 우측 채널로서 출력될 수 있고, 다운믹스 신호의 우측 채널의 일부가 출력 채널의 좌측 채널로서 출력될 수 있다. 상기 수학식 1에서

및

는 크로스 토크 성분(다른 말로, 크로스 텀)에 해당할 수 있다.

상기 언급된 경우는 2-2-2 구성에 해당할 수 있는 데, 2-2-2 구성이란, 2 채널 입력, 2채널 전송, 2채널 출력을 의미한다. 2-2-2 구성이 수행되기 위해서는, 종래의 채널 기반의 공간 오디오 코딩(예: MPEG surround)의 5-2-5 구성(5채널 입력, 2채널 전송, 5채널 출력)이 사용될 수 있다. 우선, 2-2-2 구성을 위한 2채널을 출력하기 위해서, 5-2-5 구성의 5 출력 채널 중에서 특정 채널인 불능 채널(페이크 채널)로 설정할 수 있다. 2 전송 채널 및 2 출력 채널간의 크로스 토크를 부여하기 해서, 상기 언급된 CLD 및 CPC가 조절될 수 있다. 요컨대, 수학식 1에서의 게인 팩터

가 상기 ADG를 이용하여 획득되고, 상기 수학식 1에서의 가중치

는 CLD 및 CPC를 이용하여 획득될 수 있다.

5-2-5 구성을 이용하여 2-2-2 구성을 구현하는데 있어서, 복잡도를 낮추기 위해서, 종래의 공간 오디오 코딩의 디폴드(default) 모드가 적용될 수 있다. 디폴트 CLD의 특성은 2 채널을 출력하도록 되어있고, 디폴트 CLD가 적용되는 경우 연산량을 낮출 수 있다. 구체적으로, 페이크 채널을 합성할 필요가 없기 때문에, 연산량을 크게 감소시키는 것이 가능하다. 따라서 디폴트 모드를 적용하는 것이 적절하다. 구체적으로, 3개의 CLD들(MPEG Surround에서 0,1,2번에 대응)의 디폴트 CLD만이 디코딩에 사용된다. 한편으로, 좌측 채널, 우측 채널 및 센터 채널 중의 4개의 CLD들(MPEG surround 표준에서 3,4,5 및 6번에 대응), 및 2개의 ADG(MPEG surround 표준에서 7,8번에 대응)는 오브젝트 제어를 위해 생성된다. 이 경우, 3번 및 5번에 대응하는 CLD들은 좌측 채널+우측 채널, 및 센터 채널간의 채널 레벨 차이((l+r)/c)를 나타내는데, 센터 채널을 무음화시키기 위해서 150dB(거의 무한대)로 셋팅되는 것이 바람직하다. 또한, 크로스 토크를 구현하기 위해서, 에너지 베이스 업믹스(energy based up-mix) 또는 프리딕션 기반 업믹스(prediction based up-mix)가 수행될 수 있는데, 이는 TTT 모드(MPEG surround 표준에서의 'bsTttModeLow')는 에너지 기반 모드(차감(with subtraction), 매트릭스 호환성 가능)(3번째 모드) 또는 프리딕션 모드(1번째 모드 도는 2번째 모드)에 해당될 수 있는 경우에 호출된다.

도 3은 제1 방식의 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치의 예시적인 구성도이다. 도 3을 참고하면, 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치(300)(이하, 약칭 디코더(300))는 정보 생성 유닛(310), 씬 렌더링 유닛(scene rendering unit)(320), 멀티채널 디코더(330), 및 씬 리믹싱 유닛(scene remixing unit)(350)을 포함할 수 있다.

정보 생성 유닛(310)은 다운믹스 신호가 모노 채널 신호(즉 다운믹스 채널의 수가 1인 경우)에 해당하는 경우, 오브젝트 파라미터를 포함하는 부가 정보를 인코더로부터 수신할 수 있고, 부가정보 및 믹스 정보를 이용하여 멀티채널 파라미터를 생성할 수 있다. 다운믹스 채널의 수는 부가 정보에 포함되어 있는 플래그 정보뿐만 아니라 다운믹스 신호 및 사용자 선택을 기초로 하여 추정될 수 있다. 정보 생성 유닛(310)은 앞서 설명한 정보 생성 유닛(210)과 동일한 구성을 가질 수 있다. 멀티채널 파라미터는 멀티채널 디코더(330)에 입력되고, 멀티채널 디코더(330)는 앞서 설명한 멀티채널 디코더(230)와 동일한 구성을 가질 수 있다.

씬 렌더링 유닛(320)은 다운믹스 신호가 모노 채널 신호가 아닌 경우(즉, 다운믹스 채널의 수가 2 이상인 경우), 인코더로부터 오브젝트 파라미터를 포함하는 부가정보를 수신하고, 유저 인터페이스로부터 믹스 정보를 수신하고, 부가 정보 및 믹스 정보를 이용하여 리믹싱 파라미터를 생성한다. 리믹싱 파라미터는 스테레오 채널을 리믹스하고 2 채널 이상의 출력을 생성하기 위한 파라미터에 해당한다. 씬 리믹싱 유닛(350)은 다운믹스 신호가 2채널 이상 신호인 경우, 다운믹스 신호를 리믹스할 수 있다.

요컨대, 두 가지 경로는 디코더(300) 분리된 응용을 위한 분리된 구현으로서 고려될 수 있다.

1.2 멀티채널 디코더를 수정하는 방식

두 번째 방식은 종래의 멀티채널 디코더를 수정할 수 있다. 우선, 오브젝트 게인을 제어하기 위한 가상 출력을 이용하는 경우, 오브젝트 패닝을 제어하기 위한 장치 설정을 수정하는 경우가 도 4와 함께 설명될 것이다. 이어서, 멀티채널 디코더에서의 TBT(2X2) 기능을 수행하는 경우는 도 5와 함께 설명될 것이다.

도 4는 제2 방식의 본 발명의 일 실시예에 따른 오디오 신호 처리 장치의 예시적인 구성도이다. 도 4를 참조하면, 제2 방식의 본 발명의 일 실시예에 따른 오디오 신호 처리 장치(400)(이하, 약칭 디코더(400)는 정보 생성 유닛(410), 내부 멀티채널 합성(420), 출력 맵핑 유닛(430)을 포함할 수 있다. 내부 멀티채널 합성(420) 및 출력 맵핑 유닛(430)은 합성 유닛에 포함될 수 있다.

정보 생성 유닛(410)은 인코더로부터 오브젝트 파라미터를 포함하는 부가 정보를 수신하고, 유저 인터페이스로부터 믹스 파라미터를 수신할 수 있다. 정보 생성 유닛(410)은 부가 정보 및 믹스 정보를 이용하여 멀티채널 파라미터 및 장치 설정 정보를 생성할 수 있다. 멀티채널 파라미터는 앞서 설명된 멀티채널 파라미터와 동일한 구성을 가질 수 있다. 따라서 멀티채널 파라미터의 구체적인 설명은 생략하고자 한다. 장치 설정 정보는 바이노럴(binaural) 프로세싱을 위한 파라미터화된 HRTF에 해당할 수 있는데, 이는 추후 '1.2.2 장치 설정 정보를 이용하는 방법'에서 설정하고자 한다.

내부 멀티채널 합성(420)은 멀티채널 파라미터 및 장치 설정 정보를 파라미 터 생성 유닛(410) 으로부터 수신하고, 인코더로부터 다운믹스 신호를 수신한다. 내부 멀티채널 합성(420)은 가장 출력을 포함하는 임시 멀티채널 신호를 생성할 수 있으나, 이는 추후 '1.2.1 가상 출력을 이용하는 방법'에서 설명하고자 한다.

1.2.1 가상 출력을 이용하는 방법

멀티채널 파라미터(예: CLD)는 오브젝트 패닝을 제어할 수 있기 때문에, 종래의 멀티채널 디코더에 의해 오브젝트 패닝뿐만 아니라 오브젝트 게인을 제어하는 것은 어렵다.

한편, 오브젝트 게인을 위해서, 디코더(400)(특히, 내부 멀티채널 합성(420))는 오브젝트의 상대적 에너지를 가상 채널(예: 센터 채널)에 매핑시킬 수 있다. 오브젝트의 상대적 에너지는 감소될 에너지에 해당된다. 예를 들어 특정 오브젝트를 무음화시키기 위해서, 디코더(400)는 오브젝트 에너지의 99.9% 이상을 가상 채널에 매핑시킬 수 있다. 그러면 디코더(400)(특히, 출력 매핑 유닛(430))는 오브젝트의 나머지 에너지가 매핑된 가상 채널을 출력시키지 않는다. 결론적으로, 오브젝트의 99.9%이상이 출력되지 않는 가상 채널에 매핑됨으로써, 원하는 오브젝트가 거의 무음화될 수 있다.

1.2.2 장치 설정 정보를 이용하는 방법

디코더(400)는 오브젝트 패닝 및 오브젝트 게인을 제어하기 위해서 장치 설정 정보를 조절할 수 있다. 예를 들어 디코더는 MPEG surround 표준에서의 바이노럴 프로세싱을 위한 파라미터화된 HRTF를 생성할 수 있다. 파라미터화된 HRTF는 장치 설정에 따라서 다양할 수 있다. 다음 수학식 2에 따라서 오브젝트 신호가 제어 되는 것으로 가정할 수 있다.

[수학식 2]

여기서,

는 오브젝트 신호들,

및

는 원하는 스테레오채널,

및

는 오브젝트 제어를 위한 계수들.

오브젝트 신호

의 오브젝트 정보는 전송된 부가정보에 포함된 오브젝트 파라미터로부터 추정될 수 있다. 오브젝트 게인 및 오브젝트 패닝에 따라서 정의되는 계수

및

는 믹스 정보로부터 추정될 수 있다. 원하는 오브젝트 게인 및 오브젝트 패닝은 계수

,

를 이용하여 조절될 수 있다.

계수

,

는 바이노럴 프로세싱을 위한 HRTF 파라미터에 해당하도록 설정될 수 있는데, 이에 대해서는 이하에서 상세히 설명될 것이다.

MPEG surround 표준(5-1-5₁ 구성)(from ISO/IEC FDIS 23003-1:2006(E), Information Technology MPEG Audio Technologies Part1: MPEG Surround)에서, 바이노럴 프로세싱은 다음과 같다.

[수학식 3]

여기서 y_B는 출력, 매트릭스 H는 바이노럴 프로세싱을 위한 변환 매트릭스.

[수학식 4]

매트릭스 H의 성분은 다음과 같이 정의된다.

[수학식 5]

[수학식 6]

[수학식 7]

여기서,

,

1.2.3 멀티채널 디코더에서의 TBT(2X2) 기능을 수행하는 방법

도 5는 제2 방식에 따른 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치의 예시적인 구성도이다. 도 5는 멀티채널 디코더의 TBT 기능의 예시적인 구성도이다. 도 5를 참조하면, 티비티(TBT) 모듈(510)은 입력 신호 및 티비티(TBT) 제어 정보를 수신하고, 출력 채널을 생성한다. 티비티 모듈(510)은 도 2(또는 구체적으로 멀티채널 디코더(230))의 디코더(200)에 포함될 수 있다. 멀티채널 디코더(230)는 MPEG surround 표준에 따라 구현될 수 있지만, 본 발명은 이에 한정되지 아니한다.

[수학식 9]

여기서 x는 입력 채널, y는 출력 채널, w는 가중치

출력 y₁은 제1 게인 w₁₁이 곱해진 다운믹스의 입력 x₁과 제2 게인 w₁₂가 곱해진 입력 x₂의 조합에 해당할 수 있다.

티비티 모듈(510)로 입력되는 티비티 제어 정보는 가중치 w(w₁₁, w₁₂, w₂₁, w₂₂)를 합성할 수 있는 구성요소를 포함한다.

MPEG surround 표준에서, 오티티(OTT (One-To-Two)) 모듈 및 티티 티(TTT)(Two-To-Three) 모듈은 입력 신호를 업믹스할 수 있지만, 입력 신호를 리믹스하는데는 적합하지 않다.

입력 신호를 리믹스하기 위해서, 티비티(2x2) 모듈(510)(이하, 약칭하여 티비티 모듈(510))이 제공될 수 있다. 티비티 모듈(510)은 스테레오 신호를 수신하고, 리믹스된 스테레오 신호를 출력한다. 가중치 w는 CLD 및 ICC를 이용하여 합성될 수 있다.

티비티 제어 정보로서 가중치 텀 w₁₁~w₂₂가 수신되면, 디코더는 수신된 가중치 텀을 이용하여 오브젝트 패닝뿐 아니라 오브젝트 게인을 제어할 수 있다. 가중치 w가 전송되면, 다양한 방식이 제공된다. 우선, 티비티 제어 정보는 w₁₂ 및 w₂₁과 같은 크로스 텀을 포함할 수 있다. 둘째, 티비티 제어 정보는 w₁₂ 및 w₂₁과 같은 크로스 텀을 포함하지 않는다. 셋째, 티비티 제어 정보로서 텀의 수가 적응적으로 변화할 수 있다.

우선, 입력 채널의 좌측 신호가 출력 신호의 우측 신호로 가는 오브젝트 패닝을 제어하기 위해서, w₁₂ 및 w₂₁과 같은 크로스 텀을 수신할 필요가 있다. N 입력 채널 및 M 출력 채널의 경우, NxM 개의 텀이 티비티 제어정보로서 전송될 수 있다. 이 텀은 MPEG surround 표준에서 제공된 CLD 파라미터 양자화 테이블을 기반으로 양자화될 수 있지만, 본 발명은 이에 한정되지 아니한다.

둘째, 좌측 오브젝트가 오른쪽 위치로 이동하지 않으면(좌측 오브젝트가 좀더 좌측 위치 또는 센터 위치에 가까운 좌측 위치로 이동하거나, 오브젝트의 위치 의 레벨만이 조정되는 경우), 크로스 텀이 사용될 필요가 없다. 이 경우, 크로스 텀을 제외한 텀이 전송되는 것이 바람직하다. N 입력 채널 및 M 출력 채널의 경우, N개의 텀만이 전송될 수 있다.

셋째, 티비티 제어 정보의 비트 레이트를 낮추기 위해서, 티비티 제어 정보의 개수가 크로스 텀의 필요에 따라서 적응적으로 변화할 수 있다. 크로스 텀이 현재 존재하는지 여부를 지시하는 플래그 정보 'cross_flag'가 티비티 제어정보로서 전송되도록 설정될 수 있다. 플래그 정보 'cross_flag'의 의미는 다음 테이블에 나타난 바와 같다.

[테이블 1] 'cross_flag'의 의미

cross_flag	의미
0	크로스 텀 없음 (넌 크로스 텀만 포함) (w₁₁및 w₂₂가 존재)
1	크로스텀 포함 (w₁₁, w₁₂, w₂₁, 및 w₂₂가 존재)

'cross_flag'가 0인 경우, 티비티 제어 정보는 크로스 텀을 포함하지 않고, 단지 w₁₁ 및 w₂₂와 같은 넌 크로스 텀만 존재한다. 아니면(즉, 'cross_flag'가 1인 경우), 티비티 제어 정보는 크로스 텀을 포함한다.

한편, 크로스 텀 또는 넌 크로스 텀이 존재하는지 여부를 지시하는'reverse_flag'가 티비티 제어 정보로서 전송되도록 설정될 수 있다. 플래그 정보'reverse_flag'의 의미가 다음 테이블 2에 나타나있다.

[테이블 2] 'reverse_flag'

reverse_flag	의미
0	크로스 텀 없음(넌 크로스 텀만 포함) (w₁₁ 및 w₂₂가 존재)
1	크로스텀만 존재 (w₁₂ 및 w₂₁가 존재)

'reverse_flag'가 0인 경우, 티비티 제어 정보는 크로스 텀을 포함하지 않고, w₁₁ 및 w₂₂와 같은넌 크로스 텀만 포함한다. 다른 경우(즉, reverse_flag'가 1인 경우), 티비티 제어 정보는 크로스 텀만 포함한다.

나아가, 크로스 텀을 존재하는지 넌 크로스텀이 존해는지 여부를 지시하는 플래그 정보 'side_flag'이 티비티 제어 정보로서 전송되도록 설정될 수 있다. 플래그 정보 'side_flag'의 의미는 다음 테이블 3에 나타나 있다.

[테이블 3] 'side_flag'의 의미

side_flag	의미
0	크로스 텀 없음 (넌 크로스 텀만 포함) (w₁₁ 및 w₂₂ 존재)
1	크로스 텀포함 (w₁₁, w₁₂, w₂₁, and w₂₂이 존재)
2	반대 (w₁₂ and w₂₁존재)

테이블 3은 테이블 1 및 테이블 2의 조합에 해당하기 때문에, 구체적인 설명은 생략하고자 한다.

1.2.4 바이노럴 디코더를 수정함으로써, 멀티채널 디코더에서의 티비티(2x2) 기능을 수행하는 방법

'1.2.2 장치 설정 정보를 이용하는 방법'의 경우, 바이노럴 디코더를 수정하 지 않고, 수행될 수 있다. 이하, 도 6을 참조하면서, MPEG surround 디코더에서 포함된 바이노럴 디코더를 변형(modifying)함으로써 티비티 기능을 수행하는 방법에 대해서 설명하고자 한다.

도 6은 제2 방식의 본 발명의 또 다른 실시예에 따른 오디오 신호 처리 장치의 예시적인 구성도이다. 구체적으로, 도 6에 도시된 오디오 신호 처리 장치(630)는 도 2의 멀티채널 디코더(230)에 포함된 바이노럴 디코더, 또는 도 4의 합성 유닛에 해당할 수 있지만, 본 발명은 이에 한정되지 아니한다.

오디오 신호 처리 장치(630)(이하, 바이노럴 디코더(630))는 QMF 분석(632), 파라미터 변환(634), 공간 합성(636), 및 QMF 합성(638)을 포함할 수 있다. 바이노럴 디코더(630)의 구성요소는 MPEG surround 표준에서의 MPEG surround 바이노럴 디코더의 동일한 구성을 가질 수 있다. 예를 들어 공간 합성(636)은 다음 수학식 10에 따라서, 2x2 (필터) 매트릭스를 구성할 수 있다.

[수학식 10]

여기서 y₀는 QMF 도메인 입력 채널, y_B는 바이노럴 출력 채널, k는 하이브리드 QMF 채널 인덱스, i는 HRTF 필터 탭 인덱스, n는 QMF 슬롯 인덱스

바이노럴 디코더(630)는 '1.2.2 장치 설정 정보를 이용하는 방법'에 절에서 설명된 상기 언급된 기능을 수행할 수 있다. 구성요소 h_ij는 멀티채널 파라미터 및 HRTF 파라미터 대신에, 멀티채널 파라미터 및 믹스 정보를 이용하여 생성될 수 있다. 이 경우, 바이노럴 디코더(630)는 도 5에서의 티비티 모듈의 기능을 수행할 수 있다. 바이노럴 디코더(630)의 구성요소에 대한 구체적인 설명은 생략하고자 한다.

바이노럴 디코더(630)는 플래그 정보 'binaural_flag'에 따라서 동작될 수 있다. 구체적으로, 바이노럴 디코더(630)는 플래그 정보'binaural_flag'가 0인 경우 스킵될 수 있고, 반대로('binaural_flag'가 1인 경우) 바이노럴 디코더(630)는 아래와 같이 동작할 수 있다.

[테이블 4] binaural_flag의 의미

binaural_flag	의미
0	바이노럴 모드 아님(바이노럴 디코더 비활성화)
1	바이노럴 모드 (바이노럴 디코더 활성화)

1.3 멀티채널 디코더에 입력되기 전에 오디오 신호의 다운믹스를 프로세싱하는 방식

종래의 멀티채널 디코더를 이용하는 제1 방식은 앞서' 1.1'절에서 설명되었고, 멀티채널 디코더를 수정하는 제2 방식은 앞서 ' 1.2'절에서 설명되었다. 멀티채널 디코더에 입력되기 전에 오디오 신호의 다운믹스를 프로세싱하는 제3 방식에 대해서 이하 설명하고자 한다.

도 7은 제3 방식의 본 발명의 일 실시예에 따른 오디오 신호 처리 장치의 예시적인 구성도이다. 도 8은 제3 방식에 따른 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치의 예시적인 구성도이다. 우선 도 7을 참조하면, 오디오 신호 처리 장치(700)(이하 약칭 디코더(700))는 정보 생성 유닛(710), 다운믹스 처리 유닛(720), 멀티채널 디코더(730)를 포함할 수 있다. 도 8을 참조하면, 오디오 신호 처리 장치(800)(이하, 약칭하여 디코더(800))는 정보 생성 유닛(810), 및 멀티채널 디코더(830)를 갖는 멀티채널 합성 유닛(840)을 포함할 수 있다. 디코더(800)는 디코더(700)의 다른 측면이 될 수 있다. 즉, 정보 생성 유닛(810)은 정보 생성 유닛(710)과 동일한 구성을 갖고, 멀티채널 디코더(830)는 멀티채널 디코더(730)와 동일한 구성을 갖고, 멀티채널 합성 유닛(840)은 다운믹스 처리 유닛(720) 및 멀티채널 디코더(730)와 동일한 구성을 가질 수 있다. 따라서, 디코더(700)의 구성요소에 관해서는 상세히 설명될 것이지만, 디코더(800)의 구성요소에 대한 구체적인 설명은 생략하고자 한다.

정보 생성 유닛(710)은 오브젝트 파라미터를 포함하는 부가 정보를 인코더로부터, 믹스 정보를 유저 인터페이스로부터 수신하고, 멀티채널 디코더(730)로 출력될 멀티채널 파라미터를 생성할 수 있다. 이러한 점에서, 정보 생성 유닛(710)은 도 2의 정보 생성 유닛(210)과 동일한 구성을 갖는다. 다운믹스 프로세싱 파라미터는 오브젝트 위치 및 오브젝트 게인을 제어하기 위한 파라미터에 해당할 수 있다. 예를 들어, 오브젝트 신호가 좌측 채널 및 우측 채널에 모두 존재하는 경우, 오브젝트 위치 또는 오브젝트 게인을 변화시키는 것이 가능하다. 오브젝트 신호가 좌측 채널 및 우측 채널 중 하나에 위치하는 경우, 오브젝트 신호를 반대 위치로 위치하도록 렌더링하는 것이 가능하다. 이러한 경우가 수행되기 위해서, 다운믹스 처리 유닛(720)은 티비티(TBT) 모듈(2x2 매트릭스 오퍼레이션)이 될 수 있다. 오브젝트 게인을 제어하기 위해서 정보 생성 유닛(710)은 도 2와 함께 기술된 바와 같이 ADG를 생성하는 경우에는, 다운믹스 프로세싱 파라미터는 오브젝트 게인이 아니라 오브젝트 패닝을 제어하기 위한 파라미터를 포함할 수 있다.

나아가, 정보 생성 유닛(710)은 HRTF 데이터베이스로부터 HRTF 정보를 수신하고, 멀티채널 디코더(730)에 입력되는 HRTF 파라미터를 포함하는 추가 멀티채널 파라미터(extra multi-channel parameter)를 생성할 수 있다. 이 경우, 정보 생성 유닛(710)은 동일한 서브밴드 도메인에서 멀티채널 파라미터 및 추가 멀티채널 파라미터를 생성하고, 서로 싱크를 맞추어 멀티채널 디코더(730)에 전달할 수 있다. HRTF 파라미터를 포함하는 추가 멀티채널 파라미터는 이후 '3. 바이노럴 모드 처리'절에서 상세히 설명될 것이다.

다운믹스 처리 유닛(720)은 인코더로부터 오디오 신호의 다운믹스를, 정보 생성 유닛(710)으로부터 다운믹스 프로세싱 파라미터를 수신하고, 서브밴드 분석 필터뱅크를 이용하여 서브밴드(subband) 도메인 신호로 분석한다. 다운믹스 처리 유닛(720)은 다운믹스 신호 및 다운믹스 프로세싱 파라미터를 이용하여 프로세싱된 다운믹스 신호를 생성할 수 있다. 이러한 프로세싱에서, 오브젝트 패닝 및 오브젝트 게인을 제어하기 위해서 다운믹스 신호를 미리 처리(pre-process)하는 것이 가능하다. 프로세싱된 다운믹스 신호는 업믹스되기 위해 멀티채널 디코더(730)로 입력될 수 있다.

나아가, 프로세싱된 다운믹스 신호는 출력되고 스피커를 통해 또한 재생될 수 있다. 스피커를 통해 프로세싱된 신호를 직접 출력하기 위해서, 다운믹스 처리 유닛(720)은 프로세싱된 서브밴드 도메인 신호를 이용하여 합성 필터뱅크를 수생하고, 시간 도메인의 PCM 신호를 출력할 수 있다. 사용자 선택에 의해 PCM 신호가 직접 출력될지 멀티채널 디코더로 입력될지 여부를 선택하는 것이 가능하다.

멀티채널 디코더(730)는 프로세싱된 다운믹스 및 멀티채널 파라미터를 이용하여 멀티채널 출력신호를 생성할 수 있다. 프로세싱된 다운믹스 신호 및 멀티채널 파라미터가 멀티채널 디코더(730)에 입력될 때, 멀티채널 디코더(730)에서는 딜레이가 도입될 수 있다. 프로세싱된 다운믹스 신호는 주파수 도메인(예: QMF 도메인, 하이브리드 QMF 도메인 등)에서 합성될 수 있고, 멀티채널 파라미터는 시간 도메인에서 합성될 수 있다. MPEG surround 표준에서, HE-AAC과 연결되기 위한 딜레이 및 싱크가 도입된다. 따라서, 멀티채널 디코더(730)는 MPEG surround 표준에 따라서 딜레이를 도입할 수 있다.

다운믹스 처리 유닛(720)의 구성은 도 9 내지 도 13을 참조하면서 상세히 설명될 것이다.

1.3.1 다운믹스 처리 유닛의 일반적 경우 및 특별한 경우

도 9는 렌더링 유닛의 기본 컨셉을 설명하기 위한 도면이다. 도 9를 참조하면 렌더링 모듈(900)은 N 입력 신호, 재생환경, 및 유저 컨트롤을 이용하여 M 출력 신호를 생성할 수 있다. N 입력 신호는 오브젝트 신호 또는 채널 신호에 해당할 수 있다. 나아가, N 입력 신호는 오브젝트 파라미터 또는 멀티채널 파라미터에 해당할 수 있다. 렌더링 모듈(900)의 구성은 도 7의 다운믹스 처리 유닛(720), 도 1의 렌더링 유닛(120), 및 도 1의 렌더러(110a) 중 하나로 구현될 수 있지만, 본 발 명은 이에 한정되지 아니한다.

렌더링 모듈(900)은 특정 채널에 해당하는 개별 오브젝트 신호들을 합하지 않고, N개의 오브젝트 신호들을 이용하여 M개의 채널 신호들을 직접 생성할 수 있는데, 렌더링 모듈(900)의 구성은 다음 수학식 11과 같이 표현될 수 있다.

[수학식 11]

여기서 C_i는 i번째 채널 신호, O_j는 j번째 입력신호, R_ij는 j번째 입력신호가 i번째 채널 신호로 매핑되는 매트릭스

여기서 매트릭스 R은 에너지 성분 E와 디코렐레이션 성분으로 분리되는 경우, 다음 수학식 11은 다음과 같이 표현될 수 있다.

[수학식 12]

에너지 성분 E를 이용하여 오브젝트 위치를 제어하는 것이 가능하고, 디코릴레이션 성분 D를 이용하여 오브젝트 퍼짐정도(diffuseness)를 제어하는 것이 가능하다.

i번째 입력 신호만이 j 번째 채널 및 k번째 채널로 출력되기 위해 입력된다고 가정하는 경우, 수학식 12는 다음과 같이 표현될 수 있다.

[수학식 13]

α_{j_i}는 j번째 채널신호로 매핑되는 게인 포션, β_{jk_i}는 k번째 채널로 매핑되는 게인 포션, θ는 퍼짐정도 레벨(diffuseness), 및 D(O_i)는 디코렐레이트된 출력

디코릴레이션이 생략되는 것으로 가정하면, 상기 수학식 13은 다음과 같이 간략화될 수 있다.

[수학식 14]

특정 채널에 매핑되는 모든 입력에 대한 가중치 값이 상기 언급된 방법에 따 라서 추정되면, 다음 방식에 의해 각 채널에 대한 가중치 값이 획득될 수 있다.

1) 특정 채널에 매핑되는 모든 입력에 대한 가중치 값들을 더한다. 예를 들어, 입력 1 (O₁) 및 입력 2(O₂)가 입력되고 좌측채널(L), 센터채널(C), 우측채널(R)에 대응하는 채널이 출력되는 경우, 총 가중치 값들은 α_L(tot),α_{C(tot) ,}α_R(tot)은 다음과 같이 획득될 수 있다.

[수학식 15]

여기서,α_L1은 좌측 채널(L)에 매핑되는 입력 1에 대한 가중치 값이고, α_C1은 센터 채널(C)에 매핑되는 입력 1에 대한 가중치 값이고, α_C2은 센터 채널(C)에 매핑되는 입력 2에 대한 가중치 값이고, α_R2은 우측 채널(R)에 매핑되는 입력 2에 대한 가중치 값.

이 경우, 입력 1만이 좌측 채널로 매핑되고, 입력 2만이 우측 채널로 매핑되고, 입력 1 및 입력 2가 함께 센터 채널로 매핑된다.

2) 특정 채널에 매핑되는 모든 입력에 대한 가중치 값들을 더하고, 그 합을 가장 도미넌트한 채널 쌍(pair)으로 나누고, 디코릴레이팅된 신호를 서라운드 효과 를 위해 다른 채널에 매핑한다. 이 경우, 특정 입력이 좌측 및 센터 사이에 위치하는 경우, 도미넌트 채널 쌍은 좌측 채널 및 센터 채널에 해당할 수 있다.

3) 가장 도미넌트한 채널의 가중치 값을 추정하고, 감쇄된 코릴레이트 신호를 다른 채널을 부여하는데, 여기서 이 값은 추정된 가중치 값의 상대적인 값이다.

4) 각 채널 상의 가중치 값을 이용하여, 디코릴레이팅된 신호를 적절히 조합한 후, 각 채널에 대한 부가정보를 설정한다.

1.3.2. 다운믹스 처리 유닛이 2x4 매트릭스에 대응하는 믹싱 파트를 포함하는 경우

도 10A 내지 도 10C는 도 7에 도시된 다운믹스 처리 유닛의 제1 실시예의 예시적인 구성도들이다. 앞서 언급한 바와 같이, 다운믹스 처리 유닛의 제1 실시예(720a)(이후, 간단히 다운믹스 처리 유닛(720a))는 렌더링 모듈(900)의 구현일 수 있다.

우선,

및

을 가정하면, 상기 수학식 12는 다음과 같이 간단해진다.

[수학식 15]

상기 수학식 15에 따른 다운믹스 처리 유닛은 도 10A에 도시되어 있다. 도 10A를 참조하면, 다운믹스 처리 유닛(720a)은 모노 입력 신호(m)인 경우에 입력 신호를 바이패스하고, 스테레오 입력 신호(L, R)인 경우에 입력 신호를 프로세싱할 수 있다. 다운믹스 처리 유닛(720a)은 디코릴레이팅 파트(722a) 및 믹싱 파트(724a)를 포함할 수 있다. 디코릴레이팅 파트(722a)는 입력 신호를 디코릴레이팅할 수 있는 디코릴레이터 aD와 디코릴레이터 bD를 포함한다. 디코릴레이팅 파트(722a)는 2x2 매트릭스에 해당할 수 있다. 믹싱 파트(724a)는 입력 신호 및 디코릴레이팅 신호를 각 채널에 매핑시킬 수 있다. 믹싱 파트(724a)는 2x4 매트릭스에 해당할 수 있다.

둘째로,

,

를 가정하면, 수학식 12는 다음과 같이 간단해진다.

[수학식 15-2]

수학식 15-2에 따른 다운믹스 처리 유닛은 도 10B에 도시되어 있다. 도 10B를 참조하면, 두 개의 디코릴레이터 D₁, D₂를 포함하는 디코릴레이팅 파트 722’는 디코릴레이터 신호들 D₁(a*O₁+b*O₂), D₂(c*O₁+d*O₂)를 생성할 수 있다.

셋째,

,

, 및

을 가정하면, 수학식 12는 다음과 간단해진다.

[수학식 15-3]

수학식 15-3에 따른 다운믹스 처리 유닛이 도 10C에 도시되어 있다. 도 10C를 참조하면, 두 디코릴레이터 D₁, D₂를 포함하는 디코릴레이팅 파트(722")는 디코릴레이팅된 신호 D₁(O₁), D₂(O₂)를 생성할 수 있다.

1.3.2 다운믹스 처리 유닛이 2x3 매트릭스에 대응하는 믹싱 파트를 포함하는 경우

상기 수학식 15는 다음과 같이 표현될 수 있다.

[수학식 16]

매트릭스 R은 2x3은 매트릭스, 매트릭스 O는 3x1 매트릭스, C는 2x1 매트릭스

도 11은 도 7에 도시된 다운믹스 처리 유닛의 제2 실시예의 예시적인 구성도이다. 앞서 언급한 바와 같이, 다운믹스 처리 유닛의 제2 실시예(720b)(이하, 간단 히 다운믹스 처리 유닛(720b))는 다운믹스 처리 유닛(720a)과 마찬가지로 렌더링 모듈(900)의 구현이 될 수 있다. 도 11을 참조하면, 다운믹스 처리 유닛(720b)은 모노 입력 신호(m)인 경우, 입력신호를 스킵하고 스테레오 입력신호(L, R)의 경우 입력 신호를 프로세싱할 수 있다. 다운믹스 처리 유닛(720b)은 디코릴레이팅 파트(722b) 및 믹싱 파트(724b)를 포함할 수 있다. 디코릴레이팅 파트(722b)는 입력 신호 O₁, O₂를 디코릴레이팅하고 디코릴레이팅된 신호 D(O₁+O₂)를 출력할 수 있는 디코릴레이터 D를 갖는다. 디코릴레이팅 파트(722b)는 1x2 매트릭스에 해당할 수 있다. 믹싱 파트(724b)는 입력 신호 및 디코릴레이팅된 신호를 각 채널에 매핑할 수 있다. 믹싱 파트(724b)는 수학식 16에 표현된 매트릭스 R로서 표현된 2x3 매트릭스에 해당할 수 있다.

나아가, 디코릴레이팅 파트(722b)는 두 입력 신호(O₁,O₂)의 공통 신호로서 차 신호(O₁-O₂)를 디코릴레이팅할 수 있다. 믹싱 파트(724b)는 입력 신호 및 디코릴레이팅된 공통 신호를 각 채널에 매핑할 수 있다.

1.3.3 다운믹스 처리 유닛이 몇 개의 매트릭스를 갖는 믹싱 파트를 포함하는 경우

특정 오브젝트 신호는 특정 위치에 위치하지 않고 어느 곳에서나 비슷한 영향으로서 들릴 수 있는데, 이를 '공간 음향 신호(spatial sound signal)'라고 불린다. 예를 들어 콘서트 홀의 박수 또는 소음이 공간 음향 신호의 예가 될 수 있다. 공간 음향 신호는 모든 스피커를 통해 재생될 필요가 있다. 만약 공간 음향 신호가 모든 스피커들을 통해서 동일한 신호로서 재생되는 경우, 높은 상호 관련성(inter-correlation)(IC) 때문에 신호의 공간감(spatialness)을 느끼기 어렵다. 따라서, 디코릴레이팅된 신호를 각 채널 신호의 신호에 추가할 필요가 있다.

도 12는 도 7에 도시된 다운믹스 처리 유닛의 제3 실시예의 예시적인 구성도이다. 도 12를 참조하면, 다운믹스 처리 유닛의 제3 실시예(720c)(이하, 간단히 다운믹스 처리 유닛(720c)은 입력 신호 O_i를 이용하여 공간 음향 신호를 생성할 수 있는데, 다운믹스 처리 유닛은 N개의 디코릴레이터를 갖는 디코릴레이팅 파트(722c) 및, 믹싱 파트(724c)를 포함할 수 있다. 디코릴레이팅 파트(722c)는 입력 신호 O_i를 디코릴레이팅할 수 있는 N개의 디코릴레이터 D₁, D₂, …, D_N을 포함할 수 있다. 믹싱 파트(724c)는 입력 신호 O_i및 디코릴레이팅된 신호 D_X(O_i)를 이용하여 출력 신호 C_j, C_k, …, C_l를 생성할 수 있는 N 매트릭스 R_j, R_k, …, R_l를 포함할 수 있다. 매트릭스 R_j은 다음 수학식과 같이 표현될 수 있다.

[수학식 17]

여기서, O_i는 i번째 입력 신호, R_j는 i번째 입력 신호 O_i가 j번째 채널에 매 핑되는 매트릭스, C_{j_i}는 는 j번째 출력 신호. θ_{j_i}값은 디코릴레이션 비율(rate).

θ_{j_i}값은 멀티채널 파라미터에 포함된 ICC를 기초로 하여 추정될 수 있다. 나아가 믹싱 파트(724c)는 정보 생성 유닛(710)을 통해 유저 인터페이스로부터 수신된 디코릴레이션 비율 θ_{j_i}을 구성하는 공간감 정보(spatialness)를 기반으로 하여 출력 신호를 생성할 수 있으나, 본 발명은 이에 한정되지 아니한다.

디코릴레이터의 수(N)는 출력 채널의 수와 동일할 수 있다. 한편으로는, 디코릴레이팅된 신호는 유저에 의해 선택된 출력 채널에 추가될 수 있다. 예를 들어, 공간 음향 신호를 좌측, 우측, 센터에 위치시키고, 좌측 채널 스피커를 통해 공간 음향 신호로서 출력할 수 있다.

1.3.4 다운믹스 처리 유닛이 추가 다운믹싱 파트(further downmixing part)를 포함하는 경우

도 13은 도 7에 도시된 다운믹스 처리 유닛의 제4 실시예의 예시적인 구성도이다. 다운믹스 처리 유닛의 제4 실시예(720d)(이하, 약칭하여 다운믹스 처리 유닛(720d))는 입력 신호가 모노 신호(m)가 해당하는 경우, 바이패스할 수 있다. 다운믹스 처리 유닛(720d)은 입력 신호가 스테레오 신호에 해당하는 경우 다운믹스 신호를 모노 신호로 다운믹스할 수 있는 추가 다운믹싱 파트(722d)를 포함할 수 있다. 추가로 다운믹스된 모노 채널(m)은 멀티채널 디코더(730)로 입력되어 사용될 수 있다. 멀티채널 디코더(730)는 모노 입력 신호를 이용하여 오브젝트 패닝(특히, 크로스 토크)을 제어할 수 있다. 이 경우, 정보 생성 유닛(710)은 MPEG surround 표준의 5-1-5₁ 구성을 기반으로 멀티채널 파라미터를 생성할 수 있다.

나아가, 상기 언급된 도 2의 임의적 다운믹스 게인(ADG)과 같이 모노 다운믹스에 대한 게인이 적용되면, 오브젝트 패닝 및 오브젝트 게인을 보다 쉽게 제어하는 것이 가능하다. ADG는 믹스 정보를 기반으로 하여 정보 생성 유닛(710)에 의해 생성될 수 있다.

2. 채널 신호의 업믹싱 및 오브젝트 신호의 제어

도 14는 본 발명의 제2 실시예에 따른 압축된 오디도 신호의 비트스트림의 구조의 예시적인 구성도이다. 도 15는 본 발명의 제2 실시예에 따른 오디오 신호 처리 장치의 예시적인 구성도이다. 도 14의 (a)를 참조하면, 다운믹스 신호(α), 멀티채널 파라미터(β), 오브젝트 파라미터(γ)가 비트스트림의 구성에 포함되어 있다. 멀티채널 파라미터(β)는 다운믹스 신호를 업믹싱하기 위한 파라미터이다. 한편, 오브젝트 파라미터(γ)는 오브젝트 패닝 및 오브젝트 게인을 제어하기 위한 파라미터이다. 도 14의 (b)를 참조하면, 다운믹스 신호(α), 디폴트 파라미터(β'), 오브젝트 파라미터(γ)가 비트스트림에 포함되어 있다. 디폴트 파라미터(β')는 오브젝트 게인 및 오브젝트 패닝을 제어하기 위한 프리셋 정보를 포함할 수 있다. 프리셋 정보는 인코더 측의 제작자에 의해 제안된 예에 해당할 수 있다. 예를 들어, 기타(guitar) 신호가 좌측 및 우측간의 지점에 위치하고, 기타의 레벨이 특정 볼륨으로 설정되고, 이 시간에 출력 채널의 수가 특정 채널로 셋팅되는 것을 프 리셋 정보가 기술할 수 있다. 각 프레임 또는 특정 프레임에 대한 디폴트 파라미터가 비트스트림에 존재할 수 있다. 이 프레임에 대한 디폴트 파라미터가 이전 프레임의 디폴트 파라미터와 다른지 여부를 지시하는 플래그 정보가 비트스트림에 존재할 수 있다. 비트스트림에 디폴트 파라미터를 포함함으로써, 오브젝트 파라미터를 갖는 부가 정보가 비트스트림에 포함되는 것보다 적은 비트 레이트가 소요될 수 있다. 나아가, 비트스트림의 헤더 정보는 도 14에서 생략되었다. 비트스트림의 순서는 다시 정렬될 수 있다.

도 15를 참조하면, 본 발명의 제2 실시예에 따른 오디오 신호 처리 장치(1000)(이하, 간단히 디코더(1000))는 비트스트림 디멀티플렉서(1005), 정보 생성 유닛(1010), 다운믹스 처리 유닛(1020), 및 멀티채널 디코더(1030)를 포함할 수 있다. 디멀티플렉서(1005)는 멀티플렉싱된 오디오 신호를 다운믹스 신호(α), 제1 멀티채널 파라미터(β), 오브젝트 파라미터(γ)로 분리할 수 있다. 정보 생성 유닛(1010)은 오브젝트 파라미터(γ) 및 믹스 파라미터를 이용하여 제2 멀티채널 파라미터를 생성할 수 있다. 믹스 파라미터는 제1 멀티채널 정보(β)가 프로세싱된 다운믹스에 적용될지 여부를 지시하는 모드 정보를 포함한다. 모드 정보는 사용자가 선택하기 위한 정보에 해당할 수 있다. 모드 정보에 따라서, 정보 생성 정보(1020)는 제1 멀티채널 파라미터(β) 아니면 제2 멀티채널 파라미터를 전송할지 여부를 결정한다.

다운믹스 처리 유닛(1020)은 믹스 정보에 포함된 모드 정보에 따라서 프로세싱 방식을 결정할 수 있다. 나아가 다운믹스 처리 유닛(1020)은 결정된 프로세싱 방식에 따라서 다운믹스(α)를 프로세싱할 수 있다. 그리고 다운믹스 처리 유닛(1020)은 프로세싱된 다운믹스를 멀티채널 디코더(1030)에 전달한다.

멀티채널 디코더(1030)는 제1 멀티채널 파라미터(β) 또는 제2 멀티채널 파라미터를 수신할 수 있다. 디폴트 파라미터(β')가 비트스트림에 포함된 경우에는 멀티채널 디코더(1030)는 멀티채널 파라미터(β) 대신에 디폴트 파라미터(β')를 이용할 수 있다.

멀티채널 디코더(1030)는 프로세싱된 다운믹스 신호 및 수신된 멀티채널 파라미터를 이용하여 멀티채널 출력을 생성한다. 멀티채널 디코더(1030)는 앞서 설명한 멀티채널 디코더(730)와 동일한 구성을 가질 수 있지만, 본 발명은 이에 한정되지 아니한다.

3. 바이노럴 프로세싱

멀티채널 디코더는 바이노럴 모드에서 동작할 수 있다. 이는, 머리 전달 함수(Head Related Transfer Function)(HRTF) 필터링에 의하여 헤드폰에서 멀티채널 효과를 가능하게 한다. 바이노럴 디코딩 측에서, 다운믹스 신호 및 멀티채널 파라미터는 디코더에 제공되는 HRTF 필터와 조합하여 사용된다.

도 16은 본 발명의 제3 실시예에 따른 오디오 신호 처리 장치의 예시적인 구성도이다. 도 16을 참조하면, 오디오 신호 처리 장치의 제3 실시예(이하, 간단히 디코더(1100))는 정보 생성 유닛(1110), 다운믹스 처리 유닛(1120), 및 싱크 매칭 파트(1130a)를 갖는 멀티채널 디코더(1130)를 포함할 수 있다.

정보 생성 유닛(1110)은 동적 HRTF를 생성하고, 도 7의 정보 생성 유닛(710)의 동일한 구성을 가질 수 있다. 다운믹스 처리 유닛(1120)은 도 7의 다운믹스 처리 유닛(720)과 동일한 구성을 가질 수 있다. 상기 구성요소와 마찬가지로, 싱크 매칭 파트(1130a)를 제외한 멀티채널 디코더(1130)는 앞의 구성요소와 동일한 경우이다. 따라서, 정보 생성 유닛(1110), 및 다운믹스 처리 유닛(1120), 및 멀티채널 디코더(1130)의 구체적인 설명은 생략하고자 한다.

동적 HRTF는 HRTF 방위(azimuth) 및 앙각(elevation angles)에 대응하는, 오브젝트 신호 및 가상 스피커 신호간의 관계를 기술하는데, 이는 실시간 유저 컨트롤에 대응하는 시간 종속(time dependent) 정보이다.

멀티채널 디코더가 HRTF 필터 셋 전체를 포함하는 경우, 동적 HRTF는 HRTF 필터 계수 그 자체, 파라미터화된 계수 정보, 및 인덱스 정보 중 하나에 해당할 수 있다.

동적 HRTF의 종류와 상관없이 동적 HRTF 정보는 다운믹스 프레임과 매칭될 할 필요가 있다. HRTF 정보와 다운믹스 신호가 매칭되기 위해서, 다음과 같은 세 가지 방식이 제공될 수 있다.

1) 각 HRTF 정보 및 비트스트림 다운믹스 신호에 태그 정보를 삽입하고, 상기 삽입된 태그 정보를 근거로 HRTF에 비트스트림 다운믹스 신호를 매칭시킨다. 이 방식에서, 태그 정보는 MPEG surround 표준에서의 앤실러리 필드(ancillary filed)에 삽입되는 것이 바람직하다. 태그 정보는 시간 정보, 계수기(counter) 정보, 인덱스 정보 등으로 표현될 수 있다.

2) HRTF 정보를 비트스트림의 프레임에 삽입한다. 이 방식에서, 현재 프레임이 디폴트 모드에 해당하는지 아닌지를 지시하는 모드 정보를 설정하는 것이 가능하다. 현재 프레임의 HRTF 정보가 이전 프레임의 HRTF 정보가 동일한지를 나타내는 디폴트 모드가 적용되면, HRTF 정보의 비트레이트를 줄일 수 있다.

2-1) 나아가, 현재 프레임의 HRTF 정보가 이미 전송되었는지 여부를 나타내는 전송 정보(transmission information)를 정의하는 것이 가능하다. 만약 현재 프레임의 HRTF 정보가 전송된 HRTF 정보와 동일한지 여부를 지시하는 전송정보가 적용되는 경우, HRTF 정보의 비트레이트를 줄일 수 있다.

2-2) 우선 몇 개의 HRTF 정보를 전송한 후, 이미 전송된 HRTF 중에서 어떤 HRTF인지 지시하는 식별 정보를 프레임마다 전송한다.

나아가 HRTF 계수가 갑자기 변하는 경우, 왜곡이 발생될 수 있다. 이 왜곡을 줄이기 위해서, 계수 또는 렌더링된 신호의 스무딩을 수행하는 것이 바람직하다.

4. 렌더링

도 17은 본 발명의 제4 실시예에 따른 오디오 처리 장치의 예시적인 구성도이다. 제4 실시예에 따른 오디오 신호 처리 장치(1200)(이하, 약칭하여 프로세서(1200)는 인코더측(1200A)에서 인코더(1210)를 포함하고, 디코더측(1200B)에서 렌더링 유닛(1220) 및 합성 유닛(1230)을 포함할 수 있다. 인코더(1210)는 멀티채널 오브젝트 신호를 수신하고, 오디오 신호의 다운믹스 신호 및 부가 정보를 생성할 수 있다. 렌더링 유닛(1220)은 인코더(1210)로부터 부가 정보를, 장치 설정 또 는 유저 인터페이스로부터 재생 환경 및 유저 컨트롤을 수신하고, 부가 정보, 재생 환경, 유저 컨트롤을 이용하여 렌더링 정보를 생성한다. 합성 유닛(1230)은 렌더링 정보 및 인코더(1210)로부터 수신된 다운믹스 신호를 이용하여 멀티채널 출력 신호를 합성한다.

4.1 효과 모드(effect mode) 적용

효과 모드(effect mode)는 리믹스된 신호 또는 복원된 신호에 대한 모드이다. 예를 들어, 라이브 모드(live mode), 클럽 밴드(club band mode), 노래방 모드(karaoke mode) 등이 존재할 수 있다. 효과 모드 정보는 제작자 또는 다른 유저에 의해 생성된 믹스 파라미터 셋에 해당할 수 있다. 효과 모드 정보가 적용되면, 유저가 미리 정의된 효과 모드 정보들 중에서 하나를 선택할 수 있기 때문에 최종 사용자는 전체적으로 오브젝트 패닝 및 오브젝트 게인을 제어할 필요가 없다.

효과 모드 정보를 생성하는 두 가지 방법은 구별될 수 있다. 우선, 효과 모드 정보는 인코더(1200A)에서 생성하고 디코더(1200B)에 전송되는 것이 가능하다. 둘째로, 효과 모드 정보는 디코더 측에서 자동적으로 생성될 수 있다. 이 두 가지 방식은 이하에서 상세히 설명될 것이다.

4.1.1 효과 모드 정보를 디코더 측으로 전송

효과 모드 정보는 제작자에 의해 인코더(1200A)에서 생성될 수 있다. 이 방법에 따르면, 디코더(1200B)는 효과 모드 정보를 포함하는 부가 정보를 수신하고, 사용자가 효과 모드 정보들 중 하나를 선택할 수 있는 유저 인터페이스를 출력한다. 디코더(1200B)는 선택된 효과 모드 정보를 기반으로 출력 채널을 생성할 수 있 다.

한편, 인코더(1200A)가 오브젝트 신호의 품질을 높이기 위해서 신호를 다운믹스하는 경우, 청취자가 다운믹스 신호를 있는 그대로 듣는 것은 적절치 않다. 그러나, 효과 모드 정보가 디코더(1200B)에서 적용되면, 최대 품질로서 다운믹스 신호를 재생하는 것이 가능하다.

4.1.2 효과 정보를 디코더 측에서 생성

효과 모드 정보가 디코더(1200B)에서 생성될 수 있다. 디코더(1200B)는 다운믹스 신호에 대해 적절한 효과 모드 정보를 검색할 수 있다. 그리고 디코더(1200B)는 검색된 효과 모드들 중에서 스스로 하나를 선택하거나(자동 조절 모드:automatic adjustment mode), 그 모드들 중에서 하나를 유저에게 선택하도록 할 수 있다(유저 선택 모드:user selection mode). 디코더(1200B)는 부가 정보에 포함된 오브젝트 정보(오브젝트의 수, 악기 이름 등)를 획득하고, 선택된 효과 모드 정보 및 오브젝트 정보를 근거로 오브젝트를 제어할 수 있다.

한편, 유사한 오브젝트를 일괄적으로 제어하는 것이 가능하다. 예를 들어, 리듬에 관련된 악기들은 리듬 강조 모드(rhythm impression mode)의 경우에, 서로 유사한 오브젝트가 될 수 있다. 일괄적으로 제어한다는 것은, 동일한 파라미터를 이용하여 오브젝트를 제어하기 보다는, 각 오브젝트를 동시에 제어하는 것을 의미한다.

한편, 디코더 설정 또는 장치 환경(헤드폰 또는 스피커 포함)을 기반으로 오브젝트를 제어할 수 있다. 예를 들어, 장치의 볼륨 설정이 낮은 경우, 메일 멜로디 에 해당하는 오브젝트가 강조될 수 있고, 장치의 볼륨 설정이 높을 경우, 메인 멜로디에 해당하는 오브젝트는 억압될 수 있다.

4.2 인코더에서의 입력 신호의 오브젝트 타입

인코더(1200A)에 입력되는 입력신호는 다음 3가지로 분류될 수 있다.

1) 모노 오브젝트(모도 채널 오브젝트)

모노 오브젝트는 오브젝트의 일반적인 타입이다. 오브젝트들을 단순히 합함으로써 내부 다운믹스 신호를 합성하는 것이 가능하다. 유저 컨트롤 및 제공된 정보 중 하나가 될 수 있는 오브젝트 게인 및 오브젝트 패닝을 이용하여 내부 다운믹스 신호를 합성하는 것도 가능하다. 내부 다운믹스 신호를 생성하는 데 있어서, 오브젝트 특성, 유저 입력, 오브젝트와 함께 제공된 정보 중 하나 이상을 이용하여 렌더링 정보를 생성하는 것도 가능하다.

외부 다운믹스 신호가 존재하는 경우, 외부 다운믹스 및 오브젝트간의 관계를 지시하는 정보를 추출하여 전송할 수 있다.

2) 스테레오 오브젝트 (스테레오 채널 오브젝트)

상기 모노 오브젝트 경우와 마찬가지로, 오브젝트들을 단순히 합함으로써 내부 다운믹스 신호를 합성하는 것이 가능하다. 유저 컨트롤 및 제공된 정보 중하나가 될 수 있는 오브젝트 게인 및 오브젝트 패닝을 이용하여 내부 다운믹스 신호를 합성하는 것도 가능하다. 다운믹스 신호가 모노 신호에 해당하는 경우, 인코더(1200A)는 다운믹스 신호를 생성하기 위해 모노 신호로 컨버팅된 오브젝트를 이용하는 것이 가능하다. 이 경우, 모노 신호로 변환하는 데 있어서, 오브젝트와 관 련된 정보(예: 각 시간-주파수 도메인에서의 패닝 정보)를 추출하고 전달할 수 있다. 앞의 모노 오브젝트와 마찬가지로, 내부 다운믹스 신호를 생성하는데 있어서, 오브젝트 특성, 유저 입력, 및 오브젝트와 함께 제공된 정보 중 하나 이상을 이용하여 렌더링 정보를 생성하는 것도 가능하다. 상기 모노 오브젝트와 마찬가지로, 외부 다운믹스가 존재하는 경우, 외부 다운믹스 및 오브젝트 간의 관계를 지시하는 정보를 추출하여 전달하는 것도 가능하다.

3) 멀티채널 오브젝트

멀티채널 오브젝트의 경우, 모노 오브젝트 및 스테레오 오브젝트와 함께 앞서 언급된 방법을 수행할 수 있다. 한편, MPEG surround의 형태로서 멀티채널 오브젝트를 입력하는 것이 가능하다. 이 경우, 오브젝트 다운믹스 채널을 이용하여 오브젝트 기반의 다운믹스(ex: SAOC 다운믹스)를 생성하는 것이 가능하고, 멀티채널 정보 및 렌더링 정보를 생성하기 위해 멀티채널 정보(예: MPEG Surround의 공간 정보)를 이용하는 것이 가능하다. 따라서 MPEG surround의 형태로서 존재하는 멀티채널 오브젝트는 오브젝트 기반의 다운믹스(ex: SAOC 다운믹스)를 이용하여 디코딩되거나 인코딩될 필요가 없기 때문에, 연산량을 줄이는 것이 가능하다. 오브젝트 다운믹스가 스테레오에 해당하고, 오브젝트 기반 다운믹스(SAOC 다운믹스)가 모노에 해당하는 경우, 스테레오 오브젝트와 함께 상기 언급된 방법을 적용하는 것이 가능하다.

4) 다양한 타입의 오브젝트에 대한 전송 방식

앞서 기술한 바와 같이, 다양한 타입의 오브젝트(모노 오브젝트, 스테레오 오브젝트, 및 멀티채널 오브젝트)는 인코더(1200A)에서 디코더(1200B)로 전송된다. 다양한 타입의 오브젝트를 전송하는 방식은 다음과 같이 제공될 수 있다.

도 18을 참조하면, 다운믹스가 복수의 오브젝트를 포함할 때, 부가 정보는 각 오브젝트에 대한 정보를 포함한다. 예를 들어, 복수의 오브젝트가 N번째 모노 오브젝트(A), N+1번째 오브젝트의 좌측 채널(B), N+1번째 오브젝트의 우측 채널(C)로 구성되는 경우, 부가 정보는 3개의 오브젝트들(A,B,C)에 대한 오브젝트를 포함한다.

상기 부가 정보는 오브젝트가 스테레오 또는 멀티채널의 오브젝트의 일부분(예를 들어, 모노 오브젝트, 스테레오 오브젝트의 하나의 채널(L 또는 R), 등)인지 여부를 나타내는 상관성 플래그 정보(correlation flag information)을 포함할 수 있다. 예를 들어, 모노 오브젝트가 존재하는 경우 상관성 플래그 정보가 0이고, 스테레오 오브젝트의 하나의 채널이 존재하는 경우, 상관성 플래그 정보가 1일이다. 스테레오 오브젝트의 하나의 부분과 스테레오 오브젝트의 다른 부분이 연이어서 전송되는 경우, 스테레오 오브젝트의 다른 부분에 대한 상관성 정보는 어떤 값(ex: 0, 1, or 기타)이 될 수 있다. 나아가, 스테레오 오브젝트의 다른 파트에 대한 상관성 플래그 정보는 전송되지 않을 수 있다.

나아가, 멀티채널 오브젝트의 경우, 멀티채널 오브젝트의 하나의 파트에 대한 상관성 플래그 정보는 멀티채널 오브젝트의 개수를 기술하는 값일 수 있다. 예를 들어, 5.1 채널 오브젝트의 경우, 5.1 채널의 좌측 채널에 대한 상관성 정보는 '5'가 될 수 있고, 5.1 채널의 다른 채널(R, Lr, Rr, C, LFE)에 대한 상관성 정보 는 '0'이 되거나 전송되지 않을 수 있다.

4.3 오브젝트 속성

오브젝트는 다음과 같은 세 가지 종류의 속성을 가질 수 있다.

a) 싱글 오브젝트(single object)

싱글 오브젝트는 소스로서 구성될 수 있다. 다운믹스 신호를 생성하거나 재생하는데 있어서 오브젝트 패닝 및 오브젝트 게인을 제어하기 위해, 하나의 파라미터가 싱글 오브젝트에 적용될 수 있다. 상기 '하나의 파라미터'란, 모든 시간 및 주파수 도메인에 하나라는 것뿐만 아니라, 각 시간 주파수 슬롯에 하나의 파라미터임을 의미한다.

b) 그룹핑된 오브젝트(grouped object)

싱글 오브젝트는 둘 이상의 소스로 구성될 수 있다. 그룹핑된 오브젝트가 둘 이상의 소스로서 입력될지라도, 오브젝트 패닝 및 오브젝트 게인을 제어하기 위해 그룹핑된 오브젝트에 대해 하나의 파라미터가 적용될 수 있다. 그룹핑된 오브젝트에 대한 구체적인 설명은 도 19와 함께 기술될 것이다. 도 19를 참조하면, 인코더(1300)는 그룹핑 유닛(1310) 및 다운믹스 유닛(1320)을 포함한다. 그룹핑 유닛(1310)은 그룹핑 정보를 근거로 하여, 입력된 멀티 오브젝트 입력들 중에서 둘 이상의 오브젝트를 그룹핑한다. 그룹핑 정보는 인코더 측에서 제작자에 의해 생성될 수 있다. 상기 다운믹스 유닛(1320)은 그룹핑 유닛(1310)에 의해 생성된 그룹핑된 오브젝트를 이용하여 다운믹스 신호를 생성한다. 다운믹스 유닛(132)은 그룹핑된 오브젝트에 대한 부가 정보를 생성할 수 있다.

c) 조합 오브젝트(combination object)

조합 오브젝트는 하나 이상의 소스와 조합된 오브젝트이다. 조합된 오브젝트간의 관계는 변화시키지 않으면서, 오브젝트 패닝 및 오브젝트 게인을 일괄적으로(in a lump)로 제어하는 것이 가능하다. 예를 들어, 드럼의 경우, 베이스 드럼(base drum) 북(탬-탬)(tam-tam), 심볼(symbol)간의 관계를 변화시키지 않고, 드럼을 제어하는 것이 가능하다. 예를 들어, 베이스 드럼이 중앙에 위치하고, 심벌이 좌측 지점에 위치할 때, 드럼이 우측 방향으로 이동되는 경우, 베이스 드럼은 우측 지점에 위치시키고, 심벌은 중앙과 우측의 중간 지점에 위치시키는 것이 가능하다.

조합된 오브젝트간의 관계 정보는 디코더에 전송될 수 있다. 한편으로, 디코더는 조합 오브젝트를 이용하여 상기 관계 정보를 추출할 수 있다.

4.4 계층적으로 오브젝트를 제어

오브젝트를 계층적으로 제어하는 것이 가능하다. 예를 들어 드럼을 제어한 후에, 드럼의 각 서브-엘리먼트(sub-element)를 제어할 수 있다. 계층적으로 오브젝트를 제어하기 위해서, 다음 세 가지 방식이 제공된다.

a) UI(유저 인터페이스)

모든 오브젝트를 디스플레이하지 않고, 대표적인 엘리먼트만 디스플레이될 수 있다. 만약 유저에 의해 대표 엘리먼트가 선택되면, 모든 오브젝트가 디스플레이된다.

b) 오브젝트 그룹핑

대표 엘리먼트를 나타내기 위해 오브젝트들을 그룹핑 한 후에, 대표 엘리먼 트로서 그룹핑된 모든 오브젝트를 제어하기 위해서 대표 엘리먼트를 제어하는 것이 가능하다. 그룹핑하는 과정에서 추출된 정보는 디코더에 전송될 수 있다. 또한, 그룹핑 정보가 디코더에서 생성될 수도 있다. 일괄적으로 제어 정보를 적용하는 것은 각 엘리먼트에 대한 미리 결정된 제어 정보를 근거로 수행될 수 있다.

c) 오브젝트 구성(configuration)

앞서 설명된 조합 오브젝트를 이용하는 것이 가능하다. 조합 오브젝트에의 엘리먼트에 관한 정보는 인코더 또는 디코더에서 생성될 수 있다. 인코더에서의 엘리먼트에 관한 정보는 조합 오브젝트에 관한 정보로와는 다른 방식으로서 전송될 수 있다.

본 발명은 다음과 같은 효과와 이점이 제공된다.

우선, 본 발명은 오브젝트 게인 및 패닝을 제한없이 제어할 수 있는 오디오 신호 처리 방법 및 장치를 제공할 수 있다.

둘째, 본 발명은 유저 선택을 기반으로 오브젝트 게인 및 패닝을 제어할 수 있는 오디오 신호 처리 방법 및 장치를 제공할 수 있다.

본 발명은 오디오 신호를 인코딩 및 디코딩하는데 적용될 수 있다.

Claims

하나 이상의 오브젝트를 포함하는 다운믹스 신호를 수신하는 단계;

상기 다운믹스 신호가 생성될 때 결정된 오브젝트 정보를 수신하는 단계;

오브젝트 신호를 제어하기 위한 믹스 정보를 수신하는 단계; 및,

상기 다운믹스 신호가 모노 신호인 경우, 다운믹스 프로세싱 정보를 이용한 다운믹스 신호의 프로세싱을 바이패스하는 단계;

상기 다운믹스 신호가 상기 모노 신호인 경우, 상기 오브젝트 정보 및 상기 믹스 정보를 이용하여, 하나 이상의 게인 변형 팩터를 포함하는 멀티채널 정보를 생성하는 단계를 포함하고,

상기 게인 변형 팩터는 상기 다운믹스 신호의 게인을 제어하기 위한 시간 및 서브밴드별로 변화하는 팩터에 해당하고,

상기 다운믹스 프로세싱 정보는, 상기 오브젝트 정보 및 상기 믹스 정보를 근거로 생성된 것이고,

상기 오브젝트 정보는 오브젝트 레벨 정보 및 오브젝트 상관 정보 중 하나 이상을 포함하고,

상기 멀티채널 정보는 상기 다운믹스 신호를 멀티채널 신호로 업믹싱하기 위한 정보이고,

상기 멀티채널 신호의 채널 수는 상기 다운믹스 신호의 채널 수보다 많은 것을 특징으로 하는 오디오 신호 처리 방법.
삭제
제 1 항에 있어서,

상기 게인 변형 팩터는, 상기 믹스 정보 및 상기 오브젝트 정보를 이용하여 계산된 제1 게인, 및 상기 오브젝트 정보를 이용하여 계산된 제2 게인간의 비율을 나타내는 것을 특징으로 하는 오디오 신호 처리 방법.
제 1 항에 있어서,

상기 게인 변경 팩터를 포함하는 상기 멀티채널 정보에 대한 비트스트림인 멀티채널 비트스트림을 생성하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
제 1 항에 있어서,

상기 다운믹스 신호가 스테레오 채널인 경우, 상기 오브젝트 정보 및 상기 믹스 정보를 이용하여 다운믹스 프로세싱 정보를 생성하는 단계;

프로세싱된 다운믹스 신호를 생성하기 위해, 상기 다운믹스 프로세싱 정보를 이용하여 상기 다운믹스 신호를 프로세싱하는 단계를 더 포함하고,

상기 다운믹스 신호의 채널 수 및 상기 프로세싱된 다운믹스 신호의 채널 수가 동일한 것을 특징으로 하는 오디오 신호 처리 방법.
제 1 항에 있어서,

상기 믹스 정보는 오브젝트 위치 정보 및 재생 환경 정보 중 하나 이상을 이용하여 생성된 것임을 특징으로 하는 오디오 신호 처리 방법.
제 1 항에 있어서,

상기 다운믹스 신호는 방송 신호를 통해 수신된 것임을 특징으로 하는 오디오 신호 처리 방법.
제 1 항에 있어서,

상기 다운믹스 신호는 디지털 매체를 통해 수신된 것임을 특징으로 하는 오디오 신호 처리 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
하나 이상의 오브젝트를 포함하는 다운믹스 신호를 수신하는 단계;

상기 다운믹스 신호가 생성될 때 결정된 오브젝트 정보를 수신하는 단계;

오브젝트 신호를 제어하기 위한 믹스 정보를 수신하는 단계; 및,

상기 다운믹스 신호가 모노 신호인 경우, 다운믹스 프로세싱 정보를 이용한 다운믹스 신호의 프로세싱을 바이패스하는 단계;

상기 다운믹스 신호가 상기 모노 신호인 경우, 상기 오브젝트 정보 및 상기 믹스 정보를 이용하여, 하나 이상의 게인 변형 팩터를 포함하는 멀티채널 정보를 생성하는 단계를 포함하고,

상기 게인 변형 팩터는 상기 다운믹스 신호의 게인을 제어하기 위한 시간 및 서브밴드별로 변화하는 팩터에 해당하고,

상기 다운믹스 프로세싱 정보는, 상기 오브젝트 정보 및 상기 믹스 정보를 근거로 생성된 것이고,

상기 오브젝트 정보는 오브젝트 레벨 정보 및 오브젝트 상관 정보 중 하나 이상을 포함하고,

상기 멀티채널 정보는 상기 다운믹스 신호를 멀티채널 신호로 업믹싱하기 위한 정보이고,

상기 멀티채널 신호의 채널 수는 상기 다운믹스 신호의 채널 수보다 많고,

프로세서가 실행될 때, 상기 프로세서에 의해 상기 동작이 수행되는 명령이 저장되어 있는, 컴퓨터로 읽을 수 있는 매체.
삭제
하나 이상의 오브젝트가 다운믹스 신호로 다운믹스될 때 결정된 오브젝트 정보 및, 오브젝트 신호를 제어하기 위한 믹스 정보를 수신하고, 상기 다운믹스 신호가 모노 신호인 경우, 상기 오브젝트 정보 및 상기 믹스 정보를 이용하여 하나 이상의 게인 변형 팩터를 포함하는 멀티채널 정보를 생성하는 정보 생성 유닛; 및

하나 이상의 오브젝트를 포함하는 다운믹스 신호를 수신하고, 상기 다운믹스 신호가 모노 신호인 경우, 다운믹스 프로세싱 정보를 이용한 다운믹스 신호의 프로세싱을 바이패스하는 다운믹스 프로세싱 유닛을 포함하고,

상기 게인 변형 팩터는, 상기 다운믹스 신호의 게인을 제어하기 위한 시간 및 서브밴드별로 변화하는 팩터에 해당하고,

상기 다운믹스 프로세싱 정보는, 상기 오브젝트 정보 및 상기 믹스 정보를 근거로 생성된 것이고,

상기 오브젝트 정보는 오브젝트 레벨 정보 및 오브젝트 상관 정보 중 하나 이상을 포함하고,

상기 멀티채널 정보는 상기 다운믹스 신호를 멀티채널 신호로 업믹싱하기 위한 정보이고,

상기 멀티채널 신호의 채널 수는 상기 다운믹스 신호의 채널 수보다 많은 것을 특징으로 하는 오디오 신호 처리 장치.
삭제