KR101627652B1 - 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법 - Google Patents

Abstract

본 발명은 바이노럴 렌더링을 수행하기 위한 오디오 신호 처리 장치 및 오디오 신호 처리 방법에 관한 것이다.
이를 위해 본 발명은, 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 장치로서, 상기 입력 오디오 신호의 음원의 방향을 정위하는 방향 렌더러; 및 상기 입력 오디오 신호의 음원과 청자 간의 거리에 따른 효과를 반영하는 거리 렌더러; 를 포함하되, 상기 거리 렌더러는, 상기 청자의 동측 귀에 대한 상기 음원의 거리(동측 거리) 및 입사각(동측 입사각) 정보와, 상기 청자의 대측 귀에 대한 상기 음원의 거리(대측 거리) 및 입사각(대측 입사각) 정보를 획득하고, 상기 획득된 동측 거리 및 동측 입사각 정보 중 적어도 하나에 기초하여 동측 거리 필터를 결정하고, 상기 획득된 대측 거리 및 대측 입사각 정보 중 적어도 하나에 기초하여 대측 거리 필터를 결정하며, 상기 결정된 동측 거리 필터 및 대측 거리 필터로 상기 입력 오디오 신호를 각각 필터링하여 동측 출력 신호 및 대측 출력 신호를 생성하는 오디오 신호 처리 장치 및 이를 이용한 오디오 신호 처리 방법을 제공한다.

Description

바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법{AN APPARATUS AND A METHOD FOR PROCESSING AUDIO SIGNAL TO PERFORM BINAURAL RENDERING}

본 발명은 바이노럴 렌더링을 수행하기 위한 오디오 신호 처리 장치 및 오디오 신호 처리 방법에 관한 것이다.

3D 오디오란 기존의 서라운드 오디오에서 제공하는 수평면(2D) 상의 사운드 장면에 높이 방향에 해당하는 또 다른 축을 제공함으로써, 3차원 공간상에서 임장감 있는 사운드를 제공하기 위한 일련의 신호 처리, 전송, 부호화 및 재생기술 등을 통칭한다. 특히, 3D 오디오를 제공하기 위해서는 종래보다 많은 수의 스피커를 사용하거나 혹은 적은 수의 스피커를 사용하더라도 스피커가 존재하지 않는 가상의 위치에서 음상이 맺히도록 하는 렌더링 기술이 요구된다.

3D 오디오는 초고해상도 TV(UHDTV)에 대응되는 오디오 솔루션이 될 것이며, 다양한 분야 및 디바이스에서 사용될 것으로 예상된다. 3D 오디오에 제공되는 음원의 형태로는 채널 기반의 신호와 오브젝트 기반의 신호가 존재할 수 있다. 이 뿐만 아니라, 채널 기반의 신호와 오브젝트 기반의 신호가 혼합된 형태의 음원이 존재할 수 있으며, 이를 통해 유저로 하여금 새로운 형태의 청취 경험을 제공할 수 있다.

한편, 바이노럴 렌더링은 입력 오디오 신호를 사람의 양 귀에 전달되는 신호로 모델링 하는 프로세싱이다. 유저는 바이노럴 렌더링된 2 채널 출력 오디오 신호를 헤드폰이나 이어폰을 통해 청취함으로 소리의 입체감을 느낄 수 있다. 따라서 3D 오디오를 사람의 두 귀에 전달되는 오디오 신호 형태로 모델링할 수 있다면, 2 채널 출력 오디오 신호를 통해서도 3D 오디오의 입체감을 재현할 수 있다.

본 발명은 바이노럴 렌더링을 수행하기 위한 오디오 신호 처리 장치 및 방법을 제공하기 위한 목적을 가지고 있다.

또한, 본 발명은 3D 오디오의 오브젝트 신호 및 채널 신호에 대한 효율적인 바이노럴 렌더링을 수행하기 위한 목적을 가지고 있다.

또한, 본 발명은 가상 현실(Virtual Reality, VR) 콘텐츠의 오디오 신호에 대한 몰입형 바이노럴 렌더링을 구현하기 위한 목적을 가지고 있다.

상기와 같은 과제를 해결하기 위해, 본 발명은 다음과 같은 오디오 신호 처리 방법 및 오디오 신호 처리 장치를 제공한다.

먼저 본 발명의 실시예에 따르면, 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 장치로서, 상기 입력 오디오 신호를 제1 측 전달 함수로 필터링하여 제1 측 출력 신호를 생성하는 제1 필터링부; 및 상기 입력 오디오 신호를 제2 측 전달 함수로 필터링하여 제2 측 출력 신호를 생성하는 제2 필터링부; 를 포함하되, 상기 제1 측 전달 함수 및 제2 측 전달 함수는 상기 입력 오디오 신호에 대한 제1측 HRTF(Head Related Transfer Function)를 제2 측 HRTF로 나눈 양이간 전달 함수(Interaural Transfer Function, ITF)를 변형하여 생성되는 오디오 신호 처리 장치가 제공된다.

상기 제1 측 전달 함수 및 제2 측 전달 함수는 상기 입력 오디오 신호에 대한 제1 측 HRTF 및 제2 측 HRTF 중 적어도 하나의 노치(notch) 성분에 기초하여 상기 ITF를 변형하여 생성된다.

상기 제1 측 전달 함수는 상기 제1 측 HRTF부터 추출된 노치(notch) 성분에 기초하여 생성되고, 상기 제2 측 전달 함수는 상기 제2 측 HRTF를 상기 제1 측 HRTF로부터 추출된 인벨로프(envelope) 성분으로 나눈 값에 기초하여 생성된다.

상기 제1 측 전달 함수는 상기 제1 측 HRTF로부터 추출된 노치(notch) 성분에 기초하여 생성되고, 상기 제2 측 전달 함수는 상기 제2 측 HRTF를 상기 입력 오디오 신호와 다른 방향을 갖는 제1 측 HRTF로부터 추출된 인벨로프 성분으로 나눈 값에 기초하여 생성된다.

상기 다른 방향을 갖는 제1 측 HRTF는 상기 입력 오디오 신호와 동일한 방위각을 갖고, 고도각 0을 갖는 제1 측 HRTF이다.

상기 제1 측 전달 함수는 상기 제1 측 HRTF의 노치 성분을 이용하여 생성된 FIR(Finite Impulse Response) 필터 계수 또는 IIR(Infinite Impulse Response) 필터 계수이다.

상기 제2 측 전달 함수는 상기 입력 오디오 신호에 대한 제1 측 HRTF의 인벨로프 성분과 제2 측 HRTF의 인벨로프 성분에 기초하여 생성된 양이간 파라메터 및 상기 제2 측 HRTF의 노치 성분에 기초하여 생성된 IR(Impulse Response) 필터 계수를 포함하고, 상기 제1 측 전달 함수는 상기 제1 측 HRTF의 노치 성분에 기초하여 생성된 IR 필터 계수를 포함한다.

상기 양이간 파라메터는 ILD(Interaural Level Difference) 및 ITD(Interaural Time Difference)를 포함한다.

다음으로 본 발명의 다른 실시예에 따르면, 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 장치로서, 상기 입력 오디오 신호를 동측 전달 함수로 필터링하여 동측 출력 신호를 생성하는 동측 필터링부; 및 상기 입력 오디오 신호를 대측 전달 함수로 필터링하여 대측 출력 신호를 생성하는 대측 필터링부; 를 포함하되, 상기 동측 및 대측 전달 함수는 제1 주파수 대역과 제2 주파수 대역에서 서로 다른 전달 함수에 기초하여 생성되는 오디오 신호 처리 장치가 제공된다.

상기 제1 주파수 대역의 상기 동측 및 대측 전달 함수는 양이간 전달 함수(Interaural Transfer Function, ITF)에 기초하여 생성되고, 상기 ITF는 상기 입력 오디오 신호에 대한 동측 HRTF(Head Related Transfer Function)를 대측 HRTF로 나눈 값에 기초하여 생성된다.

상기 제1 주파수 대역의 상기 동측 및 대측 전달 함수는 상기 입력 오디오 신호에 대한 동측 HRTF 및 대측 HRTF이다.

상기 제1 주파수 대역과 다른 제2 주파수 대역의 상기 동측 및 대측 전달 함수는 변형된 양이간 전달 함수(Modified Interaural Transfer Function, MITF)에 기초하여 생성되며, 상기 MITF는 상기 입력 오디오 신호에 대한 동측 HRTF 및 대측 HRTF 중 적어도 하나의 노치(notch) 성분에 기초하여 양이간 전달 함수(Interaural Transfer Function, ITF)를 변형하여 생성된다.

상기 제2 주파수 대역의 동측 전달 함수는 상기 동측 HRTF로부터 추출된 노치 성분에 기초하여 생성되고, 상기 제2 주파수 대역의 대측 전달 함수는 상기 대측 HRTF를 상기 동측 HRTF로부터 추출된 인벨로프(envelope) 성분으로 나눈 값에 기초하여 생성된다.

상기 제1 주파수 대역의 상기 동측 및 대측 전달 함수는 상기 입력 오디오 신호에 대한 동측 HRTF 및 대측 HRTF의 각 주파수 밴드 별 ILD(Interaural Level Difference), ITD(Interaural Time Difference), IPD(Interaural Phase Difference) 및 IC(Interaural Coherence) 중 적어도 하나로부터 추출된 정보에 기초하여 생성된다.

상기 제1 주파수 대역과 제2 주파수 대역의 전달 함수는 동일한 동측 및 대측 HRTF로부터 추출된 정보에 기초하여 생성된다.

상기 제1 주파수 대역은 상기 제2 주파수 대역보다 낮은 주파수 대역이다.

상기 제1 주파수 대역의 상기 동측 및 대측 전달 함수는 제1 전달 함수에 기초하여 생성되고, 상기 제1 주파수 대역과 다른 제2 주파수 대역의 상기 동측 및 대측 전달 함수는 제2 전달 함수에 기초하여 생성되며, 상기 제1 주파수 대역과 제2 주파수 대역 사이의 제3 주파수 대역의 상기 동측 및 대측 전달 함수는 제1 전달 함수와 제2 전달 함수의 선형 결합에 기초하여 생성된다.

또한 본 발명의 실시예에 따르면, 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 방법으로서, 입력 오디오 신호를 수신하는 단계; 상기 입력 오디오 신호를 동측 전달 함수로 필터링하여 동측 출력 신호를 생성하는 단계; 및 상기 입력 오디오 신호를 대측 전달 함수로 필터링하여 대측 출력 신호를 생성하는 단계; 를 포함하되, 상기 동측 및 대측 전달 함수는 제1 주파수 대역과 제2 주파수 대역에서 서로 다른 전달 함수에 기초하여 생성되는 오디오 신호 처리 방법이 제공된다.

또한 본 발명의 다른 실시예에 따르면, 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 방법으로서, 입력 오디오 신호를 수신하는 단계; 상기 입력 오디오 신호를 제1 측 전달 함수로 필터링하여 제1 측 출력 신호를 생성하는 단계; 및 상기 입력 오디오 신호를 제2 측 전달 함수로 필터링하여 제2 측 출력 신호를 생성하는 단계; 를 포함하되, 상기 제1 측 전달 함수 및 제2 측 전달 함수는 상기 입력 오디오 신호에 대한 제1측 HRTF(Head Related Transfer Function)를 제2 측 HRTF로 나눈 양이간 전달 함수(Interaural Transfer Function, ITF)를 변형하여 생성되는 오디오 신호 처리 방법이 제공된다.

다음으로 본 발명의 또 다른 실시예에 따르면, 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 장치로서, 상기 입력 오디오 신호의 음원의 방향을 정위하는 방향 렌더러; 및 상기 입력 오디오 신호의 음원과 청자 간의 거리에 따른 효과를 반영하는 거리 렌더러; 를 포함하되, 상기 거리 렌더러는, 상기 청자의 동측 귀에 대한 상기 음원의 거리(동측 거리) 및 입사각(동측 입사각) 정보와, 상기 청자의 대측 귀에 대한 상기 음원의 거리(대측 거리) 및 입사각(대측 입사각) 정보를 획득하고, 상기 획득된 동측 거리 및 동측 입사각 정보 중 적어도 하나에 기초하여 동측 거리 필터를 결정하고, 상기 획득된 대측 거리 및 대측 입사각 정보 중 적어도 하나에 기초하여 대측 거리 필터를 결정하며, 상기 결정된 동측 거리 필터 및 대측 거리 필터로 상기 입력 오디오 신호를 각각 필터링하여 동측 출력 신호 및 대측 출력 신호를 생성하는 오디오 신호 처리 장치가 제공된다..

상기 동측 거리 필터는 상기 동측 출력 신호의 게인 및 주파수 특성 중 적어도 하나를 조절하고, 상기 대측 거리 필터는 상기 대측 출력 신호의 게인 및 주파수 특성 중 적어도 하나를 조절한다.

상기 동측 거리 필터는 로우 쉘빙 필터이며, 상기 대측 거리 필터는 로우 패스 필터이다.

상기 동측 거리, 동측 입사각, 대측 거리 및 대측 입사각은 상기 청자의 머리 중심에 대한 상기 음원의 상대적인 위치 정보 및 상기 청자의 머리 크기 정보에 기초하여 획득된다.

상기 거리 렌더러는 상기 청자와 상기 음원의 거리가 기 설정된 거리 이내일 경우 상기 동측 거리 필터 및 대측 거리 필터를 이용한 필터링을 수행한다.

상기 방향 렌더러는, 상기 동측 입사각에 기초하여 동측 방향 필터를 선택하고, 상기 대측 입사각에 기초하여 대측 방향 필터를 결정하며, 상기 결정된 동측 방향 필터 및 대측 방향 필터 계수를 이용하여 상기 입력 오디오 신호를 필터링한다.

상기 동측 방향 필터와 대측 방향 필터는 각각 서로 다른 위치에 대응하는 HRTF(Head Related Transfer Function) 세트에서 선택된다.

상기 방향 렌더러는, 상기 청자의 머리 중심에 대한 상기 음원의 상대적인 위치 정보가 변경될 경우, 상기 변경된 위치에 대응하는 동측 방향 필터 및 대측 방향 필터 중 적어도 하나의 노치 성분을 추가적으로 보상한다.

상기 동측 입사각은 상기 동측 귀에 대한 상기 음원의 방위각(동측 방위각) 및 고도각(동측 고도각)을 포함하고, 상기 대측 입사각은 상기 대측 귀에 대한 상기 음원의 방위각(동측 방위각) 및 고도각(대측 고도각)을 포함하며, 상기 방향 렌더러는, 상기 동측 방위각 및 동측 고도각에 기초하여 상기 동측 방향 필터를 선택하고, 상기 대측 방위각 및 대측 고도각에 기초하여 상기 대측 방향 필터를 선택한다.

상기 방향 렌더러는, 상기 청자의 머리 회전 정보를 획득하되, 상기 청자의 머리 회전 정보는 상기 청자의 머리의 요, 롤, 피치 중 적어도 하나의 정보를 포함하고, 상기 청자의 머리 회전 정보에 기초한 상기 동측 입사각 및 대측 입사각의 변화를 산출하고, 상기 변화된 동측 입사각 및 대측 입사각에 기초하여 동측 방향 필터 및 대측 방향 필터를 각각 선택한다.

상기 청자의 머리가 롤링된 경우 상기 동측 고도각 및 대측 고도각 중 어느 하나는 증가하고 다른 하나는 감소하며, 상기 방향 렌더러는, 변경된 상기 동측 고도각 및 대측 고도각에 기초하여 상기 동측 방향 필터 및 대측 방향 필터를 각각 선택한다.

또한 본 발명의 또 다른 실시예에 따르면, 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 방법으로서, 청자의 동측 귀에 대한 음원의 거리(동측 거리) 및 입사각(동측 입사각) 정보를 획득하는 단계; 상기 청자의 대측 귀에 대한 상기 음원의 거리(대측 거리) 및 입사각(대측 입사각) 정보를 획득하는 단계; 상기 획득된 동측 거리 및 동측 입사각 정보 중 적어도 하나에 기초하여 동측 거리 필터를 결정하는 단계; 상기 획득된 대측 거리 및 대측 입사각 정보 중 적어도 하나에 기초하여 대측 거리 필터를 결정하는 단계; 상기 결정된 동측 거리 필터로 상기 입력 오디오 신호를 필터링하여 동측 출력 신호를 생성하는 단계; 및 상기 결정된 대측 거리 필터로 상기 입력 오디오 신호를 필터링하여 대측 출력 신호를 생성하는 단계; 를 포함하는 오디오 신호 처리 방법이 제공된다.

본 발명의 실시예에 따르면, 낮은 연산량으로 고품질의 바이노럴 사운드를 제공할 수 있다.

또한 본 발명의 실시예에 따르면, 바이노럴 렌더링 시 발생할 수 있는 음성 정위의 열화 및 음질 저하를 방지할 수 있다.

또한 본 발명의 실시예에 따르면, 효율적인 연산을 통해 유저 또는 객체의 움직임을 반영한 바이노럴 렌더링 처리가 가능하다.

도 1은 본 발명의 실시예에 따른 오디오 신호 처리 장치를 나타내는 블록도.
도 2는 본 발명의 실시예에 따른 바이노럴 렌더러를 나타내는 블록도.
도 3은 본 발명의 일 실시예에 따른 방향 렌더러를 나타낸 블록도.
도 4는 본 발명의 일 실시예에 따른 MITF(Modified ITF) 생성 방법을 나타낸 도면.
도 5는 본 발명의 다른 실시예에 따른 MITF 생성 방법을 나타낸 도면.
도 6은 본 발명의 다른 실시예에 따른 바이노럴 파라메터 생성 방법을 나타낸 도면.
도 7은 본 발명의 다른 실시예에 따른 방향 렌더러를 나타낸 블록도.
도 8은 본 발명의 또 다른 실시예에 따른 MITF 생성 방법을 나타낸 도면.
도 9는 본 발명의 또 다른 실시예에 따른 방향 렌더러를 나타낸 블록도.
도 10은 청자로부터의 거리에 따른 디스턴스 큐를 도식화한 도면.
도 11은 본 발명의 일 실시예에 따른 바이노럴 렌더링 방법을 나타낸 도면.
도 12는 본 발명의 다른 실시예에 따른 바이노럴 렌더링 방법을 나타낸 도면.
도 13 내지 도 15는 본 발명의 추가적인 실시예에 따른 방향 렌더링 방법들을 나타낸 도면.
도 16은 본 발명의 일 실시예에 따른 거리 렌더러를 나타낸 블록도.
도 17은 음원의 거리 정보를 스케일링하는 방법을 나타낸 그래프.
도 18은 본 발명의 실시예에 따른 방향 렌더러와 거리 렌더러를 포함하는 바이노럴 렌더러를 나타낸 블록도.
도 19는 본 발명의 실시예에 따른 시간 도메인의 거리 렌더러를 나타낸 블록도.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

도 1은 본 발명의 실시예에 따른 오디오 신호 처리 장치를 나타낸 블록도이다. 도 1을 참조하면, 오디오 신호 처리 장치(10)는 바이노럴 렌더러(100), 바이노럴 파라메터 컨트롤러(200) 및 퍼스널라이저(300)를 포함할 수 있다.

먼저, 바이노럴 렌더러(100)는 입력 오디오를 수신하고, 이에 대한 바이노럴 렌더링을 수행하여 2채널 출력 오디오 신호 L, R을 생성한다. 바이노럴 렌더러(100)의 입력 오디오 신호는 오브젝트 신호 및 채널 신호 중 적어도 하나를 포함할 수 있다. 이때, 입력 오디오 신호는 1개의 오브젝트 신호 또는 모노 신호일 수도 있고, 멀티 오브젝트 또는 멀티 채널 신호일 수도 있다. 일 실시예에 따르면, 바이노럴 렌더러(100)가 별도의 디코더를 포함할 경우, 바이노럴 렌더러(100)의 입력 신호는 상기 오디오 신호의 부호화된 비트스트림이 될 수 있다.

바이노럴 렌더러(100)의 출력 오디오 신호는 바이노럴 신호로서, 각 입력 오브젝트/채널 신호가 3차원상에 위치한 가상의 음원에 의해 표현되도록 하는 2채널의 오디오 신호이다. 바이노럴 렌더링은 바이노럴 파라메터 컨트롤러(200)로부터 제공된 바이노럴 파라메터를 기초로 수행되며, 시간 도메인 또는 주파수 도메인 상에서 수행될 수 있다. 이와 같이, 바이노럴 렌더러(100)는 다양한 타입의 입력 신호에 대한 바이노럴 렌더링을 수행하여 3D 오디오 헤드폰 신호(즉, 3D 오디오 2채널 신호)를 생성한다

일 실시예에 따르면, 바이노럴 렌더러(100)의 출력 오디오 신호에 대한 포스트 프로세싱이 추가로 수행될 수 있다. 포스트 프로세싱에는 크로스톡 제거, DRC(Dynamic Range Control), 음량 정규화, 피크 제한 등이 포함될 수 있다. 또한, 포스트 프로세싱은 바이노럴 렌더러(100)의 출력 오디오 신호에 대한 주파수/시간 도메인 변환을 포함할 수 있다. 오디오 신호 처리 장치(10)는 포스트 프로세싱을 수행하는 별도의 포스트 프로세싱부를 포함할 수 있으며, 다른 실시예에 따르면 포스트 프로세싱부는 바이노럴 렌더러(100)에 포함될 수도 있다.

바이노럴 파라메터 컨트롤러(200)는 바이노럴 렌더링을 위한 바이노럴 파라메터를 생성하여 이를 바이노럴 렌더러(100)에 전달한다. 이때, 전달되는 바이노럴 파라메터에는 후술하는 다양한 실시예와 같이, 동측(ipsilateral) 전달 함수 및 대측(contralateral) 전달 함수를 포함한다. 이때, 전달 함수는 HRTF(Head Related Transfer Function), ITF(Interaural Transfer Function), MITF(Modified ITF), BRTF(Binaural Room Transfer Function), RIR(Room Impulse Response), BRIR(Binaural Room Impulse Response), HRIR(Head Related Impulse Response) 및 이의 변형 및 편집 된 데이터 중 적어도 하나를 포함할 수 있으며, 본 발명은 이에 한정되지 않는다.

상기 전달함수는 무향실에서 측정된 것일 수 있으며, 시뮬레이션으로 추정된 HRTF에 관한 정보를 포함할 수 있다. HRTF를 추정하는데 사용되는 시뮬레이션 기법은 구형 헤드 모델(Spherical Head Model, SHM), 스노우맨 모델(snowman model), 유한 차이 시간 영역 기법(Finite-Difference Time-Domain Method, FDTDM) 및 경계 요소법(Boundary Element Method, BEM) 중 적어도 하나일 수 있다. 이때, 구형 헤드 모델은 사람의 머리가 구라고 가정하여 시뮬레이션하는 시뮬레이션 기법을 나타낸다. 또한, 스노우맨 모델은 머리와 몸통을 구로 가정하여 시뮬레이션하는 시뮬레이션 기법을 나타낸다.

바이노럴 파라메터 컨트롤러(200)는 데이터베이스(미도시)로부터 상기 전달 함수를 획득할 수도 있으며, 개인화된(personalized) 전달 함수를 퍼스널라이저(300)로부터 수신할 수도 있다. 본 발명에서는 전달함수는 IR(Impulse Response)을 고속 푸리에 변환(Fast Fourier Transform) 한 것으로 전제하나, 본 발명에서 변환의 방법은 이에 한정되지 않는다. 즉 본 발명의 실시예에 따르면, 변환 방법은 QMF(Quadratic Mirror Filterbank), 이산 코사인 변환(Discrete Cosine Transform, DCT), 이산 사인 변환(Discrete Sine Transform, DST), Wavelet 등을 포함한다.

본 발명의 실시예에 따르면, 바이노럴 파라메터 컨트롤러(200)는 동측 전달 함수 및 대측 전달 함수를 생성하고, 생성된 전달 함수를 바이노럴 렌더러(100)에 전달한다. 일 실시예에 따르면, 동측 전달 함수 및 대측 전달 함수는 각각 동측 원형(prototype) 전달 함수 및 대측 원형 전달 함수를 변형하여 생성될 수 있다. 또한, 바이노럴 파라메터는 ILD(Interaural Level Difference), ITD(Interaural Time Difference), FIR(Finite Impulse Response) 필터 계수, IIR(Infinite Impulse Response) 필터 계수 등을 더 포함할 수 있다. 본 발명에서 ILD 및 ITD는 양이간 파라메터로도 지칭될 수 있다.

한편, 본 발명의 실시예에서 전달 함수는 필터 계수와 상호 치환 가능한 용어로 사용된다. 또한, 원형 전달 함수는 원형 필터 계수와 상호 치환 가능한 용어로 사용된다. 따라서, 동측 전달 함수 및 대측 전달 함수는 각각 동측 필터 계수 및 대측 필터 계수를 나타낼 수 있으며, 동측 원형 전달 함수 및 대측 원형 전달 함수는 각각 동측 원형 필터 계수 및 대측 원형 필터 계수를 나타낼 수 있다.

일 실시예에 따르면, 바이노럴 파라메터 컨트롤러(200)는 퍼스널라이저(300)로부터 획득된 개인화된 정보에 기초하여 바이노럴 파라메터를 생성할 수 있다. 퍼스널라이저(300)는 유저에 따라 서로 다른 바이노럴 파라메터를 적용하기 위한 부가 정보를 획득하고, 획득된 부가 정보에 기초하여 결정된 바이노럴 전달 함수를 제공한다. 예를 들어, 퍼스널라이저(300)는 유저의 신체적 특징 정보에 기초하여, 해당 유저를 위한 바이노럴 전달 함수(이를테면, 개인화된 HRTF)를 데이터베이스로부터 선택할 수 있다. 이때, 신체적 특징 정보는 귓바퀴의 모양 및 크기, 외이도의 형태, 두개골의 크기 및 유형, 체형, 체중 등의 정보를 포함할 수 있다.

퍼스널라이저(300)는 결정된 바이노럴 전달 함수를 바이노럴 렌더러(100) 및/또는 바이노럴 파라메터 컨트롤러(200)에 제공한다. 일 실시예에 따르면, 바이노럴 렌더러(100)는 퍼스널라이저(300)에서 제공된 바이노럴 전달 함수를 이용하여 입력 오디오 신호에 대한 바이노럴 렌더링을 수행할 수 있다. 다른 실시예에 따르면, 바이노럴 파라메터 컨트롤러(200)는 퍼스널라이저(300)에서 제공된 바이노럴 전달 함수를 이용하여 바이노럴 파라메터를 생성하고, 생성된 바이노럴 파라메터를 바이노럴 렌더러(100)에 전달할 수 있다. 바이노럴 렌더러(100)는 바이노럴 파라메터 컨트롤러(200)로부터 획득된 바이노럴 파라메터에 기초하여 입력 오디오 신호에 대한 바이노럴 렌더링을 수행한다.

한편, 도 1은 본 발명의 오디오 신호 처리 장치(10)의 구성을 나타낸 일 실시예이며, 본 발명은 이에 한정되지 않는다. 이를테면, 본 발명의 오디오 신호 처리 장치(10)는 도 1에 도시된 구성 이외에 추가적인 구성을 더 포함할 수 있다. 또한, 도 1에 도시된 일부 구성 이를테면, 퍼스널라이저(300) 등은 오디오 신호 처리 장치(10)에서 생략될 수도 있다.

도 2는 본 발명의 실시예에 따른 바이노럴 렌더러를 나타내는 블록도이다. 도 2를 참조하면, 바이노럴 렌더러(100)는 방향 렌더러(120)와 거리 렌더러(140)를 포함한다. 본 발명의 실시예에서 오디오 신호 처리 장치란 도 2의 바이노럴 렌더러(100)를 나타내거나, 그 구성 요소인 방향 렌더러(120) 또는 거리 렌더러(140)를 가리킬 수 있다. 그러나 본 발명의 실시예에서 넓은 의미로의 오디오 신호 처리 장치는 바이노럴 렌더러(100)를 포함하는 도 1의 오디오 신호 처리 장치(10)를 가리킬 수 있다.

먼저, 방향 렌더러(120)는 입력 오디오 신호의 음원 방향을 정위(localizing)하는 방향 렌더링을 수행한다. 음원은 오브젝트 신호에 대응하는 오디오 오브젝트 또는 채널 신호에 대응하는 라우드 스피커를 나타낼 수 있다. 방향 렌더러(120)는 청자를 기준으로 한 음원의 방향을 식별하도록 하는 바이노럴 큐(binaural cue) 즉, 디렉션 큐(direction cue)를 입력 오디오 신호에 적용하여 방향 렌더링을 수행한다. 이때, 디렉션 큐는 양이(both ears)의 레벨차, 양이의 위상차, 스펙트럴 인벨로프(spectral envelope), 스펙트럴 노치(spectral notch), 피크 등을 포함한다. 방향 렌더러(120)는 동측 전달 함수, 대측 전달 함수 등의 바이노럴 파라메터를 이용하여 바이노럴 렌더링을 수행할 수 있다.

다음으로, 거리 렌더러(140)는 입력 오디오 신호의 음원 거리에 따른 효과를 반영하는 거리 렌더링을 수행한다. 거리 렌더러(140)는 청자를 기준으로 한 음원의 거리를 식별하도록 하는 디스턴스 큐(distance cue)를 입력 오디오 신호에 적용하여 거리 렌더링을 수행한다. 본 발명의 실시예에 따르면, 거리 렌더링은 음원의 거리 변화에 따른 음향 강도(sound intensity) 및 스펙트럴 형태(spectral shaping)의 변화를 입력 오디오 신호에 반영할 수 있다. 본 발명의 실시예에 따르면, 거리 렌더러(140)는 음원의 거리가 기 설정된 임계값 이하인지 여부에 기초하여 서로 다른 프로세싱을 수행할 수 있다. 만약 음원의 거리가 기 설정된 임계값을 초과할 경우에는 청자의 머리를 중심으로 하여 음원의 거리에 반비례하는 음향 강도가 적용될 수 있다. 그러나 음원의 거리가 기 설정된 임계값 이하일 경우에는 청자의 양 귀 각각을 기준으로 측정된 음원의 거리에 기초하여 별도의 거리 렌더링이 수행될 수 있다.

본 발명의 실시예에 따르면, 바이노럴 렌더러(100)는 입력 신호에 대한 방향 렌더링 및 거리 렌더링 중 적어도 하나를 수행하여 바이노럴 출력 신호를 생성한다. 바이노럴 렌더러(100)는 입력 신호에 대한 방향 렌더링 및 거리 렌더링을 순차적으로 수행할 수도 있으며, 방향 렌더링 및 거리 렌더링이 통합된 프로세싱을 수행할 수도 있다. 이하, 본 발명의 실시예에서는 방향 렌더링, 거리 렌더링 및 이들의 조합을 모두 포함하는 개념으로 바이노럴 렌더링 또는 바이노럴 필터링이라는 용어가 사용될 수 있다.

일 실시예에 따르면, 바이노럴 렌더러(100)는 입력 오디오 신호에 대한 방향 렌더링을 먼저 수행하여 2채널의 출력 신호 즉, 동측 출력 신호 D^I와 대측 출력 신호 D^C를 획득할 수 있다. 다음으로, 바이노럴 렌더러(100)는 2채널의 출력 신호 D^I 및 D^C에 대한 거리 렌더링을 수행하여 바이노럴 출력 신호 B^I, B^C를 생성할 수 있다. 이때, 방향 렌더러(120)의 입력 신호는 오브젝트 신호 및/또는 채널 신호이며, 거리 렌더러(140)의 입력 신호는 전처리 단계로 방향 렌더링이 수행된 2채널 신호 D^I 및 D^C이다.

다른 실시예에 따르면, 바이노럴 렌더러(100)는 입력 오디오 신호에 대한 거리 렌더링을 먼저 수행하여 2채널의 출력 신호 즉, 동측 출력 신호 d^I와 대측 출력 신호 d^C를 획득할 수 있다. 다음으로, 바이노럴 렌더러(100)는 2채널의 출력 신호 d^I 및 d^C에 대한 방향 렌더링을 수행하여 바이노럴 출력 신호 B^I, B^C를 생성할 수 있다. 이때, 거리 렌더러(140)의 입력 신호는 오브젝트 신호 및/또는 채널 신호이며, 방향 렌더러(120)의 입력 신호는 전처리 단계로 거리 렌더링이 수행된 2채널 신호 d^I 및 d^C이다.

도 3은 본 발명의 일 실시예에 따른 방향 렌더러(120-1)를 나타낸 블록도이다. 도 3을 참조하면, 방향 렌더러(120-1)는 동측 필터링부(122a)와 대측 필터링부(122b)를 포함한다. 방향 렌더러(120-1)는 동측 전달 함수 및 대측 전달 함수를 포함하는 바이노럴 파라메터를 수신하며, 입력 오디오 신호를 수신된 바이노럴 파라메터로 필터링하여 동측 출력 신호와 대측 출력 신호를 생성한다. 즉, 동측 필터링부(122a)는 입력 오디오 신호를 동측 전달 함수로 필터링하여 동측 출력 신호를 생성하며, 대측 필터링부(122b)는 입력 오디오 신호를 대측 전달 함수로 필터링하여 대측 출력 신호를 생성한다. 본 발명의 일 실시예에 따르면, 동측 전달 함수 및 대측 전달 함수는 각각 동측 HRTF 및 대측 HRTF일 수 있다. 즉, 방향 렌더러(120-1)는 입력 오디오 신호를 양쪽 귀에 대한 HRTF로 컨볼루션 함으로 해당 방향의 바이노럴 신호를 획득할 수 있다.

본 발명의 실시예에서, 동측/대측 필터링부(122a, 122b)는 각각 좌/우 채널 필터링부를 나타내거나, 우/좌 채널 필터링부를 나타낼 수 있다. 만약 입력 오디오 신호의 음원이 청자의 좌측에 위치할 경우, 동측 필터링부(122a)는 좌 채널 출력 신호를 생성하고, 대측 필터링부(122b)는 우 채널 출력 신호를 생성한다. 그러나 입력 오디오 신호의 음원이 청자의 우측에 위치할 경우, 동측 필터링부(122a)는 우 채널 출력 신호를 생성하고, 대측 필터링부(122b)는 좌 채널 출력 신호를 생성한다. 이와 같이, 방향 렌더러(120-1)는 동측/대측 필터링을 수행하여 2채널의 좌/우 출력 신호를 생성할 수 있다.

본 발명의 실시예에 따르면, 방향 렌더러(120-1)는 무향실의 특성이 바이노럴 신호에 반영되는 것을 방지하기 위해 HRTF 대신 양이간 전달 함수(Interaural Transfer Function, ITF), 변형된 양이간 전달 함수(Modified ITF, MITF) 또는 이들의 조합을 이용하여 입력 오디오 신호를 필터링할 수 있다. 이하, 본 발명의 다양한 실시예에 따른 전달 함수를 이용한 바이노럴 렌더링 방법에 대해 설명하도록 한다.

<ITF를 이용한 바이노럴 렌더링>

먼저, 방향 렌더러(120-1)는 ITF를 이용하여 입력 오디오 신호를 필터링할 수 있다. ITF는 아래 수학식 1과 같이 대측 HRTF를 동측 HRTF로 나눈 전달 함수로 정의될 수 있다.

여기서, k는 주파수 인덱스이며, H_I(k)는 주파수 k의 동측 HRTF, H_C(k)는 주파수 k의 대측 HRTF, I_I(k)는 주파수 k의 동측 ITF, I_C(k)는 주파수 k의 대측 ITF를 나타낸다.

즉, 본 발명의 실시예에 따르면 각 주파수 k에서의 I_I(k)의 값은 1(즉, 0dB)로 정의되며, I_C(k)는 해당 주파수 k의 H_C(k)를 H_I(k)로 나눈 값으로 정의된다. 방향 렌더러(120-1)의 동측 필터링부(122a)는 입력 오디오 신호를 동측 ITF로 필터링하여 동측 출력 신호를 생성하고, 대측 필터링부(122b)는 입력 오디오 신호를 대측 ITF로 필터링하여 대측 출력 신호를 생성한다. 이때, 수학식 1과 같이 동측 ITF가 1인 경우, 즉 동측 ITF가 시간 도메인에서 유닛 델타 함수이거나, 주파수 도메인에서 모든 이득값이 1인 경우 동측 필터링부(122a)는 입력 오디오 신호에 대한 필터링을 바이패스(bypass) 할 수 있다. 이와 같이, 동측 필터링은 바이패스하고, 대측 ITF로 입력 오디오 신호에 대한 대측 필터링을 수행함으로 ITF를 이용한 바이노럴 렌더링이 수행될 수 있다. 방향 렌더러(120-1)는 동측 필터링부(122a)의 연산을 생략함으로 연산량의 이득을 얻을 수 있다.

ITF는 동측 원형(prototype) 전달 함수와 대측 원형 전달 함수의 차이를 나타내는 함수이며, 청자는 양이 간(Interaural)의 전달 함수의 차이를 단서로 방향감을 인지할 수 있다. ITF의 처리 과정에서는 HRTF의 방(room) 특성이 상쇄되며, 따라서 HRTF를 이용한 렌더링에서 어색한 소리(주로 저음이 상실된 소리)가 나타나는 현상을 보완할 수 있다. 한편 본 발명의 다른 실시예에 따르면, I_C(k)가 1로 정의되고, I_I(k)는 해당 주파수 k의 H_I(k)를 H_C(k)로 나눈 값으로 정의될 수도 있다. 이때, 방향 렌더러(120-1)는 대측 필터링을 바이패스하고, 동측 ITF로 입력 오디오 신호에 대한 동측 필터링을 수행할 수 있다.

<MITF를 이용한 바이노럴 렌더링>

ITF를 이용하여 바이노럴 렌더링을 수행하면 L/R 페어 중 한 쪽 채널만 렌더링을 수행하면 되므로 연산량의 큰 이득을 얻게 된다. 그러나 ITF를 이용하면 HRTF의 스펙트럴 피크, 노치(notch) 등의 고유 특성이 상실되어 음상 정위의 열화가 발생할 수 있다. 또한, ITF의 분모가 되는 HRTF(상기 실시예에서 동측 HRTF)에 노치가 존재할 경우, 해당 ITF에는 밴드 폭이 좁은 스펙트럴 피크가 발생하여 톤 노이즈를 유발하는 문제가 있다. 따라서, 본 발명의 다른 실시예에 따르면 바이노럴 필터링을 위한 동측 전달 함수 및 대측 전달 함수는 입력 오디오 신호에 대한 ITF를 변형하여 생성될 수 있다. 방향 렌더러(120-1)는 변형된 ITF(즉, MITF)를 이용하여 입력 오디오 신호를 필터링할 수 있다.

도 4는 본 발명의 일 실시예에 따른 MITF(Modified ITF) 생성 방법을 나타낸 도면이다. MITF 생성부(220)는 도 1의 바이노럴 파라메터 컨트롤러(200)의 일 구성 요소이며, 동측 HRTF 및 대측 HRTF를 수신하여 동측 MITF 및 대측 MITF를 생성한다. MITF 생성부(220)에서 생성된 동측 MITF 및 대측 MITF는 각각 도 3의 동측 필터링부(122a) 및 대측 필터링부(122b)로 전달되어 동측 필터링 및 대측 필터링에 사용된다.

이하, 수학식을 참조로 본 발명의 다양한 실시예에 따른 MITF 생성 방법을 설명한다. 본 발명의 실시예에서 제1 측은 동측 및 대측 중 어느 하나를, 제2 측은 그 중 나머지 다른 하나를 나타낸다. 본 발명은 편의상 제1 측을 동측, 제2 측을 대측으로 가정하여 설명되지만, 제1 측이 대측, 제2 측이 동측인 경우에도 동일하게 실시 가능하다. 즉, 본 발명의 각 수식 및 실시예들은 동측과 대측을 서로 치환하여서도 사용 가능하다. 예를 들어, 동측 HRTF를 대측 HRTF로 나누어서 동측 MITF를 획득하는 연산은, 대측 HRTF를 동측 HRTF로 나누어서 대측 MITF를 획득하는 연산으로 치환될 수 있다.

또한, 이하의 실시예들에서 MITF는 원형 전달 함수 HRTF를 이용하여 생성된다. 그러나 본 발명의 실시예에 따르면 HRTF가 아닌 다른 원형 전달 함수 즉, 다른 바이노럴 파라메터가 MITF의 생성에 이용될 수도 있다.

(MITF 제1 방법 - 조건부 동측 필터링)

본 발명의 제1 실시예에 따르면, 특정 주파수 인덱스 k에서 대측 HRTF의 값이 동측 HRTF의 값보다 큰 경우, MITF는 동측 HRTF를 대측 HRTF로 나눈 값에 기초하여 생성될 수 있다. 즉, 동측 HRTF의 노치 성분으로 인해 동측 HRTF와 대측 HRTF의 크기(magnitude)가 역전되는 경우, ITF의 연산과 반대로 동측 HRTF를 대측 HRTF로 나누어서 스펙트럴 피크 발생을 방지할 수 있다. 더욱 구체적으로, 주파수 인덱스 k에 대하여 동측 HRTF를 H_I(k), 대측 HRTF를 H_C(k), 동측 MITF를 M_I(k), 대측 MITF를 M_C(k)라고 할 때, 동측 및 대측 MITF는 다음 수학식 2와 같이 생성될 수 있다.

즉, 제1 실시예에 따르면 특정 주파수 인덱스 k에서 H_I(k)의 값이 H_C(k)의 값보다 작은 경우(즉, 노치 영역인 경우), M_I(k)는 H_I(k)를 H_C(k)로 나눈 값으로 결정되며 M_C(k)의 값은 1로 결정된다. 그러나 H_I(k)의 값이 H_C(k)의 값보다 작지 않을 경우, M_I(k)의 값은 1로 결정되고 M_C(k)의 값은 H_C(k)를 H_I(k)로 나눈 값으로 결정된다.

(MITF 제2 방법 - 절단)

본 발명의 제2 실시예에 따르면, 특정 주파수 인덱스 k에서 ITF의 분모가 되는 HRTF 즉, 동측 HRTF에 노치 성분이 있는 경우, 해당 주파수 인덱스 k에서의 동측 및 대측 MITF의 값은 1로(즉, 0dB로) 설정될 수 있다. MITF 생성 방법의 제2 실시예를 수식적으로 나타내면 아래 수학식 3과 같다.

즉, 제2 실시예에 따르면 특정 주파수 인덱스 k에서 H_I(k)의 값이 H_C(k)의 값보다 작은 경우(즉, 노치 영역인 경우), M_I(k) 및 M_C(k)의 값은 1로 설정될 수 있다. 그러나 H_I(k)의 값이 H_C(k)의 값보다 작지 않을 경우, 동측 및 대측 MITF는 각각 동측 및 대측 ITF와 동일하게 설정될 수 있다. 즉, MITF M_I(k)의 값은 1로 결정되고 M_C(k)의 값은 H_C(k)를 H_I(k)로 나눈 값으로 결정된다.

(MITF 제3 방법 - 스케일링)

본 발명의 제3 실시예에 따르면, 노치 성분이 있는 HRTF에 대해 가중치를 반영하여 노치의 깊이를 줄일 수 있다. ITF의 분모가 되는 HRTF 즉, 동측 HRTF의 노치 성분에 대해 1보다 큰 가중치를 반영하기 위해 가중치 함수 w(k)가 수학식 4와 같이 적용될 수 있다.

여기서 *는 곱셈을 의미한다. 즉, 제3 실시예에 따르면, 특정 주파수 인덱스 k에서 H_I(k)의 값이 H_C(k)의 값보다 작은 경우(즉, 노치 영역인 경우), M_I(k)의 값은 1로 결정되고 M_C(k)의 값은 H_C(k)를 w(k)와 H_I(k)의 곱으로 나눈 값으로 결정된다. 그러나 H_I(k)의 값이 H_C(k)의 값보다 작지 않을 경우, M_I(k)의 값은 1로 결정되고 M_C(k)의 값은 H_C(k)를 H_I(k)로 나눈 값으로 결정된다. 즉, 가중치 함수 w(k)는 H_I(k)의 값이 H_C(k)의 값보다 작은 경우에 적용된다. 일 실시예에 따르면, 가중치 함수 w(k)는 동측 HRTF의 노치 깊이가 깊을수록 즉, 동측 HRTF의 값이 작을수록 큰 값을 갖도록 설정될 수 있다. 다른 실시예에 따르면, 가중치 함수 w(k)는 동측 HRTF의 값과 대측 HRTF의 값의 차이가 클수록 큰 값을 갖도록 설정될 수 있다.

상기 제1, 제2 및 제3 실시예의 조건 부분은 특정 주파수 인덱스 k에서 H_I(k)의 값이 H_C(k) 값의 일정 비율(α) 보다 작은 경우로 확장될 수 있다. 즉, H_I(k)의 값이 α*H_C(k) 값보다 작은 경우, 동측 및 대측 MITF는 각 실시예의 조건문 안의 수식에 기초하여 생성될 수 있다. 그러나 H_I(k)의 값이 α*H_C(k) 값보다 작지 않을 경우, 동측 및 대측 MITF는 각각 동측 및 대측 ITF와 동일하게 설정될 수 있다. 또한 상기 제1, 제2 및 제3 실시예의 조건 부분은 특정 주파수 대역에 한정되어 사용될 수 있으며 상기 일정 비율(α)은 주파수 대역에 따라 서로 다른 값이 적용 될 수도 있다.

(MITF 제4-1 방법 - 노치 분리)

본 발명의 제4 실시예에 따르면, HRTF의 노치 성분을 따로 분리하고, 분리된 노치 성분에 기초하여 MITF가 생성될 수 있다. 도 5는 본 발명의 제4 실시예에 따른 MITF 생성 방법을 나타낸 도면이다. MITF 생성부(220-1)는 HRTF 분리부(222) 및 노멀라이제이션부(224)를 더 포함할 수 있다. HRTF 분리부(222)는 원형 전달 함수 즉, HRTF를 HRTF 인벨로프(envelope) 성분과 HRTF 노치(notch) 성분으로 분리한다.

본 발명의 실시예에 따르면, HRTF 분리부(222)는 ITF의 분모가 되는 HRTF 즉, 동측 HRTF를 HRTF 인벨로프 성분과 HRTF 노치 성분으로 분리하고, 분리된 동측 HRTF 인벨로프 성분과 동측 HRTF 노치 성분에 기초하여 MITF가 생성될 수 있다. MITF 생성 방법의 제4 실시예를 수식으로 나타내면 아래 수학식 5와 같다.

여기서, k는 주파수 인덱스이며, H_I_notch(k)는 동측 HRTF 노치 성분, H_I_env(k)는 동측 HRTF 인벨로프 성분, H_C_notch(k)는 대측 HRTF 노치 성분, H_C_env(k)는 대측 HRTF 인벨로프 성분을 나타낸다. *는 곱셈을 나타내며, H_C_notch(k)*H_C_env(k)는 분리되지 않은 대측 HRTF H_C(k)로 대체될 수 있다.

즉, 제4 실시예에 따르면, M_I(k)는 동측 HRTF로부터 추출된 노치 성분 H_I_notch(k) 값으로 결정되고, M_C(k)는 대측 HRTF H_C(k)를 동측 HRTF로부터 추출된 인벨로프 성분 H_I_env(k)로 나눈 값으로 결정된다. 도 5를 참조하면, HRTF 분리부(222)는 동측 HRTF로부터 동측 HRTF 인벨로프 성분을 추출하고, 동측 HRTF의 잔여 성분 즉, 노치 성분을 동측 MITF로서 출력한다. 또한, 노멀라이제이션부(224)는 동측 HRTF 인벨로프 성분과 대측 HRTF를 수신하고, 상기 수학식 5의 실시예에 따라 대측 MITF를 생성하여 출력한다.

스펙트럴 노치의 경우 일반적으로 외이의 특정 위치에 반사가 일어남으로 인해 발생하며, HRTF의 스펙트럴 노치는 고도감 인지에 큰 기여를 한다. 일반적으로 노치는 스펙트럼 도메인에서 빠르게 변화하는 특징을 갖는다. 반면에, ITF가 나타내는 바이노럴 큐는 스펙트럼 도메인에서 천천히 변화하는 특징을 갖는다. 따라서, 본 발명의 일 실시예에 따르면 HRTF 분리부(222)는 켑스트럼(cepstrum)을 이용한 동형 신호 처리(homomorphic signal processing) 또는 웨이브 인터폴레이션(wave interpolation)을 사용하여 HRTF의 노치 성분을 분리할 수 있다.

예를 들어, HRTF 분리부(222)는 동측 HRTF의 켑스트럼에 윈도잉을 수행하여 동측 HRTF 인벨로프 성분을 획득할 수 있다. MITF 생성부(200)는 동측 HRTF와 대측 HRTF를 각각 상기 동측 HRTF 인벨로프 성분으로 나누어 줌으로 스펙트럴 컬러레이션(coloration)이 제거된 동측 MITF를 생성할 수 있다. 한편, 본 발명의 추가적인 실시예에 따르면, HRTF 분리부(222)는 올-폴 모델링(all-pole modeling), 폴-제로 모델링(pole-zero modeling), 그룹 딜레이 함수(group delay function) 등을 이용하여 HRTF의 노치 성분을 분리할 수도 있다.

한편 본 발명의 추가적인 실시예에 따르면, H_I_notch(k)를 FIR 필터 계수 또는 IIR 필터 계수로 근사하고, 근사된 필터 계수가 바이노럴 렌더링의 동측 전달 함수로 사용될 수 있다. 즉, 방향 렌더러의 동측 필터링부는 입력 오디오 신호를 상기 근사된 필터 계수로 필터링하여 동측 출력 신호를 생성할 수 있다.

(MITF 제4-2 방법 - 노치 분리/다른 고도각 HRTF 사용)

본 발명의 추가적인 실시예에 따르면, 특정 각도의 MITF 생성을 위해 입력 오디오 신호와 다른 방향을 갖는 HRTF 인벨로프 성분이 사용될 수 있다. 예를 들어, MITF 생성부(200)는 수평면 상의(즉, 고도각 0의) HRTF 인벨로프 성분으로 다른 HRTF 쌍(동측 HRTF, 대측 HRTF)을 정규화 함으로 수평면 상에 위치한 전달 함수들을 평탄한 스펙트럼을 갖는 MITF로 구현할 수 있다. 본 발명의 일 실시예에 따르면, MITF는 아래 수학식 6의 방법으로 생성될 수 있다.

여기서, k는 주파수 인덱스, θ는 고도각, Φ는 방위각을 나타낸다.

즉, 고도각 θ 및 방위각 Φ의 동측 MITF M_I(k, θ, Φ)는 해당 고도각 θ 및 방위각 Φ의 동측 HRTF로부터 추출된 노치 성분 H_I_notch(k, θ, Φ)으로 결정되고, 대측 MITF M_C(k, θ, Φ)는 해당 고도각 θ 및 방위각 Φ의 대측 HRTF H_C(k, θ, Φ)를 고도각 0 및 방위각 Φ의 동측 HRTF로부터 추출된 인벨로프 성분 H_I_env(k, 0, Φ)으로 나눈 값으로 결정될 수 있다. 본 발명의 다른 실시예에 따르면, MITF는 아래 수학식 7의 방법으로도 생성될 수 있다.

즉, 고도각 θ 및 방위각 Φ의 동측 MITF M_I(k, θ, Φ)는 해당 고도각 θ 및 방위각 Φ의 동측 HRTF H_I(k, θ, Φ)를 상기 H_I_env(k, 0, Φ)으로 나눈 값으로 결정되고, 대측 MITF M_C(k, θ, Φ)는 해당 고도각 θ 및 방위각 Φ의 대측 HRTF H_C(k, θ, Φ)을 상기 H_I_env(k, 0, Φ)으로 나눈 값으로 결정될 수 있다. 수학식 6 및 수학식 7에서는 MITF 생성을 위해 동일 방위각 및 다른 고도각(즉, 고도각 0)의 HRTF 인벨로프 성분이 이용되는 것을 예시하였다. 그러나 본 발명은 이에 한정되지 않으며 다른 방위각 및/또는 다른 고도각의 HRTF 인벨로프 성분을 이용하여 MITF가 생성될 수 있다.

(MITF 제5 방법 - 노치 분리 2)

본 발명의 제5 실시예에 따르면, 공간/주파수 축으로 표현되는 웨이브 인터폴레이션을 사용하여 MITF가 생성될 수 있다. 예를 들어, HRTF는 고도각/주파수 축 또는 방위각/주파수 축의 3차원으로 표현되는 SEW(slowly evolving waveform)와 REW(rapidly evolving waveform)로 분리될 수 있다. 이때, 바이노럴 렌더링을 위한 바이노럴 큐(예. ITF, 양이간 파라메터)는 SEW에서, 노치 성분은 REW에서 추출될 수 있다.

본 발명의 실시예에 따르면, 방향 렌더러는 SEW에서 추출된 바이노럴 큐를 이용하여 바이노럴 렌더링을 수행하고, REW에서 추출된 노치 성분을 각 채널(동측 채널/대측 채널)에 직접 적용하여 톤 노이즈를 억제할 수 있다. 공간/주파수 도메인의 웨이브 인터폴레이션에서 SEW와 REW를 분리하기 위해, 동형 신호 프로세싱, 로우/하이 패스 필터링 등의 방법이 사용될 수 있다.

(MITF 제6 방법 - 노치 분리 3)

본 발명의 제6 실시예에 따르면, 원형 전달 함수의 노치 영역에서는 해당 원형 전달 함수가 바이노럴 필터링에 사용되고, 노치 영역이 아닌 경우 전술한 실시예들에 따른 MITF가 바이노럴 필터링에 사용될 수 있다. 이를 수식으로 나타내면 아래 수학식 8과 같다.

여기서, M'_I(k) 및 M'_C(k)는 각각 제6 실시예에 따른 동측 및 대측 MITF를 나타내며, M_I(k) 및 M_C(k)는 전술한 실시예들 중 어느 하나에 따른 동측 및 대측 MITF를 나타낸다. H_I(k) 및 H_C(k)는 원형 전달 함수인 동측 및 대측 HRTF를 나타낸다. 즉, 동측 HRTF의 노치 성분이 포함된 주파수 대역의 경우, 동측 HRTF 및 대측 HRTF가 각각 바이노럴 렌더링의 동측 전달 함수 및 대측 전달 함수로 사용된다. 또한, 동측 HRTF의 노치 성분이 포함되지 않은 주파수 대역의 경우, 동측 MITF 및 대측 MITF가 각각 바이노럴 렌더링의 동측 전달 함수 및 대측 전달 함수로 사용된다. 노치 영역의 분리를 위해, 전술한 바와 같이 올-폴 모델링(all-pole modeling), 폴-제로 모델링(pole-zero modeling), 그룹 딜레이 함수(group delay function) 등이 사용될 수 있다. 본 발명의 추가적인 실시예에 따르면, 노치 영역과 비 노치 영역의 경계에서 급격한 스펙트럼 변화에 의한 음질 열화를 방지하기 위하여 로우 패스 필터링과 같은 스무딩(smoothing) 기법들이 사용될 수 있다.

(MITF 제7 방법 - 낮은 복잡도의 노치 분리)

본 발명의 제7 실시예에 따르면, HRTF 분리의 잔여 성분 즉, 노치 성분은 보다 간단한 연산으로 처리될 수 있다. 일 실시예에 따르면, HRTF 잔여 성분은 FIR 필터 계수 또는 IIR 필터 계수로 근사 되고, 근사된 필터 계수가 바이노럴 렌더링의 동측 및/또는 대측 전달 함수로 사용될 수 있다. 도 6은 본 발명의 제7 실시예에 따른 바이노럴 파라메터 생성 방법을 나타낸 도면이며, 도 7은 본 발명의 제7 실시예에 따른 방향 렌더러를 나타낸 블록도이다.

먼저 도 6은 본 발명의 실시예에 따른 바이노럴 파라메터 생성부(220-2)를 나타내고 있다. 도 6을 참조하면, 바이노럴 파라메터 생성부(220-2)는 HRTF 분리부(222a, 222b), 양이간 파라메터 산출부(225) 및 노치 파라메터화부(226a, 226b)를 포함할 수 있다. 일 실시예에 따르면, 바이노럴 파라메터 생성부(220-2)는 도 4 및 도 5의 MITF 생성부를 대체하는 구성으로 사용될 수 있다.

먼저, HRTF 분리부(222a, 222b)는 입력된 HRTF를 HRTF 인벨로프 성분과 HRTF 잔여 성분으로 분리한다. 제1 HRTF 분리부(222a)는 동측 HRTF를 수신하고, 이를 동측 HRTF 인벨로프 성분과 동측 HRTF 잔여 성분으로 분리한다. 제2 HRTF 분리부(222b)는 대측 HRTF를 수신하고, 이를 대측 HRTF 인벨로프 성분과 대측 HRTF 잔여 성분으로 분리한다. 양이간 파라메터 산출부(225)는 동측 HRTF 인벨로프 성분 및 대측 HRTF 인벨로프 성분을 수신하고, 이를 이용하여 양이간 파라메터를 생성한다. 양이간 파라메터는 ILD(Interaural Level Difference) 및 ITD(Interaural Time Difference)를 포함한다. 이때, ILD는 양이간 전달 함수의 크기에 대응되며, ITD는 양이간 전달 함수의 위상(혹은, 시간 도메인에서의 시간차)에 대응될 수 있다.

한편, 노치 파라메터화부(226a, 226b)는 HRTF 잔여 성분을 수신하고, 이를 IR(Impulse Response) 필터 계수로 근사 한다. HRTF 잔여 성분은 HRTF 노치 성분을 포함할 수 있으며, IR 필터는 FIR 필터 및 IIR 필터를 포함한다. 제1 노치 파라메터화부(226a)는 동측 HRTF 잔여 성분을 수신하고, 이를 이용하여 동측 IR 필터 계수를 생성한다. 제2 노치 파라메터화부(226b)는 대측 HRTF 잔여 성분을 수신하고, 이를 이용하여 대측 IR 필터 계수를 생성한다.

이와 같이, 바이노럴 파라메터 생성부(220-2)에 의해 생성된 바이노럴 파라메터는 방향 렌더러로 전달된다. 상기 바이노럴 파라메터는 양이간 파라메터, 동측/대측 IR 필터 계수를 포함한다. 이때, 양이간 파라메터는 ILD 및 ITD를 적어도 포함한다.

도 7은 본 발명의 실시예에 따른 방향 렌더러(120-2)를 나타낸 블록도이다. 도 7을 참조하면, 방향 렌더러(120-2)는 인벨로프 필터링부(125) 및 동측/대측 노치 필터링부(126a 126b)를 포함할 수 있다. 일 실시예에 따르면, 동측 노치 필터링부(126a)는 도 2의 동측 필터링부(122a)를 대체하는 구성으로 사용될 수 있으며, 인벨로프 필터링부(125) 및 대측 노치 필터링부(126b)는 도 2의 대측 필터링부(122b)를 대체하는 구성으로 사용될 수 있다.

먼저, 인벨로프 필터링부(125)는 양이간 파라메터를 수신하고, 수신된 양이간 파라메터에 기초하여 입력 오디오 신호를 필터링 하여 동측/대측 간의 인벨로프 차이를 반영한다. 도 7의 실시예에 따르면, 인벨로프 필터링부(125)는 대측 신호를 위한 필터링을 수행할 수 있으나, 본 발명은 이에 한정되지 않는다. 즉, 다른 실시예에 따르면 인벨로프 필터링부(125)는 동측 신호를 위한 필터링을 수행할 수도 있다. 인벨로프 필터링부(125)가 대측 신호를 위한 필터링을 수행할 경우, 양이간 파라메터는 동측 인벨로프를 기준으로 한 대측 인벨로프의 상대적인 정보를 나타낼 수 있으며, 인벨로프 필터링부(125)가 동측 신호를 위한 필터링을 수행할 경우, 양이간 파라메터는 대측 인벨로프를 기준으로 한 동측 인벨로프의 상대적인 정보를 나타낼 수 있다.

다음으로, 노치 필터링부(126a, 126b)는 동측/대측 신호에 대한 필터링을 수행하여 각각 동측/대측 전달 함수의 노치를 반영한다. 제1 노치 필터링부(126a)는 입력 오디오 신호를 동측 IR 필터 계수로 필터링하여 동측 출력 신호를 생성한다. 제2 노치 필터링부(126b)는 인벨로프 필터링이 수행된 입력 오디오 신호를 대측 IR 필터 계수로 필터링하여 대측 출력 신호를 생성한다. 도 7의 실시예에서는 인벨로프 필터링이 노치 필터링보다 먼저 수행되는 것으로 도시되었으나, 본 발명은 이에 한정하지 않는다. 본 발명의 다른 실시예에 따르면, 입력 오디오 신호에 대한 동측/대측 노치 필터링이 먼저 수행된 후, 동측 또는 대측 신호에 대한 인벨로프 필터링이 수행될 수 있다.

이와 같이, 도 7의 실시예에 따르면, 방향 렌더러(120-2)는 동측 노치 필터링부(126a)를 이용하여 동측 필터링을 수행할 수 있다. 또한, 방향 렌더러(120-2)는 인벨로프 필터링부(125) 및 대측 노치 필터링부(126b)를 이용하여 대측 필터링을 수행할 수 있다. 이때, 동측 필터링에 사용되는 동측 전달 함수는 동측 HRTF의 노치 성분에 기초하여 생성된 IR 필터 계수를 포함한다. 또한, 대측 필터링에 사용되는 대측 전달 함수는 대측 HRTF의 노치 성분에 기초하여 생성된 IR 필터 계수 및 양이간 파라메터를 포함한다. 여기서, 양이간 파라메터는 동측 HRTF의 인벨로프 성분과 대측 HRTF의 인벨로프 성분에 기초하여 생성된다.

(MITF 제8 방법 - 하이브리드 ITF)

본 발명의 제8 실시예에 따르면, 전술한 ITF 및 MITF 중 두 개 이상이 조합된 하이브리드 ITF(HITF)가 사용될 수 있다. 본 발명의 실시예에서 HITF는 적어도 하나의 주파수 대역에서 사용되는 전달 함수가 다른 주파수 대역에서 사용되는 전달 함수와 다른 양이간 전달 함수를 나타낸다. 즉, 제1 주파수 대역과 제2 주파수 대역에서 각각 서로 다른 전달 함수에 기초하여 생성된 동측 및 대측 전달 함수가 사용될 수 있다. 본 발명의 일 실시예에 따르면, 제1 주파수 대역의 바이노럴 렌더링에는 ITF가, 제2 주파수 대역의 바이노럴 렌더링에는 MITF가 사용될 수 있다.

더욱 구체적으로, 저주파 대역의 경우 양이 레벨, 양이 위상 차이 등이 음상 정위에 중요한 요소이며, 고주파 대역의 경우 스펙트럴 인벨로프, 특정 노치, 피크 등이 음상 정위의 중요한 단서가 된다. 따라서 이를 효과적으로 반영하기 위해 저주파 대역의 동측 및 대측 전달 함수는 ITF에 기초하여 생성되고, 고주파 대역의 동측 및 대측 전달 함수는 MITF에 기초하여 생성될 수 있다. 이를 수식으로 나타내면 아래 수학식 9와 같다.

여기서, k는 주파수 인덱스, C0는 임계 주파수 인덱스이며, h_I(k) 및 h_C(k)는 각각 본 발명의 실시예에 따른 동측 및 대측 HITF를 나타낸다. 또한, I_I(k) 및 I_C(k)는 각각 동측 및 대측 ITF를 나타내며, M_I(k) 및 M_C(k)는 각각 전술한 실시예들 중 어느 하나에 따른 동측 및 대측 MITF를 나타낸다.

즉, 본 발명의 일 실시예에 따르면, 주파수 인덱스가 임계 주파수 인덱스보다 낮은 제1 주파수 대역의 동측 및 대측 전달 함수는 ITF에 기초하여 생성되고, 주파수 인덱스가 임계 주파수 인덱스보다 높거나 같은 제2 주파수 대역의 동측 및 대측 전달 함수는 MITF에 기초하여 생성된다. 일 실시예에 따르면, 임계 주파수 인덱스 C0는 500Hz 내지 2kHz 사이의 특정 주파수를 가리킬 수 있다.

한편 본 발명의 다른 실시예에 따르면, 저주파 대역의 동측 및 대측 전달 함수는 ITF에 기초하여 생성되고, 고주파 대역의 동측 및 대측 전달 함수는 MITF에 기초하여 생성되며, 저주파 대역과 고주파 대역 사이의 중간 주파수 대역의 동측 및 대측 전달 함수는 ITF와 MITF의 선형 결합에 기초하여 생성될 수 있다. 이를 수식으로 나타내면 아래 수학식 10과 같다.

여기서, C1은 제1 임계 주파수 인덱스를, C2는 제2 임계 주파수 인덱스를 나타낸다. 또한, g1(k) 및 g2(k)는 각각 주파수 인덱스 k에서 ITF 및 MITF에 대한 게인(gain)을 나타낸다.

즉, 본 발명의 다른 실시예에 따르면, 주파수 인덱스가 제1 임계 주파수 인덱스보다 낮은 제1 주파수 대역의 동측 및 대측 전달 함수는 ITF에 기초하여 생성되며, 주파수 인덱스가 제2 임계 주파수 인덱스보다 높은 제2 주파수 대역의 동측 및 대측 전달 함수는 MITF에 기초하여 생성된다. 또한, 주파수 인덱스가 제1 임계 주파수 인덱스와 제2 주파수 인덱스 사이에 있는 제3 주파수 대역의 동측 및 대측 전달 함수는 ITF와 MITF의 선형 결합에 기초하여 생성된다. 다만, 본 발명은 이에 한정되지 않으며, 제3 주파수 대역의 동측 및 대측 전달 함수는 ITF와 MITF의 로그 결합, 스플라인(spline) 결합, 라그랑주(lagrange) 결합 중 적어도 하나에 기초하여 생성될 수도 있다.

일 실시예에 따르면, 제1 임계 주파수 인덱스 C1은 500Hz 내지 1kHz 사이의 특정 주파수를 가리킬 수 있으며, 제2 임계 주파수 인덱스 C2는 1kHz 내지 2kHz 사이의 특정 주파수를 가리킬 수 있다. 또한, 에너지 보존을 위해 게인 g1(k) 및 g2(k)의 제곱 합산 값 g1(k)^2+g2(k)^2=1을 만족시킬 수 있다. 그러나 본 발명은 이에 한정되지 않는다.

한편, ITF에 기초하여 생성된 전달 함수와 MITF에 기초하여 생성된 전달 함수는 서로 다른 딜레이(delay)를 가질 수 있다. 본 발명의 실시예에 따르면, 특정 주파수 대역의 동측/대측 전달 함수의 딜레이가 다른 주파수 대역의 동측/대측 전달 함수의 딜레이와 서로 다를 경우, 긴 딜레이를 갖는 동측/대측 전달 함수를 기준으로 하여 짧은 딜레이를 갖는 동측/대측 전달 함수에 대한 지연 보상을 추가로 수행할 수 있다.

본 발명의 또 다른 실시예에 따르면, 제1 주파수 대역의 동측 및 대측 전달 함수는 동측 및 대측 HRTF가 사용되고, 제2 주파수 대역의 동측 및 대측 전달 함수는 MITF에 기초하여 생성될 수 있다. 또는, 제1 주파수 대역의 동측 및 대측 전달 함수는 동측 및 대측 HRTF의 각 주파수 밴드 별 ILD, ITD, IPD(Interaural Phase Difference) 및 IC(Interaural Coherence) 중 적어도 하나로부터 추출된 정보에 기초하여 생성되고, 제2 주파수 대역의 동측 및 대측 전달 함수는 MITF에 기초하여 생성될 수 있다.

본 발명의 또 다른 실시예에 따르면, 제1 주파수 대역의 동측 및 대측 전달 함수는 구 형 헤드 모형의 동측 및 대측 HRTF에 기초하여 생성되고, 제2 주파수 대역의 동측 및 대측 전달 함수는 측정된 동측 및 대측 HRTF에 기초하여 생성될 수 있다. 일 실시예에 따르면, 제1 주파수 대역과 제2 주파수 대역 사이의 제3 주파수 대역의 동측 및 대측 전달 함수는 구 형 헤드 모형의 HRTF와 측정된 HRTF의 선형 결합, 중첩, 윈도잉 등에 기초하여 생성될 수 있다.

(MITF 제9 방법 - 하이브리드 ITF 2)

본 발명의 제9 실시예에 따르면, HRTF, ITF 및 MITF 중 두 개 이상이 조합된 하이브리드 ITF(HITF)가 사용될 수 있다. 본 발명의 실시예에 따르면, 음상 정위 성능을 높이기 위해 특정 주파수 대역의 스펙트럴 특성이 강조될 수 있다. 전술한 ITF 또는 MITF를 사용하면 음원의 컬러레이션이 감소되지만 음상 정위 성능도 떨어지는 트레이드 오프 현상이 일어난다. 따라서, 음상 정위 성능 향상을 위해 동측/대측 전달 함수에 대한 추가적인 정제가 필요하다.

본 발명의 일 실시예에 따르면, 음원의 컬러레이션에 지배적인 영향을 미치는 저주파 대역의 동측 및 대측 전달 함수는 MITF(또는, ITF)에 기초하여 생성되고, 음상 정위에 지배적인 영향을 미치는 고주파 대역의 동측 및 대측 전달 함수는 HRTF에 기초하여 생성될 수 있다. 이를 수식으로 나타내면 아래 수학식 11과 같다.

여기서, k는 주파수 인덱스, C0는 임계 주파수 인덱스이며, h_I(k) 및 h_C(k)는 각각 본 발명의 실시예에 따른 동측 및 대측 HITF를 나타낸다. 또한, H_I(k) 및 H_C(k)는 각각 동측 및 대측 HRTF를 나타내며, M_I(k) 및 M_C(k)는 각각 전술한 실시예들 중 어느 하나에 따른 동측 및 대측 MITF를 나타낸다.

즉, 본 발명의 일 실시예에 따르면, 주파수 인덱스가 임계 주파수 인덱스보다 낮은 제1 주파수 대역의 동측 및 대측 전달 함수는 MITF에 기초하여 생성되고, 주파수 인덱스가 임계 주파수 인덱스보다 높거나 같은 제2 주파수 대역의 동측 및 대측 전달 함수는 HRTF에 기초하여 생성된다. 일 실시예에 따르면, 임계 주파수 인덱스 C0는 2kHz 내지 4kHz 사이의 특정 주파수를 가리킬 수 있으나, 본 발명은 이에 한정되지 않는다.

본 발명의 다른 실시예에 따르면, 동측 및 대측 전달 함수는 ITF에 기초하여 생성되며, 고주파 대역의 동측 및 대측 전달 함수에 별도의 게인이 적용될 수 있다. 이를 수식으로 나타내면 아래 수학식 12와 같다.

여기서, G는 게인을 나타낸다. 즉, 본 발명의 다른 실시예에 따르면, 주파수 인덱스가 임계 주파수 인덱스보다 낮은 제1 주파수 대역의 동측 및 대측 전달 함수는 ITF에 기초하여 생성되고, 주파수 인덱스가 임계 주파수 인덱스보다 높거나 같은 제2 주파수 대역의 동측 및 대측 전달 함수는 ITF에 기 설정된 게인 G를 곱한 값에 기초하여 생성된다.

본 발명의 또 다른 실시예에 따르면, 동측 및 대측 전달 함수는 전술한 실시예들 중 어느 하나에 따른 MITF에 기초하여 생성되며, 고주파 대역의 동측 및 대측 전달 함수에 별도의 게인이 적용될 수 있다. 이를 수식으로 나타내면 아래 수학식 13과 같다.

즉, 본 발명의 또 다른 실시예에 따르면, 주파수 인덱스가 임계 주파수 인덱스보다 낮은 제1 주파수 대역의 동측 및 대측 전달 함수는 MITF에 기초하여 생성되고, 주파수 인덱스가 임계 주파수 인덱스보다 높거나 같은 제2 주파수 대역의 동측 및 대측 전달 함수는 MITF에 기 설정된 게인 G를 곱한 값에 기초하여 생성된다.

상기 HITF에 적용되는 게인 G는 다양한 실시예에 따라 생성될 수 있다. 일 실시예에 따르면, 제2 주파수 대역에서 최대 고도각 HRTF 크기(magnitude)의 평균 값과 최소 고도각 HRTF 크기의 평균 값을 각각 산출하고, 두 개의 평균 값의 차이를 이용한 인터폴레이션에 기초하여 게인 G가 획득될 수 있다. 이때, 제2 주파수 대역의 주파수 빈(bin) 별로 서로 다른 게인을 적용함으로 게인의 해상도가 높아질 수 있다.

한편, 제1 주파수 대역과 제2 주파수 대역간의 불연속성으로 인해 왜곡이 발생하는 것을 방지하기 위해, 주파수 축에서 평활화 된 게인이 추가로 사용될 수 있다. 일 실시예에 따르면, 게인이 적용되지 않는 제1 주파수 대역과 게인이 적용되는 제2 주파수 대역 사이에 제3 주파수 대역이 설정될 수 있다. 제3 주파수 대역의 동측 및 대측 전달 함수에는 평활화 된 게인이 적용된다. 평활화 된 게인은 선형 인터폴레이션, 로그 인터폴레이션, 스플라인 인터폴레이션, 라그랑주 인터폴레이션 중 적어도 하나에 기초하여 생성될 수 있으며, 주파수 빈마다 다른 값을 갖기 때문에 G(k)로 표현될 수 있다.

본 발명의 다른 실시예에 따르면, 게인 G는 다른 고도각의 HRTF로부터 추출된 인벨로프 성분에 기초하여 획득될 수 있다. 도 8은 본 발명의 또 다른 실시예에 따라 게인을 적용한 MITF 생성 방법을 나타내고 있다. 도 8을 참조하면, MITF 생성부(220-3)는 HRTF 분리부(222a, 222c), ELD(Elevation Level Difference) 산출부(223) 및 노멀라이제이션부(224)를 포함할 수 있다.

도 8은 MITF 생성부(222-3)가 주파수 k, 고도각 θ1, 방위각 Φ의 동측 및 대측 MITF를 생성하는 실시예를 도시한다. 먼저, 제1 HRTF 분리부(222a)는 고도각 θ1, 방위각 Φ의 동측 HRTF를 동측 HRTF 인벨로프 성분과 동측 HRTF 노치 성분으로 분리한다. 한편, 제2 HRTF 분리부(222c)는 다른 고도각 θ2의 동측 HRTF를 동측 HRTF 인벨로프 성분과 동측 HRTF 노치 성분으로 분리한다. θ2는 θ1과 다른 고도각을 나타내며, 일 실시예에 따르면 θ2는 0도(즉, 수평면 상의 각도)로 설정될 수 있다.

ELD 산출부(223)는 고도각 θ1의 동측 HRTF 인벨로프 성분과 고도각 θ2의 동측 HRTF 인벨로프 성분을 수신하고, 이에 기초하여 게인 G를 생성한다. 일 실시예에 따르면, ELD 산출부(223)는 고도각 변화에 따라 주파수 응답이 크게 변하지 않을수록 게인 값을 1에 가깝게 설정하고, 주파수 응답이 크게 변할수록 게인 값이 증폭되거나 감쇠되도록 설정한다.

MITF 생성부(222-3)는 ELD 산출부(223)에서 생성된 게인을 이용하여 MITF를 생성할 수 있다. 수학식 14는 생성된 게인을 이용한 MITF 생성 실시예를 나타내고 있다.

주파수 인덱스가 임계 주파수 인덱스보다 낮은 제1 주파수 대역의 동측 및 대측 전달 함수는 수학식 5의 실시예에 따른 MITF에 기초하여 생성된다. 즉, 고도각 θ1 및 방위각 Φ의 동측 MITF M_I(k, θ1, Φ)는 동측 HRTF로부터 추출된 노치 성분 H_I_notch(k, θ1, Φ) 값으로 결정되고, 대측 MITF M_C(k, θ1, Φ)는 대측 HRTF H_C(k, θ1, Φ)를 동측 HRTF로부터 추출된 인벨로프 성분 H_I_env(k, θ1, Φ)로 나눈 값으로 결정된다.

그러나 주파수 인덱스가 임계 주파수 인덱스보다 높거나 같은 제2 주파수 대역의 동측 및 대측 전달 함수는 수학식 5의 실시예에 따른 MITF에 게인 G를 곱한 값에 기초하여 생성된다. 즉, M_I(k, θ1, Φ)는 동측 HRTF로부터 추출된 노치 성분 H_I_notch(k, θ1, Φ) 값에 게인 G를 곱한 값으로 결정되고, M_C(k, θ1, Φ)는 대측 HRTF H_C(k, θ1, Φ)에 게인 G를 곱한 값을 동측 HRTF로부터 추출된 인벨로프 성분 H_I_env(k, θ1, Φ)로 나눈 값으로 결정된다.

따라서, 도 8을 참조하면 제1 HRTF 분리부(222a)에서 분리된 동측 HRTF 노치 성분은 게인 G와 곱해져서 동측 MITF로 출력된다. 또한, 노멀라이제이션부(224)는 수학식 14와 같이 동측 HRTF 인벨로프 성분에 대비한 대측 HRTF 값을 산출하고, 산출된 값은 게인 G와 곱해져서 대측 MITF로 출력된다. 이때, 게인 G는 해당 고도각 θ1의 동측 HRTF 인벨로프 성분과 다른 고도각 θ2의 동측 HRTF 인벨로프 성분에 기초하여 생성된 값이다. 수학식 15는 상기 게인 G를 생성하는 실시예를 나타내고 있다.

즉, 게인 G는 고도각 θ1 및 방위각 Φ의 동측 HRTF로부터 추출된 인벨로프 성분 H_I_env(k, θ1, Φ)를 고도각 θ2 및 방위각 Φ의 동측 HRTF로부터 추출된 인벨로프 성분 H_I_env(k, θ2, Φ)로 나눈 값으로 결정될 수 있다.

한편, 상기 실시예에서는 고도각이 서로 다른 동측 HRTF들의 인벨로프 성분을 이용하여 게인 G가 생성되었으나, 본 발명은 이제 한정되지 않는다. 즉, 게인 G는 방위각이 서로 다른 동측 HRTF들의 인벨로프 성분, 또는 고도각과 방위각이 모두 다른 동측 HRTF들의 인벨로프 성분에 기초하여 생성될 수도 있다. 또한, 상기 게인 G는 HITF뿐만 아니라 ITF, MITF 및 HRTF 중 적어도 하나에 적용될 수도 있다. 뿐만 아니라, 게인 G는 고주파 대역 등의 특정 주파수 대역뿐만 아니라 모든 주파수 대역에도 적용될 수 있다.

전술한 다양한 실시예들에 따른 동측 MITF(또는, 동측 HITF)는 동측 전달 함수로, 대측 MITF(또는, 대측 HITF)는 대측 전달 함수로 방향 렌더러에 전달된다. 방향 렌더러의 동측 필터링부는 입력 오디오 신호를 전술한 실시예에 따른 동측 MITF(또는, 동측 HITF)로 필터링하여 동측 출력 신호를 생성하고, 대측 필터링부는 입력 오디오 신호를 전술한 실시예에 따른 대측 MITF(또는, 대측 HITF)로 필터링하여 대측 출력 신호를 생성한다.

전술한 실시예들에서 동측 MITF 또는 대측 MITF의 값이 1인 경우, 해당 동측 필터링부 또는 대측 필터링부는 필터링 연산을 바이패스할 수 있다. 이때, 필터링의 바이패스 여부는 렌더링 시점에 결정될 수 있다. 그러나 다른 실시예에 따르면, 원형 전달 함수(HRTF)가 미리 결정된 경우 동측/대측 필터링부는 바이패스 지점(e.g. 주파수 인덱스)에 대한 부가 정보를 미리 획득하고 해당 부가 정보에 기초하여 각 지점에서의 필터링의 바이패스 여부를 결정할 수 있다.

한편, 전술한 실시예 및 도면에서는 동측 필터링부 및 대측 필터링부가 동일한 입력 오디오 신호를 수신하여 필터링을 수신하는 것으로 설명되었지만, 본 발명은 이에 한정하지 않는다. 본 발명의 다른 실시예에 따르면, 전 처리가 수행된 2채널 신호가 방향 렌더러의 입력으로 수신될 수 있다. 예를 들어, 전 처리 단계로 거리 렌더링이 수행된 동측 신호 d^I 및 대측 신호 d^C가 방향 렌더러의 입력으로 수신될 수 있다. 이때, 방향 렌더러의 동측 필터링부는 수신된 동측 신호 d^I를 동측 전달 함수로 필터링하여 동측 출력 신호 B^I를 생성할 수 있다. 또한, 방향 렌더러의 대측 필터링부는 수신된 대측 신호 d^C를 대측 전달 함수로 필터링하여 대측 출력 신호 B^C를 생성할 수 있다.

<Sound Spectral Highligting>

도 9는 본 발명의 또 다른 실시예에 따른 방향 렌더러를 나타낸 블록도이다. 도 9의 실시예에 따르면, 방향 렌더러(120-3)는 음원 분류부(121), MITF 필터(120-1), SSH 필터(123) 및 가중치 팩터 산출부(124)를 포함할 수 있다. 도 9에서는 MITF 필터로서 도 3의 방향 렌더러 120-1이 사용되는 것을 도시하였으나, 본 발명은 이에 한정되지 않으며 도 7의 방향 렌더러 120-2가 MITF 필터로 사용될 수도 있다.

비개인화된 HRTF를 이용하여 합성된 바이노럴 신호의 경우 음상 정위와 음색이 반비례 관계에 있다. 즉, 고도각이 잘 느껴지게 합성된 신호일수록 원음과 비교하여 음색의 저하가 크게 발생한다. 이를 극복하기 위해 방향 렌더러(120-3)는 Sound Spectral Highlighting(SSH)을 적용할 수 있다. 본 발명의 실시예에 따르면, 방향 렌더러(120-3)는 입력 오디오 신호의 음원 특성, 스펙트럼 특성 및 렌더링될 공간 정보 중 적어도 하나에 기초하여 SSH를 선택적으로 적용할 수 있다.

도 9는 입력 오디오 신호의 음원 특성에 따라 SSH를 선택적으로 적용하는 실시예를 나타내고 있다. 방향 렌더러(120-3)는 입력 오디오 신호의 음원 특성에 따라 입력 오디오 신호의 음상 정위가 우선 사항인지 또는 음색이 우선 사항인지를 판단한다. 입력 오디오 신호의 음상 정위가 우선 사항인 것으로 판별될 경우, 방향 렌더러(120-3)는 SSH 필터링(Sound Spectral Highlight filtering)을 수행하지 않으며, MITF 필터(120-1)를 이용하여 입력 오디오 신호를 필터링한다. 그러나 입력 오디오 신호의 음색이 우선 사항인 것으로 판별될 경우, 방향 렌더러(120-3)는 SSH 필터(123)를 이용하여 입력 오디오 신호를 필터링한다. 예를 들어, 방향 렌더러(120-3)는 음색의 변화가 크게 중요하지 않은 효과음 신호에 SSH 필터링을 수행하고, 음색의 저하가 음질에 큰 영향을 미치는 음악 신호에는 SSH 필터링을 수행하지 않을 수 있다.

이를 위해, 음원 분류부(121)는 입력 오디오 신호로부터 추출된 음원 특성 정보에 기초하여 입력 오디오 신호를 분류한다. 입력 오디오 신호의 음원 특성 정보는 입력 오디오 신호의 시간 특성 및 주파수 특성 중 적어도 하나를 포함한다. 방향 렌더러(120-3)는 음원 분류부(121)의 분류 결과에 기초하여 입력 오디오 신호에 서로 다른 필터링을 수행한다. 이때, 방향 렌더러(120-3)는 상기 분류 결과에 기초하여 입력 오디오 신호에 대한 SSH 필터링 여부를 결정한다. 일 실시예에 따르면, 음원 분류부(121)는 입력 오디오 신호로부터 추출된 음원 특성 정보에 기초하여 입력 오디오 신호를 제1 신호와 제2 신호로 분류할 수 있다. 방향 렌더러(120-3)는 제1 신호에 MITF 필터링을 수행하고, 제2 신호에 SSH 필터링을 수행한다.

입력 오디오 신호는 상기 입력 오디오 신호로부터 추출된 시간 특성 및 주파수 특성 중 적어도 하나에 기초하여 제1 신호 또는 제2 신호로 분류될 수 있다. 먼저, 입력 오디오 신호는 음원의 길이에 기초하여 제1 신호 또는 제2 신호로 분류될 수 있다. 게임 콘텐츠 상에서 총소리, 발자국 소리와 같은 효과음은 상대적으로 음악보다 길이가 짧다. 따라서, 음원 분류부(121)는 입력 오디오 신호의 음원이 기 설정된 길이보다 길면 해당 신호를 제1 신호로 분류하고, 기 설정된 길이보다 짧으면 해당 신호를 제2 신호로 분류할 수 있다. 또한, 입력 오디오 신호는 음원의 주파수 대역폭에 기초하여 제1 신호 또는 제2 신호로 분류될 수 있다. 대체적으로 음악은 효과음에 비해 넓은 주파수 대역에 분포되어 있다. 따라서, 음원 분류부(121)는 입력 오디오 신호의 음원의 주파수 대역폭이 기 설정된 대역폭 보다 넓으면 해당 신호를 제1 신호로 분류하고, 기 설정된 대역폭보다 좁으면 해당 신호를 제2 신호로 분류할 수 있다.

다른 실시예로서, 입력 오디오 신호는 특정 임펄스 신호가 반복되는지 여부에 기초하여 제1 신호 또는 제2 신호로 분류될 수 있다. 헬리콥터 소리, 박수 소리 등의 효과음은 특정 임펄스 신호가 반복되는 특성을 갖는다. 따라서, 음원 분류부(121)는 입력 오디오 신호에서 특정 임펄스 신호가 반복될 경우 해당 신호를 제2 신호로 분류할 수 있다. 방향 렌더러(120-3)는 전술한 실시예들 중 적어도 하나를 조합하여 입력 오디오 신호를 복수의 신호로 분류하고, 분류 결과에 기초하여 입력 오디오 신호의 SSH 필터링 여부를 결정한다. 본 발명의 추가적인 실시예에 따르면, 입력 오디오 신호의 분류 정보는 메타 데이터로 방향 렌더러(120-3)에 전달될 수 있다. 방향 렌더러(120-3)는 메타 데이터에 포함된 분류 정보에 기초하여 입력 오디오 신호의 SSH 필터링 여부를 결정한다.

상기 실시예에서는 입력 오디오 신호가 제1 신호 및 제2 신호로 분류되어 각 신호에 MITF 필터링 및 SSH 필터링이 수행되는 것으로 서술되었으나, 본 발명은 이에 한정되지 않는다. 본 발명의 다른 실시예에 따르면, 입력 오디오 신호는 기 설정된 복수 개의 신호로 분류되고, 분류된 각 신호마다 서로 다른 필터링이 수행될 수 있다. 또한, 방향 렌더러(120-3)는 분류된 신호 중 적어도 하나에 MITF 필터링과 SSH 필터링을 함께 수행할 수 있다.

가중치 팩터 산출부(124)는 SSH 필터(123)에 적용될 가중치 팩터를 생성하고, 이를 SSH 필터(123)에 전달한다. SSH 필터(123)는 가중치 팩터를 이용하여 입력 오디오 신호의 피크 및/또는 노치 성분을 강조한다. 본 발명의 일 실시예에 따르면, 가중치 팩터 산출부(124)는 음색 저하를 최소화하기 위해 입력 오디오 신호의 스펙트럼 특성에 기초하여 SSH 적용을 위한 가중치 팩터를 결정할 수 있다. 가중치 팩터 산출부(124)는 입력 오디오 신호의 피크 성분 및 노치 성분의 크기(magnitude)에 기초하여 가중치 팩터를 생성할 수 있다. 또한, 가중치 팩터 산출부(124)는 고도각 정위에 영향을 미치는 특정 주파수 대역의 가중치 팩터를 다른 주파수 대역의 가중치 팩터와 다르게 설정할 수 있다.

가중치 팩터 산출부(124)는 입력 오디오 신호에 대응하는 HRTF H(k)와 참조 HRTF H_reference(k)의 크기를 비교한 결과에 기초하여 H(k)에 적용될 가중치 팩터를 결정할 수 있다. 일 실시예에 따르면, H_reference(k)는 H(k)를 포함하는 HRTF 세트의 평균 값, 중간 값, 인벨로프 평균 값 및 인벨로프 중간 값 중 적어도 하나로부터 획득될 수 있다. 상기 HRTF 세트는 H(k) 및 이의 반대측 HRTF를 포함한다. 다른 실시예에 따르면, H_reference(k)는 H(k)와 다른 방향을 갖는 참조 HRTF 또는 이의 인벨로프 성분일 수 있다. 예를 들어, H_reference(k)는 H(k)와 동일한 방위각을 갖고 고도각 0을 갖는 HRTF 또는 이의 인벨로프 성분일 수 있다.

가중치 팩터 산출부(124)는 다양한 실시예에 따라 가중치 팩터를 결정한다. 일 실시예에 따르면, 가중치 팩터 산출부(124)는 H(k)와 H_refence(k)의 차분 값을 측정하고, 차분 값이 큰 순서로 기 설정된 개수의 피크와 노치를 강조하기 위한 가중치 팩터를 생성할 수 있다. 또한, H(k)와 H_reference(k)의 차분 값이 기 설정된 값보다 클 경우, 가중치 팩터 산출부(124)는 음색의 저하를 방지하기 위해 해당 피크 성분 또는 노치 성분에 대한 가중치 팩터를 작게 설정할 수 있다. 본 발명의 다른 실시예에 따르면, 가중치 팩터 산출부(124)는 H(k)와 H_reference(k)의 크기 비율(magnitude ratio)을 측정하고, 측정된 크기 비율에 기초하여 가중치 팩터를 생성한다. 오디오 신호의 음색은 피크 성분이 강조될 때보다 노치 성분이 강조될 때 비교적 큰 영향을 받을 수 있다. 가중치 팩터 산출부(124)는 H_reference(k)에 대한 H(k)의 비율이 1보다 큰 경우 해당 성분을 피크 성분으로 판별하여 높은 가중치 팩터를 할당하고, 상기 비율이 1보다 작을 경우 낮은 가중치 팩터를 할당할 수 있다. 이를 수식으로 나타내면 아래 수학식 16과 같다.

여기서, w_g(k)는 가중치 팩터이며, α>β이다.

즉, H_reference(k)에 대한 H(k)의 비율이 1보다 큰 경우 가중치 팩터 w_g(k) 는 제1 팩터 α로 결정되고, H_reference(k)에 대한 H(k)의 비율이 1보다 작은 경우 가중치 팩터 w_g(k) 는 제2 팩터 β로 결정된다. 이때, 제1 팩터 α는 제2 팩터 β보다 크다. 이와 같은 가중치 팩터 결정을 통해 음상 정위 성능을 유지하면서 오디오 신호의 음질의 저하가 방지될 수 있다. 상기 α 및 β는 상수로 결정될 수도 있으며, H_reference(k)에 대한 H(k)의 비율에 따라 다른 값을 갖도록 결정될 수도 있다. 한편, HRTF는 좌측 귀에서 측정된 전달함수와 우측 귀에서 측정된 전달함수가 한 쌍을 이루는데, SSH를 적용하면 원형 HRTF의 ILD 정보가 왜곡될 수 있다. 따라서, 일 실시예에 따르면 가중치 팩터 산출부(124)는 좌측 전달함수와 우측 전달함수에 각 주파수 별로 동일한 가중치 팩터를 적용할 수 있다.

<거리 렌더링>

3차원 공간에서 오디오 신호를 렌더링 할 때 사운드의 방향, 고도각에 따라 측정된 HRTF와의 컨볼루션을 통하여 음상을 특정 위치에 정위 시키게 된다. 그러나 기존에 제공되는 HRTF 데이터베이스는 특정 거리에서 측정되는 것이 일반적이다. 고정된 위치에서 측정된 HRTF만을 이용하여 오디오 신호의 렌더링을 수행하면, 가상 공간에서의 공간감을 제공해 줄 수 없고 전후 좌우의 거리감이 상실된다. 따라서 가상 공간에서 몰입도(immersion)를 향상시키기 위해 음원의 방향, 고도각뿐만 아니라 음원의 거리까지 고려되어야 한다. 본 발명의 오디오 신호 처리 장치는 입력 오디오 신호의 방향 렌더링뿐만 아니라 거리 렌더링을 함께 수행할 수 있다. 본 발명의 실시예에 따른 거리 렌더링은 ADR(Advanced Distance Rendering)로도 지칭될 수 있으며, 가상 공간에서 거리감을 향상시키기 위한 방법들을 통칭한다. 아래 열거된 요소들은 가상 공간에서 청취자가 사운드 오브젝트의 거리감을 인지하는데 영향을 준다.

(1) 인텐시티(Intensity) - 거리에 따른 사운드의 레벨 변화

(2) 헤드 쉐도잉(Head shadowing) - 머리에 의한 사운드 회절 반사 및 산란으로 인한 주파수 감쇄 특성

(3) 초기 시간 지연 - 초기 거리에 따른 사운드 오브젝트로부터 귀까지의 사운드 도달 시간

(4) 도플러 효과 - 오브젝트 움직임에 따른 귀까지의 사운드 도달 시간 변화로 인한 주파수 변조

(5) 운동 시차(Motion parallax) - 거리에 따른 양이간의 바이노럴 큐의 변화 정도 (시차)

(6) Direct to Reverberation Ratio (DRR) - 직접음과 잔향음 간의 음량비

본 발명의 실시예에 따르면, 거리 렌더러는 상기 요소들 중 적어도 하나를 디스턴스 큐(distance cue)로 하여 입력 오디오 신호에 대한 거리 렌더링을 수행한다.

도 10은 청자로부터의 거리에 따른 디스턴스 큐를 도식화하고 있다. 사람이 공간 정보 없이 음원의 정확한 거리를 인지 할 수 있는 범위는 특정 거리로 제한되어 있다. 본 발명의 실시예에 따르면, 청자와 음원 간의 거리는 기 설정된 거리를 기준으로 근거리(near-field)와 원거리(far-field)로 구분된다. 이때, 기 설정된 거리는 0.8m 내지 1.2m 사이의 특정 거리가 될 수 있으며, 일 실시예에 따르면 1m일 수 있다. 상기 열거된 요소들은 음원과 청자 간의 거리에 따라 청자의 거리감 인지에 미치는 영향이 다르다. 예를 들어, 음원이 청자로부터 근거리에 위치할 경우, 헤드 쉐도잉 및 운동 시차가 음원의 거리감 인지에 중요한 영향을 준다. 또한, 음원이 청자로부터 원거리에 위치할 경우, DRR이 음원의 거리감 인지에 영향을 줄 수 있다. 한편, 초기 시간 지연, 도플러 효과 및 강도는 근거리 및 원거리에 관계 없이 음원의 거리감 인지에 일반적인 영향을 준다. 다만, 도 10에 도시된 요소들은 근거리 및 원거리에서 각각 우세적인 디스턴스 큐를 나타낸 것이며, 본 발명은 이에 한정되지 않는다. 즉, 근거리에서 우세한 요소들이 원거리의 거리감 인지에 사용될 수도 있으며, 그 반대로도 가능하다.

거리 렌더링을 수행하는 방법은 크게 두 가지로 분류될 수 있다. 첫 번째 방법은 다양한 거리의 지점들에서 실측된 HRTF를 이용하여 렌더링을 수행하는 것이며, 두 번째 방법은 특정 거리의 지점에서 실측된 HRTF를 이용하여 렌더링을 수행하되 상기 디스턴스 큐들을 추가적으로 보상하는 것이다. 이때, 특정 거리는 하나의 기 설정된 거리일 수도 있으며, 복수의 기 설정된 거리일 수도 있다.

도 11은 본 발명의 일 실시예에 따른 바이노럴 렌더링 방법을 나타낸 도면이다. 도 11의 실시예에서, 전술한 도 2의 실시예와 동일하거나 상응하는 부분은 중복적인 설명을 생략하도록 한다.

입력 오디오 신호의 바이노럴 렌더링을 위한 바이노럴 렌더러(100)는 방향 렌더러(120)와 거리 렌더러(140)를 포함한다. 바이노럴 렌더러(100)는 바이노럴 파라메터 컨트롤러(200)로부터 바이노럴 파라메터를 수신하고, 수신된 파라메터에 기초하여 입력 오디오 신호에 대한 렌더링을 수행한다. 전술한 바와 같이, 방향 렌더러(120)는 입력 오디오 신호의 음원 방향을 정위하는 방향 렌더링을 수행한다. 또한, 거리 렌더러(140)는 입력 오디오 신호의 음원 거리에 따른 효과를 반영하는 거리 렌더링을 수행한다.

바이노럴 파라메터 컨트롤러(200)는 입력 오디오 신호에 대응하는 메타데이터를 수신하고, 수신된 메터데이터를 이용하여 바이노럴 파라메터를 생성한다. 이때, 메타데이터에는 입력 오디오 신호에 포함된 사운드 오브젝트의 방향, 고도, 거리 그리고 사운드 오브젝트가 재생되는 공간 정보가 포함될 수 있다. 또한, 메타데이터는 청자의 공간정보, 오디오 신호의 공간 정보, 오디오 신호의 상대 공간 정보 중 적어도 하나를 포함할 수 있다. 바이노럴 파라메터 컨트롤러(200)는 디렉션 파라메터 생성부(220)와 디스턴스 파라메터 생성부(240)를 포함한다. 디렉션 파라메터 생성부(220)는 방향 렌더러(120)에서 사용될 바이노럴 파라메터를 생성한다. 일 실시예에 따르면, 디렉션 파라메터 생성부(220)는 도 4의 MITF 생성부(220)를 나타낼 수 있다. 또한, 디스턴스 파라메터 생성부(240)는 거리 렌더러(140)에서 사용될 바이노럴 파라메터를 생성한다.

도 11에 도시된 각 블록은 본 발명의 바이노럴 렌더링을 수행하기 위한 논리적인 구성을 나타낸 것으로서, 실시예에 따라 적어도 하나의 블록이 통합된 칩으로 구현될 수 있다. 또한, 바이노럴 렌더러(100)와 바이노럴 파라메터 컨트롤러(200)는 분리된 장치로 구현될 수도 있으며 통합된 장치로 구현될 수도 있다.

도 12는 본 발명의 다른 실시예에 따른 바이노럴 렌더링 방법을 나타낸 도면이다. 도 12의 실시예에서, 전술한 도 2 또는 도 11의 실시예와 동일하거나 상응하는 부분은 중복적인 설명을 생략하도록 한다.

도 12의 실시예에 따르면, 바이노럴 렌더러(100)는 잔향 생성기(160) 및 믹서&콤바이너(180)를 추가적으로 포함할 수 있다. 바이노럴 파라메터 컨트롤러(200)로부터 수신된 바이노럴 파라메터는 잔향 생성기(160)와 믹서&콤바이너(180)에도 전달될 수 있다. 잔향 생성기(160)는 바이노럴 파라메터 컨트롤러(200)로부터 공간 정보를 수신하고, 사운드 오브젝트가 위치해 있는 공간에 따른 반사음을 모델링하여 잔향을 생성한다. 이때, 잔향은 초기 반사음(early reflection)과 후기 잔향음(late reverberation)을 포함한다. 믹서&콤바이너(180)는 방향 렌더러(120) 및 거리 렌더러(140)에 의해 생성된 직접음과 잔향 생성기(160)에 의해 생성된 잔향음을 조합하여 출력 오디오 신호를 생성한다.

본 발명의 실시예에 따르면, 믹서&콤바이너(180)는 DRR(Direct to Reverberation Ratio)에 기초하여 출력 오디오 신호의 직접음과 잔향음의 상대적인 출력 크기를 조절한다. DRR은 프리셋 형태로 전달될 수도 있고 사운드 씬(sound scene)으로부터 실시간으로 측정될 수도 있다. DRR은 음원의 거리감 인지에 중요한 역할을 하는데, 특히 원거리에서 청취자가 사운드의 절대 거리를 인지하는데 도움을 준다. 음원이 원거리에 위치할 경우 잔향음은 음원의 정확한 거리감 인지에 도움을 주는 반면, 음원이 근거리에 위치할 경우 잔향음은 음원의 거리감 인지에 방해를 줄 수 있다. 따라서, 효과적인 거리 렌더링을 위해서는 음원의 거리 정보 및 공간 정보에 기초하여 DRR이 적절하게 조절되어야 한다. 본 발명의 실시예에 따르면, DRR은 음원의 디스턴스 큐에 기초하여 결정될 수 있다. 즉, 음원이 근거리에 위치할 경우에는 직접음 대비 잔향음의 레벨이 낮게 설정되고, 음원이 원거리에 위치할 경우에는 직접음 대비 잔향음의 레벨이 높게 설정될 수 있다. 음원의 디스턴스 큐는 입력 오디오 신호에 대응하는 메타데이터로부터 획득될 수 있다.

만약 음원이 기 설정된 거리 이내의 근거리에 위치할 경우, 직접음에 비해 잔향음의 중요도가 낮아질 수 있다. 일 실시예에 따르면, 입력 오디오 신호의 음원이 기 설정된 거리 이내의 근거리에 위치할 경우, 바이노럴 렌더러(100)는 입력 오디오 신호에 대한 잔향음 생성을 생략할 수 있다. 이때, 잔향 생성기(160)가 사용되지 않으므로 바이노럴 렌더링의 연산량이 줄어들 수 있다.

한편, HRTF를 이용하여 생성된 직접음과 잔향 생성기(160)에서 생성된 잔향음을 그대로 믹싱하면, 출력 오디오 신호의 레벨이 비디오 씬 혹은 메타데이터 정보와 일치하지 않을 수 있다. 따라서 본 발명의 일 실시예에 따르면, 바이노럴 렌더러(100)는 출력 오디오 신호와 비디오 씬(video scenec)의 매칭을 위해 DRR을 사용할 수 있다.

본 발명의 다른 실시예에 따르면, 믹서&콤바이너(180)는 음원의 입사각에 따라 출력 오디오 신호의 DRR을 조절할 수 있다. ILD, ITD, 헤드 쉐도잉 등의 특징들은 청자의 정중앙면(median plane)에서 사라지기 때문에, 정중앙면에 근접한 사운드는 측면에 위치한 사운드에 비해 가깝게 느껴지기 힘들 수 있다. 따라서, 믹서&콤바이너(180)는 음원의 위치가 정중앙면에 근접할수록 DRR을 높게 설정할 수 있다. 일 실시예에 따르면, DRR은 정중앙면에서 가장 높게 설정되고 관상면(coronal plane)에서 가장 낮게 설정되며, 그 사이 각도에서는 정중앙면에서의 값과 관상면에서의 값을 인터폴레이션하여 설정될 수 있다.

도 13 및 도 14는 본 발명의 추가적인 실시예에 따른 바이노럴 렌더링 방법들을 나타내고 있다. 도 13 및 도 14에서 서술되는 바이노럴 렌더링은 전술한 바이노럴 렌더러(100)에 의해 수행되고, 바이노럴 렌더링을 위한 파라메터는 바이노럴 파라메터 컨트롤러(200)에 의해 생성될 수 있다.

<바이노럴 렌더링 제1 방법>

본 발명의 제1 실시예에 따른 바이노럴 렌더링은 기 설정된 거리의 HRTF를 이용하여 수행될 수 있다. 일 실시예에 따르면, 기 설정된 거리는 하나의 고정된 거리일 수 있다. HRTF는 청자의 머리 중심을 기준으로 기 설정된 거리의 특정 지점들에서 측정되며, 좌측 HRTF와 우측 HRTF가 하나의 세트를 이룬다. 디렉션 파라메터 생성부는 음원의 위치에 대응하는 고정된 거리의 좌측 HRTF 및 우측 HRTF를 이용하여 동측 전달 함수와 대측 전달 함수를 생성하고, 바이노럴 렌더러는 상기 생성된 동측 및 대측 전달 함수를 이용하여 입력 오디오 신호에 바이노럴 렌더링을 수행하여 음상을 정위시킬 수 있다. 본 발명의 제1 실시예에 따르면, 고정된 거리의 HRTF 세트가 바이노럴 렌더링을 위해 사용되며, 음원의 거리에 따른 효과를 반영하기 위해 1/R 법칙을 이용한 거리 렌더링이 수행될 수 있다.

<바이노럴 렌더링 제2-1 방법 - 시차를 고려한 바이노럴 렌더링 1>

본 발명의 제2 실시예에 따른 바이노럴 렌더링은 시차(parallax)를 고려하여 수행될 수 있다. 이때, 음원이 청자로부터 기 설정된 거리 이내에 위치할 경우 시차를 고려한 바이노럴 렌더링이 수행될 수 있다. 이하, 도 13 내지 도 15를 참조로 시차를 고려한 바이노럴 렌더링 방법의 실시예를 설명하도록 한다.

도 13은 시차를 고려한 바이노럴 렌더링의 제1 실시예를 나타내고 있다. 음원(30)이 청자(50)로부터 멀리 떨어진 경우, 음원(30)에서 청자(50)의 양쪽 귀로의 입사각(θc, θi)은 큰 차이가 나지 않는다. 그러나 음원(30)이 청자(50)에게 가까이 있는 경우, 음원(30)에서 청자(50)의 양쪽 귀로의 입사각(θc, θi)의 차이는 커지게 된다. 뿐만 아니라, 음원(30)의 거리(R)에 따라 음원(30)의 위치 변화 대비 청자(50)의 양쪽 귀로의 입사각(θc, θi)의 변화 정도가 다르게 되며, 이를 운동 시차라고 한다. 음원(30)에서 청자(50)의 양쪽 귀로의 입사각(θc, θi)의 차이가 클 경우, 청자(50)의 머리 중심으로부터의 음원의 거리(R)에 기초한 거리 렌더링을 동측 및 대측 신호에 동일하게 적용하면 오차가 발생할 수 있다.

본 발명의 실시예에 따르면, 음원(30)이 청자(50)로부터 기 설정된 거리 이내의 근거리에 위치한 경우, 거리 렌더링은 음원(30)으로부터 청자(50)의 양쪽 귀까지의 거리 Ri 및 Rc에 기초하여 수행될 수 있다. Ri는 음원(30)과 청자(50)의 동측 귀와의 거리(이하, 동측 거리)이며, Rc는 음원(50)과 청자(50)의 대측 귀와의 거리(이하, 대측 거리)이다. 즉, 동측 신호에 대한 바이노럴 렌더링은 동측 거리 Ri에 기초하여 수행되며, 대측 신호에 대한 바이노럴 렌더링은 대측 거리 Rc에 기초하여 수행된다. 이때, 바이노럴 렌더링에는 청자(50)의 머리 중심을 기준으로 음원(30)의 위치에 대응하는 HRTF 세트 또는 이의 변형된 전달 함수 세트가 사용될 수 있다. 바이노럴 렌더러는 입력 오디오 신호를 동측 전달 함수로 필터링하고, 동측 거리 Ri에 기초한 거리 렌더링을 수행하여 동측 출력 신호를 생성한다. 또한, 바이노럴 렌더러는 입력 오디오 신호를 대측 전달 함수로 필터링하고, 대측 거리 Rc에 기초한 거리 렌더링을 수행하여 대측 출력 신호를 생성한다. 이와 같이 바이노럴 렌더러는 근거리의 음원에 대해서 양쪽 귀에 서로 다른 게인을 적용함으로 양쪽 귀의 시차로 인한 렌더링 오차를 줄일 수 있다.

<바이노럴 렌더링 제2-2 방법 - 시차를 고려한 바이노럴 렌더링 2>

도 14 및 도 15는 시차를 고려한 바이노럴 렌더링의 제2 실시예를 나타내고 있다. 일반적으로 바이노럴 렌더링에는 청자(50)의 머리 중심을 기준으로 음원(30a, 30b)의 위치에 대응하는 HRTF 세트 또는 이의 변형된 전달 함수 세트가 사용될 수 있다. 그러나 음원(30b)이 청자(50)로부터 기 설정된 거리 R_thr 이내에 위치할 경우, 청자(50)의 머리 중심을 기준으로 한 HRTF보다는 청자(50)의 양쪽 귀를 각각 기준으로 한 HRTF가 바이노럴 렌더링에 사용되는 것이 바람직할 수 있다.

설명의 편의를 위해, 도 14 및 도 15의 실시예에서 각 기호를 정의하면 다음과 같다. R_thr는 청자(50)의 머리 중심을 기준으로 한 기 설정된 거리를 나타내고, a는 청자(50)의 머리 반지름을 나타낸다. θ 및 φ는 각각 청자(50)의 머리 중심을 기준으로 한 음원(30a, 30b)의 입사각을 나타낸다. 청자(50)의 머리 중심을 기준으로 한 음원(30a, 30b)의 상대적인 위치에 따라 음원의 거리 및 입사각이 결정된다.

O_P, O_I 및 O_C는 각각 청자(50)를 기준으로 HRTF가 측정된 음원의 특정 위치들을 나타낸다. O_P, O_I 및 O_C의 위치에 대응하는 각각의 HRTF 세트는 HRTF 데이터베이스로부터 획득될 수 있다. 일 실시예에 따르면, HRTF 데이터 베이스로부터 획득되는 HRTF 세트들은 청자(50)를 기준으로 기 설정된 거리 R_thr에 위치한 지점들에 대한 HRTF 세트일 수 있다. 도 14에서 O_P는 청자(50)의 머리 중심에 대한 음원(30b)의 입사각 θ에 대응하는 HRTF 지점이다. 또한, O_I는 청자(50)의 동측 귀에 대한 음원(30b)의 입사각에 대응하는 HRTF 지점이며, O_C는 청자(50)의 대측 귀에 대한 음원(30b)의 입사각에 대응하는 HRTF 지점이다. O_I는 청자(50)의 동측 귀와 음원(30b)을 연결하는 직선 상에서 청자(50)의 머리 중심을 기준으로 기 설정된 거리 R_thr에 위치하는 지점이며, O_C는 청자(50)의 대측 귀와 음원(30b)를 연결하는 직성 상에서 상기 R_thr에 위치하는 지점이다.

도 14를 참조하면, 바이노럴 렌더링에 사용되는 HRTF는 음원(30a, 30b)과 청자(50) 간의 거리에 기초하여 선택될 수 있다. 만약 음원(30a)이 HRTF가 실측된 지점에 위치하거나 또는 기 설정된 거리 R_thr 밖에 위치할 경우, 음원(30a)의 바이노럴 렌더링을 위한 HRTF는 O_P의 위치에 대응하는 HRTF 세트로부터 획득된다. 이때, 동측 HRTF와 대측 HRTF는 모두 O_P 위치에 대응하는 HRTF 세트에서 선택된다. 그러나 음원(30b)이 기 설정된 거리 R_thr 이내의 근거리에 위치한 경우, 음원(30b)의 바이노럴 렌더링을 위한 동측 HRTF와 대측 HRTF는 서로 다른 HRTF 세트로부터 획득된다. 즉, 음원(30b)의 바이노럴 렌더링을 위한 동측 HRTF는 O_I의 위치에 대응하는 HRTF 세트 중 동측 HRTF로 선택되고, 음원(30b)의 바이노럴 렌더링을 위한 대측 HRTF는 O_C의 위치에 대응하는 HRTF 세트 중 대측 HRTF로 선택된다. 바이노럴 렌더러는 선택된 동측 HRTF 및 대측 HRTF를 이용하여 입력 오디오 신호에 대한 필터링을 수행한다.

이와 같이 본 발명의 실시예에 따르면, 바이노럴 렌더러는 서로 다른 HRTF 세트에서 선택된 동측 HRTF와 대측 HRTF를 이용하여 바이노럴 렌더링을 수행한다. 동측 HRTF는 청자(50)의 동측 귀에 대한 음원(30b)의 입사각(즉, 동측 입사각)에 기초하여 선택되며, 대측 HRTF는 청자(50)의 대측 귀에 대한 음원(30b)의 입사각(즉, 대측 입사각)에 기초하여 선택된다. 일 실시예에 따르면, 상기 동측 입사각 및 대측 입사각의 추정을 위해, 청자(50)의 머리 반지름 a가 사용될 수 있다. 청자(50)의 머리 반지름 정보는 메타데이터를 통해 수신될 수 있으며, 사용자 입력을 통해 수신될 수도 있다. 이와 같이, 사용자마다 서로 다른 머리 크기를 반영하여 선택된 HRTF를 이용하여 바이노럴 렌더링을 수행함으로, 개인화된 운동 시차 효과를 적용할 수 있다.

도 15는 도 14의 실시예에서 청자(50)의 머리 중심을 기준으로 한 음원(30a, 30b)의 상대적인 위치가 변경된 상황을 나타내고 있다. 사운드 오브젝트가 이동하거나 청자(50)의 머리가 회전하는 경우, 청자(50)의 머리 중심을 기준으로 한 음원(30a, 30b)의 상대적인 위치는 변경된다. 본 발명의 실시예에서 청자(50)의 머리의 회전은 요(yaw), 롤(roll) 및 피치(pitch) 중 적어도 하나를 포함한다. 따라서, 도 14의 O_P, O_I 및 O_C는 각각 O_P', O_I' 및 O_C'로 변경된다. 바이노럴 렌더러는 변경된 O_P', O_I' 및 O_C'에 기초하여, 전술한 실시예와 같이 운동 시차를 고려한 바이노럴 렌더링을 수행한다.

본 발명의 실시예에서 입사각은 방위각과 고도각을 포함한다. 따라서, 동측 입사각은 청자(50)의 동측 귀에 대한 음원의 방위각 및 고도각(즉, 동측 방위각 및 동측 고도각)을 포함하며, 대측 입사각은 청자(50)의 대측 귀에 대한 음원의 방위각 및 고도각(즉, 대측 방위각 및 대측 고도각)을 포함한다. 청자(50)의 머리가 요, 롤, 피치 등에 의해 회전할 경우, 각 입사각을 구성하는 방위각 및 고도각 중 적어도 하나는 변화하게 된다.

본 발명의 실시예에 따르면, 바이노럴 렌더러는 청자(50)의 머리 회전 정보 즉, 요, 롤, 피치 중 적어도 하나의 정보를 획득한다. 그리고, 바이노럴 렌더러는 획득된 청자(50)의 머리 회전 정보에 기초하여 동측 입사각, 동측 거리, 대측 입사각 및 대측 입사각을 산출할 수 있다. 청자(50)의 머리의 롤(roll)이 변경된 경우, 청자(50)의 양쪽 귀에 대한 음원의 고도각은 서로 달라지게 된다. 예를 들어, 동측 고도각이 높아지면 대측 고도각이 낮아질 수 있고, 동측 고도각이 낮아지면 대측 고도각이 높아질 수 있다. 또한, 청자(50)의 머리의 요잉(yawing)이 발생한 경우에도, 청자(50)와 음원의 상대적인 위치에 따라 청자(50)의 양쪽 귀에 대한 음원의 고도각이 서로 다르게 될 수 있다.

본 발명의 바이노럴 렌더러는 동측 방위각 및 동측 고도각에 기초하여 동측 HRTF를 선택하고, 대측 방위각 및 대측 고도각에 기초하여 대측 HRTF를 선택한다. 만약 청자(50)의 머리 중심을 기준으로 한 음원(30a, 30b)의 상대적인 위치가 변경될 경우, 바이노럴 렌더러는 동측 방위각, 동측 고도각, 대측 방위각 및 대측 고도각을 새롭게 획득하고, 획득된 각도 정보에 기초하여 동측 HRTF와 대측 HRTF를 새로 선택한다. 일 실시예에 따르면 청자(50)의 머리가 롤링(rolling)된 경우, 동측 HRTF가 포함된 제1 HRTF 세트를 선택하기 위한 고도각 정보와 대측 HRTF가 포함된 제2 HRTF 세트를 선택하기 위한 고도각 정보가 변경될 수 있다. 만약 제1 HRTF 세트의 선택을 위한 고도각이 높아질 경우 제2 HRTF 세트의 선택을 위한 고도각은 낮아질 수 있다. 또한, 제1 HRTF 세트의 선택을 위한 고도각이 낮아질 경우, 제2 HRTF 세트의 선택을 위한 고도각이 높아질 수 있다. 이러한 동측 입사각 및 대측 입사각 정보의 변경은 고도각뿐만 아니라 방위각에 대해서도 수행될 수 있다.

이와 같이, 운동 시차를 고려한 바이노럴 렌더링은 청자(50)를 기준으로 한 사운드 오브젝트의 방위각 및 고도각에 따라 복합적으로 적용될 수 있다. 음원(30a, 30b)의 고도각이 변화될 경우, 바이노럴 렌더링에 사용될 전달함수의 노치의 위치 및 피크의 크기가 변경될 수 있다. 특히 노치 성분의 위치 변화는 고도각 정위에 중요한 영향을 미치므로, 바이노럴 렌더러는 전술한 노치 필터링부를 이용하여 출력 오디오 신호에 노치 성분을 보상할 수 있다. 노치 필터링부는 음원(30a, 30b)의 변경된 고도각에 따른 동측 및/또는 대측 전달함수의 노치 성분 위치를 추출하고, 추출된 노치 성분 위치에 기초하여 동측 및/또는 대측 신호에 대한 노치 필터링을 수행한다.

이와 같이 본 발명의 실시예에 따르면, 음원이 청자로부터 기 설정된 거리 이내의 근거리에 위치한 경우 운동 시차를 고려한 바이노럴 렌더링이 수행될 수 있다. 다만 본 발명은 이에 한정되지 않으며, 음원이 청자로부터 근거리에 위치하든 원거리에 위치하든 관계 없이 운동 시차를 고려한 바이노럴 렌더링이 수행될 수도 있다.

<HRTF 인터폴레이션>

청자의 머리 움직임이나 사운드 오브젝트의 이동에 따른 음원의 상대적인 위치 변화의 구현, 그리고 시차를 고려한 바이노럴 렌더링을 위해서는 높은 해상도의 HRTF 데이터가 필요하다. 그러나 HRTF 데이터베이스가 충분한 공간 해상도의 HRTF 데이터를 갖고 있지 않은 경우, HRTF의 인터폴레이션이 필요할 수 있다. 본 발명의 실시예에 따르면, 다음과 같은 방법들 중 적어도 하나를 이용하여 HRTF의 인터폴레이션이 수행될 수 있다.

- 선형 인터폴레이션

- DFT(Discrete Fourier Transform) 인터폴레이션

- 스플라인 인터폴레이션

- ILT/ITD 인터폴레이션

바이노럴 파라메터 컨트롤러는 복수의 HRTF를 조합하여 인터폴레이션을 수행하고, 바이노럴 렌더러는 인터폴레이션 된 HRTF를 이용하여 바이노럴 렌더링을 수행할 수 있다. 이때, HRTF의 인터폴레이션은 복수의 방위각 및 고도각에 대응하는 HRTF를 이용하여 수행될 수 있다. 예를 들어 선형 인터폴레이션의 경우, 적어도 3개의 지점에 대한 HRTF 값을 이용함으로 3차원 공간 상의 인터폴레이션을 구현할 수 있다. 3개의 HRTF를 인터폴레이션하는 방법으로는 3차원 VBAP(Vector Based Amplitude Panning), IPTF(Inter-Positional Transfer Function) 인터폴레이션 등이 사용될 수 있다. 이러한 방법은 4개의 HRTF를 인터폴레이션하는 쌍선형(bilinear) 인터폴레이션에 비해 약 25%의 연산량을 감소시킬 수 있다.

본 발명의 추가적인 실시예에 따르면, HRTF의 인터폴레이션으로 인한 연산량 증가를 최소화하기 위해, 대상 영역에 대한 HRTF 인터폴레이션이 미리 수행될 수 있다. 바이노럴 렌더러는 별도의 메모리를 구비하고, 인터폴레이션 된 HRTF 데이터를 메모리에 미리 저장할 수 있다. 이 경우 바이노럴 렌더러는 실시간 바이노럴 렌더링에 필요한 연산량을 감소시킬 수 있다.

도 16은 본 발명의 일 실시예에 따른 거리 렌더러를 나타낸 블록도이다. 도 16을 참조하면, 거리 렌더러(140)는 딜레이 컨트롤러(142), 도플러 이펙터(144), 인텐시티 렌더러(146) 및 근거리 렌더러(148)를 포함할 수 있다. 거리 렌더러(140)는 디스턴스 파라메터 생성부(240)로부터 바이노럴 파라메터를 수신하고, 수신된 바이노럴 파라메터에 기초하여 입력 오디오 신호에 대한 거리 렌더링을 수행한다.

먼저, 디스턴스 파라메터 생성부(240)는 입력 오디오 신호에 대응하는 메타데이터를 이용하여 거리 렌더링을 위한 바이노럴 파라메터를 생성한다. 메타데이터에는 음원의 방향(방위각, 고도각) 및 거리 정보가 포함될 수 있다. 거리 렌더링을 위한 바이노럴 파라메터는 음원으로부터 청자의 동측 귀까지의 거리(즉, 동측 거리), 음원으로부터 청자의 대측 귀까지의 거리(즉, 대측 거리), 청자의 동측 귀에 대한 음원의 입사각(즉, 동측 입사각), 청자의 대측 귀에 대한 음원의 입사각(즉, 대측 입사각) 중 적어도 하나를 포함한다. 또한, 거리 렌더링을 위한 바이노럴 파라메터에는 거리 렌더링의 효과의 강도를 조절하기 위한 거리 스케일 값이 포함될 수 있다.

일 실시예에 따르면, 디스턴스 파라메터 생성부(240)는 음원의 근거리에서의 근접 효과를 강화하기 위해 메타데이터에 포함된 음원의 방향 및 거리 정보 중 적어도 하나를 와핑(warping)할 수 있다. 도 17은 이에 대한 일 실시예로서, 청자와 음원 간의 거리 정보를 스케일링하는 방법을 나타내고 있다. 도 17에서 가로축은 청자를 기준으로 한 음원의 물리적인 거리를 나타내고, 세로축은 본 발명의 실시예에 따라 보정된 환산 거리(scaled distance)를 나타내고 있다. 디스턴스 파라메터 생성부(240)는 음원의 실제 거리(20)를 스케일링하여 환산 거리(22, 24)를 산출할 수 있다. 일 실시예에 따르면, 상기 스케일링으로는 로그 스케일링, 지수 스케일링, 임의의 커브 함수를 이용한 스케일링이 사용될 수 있다. 뿐만 아니라, 디스턴스 파라메터 생성부(240)는 음원의 위치 정보, 청자의 머리 크기 정보를 이용하여 청자의 양쪽 귀를 기준으로 한 음원의 입사각을 산출할 수 있다. 디스턴스 파라메터 생성부(240)는 생성된 바이노럴 파라메터를 거리 렌더러(140)로 전달한다.

다시 도 16으로 돌아오면, 딜레이 컨트롤러(142)는 음원과 청자 간의 거리에 따른 사운드의 초기 도달 시간에 기초하여 출력 오디오 신호의 지연 시간을 설정한다. 일 실시예에 따르면, 딜레이 컨트롤러(142)는 시간 복잡도를 낮추기 위해 바이노럴 렌더러의 전처리 과정으로 수행될 수 있다. 이때, 딜레이 컨트롤러(142)는 음원에 대응하는 모노 신호에 대한 딜레이 컨트롤을 수행할 수 있다. 다른 실시예에 따르면, 딜레이 컨트롤러(142)는 바이노럴 렌더링이 수행된 2채널 출력 신호 각각에 대해 딜레이 컨트롤을 수행할 수 있다.

음원의 상대적인 위치가 변화하는 점을 고려하여, 지연 시간은 음원이 생성된 시점 또는 음원의 사운드가 청자에게 들리기 시작하는 시점을 기준으로 설정될 수 있다. 또한, 지연 시간은 청자로부터 음원의 거리와 음속에 기초하여 설정된다. 이때, 청자가 사운드를 듣는 환경(예를 들어, 물속, 높은 고도)에 따라 음속이 변화할 수 있으며, 딜레이 컨트롤러(142)는 청자의 환경에 따른 음속 정보를 이용하여 지연 시간을 산출할 수 있다.

도플러 이펙터(144)는 청자에 대한 음원의 상대적인 거리가 변화할 때 발생하는 사운드의 주파수 변화를 모델링한다. 음원이 청자에 가까워질 때에는 사운드의 주파수가 높아지고, 음원이 청자로부터 멀어질 때에는 사운드의 주파수가 낮아진다. 도플러 이펙터(144)는 리샘플링(resampling) 또는 위상 보코더(phase vocoder)를 이용하여 도플러 효과를 구현할 수 있다.

리샘플링 방법은 오디오 신호의 샘플링 주파수를 변경하여 도플러 효과를 구현한다. 그러나 오디오 신호의 길이가 처리하는 버퍼의 길이보다 작아지거나 커질 수 있으며, 블록 프로세싱을 하는 경우 주파수 변경으로 인해 다음 블록의 샘플이 필요할 수 있다. 이를 해결하기 위해, 도플러 이펙터(144)는 리샘플링 시 도플러 효과에 의한 주파수 변화폭을 고려하여 한 블록 또는 그 이상의 추가적인 초기 버퍼링을 수행할 수 있다.

위상 보코더는 STFT(Short-Time Fourier Transform)에서의 피치 시프팅(pitch shifting)을 이용하여 구현될 수 있다. 일 실시예에 따르면, 도플러 이펙터(144)는 주요 대역에 대한 피치 시프팅만 수행할 수 있다. 사운드의 주파수는 음원의 상대적인 속도에 따라 결정되기 때문에 주파수 변화량은 유동적일 수 있다. 따라서, 자연스러운 도플러 사운드를 생성하기 위해서는 피치 시프팅의 인터폴레이션이 중요하다. 일 실시예에 따르면, 피치 시프트 비율(pitch shift ratio)은 주파수 변화 비율에 기초하여 결정될 수 있다. 또한, 프레임 단위의 오디오 신호 처리 과정에서 사운드의 왜곡을 줄이기 위해 리샘플링 정도 및 인터폴레이션 해상도는 주파수 변화 비율에 기초하여 적응적으로 결정될 수 있다.

인텐시티 렌더러(146)는 음원과 청자의 거리에 따른 사운드의 레벨(즉, 사운드의 크기) 변화를 출력 오디오 신호에 반영한다. 인텐시티 렌더러(146)는 음원과 청자의 절대 거리에 기초하여 렌더링을 수행할 수도 있으며, 기 설정된 헤드 모델에 기초하여 렌더링을 수행할 수도 있다. 또한, 인텐시티 렌더러(146)는 공기 흡수(air absorption)를 고려하여 사운드의 감쇄를 구현할 수도 있다. 본 발명의 인텐시티 렌더러(146)는 이하의 다양한 실시예에 따라 거리 렌더링을 수행할 수 있다.

<인텐시티 렌더러 제1 방법 - 1/R>

일반적으로 거리에 따른 인텐시티를 조절하기 위해 인텐시티 렌더러(146)는 음원과 청자의 거리가 줄어들수록 사운드의 인텐시티를 증가시키는 역제곱 법칙을 적용할 수 있다. 본 발명에서는 이를 1/R 법칙이라고 한다. 이때, R은 청자의 머리 중심으로부터 음원의 중심까지의 거리를 나타낸다. 예를 들어, 인텐시티 렌더러(146)는 음원과 청자의 거리가 절반으로 줄어들 때 사운드의 인텐시티를 3dB 증가시킬 수 있다. 다만 본 발명의 다른 실시예에 따르면, 음원과 청자간의 거리 R은 도 17에 도시된 바와 같이 로그, 지수 함수 등으로 보정된 환산 거리가 사용될 수 있다. 한편, 본 발명의 실시예에서 인텐시티는 음량, 레벨 등의 용어로 대체될 수 있다.

<인텐시티 렌더러 제2 방법 - 1/R with Parallax>

인텐시티는 오브젝트 사운드의 거리감에 가장 큰 영향을 주는 요소이다. 그러나 청자의 머리 중심으로부터의 음원의 거리를 기초로 양쪽 귀에 동일한 인텐시티 게인을 적용하면, 근거리에서의 급격한 ILD 증가를 반영하기 어렵게 된다. 따라서, 본 발명의 실시예에 따르면 인텐시티 렌더러(146)는 청자의 양쪽 귀를 기준으로 한 음원의 거리에 각각 기초하여 동측 인텐시티 게인 및 대측 인텐시티 게인을 개별적으로 조절할 수 있다. 이를 수식으로 나타내면 아래 수학식 17과 같다.

수학식 17에서 D^I(k) 및 D^C(k)는 각각 인텐시티 렌더러(146)의 동측 입력 신호 및 대측 입력 신호이며, B^I_DSR(k) 및 B^C_DSR(k)는 각각 인텐시티 렌더러(146)의 동측 출력 신호 및 대측 출력 신호이다. Effector()는 입력된 거리에 대응하는 인텐시티 게인을 출력하는 함수이며, 입력된 거리 값이 클수록 높은 게인을 출력한다. 또한, k는 주파수 인덱스를 나타낸다.

또한, Ri는 음원으로부터 청자의 동측 귀까지의 거리(즉, 동측 거리)를 나타내며, Rc는 음원으로부터 청자의 대측 귀까지의 거리(즉, 대측 거리)를 나타낸다. a는 청자의 머리 반지름을 나타내고, R은 음원으로부터 청자의 머리 중심까지의 거리(즉, 중심 거리)를 나타낸다. θ는 청자의 머리 중심을 기준으로 한 음원의 입사각을 나타내며, 일 실시예에 따르면 청자의 대측 귀와 동측 귀를 각각 0도 및 180도로 하여 측정되는 음원의 입사각을 나타낸다.

수학식 17에 나타난 바와 같이, 거리 렌더링을 위한 동측 게인 및 대측 게인은 각각 동측 거리 Ri 및 대측 거리 Rc에 기초하여 결정된다. 동측 거리 Ri 및 대측 거리 Rc는 각각 음원의 입사각 θ, 중심 거리 R 및 청자의 머리 반지름 a에 기초하여 산출된다. 청자의 머리 반지름 정보는 메타데이터를 통해 수신될 수 있으며, 사용자 입력을 통해 수신될 수도 있다. 또한, 청자의 머리 반지름 정보는 청자의 인종 정보에 따른 평균 머리 크기에 기초하여 설정될 수 있다. 인텐시티 렌더러(146)는 음원이 청자로부터 기 설정된 거리 밖의 원거리에 위치할 경우 청자의 머리 반지름이 양쪽 귀의 ILD 변화에 영향을 미치지 못하도록 설정하고, 음원이 청자로부터 기 설정된 거리 이내의 근거리에 위치할 경우 청자의 머리 반지름에 따른 동측 거리와 대측 거리 간의 차이에 기초하여 급격한 ILD 증가를 모델링할 수 있다. 동측 거리 Ri 및 대측 거리 Rc는 각각 음원과 청자의 양쪽 귀 간의 직선 거리가 아니라 청자의 머리에 의한 회절을 고려한 거리로 설정될 수도 있다. 인텐시티 렌더러(146)는 산출된 동측 게인 및 대측 게인을 각각 동측 입력 신호 및 대측 입력 신호에 적용하여 동측 출력 신호 및 대측 출력 신호를 생성한다.

본 발명의 추가적인 실시예에 따르면, 인텐시티 렌더러(146)는 공기 흡수를 고려하여 사운드의 감쇄를 모델링 할 수 있다. 수학식 17에서는 인텐시티 렌더러(146)의 입력 신호가 동측 및 대측의 2채널 신호 D^I(k), D^C(k)인 것으로 설명되었으나, 본 발명은 이에 한정되지 않는다. 즉, 인텐시티 렌더러(146)의 입력 신호는 각 오브젝트 및/또는 채널에 대응하는 신호일 수 있으며, 이 경우 수학식 17에서 D^I(k) 및 D^C(k)는 특정 오브젝트 또는 채널에 대응하는 동일한 입력 신호로 대체될 수 있다. 인텐시티 렌더러 제2 방법은 시간 도메인과 주파수 도메인에서 모두 구현될 수 있다.

<인텐시티 렌더러 제3 방법 - 헤드 모델을 이용한 게인 적용>

HRTF 데이터베이스는 모든 거리에서 실측된 HRTF 데이터를 구비하기 어렵기 때문에, 거리에 따른 HRTF의 응답 정보를 획득하기 위해서는 구형 헤드 모델(Spherical Head Model, SHM)과 같은 수학적 모델이 사용될 수 있다. 본 발명의 실시예에 따르면, 이러한 수학적 모델의 거리에 따른 주파수 응답 정보에 기초하여 인텐시티 게인이 모델링 될 수 있다. 구형 헤드 모델에는 인텐시티, 헤드 쉐도잉 등의 디스턴스 큐가 모두 반영되어 있다. 따라서, 구형 헤드 모델을 이용하여 인텐시티만을 모델링할 경우, 소리의 감쇄, 반사 특성으로 인한 영향이 적은 저주파수 대역 (DC 성분)의 값이 인텐시티 값으로 결정되는 문제가 발생할 수 있다. 따라서 본 발명의 실시예에 따르면, 다음과 같은 가중치 함수를 추가로 적용하여 구형 헤드 모델에 기반한 인텐시티 렌더링을 수행할 수 있다. 수학식 18의 실시예에서, 수학식 17의 실시예를 통해 설명된 각 변수의 정의는 중복적인 설명을 생략한다.

여기서, R_tho는 보정된 중심 거리이며, 중심 거리 R보다 큰 값을 갖는다. R_tho는 구형 헤드 모델의 근사화 오차를 줄이기 위한 값으로서, HRTF가 실측된 거리로 설정될 수도 있고 헤드 모델에 따라 지정된 특정 거리로 설정될 수도 있다.

수학식 18에 나타난 바와 같이, 거리 렌더링을 위한 동측 게인 및 대측 게인은 동측 거리 Ri 및 대측 거리 Rc에 기초하여 결정된다. 더욱 구체적으로, 동측 게인은 동측 거리 Ri의 역수에 R_tho를 제곱한 값에 기초하여 결정되고, 대측 게인은 대측 거리 Rc의 R_tho를 제곱한 값에 기초하여 결정된다. 수학식 18의 실시예에 따른 렌더링 방법은 DC 성분뿐만 아니라 다른 주파수 영역의 입력 신호에 대해서도 적용 가능하다. 인텐시티 렌더러(146)는 산출된 동측 게인 및 대측 게인을 각각 동측 입력 신호 및 대측 입력 신호에 적용하여 동측 출력 신호 및 대측 출력 신호를 생성한다.

본 발명의 다른 실시예에 따르면, 거리 렌더링은 동측 거리와 대측 거리의 비율에 기초하여 수행될 수 있다. 이를 수식으로 나타내면 아래 수학식 19와 같다. 수학식 19의 실시예에서, 수학식 17 및 18의 실시예를 통해 설명된 각 변수의 정의는 중복적인 설명을 생략한다.

여기서, G는 구형 헤드 모델의 대측 전달 함수로부터 추출된 게인으로서, DC 성분값 또는 전체 응답의 평균 값으로 결정될 수 있다. 즉, 동측 게인은 동측 거리 Ri에 대한 대측 거리 Rc의 비율을 R_tho 제곱한 값에 게인 G를 곱한 값으로 결정되고, 대측 게인은 게인 G로 결정된다. 전술한 바와 같이, 수학식 19의 실시예는 동측과 대측을 서로 치환하여서도 적용 가능하다. 본 발명의 실시예에서 사용되는 수학적 모델은 구형 헤드 모델에 한정되지 않으며, 스노우맨 모델, Finite Difference Time Domain Method (FDTDM), Boundary Element Method (BEM) 등을 포함한다.

다음으로, 근거리 렌더러(148)는 근거리에서 음원의 위치에 따라 변화하는 주파수 특성을 출력 오디오 신호에 반영한다. 근거리 렌더러(148)는 사운드의 근접 효과(proximity effect) 및 헤드 쉐도잉을 출력 오디오 신호에 적용할 수 있다. 근접 효과는 음원이 청자에게 근접할수록 청자의 동측 귀에서 들리는 저주파 대역의 레벨이 증가하는 현상을 가리킨다. 또한, 헤드 쉐도잉은 음원의 진로를 머리가 가로 막아 대측 귀에서 주로 발생하는 현상으로, 감쇄 특성에 따라 고주파 대역에 감쇄가 크게 발생하는 현상을 가리킨다. 헤드 쉐도잉은 대측 귀에서 주로 크게 발생하지만, 음원이 청자의 정면에 있는 경우와 같이 음원의 위치에 따라 양쪽 귀에 모두 발생할 수도 있다. 일반적으로 HRTF는 근접 효과를 반영하지 못하며, 측정된 지점에서의 헤드 쉐도잉만을 반영하는 문제가 있다.

따라서 본 발명의 실시예에 따르면, 근거리 렌더러(148)는 근접 효과와 헤드 쉐도잉을 반영하는 필터링을 입력 오디오 신호에 대해 수행한다. 이를 수식으로 나타내면 아래 수학식 20과 같다.

수학식 20에서 ID^I(k) 및 ID^C(k)는 각각 근거리 렌더러(148)의 동측 입력 신호 및 대측 입력 신호이며, HD^I(k) 및 HD^C(k)는 각각 근거리 렌더러(148)의 동측 출력 신호 및 대측 출력 신호이다. H_pm(k)는 근접 효과를 반영하는 필터이고, H_hs(k)는 헤드 쉐도잉을 반영하는 필터이다. 또한, k는 주파수 인덱스를 나타낸다.

즉, 근거리 렌더러(148)는 동측 입력 신호에 근접 효과를 반영하는 필터링을 수행하고, 대측 입력 신호에 헤드 쉐도잉을 반영하는 필터링을 수행한다. 근접 효과를 반영하는 필터 H_pm(k)는 오디오 신호의 저주파 대역을 증폭하는 필터이며, 일 실시예에 따르면 로우 쉘빙 필터(low shelving filter)가 사용될 수 있다. 헤드 쉐도잉을 반영하는 필터 H_hs(k)는 오디오 신호의 고주파를 감쇄하는 필터이며, 일 실시예에 따르면 로우 패스 필터(low pass filter)가 사용될 수 있다. H_pm(k) 및 H_hs(k)는 FIR 필터 또는 IIR 필터로 구현될 수 있다. 또한, H_pm(k) 및 H_hs(k)는 거리에 대한 모델링 함수 및 실측된 근거리 HRTF의 주파수 응답에 기초한 커브 피팅을 통해 구현될 수도 있다. 이와 같이, 동측 신호 및 대측 신호에 대한 주파수 특성을 반영하는 필터링을 본 발명에서는 주파수 성형(frequency shaping)이라 한다.

주파수 성형을 수행하기 위해서는 양쪽 귀에 대한 음원의 거리 및 입사각에 따라 연속적으로 주파수 응답을 변화시켜 주어야 한다. 또한, 음원이 정중앙면을 가로질러 이동하여 청자에 대한 동측과 대측이 바뀌는 경우, H_pm(k)와 H_hs(k)의 대상 신호가 바뀌기 때문에 불연속적인 사운드의 왜곡이 발생될 수 있다.

따라서 본 발명의 실시예에 따르면, 근거리 렌더러(148)는 청자에 대한 음원의 거리와 입사각에 기초하여 다음과 수학식 21과 같은 함수로 입력 오디오 신호의 필터링을 수행할 수 있다.

여기서, BFS_I(k) 및 BFS_C(k)는 입력 오디오 신호의 BFS(Binaural Frequency Shaping)를 위한 필터이며, 각각 동측 입력 신호 및 대측 입력 신호의 필터링을 위한 유리 함수로 구현될 수 있다. ai 및 bi는 음원의 동측 거리 및 동측 입사각에 기초하여 생성된 계수이며, ac 및 bc는 음원의 대측 거리 및 대측 입사각에 기초하여 생성된 계수이다. 근거리 렌더러(148)는 동측 거리 및 동측 입사각에 기초하여 획득된 계수를 갖는 유리함수 BFS_I(k)를 이용하여 동측 입력 신호를 필터링하고, 대측 거리 및 대측 입사각에 기초하여 획득된 계수를 갖는 유리함수 BFS_C(k)를 이용하여 대측 입력 신호를 필터링한다.

본 발명의 실시예에 따르면, 상기 계수들은 거리 및 입사각에 기초한 피팅을 통해서 획득될 수도 있다. 또한 본 발명의 다른 실시예에 따르면, 입력 오디오 신호의 BFS를 위한 필터는 다항 함수, 지수 함수 등의 다른 함수로 구현될 수도 있다. 이때, BFS를 위한 필터는 전술한 근접 효과 및 헤드 쉐도잉을 함께 모델링하는 특징을 갖는다. 본 발명의 추가적인 실시예에 따르면, 근거리 렌더러(148)는 거리 및 입사각을 인덱스로 하는 테이블을 획득하고, 입력된 메타데이터에 기초한 테이블 정보를 인터폴레이션하여 BFS를 수행함으로 연산의 복잡도를 낮출 수 있다.

이와 같이 도 16의 실시예에 따르면, 거리 렌더러(140)는 전술한 다양한 실시예를 조합하여 거리 렌더링을 수행한다. 본 발명의 실시예에 따르면, 거리 렌더링을 위한 게인 적용 및/또는 주파수 성형은 거리 필터를 이용한 필터링으로도 지칭될 수 있다. 거리 렌더러(140)는 동측 거리 및 동측 입사각에 기초하여 동측 거리 필터를 결정하고, 대측 거리 및 대측 입사각에 기초하여 대측 거리 필터를 결정한다. 그리고, 거리 렌더러(140)는 결정된 동측 거리 필터 및 대측 거리 필터로 입력 오디오 신호를 각각 필터링하여 동측 출력 신호 및 대측 출력 신호를 생성한다. 동측 거리 필터는 동측 출력 신호의 게인 및 주파수 특성 중 적어도 하나를 조절하고, 대측 거리 필터는 대측 출력 신호의 게인 및 주파수 특성 중 적어도 하나를 조절한다

한편, 도 16은 본 발명의 거리 렌더러(140)의 구성을 나타낸 일 실시예이며, 본 발명은 이에 한정되지 않는다. 이를테면, 본 발명의 거리 렌더러(140)는 도 16에 도시된 구성 이외에 추가적인 구성을 더 포함할 수 있다. 또한, 도 16에 도시된 일부 구성은 거리 렌더러(140)에서 생략될 수도 있다. 또한, 거리 렌더러(140)의 각 구성 요소의 렌더링 순서는 서로 변경되거나 통합된 필터링으로 구현될 수 있다.

도 18은 본 발명의 실시예에 따른 방향 렌더러와 거리 렌더러를 포함하는 바이노럴 렌더러를 나타낸 블록도이다. 도 18의 바이노럴 렌더러(100-2)는 전술한 실시예들의 방향 렌더링 및 거리 렌더링을 조합하여 바이노럴 렌더링을 수행할 수 있다.

도 18을 참조하면, 전술한 방향 렌더러(120) 및 거리 렌더러(140)는 직접음 렌더러(110)를 구성할 수 있다. 직접음 렌더러(110)는 입력 오디오 신호를 바이노럴 필터링하여 2채널의 출력 오디오 신호 B^I_DSR(k), B^C_DSR(k)를 생성한다. 또한, 바이노럴 렌더러(100-2)는 입력 오디오 신호의 잔향음을 생성하는 잔향 생성기(160)를 포함할 수 있다. 잔향 생성기(160)는 초기 반사음 생성부(162)와 후기 잔향음 생성부(164)를 포함한다. 초기 반사음 생성부(162)는 및 후기 잔향음 생성부(162)는 각각 입력 오디오 신호에 대응하는 오브젝트 메타데이터 및 공간 메타데이터를 이용하여 초기 반사음 B^I_ERR(k), B^C_ERR(k) 및 후기 잔향음 B^I_BLR(k), B^C_BLR(k)를 생성한다.

믹서&콤바이너(180)는 직접음 렌더러(110)에 의해 생성된 직접음 출력 신호와 잔향 생성기(160)에 의해 생성된 간접음 출력 신호를 조합하여 최종 출력 오디오 신호 L, R을 생성한다. 일 실시예에 따르면, 믹서&콤바이너(180)는 DRR에 기초하여 출력 오디오 신호의 직접음과 간접음의 상대적인 출력 크기를 조절할 수 있음은 전술한 바와 같다. 믹서&콤바이너(180)는 초기 반사음 출력 신호와 후기 잔향음 출력 신호 모두에 DRR을 적용하거나, 어느 하나의 신호에만 DRR을 적용하여 믹싱을 수행할 수 있다. 초기 반사음 및 후기 잔향음 각각에 대한 DRR 적용 여부는 음원이 청자로부터 근거리에 위치하는지 여부에 기초하여 결정될 수 있다.

바이노럴 렌더러(100-2)에 입력 오디오 신호가 수신되면, 딜레이 컨트롤러(142)는 해당 오디오 신호의 지연 시간을 설정한다. 오디오 신호의 지연 시간 설정은 바이노럴 렌더링의 전처리 과정으로 수행될 수 있으나, 다른 실시예에 따르면 바이노럴 렌더링의 후처리 과정으로 수행될 수도 있다. 딜레이 컨트롤러(142)에 의한 지연 시간 정보는 직접음 렌더러(110) 및 잔향 생성기(160)에 각각 전달되어 렌더링에 사용될 수 있다.

방향 렌더러(120)는 입력 오디오 신호를 동측 전달 함수 및 대측 전달 함수로 각각 필터링하여 출력 신호 D^I(k) 및 D^C(k)를 생성한다. 방향 렌더러(120)는 전술한 다양한 실시예에 따른 전달 함수를 방향 필터로 이용하여 방향 렌더링을 수행한다. 전술한 실시예들의 동측 전달 함수 및 대측 전달 함수는 각각 동측 방향 필터 및 대측 방향 필터로도 지칭될 수 있다. 동측 방향 필터 및 대측 방향 필터는 청자의 머리 중심을 기준으로 한 음원의 상대적 위치에 대응하는 HRTF 세트로부터 획득될 수 있다. 이러한 위치 정보는 오브젝트 메타데이터로부터 추출될 수 있으며, 음원의 상대적인 방향 정보 및 거리 정보를 포함한다. 음원이 청자로부터 근거리에 위치한 경우, 동측 방향 필터 및 대측 방향 필터는 각각 동측 입사각 및 대측 입사각에 기초하여 결정될 수 있다. 이때, 동측 방향 필터와 대측 방향 필터는 각각 서로 다른 위치에 대응하는 HRTF 세트로부터 획득될 수 있다.

운동 시차 처리부(130)는 음원의 상대적인 위치 정보 및 청자의 머리 크기 정보에 기초하여 동측 입사각 및 대측 입사각 정보를 추출하고, 추출된 정보를 방향 렌더러(120)로 전달한다. 방향 렌더러(120)는 운동 시차 처리부(130)로부터 전달된 시차 정보 즉, 동측 입사각 및 대측 입사각 정보에 기초하여 동측 방향 필터 및 대측 방향 필터를 선택할 수 있다. 운동 시차 처리부(130)는 음원의 상대적인 위치 정보 및 청자의 머리 크기 정보에 기초하여 동측 거리 및 대측 거리 정보를 시차 정보로서 더 추출할 수 있다. 운동 시차 처리부(130)에서 추출된 시차 정보는 거리 렌더러(140)에도 전달될 수 있으며, 거리 렌더러(140)는 획득된 시차 정보에 기초하여 동측 거리 필터 및 대측 거리 필터를 결정할 수 있다.

거리 렌더러(140)는 방향 렌더러(120)의 출력 신호 D^I(k), D^C(k)를 입력 신호로 수신하고, 수신된 입력 신호에 거리 렌더링을 수행하여 출력 오디오 신호 B^I_DSR(k), B^C_DSR(k)를 생성한다. 거리 렌더러(140)의 구체적인 거리 렌더링 방법은 도 16에서 전술한 바와 같다.

전술한 바와 같이, 방향 렌더러(120)와 거리 렌더러(140)의 프로세싱 순서는 서로 바뀔 수 있다. 즉, 거리 렌더러(140)의 프로세싱이 방향 렌더러(120)의 프로세싱보다 먼저 수행될 수 있다. 이때, 거리 렌더러(140)는 입력 오디오 신호에 대한 거리 렌더링을 수행하여 2채널의 출력 신호 d^I, d^C를 생성하고, 방향 렌더러(120)는 d^I 및 d^C에 대한 방향 렌더링을 수행하여 2채널의 출력 오디오 신호 B^I_DSR(k), B^C_DSR(k)를 생성한다. 본 발명의 실시예에서 입력 오디오 신호의 거리 렌더링은, 입력 오디오에 방향 렌더링이 전처리 과정으로 수행된 중간 신호의 거리 렌더링을 의미할 수 있다. 마찬가지로, 본 발명의 실시예에서 입력 오디오 신호의 방향 렌더링은, 입력 오디오에 거리 렌더링이 전처리 과정으로 수행된 중간 신호의 방향 렌더링을 의미할 수 있다.

본 명세서에서는 방향 렌더링과 거리 렌더링이 별도의 프로세싱으로 서술되었으나, 방향 렌더링과 거리 렌더링은 통합된 프로세싱으로 구현될 수도 있다. 일 실시예에 따르면, 바이노럴 렌더러(100-2)는 방향 렌더링을 위한 동측 전달 함수 및 대측 전달 함수를 결정하고, 거리 렌더링을 위한 동측 거리 필터 및 대측 거리 필터를 획득한다. 바이노럴 렌더러(100-2)는 동측 거리 필터의 게인 및/또는 주파수 특성 정보를 동측 전달 함수에 반영하여 동측 바이노럴 필터를 생성하고, 대측 거리 필터의 게인 및/또는 주파수 특성 정보를 대측 전달 함수에 반영하여 대측 바이노럴 필터를 생성한다. 바이노럴 렌더러(100-2)는 이와 같이 생성된 동측 바이노럴 필터 및 대측 바이노럴 필터를 이용하여 입력 오디오 신호를 각각 필터링함으로 통합된 바이노럴 렌더링을 구현할 수 있다.

한편 본 발명의 또 다른 실시예에 따르면, DVF(Distance Variation Function)의 모델링을 통한 거리 렌더링이 수행될 수 있다. 원거리의 HRTF에 근거리의 HRTF 특성을 부여하기 위한 방법으로 구형 헤드 모델을 이용한 DVF가 있다. 이를 수학식으로 나타내면 수학식 22와 같다.

여기서, H()는 실측된 HRTF를 나타내며, NF_H()는 모델링된 근거리 HRTF를 나타낸다. r_n은 모델링 대상 거리이며, r_f는 HRTF가 실측된 거리를 나타낸다. 또한, SHM()은 구형 헤드 모델을 나타낸다. DVF는 구형 헤드 모델 SHM()이 실측된 HRTF H()와 주파수 응답이 일치한다고 가정하여 사운드의 근거리 효과를 구현할 수 있다. 그러나 구형 헤드 모델에 한켈(Hankel) 함수, 르장드르(Legendre) 함수 등이 사용될 경우, 복잡한 연산으로 인해 거리 렌더링이 실시간으로 구현되기 어려운 단점이 있다. 따라서 본 발명의 실시예에 따르면, 전술한 인텐시티 렌더러와 근거리 렌더러를 조합하여 DVF를 모델링할 수 있다.

도 19는 본 발명의 실시예에 따른 시간 도메인의 거리 렌더러를 나타낸 블록도이다. 거리 렌더러(140-2)는 인텐시티 렌더러(146)와 근거리 렌더러(148a, 148b)를 포함한다. 도 19는 시간 도메인에서 DVF를 모델링한 거리 렌더러(140-2)를 나타내고 있으나, 본 발명은 이에 한정되지 않으며 유사한 방법으로 주파수 도메인의 거리 렌더러도 구현 가능하다.

도 19를 참조하면, 거리 렌더러(146)는 입력 오디오 신호 D^I(n), D^C(n)에 대한 거리 렌더링을 아래 수학식 23과 같이 수행할 수 있다. 수학식 23의 실시예에서, 수학식 19의 실시예를 통해 설명된 각 변수의 정의는 중복적인 설명을 생략한다.

수학식 23에서 D^I(k) 및 D^C(k)는 각각 거리 렌더러(140-2)의 동측 입력 신호 및 대측 입력 신호이며, B^I_DSR(k) 및 B^C_DSR(k)는 각각 거리 렌더러(140-2)의 동측 출력 신호 및 대측 출력 신호이다. 또한, BFS_I(n)는 동측 주파수 성형 함수, BFS_C(n)은 대측 주파수 성형 함수를 나타내며, n은 시간 도메인의 샘플 인덱스이다.

G는 대측 DVF부터 추출된 게인으로서, DC 성분값 또는 전체 응답의 평균 값으로 결정될 수 있다. 일 실시예에 따르면, G는 음원의 거리 및 입사각에 따른 커브 피팅에 기초하여 결정되거나, 구형 헤드 모델을 통해 획득된 테이블에 기초하여 결정될 수 있다. 본 발명의 실시예에 따르면, 음원이 가까워짐에 따라 단순히 동측 게인과 대측 게인을 함께 증가시키는 것이 아니라, 대측 게인에 대비한 동측 게인의 레벨을 증가시킴으로 ILD가 조정될 수 있다.

시간 도메인에서의 근거리 렌더러(148a, 148b) 즉, BFS 필터는 음원의 거리 및 입사각에 기초한 1차 IIR 필터로 모델링될 수 있으며, 이를 수식으로 나타내면 아래 수학식 24와 같다.

여기서, N=I, C이다.

수학식 24에서 c_a 및 c_b는 필터의 컷-오프(cut-off)를 결정하는 계수이며, f_c는 필터의 컷-오프 주파수, dc_g는 필터의 dc 주파수에서의 정규화 게인 값을 나타낸다. 본 발명의 실시예에 따르면, f_c와 dc_g를 조절하여 로우 쉘빙 필터와 로우 패스 필터를 가변하여 사용할 수 있다. f_c와 dc_g는 음원의 거리와 입사각에 기초하여 결정된다. 본 발명의 실시예에 따르면, 도 19의 근거리 렌더러(148a, 148b)가 수학식 21의 실시예에 따른 주파수 도메인의 BFS 필터로 대체될 경우, 주파수 도메인의 거리 렌더러가 구현될 수 있다.

이상에서는 본 발명을 구체적인 실시예를 통하여 설명하였으나, 당업자라면 본 발명의 취지 및 범위를 벗어나지 않고 수정, 변경을 할 수 있다. 즉, 본 발명은 오디오 신호에 대한 바이노럴 렌더링의 실시예에 대하여 설명하였지만, 본 발명은 오디오 신호뿐만 아니라 비디오 신호를 포함하는 다양한 멀티미디어 신호에도 동일하게 적용 및 확장 가능하다. 따라서 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야에 속한 사람이 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.

10: 오디오 신호 처리 장치
30: 음원 50: 청자
100: 바이노럴 렌더러
120: 방향 렌더러 140: 거리 렌더러
160: 잔향 생성기 180: 믹서&콤바이너
200: 바이노럴 파라메터 컨트롤러
220: 디렉션 파라메터 생성부 240: 디스턴스 파라메터 생성부
300: 퍼스널라이저

Claims (12)

1. 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 장치로서,
   상기 입력 오디오 신호의 음원의 방향을 정위하는 방향 렌더러; 및
   상기 입력 오디오 신호의 음원과 청자 간의 거리에 따른 효과를 반영하는 거리 렌더러; 를 포함하되,
   상기 오디오 신호 처리 장치는 상기 청자의 동측 귀에 대한 상기 음원의 거리(동측 거리) 및 입사각(동측 입사각) 정보와, 상기 청자의 대측 귀에 대한 상기 음원의 거리(대측 거리) 및 입사각(대측 입사각) 정보를 획득하고,
   상기 방향 렌더러는 상기 동측 입사각에 기초한 제1 위치에 대응하는 제1 HRTF(Head Related Transfer Function) 세트에서 동측 방향 필터를 선택하고, 상기 대측 입사각에 기초한 제2 위치에 대응하는 제2 HRTF 세트에서 대측 방향 필터를 선택하되, 상기 제1 위치와 제2 위치는 서로 다른 위치이고,
   상기 거리 렌더러는 상기 동측 거리 및 동측 입사각 정보 중 적어도 하나에 기초하여 동측 거리 필터를 결정하고, 상기 대측 거리 및 대측 입사각 정보 중 적어도 하나에 기초하여 대측 거리 필터를 결정하며,
   상기 오디오 신호 처리 장치는 상기 동측 방향 필터 및 동측 거리 필터로 상기 입력 오디오 신호를 필터링하여 동측 출력 신호를 생성하고, 상기 대측 방향 필터 및 대측 거리 필터로 상기 입력 오디오 신호를 필터링하여 대측 출력 신호를 생성하는,
   오디오 신호 처리 장치.
2. 제1 항에 있어서,
   상기 동측 거리 필터는 상기 동측 출력 신호의 게인 및 주파수 특성 중 적어도 하나를 조절하고, 상기 대측 거리 필터는 상기 대측 출력 신호의 게인 및 주파수 특성 중 적어도 하나를 조절하는 오디오 신호 처리 장치.
3. 제2 항에 있어서,
   상기 동측 거리 필터는 로우 쉘빙 필터이며, 상기 대측 거리 필터는 로우 패스 필터인 오디오 신호 처리 장치.
4. 제1 항에 있어서,
   상기 동측 거리, 동측 입사각, 대측 거리 및 대측 입사각은 상기 청자의 머리 중심에 대한 상기 음원의 상대적인 위치 정보 및 상기 청자의 머리 크기 정보에 기초하여 획득되는 오디오 신호 처리 장치.
5. 제1 항에 있어서,
   상기 거리 렌더러는 상기 청자와 상기 음원의 거리가 기 설정된 거리 이내일 경우 상기 동측 거리 필터 및 대측 거리 필터를 이용한 필터링을 수행하는 오디오 신호 처리 장치.
6. 삭제
7. 삭제
8. 제1 항에 있어서,
   상기 방향 렌더러는,
   상기 청자의 머리 중심에 대한 상기 음원의 상대적인 위치 정보가 변경될 경우, 상기 변경된 위치에 대응하는 동측 방향 필터 및 대측 방향 필터 중 적어도 하나의 노치 성분을 추가적으로 보상하는 오디오 신호 처리 장치.
9. 제1 항에 있어서,
   상기 동측 입사각은 상기 동측 귀에 대한 상기 음원의 방위각(동측 방위각) 및 고도각(동측 고도각)을 포함하고, 상기 대측 입사각은 상기 대측 귀에 대한 상기 음원의 방위각(대측 방위각) 및 고도각(대측 고도각)을 포함하며,
   상기 방향 렌더러는,
   상기 동측 방위각 및 동측 고도각에 기초하여 상기 동측 방향 필터를 선택하고, 상기 대측 방위각 및 대측 고도각에 기초하여 상기 대측 방향 필터를 선택하는 오디오 신호 처리 장치.
10. 제9 항에 있어서,
    상기 방향 렌더러는,
    상기 청자의 머리 회전 정보를 획득하되, 상기 청자의 머리 회전 정보는 상기 청자의 머리의 요, 롤, 피치 중 적어도 하나의 정보를 포함하고,
    상기 청자의 머리 회전 정보에 기초한 상기 동측 입사각 및 대측 입사각의 변화를 산출하고,
    상기 변화된 동측 입사각 및 대측 입사각에 기초하여 동측 방향 필터 및 대측 방향 필터를 각각 선택하는 오디오 신호 처리 장치.
11. 제10 항에 있어서,
    상기 청자의 머리가 롤링된 경우 상기 동측 고도각 및 대측 고도각 중 어느 하나는 증가하고 다른 하나는 감소하며,
    상기 방향 렌더러는, 변경된 상기 동측 고도각 및 대측 고도각에 기초하여 상기 동측 방향 필터 및 대측 방향 필터를 각각 선택하는 오디오 신호 처리 장치.
12. 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 방법으로서,
    청자의 동측 귀에 대한 음원의 거리(동측 거리) 및 입사각(동측 입사각) 정보를 획득하는 단계;
    상기 청자의 대측 귀에 대한 상기 음원의 거리(대측 거리) 및 입사각(대측 입사각) 정보를 획득하는 단계;
    상기 동측 입사각에 기초한 제1 위치에 대응하는 제1 HRTF(Head Related Transfer Function) 세트에서 동측 방향 필터를 선택하는 단계;
    상기 대측 입사각에 기초한 제2 위치에 대응하는 제2 HRTF 세트에서 대측 방향 필터를 선택하는 단계, 상기 제1 위치와 제2 위치는 서로 다른 위치임;
    상기 동측 거리 및 동측 입사각 정보 중 적어도 하나에 기초하여 동측 거리 필터를 결정하는 단계;
    상기 대측 거리 및 대측 입사각 정보 중 적어도 하나에 기초하여 대측 거리 필터를 결정하는 단계;
    상기 동측 방향 필터 및 동측 거리 필터로 상기 입력 오디오 신호를 필터링하여 동측 출력 신호를 생성하는 단계; 및
    상기 대측 방향 필터 및 대측 거리 필터로 상기 입력 오디오 신호를 필터링하여 대측 출력 신호를 생성하는 단계;
    를 포함하는 오디오 신호 처리 방법.

Images