KR100608025B1

KR100608025B1 - 2채널 헤드폰용 입체 음향 생성 방법 및 장치

Info

Publication number: KR100608025B1
Application number: KR1020050017667A
Authority: KR
Inventors: 천인규
Original assignee: 삼성전자주식회사
Priority date: 2005-03-03
Filing date: 2005-03-03
Publication date: 2006-08-02
Also published as: NL1031240A1; CN1829393A; NL1031240C2; US20060198527A1; CN1829393B

Abstract

DVD와 같은 기록 매체를 통해 재생되는 다채널의 오디오 신호를 두 채널의 헤드폰용 입체 음향으로 생성하는 입체 음향 생성 방법 및 그 장치에 관한 것이다. 본 발명은 복수개 채널 신호를 좌, 우 채널의 입체 음향으로 생성하는 헤드폰 입체 음향 생성 방법에 있어서, 상기 복수개 채널중 어느 한 채널의 신호를 서로 다른 복수개의 딜레이 계수들에 따라 지연시켜 직접음과 반사음들로 생성하는 과정, 지연된 각 음들에 서로 다른 소정의 게인값들을 승산하는 과정, 승산된 각 음들에 대해 두 귀간의 시간차를 반영하여 좌, 우 채널로 분리하는 과정, 좌, 우채널로 분리된 각 음들에 대해 두 귀간의 레벨차를 반영하여 저역통과필터링하는 과정, 저역통과필터링된 각 음의 좌 채널 및 우 채널 끼리 더하는 과정을 포함한다.

Description

2채널 헤드폰용 입체 음향 생성 방법 및 장치{Method and apparatus for simulating virtual sound for two-channel headphones}

도 1은 종래의 입체 음향 재생 시스템의 블록도이다.

도 2는 본 발명에 따른 헤드폰 입체 음향 생성의 개념도이다.

도 3 및 도 4는 본 발명에 따른 반사음과 두 귀간의 시간차를 측정하는 개념도 이다.

도 5는 본 발명에 따른 본 발명에 따른 헤드폰 입체 음향 생성 장치의 블록도이다.

도 6은 도 5의 입체 음향 필터부의 어느 한 채널의 가상 필터의 상세도이다.

본 발명은 입체 음향 생성 시스템에 관한 것이며, 특히 DVD와 같은 기록 매체를 통해 재생되는 다 채널의 오디오 신호를 두 채널의 헤드폰용 입체 음향으로 생성하는 입체 음향 생성 방법 및 그 장치에 관한 것이다.

근래 들어 5.1 채널을 지원하는 스피커 없이 헤드폰으로 3차원 입체 음향을 들을 수 있는 기술이 구현되고 있다.

홈씨어터 시스템 사운드는 5개의 스피커를 통해 출력되지만, 이 사운드들이 직접 귀에 다다르는 것이 아니고 부분적으로 방안의 벽이나 가구에 의해 반사된 후 귀에 다다르게 된다. 모든 사운드 신호들이 귀에 도달하였을 때 뇌는 이 모든 정보를 받아들여 이를 방안의 청각적인 음향으로 느끼게 한다.

이런 입체 음향 원리를 일반 헤드폰만으로 동일하게 구현하게 하기 위해 현실 공간의 음향 측정 장치로 오디오 정보를 코딩하는 프로세서를 기반으로 입체 음향 효과를 가상의 공간에서 구현하고 있다.

이러한 입체 음향 생성 시스템에 관련된 기술이 WO 99/49574(PCT/AU99/00002 filed 6 Jan. 1999 entitled AUDIO SIGNAL PROCESSING METHOD AND APPARATUS)에 개시되어 있다.

종래의 입체 음향 생성 시스템에 관련된 기술을 보면, 멀티 채널의 오디오 신호는 HRTF(head related transfer function)를 이용해 2개 채널의 오디오 신호로 다운 믹스된다.

도 1을 참조하면, 5. 1채널의 오디오 신호가 입력된다. 5. 1채널은 좌 프론트 채널, 우 프론트 채널, 센터 프론트 채널, 좌 서라운드 채널, 우서라운드 채널, 저주파 효과 채널이다. 각 채널에 대해 좌, 우 임펄스 응답 함수가 인가된다. 그러므로 좌 프론트 채널(2)에 대해, 해당 좌 프론트 임펄스 응답 함수(4)는 좌 프론트 신호(3)와 콘볼루션(6)된다. 그 좌 프론트 임펄스 응답 함수(4)는 이상적인 위치에 놓여진 좌 프론트 채널 스피커에서 출력되는 이상적인 스파이크(spike)로 왼쪽 귀로 수신될 임펄스 응답으로서 HRTF를 이용한다. 출력신호(7)는 헤드폰을 위한 좌 채널 신호(10)로 합쳐진다. 비슷하게, 우 채널 스피커를 위한 오른쪽 귀에 대한 해당 임펄스 응답 함수(5)는 우채널 신호(11)로 합쳐질(11)출력신호(9)를 발생시키기 위해 좌 프론트 신호(3)와 콘볼루션(8)된다. 그러므로 도 1의 배열은 5.1 채널 신호들에 대해 약 12개의 콘볼루션 단계들을 필요로 한다. 결국, 5.1 채널의 신호들은 측정된 HRTF를 조합하여 다운 믹스됨으로써 2채널의 신호로 재생되더라도 멀티 채널로 재생될 때와 같은 서라운드 효과를 낼수 있다.

그러나 도 1의 시스템에 적용된 범용 HRTF는 청취자의 HRTF와 고주파 영역에서 주파수 응답 차이가 있다. 즉, 자유공간에서의 HRTF는 음원으로부터 인간의 고막까지의 전달함수로 정의될 수 있다. HRTF가 나타내는 한 귀에서의 음향신호의 주파수 성분과 ILD(Interaural level difference)는 대략 5 kHz 이상의 고주파대역에서 청취자의 귀 모양에 매우 민감함을 나타내는데 이는 인간의 귀는 각자 고유한 형태와 여러 가지 공진을 일으키는 주파수 특성을 지니고 있기 때문이다.

HRTF는 특히 고주파 영역에서 여러 개의 피크(peak)와 딥(dip)들을 나타낸다. 이런 피크와 딥들의 위치는 인간의 귀의 공진으로 부터 주로 형성되기 때문에 개인마다 귀 모양의 차이로 인해 사람마다 다르다. 이런 차이로 인해 HRTF는 사람에 따라 차이가 난다.

따라서 도 1의 종래 입체 음향 생성 시스템은 범용 HRTF(non-individualized head related transfer function)와 청취자 HRTF(individualized head related transfer function)간의 차이로 인해 음색이 변형되고 음상 정위가 정확히 구현되지 않는 문제점이 있다. 또한 도 1의 종래 입체 음향 생성 시스템은 각각의 신호와 범용 HRTF간에 콘볼루션을 수행함으로써 계산량이 증가하는 문제점이 있다.

본 발명이 이루고자하는 기술적 과제는 각 채널별 신호에 대해 청취자의 머리에 의해 발생하는 입체감과 가상 공간에 따른 공간감을 반영하여 좌, 우 채널의 입체 음향으로 출력하는 2채널 헤드폰용 입체 음향 생성 방법 및 그 장치를 제공하는 데 있다.

상기의 기술적 과제를 해결하기 위하여, 본 발명은 복수개 채널 신호를 좌, 우 채널의 입체 음향으로 생성하는 헤드폰 입체 음향 생성 방법에 있어서,

(a) 상기 복수개 채널중 어느 한 채널의 신호를 서로 다른 복수개의 딜레이 계수들에 따라 지연시켜 직접음과 반사음들로 생성하는 과정;

(b) 상기 지연된 각 음들에 서로 다른 소정의 게인값들을 승산하는 과정;

(c) 상기 과정에서 승산된 각 음들에 대해 두 귀간의 시간차를 반영하여 좌, 우 채널로 분리하는 과정;

(d) 상기 좌, 우채널로 분리된 각 음들에 대해 두 귀간의 레벨차를 반영하여 저역통과필터링하는 과정;

(e) 상기 저역 통과 필터링된 각 음의 좌 채널 및 우 채널 끼리 더하는 과정을 포함하는 것을 특징으로 한다.

상기의 다른 기술적 과제를 해결하기 위하여, 본 발명은 헤드폰 입체 음향 생성 장치에 있어서,

각 채널별로 한 채널의 신호에 대해 두 귀의 입사하는 음압 차이와 가상 공 간에 따른 지연 시간 및 음원 세기를 반영하여 좌, 우 채널의 입체 음향으로 출력하는 입체음향 필터 수단;

상기 입체 음향 필터 수단에서 각 채널별로 좌, 우 채널로 발생하는 출력 신호의 왼쪽 채널끼리 더하고 오른쪽 채널끼리 더하는 가산 수단을 포함하는 것을 특징으로 한다.

이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.

도 2를 참조하면, 멀티 채널의 오디오를 재생하는 표준 스피커 위치에 따라 가상 공간(virtual room)에서 멀티 채널의 가상 스피커가 배치된다. 예컨대, 5.1 채널의 가상 스피커를 배치한다고 가정한다. 5.1채널의 가상 스피커들에서 출력되는 각 좌, 우채널의 신호들은 두 귀의 헤드폰을 위해 좌 채널 끼리 및 우 채널 끼리 합쳐진다.

주어진 형태와 경계 조건을 가진 가상 공간(virtual room)에 가상 스피커를 위치시키고 청취자를 최적의 위치에 두면 가상 스피커로부터 청취자에게 직접 전달되는 직접음(direct sound) 뿐만 아니라 가상 공간의 가상 벽면으로부터 반사되는 반사음들도 청취자에게 전달된다. 이때 직접음을 포함한 각각의 반사음들은 지연 시간, 음압량, 청취자에 대한 입사각이 각각 다르다.

헤드폰 재생 시스템은 2채널 스테레오 재생의 경우 입체음향이 정확히 재생되지 않거나 제공되지 않는 경우 음상이 청취자의 머리 안에 맺히는 소위 "In-head localization" 현상이 일어나기 쉽다. 따라서 가상 음원에서 발생하는 음이 주어진 공간에서 생성되는 반사음들을 헤드폰 재생 신호에 더해 줌으로써 음상이 청취자의 머리 안에 맺히는 현상이 자연스럽게 극복되어 음상이 머리 밖의 원하는 위치에 맺힐 수 있다.

반사음은 방의 간단한 구조적 모델로부터 구현될 수 있다. 도 3은 주어진 가상 공간(virtual room)(350)에서 하나의 음원(320)에 대한 미러 이미지 음원(mirror image source)들 중 하나를 나타내고 있다. 미러 이미지 음원(310)은 벽면을 대칭면으로 음원(310)이 벽면으로부터 반사된 가상 음원이다. 음원(320)으로부터 청취자(330)의 귀까지 도달하는 반사음의 지연시간은 대응하는 미러 이미지 음원(310)으로부터 청취자(330)의 귀까지 직선 거리의 지연시간으로 대치될 수 있다. 또한 반사음의 세기는 벽면의 흡음 정도에 의존하는 미러 이미지 음원의 세기(strength)로 부터 계산될 수 있다. 원래 음원뿐만 아니라 가상 음원들도 각각 벽면에 반사된 가상 음원들을 추가로 생성해 내므로 무한개의 가상음원이 생성될 수 있다. 무한개의 가상음원 중 적절한 수준에서 유한개의 가상음원을 설정하여 각각의 가상음원으로부터의 지연시간과 음원세기를 계산하고 각각의 가상음원의 청취자로의 입사각에 따른 각각의 ITD와 ILD가 계산될 수 있다. 이들은 주어진 방의 형태와 경계조건과 청취자와 음원의 위치에 따라 달라지므로 효과적인 반사음을 생성하 기 위하여 가상공간을 적절히 설계해 줄 필요가 있다.

따라서 본 발명에 따른 헤드폰 입체음향을 생성하기 위해 가상 공간에서 직접음과 각각의 반사음들에 대해 가상 스피커로부터 청취자까지 도달하는 지연 시간들을 측정한다. 이 지연 시간에 해당하는 지연 계수들(m_{0 -}m_n)은 가상 공간의 크기에 의존한다. 직접음과 각각의 반사음들을 n개라고 가정할 때 각각의 음들의 지연 계수들(m_{0 -}m_n)은 서로 다르다. 다음으로 n개의 직접음과 반사음에 대해 각 음원 세기에 해당하는 게인값(g_{0 -}g_n)들을 측정한다. 이어서, 청취자로부터 두 귀에 입사하는 신호의 음압 차이로부터 상대적인 음원의 방향을 지각할 수 있는 ITD(interaural time difference)값 및 ILD((interaural level difference)값을 측정한다. 즉, ITD는 도 4에서 보이듯이 음원으로부터 청취자의 두 귀까지 도달하는 경로의 길이차로부터 발생하는 두 귀사이에 전달되는 신호의 시간차이다. ITD는 수학식 1과 같이 나타낼 수 있다.

ITD =r(θ+sinθ)/C₀

여기서 C₀는 음속으로서 공기에서 약 344 m/s 이다.

ITD는 음의 파장이 머리크기보다 길 때 효과적이므로 대략 700Hz 이하의 저주파 영역에서 효과적으로 지각할 수 있다. n개의 음에 따른 각각의 좌측 ITD값들(itd_L0, itd_L1, ....itd_Ln)과 우측 ITD값들(itd_R0, itd_R1, ....itd_Rn)은 서로 다르다. 예를 들어 직접음의 경우 가상 스피커가 오른쪽에 있으면 itd_L0값이 itd_R0값보다 크다.

그리고 ILD는 청취자의 두 귀 사이에 전달되는 신호의 진폭차 혹은 레벨차를 의미한다. ILD는 주로 머리와 귀에서 발생하는 음의 산란 현상 때문에 발생한다. ILD는 수학식 2와 같이 나타낼 수 있다.

ILD = 20 log₁₀(｜HRTF_R｜/｜HRTF_L｜)

ILD는 음의 파장이 머리나 귀의 크기보다 작을 때 효과적이므로 고주파 영역에서 효과적으로 지각된다. 그러나 ILD는 청취자의 머리나 귀 모양에 의지하므로 사람에 따라 차이가 날 수 있다. 머리에 의한 산란 효과는 음원으로부터 먼쪽의 귀의 음압이 상대적으로 저역 필터링되어 고음이 깎인 현상을 보이며 귀에 의한 산란 효과는 HRTF와 마찬가지로 귀의 여러 가지 공진을 일으키는 주파수 특성으로 인해 고주파 영역에서 피크(peak)와 딥(dip)을 보인다. 귀에 의한 ILD보다는 머리에 의한 ILD가 사람들간에 상대적으로 적게 차이가 나므로 저역통과필터링만으로 구성된 ILD 은 대체로 청취자에 의존하는 정도가 작다.

n개의 음에 따른 각각의 좌측 ILD값들(ild_L0, ild_L1, ....ild_Ln)과 우측 ILD값들(ild_R0, ild_R1, ....ild_Rn)은 서로 다르다. 예를 들어 직접음의 경우 가상 스피커가 오른쪽에 있으면 ild_L0값이 ild_R0값보다 보다 고음 부분이 더 많이 깎인다.

도 5의 헤드폰 입체 음향 생성 장치는 입체음향 필터부(500), 신호보정필터부(560), 좌채널가산부(570), 우채널가산부(580)로 구성된다. 여기서 입체음향 필터부(500)는 LF 가상 필터(510), CF 가상 필터(520), RF 가상 필터(530), LS 필터(540), RS 필터(550)로 이루어진다.

먼저, 5. 1채널의 오디오 신호가 입력된다. 5. 1채널은 좌 프론트 채널, 우 프론트 채널, 센터 프론트 채널, 좌 서라운드 채널, 우서라운드 채널, 저주파 효과 채널이다. 다른 실시예로 7.1채널과 같은 멀티 채널의 신호를 입력할 수 있다.

입체음향 필터부(500)는 가상 공간에서 구해진 지연 계수들(m_{0 -}m_n) 및 게인값(g_{0 -}g_n)들과 두 귀에 입사하는 음압 차이에 해당하는 ITD값 및 ILD값들을 반영하여 2채널의 헤드폰을 위한 입체 음향을 생성한다. 이때 입체음향 필터부(500)는 입력 채널의 가상 스피커의 위치와 가상 공간의 형태 및 조건에 따라 필터 계수들이 달라진다. 입체음향 필터부(500)는 LF 가상 필터(510), CF 가상 필터(520), RF 가상 필터(530), LS 필터(540), RS 필터(550)를 구비하여 각각 좌 프론트 채널, 우 프론트 채널, 센터 프론트 채널, 좌 서라운드 채널, 우서라운드 채널의 오디오 신호의 입체 음향을 처리한다. 그리고 각 채널별 필터들(510 - 550)은 동일한 구조를 가지지만 서로 다른 필터 계수를 갖는다.

신호보정필터부(560)는 저주파 효과음 채널의 신호와 다른 채널의 신호간의 레벨과 시간 지연의 차이를 보정한다. 즉, 저주파 효과음 채널의 신호는 청취자의 머리 크기보다 긴 파장을 가진 신호로 구성되므로 입체음향 필터부(500)를 통과하지 않고, 대신 입체음향 필터부(500)를 통과한 다른 채널의 신호와 레벨 및 시간 지연을 맞춰야한다.

좌채널 가산부(570)는 입체음향 필터부(500) 및 신호보정필터부(560)에서 출력되는 왼쪽 채널들(LL, CL, RL, LsL, RsL)의 신호를 가산한다.

우채널 가산부(580)는 입체음향 필터부(500) 및 신호 보정 필터부(560)에서 출력되는 오른쪽 채널들(LR, CR, RR, LsR, RsR)의 신호를 가산한다.

최종적으로 좌, 우채널 가산부(570, 580)에서 출력되는 좌, 우 채널의 출력 신호는 앰프를 거쳐 두 채널의 헤드폰으로 입력된다.

도 6의 가상 필터는 지연 필터부(610), 승산부(620), ITD 필터부(630), ILD 필터부(640), 좌 채널가산부(650), 우 채널가산부(660)로 이루어진다.

지연필터부(610)는 복수개 채널중 어느 한 채널의 신호를 가상 공간에서 미리 측정된 서로 다른 복수개 딜레이 계수들(m_{0 -}m_n)에 따라 지연시켜 직접음과 반사음들로 생성한다.

승산부(620)은 지연 필터부(610)에서 지연된 각 음들에 가상 공간에서 미리 측정된 서로 다른 소정의 게인값(g_{0 -}g_n)들을 승산한다.

ITD 필터부(630)는 승산부(620)에서 승산된 각 음들에 대해 미리 측정된 두 귀간의 시간차를 반영하여 좌, 우 채널의 음(L₀, R₀,.....L_n, R_n)으로 분리한다;

ILD 필터부(640)는 ITD 필터부(630)에서 좌, 우채널로 분리된 각 음들에 대해 미리 측정된 두 귀간의 레벨차를 반영하여 저역통과필터링한다.

좌채널 가산부(650)는 ILD 필터부(640)를 통과한 각 음의 좌 채널들의 음 끼리 가산한다.

우채널 가산부(660)는 ILD 필터부(640)를 통과한 각 음의 우 채널들의 음 끼리 가산한다.

본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다.

상술한 바와 같이 본 발명에 의하면, HRTF를 사용하지 않고 시간 지연과 지역통과필터링만으로 헤드폰 입체 음향을 생성함으로써 음색의 변형이 거의 없고 오디오 처리 계산량이 적은 효과가 있다. 또한 본 발명은 DVD, PC에서 홈씨어터와 같은 음질의 사운드를 5.1채널 스피커 시스템 없이 2채널의 헤드폰만을 사용하여 들을 수 있다. 또한 본 발명을 홈씨어터 시스템에 적용하면 2채널 헤드폰을 가지고도 청취자의 위치에 상관없이 5.1채널 인코딩된 기록 매체가 구현하는 입체 음향을 들을 수 있다. 또한 여러 사람이 각각 2채널 헤드폰을 가지고 청취해도 동일한 입체 음향을 느낄 수 있다.

Claims

복수 개 채널 신호를 좌, 우 채널의 입체 음향으로 생성하는 헤드폰 입체 음향 생성 방법에 있어서,

(a) 상기 복수개 채널중 어느 한 채널의 신호를 서로 다른 복수개의 딜레이 계수들에 따라 지연시켜 직접음과 반사음들로 생성하는 과정;

(b) 상기 지연된 각 음들에 서로 다른 소정의 게인값들을 승산하는 과정;

(c) 상기 과정에서 승산된 각 음들에 대해 두 귀간의 시간차를 반영하여 좌, 우 채널의 음으로 분리하는 과정;

(d) 상기 좌, 우채널로 분리된 각 음들에 대해 두 귀간의 레벨차를 반영하여 저역통과필터링하는 과정;

(e) 상기 저역통과필터링된 각 음의 좌 채널 및 우 채널 끼리 더하는 과정을 포함하는 헤드폰 입체 음향 생성 방법.
제1항에 있어서, 상기 직접음 및 반사음 생성 과정은 가상 공간에 크기에 따라 상기 직접음과 반사음에 서로 다른 복수개의 딜레이 계수를 부여하는 것임을 특징으로 하는 헤드폰 입체 음향 생성 방법.
제1항에 있어서, 상기 승산 과정은 가상 공간의 흡음 정도에 따라 상기 직접음 및 반사음에 서로 다른 게인값을 부여하는 것임을 특징으로 하는 헤드폰 입체 음향 생성 방법.
제1항에 있어서, 상기 좌, 우 채널 분리 과정은 음의 입사각에 따라 좌 우 채널에 각각 다른 두 귀간의 시간차이를 부여하는 것임을 특징으로 하는 헤드폰 입체 음향 생성 방법.
제1항에 있어서, 상기 저역통과필터링 과정은 음의 입사각에 따라 좌,우 채널에 각각 다른 두 귀간의 레벨 차를 부여하는 것을 특징으로 하는 헤드폰 입체 음향 생성 방법.
헤드폰 입체 음향 생성 장치에 있어서,

각 채널별로 한 채널의 신호에 대해 두 귀의 입사하는 음압 차이와 가상 공간에 따른 지연 시간 및 음원 세기를 반영하여 좌, 우 채널의 입체 음향으로 출력하는 입체음향 필터 수단;

상기 입체 음향 필터 수단에서 각 채널별로 좌, 우 채널로 발생하는 출력 신호의 왼쪽 채널끼리 더하고 오른쪽 채널끼리 더하는 가산 수단을 포함하는 헤드 폰 입체 음향 생성 장치.
제6항에 있어서, 상기 입체 음향 필터 수단은 입력 신호 및 가상 공간에 따라 다른 출력 레벨과 시간 지연 특성을 구비하는 것을 특징으로 하는 헤드 폰 입체 음향 생성 장치.
제6항에 있어서, 저주파 효과음 채널의 신호와 다른 채널의 신호간의 레벨과 시간 지연의 차이를 보정하는 게인 및 지연 필터 수단을 더 포함하는 것을 특징으로 하는 헤드폰 입체 음향 생성 장치.
제6항에 있어서, 상기 입체 음향 필터 수단은

상기 복수개 채널중 어느 한 채널의 신호를 가상 공간에서 측정된 서로 다른 복수개의 딜레이 계수들에 따라 지연시켜 직접음과 반사음들로 생성하는 지연필터부;

상기 지연 필터부에서 지연된 각 음들에 가상 공간에서 측정된 서로 다른 소정의 게인값들을 승산하는 승산부;

상기 승산부에서 승산된 각 음들에 대해 두 귀간의 시간차를 반영하여 좌, 우 채널로 분리하는 ITD 필터부;

상기 ITD 필터부에서 좌, 우채널로 분리된 각 음들에 대해 두 귀간의 레벨차를 반영하여 저역통과필터링하는 ILD 필터부;

상기 ILD 필터부에서 저역통과필터링된 각 음의 좌 채널 및 우 채널 끼리 더하는 가산부를 포함하는 것을 특징으로 하는 헤드 폰 입체 음향 생성 장치.