KR19990058951A - 3차원 헤드폰 시스템의 음장 구현 방법 및 장치 - Google Patents

Abstract

오디오 기기에 사용되는 헤드폰 시스템에 관한 것으로서, 특히 특정 채널의 위치를 3차원 공간내에 가상적으로 설정하고 그 채널의 위치와 크기를 벡터적으로 분리하여 3차원 공간의 각 축에 정사영을 투영하고 각 채널을 양과 음의 방향으로 분리시켜 총 6개의 가상적인 음원으로 변환시킨 후 상기 가상 음원에 귀의 모양이나 위치에 따라 결정되는 HRTF를 적용하여 2개의 채널 신호로 만들어 주고 헤드 트랙킹 신호를 받아들여 처리함으로써, 머리의 움직임에 따라 움직이는 음장이 아니라 공간상에 고정되어 존재하는 완전한 3차원 음장감을 구현할 수 있다. 이에 따라 헤드폰의 중요한 단점의 하나인 IHL 현상을 제거하는 효과를 얻을 수 있다. 또한, 이러한 벡터 투영 방식의 헤드폰 시스템은 기존의 다채널 음장 처리 규격의 디코딩된 신호를 스피커를 통해서가 아니라 헤드폰을 통해서도 재생할 수 있으며, 입력 신호의 위치에 대한 변수만 조절하여 각 채널의 위치를 손쉽게 수정할 수 있기 때문에 음장의 넓이, 좌우로 벌어지는 정도 또는 청취자를 둘러싼 정도 등을 쉽게 조절할 수 있다.

Description

3 차원 헤드폰 시스템의 음장 구현 방법 및 장치

본 발명은 오디오 기기에 사용되는 헤드폰 시스템에 관한 것으로서, 특히 헤드 트랙킹(Head Tracking) 한 정보와 HRTF(Head Related Transfer Function) 및 동작 이론을 적용하여 3차원 음장감을 재현하는 3차원 헤드폰 시스템의 음장 구현 방법 및 장치에 관한 것이다.

기존의 헤드폰은 오디오 시스템의 양쪽 스피커에서 재생될 오디오 신호를 그대로 양쪽 귀에 전달하는 방식이다. 이는 스피커를 통하여 재생해 듣는 것과는 아주 다른 청각 효과를 가져온다.

즉, 헤드폰 재생의 결정적인 문제로서는, 첫째, 음의 공간감이 머리속으로 제한된다는 점과 둘째, 최근 각광받고 있는 멀티 채널에 의한 다차원 음장을 구현하기가 힘들다는 점이다.

음의 공간감이 머리속으로 제한되는 현상(Inside the Head Locatedness : IHL)의 원인 중 하나는 헤드폰 시스템의 경우 바로 귀 앞에서 소리가 나게 하기 때문이다. 예를 들어, 왼쪽 스피커에시 나는 소리는 헤드폰의 경우처럼 반드시 왼쪽 귀 앞에서 소리가 나는 것이 아나다. 왼쪽 스피커에서 나는 소리는 공간(스피커와 청취자 사이)을 통하여 전파된 다음 소리의 입사 방향과 인간의 상체 및 얼굴 그리고, 귀의 위치와 모양에 따라 결정되는 HRTF에 의해 그 스펙트럼 구조가 변경된 후 귀의 입구에 전달되게 된다. 또한, 왼쪽 스피커에서 나는 소리는 왼쪽 귀에만 전달되는 것이 아니다. 그 소리는 양쪽 귀에 각각 다른 크기, 스펙트럼 구조, 그리고 다른 시간 간격을 두고 전달된다.

그리고, 인간이 소리의 방향을 파악하는 기능은 양쪽 귀에 들어오는 신호를 서로 비교함으로써 더욱 강화된다. 전방의 왼쪽과 오른쪽에 놓여진 스피커에서 재생하는 신호를 듣는 경우 두 귀를 모두 활용하여 그 두 신호를 듣게 되지만 헤드폰에서는 그 스피커로 재생될 신호를 각각 한쪽 귀에만 들리게 함으로써, 소리가 전방에 위치하고 있다는 느낌을 줄 수 없게된다.

기존의 헤드폰에서 IHL을 강화시키는 또 하나의 요인은 동작 이론으로 설명된다. 소리가 어느 위치에서 나는 지에 대한 판단은 얼굴을 움직이지 않고 있을 때에 비해 고개를 좌우로 움직일 때 더 정확히 할 수 있게 된다. 고개를 좌우로 회전함에 따라 좌우의 귀에 들리는 소리의 크기 및 시간의 변화를 느끼게 되는 것이 소리의 위치 판단을 도운다는 사실이 실험적으로 증명되었다. 또한 고개를 좌우로 움직이더라도 똑같은 소리를 듣게될 때 IHL은 더욱 강화된다는 사실 또한 증명되었다.

본 발명의 목적은 헤드폰 시스템에서 3차원 음장을 구현하고 머리 움직임에 따른 음장의 위치 변화를 제거하여 상기 3차원 음장이 머리의 움직임에 따라 같이 움직이지 않고 고정되어 있도록 하는 3차원 헤드폰 시스템의 음장 구현 방법 및 장치를 제공함에 있다.

또한, 이러한 헤드폰 시스템을 구현하기 위해서는 음원과 청취자 귀의 상대적 위치에 해당하는 HRTF가 필요하고, 머리의 움직임과는 무관하게 고정된 음장을 구현하기 위해서는 머리 움직임을 추적하는 해상도에 비례하는 많은 개수의 HRTF가 필요하며, 머리의 움직임에 따라 HRTF를 신속하고 부드럽게 바꾸는 것은 기술적으로 매우 힘들므로 본 발명의 다른 목적은 사용되는 HRTF를 고정화시기고 그 개수를 최소화하여 이러한 기술적 난관을 극복하도록 하는 3차원 헤드폰 시스템의 음장 구현 방법 및 장치를 제공함에 있다.

본 발명의 또다른 목적은 헤드폰이 갖고 있는 IHL 현상을 해결하도록 하는 3차윈 헤드폰 시스템의 음장 구현 방법 및 장치를 제공함에 있다.

즉, 앞서 언급한 첫 번째 문제, IHL 현상을 해결하기 위해서는 스피커, 정확히 말하면 청취자로부터 어느 정도 떨어진 곳에서 가상적으로 소리가 난다고 설정하고 이 음원으로부터 청취자의 두 귀에 대한 HRTF를 적용하여 그 신호를 변화시킨 후 그 크기와 시간 지연을 조절하여 스피커로 재생하여야 한다. 동작 이론의 관점에서 보면 그 가상적인 음원의 위치는 머리의 움직임에 따라 같이 움직이면 안된다. 머리의 움직임에 따라 그 가상적인 음원의 위치는 상대적으로 변하게 되는데 이 변한 새로운 위치에 따라 다른 HRTF를 사용하고 그 크기와 시간 지연을 조절하여야 한다.

앞서 설명한 방법을 사용하여 처리하면 두 번째 문제, 즉 멀티 채널에 의한 다차원 음장 역시 그 구현이 가능하다. 가상적인 음원을 기존 스테레오 방식에서와 같이 전방 좌우에서만 설치해야 하는 제한은 없다. 일반적인 돌비 서라운드에서처럼 전방 가운데, 좌우, 후방 좌우 5개의 채널에 해당하는 음원을 각각 가상적으로 설정하면 헤드폰에서도 멀티 채널에 의한 다차원 음장을 구현할 수 있다. 오히려 이러한 헤드폰 시스템에서는 스피커가 설치되기 어려운 곳, 예를 들어 천정(바로 머리 위)나 청취자의 아래 바닥 등에도 가상적인 음원을 설정할 수 있기 때문에 더 완벽한 3차원 음장을 용이하게 구현할 수 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 3차원 헤드폰 시스템의 음장 구현 방법의 특징은, 입력되는 오디오 신호원의 위치를 3차원 공간내에 가상적으로 설정하여 N개의 가상 음원으로 변환하는 제 1 단계와, 상기 N개의 가상 음원 각각에 귀의 모양과 위치에 따른 함수 값을 적용시켜 음장을 구현하는 제 2 단계로 이루어지는데 있다.

본 발명에 따른 3차원 헤드폰 시스템의 음장 구현 장치의 특징은, 입력되는 오디오 신호의 공간상에 가상적 음원 좌표를 설정하여 좌표축의 정사영 성분끼리 더하는 벡터 연산부와, 상기 벡터 연산부의 출력 오디오 신호의 각 채널에 귀의 모양과 위치에 따라 결정되는 함수 값을 적용하는 HRTF 믹서부를 포함하여 구성되는데 있다.

본 발명에 따른 3차원 헤드폰 시스템의 음장 구현 장치의 다른 특징은, 입력되는 오디오 신호의 공간상에 가상적 음원 좌표를 설정하고 청취자의 움직임에 따라 상기 가상적 음원 좌표도 같이 이동하도록 하여 좌표축의 정사영 성분끼리 더하는 벡터 연산부와, 상기 벡터 연산부의 출력 오디오 신호의 각 채널에 귀의 모양과 위치에 따라 걸정되는 함수 값을 적용하는 HRTF 믹서부와, 상기 HRTF 믹서부를 통과한 오디오 신호의 주파수 왜곡을 보정하는 신호 보상부를 포함하여 구성되는데 있다.

도 1은 본 발명에 따른 3차원 헤드폰 시스템의 음장 구현 장치의 구성 블록도

도 2는 본 발명에 따른 6개의 가상적 음원의 위치와 기준 좌표측을 나타낸 도면

도 3a 내지 도 3c는 일반적인 머리의 움직임 상태를 나타낸 도면

* 도면의 주요부분에 대한 부호의 설명

11 : 벡터 계산 및 믹서 12 : HRTF 및 믹서

13 : 등화 및 증폭기 14 : 헤드폰

이하, 본 발명의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명한다.

도 1은 본 발명에 따른 3차원 헤드폰 시스템의 음장 구현 장치의 구성 블록도로서, 채널 오디오 신호와 그 채널의 위치 요소(Factor), 그리고 머리의 움직임에 따라 발생하는 헤드 트랙킹 신호를 입력받아 해당 채널의 위치와 신호의 크기를 벡터로 계산하여 6개의 가상적인 음원으로 변환시기는 벡터 계산 및 믹서(11), 이 가상적인 음원 각각에 양쪽 귀에 대한 HRTF를 적용시켜 2채널 신호로 만드는 HRTF 및 믹서(12), 및 상기 2채널 신호를 등화 및 증폭하여 헤드폰(14)으로 출력하는 등화 및 증폭기(l3)로 구성된다.

이와같이 구성된 본 발명은 먼저, 특정 채널의 위치를 3차원 공간내에 가상적으로 설정한다. 그 위치는 방위각(Azimus)과 앙각(Elevation)으로 걸정된다.

이때, 그 특정 위치에서부터 청취자의 두 귀에 대한 HRTF를 적용하는 것이 통상적인 방법이나, 본 발명에서는 여기서 바로 HRTF를 적용하지 않고 벡터 계산 및 믹서(11)에서 그 채널의 위치와 신호의 크기를 벡터로 파악하여 3차원 공간의 각 축에 정사영을 투영시킨다. 다른 채널 역시 마찬가지로 처리하여 그 합을 취한다. 여기서, 각 축을 양의 방향과 음의 방향으로 분리시키며 따라서, 총 6개의 가상적인 음원으로 변화시킨다. 그리고, HRTF 및 믹서(12)에서 이 가상적인 음원 각각에 양쪽 귀에 대한 HRTF를 적용시켜 헤드폰에 보내 주는 2채널 신호를 만든다.

이때, 청취자가 머리를 움직이는 경우, 벡터 계산 및 믹서(11)는 청취자가 착용하고 있는 헤드폰(14)으로부터 헤드 트랙킹 신호를 입력으로 받는다. 청취자의 머리의 움직임에 따라 가상적인 음원의 위치는 같이 따라 움직인다. 즉 정사영이 투영되는 좌표축은 머리의 회전에 따라 같이 움직인다. 그러나 앞에서 언급한 특정 채널의 위치는 머리의 회전과는 무관하게 고정되어 있다. 따라서, 그 채널에 해당하는 벡터의 축에 대한 정사영은 변화하게 된다.

가상적인 음원의 위치는 머리의 회전과 같이 움직이나 그 값은 축의 회전에 따른 정사영 값의 변화로 인해 다른 값을 갖게 된다. 가상적인 음원의 위치가 머리의 위치와 상대적으로 일정하기 때문에 필요한 HRTF는 바뀌지 않는다.

그리고, 벡터 계산 및 믹서(11)의 입력으로 주어지는 멀티 채널 오디오 신호와 그 위치 계수에는 특별한 제한은 없다. 입락 오디오 신호 Sigln과 그 위치를 지정하는 방위각(φ)과 앙각(δ)으로 그 값이 주어진다.

이때, 상기 벡터 계산 및 믹서(11)는 각 채널 입력 신호를 벡터로 생각하여 좌표측의 정사영 성분끼리 더한다.

예를 들어, 도 2와 같이 신호 입력이 Sigln이고 그 방향이 φ, δ인 경우 각 좌표축에 대한 성분은 다음과 같은 수학식 1로 주어진다.

x = Sigln × cos δ × cos φ

y = Sigln × cos δ × sin φ

z = Sigln × sin δ

상기 수학식 1의 세가지 축에 대해 Sigln의 계수 값이 양수인 경우에는 그 결과가 각각 x+, y+, z+에 더해지고, 음수인 경우에는 그 계수에 절대값을 취한 후 x-, y-, z-에 더해진다.

상기에서 설명한 경우는 청취자의 머리가 기준 값에 고정되어 있는 경우이고머리가 움직임에 따라 발생하는 헤드 트랙킹 신호를 처리해야 하는 경우에는 위에서 설명한 것에 더 부가적인 과정이 필요하다.

일반적으로 머리 움직임은 크게 세가지로 나뉜다. 도 3a와 같이 고개를 위아래좌우로 돌리는 동작(Rotating), 도 3b와 같이 위아래로 끄덕이는 동작(Tipping), 및 도 3c와 같이 고개를 좌우로 기울이는 동작(Pivoting)으로 분류할 수 있다. 그 각각의 동작이 일어난 각도에 해당하는 값이 α, β,γ로 주어진다.

이러한 헤드 트랙킹 신호가 들어오는 경우 기준 좌표축이 이동하므로 각 좌표측에 대한 성분을 구하는 식은 아래의 수학식 2와 같이 바뀐다.

여기서도 마찬가지로 그 계수의 부호에 따라 분리 처리한다.

결과적으로 벡터 계산 및 믹서(11)의 출력은 x+,y+,z+,x-,y-,z-의 6개 채널 신호로 나오고 이 각각이 가상적 음원의 신호가 되며 상기 HRTF 및 믹서(12)로 입력된다. 여기서도 마찬가지로 그 계수의 부호에 따라 분리 처리하는 것은 마찬가지이다.

이 중에서 x+,z+,x-,z-의 4개 신호는 양 귀에 대해 대칭적이므로 두 귀에 동일한 HRTF가 사용된다. y+,y- 2개의 신호는 좌우 귀에 대해 비대칭적이나 y+의 왼쪽 귀에 대한 HRTF와 y-의 오른쪽 귀에 대한 HRTF가 동일하며 그 반대 역시 마찬가지이므로 총 6개의 HRTF가 필요하다.

6개의 채널 신호에 대해 HRTF를 통과시킨 후 양 귀에 대해 2개의 신호로 믹스-다운한다.

믹스 다운된 2개의 신호는 등화 및 증폭기(13)로 입력되고, 등화 및 증폭기(13)는 헤드폰의 주파수 왜곡 특성을 보상한 후 증폭하여 최종 출력 신호로서 헤드폰(14)으로 내보낸다.

이상에서와 같이 본 발명에 따른 3차원 헤드폰 시스템의 음장 구현 방법 및 장치에 의하면, 특정 채널의 위치를 3차원 공간내에 가상적으로 설정하고 그 채널의 위치와 크기를 벡터적으로 분리하여 3차원 공간의 각 축에 정사영을 투영하고 각 채널을 양과 음의 방향으로 분리시켜 총 6개의 가상적인 음원으로 변환시킨 후 상기 가상 음원에 귀의 모양이나 위치에 따라 결정되는 HRTF를 적용하여 2개의 채널 신호로 만들어주고 헤드 트랙킹 신호를 받아들여 처리함으로써, 머리의 움직임에 따라 움직이는 음장이 아니라 공간상에 고정되어 존재하는 완전한 3차원 음장감을 구현할 수 있다. 이에 따라 헤드폰의 중요한 단점의 하나인 IHL 현상을 제거하는 효과를 얻을 수 있다.

또한, 이러한 벡터 투영 방식의 헤드폰 시스템은 기존의 다채널 음장 처리규격의 디코딩된 신호를 스피커를 통해서가 아니라 헤드폰을 통해서도 재생할 수 있으며, 입력 신호의 위치에 대한 변수만 조절하여 각 채널의 위치를 손쉽게 수정할 수 있기 때문에 음장의 넓이, 좌우로 벌어지는 정도 또는 청취자를 둘러싼 정도 등을 쉽게 조절힐 수 있다.

그리고, 헤드 트랙킹 신호를 사용하여 음장을 만들어냄으로써 IHL 현상을 제거할 뿐만 아너라 3차원 음장이 머리의 움직임에 영향을 받지 않도록 하여 가상 현실 시스템에 적용할 경우 화상의 현실감 및 입체감에 더하여 청각 사건이 보다 더 현실적으로 구현되어 가상 현실 시스템의 충실도를 더욱 완성시킬 수 있게 된다.

Claims (4)

1. 3차원 헤드폰 시스템의 음장 구현 방법에 있어서, 입력되는 오디오 신호원의 위치를 3차원 공간내에 가상적으로 설정하여 N개의 가상 음원으로 변환하는 제 1 단계와, 상기 N개의 가상 음원 각각에 귀의 모양과 위치에 따른 함수 값을 적용시켜 음장을 구현하는 제 2 단계를 포함하여 이루어짐을 특징으로 하는 3차원 헤드폰 시스템의 음장 구현 방법.
2. 제 1 항에 있어서, 상기 제 1 단계의 각 위치는 방위각과 앙각으로 결정됨을 특징으로 하는 3차원 헤드폰 시스템의 음장 구현 방법.
3. 제 1 항에 있어서, 상기 제 1 단계는 입력되는 채널 오디오 신호의 크기와 위치를 벡터적으로 구하여 3차원 공간의 각 축에 정사영을 투영시기는 단계와, 상기 각 축을 음의 방향과 양의 방향으로 분리시켜 N개의 가상 음원으로 변환하는 단계로 이루어짐을 특징으로 하는 3차원 헤드폰 시스템의 음장 구현 방법.
4. 3차원 헤드폰 시스템에 있어서, 입력되는 오디오 신호의 공간상에 가상적 음원 좌표를 설정하고 청취자의 움직임에 따라 상기 가상적 음원 좌표도 같이 이동하도록 하여 좌표축의 정사영 성분끼리 더하는 벡터 연산부와, 상기 벡터 연산부의 출력 오디오 신호의 각 채널에 귀의 모양과 위치에 따라 결정되는 함수 값을 적용하는 HRTF 믹서부와, 상기 HRTF 믹서부를 통과한 오디오 신호의 주파수 왜곡을 보정하는 신호 보상부를 포함하여 구성됨을 특징으로 하는 3차원 헤드폰 시스템의 음장 구현 장치