KR100221813B1 - 다수의 청취자를 위한 3차원 음향 재생 장치 및 방법 - Google Patents

Abstract

본 발명은 3차원 입체 음향 스테레오 재생 시스템에 관한 것으로, 특히 각 위치별 청취자에 대한 3차원 필터 구성을 처리한 다음, 일정한 시간을 주기로 반복하여 출력시켜, 각 청취자가 각자의 위치에서 연속된 음을 들을 수 있어, 모든 청취자가 똑같은 3차원 음향을 느낄 수 있으므로서, 다수의 청취자에게 동일한 효과를 줄 수 있도록, 각 청취자의 위치에서, 두 귀와 두 스피커 사이의 경로를 모델링한 전달 함수 필터들로부터, 각 청취자별 독립적인 3차원 음향 효과를 줄 수 있도록 처리하는 필터 구성 모듈(100)과 ; 각 청취자에게 상기 서로 다른 필터 구성 모듈(100)을 처리하여 들려주게 하는 타임 멀티플렉싱 모듈(200)을 포함하여, 다수의 청취자에게 똑같은 3차원 음향 효과를 줄 수 있도록 구성한, 다수의 청취자를 위한 3차원 음향 재생 장치 및 방법에 관한 것이다.

Description

다수의 청취자를 위한 3차원 음향 재생 장치 및 방법

본 발명은 3차원 입체 음향 스테레오 재생 시스템에 관한 것으로, 특히 각 위치별 청취자에 대한 3차원 필터 구성을 처리한 다음, 일정한 시간을 주기로 반복하여 출력시켜, 각 청취자가 각자의 위치에서 연속된 음을 들을 수 있어, 모든 청취자가 똑같은 3차원 음향을 느낄 수 있으므로서, 다수의 청취자에게 동일한 효과를 줄 수 있도록 한 다수의 청취자를 위한 3차원 음향 재생 방법에 관한 것이다.

시각과 더불어 중요한 감각인 청각은, 가상 현실에서 빼놓을 수 없는 또 다른 현실 감각을 제공한다.

가상 현실 시스템에서 소리가 갖는 주된 특성은, 그것을 도입함으로써 더욱 현장감을 증가시킬 수 있기 때문이다.

현재까지의 오디오 산업에서는, 청각 사건이 1차원적인 전방 혹은 2차원적인 평면상에서 형성이 되도록 하였고, 그 목적도 현장감의 충실한 재생이었다.

초창기의 모노 시스템(MONO SYSTEM)에서 스테레오 시스템(STEREO SYSTEM)을 거쳐, 돌비 서라운드 입체음향 시스템(DOLBY SURROUND STEREO SYSTEM)이 등장하기 까지의 과정을 살펴보면, 모두 이러한 현장감의 재생을 위해서였다.

그러나, 멀티미디어(MULTIMEDIA) 산업이 시작되면서 무한한 시장의 창출이 기대되고 있는 시점에서, 시각적인 정보와 아울러 청각적인 정보 즉, 음향 신호의 기록 및 재생 기술은 충실한 현장감의 재생 목표에서 좀 더 적극적으로 나아가, 청각 사건을 임의의 위치에 둘 수 있는 3차원 음향 공간의 자유로운 재생 목표로 바뀌고 있다.

이제 비디오 분야의 비약적인 발전에 가려, 그 존재감마저 희미해졌던 오디오 분야의 기술 개발이 서서히 두각을 나타내기 시작했다.

이는, 영상 기술의 발달로 비디오 화면이 입체감과 박진감을 더해감에 따라, 이를 뒷받침하는 오디오쪽으로도 일반 소비자들이 관심을 갖기 시작한 때문이다.

오디오 매니아(MANIA)들은 소리의 질에 높은 관심을 보인다.

매니아들은 금전적, 공간적으로 허용하는 범위에서 더 나은 음질을 추구하기 마련이다.

이 금전적, 공간적 제약은 이제 오디오 업체들이 기술 개발을 통해 뛰어넘을 수 있도록 도와주어야 한다. 이것은 오디오 산업이 살 길이기도 하다.

이제 오디오 산업의 성패는, 소비자의 요구를 소비자가 아닌 기술 개발업체가 얼마나 잘 소화해 내느냐에 달려 있다고도 볼 수 있다.

대부분의 경우들에 있어서 오디오 기기들은, 모노(MONO) 신호에 의한 재생 대신에 스테레오(STEREO) 신호들에 의한 재생을 한다.

스테레오 신호에 의한 재생시, 고정된 재생 스피커들의 위치에 따라서, 재생되는 신호들에 의해 현장감을 느낄 수 있는 범위가 한정된다.

그래서, 이런 현장감을 느낄 수 있는 범위를 늘려주기 위해, 스피커의 재생 능력을 개선하는 연구와, 신호 처리에 의해 가상 신호들을 만들어 주는 일들이 수행되었다.

그 대표적인 시스템이, 5개의 스피커를 이용한 서라운드 재생인 돌비 서라운드 입체음향 시스템(DOLBY SURROUND STEREO SYSTEM)이다.

이것은, 후방 스피커로 출력되는 신호를 따로 처리하여 내보내게 되어 있다.

이러한 가상 신호들을 만들어 주는데 있어서, 기존의 방법들은 신호의 공간적인 이동에 따른 지연을 만들어 주고, 신호의 크기를 줄여서 후방에 전달해 주었다.

이렇게 채널 수를 증가시켜줌에 따라서, 보다 현장감에 충실한 음악 재생 효과는 얻을 수가 있으나, 늘어나는 채널 수 만큼의 스피커가 추가로 필요하게 되어서, 많은 수의 스피커들 때문에 비용이 많이 드는 문제와, 넓은 재생 공간을 필요로 하는 문제가 있다.

실제로 현재 비디오와 레이저 디스크(LASER DISC 이하 LD라 칭함)의 대부분이, 돌비 프로로직 서라운드(DOLBY PROLOGIC SURROUND)라는 입체음향 기술을 채용하고 있어, 이를 재생할 수 있는 기기만 있으면 일반 가정에서도, 영화관 수준의 긴장감 넘치는 사운드를 체험할 수 있다.

그러나, 이 재생 기기의 실제 보급률은 매우 낮은 형편이다.

기존 시스템의 경우, 전용 앰프와 5대 이상의 스피커가 필요해, 이를 구비하기 위해서는 꽤 많은 경제적 부담을 안겨준다.

또, 배선과 스피커를 배치하기 위한 공간적인 제약 문제 등도 있어, 일반 가정에의 보급은 거의 이루어지지 않고 있는 실정이다.

이러한 문제는, 인간이 3차원 공간에 존재하는 소리를 듣고, 느끼는 것에 대한 연구 결과를 적용시켜줌으로써, 개선이 가능하다.

특히, 인간의 소리 인식에 대한 연구들 가운데 양쪽 귀를 함께 고려한 연구들이, 3차원 공간에서의 음원 인식에 중대한 영향을 미치는 것이다.

양쪽 귀에 대한 연구는, 양족 귀에 들어오는 입력 신호들의 상호 영향에 대한 연구, 즉 오른쪽 귀와 왼쪽 귀로 느끼는 소리의 신호 크기의 차이(INTERAURAL INTENSITY DIFFERENCE)라든지, 소리의 전달 시간의 차이(INTERAURAL TIME DIFFERENCE)로 발생하는, 오른쪽 귀와 왼쪽 귀에 들어오는 소리의 위상에 의한 차이에 대한 것들을 수행해 왔다.

이러한 양쪽 귀에 대한 연구 결과에 의해, 인간이 공간상의 한 점에서 존재하는 음원을 인식하는 인식 특성이 모델링되었고, 이러한 특성은 머리 전달 함수(HEAD RELATED TRANSFER FUNCTION 이하 HRTF라 칭함)라고 불린다.

머리 전달 함수(HRTF)는, 음원으로부터 귀의 고막으로 전달되는 경로를 모델링한 필터 계수로서, 음원과 머리와의 상대적 위치 관계에 따라 그 값이 다르다는 성질을 지닌다.

이 머리 전달 함수(HRTF)들은 공간 상의 어떤 한 점에서 음원이 존재할 때, 그 신호가 양쪽 귀로 전송될 경우의 특징에 대한 중이(MIDDLE EAR)에서의 임펄스 응답 또는 전달 함수로 표현된다.

이러한 머리 전달 함수(HRTF)를 응용하여, 소리가 존재하는 곳을 3차원 공간 상의 임의의 위치로 옮겨주는 처리가 가능하게 되었다.

그러나, 또 다른 문제점으로 대두되고 있는 것은, 현재의 스테레오 재생 방식은 오직 한 명의 청취자를 대상으로 그 효과를 줄 수 있다는 점이다.

이는, 다수의 청취자가 동시에 가족 영화를 볼 경우에는 아주 심각한 문제가 된다.

즉, 중앙에 앉아있는 청취자만이 제대로된 음향 효과를 느낄 것이고, 나머지 다른 위치의 청취자는 별다른 재미를 느끼지 못한다.

한편, 인간의 청각이 어떻게 3차원 음향 공간을 인식하는가에 대해서는 이미 많은 연구가 이루어져, 1990년대 이후에는 가상 음원을 만들어 실제의 응용 분야를 찾고 있는 상태이다.

그러나, 아직도 규명되지 못한 부분이 많은 상태라고 할 수 있다.

일반적으로, 스테레오 음향이 가장 균형있게 들리는 위치는, 두 스피커를 연결하는 직선을 밑변으로 하는 정삼각형의 정점이 되는 부분이다.

그러나, 실제로 이 위치에서만 음향을 즐긴다는 것은 공간 제약상 많은 문제가 따른다.

청취자가 듣는 위치에 따라 좌우 균형을 맞추어 주는 것도 불편할 뿐 아니라, 한 방에 식구 여러명이 모여 함께 음악을 청취할 경우에는, 모든 사람이 만족할 만한 으향을 낸다는 것 자체가, 기존의 스테레오 재생 시스템으로는 불가능하다.

일본의 아이와(AIWA)는, 일반 스피커 본체에 정면을 향해 강한 소리를 내는 "단일 지향성" 스피커를 내장해 이 문제를 해결하였다.

이 스피커의 가장 큰 특징은, 스피커 정면의 어떤 방향에서도 균형잡힌 스테레오 음향을 즐길 수 있다는 점이다.

이 단일 지향성 스피커를 안족으로 45도 기울인 것에 이 제품의 비밀이 숨겨져 있다.

일반적인 스피커 시스템은, 듣는 사람이 왼쪽으로 치우쳐 있을 경우, 오른쪽 스피커에서 발생하는 소리는 작게 들리게 된다.

그러나, 새로 개발한 신형 스피커의 경우는 오른쪽 스피커의 단일 지향성 스피커가 왼쪽 방향을 향해서는 강한 음을, 오른쪽 방향을 향해서는 약한 음을 낸다.

반면에, 왼쪽 스피커의 단일 지향성 스피커도 왼쪽 방향을 향해서는 약한 음을, 오른쪽 방향을 향해서는 강한 음을 발생시킨다.

따라서, 결과적으로 좌우 스피커의 균형이 맞게 되는 것이다.

아이와(AIWA)는, 지난해 가을 주력 상품인 5 ~ 6만엔대 미니 컴포넌트에 이 신형 스피커를 탑재하였다.

음질의 아이와(AIWA)를 소비자들에게 인식시킨다는 전략이었으나, 홍보 부족으로 현재 소비자들의 반응은 그다지 높은 편이 아니다.

한편, 지난 1993년 일본 빅토르(VICTOR)는 가격, 배선, 공간의 3중고를 해결한 가정용 스피커 시스템의 개발에 착수하였다.

이 시스템은 2대의 스피커만으로, 실제 스피커가 없는 후방에서도 소리를 들을 수 있게 한 가상 현실 사운드를 실현한 것으로, 제품명은 "극장 콤포" 이다.

이 시스템의 원리는, 기본적인 인간의 착각을 이용한 것이다.

인간은 양쪽 귀를 활용해 소리가 들리는 방향을 무의식적으로 찾는다.

소리가 전달되는 속도는 초속 340m. 오른쪽 귀와 왼쪽 귀의 간격은 약 20cm로, 소리가 전달되는 시간도 최대 500분의 1초 가량 차이가 있다.

그리고, 양쪽 귀로 들어오는 음의 레벨 차이도 또한 방향성을 인식하는데 아주 중요한 요소다.

인간은 이 두 차이와 눈으로 얻어낸 정보를 이용해 소리의 발생지를 인식한다.

따라서, 만약 소리가 인간의 양쪽 귀에 도달하는 시간을 잘 제어할 수만 있다면, 2개의 스피커에서 발생하는 음원만으로도 방 전체를 커버할 수 있어, 마치 서라운드 시스템이 장치된 극장에 있는 듯한 환상을 느낄 수 있게 된다.

이 시스템의 개발을 위해 일본 빅토르(VICTOR)는, 먼저 양쪽 스피커에서 발생하는 소리가 어떤 형태로 두 귀에서 차이가 나는 것이 이상적인가를 조사했다.

이를 위해 20명 이상의 피험자를 대상으로, 2년여에 걸친 청각 테스트의 데이터를 확보했다.

다음 단계로, 소리를 가장 효과적으로 엇갈리게 하는 기술의 개발에 주력했다.

일본 티아이(TI)와 공동으로, 음향 신호 처리용 (LSI)의 개발에 착수해, 초당 4천만번의 연산이 가능한 칩을 완성하는 등 연구를 거듭했다.

그 결과, 방안에 무수한 스피커가 존재하는 듯한 환상을 즐길 수 있는 시스템인 "극장 콤포" 개발에 성공했다

지난 1995년 가을에 등장한 디지털 비디오 디스크(DIGITAL VIDEO DISC 이하 DVD라 칭함) 및 디지털 위성방송이 돌비 디지털 방식을 채용하고 있어, 이 시스템의 시장 저변은 더욱 확대될 것으로 기대되고 있다.

그러나, 아직까지 거의 모든 3차원 음향 관련 기술들은, 한명의 청취자를 주 대상으로 하고 있다.

즉, 현재의 오디오 재생 시스템은 거의 한 명의 청취자가, 두 스피커의 중앙에 위치할 때만, 제대로된 스테레오 효과를 느낄 수 있다.

이것은, 다수의 청취자가 동시에 똑같은 스테레오 효과를 들을 수 있는 환경을 전혀 제공해 주지 못하므로, 청취 여건에 많은 제약이 있었다.

스테레오 재생 시스템뿐만 아니라 서라운드 재생 시스템도 한결같이, 여러 사람이 동시에 들을 경우, 똑같은 효과를 느낄 수 없게 되어 있다.

이러한 문제는 특히, 가정용 극장 시스템에서 매우 심각하게 나타난다.

도 1 에 도시한 바와 같이, 온 가족이 둘러 앉아 영화를 보는데 모두가 제대로된 음향 효과를 느낄 수 없으므로, 실질적인 가족용 극장 시스템이라고는 보기 어렵다.

특히, 가정에서 오디오/비디오(A/V) 시스템을 갖추고 가족 영화를 시청할 때에도, 제대로 된 음장 효과를 느낄 수 있는 범위가 극히 제한되어 있으므로, 많은 가족들이 완벽한 효과를 느낄 수 있는 감상을 하지 못한다.

그래서, 요즘은 두 채널 재생이 아닌 돌비 프로로직 시스템을 갖추고, 좀 더 많은 스피커를 이용하여 현장감과 공간감을 체험해 보려고 시도하지만, 이것 역시 완전한 입체 공간감을 느끼기 위해서는, 각 스피커를 포함하는 원의 중심 주위에 있어야 한다.

한편, 다채널 오디오의 재생은 일단 스피커가 여러개 갖추어져 있어야 하고, 또 그것을 구동하기 위한 앰프도 같이 있어야, 최대의 현장감 또는 공간감을 사용자가 느낄 수 있다.

이러한 문제를 해결하기 위해서는, 여러명의 청취자가 동시에 음향을 즐길 수 있는 3차원 음향 재생의 새로운 기술이 개발되어야 한다.

이에 본 발명은 상기한 바와 같은 종래의 제 문제점들을 해소시키기 위하여 창안된 것으로, 각 위치별 청취자에 대한 3차원 필터 구성을 처리한 다음, 일정한 시간을 주기로 반복하여 출력시켜, 각 청취자가 각자의 위치에서 연속된 음을 들을 수 있어, 모든 청취자가 똑같은 3차원 음향을 느낄 수 있으므로서, 다수의 청취자에게 동일한 효과를 줄 수 있도록 한, 다수의 청취자를 위한 3차원 음향 재생 방법을 제공하는데 그 목적이 있다.

도 1 은 일반적인 스테레오 재생 시스템에서 다수의 청취자가 있을 경우의 예시도.

도 2 는 다수의 청취자 위치에서의 정확한 머리 전달 함수(HRTF) 모델링을 위한 측정 실험에서 스피커와 더미 헤드의 각각의 배치를 보인 예시도.

도 3 은 2채널 스피커 재생 시스템에서 3차원 공간상의 음원의 구분을 나타낸 예시도.

도 4 는 2채널 재생 시스템에서 가상의 음원을 만들기 위한 스피커 위치 보상 시스템을 전달 함수의 개념으로 표현한 예시도.

도 5 는 2채널 재생 시스템에서 가상의 음원을 만들기 위한 스피커 위치 보상 시스템의 개념도.

도 6 은 2채널 재생 시스템에서 가상의 음원을 만들기 위한 스피커 위치 보상 시스템의 블록 구성도.

도 7 은 본 발명에 따른 다수의 청취자를 위한 3차원 음향 재생 장치의 전체 구성도이다.

* 도면의 주요 부분에 대한 부호의 설명

100 : 필터 구성 모듈 200 : 타임 멀티플렉싱 모듈

110, 120, 130 : 필터

상기한 바와 같은 목적을 달성하기 위한 본 발명은, 각 청취자의 위치에서, 두 귀와 두 스피커 사이의 경로를 모델링한 전달 함수 필터들로부터, 각 청취자별 독립적인 3차원 음향 효과를 줄 수 있도록 처리하는 필터 구성 모듈(100)과 ; 각 청취자에게 상기 서로 다른 필터 구성 모듈(100)을 처리하여 들려주게 하는 타임 멀티플렉싱 모듈(200)을 포함하여, 다수의 청취자에게 똑같은 3차원 음향 효과를 줄 수 있도록 구성함을 특징으로 한다.

본 발명에서 제안하는 기법을 사용하기 위해 우선, 청취자의 위치에 따른 각각의 머리 전달 함수(HRTF) 측정 모델이 있어야 한다.

왜냐하면, 청취자의 표준 위치가 두 스피커의 중앙선인데 비해, 다수의 청취자가 있으면 이 위치를 벗어나 상당히 유동적일 것이므로, 보다 정확한 두 스피커와 각 청취자 사이의 머리 전달 함수(HRTF) 모델이 필요한 것이다.

실제 각각의 청취자 위치에서의 정확한 머리 전달 함수(HRTF) 모델링을 위한 측정 실험시, 도 2 에 도시한 바와 같이 스피커와 더미 헤드(dummy head)를 배치하여 실험한다.

이렇게 구해진 각 청취자별 머리 전달 함수(HRTF)를 이용하여 구해진 필터 구성 모듈(100)은 도 4 에 도시한 바와 같이, 두 스피커로부터 인간의 두 귀로 전달되는 음의 경로를 모델링하는 필터(110)와 ; 사용자가 듣고자 하는 가상의 음원(virtual source)으로부터 인간의 두 귀로 전달되는 음의 경로를 모델링하는 필터(120) 및 ; 이 가상의 음원(virtual source)과 두 스피커 사이의 관계를 보상해주는 역할을 하는 역 필터(130)를 포함하여 구성한다.

상기와 같이 구성된 필터 구성 모듈(100)을 포함하여, 본 발명에서 사용한 다수의 청취자를 위한 3차원 음향 재생 장치는 도 7 에 도시한 바와 같이, 스피커 출력전에 처리되는 각 청취자별 필터 구성 모듈(100)을, 일정한 시간 간격을 두고 번갈아 가며 처리해주는 타임 멀티플렉싱 모듈(200)이 있다.

이러한 시스템하에서는, 각 청취자별로 각각의 처리 결과가 두 스피커로 재생이 되고, 각 위치별 서로 다른 필터 처리 결과를 듣게 되는 것이다.

물론, 각 위치별 시간 간격을 얼마로 하느냐에 따라 전체 결과가 결정이 되겠지만, 적절한 시간 주기를 찾으면 각 청취자에게는 분리된 음향이 제공될 수 있다.

여기서, 본 발명의 목적에 따른 다수의 청취자를 위한 3차원 음향 재생 방법의 작동 원리를 상세히 설명하면 다음과 같다.

먼저, 본 발명에서 사용한 머리 전달 함수(HRTF)에 대해 간단히 살펴보기로 한다.

이것은, 자유 음장(free field)에서 음원으로부터 인간의 귀의 외이도(ear canal)에 이르기까지의 음의 전파를 나타내는 주파수 평면 상에서의 전달 함수를 의미하며, 또한 인간의 머리 부분, 귓바퀴, 그리고 몸통으로 인한 주파수 왜곡이라고 볼 수 있다.

귀의 구조 측면에서 보면, 귓바퀴의 불규칙한 모양으로 인해 외이도로 소리가 들어가기 전에, 귀에 도달하는 신호의 주파수 스펙트럼이 왜곡되게 된다.

이러한 왜곡은, 소리의 방향이나 거리 등에 따라서 그 양상이 달라지므로, 인간이 소리의 방향을 인지하는데 있어 이러한 주파수 성분의 변화가 큰 역할을 하게 되며, 이러한 주파수 왜곡의 정도를 나타내는 것이 바로 머리 전달 함수(HRTF)이다.

따라서, 머리 전달 함수(HRTF)는, 음원의 위치에 따라 크게 좌우되며, 같은 음원의 위치라도 왼쪽 귀와 오른쪽 귀의 머리 전달 함수(HRTF)는 달라질 수 있다.

또한, 사람마다 귓바퀴, 얼굴 모양이 모두 다르기 때문에 개인에 따라 이 머리 전달 함수(HRTF)는 차이가 생기게 된다.

이러한 머리 전달 함수(HRTF)를 이용하여, 3차원 입체 음장을 재현해 줄 수 있는데 그 기본 원리는, 3차원 공간상의 임의의 위치에 해당하는 머리 전달 함수(HRTF)와, 입력 오디오 신호를 중첩(convolution) 처리해주면, 그 임의의 위치에서 소리가 나는 것처럼 느끼게 된다.

다음 식 1 은 두 신호의 중첩(convolution)을 나타낸 것이다.

y[n] = h[n]*x[n] = IFFT{H[k]·X[k]}

일반적으로, 두 신호 h[n], x[n]의 시간 영역에서의 중첩(convolution)은 상기 식 1 에서 보는 것과 같이, 고속 프리에 변환(Fast Fourier Transform 이하 FFT라 칭함) 처리한 두 신호 H[k], X[k]의 주파수 영역에서의 곱을 역 고속 프리에 변환(Inverse Fast Fourier Transform 이하 IFFT라 칭함)하는 것과 같으므로, 주어진 머리 전달 함수(HRTF)에 대해서 미리 고속 프리에 변환(FFT) 처리를 해둔다.

이는, 시간 영역에서의 중첩(convolution)보다 주파수 영역에서의 곱이, 그 처리 속도가 더 빠르기 때문에, 대부분의 방식에서 이 방법을 택한다.

한편, 이 머리 전달 함수(HRTF)는 각각의 재생 환경에 맞게 직접 측정하여 얻으면 좋으나, 측정에 필요한 장비라든지 실험 과정의 어려움 등으로, 기존에 이미 측정하여 놓은 데이터들을 많이 이용하고 있다.

그 중에서 3차원 오디오 신호 처리 분야에서 가장 많이 쓰이는 머리 전달 함수(HRTF)는 엠아이티(MIT)에서 제공하는 케마르(KEMAR) 더미 헤드(dummy head) 모델을 이용한 실험 측정 데이터다.

이것은, 44.1[KHz]의 샘플링 주파수에서 오른쪽, 왼쪽 귀의 임펄스 응답 512 포인트로 구성이 되고, 고도(elevation)의 범위는 -40°~ 90°까지, 방위각(azimuth)은 0°~ 360°까지 총 710개의 위치에 대한 값들이다.

그리고, 이것은 더미 헤드(dummy head)가 비대칭일 경우를 가정하고 측정한 것이지만, 계산 처리의 용이함을 위하여 머리의 좌우 대칭을 가정하여, 좀 더 단순화된 머리 전달 함수(HRTF)도 제공이 된다.

좌/우 중 한쪽에 대해서만 제공이 되고, 임펄스 응답의 탭(tap) 수는 128이다.

이제, 본 발명에서 제안하는 다수의 청취자를 위한 3차원 음향 재생 방법에 대해 기술하고자 한다.

본 발명의 주 핵심 기술을 한마디로 요약하면, 타임 멀티플렉싱(Time Multiplexing) 방법이 된다.

즉, 각 청취자별로 따로 처리된 필터 구성 모듈을 일정한 시간 간격을 두고 번갈아 가며 처리하여, 두 스피커로 재생시켜 주는 기법이다.

이것이 가능한 것은, 영화를 볼 때 실제 각각의 장면은 비연속적이지만, 일정한 시간 간격을 두고 계속 진행이 되기 때문에, 마치 우리의 눈은 각각의 장면이 연속적으로 보이게 되는 일종의 잔상 현상과 비슷한 개념이다.

즉, 각 청취자 위치에서 각각의 필터 처리 결과는 서로 독립적이지만, 이 결과들을 일정한 시간 간격을 두고, 연속적으로 청취자에게 번갈아가며 스피커로 출력시켜 주면, 각각의 청취자는 자기의 위치에서 마치 연속된 음향을 들을 수 있다.

이 방법을 설명하기 전에, 우선 한 명의 청취자가 있을 경우의 3차원 음향 재생 방법부터 살펴보아야 할 것이다.

이것은 이미 많이 개발되어 있고, 또 앞으로 많은 연구 결과가 나오리라 예상된다.

우선, 도 3 에 도시한 바와 같이 청취자의 위치가 두 스피커의 중앙에 있다고 가정하면, 3차원 음향 재생에 필요한 데이터는 두 스피커로부터 청취자의 두 귀까지의 머리 전달 함수(HRTF) 4개와, 듣고자 하는 방향에서 청취자의 두 귀까지의 머리 전달 함수(HRTF) 2개, 총 6개의 머리 전달 함수(HRTF)가 필요하다.

실제로 소리는 스피커에서 나지만, 청취자가 듣기에는 마치 3차원 공간상의 임의의 위치에서 들리는 듯한 느낌을 주는 것은, 그 원리가 아주 간단하다.

우선, 두 스피커에서 나는 음 자체를 제거시켜 주고 난 후, 듣고자 하는 임의의 위치의 머리 전달 함수(HRTF)와, 입력 신호를 중첩(convolution) 처리해주면 된다.

여기서, 두 스피커와 두 귀 사이의 머리 전달 함수(HRTF) 전달 특성을 제거시켜 주는 기술은, 역 필터(inverse filter)(130)를 이용하면 된다.

이렇게 하기 위해서는, 왼쪽 스피커에서 출력되는 신호는 왼쪽 귀로 전달이 되지 않아야 한다.

이것이 바로 혼선 소거(cross-talk cancellation) 기법이다.

이것이 제거되고 난 후에, 청취자가 듣기를 원하는 방향의 머리 전달 함수(HRTF)를, 입력 신호와 처리해 주면 스피커에서는 소리가 나지 않고, 마치 임의의 방향에서 소리가 나는 것처럼 느끼게 된다.

이러한 처리 과정의 개념적인 설명을 도 4 내지 도 6 에 도시하였다.

여기서는, 일반적인 2채널 스테레오 입력 재생시, 가상의 음원(virtual source)을 만들어 주기 위한 처리 방법을 예로 들었다.

한편, 이 역 필터(130)의 계산 방법은 도 5 에서 보는 것과 같이, 필터를 행렬로 표현하여 쉽게 구할 수 있다.

이 행렬 연산의 기본 원리는 다음과 같다.

앞에서 언급한 혼선 소거(cross-talk cancellation) 부분은, 필터(110)를 통하여 스피커와 귀 사이의 전달 함수인 C의 역 행렬을 구하면 되고, 이 결과를 필터(120)를 통하여 가상 음원의 위치와 귀 사이의 전달 함수인 D 행렬에 곱해주면, 3차원 공간상의 음원의 이동은 이루어진다.

이제, 한 명의 청취자일 경우 음원의 이동 방법에 대해 알았으므로, 다수의 청취자가 있을 경우의 재생 방법에 대해 기술하고자 한다.

이것이 가능해지기 위해서는 상기에서 설명한 바와 같이, 각 청취자의 위치에 해당하는 정확한 머리 전달 함수(HRTF) 모델이 있어야 한다.

왜냐하면, 엠아이티(MIT)에서 제공하는 케마르(KEMAR) 모델과 같은 일반적인 머리 전달 함수(HRTF)는, 청취자가 두 스피커의 중앙에 있을 때의 전달 함수만을 모델링한 것이므로, 본 발명에서는 적용할 수 없다.

따라서, 각 청취자의 위치별 머리 전달 함수(HRTF)를 측정하기 위하여 도 2 에 도시한 바와 같이, 실험 장비를 배치한다.

여기서는, 각 청취자간의 간격을 30cm로 하고, 두 스피커의 위치는 표준 스테레오 재생 위치인 좌/우 30°에 두었다.

이렇게 해서 얻어진 각 위치별 머리 전달 함수(HRTF)를 이용하여, 각각의 역 필터를 다시 계산함으로써, 각 청취자에 해당하는 필터 구성 모듈(100)을 구한다.

그 다음은, 타임 멀티플렉싱(Time Multiplexing) 모듈(200)인데, 여기서 가장 중요한 것이 각 위치간의 이동 간격이다.

만약, 한 위치당 재생 시간을 너무 길게 설정하면 다른 위치의 청취자가 들을 수 있고, 또 너무 짧으면 전체 정취자가 완전한 재생음을 들을 시간적 여유가 없게 된다.

그러므로, 아주 적절한 시간 간격을 설정해 주어야 한다.

상기 동작을 정리하면, 각 청취자의 위치에서, 두 귀와 두 스피커 사이의 경로를 모델링한 전달 함수 필터를 측정하는 제 1 단계와 ; 측정된 전달 함수 필터들로부터, 각 청취자별 독립적인 3차원 음향 효과를 줄 수 있도록 처리하는 제 2 단계 및 ; 각 청취자별 일정한 시간 주기를 설정하여, 서로 다른 필터 구성의 처리 결과를 두 스피커로 순서대로 번갈아 가며 반복 출력시키는 제 3 단계를 포함하여 이루어진다.

상기 제 1 단계는, 청취자의 위치를 중앙에만 한정하지 않고 일정한 범위를 설정하여, 그 범위내의 각 위치에서 좌/우 두 귀의 전달 함수를 측정하여 이루어진다.

상기 제 3 단계는, 타임 멀티플렉싱 시간 주기를 전체 청취자의 수에 따라 가변적으로 조절하여 이루어진다.

일반적으로, 인간의 청각 특성이 소리를 인지하는데 최소 20ms의 시간적 여유가 있어야 한다고 알려져 있으므로, 본 발명에서의 각 위치별 재생 주기는 최소 20ms를 넘어야 한다.

그리고, 만약 청취자의 수가 많으면, 모든 청취자에 대해 처리하고 다시 돌아오는데 시간이 많이 걸리므로, 이 타임 멀티플렉싱(Time Multiplexing) 기법은 청취자의 수에 제한이 있게 된다.

적절한 수의 청취자 범위와 시간 간격만 찾을 수 있으면, 본 발명에서 제안한 방법은 아주 효과적일 것이다.

이상에서 상세히 설명한 바와 같이 본 발명은, 단순히 두 개의 스피커만으로 3차원 음향을 즐길 수 있고, 또한 한사람의 청취자가 아닌 다수의 청취자를 대상으로 하기 때문에 여러 청취자에게 동시에 똑같은 3차원 음향 효과를 줄 수 있다.

따라서, 가정용 오디오/비디오(A/V) 극장 시스템에 응용할 수 있다.

즉, 보통 온 가족이 스크린을 중심으로 정면에 모여 보지 않고 편한 위치에서 보는 것이 일상적인데, 이때 각 청취자의 위치에 따라 각각 본 발명에서 제안한 방법을 사용하면, 모든 청취자가 동시에 3차원의 음향 효과를 즐기며 영화를 볼 수 있다.

물론, 효과를 느낄 수 있는 청취자의 수가 무제한 많은 것은 아니기 때문에 일부 제한적이긴 하지만, 어느 정도의 가능성은 제시되는 것이므로, 앞으로의 시장성 확보에 기여할 수 있는 효과가 기대된다.

Claims (5)

1. 각 청취자의 위치에서, 두 귀와 두 스피커 사이의 경로를 모델링한 전달 함수 필터들로부터, 각 청취자별 독립적인 3차원 음향 효과를 줄 수 있도록 처리하는 필터 구성 모듈(100)과; 각 청취자에게 상기 서로 다른 필터 구성 모듈(100)을 처리하여 들려주게 하는 타임 멀티플렉싱 모듈(200)을 포함하여 이루어지며, 다수의 청취자에게 똑같은 3차원 음향 효과를 줄 수 있도록 구성함을 특징으로 하는, 다수의 청취자를 위한 3차원 음향 재생 장치.
2. 1 항 에 있어서, 상기 필터 구성 모듈(100)은, 두 스피커로부터 인간의 두 귀로 전달되는 음의 경로를 모델링하는 필터(110)와; 사용자가 듣고자 하는 가상의 음원(virtual source)으로부터 인간의 두 귀로 전달되는 음의 경로를 모델링하는 필터(120) 및; 이 가상의 음원(virtual source)과 두 스피커 사이의 관계를 보상해주는 역할을 하는 역 필터(130)를 포함하여 이루어지며, 다수의 청취자에게 똑같은 3차원 음향 효과를 줄 수 있도록 구성함을 특징으로 하는, 다수의 청취자를 위한 3차원 음향 재생 장치.
3. 각 청취자의 위치에서, 두 귀와 두 스피커 사이의 경로를 모델링한 전달 함수 필터를 측정하는 제 1 단계와; 측정된 전달 함수 필터들로부터, 각 청취자별 독립적인 3차원 음향 효과를 줄 수 있도록 처리하는 제 2 단계 및; 각 청취자별 일정한 시간 주기를 설정하여, 서로 다른 필터 구성의 처리 결과를 두 스피커로 순서대로 번갈아 가며 반복 출력시키는 제 3 단계를 포함하여, 다수의 청취자에게 똑같은 3차원 음향 효과를 줄 수 있도록 이루어짐을 특징으로 하는, 다수의 청취자를 위한 3차원 음향 재생 방법.
4. 3 항 에 있어서, 상기 제 1 단계는, 청취자의 위치를 중앙에만 한정하지 않고 일정한 범위를 설정하고, 그 범위내의 각 위치에서 좌/우 두 귀의 전달 함수를 측정하여, 다수의 청취자에게 똑같은 3차원 음향 효과를 줄 수 있도록 이루어짐을 특징으로 하는, 다수의 청취자를 위한 3차원 음향 재생 방법.
5. 3 항 에 있어서, 상기 제 3 단계는, 타임 멀티플렉싱 시간 주기를 전체 청취자의 수에 따라 가변적으로 조절하여, 다수의 청취자에게 똑같은 3차원 음향 효과를 줄 수 있도록 이루어짐을 특징으로 하는, 다수의 청취자를 위한 3차원 음향 재생 방법.

Images