KR100566131B1 - 음상 정위 기능을 가진 입체 음향을 생성하는 장치 및 방법 - Google Patents

Abstract

본 발명은 사용자 또는 그래픽 정보로부터 소리객체의 위치정보를 추출하여 재생 소리가 3차원 공간상에 정위되도록 하는 방법 및 장치에 관한 것이다.

본 발명은 원음(1)을 원하는 위치에 위치시키기 위한 위치정보가 입력되는 위치 정보 수신 장치(2, 3); 상기 원음(1)과, 상기 위치 정보 수신 장치(2,3)로부터 입력된 위치 정보와, HRTF DB를 이용하여 원하는 위치에 음상이 형성되도록 변환하는 3차원 사운드 합성기(4); 상기 3차원 사운드 합성기(4)의 출력을 수신하여, 스피커 재생인지 또는 헤드폰 재생인지의 선택 결과에 따라, 헤드폰 재생이면 상기 출력을 헤드폰(7)으로 전달하는 선택장치(5); 상기 선택장치(5)에서의 선택 결과가 스피커 재생이면, 상기 출력을 스피커로 재생할 때에 발생하는 크로스토크를 제거하여 스피커(8)로 출력하는 입체음향 가속기(6)를 포함한다.

이상과 같은 본 발명을 이용하면, 헤드폰 재생시와 스피커 재생시 모두에 대하여 사용자 또는 게임/그래픽 정보에서 추출된 3차원 위치나 이동 경로의 입력으로 음상 정위가 가능하게 된다.

입체음향, 음상정위, HRTF

Description

음상 정위 기능을 가진 입체 음향을 생성하는 장치 및 방법{Apparatus and Method for Creating 3D Sound Having Sound Localization Function}

도1은 본 발명의 구성의 개략도.

도2는 본 발명에 적용되는 위치 정위를 가진 입체 음향의 합성 방법을 도시함.

도3은 본 발명에 적용되는 입체음향 가속기의 사용유무에 따른 사운드의 범위를 도시함.

*도면의 주요부분에 대한 부호의 설명*

1 : 원음 2, 3 : 위치 정보

4 : 3차원 사운드 합성기 5 : 선택기

6 : 입체 음향 가속기

본 발명은 사용자 또는 그래픽 정보로부터 소리객체의 위치정보를 추출하여 재생 소리가 3차원 공간상에 정위되도록 하는 방법 및 장치에 관한 것이다.

임의의 3차원 공간상에 음상을 정위하기 위해서 인간이 소리의 위치를 판별 하는 원리를 함수화한 HRTF(Head Related Transfer Function) DB가 사용된다. HRTF DB는 인간을 중심으로 3차원 공간상의 여러 지점으로부터 발산되는 소리가 인간의 고막 또는 귀 입구, 또는 인간의 청각부의 일부분까지의 전달체계를 데이터베이스화한 것으로 방향성이 없는 음원을 HRTF DB를 통해 처리하면 이어폰 재생환경에서 소리가 특정위치에서 발생되는 것처럼 느낄 수 있도록 위치감(음상정위)을 부여할 수 있다.

그러나 일반적으로 휴대용 단말기(휴대폰, PDA. MP3폰 등)에서는 소리를 사용자가 지정하는 3차원 공간상에 위치시키는 방법이 없고, 음원 파일 자체에는 3차원 위치정보가 없으므로 휴대용 단말기에서의 사운드 재생에서는 사용자의 위치 지정 또는 게임/그래픽에 따른 위치 및 이동 경로 지정과 연동하여 3차원적으로 특정 위치에 소리객체가 존재하는 것처럼 재생하거나 특정 이동 경로를 따라 소리객체가 이동하는 것처럼 재생하지 못하고, 원음을 단순히 재생하거나 단순한 효과처리만을 하여 재생한다.

따라서 스테레오가 지원되는 휴대 단말기 환경에서 사용자 또는 게임/그래픽에서 소리 객체가 3차원적으로 위치 또는 이동하는 효과음이 필요한 경우에도 이를 처리할 수 없다.

한편, 설령 3차원적으로 음상정위 처리를 할 수 있어 소리객체가 특정 위치에 존재하거나 이동하는 것처럼 처리할 수 있다고 하더라도, 헤드폰 재생 환경과 스피커 재생 환경이 입체음향 재생 관점에서 매우 상이하기 때문에 두 재생 환경를 모두 만족하는 입체음향 처리가 불가능하였다.

시 말하면, 헤드폰으로 재생되는 입체 음향을 스피커로 출력하게 되면, 스피커에서 사람의 귀로 가는 신호 중 교차되는 신호인 크로스토크로 인하여 음상이 사람의 머리와 두 개의 스피커 사이에서만 형성되게 되어, 스피커 재생환경에서 입체음향의 품질을 떨어지게 된다.

본 발명은 상기의 종래기술의 문제점을 감안하여, 헤드폰 재생시와 스피커 재생시 모두에 대하여 사용자 또는 게임/그래픽 정보에서 추출된 3차원 위치나 이동경로의 입력으로 음상 정위가 가능하게 하는 방법과 이 방법을 위한 장치를 제공한다.

보다 구체적으로 설명하면, 본 발명은 사용자 또는 게임/그래픽 정보에서 추출된 3차원 위치나 이동경로를 입력으로, 재생하고자 하는 원음과 3차원 좌표로부터 3차원 스테레오 사운드를 합성하고, 스피커 재생환경 또는 헤드폰 재생환경에 따라 입체 처리에 사용되는 시스템의 파라메터를 변경하여 3차원 사운드를 재생할 수 있도록 하는 방법 및 장치를 제공한다.

이제, 본 발명의 구성을 도1을 참고로 하여 설명하도록 한다.

사운드를 원하는 곳에 위치시키기(음상정위) 위해서는 원음(1)을 사용자가 입력하는 3차원 위치정보(2) 또는 게임이나 그래픽과 맵핑된 위치정보(3)를 이용하여, 3차원 사운드 합성기(4)를 통해 비로소 3차원 공간에 위치한 사운드로 합성된다.

이제, 스피커 재생과 헤드폰 재생에 따라 다른 처리를 하는데, 스피커 재생 또는 헤드폰 재생인지의 선택(재생모드의 선택)은 선택기(5)에 의해 이루어진다. 선택기(5)는 사용자가 휴대용 단말기의 외부 스위치 선택 또는 화면상의 메뉴 선택 등에 의해 선택되는 재생모드에 따라, 헤드폰(7)에 의한 재생의 경우에는 별도의 부가 처리 없이 재생하고 스피커(8)에 의한 재생의 경우에는 특수한 신호처리를 하는 장치(이하에서 설명하는 스피커용 입체음향 가속기(6))를 거쳐서 스피커(8)로 재생을 해야 한다.

다시 말하면, 3차원 사운드 합성기(4)에서 출력되는 음향은 헤드폰(7)으로 들을 때는 입체음향을 느낄 수 있지만, 이 출력을 추가적인 처리과정이 없이 스피커(8)로 출력하게 되면, 스피커(8)에서 사람의 귀로 가는 신호 중 교차되는 신호인 크로스토크로 인하여 도3의 상단에서와 같이 음상이 사람의 머리와 두 개의 스피커 사이에서만 형성되게 되어, 스피커 재생환경에서 입체음향의 품질이 떨어지게 된다. 그래서 스피커(8)로 출력할 때 크로스토크 되는 신호를 제거하기 위해 양 스피커 출력에 크로스토크를 상쇄시킬 수 있는 신호를 합쳐 출력하게 되고, 이 과정을 거치면 도3의 하단에서와 같이 스피커(8)로 청취를 하여도 음상의 왜곡이 적어 입체음향의 청취가 가능해진다.

이제, 3차원 사운드 합성기(4)과 입체 음향 가속기(6)에 대하여 구체적으로 설명하기로 한다.

먼저 3차원 사운드 합성기(4)에 대하여 설명하기로 한다.

3차원 사운드 합성기(4)에서는 도2에서와 같이 3차원 좌표정보를 가지고 사 운드가 3차원 공간상에 위치하도록 사운드를 합성한다. 도2는 사운드가 3차원 공간상에 위치하도록 사운드를 합성하는 방법으로 어떠한 위치정보도 갖지 않은 일반 음원을 입력으로 했을 때, 사운드 위치정보 블록에서 사용자의 입력 또는 3차원 좌표정보로부터 HRTF DB에서 해당 위치정보를 갖는 데이터를 찾을 수 있는 수평각, 고도각으로 좌표값을 환산하고, 이 값을 통해 HRTF DB로부터 얻은 해당 위치의 데이터와 원음을 콘볼루션 연산을 수행하게 되면 합성된 사운드의 위치 블록과 같이 사운드 위치정보 블록에서 지정한 위치에 음상이 형성되게 된다.

이제, 마지막으로 입체 음향 가속기(6)에 대하여 설명하기로 한다.

위에서 설명한 바와 같이, 음향을 스피커(8)에서 재생하는 경우에는 크로스토크를 제거해 주는 입체음향 가속기(6)에서의 처리과정(이하에서는 "eXTX"라고 칭함)이 필요한데, 이하에서는 설명의 편의상 스피커가 L, R의 2채널인 경우에 대해 설명하기로 한다.

eXTX에서 쓰이는 필터(Q)는 2입력 2출력이며 다음과 같이 도출할 수 있다. 3D음향소스(X)는 스피커출력(V)을 통해 최종적으로 귀에서의 음압(d)으로 청취자가 인식하게 되며, 여기서 스피커에서의 음압과 귀에서의 음압사이의 관계식은 수학식 1과 같이 표현된다.

아래의 수학식 1에서 Hv 는 Transaural 시스템에서의 스피커 출력으로 귀에서의 음압(d)과 같다고 볼 수 있으며, A는 스피커와 사람의 두 귀간의 거리 중 가까운 거리의 신호특성이며 S는 먼 거리, 즉 교차되는 신호특성이다.

헤드폰 청취의 경우 입력 3D음향과 귀에서 듣는 음향과의 관계식은 아래의 수학식 2와 같다.

여기서 x는 헤드폰용 신호로 귀에서의 음압이다.

그리고, 스피커 청취의 경우 입력 3D음향과 귀에서 듣는 음향과의 관계식은 아래의 수학식 3과 같이 표현된다.

결국, 스피커 청취시에도 헤드폰의 경우과 같은 결과를 얻기 위하여 크로스토크를 제거하기 위한 Transaural 시스템의 역함수로 구성된 eXTX의 필터 (Q)는 아래의 수학식 4와 같다.

eXTX에서 Q의 구현은 좌우스피커간의 거리와 스피커와 청취자의 귀축 중앙과의 거리를 이용하여 구현한다. HRTF(Head Related Transfer Function) 모델을 이용하여 스피커와 귀간의 왼쪽 스피커에서 왼쪽 귀로/오른쪽 스피커에서 오른쪽 귀로 입사되는 신호인 직접 경로(Direct path)와 왼쪽 스피커에서 오른쪽 귀로/오른쪽 스피커에서 왼쪽 귀로 입사되는 신호인 교차 경로(Cross path)의 거리를 구한 후, HRTF에서 추출된 파라미터 a와 b를 적용하여 신호처리를 수행하며 그 수식은 특정 주파수에서 다음과 같이 표현된다.

위 수학식 5에서 파라미터 a는 직접 경로와 교차경로 간의 게인 비율이며, b는 직접 경로와 교차경로 간의 지연(delay)이다.

이상에서는 본 발명의 바람직한 실시 예를 설명하였으나, 본 발명은 이 실시 예에 한정되는 것이 아니라 본 발명의 정신을 벗어나지 않는 범위 내에서 다양한 변형이 가능하다는 점을 유의해야 한다.

예를 들면, 이상에서는 본 발명이 휴대용 단말기에 사용되는 것으로 기재하였으나, 본 발명은 음향기기(오디오, 미니콤포너트, 카세트 등)와 영상기기(TV, 캠코더 등)를 포함하는 다양한 미디어 장치의 음향처리부에도 적용이 가능하다.

이상과 같은 본 발명을 이용하면, 헤드폰 재생시와 스피커 재생시 모두에 대하여 사용자 또는 게임/그래픽 정보에서 추출된 3차원 위치나 이동경로의 입력으로 음상 정위가 가능하게 된다.

Claims (14)

1. 원음(1)을 원하는 위치에 위치시키기 위한 위치정보와 HRTF DB를 이용하여 원하는 위치에 음상이 형성되도록 변환하는 3차원 사운드 합성기(4);

   상기 3차원 사운드 합성기(4)의 출력을 수신하여, 스피커 재생인지 또는 헤드폰 재생인지의 선택 결과에 따라, 헤드폰 재생이면 상기 출력을 헤드폰(7)으로 전달하는 선택장치(5);

   상기 선택장치(5)에서의 선택 결과가 스피커 재생이면, 상기 출력을 스피커로 재생할 때에 발생하는 크로스토크를 제거하여 스피커(8)로 출력하는 입체음향 가속기(6)를 포함하고 있으며,

   상기 입체 음향 가속기(6)는 하기의 식에 의해 처리가 수행되는 것을 특징으로 하는 음상정위 기능을 가진 입체 음향 형성 장치.

   
2. 삭제
3. 삭제
4. 제1항에 있어서, 상기 위치정보는 게임에서 입력되는 것을 특징으로 하는 음상정위 기능을 가진 입체 음향 형성 장치.
5. 제1항에 있어서, 상기 위치정보는 그래픽에서 입력되는 것을 특징으로 하는 음상정위 기능을 가진 입체 음향 형성 장치.
6. 제1항에 있어서, 상기 입체 음향 형성 장치는 휴대용 단말기에 사용되는 것을 특징으로 하는 음상정위 기능을 가진 입체 음향 형성 장치.
7. 제1항에 있어서, 상기 입체 음향 형성 장치는 미디어 장치의 음향처리부에 사용되는 것을 특징으로 하는 음상정위 기능을 가진 입체 음향 형성 장치.
8. 원음(1)을 원하는 위치에 위치시키기 위한 위치정보와 HRTF DB를 이용하여 원하는 위치에 음상이 형성되도록 변환하는 3차원 사운드 합성 단계;

   상기 3차원 사운드 합성 단계의 출력을 수신하여, 스피커 재생인지 또는 헤드폰 재생인지의 선택 결과에 따라, 헤드폰 재생이면 상기 출력을 헤드폰(7)으로 전달하는 선택 단계;

   상기 선택 단계에서의 선택 결과가 스피커 재생이면, 상기 출력을 스피커로 재생할 때에 발생하는 크로스토크를 제거하여 스피커(8)로 출력하는 입체음향 가속 단계를 포함하고 있으며;

   상기 입체 음향 가속 단계는 하기의 식에 의해 처리가 수행되는 것을 특징으로 하는 음상정위 기능을 가진 입체 음향 형성 방법.

   
9. 삭제
10. 삭제
11. 제8항에 있어서, 상기 위치정보는 게임에서 입력되는 것을 특징으로 하는 음상정위 기능을 가진 입체 음향 형성 방법.
12. 제8항에 있어서, 상기 위치정보는 그래픽에서 입력되는 것을 특징으로 하는 음상정위 기능을 가진 입체 음향 형성 방법.
13. 제8항에 있어서, 상기 입체 음향 형성 방법은 휴대용 단말기에 사용되는 것을 특징으로 하는 입체 음향 형성 방법.
14. 제8항에 있어서, 상기 입체 음향 형성 방법은 미디어 장치의 음향처리부에 사용되는 것을 특징으로 하는 입체 음향 형성 장치.

Images