KR100606734B1 - 삼차원 입체음향 구현 방법 및 그 장치 - Google Patents

삼차원 입체음향 구현 방법 및 그 장치 Download PDF

Info

Publication number
KR100606734B1
KR100606734B1 KR1020050010373A KR20050010373A KR100606734B1 KR 100606734 B1 KR100606734 B1 KR 100606734B1 KR 1020050010373 A KR1020050010373 A KR 1020050010373A KR 20050010373 A KR20050010373 A KR 20050010373A KR 100606734 B1 KR100606734 B1 KR 100606734B1
Authority
KR
South Korea
Prior art keywords
signal
vectors
principal component
sound
transfer function
Prior art date
Application number
KR1020050010373A
Other languages
English (en)
Inventor
피나키 샹카르 챈다
박기우
박성진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020050010373A priority Critical patent/KR100606734B1/ko
Priority to EP06001988A priority patent/EP1691578A3/en
Priority to US11/347,695 priority patent/US8005244B2/en
Priority to CN2006100037088A priority patent/CN1816224B/zh
Priority to JP2006028928A priority patent/JP4681464B2/ja
Application granted granted Critical
Publication of KR100606734B1 publication Critical patent/KR100606734B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Stereophonic Arrangements (AREA)

Abstract

본 발명은 시스템 안정성을 확보하고 계산량 및 복잡도를 줄여 이동통신용 단말 등과 같이 입체음향의 구현을 위해 고급 장비를 부가할 수 없는 장치에서 삼차원(3D: three-dimensional) 가상 입체음향을 구현할 수 있는 방법 및 그 장치에 관한 것이다. 본 발명에 따른 삼차원 가상 입체음향 구현 방법은, 하나 이상의 입력 음향신호에 시간지연차이(ITD: Inter-aural Time Delay)를 부여하여 출력하는 제1단계; 상기 제1단계의 출력 신호들을 주성분 웨이트(principal component weight)로 승산하는 제2단계; 및 상기 제2단계의 각 결과값을 머리전달함수(HRTF: Head Related Transfer Function)로부터 추출된 다수의 기본 벡터들(basis vectors)에 의해 필터링하는 제3단계를 포함하여 구성됨을 특징으로 한다.
삼차원, 입체음향, HRTF, PCA, IIR 필터

Description

삼차원 입체음향 구현 방법 및 그 장치{Method and apparatus for implementing 3-dimensional virtual sound}
도1은 KEMAR 데이터베이스로부터 추출된 비방향성 벡터의 128-탭(tap) FIR 모델과, 본 발명의 일실시예에 따라 근사화된 상기 비방향성 벡터의 저차수 모델을 나타내는 그래프이다.
도2는 KEMAR 데이터베이스로부터 추출된 제1차 방향성 벡터의 128-탭(tap) FIR 모델과, 본 발명의 일실시예에 따라 근사화된 상기 제1차 방향성 벡터의 저차수 모델을 나타내는 그래프이다.
도3은 본 발명에 따른 삼차원 입체음향 형성 방법 및 장치의 바람직한 일 실시예에 따른 블록 구성도임.
본 발명은 삼차원 입체음향 구현 방법 및 그 장치에 관한 것이다. 보다 구체적으로, 본 발명은 시스템 안정성을 확보하고 계산량 및 복잡도를 줄여 이동통신용 단말 등과 같이 입체음향의 구현을 위해 고급 장비를 부가할 수 없는 장치에서 삼차원(3D: three-dimensional) 가상 입체음향을 구현할 수 있는 방법 및 그 장치에 관한 것이다.
최근에 3차원 가상 현실을 요하는 멀티미디어 콘텐츠, CD-ROM 타이틀, 게임기, 가상현실 등의 멀티미디어 장치에서 고급 장비를 사용하지 않고 2개의 스피커 만을 사용하여 3차원 음향 효과를 낼 수 있는 입체음향기법에 관한 연구가 활발히 이루어지고 있다. 3차원 가상 입체음향기법이란 헤드폰이나 스피커를 통해 가상공간의 특정 위치에 음원을 형성하여 사용자가 듣는 소리가 마치 실제로 그 가상음원이 위치하고 있는 곳에서 들려오는 것처럼 방향감, 거리감, 공간감 등을 형성해 주는 방식을 말한다.
대부분의 3차원 가상 입체음향기법은 스피커나 헤드폰에 가상 음 효과(virtual sound effect)를 부여하기 위하여 머리전달함수(HRTF: Head Related Transfer Function)를 이용한다. 가상 음 효과라 함은 3차원의 가상공간 상의 특정 위치에 음원이 있는 것과 같은 효과를 부여하는 것을 의미하며, 모노(mono) 음원과 머리전달함수(HRTF)의 시간축 컨볼루션(convolution)을 통해서 이루어진다.
머리전달함수(HRTF)는 더미헤드(dummy head)를 대상으로 무향실(anechoic chamber)에서 측정된다. 즉, 무향실 내에서 더미헤드를 중심으로 구의 형태로 여러 각도에 배치한 다수의 스피커로부터 임펄스 신호(impluse signal)를 방사시켜서 더미헤드의 양쪽 귀에 장착한 마이크로폰으로 측정한 임펄스 응답(impulse response)을 머리전달함수라 한다.
머리전달함수를 구하는 방법을 보다 구체적으로 설명하면 다음과 같다. 즉, 더미헤드를 중심으로 고도각(elevation)과 방위각(azimuth)을 각각 일정한 간격(예 를 들어 10°간격)으로 세분한 후에, 각각의 세분된 각도에 스피커를 두고 임펄스 신호를 출력시켜서 더미헤드의 좌, 우 마이크로폰의 도착 신호를 측정함으로써 임펄스 응답을 측정하는 것이다. 이 때, 측정되지 않은 불연속 공간의 머리전달함수는 인접한 머리전달함수들 간의 보간(interpolation)을 통해서 구할 수 있다. 이와 같은 방법으로 머리전달함수 데이터베이스를 구축할 수 있고, 머리전달함수 데이터베이스는 MIT 미디어랩에 의해 오픈 소스(open source)로 공개되어 누구나 이용할 수 있도록 하고 있다.
전술한 바와 같이, 3차원 가상공간 상의 특정 위치에 음원이 있는 것과 같은 효과를 내는 것을 가상 음 효과(virtual sound effect)라 하는데, 위치 음 효과를 내기 위해서는 입체 음상 정위(sound localization) 기술이 필수적이다.
입체 음상 정위 기술을 이용하면 고정된 특정 위치에서 소리가 지각되는 효과와, 소리가 한 위치에서 다른 위치로 움직이는 효과를 생성할 수 있다. 즉, 고정음(static or positioned sound) 생성은 모노 음원으로부터의 오디오 스트림을 이에 해당하는 위치의 머리전달함수를 이용하여 필터링 연산을 수행함으로써 얻을 수 있다. 그리고, 이동음(dynamic or moving sound) 생성은 모노 음원으로부터의 오디오 스트림을, 소리가 이동하는 궤적 상에 해당하는 연속적인 머리전달함수들을 이용하여 연속적 필터링 연산을 수행함으로써 얻을 수 있다.
상기한 바와 같은 3차원 가상 입체음향기법은 위치음 및 이동음을 생성하기 위하여 대용량의 머리전달함수 데이터베이스를 저장할 저장 공간이 필요할 뿐만 아니라, 모노음원으로부터의 신호를 머리전달함수로써 필터링 연산하기 위하여 많은 계산량을 필요로 하기 때문에, 실시간 구현을 위해서는 고성능의 하드웨어(HW) 및 소프트웨어(SW) 장비가 요구된다. 이 뿐만 아니라, 3차원 가상 입체음향기법을 통해 다수의 이동음(multiple moving sound)에 대하여 가상 음체음향이 구현되어야 하는 영화, 가상현실, 게임 등에 적용되기 위해서는 다음과 같은 문제가 따른다.
첫째, 일반적으로 머리전달함수를 모델링함에 있어 FIR (Finite Impulse Response) 필터에 비해 IIR (Infinite Impulse Response) 필터가 낮은 계산 복잡도가 요구된다. 따라서, 3차원 가상 입체음향기술을 이용하여 모노음원이 이동하는 것을 구현하기 위해 머리전달함수가 저차수(low-order) IIR 필터로 직접적으로 근사화되는 경우, 상기 모노음원의 초기 지점에 대응하는 IIR 필터로부터 상기 모노음원의 궤적 상에 존재하는 다음 지점에 대응하는 IIR 필터로의 스위칭이 필요하다. 그런데, 상기 음원이 초기 지점에서 다음 지점으로 이동하는 동안, 머리전달함수를 모델링하는 2개의 IIR필터 간의 스위칭으로 인해 전체 시스템이 불안정해질 수 있고 또한 가청의 "클릭킹(clicking)" 노이즈가 일어날 수도 있다.
둘째, 공간에서 필요한 각 위치마다 하나의 머리전달함수가 대응되도록 한다면, 공간 상에서 여러 위치를 각각 점유하는 음원들을 구현하기 위해서는 상기 음원들에 대응하는 개수의 머리전달함수 모델링 필터가 필요하다. 즉, N개의 음원을 시뮬레이팅하기 위해서는 N 개의 필터가 실시간으로 동작하는 것이 필요하다. 따라서, 가상 음 효과를 구현하기 위한 복잡도(complexity)는 음원의 개수에 비례하여 증가된다. 이로 인해, 영화, 가상현실, 게임 등의 멀티미디어 콘텐츠에 다수의 이동음에 의한 3차원 입체음향 효과를 부여하기 위해서는 대용량의 저장 공간과 실시간 연산 능력을 제공할 수 있는 고성능 하드웨어 및 소프트웨어 장비가 요구되는 문제점이 있다.
본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 시스템 안정성을 확보하고 계산량 및 복잡도를 줄여 이동통신용 단말 등과 같이 입체음향의 구현을 위해 고급 장비를 부가할 수 없는 장치에서 삼차원 가상 입체음향을 구현할 수 있는 방법 및 그 장치를 제공하는 것이다.
상기한 바와 같은 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 발명에 따른 삼차원 가상 입체음향 구현 방법은, 하나 이상의 입력 음향신호에 시간지연차이(ITD: Inter-aural Time Delay)를 부여하여 출력하는 제1단계; 상기 제1단계의 출력 신호들을 주성분 웨이트(principal component weight)로 승산하는 제2단계; 및 상기 제2단계의 각 결과값을 머리전달함수(HRTF: Head Related Transfer Function)로부터 추출된 다수의 기본 벡터들(basis vectors)의 저차수 모델들에 의해 필터링하는 제3단계를 포함하여 구성됨을 특징으로 한다.
본 발명의 다른 양상으로서, 본 발명에 따른 삼차원 가상 입체음향 구현 장치는, 하나 이상의 입력 음향신호에 시간지연차이(ITD: Inter-aural Time Delay)를 부여하여 출력하는 ITD 모듈; 상기 제1단계의 출력 신호들을 주성분 웨이트(principal component weight)로 승산하는 웨이트 부가 모듈; 및 상기 제2단계의 각 결과값을 머리전달함수(HRTF: Head Related Transfer Function)로부터 추출된 다수의 기본 벡터들(basis vectors)의 저차수 모델들에 의해 필터링하는 필터링 모듈을 포함하여 구성됨을 특징으로 한다.
본 발명에서 제안되는 다수의 이동음 합성을 위한 HRTF 모델링 방법에 대해 이하 살펴본다. 먼저, 최소 위상 필터(minimum phase filter) 및 양쪽 귀 위치 차이에 따른 시간 지연 차이(ITD: Inter-aural Time Delay)를 이용하여 모든 방향의 머리전달함수(HRTF)가 모델링된다.
그 다음, 통계적 특징 추출 기법(statistical feature extraction technique)을 이용하여 상기 모델링된 머리전달함수로부터 기본 벡터들의 세트(이하, "기본 벡터 세트"라고도 함)가 추출된다. 상기 추출은 시간 도메인에서 행해진다.
상기 통계적 특징 추출 기법으로 대표적인 것이 주성분 분석(PCA: Principal Component Analysis) 방법이다. 상기 PCA 기법은 J. Acoust. Soc. Am. 120(4) 2211-2218 페이지(1997년 10월, Zhenyang Wu, Francis H.Y.Chan, and F.K.Lam, "A time domain binaural model based on spatial feature extraction for the head related transfer functions")에 상세히 소개된 바 있다.
상기 기본 백터들에 대해 간략히 설명하자면, 상기 기본 벡터들은 하나의 비방향 평균 기본 벡터(direction-independent mean vector)와 다수의 방향성 기본 벡터(directional basis vector)를 포함하여 구성된다. 비방향성 평균 기본 벡터는 모델링된 모든 방향의 머리전달함수의 특징들 중에서 음원의 위치(방향)와는 무관하게 결정되는 특징을 대표하는 기본 벡터를 의미한다. 반면에, 방향성 기본 벡터는 음원의 위치(방향)에 의해 결정되는 특징을 대표하는 기본 벡터이다.
마지막으로, 상기 기본 벡터들은, 밸런스 모델 근사 기법(balanced model approximation technique)에 의해 IIR(Infinite Impulse Response) 필터 세트로서 모델링된다. 밸런스 모델 근사 기술에 대해서는 "IEEE Transaction on Signal Processing, vol. 40, No.3, March, 1992"(B. Beliczynski, I. Kale, and G.D. Cain, "Approximation of FIR by IIR digital filters: an algorithm based on balanced model reduction")에 자세하게 소개되었다. 시뮬레이션에 의하면, 상기 밸런스 모델 근사 기법 덕택에 상기 기본 벡터들을 낮은 계산 복잡도로도 정확하게 모델링할 수 있음을 알 수 있다.
도1은 KEMAR 데이터베이스로부터 추출된 비방향성 평균 벡터의 128-탭(tap) FIR 모델과, 전술한 모델링 방법에 따라 근사화된 상기 비방향성 평균 벡터의 저차수 모델을 도시한다. 도2는 KEMAR 데이터베이스로부터 추출된 제1차 방향성 벡터의 128-탭(tap) FIR 모델과, 전술한 모델링 방법에 따라 근사화된 상기 제1차 방향성 벡터의 저차수 모델을 도시한다. 상기 방향성 기본벡터를 근사화하는 IIR 필터의 차수는 12이다. 도1 및 도2에서 알 수 있는 바와 같이, 상기 근사화는 매우 정확함을 알 수 있다. 상기 밸런스 모델 근사 기술에 의해 근사화된 기본 벡터들이 원래의 기본 벡터들과 거의 일치함을 알 수 있다. 웹사이트 http://sound.media.mit.edu/KEMAR.html에서 공개적으로 구할 수 있는 KEMAR 데이터베이스는 J. Acoust. Soc. Am. 97 (6), pp. 3907-3908 (Gardner, W. G., and Martin, K. D. HRTF measurements of a KEMAR)에서 잘 설명되어 있다.
이하에서는, 도3을 참조하여, 본 발명의 바람직한 일 실시예에 따른 삼차원 입체음향 구현장치의 전체 시스템 구조(overall system structure)를 설명한다. 이하에서 설명되는 일 실시예는 본 발명의 구체적 설명을 위한 것으로서 본 발명의 기술적 범위를 한정하는 것으로 해석되어서는 아니된다.
도3을 참조하면, 본 발명의 바람직한 일 실시예에 따른 삼차원 입체음향 형성 장치는, 하나 이상의 입력 음향신호의 위치에 따른 시간지연차이(ITD: Inter-aural Time Delay)를 부여하여 왼쪽 신호 및 오른쪽 신호를 생성하는 ITD 모듈(10)과, 상기 왼쪽 신호 및 상기 오른쪽 신호를 각각 상기 하나 이상의 입력 음향신호의 위치에 따른 고도각(
Figure 112006012682571-pat00018
) 및 방위각(
Figure 112006012682571-pat00019
)에 대응하는 왼쪽 주성분 웨이트(principal component weight) 및 오른쪽 주성분 웨이트로 승산하는 웨이트 부가 모듈(20)과, 상기 제2단계의 각 결과값을 머리전달함수(HRTF: Head Related Transfer Function)로부터 추출된 다수의 기본 벡터들(basis vectors)에 의해 필터링하는 필터링 모듈(30)과, 상기 다수의 기본 벡터들(basis vectors)에 의해 필터링된 각 신호를 합산하여 출력하는 제1 및 제2 합산 모듈(40, 50)을 포함하여 구성된다.
상기 ITD 모듈(10)은 입력되는 적어도 하나 이상의 모노(mono) 음향신호(제1 내지 제n 음향신호)에 대응하는 ITD 버퍼(제1~제n ITD 버퍼)를 포함한다. 각 ITD 버퍼는 각 음향신호의 위치에 따른 시간지연차이(ITD)를 부가하여, 왼쪽 귀 및 오른쪽 귀 각각을 위한 왼쪽 신호 스트림(
Figure 112006012682571-pat00020
) 및 오른쪽 신호 스트림(
Figure 112006012682571-pat00021
)을 생성한다(여기서,
Figure 112006012682571-pat00022
). 다시 말해서, 상기 왼쪽 신호 스트림과 오른쪽 신호 스트림 중 어느 하나는 다른 하나가 시간 지연(time delay)되어 형성된 값이고, 정중면(median plane)에서 상기 시간 지연은 제로가 된다.
상기 웨이트 부가 모듈(20)은 상기 ITD 모듈(10)로부터 출력된 다수의 왼쪽 신호 스트림 및 오른쪽 신호 스트림의 각각을 상기 입력 음향신호의 위치에 따른 고도각(
Figure 112006012682571-pat00023
) 및 방위각(
Figure 112006012682571-pat00024
)에 대응하는 왼쪽 주성분 웨이트(principal component weight,
Figure 112006012682571-pat00025
) 및 오른쪽 주성분 웨이트(
Figure 112006012682571-pat00026
)로 승산하여 각각 및
Figure 112006012682571-pat00028
를 출력한다. 여기서,
Figure 112006012682571-pat00029
,
Figure 112006012682571-pat00030
,
Figure 112006012682571-pat00031
, 및
Figure 112006012682571-pat00032
은 각각 다음의 수학식1 내지 수학식4에 의해 계산된다.
Figure 112006012682571-pat00033
Figure 112006012682571-pat00034
Figure 112006012682571-pat00035
Figure 112006012682571-pat00036
상기 필터링 모듈(30)은 비방향성 평균 벡터 모델
Figure 112006012682571-pat00037
를 이용하여
Figure 112006012682571-pat00038
및
Figure 112006012682571-pat00039
을 필터링한다.
Figure 112006012682571-pat00040
는
Figure 112006012682571-pat00041
도메인에서의 비방향성 평균 벡터 모델의 전달 함수이다. 상기 필터링 모듈(30)에서, 상기 필터링 모듈(30)에서,
Figure 112006012682571-pat00042
및
Figure 112006012682571-pat00043
은
Figure 112006012682571-pat00044
개의 최고 중요(most significant) 방향성 기본 벡터 모델
Figure 112006012682571-pat00045
에 의해 각각 필터링된다.
Figure 112006012682571-pat00046
는
Figure 112006012682571-pat00047
도메인에서
Figure 112006012682571-pat00048
개의 최고 중요(most significant) 방향성 기본 벡터 모델의 전달함수를 나타낸다. 상기 방향성 기본 벡터의 개수(
Figure 112006012682571-pat00049
)는 정확도 측면에서는 많을수록 바람직하고 메모리 용량 및 연산량의 측면에서는 적을수록 바람직하다. 다만, 시뮬레이션 결과 상기 방향성 기본 벡터의 개수(
Figure 112006012682571-pat00050
)가 증가해도 정확도가 크게 증가하지 않는 임계 포인트가 존재함이 발견되었는데,
Figure 112006012682571-pat00051
= 7 ~ 10개 정도의 지점이었다.
시간 도메인의 사운드 스트림
Figure 112006012682571-pat00052
및
Figure 112006012682571-pat00053
이
Figure 112006012682571-pat00054
도메인에서는
Figure 112006012682571-pat00055
및
Figure 112006012682571-pat00056
이라고 하자. 상기 제1 합산 모듈(40)은 상기 필터링 모듈(30)에 의해
Figure 112006012682571-pat00057
및
Figure 112006012682571-pat00058
이 필터링된 결과값들을 합산하여 출력한다. 상기 제1 합산 모듈(40)의 출력값은 다음의 수학식5로 표현될 수 있다.
삭제
Figure 112006012682571-pat00059
시간 도메인의 사운드 스트림
Figure 112006012682571-pat00060
및
Figure 112006012682571-pat00061
이
Figure 112006012682571-pat00062
도메인에서는
Figure 112006012682571-pat00063
및
Figure 112006012682571-pat00064
이라고 하자. 상기 제2 합산 모듈(50)은 상기 필터링 모듈(30)에 의해
Figure 112006012682571-pat00065
및
Figure 112006012682571-pat00066
이 필터링된 결과값들을 합산하여 출력한다. 상기 제1 합산 모듈(50)의 출력값은 다음의 수학식6로 표현될 수 있다.
Figure 112006012682571-pat00067
상기 수학식5 및 수학식6은 표현의 단순을 위해
Figure 112006012682571-pat00068
도메인으로 표현된 것이다. 실제 구현에서는 필터링 연산이 시간 도메인에서 행해질 수 있음을 명심해야 한다. 상기 출력값
Figure 112006012682571-pat00069
(또는 시간 도메인의
Figure 112006012682571-pat00070
) 및
Figure 112006012682571-pat00071
(또는 시간도메인의
Figure 112006012682571-pat00072
)을 아날로그 신호로 변환하여 스피커 또는 헤드폰으로 출력함으로써, 최종적으로 삼차원 입체음향을 들을 수 있다.
본 발명에 있어서는 입력되는 음향신호의 수에 상관없이 상기 기본 벡터들(basis vectors)의 수가 특정 개수로 고정된다. 따라서, 음원의 수가 증가할수록 연산량이 기하급수적으로 늘어나야 하는 종래기술과는 달리, 본 발명은 음원 수가 증가하더라도 연산량이 크게 증가하지는 않는다. 본 발명에 따른 기본 벡터들의 저차수 IIR 필터 모델을 사용하면 계산의 복잡도를 탁월하게 줄일 수 있다. CD급의 44.1 KHz와 같은 높은 샘플링 주파수에서는 더욱 그러하다. 머리전달함수 데이터 세트에서 얻은 기본 벡터들은 매우 높은 차수의 필터이기 때문에, 본 발명에 따른 저차수 IIR 필터 모델을 사용한 근사화에 의하면 계산 복잡도를 줄일 수 있다. 밸런스 모델 근사화 기술을 사용한 기본 벡터들의 모델링은 저차수 IIR필터들을 사용한 기본 벡터들의 더욱 정확한 근사화를 가능하게 한다.
이하에서는 PC, PDA 또는 이동통신용 단말 등과 같은 장치에서 구동될 수 있는 게임용 소프트웨어에서 삼차원 입체음향을 구현하기 위하여 도3에 도시된 본 발명의 바람직한 일 실시예를 적용한 경우를 예로 들어 설명함으로써 본 발명의 기술적 특징의 보다 용이한 이해를 돕고자 한다. 즉, 도3의 각 모듈을 PC, PDA 또는 이동통신용 단말에 구현하고 이를 통해 삼차원 음체음향을 구현하는 예를 설명한다.
PC, PDA 또는 이동통신용 단말의 메모리에는 게임용 소프트웨어에서 사용되는 모든 음향 데이터와, 음향신호의 위치에 따른 고도각(
Figure 112006012682571-pat00073
) 및 방위각(
Figure 112006012682571-pat00074
)에 대응하는 왼쪽 주성분 웨이트 및 오른쪽 주성분 웨이트와, 머리전달함수로부터 추출된 다수의 기본 벡터들이 저장된다. 상기 왼쪽 주성분 웨이트 및 오른쪽 주성분 웨이트의 경우에는, 음향신호의 각 위치에 따른 고도각(
Figure 112006012682571-pat00075
) 및 방위각(
Figure 112006012682571-pat00076
)과 이에 대응하는 왼쪽 주성분 웨이트 및 오른쪽 주성분 웨이트 값을 참조표(LUT: Look Up Table) 형식으로 저장하는 것이 바람직하다.
상기 게임용 소프트웨어의 알고리즘에 따라서 필요한 적어도 하나 이상의 음향신호가 상기 ITD 모듈(10)에 입력된다. 상기 ITD 모듈(10)에 입력되는 각 음향신호의 위치 및 그 위치에 따른 고도각(
Figure 112006012682571-pat00077
) 및 방위각(
Figure 112006012682571-pat00078
) 역시 상기 게임용 소프트웨어의 알고리즘에 의해 결정될 것이다. 상기 ITD 모듈(10)은 입력된 각 음향신호의 위치에 따라 시간지연차이(ITD)를 부여하여 왼쪽 신호 및 오른쪽 신호를 생성한다. 이동음(moving sound)의 경우에는 화면 영상 데이터와 동기(snychronization)를 맞춘 각 프레임(frame)마다의 음향신호에 위치 및 그에 따른 고도각(
Figure 112006012682571-pat00079
) 및 방위각(
Figure 112006012682571-pat00080
)이 결정된다.
상기 웨이트 부가 모듈(20)은 상기 ITD 모듈(10)로부터 출력된 다수의 왼쪽 신호 및 오른쪽 신호의 각각을 메모리에 저장되어 있는 상기 입력 음향신호의 위치에 따른 고도각(
Figure 112006012682571-pat00081
) 및 방위각(
Figure 112006012682571-pat00082
)에 대응하는 왼쪽 주성분 웨이트(
Figure 112006012682571-pat00083
) 및 오른쪽 주성분 웨이트(
Figure 112006012682571-pat00084
)로 승산하여 각각
Figure 112006012682571-pat00085
및
Figure 112006012682571-pat00086
을 출력한다.
상기 웨이트 부가 모듈(20)로부터 출력된
Figure 112006012682571-pat00087
및
Figure 112006012682571-pat00088
은 IIR 필터로 모델링되어 있는 상기 필터링 모듈(30)로 각각 입력되어, 비방향성 기본 벡터
Figure 112006012682571-pat00089
및
Figure 112006012682571-pat00090
개의 방향성 기본 벡터들
Figure 112006012682571-pat00091
에 의해 필터링된다.
상기 필터링 모듈(30)에 의해 필터링된
Figure 112006012682571-pat00092
의 결과값들이 상기 제1 합산 모듈(40)에 의해 합산되어 왼쪽 스테레오 신호
Figure 112006012682571-pat00093
로 출력된다. 그리고, 상기 필터링 모듈(30)에 의해 필터링된
Figure 112006012682571-pat00094
의 결과값들이 상기 제2 합산 모듈(50)에 의해 합산되어 오른쪽 스테레오 신호
Figure 112006012682571-pat00095
로 출력된다. 상기 왼쪽 및 오른쪽 오디오 신호
Figure 112006012682571-pat00096
및
Figure 112006012682571-pat00097
은 디지털 신호에서 아날로그 신호로 변환되어 PC, PDA 또는 이동통신용 단말의 스피커 또는 헤드폰을 통하여 출력된다. 그러면, 삼차원 음향신호가 생성되는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
본 발명에 의한 삼차원 입체음향 구현 방법 및 그 장치에 따르면 다음과 같은 효과가 있다.
다수의 이동음에 대하여 입체음향을 구현하기 위한 계산 복잡도(complexity) 및 메모리 용량의 증가가 크지 않다. 각 기본 벡터를 모델링하기 위하여 12차 IIR 필터를 사용하고, 하나의 비방향성 기본 벡터와 7개의 방향성 기본 벡터를 사용하는 경우에, 계산 복잡도는 다음 식에 의해 추정될 수 있다.
계산 복잡도 = 2×(IIR 필터 차수 + 1)×(IIR 필터의 개수 또는 기본 벡터들의 개수) = 2×(12 + 1)×8
이와 같은 아키텍처에 새로운 음원을 추가하여도 별도의 ITD 버터 추가와 주성분 웨이트를 사용한 사운드 스트림의 스칼라 승산만으로 충분하다. 그리고, 본 발명은, IIR 필터를 이용하여 머리전달함수를 모델링하는 것 대신에, 기본 벡터들의 IIR 필터 모델을 이용한다. 따라서, 고정된 개수의 기본 벡터 필터들이 음원의 위치에 상관없이 언제나 가동되므로, 필터들 간의 스위칭이 필요없다. 따라서, 기본 벡터들의 안정된 IIR 필터 모델들의 합성은 동작 중의 시스템 안정성을 보장한다. 결과적으로 본 발명에 의하면 이동통신용 단말 등과 같이 입체음향의 구현을 위해 고급 장비를 부가할 수 없는 장치에서 삼차원 가상 입체음향을 구현할 수 있다. 특히, 다수의 이동음원(multiple moving sound source)에 대하여 가상 음체음향이 구현되어야 하는 영화, 가상현실, 게임 등에 커다란 효용을 발휘할 수 있다.
삭제

Claims (16)

  1. 하나 이상의 입력 음향신호에 시간지연차이(ITD: Inter-aural Time Delay)를 부여하여 출력하는 제1단계;
    상기 제1단계의 출력 신호들을 주성분 웨이트(principal component weight)로 승산하는 제2단계; 및
    상기 제2단계의 각 결과값을 머리전달함수(HRTF: Head Related Transfer Function)로부터 추출된 다수의 기본 벡터들(basis vectors)의 저차수 모델들에 의해 필터링하는 제3단계를 포함하는 삼차원 입체음향 합성 방법.
  2. 제1항에 있어서,
    상기 제1단계에서는 상기 하나 이상의 입력 음향신호의 위치에 따른 시간지연차이를 부여하여 왼쪽 신호 및 오른쪽 신호가 생성되는 것을 특징으로 하는 삼차원 입체음향 합성 방법.
  3. 제2항에 있어서,
    상기 제2단계에서는 상기 왼쪽 신호 및 상기 오른쪽 신호를 각각 상기 하나 이상의 입력 음향신호의 위치에 따른 고도각(
    Figure 112006012682571-pat00098
    ) 및 방위각(
    Figure 112006012682571-pat00099
    )에 대응하는 왼쪽 주성분 웨이트(principal component weight) 및 오른쪽 주성분 웨이트로 승산하는 것을 특징으로 하는 삼차원 음체음향 합성 방법.
  4. 제3항에 있어서,
    상기 다수의 기본 벡터들(basis vectors)에 의해 필터링된 각 신호를 왼쪽 신호 및 오른쪽 신호 별로 합산하여 출력하는 제4단계를 더 포함하는 것을 특징으로 하는 삼차원 입체음향 합성 방법.
  5. 제1항 내지 제4항의 어느 한 항에 있어서,
    상기 다수의 기본 벡터들은 하나의 비방향 기본 벡터(direction-independent basis vector)와 다수의 방향성 기본 벡터(directional basis vector)로 구성되는 것을 특징으로 하는 삼차원 입체음향 합성 방법.
  6. 제5항에 있어서,
    상기 다수의 기본 벡터들은 상기 머리전달함수로부터 주성분 분석(PCA:Principal Component Analysis)에 의해 추출되는 것을 특징으로 하는 삼차원 입체음향 합성 방법.
  7. 제5항에 있어서,
    상기 다수의 기본 벡터들은 각각 IIR(Infinite Impulse Response) 필터에 의해 모델링되는 것을 특징으로 하는 삼차원 입체음향 합성 방법.
  8. 제7항에 있어서,
    상기 IIR 필터에 의한 모델링은 밸런스 모델 근사 기술(balance model approximation technique)에 의해 이루어지는 것을 특징으로 하는 삼차원 입체음향 합성 방법.
  9. 하나 이상의 입력 음향신호에 시간지연차이(ITD: Inter-aural Time Delay)를 부여하여 출력하는 ITD 모듈;
    상기 제1단계의 출력 신호들을 주성분 웨이트(principal component weight)로 승산하는 웨이트 부가 모듈; 및
    상기 제2단계의 각 결과값을 머리전달함수(HRTF: Head Related Transfer Function)로부터 추출된 다수의 기본 벡터들(basis vectors)의 저차수 모델들에 의해 필터링하는 필터링 모듈을 포함하는 삼차원 입체음향 합성 장치.
  10. 제9항에 있어서,
    상기 ITD 모듈은 상기 하나 이상의 입력 음향신호의 위치에 따른 시간지연차이를 부여하여 왼쪽 신호 및 오른쪽 신호가 생성하는 것을 특징으로 하는 삼차원 입체음향 합성 장치.
  11. 제10항에 있어서,
    상기 웨이트 부가 모듈은 상기 왼쪽 신호 및 상기 오른쪽 신호를 각각 상기 하나 이상의 입력 음향신호의 위치에 따른 고도각(
    Figure 112006012682571-pat00100
    ) 및 방위각(
    Figure 112006012682571-pat00101
    )에 대응하는 왼쪽 주성분 웨이트(principal component weight) 및 오른쪽 주성분 웨이트로 승산하는 것을 특징으로 하는 삼차원 음체음향 합성 장치.
  12. 제11항에 있어서,
    상기 다수의 기본 벡터들에 의해 필터링된 각 신호를 왼쪽 신호 및 오른쪽 신호 별로 합산하여 출력하는 합산 모듈을 더 포함하는 것을 특징으로 하는 삼차원 입체음향 합성 장치.
  13. 제9항 내지 제12항의 어느 한 항에 있어서,
    상기 다수의 기본 벡터들은 하나의 비방향 기본 벡터와 다수의 방향성 기본 벡터로 구성되는 것을 특징으로 하는 삼차원 입체음향 합성 장치.
  14. 제13항에 있어서,
    상기 다수의 기본 벡터들은 상기 머리전달함수로부터 주성분 분석(PCA)에 의해 추출되는 것을 특징으로 하는 삼차원 입체음향 합성 장치.
  15. 제13항에 있어서,
    상기 다수의 기본 벡터들은 각각 IIR 필터에 의해 모델링되는 것을 특징으로 하는 삼차원 입체음향 합성 장치.
  16. 제13항에 있어서,
    상기 IIR 필터에 의한 모델링은 밸런스 모델 근사 기술(balanced model approximation technique)에 의해 이루어지는 것을 특징으로 하는 삼차원 입체음향 합성 장치.
KR1020050010373A 2005-02-04 2005-02-04 삼차원 입체음향 구현 방법 및 그 장치 KR100606734B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020050010373A KR100606734B1 (ko) 2005-02-04 2005-02-04 삼차원 입체음향 구현 방법 및 그 장치
EP06001988A EP1691578A3 (en) 2005-02-04 2006-01-31 Apparatus for implementing 3-dimensional virtual sound and method thereof
US11/347,695 US8005244B2 (en) 2005-02-04 2006-02-03 Apparatus for implementing 3-dimensional virtual sound and method thereof
CN2006100037088A CN1816224B (zh) 2005-02-04 2006-02-05 实现3d虚拟声音的装置及其方法
JP2006028928A JP4681464B2 (ja) 2005-02-04 2006-02-06 三次元立体音響生成方法、三次元立体音響生成装置及び移動端末機

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050010373A KR100606734B1 (ko) 2005-02-04 2005-02-04 삼차원 입체음향 구현 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR100606734B1 true KR100606734B1 (ko) 2006-08-01

Family

ID=36606947

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050010373A KR100606734B1 (ko) 2005-02-04 2005-02-04 삼차원 입체음향 구현 방법 및 그 장치

Country Status (5)

Country Link
US (1) US8005244B2 (ko)
EP (1) EP1691578A3 (ko)
JP (1) JP4681464B2 (ko)
KR (1) KR100606734B1 (ko)
CN (1) CN1816224B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100705930B1 (ko) 2006-06-02 2007-04-13 엘지전자 주식회사 입체 음향 구현 장치 및 방법
CN101221763B (zh) * 2007-01-09 2011-08-24 昆山杰得微电子有限公司 针对子带编码音频的三维声场合成方法
WO2022092663A1 (ko) * 2020-10-29 2022-05-05 한림대학교 산학협력단 소리방향성 분별능 훈련시스템 및 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8041041B1 (en) * 2006-05-30 2011-10-18 Anyka (Guangzhou) Microelectronics Technology Co., Ltd. Method and system for providing stereo-channel based multi-channel audio coding
US20080240448A1 (en) * 2006-10-05 2008-10-02 Telefonaktiebolaget L M Ericsson (Publ) Simulation of Acoustic Obstruction and Occlusion
US20080273708A1 (en) * 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization
KR101431253B1 (ko) * 2007-06-26 2014-08-21 코닌클리케 필립스 엔.브이. 바이노럴 오브젝트―지향 오디오 디코더
CN101656525B (zh) * 2008-08-18 2013-01-23 华为技术有限公司 一种获得滤波器的方法和滤波器
CN102740821B (zh) * 2009-05-13 2016-09-14 儿童医院 机能增强
US8824709B2 (en) * 2010-10-14 2014-09-02 National Semiconductor Corporation Generation of 3D sound with adjustable source positioning
CN102572676B (zh) * 2012-01-16 2016-04-13 华南理工大学 一种虚拟听觉环境实时绘制方法
AU2017210021B2 (en) * 2016-01-19 2019-07-11 Sphereo Sound Ltd. Synthesis of signals for immersive audio playback
DE102017103134B4 (de) 2016-02-18 2022-05-05 Google LLC (n.d.Ges.d. Staates Delaware) Signalverarbeitungsverfahren und -systeme zur Wiedergabe von Audiodaten auf virtuellen Lautsprecher-Arrays
US10142755B2 (en) 2016-02-18 2018-11-27 Google Llc Signal processing methods and systems for rendering audio on virtual loudspeaker arrays
US9980077B2 (en) * 2016-08-11 2018-05-22 Lg Electronics Inc. Method of interpolating HRTF and audio output apparatus using same
CN108038291B (zh) * 2017-12-05 2021-09-03 武汉大学 一种基于人体参数适配算法的个性化头相关传递函数生成系统及方法
WO2020016685A1 (en) 2018-07-18 2020-01-23 Sphereo Sound Ltd. Detection of audio panning and synthesis of 3d audio from limited-channel surround sound
US10791411B2 (en) * 2019-01-10 2020-09-29 Qualcomm Incorporated Enabling a user to obtain a suitable head-related transfer function profile
EP4046398A1 (en) * 2019-10-16 2022-08-24 Telefonaktiebolaget Lm Ericsson (Publ) Modeling of the head-related impulse responses

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2870333B2 (ja) 1992-11-26 1999-03-17 ヤマハ株式会社 音像定位制御装置
US5943427A (en) * 1995-04-21 1999-08-24 Creative Technology Ltd. Method and apparatus for three dimensional audio spatialization
JPH09191500A (ja) 1995-09-26 1997-07-22 Nippon Telegr & Teleph Corp <Ntt> 仮想音像定位用伝達関数表作成方法、その伝達関数表を記録した記憶媒体及びそれを用いた音響信号編集方法
JPH09284899A (ja) 1996-04-08 1997-10-31 Matsushita Electric Ind Co Ltd 信号処理装置
US5928311A (en) 1996-09-13 1999-07-27 Intel Corporation Method and apparatus for constructing a digital filter
JPH10257598A (ja) 1997-03-14 1998-09-25 Nippon Telegr & Teleph Corp <Ntt> 仮想音像定位用音響信号合成装置
WO1999014983A1 (en) 1997-09-16 1999-03-25 Lake Dsp Pty. Limited Utilisation of filtering effects in stereo headphone devices to enhance spatialization of source around a listener
JP3781902B2 (ja) 1998-07-01 2006-06-07 株式会社リコー 音像定位制御装置および音像定位制御方式
US7231054B1 (en) * 1999-09-24 2007-06-12 Creative Technology Ltd Method and apparatus for three-dimensional audio display
JP4101452B2 (ja) 2000-10-30 2008-06-18 日本放送協会 多チャンネル音声回路
US7079658B2 (en) * 2001-06-14 2006-07-18 Ati Technologies, Inc. System and method for localization of sounds in three-dimensional space
JP2003304600A (ja) 2002-04-10 2003-10-24 Nissan Motor Co Ltd 音情報提供／選択装置
JP4694763B2 (ja) 2002-12-20 2011-06-08 パイオニア株式会社 ヘッドホン装置
FR2851879A1 (fr) 2003-02-27 2004-09-03 France Telecom Procede de traitement de donnees sonores compressees, pour spatialisation.

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100705930B1 (ko) 2006-06-02 2007-04-13 엘지전자 주식회사 입체 음향 구현 장치 및 방법
CN101221763B (zh) * 2007-01-09 2011-08-24 昆山杰得微电子有限公司 针对子带编码音频的三维声场合成方法
WO2022092663A1 (ko) * 2020-10-29 2022-05-05 한림대학교 산학협력단 소리방향성 분별능 훈련시스템 및 방법
KR20220057212A (ko) * 2020-10-29 2022-05-09 한림대학교 산학협력단 소리방향성 분별능 훈련시스템 및 방법
KR102484145B1 (ko) 2020-10-29 2023-01-04 한림대학교 산학협력단 소리방향성 분별능 훈련시스템 및 방법

Also Published As

Publication number Publication date
US8005244B2 (en) 2011-08-23
CN1816224B (zh) 2010-12-08
US20060177078A1 (en) 2006-08-10
JP4681464B2 (ja) 2011-05-11
CN1816224A (zh) 2006-08-09
JP2006217632A (ja) 2006-08-17
EP1691578A2 (en) 2006-08-16
EP1691578A3 (en) 2009-07-15

Similar Documents

Publication Publication Date Title
KR100606734B1 (ko) 삼차원 입체음향 구현 방법 및 그 장치
US9749769B2 (en) Method, device and system
Grimm et al. A toolbox for rendering virtual acoustic environments in the context of audiology
US6990205B1 (en) Apparatus and method for producing virtual acoustic sound
KR101333031B1 (ko) ＨＲＴＦｓ을 나타내는 파라미터들의 생성 및 처리 방법 및디바이스
KR101315070B1 (ko) 3ｄ 사운드를 발생하기 위한 방법 및 디바이스
JP5285626B2 (ja) 音声空間化及び環境シミュレーション
RU2591179C2 (ru) Способ и система для генерирования передаточной функции головы путем линейного микширования передаточных функций головы
US8705750B2 (en) Device and method for converting spatial audio signal
JP7038725B2 (ja) オーディオ信号処理方法及び装置
Mehra et al. Source and listener directivity for interactive wave-based sound propagation
US20150326966A1 (en) Methods, systems, and computer readable media for source and listener directivity for interactive wave-based sound propagation
WO1999051063A1 (en) Headtracked processing for headtracked playback of audio signals
Zhong et al. Head-related transfer functions and virtual auditory display
Oldfield The analysis and improvement of focused source reproduction with wave field synthesis
Pelzer et al. 3D reproduction of room acoustics using a hybrid system of combined crosstalk cancellation and ambisonics playback
Salvador et al. Enhancement of Spatial Sound Recordings by Adding Virtual Microphones to Spherical Microphone Arrays.
KR20030002868A (ko) 삼차원 입체음향 구현방법 및 시스템
Geronazzo Sound Spatialization.
Matsumura et al. Embedded 3D sound movement system based on feature extraction of head-related transfer function
US20230403528A1 (en) A method and system for real-time implementation of time-varying head-related transfer functions
Pelzer et al. Continuous and exchangeable directivity patterns in room acoustic simulation
Salvador et al. Enhancing the binaural synthesis from spherical microphone array recordings by using virtual microphones
Zotkin et al. Signal processing for Audio HCI
Otani Future 3D audio technologies for consumer use

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130624

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140624

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150624

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160624

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee