KR101644780B1

KR101644780B1 - 3차원 사운드 환경에서 사운드 객체를 배치하기 위한 방법에 의해 구현되는 테스트 플랫폼

Info

Publication number: KR101644780B1
Application number: KR1020117021313A
Authority: KR
Inventors: 프레드릭 아마뒤
Original assignee: 아르카미스
Priority date: 2009-02-11
Filing date: 2010-02-11
Publication date: 2016-08-12
Also published as: FR2942096A1; US8612187B2; FR2942096B1; US20120022842A1; WO2010092307A1; KR20110124306A; EP2396978A1

Abstract

본 발명은 제한된 프로세싱 파워를 갖는 타겟 오디오 시스템에 적합한 사운드 구성의 선택을 가능하게 하기 위한 테스트 플랫폼에 관한 것이다. 상기 구성의 목표 선택 중에, 상기 플랫폼은 가능한 구성들의 집합 중에서, 상기 오디오 시스템의 사용가능한 파워에 맞는 사운드 구성들을 선정한다. 다음으로, 상기 플랫폼은 가상 확성기들의 개수 및 HRTF 필터들의 차수를 선택하는 것을 가능하게 함으로써, 선정되는 각 구성의 사운드 렌더링을 통합기가 테스트하도록 한다. 이러한 목적을 위하여, 상기 통합기는 청취할 서로 다른 타입의 음원들을 선택할 수 있다. 서로 다른 사운드 구성들의 사운드 렌더링을 청취한 후, 상기 통합기는 상기 타겟 오디오 시스템에 가장 적합한 구성을 선택할 수 있다.

Description

3차원 사운드 환경에서 사운드 객체를 배치하기 위한 방법에 의해 구현되는 테스트 플랫폼{TEST PLATFORM IMPLEMENTED BY A METHOD FOR POSITIONING A SOUND OBJECT IN A 3D SOUND ENVIRONMENT}

본 발명은 3차원 사운드 환경에서 사운드 객체의 배치를 위한 프로세스와 함께 사용되는 테스트 플랫폼에 관한 것이다. 본 발명의 목적은 특히 해당 프로세스가 통합될 타겟 사운드 매체의 성능에 최적으로 적응되는 3차원 사운드 생성 프로세스의 구현을 가능하게 하는 것이다.

본 발명은 특히, 그러나 배타적이지는 않게, 휴대 전화 타입 오디오 매체에 대한 유리한 응용에 이르게 된다. 하지만, 본 발명은 PDA, 휴대용 컴퓨터, MP3 타입 음악 재생기 또는 3차원 사운드를 유포할 수 있는 임의의 다른 오디오 매체로 구현될 수도 있다.

3차원 사운드 효과를 생성하기 위해서, 귀의 위치에 마이크로폰을 포함하는 인공 인간 머리(더미 헤드(dummy head)) 주변 공간의 각 포인트에 음원을 배치하는 것이 알려져 있는데 이는

- 음원으로부터 사용자의 오른쪽 귀로의 사운드 경로에 대응하는 제1 HRTF(Head Related Transfer Function) 필터, HRTF Right(HRTF R), 및

- 음원으로부터 사용자의 왼쪽 귀로의 사운드 경로에 대응하는 제2 HRTF(Head Related Transfer Function) Left 필터, HRTF L

이 있을 때, 음원이 배치된 각 포인트에 대한 필터들(HRTF R, HRTF L)의 쌍을 획득하는 식으로 각 공간의 포인트에 대하여 추출하기 위한 것이다.

다음으로, 계산된 HRTF 필터 쌍들을 주어진 음원에 적용함으로써, 사전에 필터들이 계산되었던 포인트에 상기 음원이 위치한다는 인상이 존재한다.

이와 같이, 도 1은 두 개의 마이크로폰(3 및 4)을 포함하는 인공 머리(1)를 나타낸다. HRTF L 및 HRTF R 필터 쌍을 음원에 적용함으로써, 필터들(HRTF R, HRTF L)의 쌍이 계산되었던 위치에 배치된 포인트 S로부터 상기 음원이 소리를 낸다는 인상이 존재하게 되는 반면에, 필터들 HRTF' L 및 HRTF' R의 쌍이 적용된다면, 필터들(HRTF L', HRTF G')의 쌍이 계산되었던 위치에 배치된 포인트 S'로부터 상기 음원이 소리를 낸다는 인상이 존재하게 된다.

최적화된 3차원 사운드 효과를 획득하기 위해, 인공 머리 주변 음원의 많은 위치들에 대한 HRTF 필터들의 쌍들을 매 5도 또는 10도마다 계산할 필요가 있다. 따라서, 사용자 머리 주변의 위치들의 최대 수를 나타내기 위해서, 2000쌍 이상의 HRTF 필터들을 저장할 필요가 있다. 그러나 휴대 전화들의 제한된 저장 성능을 고려할 때, 이것은 불가능하다.

또한, 종래 사용되는 HRTF 필터들은 자원 집중적(resource-intensive)이고 휴대 전화의 메모리 성능 및 프로세싱 속도에 적응되지 않는 FIR(finished implse response) 타입의 필터이다.

본 발명은 어떠한 타입의 오디오 매체에도 적응될 수 있는 3차원 사운드를 위한 제어 프로세스를 제시함으로써 이러한 문제점들에 대한 해결책을 제시한다.

이러한 목적을 위해, 본 발명에서는, 가상 확성기들(virtual loudspeakers)와 같이, 서로 다른 확성기들의 방송 특성들을 적응시켜 달성되는 머리 주변 3차원 객체의 배치와 함께 보여지는 제한된 수의 포인트들을 포함하는 환경을 생성하기 위해, 오직 제한된 수의 HRTF 필터 쌍들만이 보존된다. 이에 따라, 사용되는 HRTF 필터들의 개수를 제한함으로써, 본 발명에 따른 프로세스의 구현 중 프로세서의 소비가 제한된다. 확성기들은 구별되는 몇몇 구성들에 따라 배열될 수 있다.

또한, FIR 타입의 HRTF 필터들은 FIR 필터들보다 덜 자원 집중적인, 완성된 임펄스 응답 타입 필터들(finished impulse resopnse-type filters)(IIR 필터들)로 변환된다. IIR 필터 구조의 프로세싱 및 메모리 점유 성능을 활용하기 위해 상이한 방법들이 고려되어 왔다. 이에 따라, FIR 필터들의 계수들은 알려진 프로니 타입 시간 방법(Prony-type time method) 또는 알려진 율 워커 타입 주파수 방법(Yule Walker-type frequency method)으로부터 획득될 수 있다.

또한, 테스트 플랫폼은 IIR 필터들의 차수 및/또는 HRTF 필터들의 변환 타입 및/또는 가상 확성기들의 공간 구성을 오디오 장치의 사용가능한 자원들에 적응시키는 것을 가능하게 한다.

따라서 본 발명은, 본 발명에 따른 프로세스의 구현을 위한 제한된 프로세싱 파워(processing power)를 갖는 오디오 시스템에 적합한 사운드 구성의 선택을 가능하게 하는 테스트 플랫폼에 관한 것으로서, 테스트 플랫폼은

- 상기 프로세스가 구현될 오디오 시스템을 위한 사용가능한 프로세싱 파워를 입력하기 위한 수단,

- 가능한 사운드 구성들의 집합 중에서, 오디오 시스템의 사용가능한 파워에 맞는 사운드 구성들을 선정하기 위한 수단,

- 선정된 구성들 중에서 선택된 구성의 사운드 렌더링을 테스트하기 위한 수단을 포함하고, 이 테스트 수단은

- 청취 구(listening sphere) 상의 가상 확성기들의 개수를 선택하기 위한 인터페이스 및 선정된 구성들 중에서 HRTF 필터들의 차수를 선택하기 위한 인터페이스를 포함하고,

- 적어도 하나의 음원으로부터 본 발명에 따른 프로세스를 구현하기 위한 수단, 및

- 음원을 유포하는 선택된 사운드 구성의 사운드 렌더링을 청취하기 위한 수단

을 포함한다.

본 발명의 일 실시예에 따르면, 사운드 렌더링을 테스트하기 위한 수단은 또한 FIR 타입의 HRTF 필터들을 IIR 타입의 HRTF 필터들로 변환하기 위한 방법을 선택하기 위한 인터페이스를 포함한다.

본 발명의 일 실시예에 따르면, 확성기의 개수 및 관련된 HRTF 필터들의 차수에 의해 정의되는 구성과 함께, 오디오 시스템의 사용가능한 파워에 맞는 구성을 선정하기 위한 수단은

- 구성의 필터들의 개수에, 주어진 차수의 필터의 소비를 곱함으로써 서로 다른 가능한 구성들의 파워를 계산하기 위한 수단, 및

- 오디오 시스템의 사용가능한 파워보다 많은 파워를 필요로하는 구성들을 제외시키고, 오디오 시스템의 사용가능한 파워 이하의 파워를 필요로하는 구성들만을 선정하기 위한 수단

을 포함한다.

본 발명의 일 실시예에 따르면, 선택된 각 구성에 대하여, 그것은 특히 간헐적인 화이트 노이즈, 헬리콥터 노이즈, 앰뷸런스 사운드 또는 곤충 소리 중에서 서로 다른 타입의 음원들을 청취하기 위한 수단을 포함한다.

본 발명의 일 실시예에 따르면, 그것은 음원들이 서로 다른 타입의 미리 정해진 궤적들(trajectories), 특히 원형, 좌-우 또는 우-좌 궤적, 또는 전/후 또는 후/전 궤적을 따르게 하기 위해서, 음원들의 방위각(azimuth) 및 앙각(elevation)을 각각 수정하기 위한 수단을 포함한다.

또한, 본 발명은 본 발명에 따른 테스트 플랫폼과 관련하여 사용되는 3차원 사운드 환경에서 사운드 객체를 배치하기 위한 프로세스에 관한 것으로, 이 프로세스는 다음 단계를 포함한다.

- 청취자가 그 중앙에 위치하는 청취 구 상에 배치되는 N개의 구별되는 가상 확성기들을 포함하는 사운드 공간을 정의하는 단계,

- 각 가상 확성기로 향하는 입력 신호들의 특성들을 적응시킴으로써 청취 구의 바람직한 위치에 사운드 객체를 배치하는 단계,

- 가상 확성기에 의한 스테레오 사운드 신호를 획득하기 위하여 입력 신호가 향하는 가상 확성기의 배치에 대응하는 HRTF 필터들의 쌍을 N개의 입력 신호들 각각에 적용하는 단계,

- 각 가상 확성기의 기여(contribution)에 대응하는 방송가능한 단일 스테레오 사운드 신호를 획득하기 위해서, 왼쪽으로부터의 사운드 신호들 및 오른쪽으로부터의 사운드 신호들을 그들 사이에서 합산하는 단계

본 발명의 일 실시예에 따르면, 3차원 사운드 환경에서 M개의 사운드 객체들을 배치하기 위하여, 다음 단계들이 구현된다.

- M개의 사운드 객체 각각에 대하여, 가상 확성기들로 향하는 입력 신호들의 집합을 획득하기 위하여, 각 가상 확성기에 적용되는 입력 신호들의 특성들을 적응시킴으로써, 청취 구의 바람직한 위치에 M개의 사운드 객체들 각각을 독립적으로 배치하는 단계,

- 가상 확성기들에 적용될 입력 신호들의 단일 집합을 획득하기 위하여, 각 가상 확성기 입력에 대응하는 입력 신호들을 그들 사이에서 합산하는 단계,

- 가상 확성기에 의한 스테레오 사운드 신호를 획득하기 위하여 처리된 입력 신호가 적용되는 가상 확성기의 배치에 대응하는 HRTF 필터들의 쌍을 입력 신호들의 집합의 각 입력 신호에 적용하는 단계,

- 각 가상 확성기의 기여에 대응하는 방송가능한 단일 스테레오 사운드 신호를 획득하기 위해서, 왼쪽으로부터의 사운드 신호들 및 오른쪽으로부터의 사운드 신호들을 그들 사이에서 합산하는 단계

본 발명의 일 실시예에 따르면, 청취 구 상에 3차원 객체를 배치하기 위하여, N개의 가상 확성기들의 입력 신호들에 가중치가 주어진다.

본 발명의 일 실시예에 따르면, 그것은 또한 FIR 타입의 HRTF 필터들을 IIR 타입의 필터들로 변환하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 그것은 청취자와 사운드 객체 간의 거리를 시뮬레이션하기 위하여, 감쇠(attenuation) 모듈들을 사운드 객체에 적용하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 그것은 N차의 IIR 타입 HRTF 필터들을 획득하기 위하여, FIR 타입의 HRTF 필터들의 임펄스 응답들에 프로니 타입 알고리즘을 적용하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 그것은 프로니 타입 알고리즘을 적용하기 전에 HRTF 필터들의 임펄스 응답들의 두 귀에 도달하는 소리의 시간차(interaural time difference: ITD)를 추출하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 그것은 다음 단계들을 포함한다.

- FIR 타입의 HRTF 필터들의 임펄스 응답의 ITD 시간 차들을 추출하는 단계,

- FIR 타입의 HRTF 필터들의 임펄스 응답들의 스펙트럼 크기들을 추출하는 단계, 및

- IIR 타입의 HRTF 필터들을 획득하기 위하여 추출된 스펙트럼 크기들에 율 워커 방법을 적용하는 단계

본 발명의 일 실시예에 따르면, 그것은 또한 율 워커 방법의 적용 전 및 후에 스펙트럼 크기들의 스케일을 수정하기 위해서 바크 타입 겹선형 변환(Bark-type bilinear transformation)을 사용하는 단계를 포함한다.

본 발명에 의하면 최적화된 3차원 사운드 효과를 제공할 수 있는 장점이 있다.

본 발명은 다음 기술을 읽고 수반되는 도면들을 검토함으로써 보다 잘 이해될 것이다. 이 도면들은 오직 실례로서 제공되지만, 본 발명을 제한하지는 않는다.
도 1 (전술됨): 인공 머리 및 가상 확성기들의 배치에 대한 도면
도 2-6: 청취 구 상의 가상 스피커들의 본 발명에 따른 공간 구성의 표현, 그리고 이 확성기들의 각위치(angular position)를 나타내는 테이블
도 7-8: FIR 타입의 HRTF 필터들을 IIR 타입 필터들로 변환하는 것을 가능하게 하는 "프로니" 타입 시간 방법 단계의 도식적 표현
도 9a-9b: FIR 타입의 HRTF 필터들을 IIR 타입 필터들로 변환하는 것을 가능하게 하는 "율 워커" 타입 주파수 방법 단계의 표현
도 10: 본 발명에 따른 테스트 플랫폼의 그래픽 인터페이스 표현
도 11: 본 발명에 따른 3차원 사운드 생성 모터의 도식적 표현
동일한 요소들은 한 도면에서 다음 도면까지 동일한 참조번호를 유지한다.

도 2 내지 9는 청취자가 그 중앙에 위치하는 청취 구(A) 상에 위치하는 가상 확성기들(Si)의 공간 구성들을 나타낸다. 청취자를 향하는 위치의 포인트에 대응하는 방위각(azimuth) 0, 앙각(elevation) 0의 기준 위치(R)과 관련하여, 시계 방향으로 수평 위치에 따라 측정되는 방위각 위치들과, 확성기들(Si)의 수직 위치에 따라 측정되는 앙각 위치들이 나타난다.

청취 구(A)의 위치에 사운드 객체를 배치하기 위하여, 사용가능한 확성기들의 방송 특성들에 가중치가 부여된다. 그러한 프로세스는 물론, 가상 확성기들이 존재하는 위치뿐만 아니라, 가상 확성기들이 사용가능하지 않은 청취 구(A)의 위치에도 사운드 객체들을 배치하는 것을 가능하게 할 것이다. 따라서, 예를 들어, 포인트(R)(방위각 = 0, 앙각 = 0)에서 청취자를 향해 위치하는 제1 가상 스피커와, 청취자의 오른쪽(방위각 = 90, 앙각 = 0)에 위치하는 제2 가상 스피커가 사용된다면, 이 사운드 객체를 청취자의 오른쪽 방위각 45도에 배치하기 위하여, 사운드 객체는 이 두 확성기들을 통해 동일한 파워로 발산된다.

보다 구체적으로, 도 2는 구성(C1)을 나타내는데, 이 구성(C1)에 따라 8개의 가상 확성기들(S1-S8)은 청취 구(A)에 내접하는 정육면체의 각도들의 위치에 배치된다. 가상 확성기들(S1-S8)의 방위각 및 앙각은 표 T1에 각도로 나타나 있다.

도 3은 구별되는 두 개의 4면체 구성(C2, C2')을 나타내는데, 이 두 개의 4면체 구성(C2, C2')에 따라 가상 확성기(S4)는 청취자의 머리(방위각 0도, 앙각 90도를 갖는 음원 S4) 위에 배치되며, 세 개의 다른 확성기들(S1-S3)은 청취자의 수평 청취 면(horizontal listening plane) 아래에 배치된다. 가상 확성기들(S1-S4)의 방위각(az) 및 앙각(el)은 각 구성(C2, C2')에 대하여 표 T2에 각도로 나타나 있다.

도 4는 구별되는 두 개의 3채널(triphonic) 구성(C3, C3')을 나타내는데, 이 두 개의 3채널 구성(C3, C3')에 따라 세 개의 확성기(S1-S3)는 등변 삼각형의 수평 면에 배치되며, 두 개의 다른 확성기(S5, S4)는 각각 청취자 머리의 위와 아래에 배치된다. 가상 확성기들(S1-S5)의 방위각(az) 및 앙각(el)은 각 구성(C3, C3')에 대하여 표 T3에 각도로 나타나 있다.

도 5는 구별되는 두 개의 4채널(quadraphonic) 구성(C4, C4')을 나타내는데, 이 두 개의 4채널 구성(C4, C4')에 따라 네 개의 확성기(S1-S4)는 사각형의 수평 면에 배치되며, 두 개의 다른 확성기(S6, S5)는 각각 청취자 머리의 위와 아래에 배치된다. 가상 확성기들(S1-S6)의 방위각(az) 및 앙각(el)은 각 구성(C4, C4')에 대하여 표 T4에 각도로 나타나 있다.

도 6은 구별되는 두 개의 6채널(hexaphonic) 구성(C5, C5')을 나타내는데, 이 두 개의 6채널 구성(C5, C5')에 따라 여섯 개의 확성기(S1-S6)는 육각형의 수평 면에 배치되며, 두 개의 다른 확성기(S8, S7)는 각각 청취자 머리의 위와 아래에 배치된다. 가상 확성기들(S1-S8)의 방위각(az) 및 앙각(el)은 각 구성(C5, C5')에 대하여 표 T5에 각도로 나타나 있다.

3채널, 4채널 및 6채널 구성에 대하여, 수평면은 시스템의 기준을 제공하는 반면에 이 기준 평면과 관련된 사운드 상승 효과(sound elevation effect)는 확성기들의 상하(top and bottom)에 의해 보장된다. 변형으로서, 수평면에 위치하는 임의의 개수 N개의 가상 확성기들과 청취자의 머리 위와 아래에 각각 위치하는 두 개의 확성기들을 포함하는 임의의 다른 구성을 고려할 수 있다.

도 7 및 도 8은 알려진 "프로니(Prony)" 타입 방법을 사용하여 시간 영역으로부터 HRTF 필터들을 합성하기 위한 방법을 나타낸다.

보다 구체적으로, 도 7은 복수의 N차 IIR 타입 필터들을 획득하기 위하여 FIR 타입의 HRTF 필터들의 임펄스 응답들에 프로니 타입 알고리즘(6)이 적용되는 프로세스를 나타낸다. 이 구현에서, 오른쪽 귀 및 왼쪽 귀로의 사운드 경로의 주기(period) 간의 차이(ITD: interaural time difference)는 획득되는 IIR 필터에 완전히 통합된다.

도 8은 프로니 방법을 사용하기 이전에 모듈(7)을 사용하여 HRTF 필터들의 임펄스 응답으로부터 ITD 시간 차들이 추출되는 변형된 실시예를 나타낸다.

또한 다른 방법이 고려될 수 있는데, 이 방법에 따르면 HRTF 필터들은 그것의 스펙트럼 크기에 의해 특징지어지는 최소 위상(minimum-phase) IIR 필터 및 순수 ITD 시간 차에 의해 접근된다. 이에 따라, 도 9a는 위와 같이 모듈(7)에 의해 ITD 시간 차들이 추출되는 프로세스를 나타낸다. HRTF 필터들의 임펄스 응답들의 스펙트럼 크기들은 모듈(9)에 의해 추출되며, 그 후 IIR 타입 HRTF 필터들을 획득하기 위하여 추출되는 스펙트럼 크기들에 율 워커(Yule Walker) 방법이 모듈(10)을 통해 적용된다.

변형으로서, 율 워커 방법의 적용 이전 및 이후에 스펙트럼 크기들의 스케일을 수정하기 위하여 바크 타입 겹선형 변환(Bark-type bilinear transformation)이 사용된다. 도 9b는 헤르츠(Hertz)로 나타낸 선형 주파수들과, 바크 주파수들 간의 관련성을 나타낸다.

다양한 파라미터들(가상 확성기들의 공간 구성들, FIR 필터의 IIR 필터로의 변환의 성격, 필터의 차수)의 개수가 주어졌을 때, 주어진 오디오 장치에 주입하기 위한 최적 구성을 빠르게 확인하는 것은 어렵다. 이러한 확인을 가능하게 하기 위하여, 서로 다른 사운드 구성들을 테스트하기 위한 통합기들(integrators)과 함께 그것을 가능하게 하는 테스트 플랫폼(11)(도 10 참조)이 개발되었다.

이러한 목적을 위하여, 목표 선택 단계에서, 플랫폼(11)은 본 발명에 따른 프로세스가 구현되도록 설계된 타겟 오디오 시스템에 대한 사용가능한 계산 파워(Pmax)에 관하여 과잉 계산 파워(Pc)를 필요로하는 사운드 구성들을 제외시킬 것이다.

사운드 구성은 (포인트들의) 가상 확성기들의 개수(Ni) 및 관련된 HRTF 필터들의 차수(Ri)에 의해 정의된다. 만약 사운드 구성들(11.3)이 3에서 10개의 포인트들을 포함할 수 있고 필터들의 차수가 2에서 16 사이인 것으로 고려된다면, 8*15 = 120개의 가능한 사운드 구성들이 존재한다.

주어진 사운드 구성에 대하여 필요한 파워(Pc)는 필수적으로 주어진 차수 Ri인 필터의 소비 Q(Mhz)가 곱해지는 해당 구성의 필터들의 개수와 같다. 두 개의 필터가 각 포인트(또는 가상 스피커)와 관련되어 있기 때문에, 차수 Ri인 필터를 사용하는 Ni 포인트들의 사운드 구성에 의해 소비되는 파워는 2*Ni*Q Mhz가 된다.

따라서, 용인되지 않는 사운드 구성들(11.3)을 제외시키기 위하여, 사용자는 입력 인터페이스(11.1)를 사용하여, 오디오 시스템에 대한 사용가능한 파워(Pmax)를 플랫폼(11)에 입력한다. 계산 모듈(11.2)은 그 후 잠재적 구성들(11.3)의 파워(Pc)와 사용가능한 파워(Pmax)를 비교하고, 파워(Pmax)보다 작거나 같은 계산 파워를 필요로 하는 구성만을 남길 것이다.

다음으로, 플랫폼(11)은 청취 테스트들을 선정된 구성들(그것의 메모리 자원 및 CPU를 고려할 때, 타겟 오디오 시스템이 지원할 수 있는 것들) 상에서만 구현하는 것을 가능하게 한다.

이러한 목적을 위하여, 플랫폼(11)은, 윈도우(13.2)에 디스플레이되는 선택된 공간 구성들과 함께, 가상 확성기들의 개수 및 그들의 공간 구성들을 메뉴(13.1)를 통해 선택 가능하게 하는 그래픽 인터페이스(13)를 포함한다. 여기서는 도 5의 4채널 구성이 선택되었다.

플랫폼(11)은 또한 바람직한 필터의 차수(14.2) 뿐만 아니라 HRTF 필터들의 변환을 위한 방법(프로니, 율 워커...)을 메뉴(14.1)를 통해 선택 가능하게 하는 그래픽 인터페이스(14)를 포함한다. 여기서는 차수 2의 IIR 필터들을 획득하기 위하여 ITD를 추출하지 않는 프로니 방법이 선택되었다.

물론 선택된 사운드 구성의 쌍(확성기들(포인트들)의 개수 및 필터들의 차수)은, 사운드 구성들의 목표 선택의 선행 단계 중 선정되는 사운드 구성들의 일부이다.

사운드 구성의 각 쌍(포인트들의 개수, 필터들의 차수)에 대하여, 타겟 오디오 매체에 대한 가능한 최고의 3차원 사운드 렌더링을 만드는 구성을 결정하기 위하여, 통합기는 청취 테스트들을 수행할 수 있다.

이러한 목적을 위하여, 선정된 구성들 중 선택된 각 구성에 대하여, 특히 간헐적인 화이트 노이즈, 헬리콥터 노이즈, 앰뷸런스 사운드 또는 곤충 소리 중에서 선택된 서로 다른 타입의 음원들의 사운드 렌더링이 수단(11.4)을 통해 청취될 것이다.

윈도우(13.3) 및 윈도우(13.4)를 이용하여 음원들의 방위각 및 앙각을 각각 수정하는 것이 가능하다. 이에 따라 이 음원들이 서로 다른 타입의 미리 정해진 궤적들(trajectories), 특히 원형, 좌-우 또는 우-좌 궤적, 또는 전/후 또는 후/전 궤적을 따르게 하는 것이 가능하다.

필요한 경우 음원들이 특정 궤적들을 따르도록 함으로써 선정된 각 구성들에 대하여 서로 다른 음원들에 대한 청취가 끝나면, 통합기는 타겟 오디오 시스템에 대한 최고의 사운드 렌더링을 획득할 수 있게 하는 사운드 구성을 선택할 수 있을 것이다. 이 단계는 타겟 오디오 장치에 가장 적합한 최적의 사운드 구성 선택을 위한 소위 주관적 단계(subjective stage)이다.

도 11은 3차원 사운드 환경에서 세 개의 사운드 객체들(O1 내지 O3)을 배치하는 것을 가능하게 하는, 본 발명에 따른 3차원 오디오 모터의 도식적 표현이다. 사운드 객체는 3차원 사운드 효과를 갖지 않는 로우 사운드(raw sound)로 정의된다. 하나의 예에서, 비디오 게임으로부터 획득된 이 사운드 객체들은, 예를 들면 새 소리(bird song), 자동차 소음 및 대화의 형태를 띨 수 있다.

이러한 사운드 객체들(O1 내지 O3)은 처음에, N개의 가상 확성기들을 갖는 구성을 포함하는 3차원 환경에서 서로 독립적으로 배치된다. 이러한 목적을 위하여, 전체 모듈들(17.1 내지 17.3)은, 그것의 3차원 환경에서 각 사운드 객체의 바람직한 배치를 획득하기 위하여 N개의 가상 확성기들의 입력들에 적용되는 N개 신호들의 집합들(j1 내지 j3)을 이 모듈들(17.1 내지 17.3)의 출력들에서 획득하는 식으로, 각 사운드 객체(O1 내지 O3)에 적용된다. 변형으로서, 모듈들(17.1 내지 17.3)에 의해 지향 효과들(orientation effects) 또한 적용될 수 있는데, 여기서 이 지향 효과들은 청취자의 머리를 기준 포인트(그를 향한 x축, 그의 오른쪽 y축, 그리고 그의 머리 위 z축)로 고려하는 데에 존재한다. 이 경우, 만약 머리가 이동한다면, 사운드 객체들(O1 내지 O3) 또한 이동한다.

다음으로, 세 개의 객체들(O1 내지 O3)은 동일한 3차원 환경에 배치된다. 이러한 목적을 위하여, 모듈(19)은 N개의 가상 확성기들의 입력들에 적용되는 N개의 입력 신호들의 단일 집합(j4)을 획득하기 위하여 각 가상 확성기의 입력 신호들을 그들 사이에서 합산한다. 그 표현을 가능하게 하기 위하여, 서로 다른 확성기들의 첫 번째 두 입력 신호들을 그들 사이에서 합산하는 것을 가능하게 하는 합산기들(19.1, 19.2)만이 나타나 있다. 이 단계에서, 만약 N개의 가상 확성기들이 실제로 사용 가능하고, 집합(j4)의 N개의 입력 신호들이 이 N개 확성기들의 대응하는 입력들에 적용된다면, 확성기들의 구성 중심에 배치되는 청취자는 바람직한 위치에서 사운드 객체들(O1 내지 O3)을 감지한다는 점이 주지되어야 한다. 본 발명은 이 확성기들을 시뮬레이션하기 위한 HRTF 필터들을 사용함으로써, 이 가상 공간에서와 같은 동일한 사운드 렌더링을 스테레오 헤드셋 상에서 획득하기 위해 사용된다.

다음으로, 가상 믹싱 모듈(21)을 사용하여, 확성기들의 N개 신호들은 왼쪽(L)으로부터의 사운드 신호 및 오른쪽(R)으로부터의 사운드 신호를 포함하는 스테레오 신호로 변환된다. 이러한 목적을 위하여, 입력 신호가 향하는 가상 확성기의 배치에 대응하는 HRTF 필터들의 쌍은, 가상 확성기에 의해 스테레오 사운드 전기 신호를 획득하기 위해 집합(j4)의 각 입력 신호에 적용된다.

이에 따라, 제1 가상 확성기의 위치에 대응하는 HRTFa L 및 HRTFb R 필터들은 이 제1 확성기를 향하는 입력 신호에 적용된다. 제2 확성기의 위치에 대응하는 HRTFb L 및 HRTFb R 필터들은 이 제2 확성기를 향하는 입력 신호에 적용된다. 이 HRTF 필터들은 바람직하게는 앞서 개시된 테크닉들에 따라 획득되는 IIR 타입 필터들이다. 단순함을 위해, HRTF 필터들은 도시되지 않은 가상 확성기들의 다른 입력 신호들에 적용된다.

사운드 전파 수단의 입력에 적용될 수 있는 스테레오 신호의 오른쪽(R)으로부터의 사운드 신호들 및 왼쪽(L)으로부터의 사운드 신호들 각각을 획득하기 위하여, 이 HRTF 필터들의 출력에서 획득되는 왼쪽으로부터의 사운드 신호들은, 오른쪽으로부터의 사운드 신호들이 합산기(22.2)에 의해 합산되는 것처럼, 합산기(22.1)에 의해 그들 사이에서 합산된다.

변형으로서, 청취자와 방송되는 사운드 객체 사이의 거리를 시뮬레이션하기 위하여, 감쇠 모듈들(25.1 내지 25.3)은 사운드 객체들(O1 내지 O3)에 적용된다. 시뮬레이션되는 거리와 사운드 객체들에 적용되는 계수 사이의 관련성은 선험적으로 알려져 있다.

만약 2개 또는 3개 이상의 사운드 객체들이 3차원 사운드 환경에서 배치되어야 하는 경우에도 물론, 본 발명에 따른 사운드 객체들의 배치 원리는 동일하다. 만약 배치될 사운드 객체가 1개일 경우, 모듈(19)은 제거될 수 있다.

Claims

3차원 사운드 환경에서 사운드 객체를 배치하기 위한 프로세스의 서로 다른 구현들을 테스트하기 위한 플랫폼에 있어서,
타겟 오디오 장치의 메모리 자원들 및 CPU를 고려하여 상기 타겟 오디오 장치가 지원할 수 있는 공간 구성 및 필터 합성 방법만을 선택하기 위한 수단,
청취 구(listening sphere) 상의 가상 확성기들의 공간 구성을 선택하기 위한 인터페이스,
FIR 타입의 HRTF 필터들을 IIR 타입의 HRTF 필터들로 변환하기 위한 필터 합성 방법 및 획득될 상기 IIR 타입의 HRTF 필터들의 차수를 선택하기 위한 인터페이스, 및
서로 다른 타입의 음원들과 함께,
청취자가 그 중앙에 위치하는 청취 구 상에 배치되는 N개의 구별되는 가상 확성기들을 포함하는 사운드 공간을 정의하는 단계,
각 가상 확성기로 향하는 입력 신호들의 특성들을 적응시킴으로써 상기 청취 구의 미리 정해진 위치에 상기 사운드 객체를 배치하는 단계,
가상 확성기에 의한 스테레오 사운드 신호를 획득하기 위하여 상기 입력 신호가 향하는 상기 가상 확성기의 배치에 대응하는 HRTF 필터들의 쌍을 N개의 입력 신호들 각각에 적용하는 단계, 및
상기 가상 확성기 각각의 기여(contribution)에 대응하는 방송가능한 단일 스테레오 사운드 신호를 획득하기 위해서, 왼쪽으로부터의 사운드 신호들 및 오른쪽으로부터의 사운드 신호들을 그들 사이에서 합산하는 단계를
포함하는 프로세스를 구현하기 위한 수단을 포함하여,
제한된 계산 및 메모리 성능을 갖는 오디오 시스템에 대한 상기 HRTF 필터들의 변환을 위한 상기 공간 구성 및 상기 필터 합성 방법을 선택할 수 있도록 하기 위한 플랫폼.
제1항에 있어서,
상기 프로세스가 구현될 상기 오디오 시스템에서 사용가능한 프로세싱 파워를 입력하기 위한 수단,
가능한 사운드 구성들의 집합 중에서, 상기 오디오 시스템의 상기 사용가능한 파워에 맞는 사운드 구성들을 선정하기 위한 수단,
상기 선정된 사운드 구성들 중에서 선택된 사운드 구성의 사운드 렌더링을 테스트하기 위한 수단, 여기서 상기 테스트 수단은 상기 청취 구 상의 가상 확성기들의 개수를 선택하기 위한 인터페이스 및 상기 선정된 구성들 중에서 HRTF 필터들의 차수를 선택하기 위한 인터페이스를 포함하고,
상기 음원을 방송하는 상기 선택된 사운드 구성의 상기 사운드 렌더링을 청취하기 위한 수단을
포함하는 플랫폼.
제2항에 있어서,
상기 테스트 수단은
상기 FIR 타입의 HRTF 필터들을 IIR 타입의 HRTF 필터들로 변환하기 위한 방법을 선택하기 위한 인터페이스를
포함하는 플랫폼.
제2항 또는 제3항에 있어서,
상기 사운드 구성 선정 수단은
확성기들의 개수 및 관련된 HRTF 필터들의 차수에 의해 정의되는 하나의 구성과 함께,
상기 사운드 구성의 상기 필터들의 개수에, 주어진 차수의 필터의 소비를 곱함으로써 서로 다른 가능한 구성들의 파워를 계산하기 위한 수단, 및
상기 오디오 시스템의 상기 사용가능한 프로세싱 파워보다 많은 파워를 필요로하는 구성들을 제외시키고, 상기 오디오 시스템의 상기 사용가능한 파워 이하의 파워를 필요로하는 구성들만을 선정하기 위한 수단을
포함하는 플랫폼.
제2항 또는 제3항에 있어서,
선택된 각 구성에 대하여, 화이트 노이즈, 헬리콥터 노이즈, 앰뷸런스 사운드 또는 곤충 소리 중에서 서로 다른 타입의 음원들을 청취하기 위한 수단을
포함하는 플랫폼.
제5항에 있어서,
상기 음원들이, 원형, 좌-우 또는 우-좌 궤적, 또는 전-후 또는 후-전 궤적 중에서 서로 다른 타입의 미리 정해진 궤적들(trajectories)을 따르게 하기 위해서, 상기 음원들의 방위각(azimuth) 및 앙각(elevation)을 각각 수정하기 위한 수단을
포함하는 플랫폼.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제