KR20070094723A - 개인화된 헤드폰 가상화 방법 - Google Patents

Abstract

청취자는 실제의 스피커 경험과 구별하기 어려운 리얼리즘의 레벨을 가지고 헤드폰들을 통하여 가상 스피커들의 사운드를 경험할 수 있다. 제한된 수의 청취자 머리 위치들 상의 스피커 사운드 소스들에 대한 개인화된 공간 임펄스 응답들 (PRIR)의 셋트들이 획득된다. 그 다음에, 상기 개인화된 공간 임펄스 응답들(PRIR)은 상기 스피커들에 대한 오디오 신호를 상기 헤드폰들을 위한 가상화된 출력으로 변환하는데 사용된다. 상기 변형을 상기 청취자의 머리 위치에 기초하면, 상기 시스템은 상기 청취자가 상기 머리를 움직일 때 상기 가상의 스피커들이 움직이지 않는 것처럼 보이도록 상기 변형을 조정할 수 있다.

헤드폰, 개인화된 공간 임펄스 응답(PRIR), 스피커, 머리 움직임, 가상화

Description

개인화된 헤드폰 가상화 방법{PERSONALIZED HEADPHONE VIRTUALIZATION}

본 출원은, 2004년 9월 1일자로 출원된 영국 특허출원 제0419346.2호를 기초로 하는 우선권을 주장한 것으로, 상기 영국 특허출원 전체가 참고 자료로서 포함된다.

본 발명은 일반적으로 헤드폰들(headphones)이나 이어폰들(earphones)을 통한 3차원 오디오 재생에 관한 것이다. 더욱 상세하게는, 헤드폰들이나 이어폰들을 사용하여 실제의 스피커(loudspeaker) 경험과 구별하기 어려운 리얼리즘(realism)의 레벨(level)을 발전시키는, 홈 엔터테인먼트 시스템들(home entertainment systems)에 사용되는 스피커들과 같은 오디오 소스들(audio sources)의 개인화된 가상화(personalized virtualization) 방법에 관한 것이다.

가상 스피커들(virtual loudspeakers)을 생성하는데 헤드폰들을 사용하는 아이디어는 미국 특허 제3,920,904호에 기술된 바와 같이, 당업자에게 공지된 일반적인 개념이다. 요약하면, 어떤 사람의 좌측 및 우측 귀 근처에 위치한 마이크로폰들(microphones)을 사용하여 측정된 당해 스피커에 대한 개인화된 공간 임펄스 응답(personalized room impulse response; PRIR)을 주로 획득함으로써, 그 사람을 위한 헤드폰들이나 이어폰들을 통하여 스피커가 효과적으로 가상화될 수 있다. 그 결과적인 임펄스 응답은 사운드(sound) 재생 장비, 스피커, 공간 음향학(room acoustics), (반향파(reverberation)) 및 종종 머리 관련 전달 함수(head related transfer function: HRTF)라고 불리는 피실험자 어깨들, 머리 및 귀들의 방향 특성들에 관련된 정보를 포함하고, 일반적으로 수백 밀리 세컨드(milliseconds)의 시간에 걸친다. 스피커의 가상 음향 이미지를 생성하기 위해서, 일반적으로 실제의 스피커를 통하여 재생되는 오디오 신호는, 그 대신에, 측정된 좌측 및 우측 귀의 개인화된 공간 임펄스 응답(PRIR)과 컨벌브(convolve) 되어, 개인이 쓴 스테레오 헤드폰들(stereo headphones)로 전달된다. 만약, 사람들이 개인화 측정 (personalization measurement) 동안에 정확하게 그들이 있는 곳에 위치하고 있으며, 상기 헤드폰들이 적절히 이퀄라이즈(equalize)되어 있음을 가정하면, 사람들은 사운드가 상기 헤드폰들이 아니라 실제의 스피커로부터 오고 있다고 인식할 것이다. 여기서, 헤드폰들을 통하여 가상 스피커들을 투사(project)하는 프로세스를 가상화(virtualization)라고 한다.

헤드폰들에 의해 투사되는 가상 스피커들의 위치들은, 개인화된 공간 임펄스 응답(PRIR) 측정 동안에 확립된 머리 대 스피커 관계에 매치(match)한다. 예를 들면, 개인화 단계(personalization stage) 동안에 측정된 실제의 스피커가 사람들 머리의 전방 및 좌측에 있으면, 상응하는 가상 스피커도 좌전방으로부터 나타나게 된다. 이것은, 사람들이 그들의 시점(view point)에서 실제의 스피커 및 가상 스피커가 일치하도록 그들의 머리가 향하게 하면, 가상 사운드가 실제의 스피커에서부 터 나오는 것 같이 보이고, 개인화된 측정들이 정확하면, 사람들이 가상 사운드와 실제의 사운드를 구별하는데 상당한 어려움을 겪을 것임을 의미한다. 이것은 청취자들이 그들의 홈 엔터테인먼트 시스템의 각 스피커를 위한 PRIR 측정을 하면, 그들은 실제로 스피커들을 턴 온 할 필요 없이 헤드폰들을 통하여 완전한 멀티 채널(multi-channel) 스피커 청취 경험을 동시에 재창조할 수 있음을 의미한다.

하지만, 머리 움직임들, 특히 수평면상의 머리 움직임들이 존재하는 상태에서 간단한 개인화된 가상 사운드 소스들(sound sources)의 환영(illusion)을 유지하기가 어렵다. 예를 들면, 사람들이 가상 스피커와 실제 스피커들을 일렬로 정렬할 때, 가상 환영이 강력하다. 하지만 사람들이 이제 그들의 머리를 좌측으로 움직이면, 가상 사운드 소스가 사람들의 머리에 대해 고정되기 때문에, 인지된 가상 사운드 소스도 상기 머리와 함께 좌측으로 이동한다. 자연적으로, 머리 이동들은 실제의 스피커들을 이동시키지 못하고, 따라서 강력한 가상 환영을 유지시키기 위해서는, 가상 스피커들이 고정된 상태를 유지하도록 헤드폰들에 공급하는 오디오 신호들을 조작하는 것이 필요할 수도 있다.

또한, 입체음향 프로세싱(binaural processing)은 미국 특허 제5,105,462호 및 제5,173,944호에 기술된 바와 같이, 헤드폰들보다는 스피커들을 사용하여 스피커들을 가상화하는 애플리케이션들을 갖는다. 또한, 미국 특허 제6,243,476호에 기술된 바와 같이, 가상 환영을 개선하는데 머리 추적(head tracking)을 사용할 수 있다.

미국 특허 제3,962,543호는 가상 스피커의 인식된 위치를 안정화하기 위하여 머리 추적 신호에 응답하여 헤드폰들에 공급되는 입체음향 신호들을 조작하는 개념을 기술하는 초기의 출판물들 중 하나이다. 하지만 이들의 명세서들은 디지털 신호 프로세싱(digital signal processing; DSP) 이론의 최근 진전들을 앞섰고, 그 방법들 및 장치는 일반적으로 디지털 신호 프로세싱(DSP) 타입의 구현들에 응용 가능하지 않다.

최근의 DSP 기반 머리 추적 가상기가 미국 특허 제5,687,239호 및 제5,717,767호에 개시되어 있다. 상기 시스템은 저 복잡성 가상기 시스템들의 전형인 분할(split) HRTF/공간 반향파 표시를 기반으로 하고, 머리 추적 장치로부터 유도된 룩업 어드레스(look-up address)에 따라 HRTF 임펄스 파일들을 독출(read out)하는데 메모리 룩업을 사용한다. 공간 반향파는 머리 추적에 따라 변경되지 않는다. 상기 시스템 배후의 주요 아이디어는, 상기 HRTF 임펄스 데이터 파일들이 일반적으로 64 데이터 포인트와 356 데이터 포인트 사이로 비교적 작기 때문에, 각 귀와 각 스피커에 한정되며 광범위의 머리 회전각도들에 대한 다수의 HRTF 임펄스 응답들은, 일반적인 DSP 플랫폼들(flatforms)의 표준 메모리 저장 능력 내에서 저장될 수 있다.

공간 반향파는 2개 이유들 때문에 수정되지 않는다. 첫째로, 각각의 머리 회전각도에 대응하는 특유의 반향파 임펄스 응답을 저장하는 것은, 각각의 반향파 임펄스 응답이 일반적으로 10000 내지 24000 데이터 포인트들의 길이로 거대한 저장 능력을 필요로 한다. 둘째로, 상기 사이즈의 공간 반향파 임펄스들을 컨벌빙(convolving)하는 연산 복잡성은 오늘날의 사용 가능한 신호 프로세서들에서조차 비실용적이고, 발명자들이 긴 임펄스들의 컨벌루션(convolution)을 위한 효율적인 구현을 언급하지 않았기 때문에, 그들은 공간 컨벌루션들에 관련된 연산 복잡성을 낮추기 위하여 인위적인 반향파 구현을 기대했던 것 같다. 이러한 구현들은 당연히 머리 추적 어드레스에 의해 쉽게 적응이 되지 않는다. 개인화가 상기 시스템에 대해 논의되지 않고 명확하게 예상되지 않았기 때문에, 발명자들은 HRTF 또는 반향파 프로세스를 위한 그러한 동작 모드(mode)를 구비하는 것에 어떠한 단계들을 필요로 하는지에 대하여 아무런 정보를 제공하지 못한다. 또한, 상기 시스템은 머리 추적기의 제어하에서 충분히 순조로운 HRTF 스위칭을 허용하기 위하여 수백 개의 HRTF 임펄스 파일들이 저장될 것을 필요로 하기 때문에, 일반 대중의 구성원들이 그들 자신들의 가정에서 그것들을 착수하도록 실용적으로 상기 측정을 모두 할 수 있는 방법은 당업자에게 자명하지 않다. 모든 개인화된 측정들로부터 단일의 공간 반향파 특성이 결정되는 방법도 자명하지 않다. 또한, 공간 반향파가 머리 추적기 어드레스에 의해 적응되지 못하기 때문에, 상기 시스템은 결코 실제의 공간에서 실제의 스피커들의 사운드를 복제할 수 없고, 따라서 실제적인 가상화에 대한 응용 가능성은 명확히 제한된다.

머리 추적은 머리 움직임을 검출하는 기술로서 공지되어 있다. 당해 기술 분야에서 많은 접근 방법들이 제시되었고, 공지되어 있다. 머리 추적기들은 머리에 설치(head mounted), 즉, 자이로스코프형(gyroscopic), 자기형(magnetic), 지피에스 기반형(GPS-based), 광학형(optical)이거나, 머리에서 분리(off head), 즉, 비디오, 또는 프록시미티(proximity)가 가능하다. 머리 추적기의 목적은 연속적으로 헤드폰들을 청취하는 동안 사람 머리의 방향을 측정하고, 상기 정보를 가상화기에 전송하여 변화가 검출됨에 따라 실시간으로 가상화 프로세스를 수정하게 해주는 것이다. 머리 추적 데이터는 유선으로 가상화기에 보내질 수 있고, 또는 광학 전송 기술 또는 알에프(RF) 전송 기술을 사용하여 무선으로 전달될 수 있다.

기존의 헤드폰 가상화기 시스템들은 실제의 스피커 경험들과 직접 대비하기에 필적할 정도까지 충분히 높은 리얼리즘의 정도를 가진 가상 음향 이미지를 투사하지 못한다. 이것은, 현재의 기술 상태가 상기 측정들에 관련된 어려움들과 상기 구조에 머리 추적을 구비하는 방법에 관한 불확실성으로 인하여 대중에 의한 사용에 적합한 헤드폰 가상화기에 개인화 방법을 직접 구비시키려고 하지 않았기 때문이다.

상기 문제점들을 고려하여, 본 발명의 실시예들은, 개인이 머리 움직임의 제한된 범위 내에서, 실제의 스피커 경험과 구별하기 어려운 리얼리즘의 레벨로 헤드폰들을 통하여 가상 스피커의 사운드를 경험하도록 하는 방법 및 장치를 제공한다.

본 발명의 일 특징에 따르면, 제한된 수의 청취자 머리 위치들 상의 스피커 사운드 소스들의 개인화된 공간 임펄스 응답들(PRIR)을 획득하는 방법 및 장치가 제공되어 있고; 사용자가 홈 엔터테인먼트 스피커 시스템에 대해 통상적인 청취 위치를 정하고; 사용자가 각 귀에 마이크로폰들을 삽입하고; 사용자가 제한된 수의 머리 위치들 상의 각 스피커에 대한 개인화된 공간 임펄스 응답들(PRIR)을 획득함으로써 청취자 머리 움직임들의 범위를 확립하고; 모든 개인화된 측정 머리 위치들을 결정하는 수단; 양 귀들에 대한 개인화된 헤드폰-마이크로폰 임펄스 응답들을 측정하는 수단; PRIR 데이터, 헤드폰-마이크로폰 임펄스 응답 데이터 및 PRIR 머리 위치들을 저장하는 수단이 제공되어 있다.

본 발명의 다른 특징에 따르면, PRIR 데이터, 헤드폰-마이크로폰 임펄스 응답 데이터 및 PRIR 머리 위치 데이터를 사용하여 머리 추적 가상화기를 초기화하는 방법; 상기 PRIR들을 시간 정렬하는 수단; 좌측 및 우측 귀들에 대한 헤드폰 이퀄라이제이션(equalization) 임펄스 응답들을 생성하는 수단; PRIR 보간기들을 위한 모든 필요한 보간-머리 각도 공식들 또는 룩업 테이블들(look-up tables)을 생성하는 수단; 가변 지연 버퍼들을 위한 모든 필요한 경로 길이-머리 각도 공식들 또는 룩업 테이블들을 생성하는 수단이 제공되어 있다.

본 발명의 또 다른 특징에 따르면, 실시간 개인화된 머리 추적 가상화기를 구현하는 방법 및 장치; 머리 추적기 좌표들을 샘플링하여 적절한 PRIR 보간기 계수 값들을 생성하는 수단; 머리 추적기 좌표들을 적용하여 모든 가상 스피커들에 대한 적절한 귀간 지연 값들을 생성하는 수단; 보간 계수들을 사용하여 모든 가상 스피커들에 대한 보간된 시간 정렬된 PRIR들을 생성하는 수단; 각 스피커 채널에 대한 오디오 샘프들의 블록들을 리딩(reading)하고, 그것들을 그 각각의 좌측 및 우측 귀 보간된 시간 정렬된 PRIR들과 컨벌빙하는 수단; 각각의 좌측 및 우측 귀 샘플들을, 지연들이 상기 생성된 지연 값들에 매치하는 가변 지연 버퍼들로 통과시킴으로써 각각의 가상 스피커에 대한 귀간 지연들을 달성하는 수단; 모든 좌측 귀 샘플들을 합산하는 수단; 모든 우측 귀 샘플들을 합산하는 수단; 헤드폰 이퀄라이제이션 필터들을 통하여 좌측 및 우측 귀 샘플들을 필터링하는 수단; 좌측 및 우측 귀 오디오 샘플들을 실시간으로 헤드폰 DAC에 기록하는 수단이 제공되어 있다.

본 발명의 또 다른 특징에 따르면, 가상화기에서 실시되는 PRIR 보간과 경로 길이 연산들에 오프셋들을 도입함으로써 가상 스피커 위치들을 실제의 스피커의 위치들과 일치시키기 위하여 실제 스피커의 위치들을 조정하는 방법이 제공되어 있다.

본 발명의 또 다른 특징에 따르면, PRIR 데이터를 수정함으로써 가상 스피커들의 인식된 거리를 조정하는 방법이 제공되어 있다.

본 발명의 또 다른 특징에 따르면, 측정 범위 외측에 위치하는 청취자 머리 방향들에 대하여 가상화기의 동작을 수정하는 방법들이 제공되어 있다.

본 발명의 또 다른 특징에 따르면, 가상화기 내에서 개인화된 공간 임펄스 응답 및 일반적인 공간 임펄스 응답들을 혼합하는 것을 허용하는 방법이 제공되어 있다.

본 발명의 또 다른 특징에 따르면, PRIR 측정 동안에 신호 품질을 최대화하기 위하여 여기 신호(excitation signal)의 레벨들을 자동적으로 조정하는 방법이 제공되어 있다.

본 발명의 또 다른 특징에 따르면, 멀티 채널 인코딩된 여기 비트 스트림들(excitation bit streams)을 사용하여 개인화 측정들이 이루어지는 것을 허용하는 방법들이 제공되어 있다.

본 발명의 또 다른 특징에 따르면, 개인화 측정 프로세스 동안에 사용자 머리 움직임들을 검출하고, 임펄스 응답 측정의 정확도를 개선하는 방법들 및 장치가 제공되어 있다.

본 발명의 또 다른 특징에 따르면, 가상화된 스피커들의 사운드 품질이 PRIR 측정에서 사용된 실제의 스피커들의 사운드 품질보다 개선될 수 있도록 사용자의 엔터테인먼트 시스템을 포함하는 스피커들을 이퀄라이징하는 방법이 제공되어 있다.

본 발명의 또 다른 특징에 따르면, 서브밴드 필터 뱅크(sub-band filter bank)를 사용하고 이것을 서브밴드 PRIR 보간과 결합하는 가상화 컨벌루션 프로세싱과, 서브밴드 귀간 가변 지연 프로세싱(sub-band inter-aural variable delay processing) 또는 시간 도메인 귀간 가변 지연 프로세싱(time domain inter-aural variable delay processing)을 구현하는 방법; 서브밴드 PRIR 임펄스 길이들을 조정함으로써 컨벌루션 연산 부하를 최적화하는 수단; 서브밴드 신호 마스킹 한계들(sub-band single masking thresholds)을 활용함으로써 컨벌루션 연산 부하를 최적화하는 수단; 서브밴드 컨벌루션 리플(ripple)을 보상하는 수단; 및 단지 소수의 컨벌루션들만이 실행되는 것이 필요하도록 스피커 PRIR의 후반 반사 부분들을 결합함으로써 가상화 정확도를 위하여 서브밴드 컨벌루션 복잡성을 교환(trade)하는 수단이 제공되어 있다.

본 발명의 또 다른 특징에 따르면, 재생의 연산 부하가 규칙적인 실시간 가상화에 비하여 실질적으로 감소되도록 선가상화된(pre-virtualized) 신호들을 생성하는 방법들; 비트 레이트(bit rate) 및/또는 저장 조건들을 감소하기 위하여 상기 선가상화된 신호들을 인코딩하는 수단; 및 사용자에 의하여 업로드(upload)되고, 사용자가 사용자 자신의 하드웨어에서 재생하기 위하여 선가상화된 오디오를 다운로드(download)하는 PRIR 데이터를 사용하여 원격 서버들에서 선가상화된 오디오를 생성하는 수단이 제공되어 있다.

본 발명의 또 다른 특징에 따르면, 각 참가자에 의해 업로드된 PRIR 데이터를 사용하여 각 참가자 머리 추적기의 제어 하의 가상화 프로세스에 영향을 주는 원격 가상화 서버를 사용하여 네트워크된 개인화된 가상 원격회의를 실시하는 방법이 제공되어 있다.

이하, 본 발명의 상기 특징들 및 이점들과, 다른 특징들 및 이점들은 첨부된 도면과 함께 제공되는 바람직한 실시예들의 상세한 설명으로부터 당업자에게 명료해질 것이다.

도 1은 멀티 채널 에이브이(AV) 수신기에 연결된 5.1채널(5.1ch) 머리 추적 가상화기의 블록도이다.

도 2는 머리 추적기 입력의 제어 하에서 n-채널 머리 추적 가상화기의 기본적인 구조를 도시한다.

도 3은 피실험자가 여기(excitation) 스피커를 바라보며 PRIR 측정을 받는 상태의 평면도를 도시한다.

도 4는 피실험자가 여기 스피커의 좌측을 바라보며 PRIR 측정을 받는 상태의 평면도를 도시한다.

도 5는 피실험자가 여기 스피커의 우측을 바라보며 PRIR 측정을 받는 상태의 평면도를 도시한다.

도 6은 피실험자가 여기 스피커의 우측을 바라본 상태에서 좌측 귀에서 측정된 임펄스 응답과 우측 귀에서 측정된 임펄스의 시간에 대한 진폭의 플롯(plot) 예이다.

도 7은 피실험자가 여기 스피커를 바라본 상태에서 좌측 귀에서 측정된 임펄스 응답과 우측 귀에서 측정된 임펄스의 시간에 대한 진폭의 플롯 예이다.

도 8은 피실험자가 여기 스피커의 좌측을 바라본 상태에서 좌측 귀에서 측정된 임펄스 응답과 우측 귀에서 측정된 임펄스의 시간에 대한 진폭의 플롯 예이다.

도 9는 결과적인 임펄스 시간 파형들과 함께 피실험자가 측정 범위의 중앙 지점에서 PRIR 측정을 받는 상태의 평면도이다.

도 10은 결과적인 임펄스 시간 파형들과 함께 피실험자가 측정 범위의 최좌측점에서 PRIR 측정을 받는 상태의 평면도이다.

도 11은 결과적인 임펄스 시간 파형들과 함께 피실험자가 측정 범위의 최우측 지점에서 PRIR 측정을 받는 상태의 평면도이다.

도 12는 임펄스 응답 파형을 변형함으로써 가상 사운드 소스의 인식 거리를 변경하는 방법을 도시한다.

도 13은 귀간(inter-aural) 차동 지연-머리 각도 정현파 함수를 공식화하기 위하여 PRIR 측정 각도들의 맵핑(mapping)을 도시한다.

도 14a 및 도 14b는 미보상형 서브밴드 컨벌루션(sub-band convolution)의 3㏈ 리플(ripple) 효과를 도시한다.

도 15는 측정 범위가 기준 시야각에 대한 머리 위치들 +30도, 0도 및 -30도에 의해 표시되는 PRIR 간의 보간 방법을 도시한다.

도 16은 보간이 서브밴드 도메인(sub-band domain)에서 동작하는 것을 제외하고 도 15와 동일하다.

도 17은 지연이 머리 추적기에 의해 동적으로(dynamically) 조정되는 오버 샘플형 가변 지연 버퍼(over-sampled variable delay buffer)를 도시한다.

도 18은 가변 지연 버퍼들이 서브밴드 도메인에서 구현되는 것을 제외하고 도 17과 동일하다.

도 19는 서브밴드 컨벌루션의 개념을 도시한 블록도이다.

도 20은 피실험자의 외이도(ear-canal)에 소형 마이크로폰이 장착된 상태를 도시한 개략도이다.

도 21은 소형 마이크로폰 플러그의 구조를 도시한 개략도이다.

도 22는 피실험자가 외이도에 장착된 소형 마이크로폰 위에 헤드폰을 쓴 상태를 도시한 개략도이다.

도 23은 피실험자가, 좌측전방 스피커로부터의 여기 신호의 기록된 레벨이 테스트 개시 전에 축소되는 PRIR 측정을 받는 상태를 도시한 평면도이다.

도 24는 파일롯 톤(pilot tone)을 사용하여 PRIR 측정 동안에 피실험자 머리 의 과도한 움직임들을 검출하는 MLS 시스템의 블록도이다.

도 25는 사소한 머리 움직임들을 보상하기 위하여 기록된 MLS 신호들을 스케치하거나 압축하는데 파일롯 톤 위상의 편차들이 사용되는 도 24의 확장부이다.

도 26은 피실험자가, 여기 신호들이 스피커에 직접 출력되는 우측 서라운드 스피커(surround loudspeaker)의 PRIR 측정을 받는 상태를 도시한 평면도이다.

도 27은 피실험자가, 여기 신호들이 스피커를 구동하기 전에 인코딩되어 AV 수신기에 전송되는 우측 서라운드 스피커의 PRIR 측정을 받는 상태를 도시한 평면도이다.

도 28은 도26에 도시된 바와 같이 피실험자가 머리 추적형 헤드폰들을 통하여 가상화된 신호를 청취하는 상태를 도시한 평면도이다.

도 29는 대화면 텔레비전 수상기 주위에 좌측, 우측, 중앙 스피커들이 배치되고, PRIR 측정 범위를 포함하는 3개 시점들(viewing points)을 도시한 정면도이다.

도 30은 2개의 외부 시점들이 좌측 및 우측 스피커들의 위치에 해당하는 것을 제외하고 도 29와 동일하다.

도 31은 5개 시점들이 PRIR 측정 범위를 구획하는 것을 제외하고 도 29와 동일하다.

도 32a 및 도 32b는 도 31의 5개 점 범위에 대한 머리 추적형 PRIR 보간 계수들을 결정하는 삼각측량법을 도시한다.

도 33a 및 도 33b는 가상 스피커 오프셋들(offsets)을 사용하여 가상 소스의 위치와 실제 스피커의 위치를 재조정하는 것을 도시한다.

도 34a 및 도 34b는 PRIR 보간이 의도된 머리 방향 범위 외측으로 연속하도록 허용하는 5-채널 서라운드 스피커 시스템 및 기술을 도시한 평면도이다.

도 35는 피실험자가 헤드폰 이퀄라이제이션 측정을 받는 상태 및 관련 프로세싱 블록들과의 연결 상태를 도시한 평면도이다.

도 36은 합성 필터 뱅크(synthesis filter bank)를 뒤이어 귀간(inter-aural) 시간 지연들이 시간 대역 도메인에서 구현되는 서브밴드 컨벌루션을 사용하는 단일 채널에 대한 가상화 프로세스를 도시한다.

도 37은 합성 필터 뱅크 이전에 귀간 시간 지연들이 서브밴드 도메인에서 구현되는 서브밴드 컨벌루션을 사용하는 단일 채널에 대한 가상화 프로세스를 도시한다.

도 38은 입력 채널들의 수를 확장하는데 필요한 단계들을 도시하는 것을 제외하고 도 36과 동일하다.

도 39는 입력 채널들의 수를 확장하는데 필요한 단계들을 도시하는 것을 제외하고 도 37과 동일하다.

도 40은 2개의 독립 사용자들이 가상화된 신호들을 청취하는 것을 허용하는데 필요한 단계들을 도시하는 것을 제외하고 도 39와 동일하다.

도 41은 DSP 기반의 가상화기 코어 프로세서(core processor) 및 주요 지원 회로의 블록도이다.

도 42는 실시간 DSP 가상화 루틴(routine)의 블록도이다.

도 43은 가상화기 루틴을 실행하기 이전에 PRIR 데이터를 처리하는 DSP 루틴들의 블록도이다.

도 44는 단일 오디오 채널을 사용하고, 3 위치 PRIR 범위를 사용한 선가상화(pre-virtualization)의 개념을 도시한다.

도 45는 선가상화된 오디오 신호들을 재생 이전에 인코딩하고, 저장하고, 디코딩하는 것을 제외하고 도 44와 동일하다.

도 46은 사용자에 의해 업로드된 PRIR 데이터를 사용하여 보안된 원격 서버에서 선가상화를 실행하는 것을 제외하고 도 45와 동일하다.

도 47은 재생이 결합된 좌측 및 우측 귀 신호들 사이의 보간으로 구성되는 3위치 PRIR 범위를 위한 단순화된 선가상화 개념을 도시한다.

도 48은 각 PRIR이 컨퍼런스 서버(conference server)에 업로드(upload)되는 개인화된 가상 원격회의의 개념을 도시한다.

도 49는 PRIR들의 늦은 반사 부분들을 병합(merging)시킴으로써 서브밴드 컨벌루션의 연산 부하를 경감하는 방법을 도시한다.

도 50은 일반적인 공간 임펄스 응답 파형들 내에서 늦은 반사파들로부터 최초/초기 반사파들을 분리하는 방법을 도시한다.

헤드폰들을 사용한 개인화된 머리 추적 가상화

본 출원에서 개시된 개인화된 머리 추적 가상화기 방법의 일반적인 애플리케 이션이 도 1에 도시되어 있다. 본 도면에서, 청취자가 영화를 시청하고 있으나, 스피커들을 통하여 영화 사운드 트랙(sound track)을 청취하는 대신에 헤드폰들을 통하여 스피커 사운드의 가상 버전(version)을 청취한다. 디브이디 플레이어(DVD player)(82)는 영화 디스크를 재생하는 동안에 S/PDIF 직렬 인터페이스(83)를 통해 실시간으로 인코딩된(예를 들어 돌비 디지털(Dolby digital), 디티에스(DTS), 엠피이지(MPEG)) 다중 채널 영화 사운드 트랙을 출력한다. 비트 스트림(bit-stream)이 오디오/비디오(AV) 수신기(84)에 의해 디코딩되고, 각각의 아날로그 오디오 트랙들(좌측, 우측, 좌측 서라운드, 우측 서라운드, 중앙 및 서브우퍼(sub-Woofer) 스피커 채널들)이 전치증폭기(pre-amplifier) 출력단들(76)을 통해 출력되어, 헤드폰 가상화기(75)에 입력된다. 아날로그 입력 채널들이 디지털화되고(70), 상기 디지털 오디오가 실시간 개인화된 머리 추적 가상화기 코어 프로세서(123)에 공급된다.

상기 프로세스는 각 스피커 신호를, 요구되는 가상 스피커와 청취자의 귀들 사이의 전달 함수들을 나타내는 1쌍의 좌측 및 우측 귀 개인화된 공간 임펄스 응답들(PRIR)과 필터링하거나 컨벌브한다. 상기 모든 입력 신호들로부터의 좌측 귀 필터링된 신호들과 우측 귀 필터링된 신호들은 합산되어, 헤드폰들(80)을 구동하기 이전에 아날로그(72)로 다시 변환되는 단일의 스테레오(좌측 귀 및 우측 귀) 출력을 생성한다. 각 입력신호(76)가 그 자신의 특정 PRIR 셋트로 필터링되기 때문에, 각각은 헤드폰들(80)을 통하여 들을 때, 청취자(79)에 의해 원래의 스피커 위치들 중 하나로부터 나오는 것으로 인식된다. 또한, 가상화기 프로세서(123)는 청취자 머리 움직임을 보상할 수 있다.

청취자(79)의 머리 각도들은, 상기 각도들을 간단한 비대칭 직렬 인터페이스(73)를 통해 가상화기 프로세서(123)에 주기적으로 전송하는 헤드폰 마운트형(mounted) 머리 추적기(81)에 의해 측정된다. 상기 머리 각도 정보는 일반적인 청취자의 머리 움직임 범위에 걸쳐있는 PRIR의 산개 셋트(sparse set) 사이를 보간하고, 아울러 청취자 귀들과 가상화되어 있는 다양한 스피커 사이에 존재하는 귀간 지연들을 변경하는데 사용된다. 이들 프로세스들의 결합은, 청취자에게 상기 가상 사운드들이 여전히 정지한 것처럼 나타나도록 상기 가상 사운드들을 비회전(de-rotate)하여 상기 머리 움직임을 중화한다.

도 1은 머리 추적 가상화기의 실시간 재생 모드를 도시한다. 청취자가 헤드폰들을 통하여 스피커 사운드들의 설득력 있는 환영을 듣기 위하여, 많은 개인화 측정들이 먼저 이루어진다. 제1 측정은 청취자가 헤드폰들을 일반적으로 사용하는 동안에 할만한 머리 움직임의 범위에 걸쳐, 헤드폰을 통하여 사용자가 가상화하길 원하는 각 스피커에 대하여 개인화 공간 임펄스 응답 또는 PRIR을 획득하는 단계를 포함한다. PRIR은 본질적으로, 스피커와 청취자의 외이도(ear canal) 사이의 음파 경로의 전달 함수를 나타낸다. 임의의 스피커에 있어서, 각 귀에 대한 상기 전달 함수를 측정하는 것이 필요할 수도 있고, 그러므로 상기 PRIR들은 좌측 귀 및 우측 귀 셋트로서 존재한다.

상기 테스트는 청취자가 스피커 설비 내의 평소의 청취 위치를 정하는 단계, 귀들 각각에 소형 마이크로폰들을 배치하는 단계, 및 그 다음에 임의의 시간 동안의 테스트 상태에서 스피커에 여기 신호를 전송하는 단계를 포함한다. 이것은 각 스피커와, 사용자가 캡처(capture)하길 원하는 각 머리 방향에 대해 반복된다. 오디오 신호가 결과적인 좌측 및 우측 귀 PRIR들로써 필터링되거나 컨벌브되고, 상기 필터링된 신호들이 좌측 및 우측 귀 헤드폰 변환기들(transducers)을 각각 구동하는데 사용되면, 청취자는 상기 신호가 처음에 상기 PRIR들을 측정하는데 사용된 스피커와 같은 지점에서부터 나오는 것이라고 인식한다. 가상화 프로세스의 리얼리즘을 개선하기 위하여, 헤드폰들 자체가 헤드폰들의 변환기들과 청취자의 외이도들 사이의 추가 전달 함수를 부과하는 사실을 보상하는 것이 필요할 수도 있다. 그러므로 상기 전달 함수가 측정되어 역 필터(inverse filter)를 형성하는데 사용되는 제2 측정이 이루어진다. 그 다음에, 상기 역 필터는 상기 PRIR들을 수정하거나, 실시간으로 상기 헤드폰 신호들을 필터링하여 상기 원하지 않은 응답을 이퀄라이징하는데 사용된다.

도 1에 도시된 상기 머리 추적 PRIR 필터링 또는 컨벌루션 프로세싱(123)은 도 2에 상세히 도시되어 있다. 디지털 오디오 신호(41)가 제1 채널(Ch1)로 입력되어 2개의 컨벌버들(34)에 인가된다. 일측 컨벌버가 좌측 귀 보간 PRIR(15a)로 상기 입력 신호를 필터링하고, 타측 컨벌버가 우측 귀 보간 PRIR로 상기 동일한 신호를 필터링한다. 각 컨벌버의 출력이 좌측 및 우측 귀 필터링 신호들 사이의 귀간 차동 지연을 생성하는 가변 경로 길이 버퍼(17)에 인가된다. 상기 PRIR 보간부(15a)와 가변 지연 버퍼(17) 모두가, 가상 사운드스테이지(soundstage) 비회전에 영향을 주기 위하여, 머리 추적기(81)로부터 피드백되는 머리 방향(10)에 따라 조정된다. Ch1(41)에 대해 설명된 프로세스들은 모든 다른 입력 신호들에 대해 개별적으로 실 행된다. 하지만, 모든 좌측 귀 신호들 및 모든 우측 귀 신호들은 상기 헤드폰들에 출력하기 이전에 개별적으로 합산된다(5).

개인화된 공간 임펄스 응답( PRIR ) 획득

본 발명의 실시예의 일 특징은, 편리한 방식으로 사용자의 좌측 및 우측 귀들 근처에서 측정된 개인화된 공간 임펄스 응답(이하, PRIR 이라 함)을 획득하는 용이함이다. 획득 후에, 상기 PRIR 데이터가 가상화기 컨벌루션 엔진에 의한 사용을 위하여 처리되고 저장되어 실제의 스피커들의 환영을 형성한다. 또한, 필요하면, 상기 데이터는 휴대형 저장 매체에 기록될 수 있거나, 획득 장비에 관련되지 않은 원격 호환성 가상화기에 의한 사용을 위하여, 보드(board)를 벗어나 전송될 수 있다.

개인화 공간 임펄스 응답들을 획득하는 기본적인 기술들은 신규한 것이 아니고, 양호하게 기록되어 있으며, 당업자에게 공지되어 있다. 요약하면, 상기 임펄스 응답을 획득하기 위해서는, 필요한 곳에 적절한 변환기를 사용하여 예를 들어 임펄스, 스파크, 풍선 폭발, 의사 잡음 시퀀스(pseudo noise sequence) 등의 여기 신호가 피실험자 머리에 관계있는 공간 내의 소정의 위치에서 재생되고, 피실험자 귀들에 근처에 또는 바람직하게는 피실험자 외이도들의 입구에 또는 피실험자 외이도들 내부의 어떤 곳이든지 배치되는 마이크로폰을 사용하여 그 결과적인 음파들이 기록된다.

도 20은 피실험자(79)의 단일 외이도(209) 내에 소형 무지향성 일렉트릿 마이크로폰 캡슐(omni-directional electret microphone capsule)(87)(6㎜ 직경)이 배치된 상태를 도시한다. 또한, 피실험자의 외측 귀(귓바퀴)(210)의 윤곽이 도시된다. 도 21은 상기 외이도에 맞는 마이크로폰 플러그의 구조를 상세히 도시한다. 마이크로폰 캡슐은, 평상시의 용도가 잡음 감쇠(noise attenuation)인 디포머블 폼 이어 플러그(deformable foam ear plug)(211)에, 마이크로폰(212)의 개방 단부가 외향한 채 끼워져 있다. 상기 캡슐은 상기 폼 플러그 내에 고착될 수 있거나, 슬리브 피터(sleeve fitter)를 사용하여 상기 폼을 확대하여 상기 폼이 상기 슬리브 피터를 메우는 것을 허용함으로써 프릭션 피트(friction fit)될 수 있다. 상기 마이크로폰 캡슐 자체의 높이에 따라, 상기 폼 플러그(21)는 일반적으로 약 10㎜ 길이로 절단된다.

플러그들은 일반적으로 미축소된 10 내지 14㎜의 직경으로 제조되여 외이도의 상이한 사이즈들에 적합하게 된다. 후면에 납땜된 신호/전원 및 접지 선들(86)은 상기 캡슐 벽의 외부를 따라 연장하여, 또한 상기 마이크로폰 증폭기들로 향하는 도중에 전면에서부터 나간다. 납땜 접합부들(solder joints)의 손상 가능성을 줄이길 원하면, 상기 선들은 상기 캡슐의 측면에 고정될 수 있다. 귀에 상기 마이크로폰을 삽입하기 위해서는, 사용자는 상기 플러그를 자신의 손가락들 사이에 두고 상기 플러그의 직경을 누른 채 상기 폼 플러그를 간단히 말아서, 집게손가락을 사용하여 귀에 상기 폼 플러그를 신속히 삽입한다. 상기 폼은 즉시 천천히 팽창하기 시작하여 안락함을 제공하나, 5 내지 10초 후 외이도에 꼭 끼어진다. 그러므로 상기 마이크로폰 플러그는 추가적인 도움 없이 적소에 머무를 수 있다. 이상적으로, 상기 플러그가 끼워져 있을 때, 상기 마이크로폰의 개방 단부가 외이도의 입구 와 평평하게 위치한다. 상기 선들(86)은 도 20에 도시된 바와 같이 돌출하여야 하고, 일단 상기 테스트들이 완료되면, 상기 선들을 당기는 것은 사용자가 상기 마이크로폰 플러그를 편리하게 빼내는 것을 허용한다. 상기 폼은 귀를 막아서 개인화 테스트들 동안에 여기 잡음에 대한 노출 레벨을 낮추는 점에서 추가적인 이점을 제공한다.

일단 좌측 귀 및 우측 귀 마이크로폰들이 안착 되었으면, 개인화 측정들은 시작될 수가 있다. 측정 공간을 둘러싸는 환경의 반향파 특성에 따라, 그 결과적인 임펄스 파형들은 일반적으로 수 초 이내에 제로(zero)로 감소하고, 기록들은 상기 시간을 연장할 필요가 없다. 상기 획득된 임펄스 응답들의 음질은 상기 환경의 배경 잡음 레벨, 변환기 및 기록 신호 체인(chain)의 품질, 및 상기 측정 프로세스 동안에 겪는 머리 움직임의 각도에 어느 정도 의존한다. 불행하게도, 임펄스 응답 신호 충실도의 감소는 상기 임펄스 응답의 컨벌루션을 통하여 가상화된 임의의 사운드들의 품질 또는 리얼리즘에 직접 영향을 미치고 그래서 상기 측정의 품질을 최대화하는 것이 바람직하다.

상기 문제점을 다루기 위하여, 실시예는 획득 방법의 토대로서, 엠엘에스(MLS) 또는 최대 길이 시퀀스(Maximum Length Sequence)로 알려진 개인화 공간 임펄스 응답 측정을 위한 여기 신호로서 의사 잡음 시퀀스(pseudo noise sequence)를 사용한다. 다시 한번, 상기 MLS 기술은 예를 들어, Berish J.의 "Self-contained cross-correlation program for maximum-length sequence", J. Audio Eng. Soc., vol. 33, no. 11, Nov. 1985에 상세하게 기록되어 있다. 상기 MLS 측정 은 상기 의사 잡음 시퀀스들이 더 높은 임펄스 신호 대 잡음 비율(signal-to-noise ratios)을 제공하는 점에서 임펄스 또는 스파크(spark) 타입 여기 방법들보다 이점들을 가진다. 또한, 상기 프로세스는 자동 방식으로 시퀀스 측정들을 용이하게 실시하는 것을 허용하여, 상기 측정된 임펄스 응답의 고유한 측정 환경 및 장비의 배경 잡음이 평균화 프로세스를 통하여 더 억제될 수 있다.

상기 MLS 방법에서, 지속 기간이 상기 테스트 환경의 예상 반향파 시간의 지속 기간보다 2배 이상인 선연산된 바이너리 샘플링된 시퀀스(pre-calculated binary sampled sequence)는 임의의 샘플링 레이트로 디지털 아날로그 변환기에 출력되고, 여기 신호로서 상기 스피커에 실시간으로 공급된다. 이하, 상기 스피커를 여기 스피커라고 부른다. 동일한 시퀀스가 원하는 배경 잡음 억제 레벨을 달성하는데 필요할 만큼 자주 반복될 수 있다. 상기 마이크로폰은 결과적인 사운드 파형들을 실시간으로 픽업(pick up)하고, 상기 여기 재생과 같은 동일한 샘플링 시간 베이스를 사용하여 동시에 상기 신호가 샘플링 및 디지털화되어 메모리에 저장된다. 일단 원하는 시퀀스 반복 회수가 재생되었으면, 상기 기록은 중단된다. 그 다음에, 상기 기록된 샘플 파일은 원래의 바이너리 시퀀스에 대해 순환적으로 교차 상관되어, 주위의 음향파적 환경과 마이크로폰이 장착된 피실험자 머리에 관하여 여기 스피커들 위치에 대한 고유의 평균화된 개인화 공간 임펄스 응답을 만든다.

이론적으로는, 각 귀에서 별도로 임펄스 응답을 측정하는 것 즉, 단지 1개의 마이크로폰을 사용하고 각 귀에 대해 측정을 반복하는 것이 가능하나, 각 귀에 마이크로폰을 배치하고 여기 신호가 있는 상태에서 동시에 듀얼 채널 기록들을 하는 것이 편리하고 유리하다. 상기 경우에, 각 귀에서 기록된 각각의 샘플링된 오디오 파일은 개별적으로 처리되어 2개의 고유한 임펄스 응답들을 제공한다. 상기 파일들은 본 출원에서 좌측 귀 PRIR 및 우측 귀 PRIR이라고 부른다.

도 3은 바람직한 실시예에서 사용된 개인화된 공간 임펄스 응답을 획득하는 방법의 간단한 예시도이다. 타이밍 회로들뿐만 아니라 모든 아날로그 디지털 변환은 명료함을 위하여 제외되었다. 먼저, 스피커(88)가 피실험자(89)의 평면도에 관하여 공간 또는 음향파적 환경 내의 임의의 위치에 배치된다. 상기 도면에서, 상기 스피커가 상기 피실험자의 정면에 위치한다. 상기 피실험자는 출력들(86a, 86b)이 2개의 마이크로폰 증폭기들(96)에 연결된 2개의 마이크로폰들을 각 외이도의 근처에 하나씩 장착한다. 테스트를 시작하기 이전에, 상기 피실험자는 상기 여기 스피커에 관하여 원하는 방향으로 자신의 머리를 위치하고, 측정기간 동안에 최선을 다하여 상기 방향을 유지한다. 도 3의 경우에, 피실험자(89)는 상기 스피커(88)를 정면으로 응시하고 있다. 본 출원에서, '룩(look)', '룩킹(looking)', '뷰(views)' 또는 '뷰잉(viewing)'이라는 용어의 사용은 피실험자 얼굴에 수직인 가상선이 상기 피실험자들이 바라보는 지점을 통과하도록 머리를 지향하는 것을 의미한다.

일 실시예에서, 측정은 다음과 같이 실시된다. MLS가 98로부터 반복 방식으로 출력되어 스피커 증폭기(115) 및 순환 교차 상관 프로세서(97)에 입력된다. 상기 스피커 증폭기는 상기 스피커(88)를 원하는 레벨로 구동하고, 이로써 사운드파를 외측으로 그리고 피실험자(89)에게 장착된 좌측 및 우측 귀 마이크로폰들을 향하여 보낸다. 상기 좌측 및 우측 마이크로폰 신호들(86a, 86b)은 각각 마이크로폰 증폭기들(96)에 입력된다. 상기 증폭된 신호들이 샘플링되고 디지털화되어 순환 교차 상관 프로세싱 유닛(97)에 입력된다. 여기서, 이것들은, 모든 시퀀스들이 재생된 후 오프라인(off-line)을 프로세싱하기 위하여 저장될 수 있거나, 이용 가능한 디지털 신호 프로세싱 전력에 따라, 각각의 완전한 MLS 블록(block)이 도달하면 실시간으로 처리될 수 있다. 어느 쪽이든, 상기 기록된 디지털 신호들이 98로부터의 원래의 MLS 입력에 대하여 교차 상관 되어지고, 완료시, 결과적인 평균화된 개인화된 공간 임펄스 응답 파일은 추후의 사용을 위하여 메모리(92)에 저장된다.

도 7은 좌측 귀 마이크로폰(171)과 우측 귀 마이크로폰(172)에 대하여, 도 3에 도시된 바와 같이 여기 스피커를 정면으로 응시하도록 머리를 지향한 채 획득되어질 수 있는, 시간에 대한 진폭으로 플로팅된 일반적인 임펄스 응답의 초기 부분을 도시한다. 도 7에 도시된 바와 같이, 머리가 상기 여기 소스를 지향한 상태에서, 스피커로부터 좌측 및 우측 귀 마이크로폰들까지의 직선 경로 길이들은 거의 동일하며, 거의 일치하는 임펄스 온셋(onset) 시간들(174)을 가져온다.

도 4는 피실험자(90)가 여기 스피커의 좌측 지점을 바라본 채 개인화된 공간 임펄스 응답을 획득하는 예를 나타내는 것을 제외하고 도 3과 동일하다. 또다시, 일단 머리 방향이 결정되면, 상기 머리 방향은 측정 동안에 변경되지 않아야 한다. 도 8은 좌측 귀 마이크로폰(171)과 우측 귀 마이크로폰(172)에 대하여, 도 4에 도시된 바와 같이 여기 스피커의 좌측을 응시하도록 머리를 지향한 채 획득되어질 수 있는, 시간에 대한 진폭으로 플로팅된 일반적인 임펄스 응답의 초기 부분을 도시한다. 도 8에 도시된 바와 같이, 머리가 여기 소스를 지향한 상태에서, 스피커에서 좌측 귀 마이크로폰까지의 직선 경로 길이는 상기 스피커와 우측 귀 마이크로폰 사이의 직선 경로 길이보다 더 길어서, 우측 귀 임펄스 온셋(174)에 비하여 좌측 귀 임펄스 온셋(173)을 지연시킨다(175).

도 5는 피실험자(91)가 여기 스피커의 우측 지점을 바라본 채 개인화된 공간 응답 임펄스를 획득하는 예를 나타내는 것을 제외하고 또다시 동일하다. 도 6은 좌측 귀 마이크로폰(171)과 우측 귀 마이크로폰(172)에 대하여, 도 5에 도시된 바와 같이 여기 스피커의 우측을 응시하도록 머리를 지향한 채 획득되어질 수 있는, 시간에 대한 진폭으로 플로팅된 일반적인 임펄스 응답의 초기 부분을 도시한다. 도 6에 도시한 바와 같이, 머리가 여기 소스의 우측을 지향하는 상태에서, 스피커로부터 우측 귀 마이크로폰까지의 직선 경로 길이는 상기 스피커와 좌측 귀 마이크로폰 사이의 직선 경로 길이보다 더 길어서, 좌측 귀 임펄스 온셋(173)에 비하여 우측 귀 임펄스 온셋(174)을 지연시킨다(175).

도 3, 도 4 및 도 5에 도시된 3개의 측정들이 성공적으로 완료되면, 즉, 피실험자가 각각의 획득 단계 동안에 충분한 정확도를 가진 채 자신의 머리 방향을 유지하면, 3쌍의 개인화 공간 임펄스 응답들이 저장 영역들(92;도3, 93;도4, 94;도5)에서 발견되고, 각 쌍은 스피커(88)의 정면을 응시하고, 좌측을 응시하고, 우측을 응시하는 당해 피실험자에 대한 좌측 및 우측 귀 PRIR들에 대응한다.

청취자 머리 움직임의 범위를 확립

자신의 스피커 사운드 시스템을 사용하여 평소의 청취 공간 환경 내에서 실시되도록 설계된, 개인화된 머리 추적 장치에 사용하기 위한 PRIR 데이터를 획득하 는 방법이 여기에 개시되어 있다. 상기 획득 방법은 개인화 테스트들을 착수하길 바라는 피실험자가 먼저 이상적인 청취 지점, 즉, 피실험자가 음악을 청취하거나 영화를 시청하는 스피커를 사용하고 있으면, 피실험자가 평소에 위치하는 지점에 위치하는 것을 가정한다. 예를 들면, 도 34a의 평면도에 도시된 바와 같이, 일반적인 멀티 채널 홈 엔터테인먼트 시스템들의 경우, 스피커들은 좌측 전방(200), 중앙 전방(196), 우측 전방(197), 좌측 서라운드(199) 및 우측 서라운드(198)로서 배열된다.

또한, 종종 중앙 서라운드 스피커와 베이스 서브우퍼가 많은 홈 엔터테인먼트 시스템들의 일부분을 형성한다. 도 34a에서, 피실험자(79)는 모든 스피커들로부터 동일 거리에 위치한다. 홈 무비 시스템들에서 일반적인 바와 같이, 전방 중앙 스피커는 사운드와 관련된 동영상을 디스플레이하는데 사용되는 텔레비전/모니터/프로젝션(projection) 화면 위 또는 아래 또는 뒤에 배치된다. 그 다음에, 피실험자는 전방 시야 영역 내에 또는 주위의 청취 영역을 커버하는 제한된 수의 머리 방향들 상의 각 스피커에 대한 개인화 측정들을 획득하기 시작한다. 상기 측정 지점들은 동일한 수평면(요동(yaw))에 있을 수 있거나, 고도 성분(피치(pitch))을 포함할 수 있거나, 3가지의 머리 움직임의 정도- 요동, 피치 및 회전(roll)을 설명할 수 있다.

상기 방법은 음악을 청취하거나 영화를 시청하는 동안 사용자가 겪는 머리 움직임들의 최대 유사 범위를 정의하는 주위의 각 스피커에 대하여 측정의 산개 셋(sparse set)를 캡쳐하는 것을 목표로 한다. 예를 들면, 영화를 시청할 때, 청취 자가 영화 사운드트랙을 청취하는 동안에는 텔레비전이나 프로젝터 화면을 보는 것을 허용하는 머리 방향을 유지하는 것이 일반적이다. 그러므로 측정은, 대부분의 시간 동안에, 상기 영역이 영화 시청 동안 모든 청취자들 머리 방향들을 커버한다는 것을 알고 있는 상태에서, 화면의 좌측을 바라보는 머리 위치, 화면의 우측을 바라보는 머리 위치, 필요한 경우, 화면 위 및 아래의 일부 지점들을 바라보는 머리 위치에 대하여 모든 스피커들의 측정이 이루어질 수 있다. 또한, 머리 회전 각도들의 범위를 PRIR 프로세스에 도입하는 것도 상기 타입의 움직임이 재생 동안에 예기된다면 가능하다.

머리 추적 가상화기가 상기 예기된 사용자 머리 움직임 범위를 한계로 하는 머리 방향들에 대해 측정된 공간 임펄스 응답 데이터에 액세스(access)하면, 머리 추적기에 의해 나타나는 바와 같이, 보간을 통하여 상기 범위 내의 임의의 머리 방향에 대해 대략의 임펄스 응답을 연산하는 것이 가능하다. 여기서, 보간기가 상기 가상화된 스피커들을 상기 방식으로 비회전하기에 충분한 PRIR 데이터를 가지는 머리 움직임들의 범위는 측정들의 '범위(scope)' 또는 청취자의 머리 움직임들의 '범위(scope)'라고 부른다. 상기 가상화기의 성능은 머리가 머리 추적 영역의 중앙 지점을 향한 상태에서 추가적인 개인화된 측정을 행함으로서 더욱 향상될 수 있다. 일반적으로, 이는 텔레비전 또는 영화 화면에서 영화를 시청하는 동안에 자연적인 머리 방향이 되는 바와 같이 간단하게 전방(straight-ahead) 지점이다. 보간 방정식에 3차원(third dimension)을 효과적으로 추가함으로써, 특히 전방 화면을 보는 동안에 상이한 머리 회전 각도들에 대해 측정들을 실시하면, 추가 개선들을 가질 수도 있다. 상기 산개 샘플링 방법(sparse sampling method)의 이점들은 많다.

1)청취자 영역 외부의 머리 방향들은 측정 절차의 일부분이 아니기 때문에, 성능의 희생 없이 피실험자에 의해 획득되는 PRIR 측정들의 수가 비교적 낮다.

2)임의의 수의 스피커들이 측정 프로세스에서 적합화될 수 있다.

3)머리 관련 PRIR 데이터의 완전한 셋트는 각각의 개별적인 스피커에 대해 측정되고 뒤이어 보간기에 의해 상기 스피커들을 가상화하는데 활용되기 때문에, 피실험자에 대한 스피커들의 공간 위치설정은 임의적일 수 있고, 측정될 필요가 없다.

4)각 PRIR 데이터 셋트를 획득하는 동안에 사용된 단지 비교적 극소수의 머리 위치들은 기준 머리 방향에 관하여 정확하게 측정될 필요가 있다.

5)동일한 사운드 시스템을 사용하여 측정 및 뒤이은 청취를 실시하면, 가상 스피커들의 공간 위치설정과 반향파 특성은 청취자 범위 내의 머리 위치들에 대한 실제의 스피커의 것들과 정확하게 매치한다.

6)상기 방법은 스피커 프리젠테이션 포맷(presentation format)의 특성에 관하여 아무런 가정을 하지 않는다. 사운드 트랙들은 예를 들어, 대형 홈 엔터테인먼트 구성들의 확산 사운드 효과 채널들에 대해 공통인 바와 같이, 1개 이상의 스피커에 의해 전송될 수도 있다. 상기 경우에, 모든 관련 스피커들이 동일한 여기 신호에 의해 구동되기 때문에, 개인화 측정들은 청취자 범위 내의 상기 스피커들의 군들(groups)을 가상화하는데 필요한 모든 정보를 자동적으로 전송한다.

도 31은 피실험자(79)가 홈 엔터테인먼트 시스템 기반의 텔레비전(182)을 바 라보는 상태를 도시한다. 서라운드 스피커 및 서브우퍼 스피커는 본 설명의 목적상 미도시된 것으로 추정된다. 좌전방 스피커(180)는 상기 텔레비전의 좌측에 위치하고, 우전방 스피커(183)는 상기 텔레비전의 우측에 위치한다. 중앙 스피커(181)는 텔레비전(182)의 상부면에 배치된다. 점선(179)은 청취자가 자신의 머리 방향을 유지하는 것으로 예상되는 경계 영역을 나타낸다. X점들(184, 185, 186, 187, 177)은 각 셋트의 개인화 측정이 이루어지는 동안에 피실험자가 바라보는 공간 내의 가상 점들을 나타낸다. 중앙선들(250)은 피실험자가 X점들의 각각을 바라보는 상이한 시선들(lines-of-sight)을 나타낸다. 도 31의 경우에, 미도시한 스피커들을 포함한 모든 스피커들에 대한 개인화 측정들이 5회 반복되고, 매회마다 피실험자가 자신의 머리를 위치 변경하여 측정 X점들 중 하나를 바라본다.

상기 예에서, 5개의 개인화된 머리 방향들은 좌측상부(185), 즉, 피실험자가 좌전방 스피커(180)의 좌상측을 바라보는 경우, 우전방 스피커(183)의 우상측에 있는 우측상부(186), 좌측하부(184), 우측하부(187) 및 영화를 보는 동안에 명목상의 머리 방향을 개략화하는 화면 중앙(187)이다. 일단 모든 측정들이 획득되면, 결과적인 PRIR 데이터 및 그 관련 머리 방향들이 보간기에 의해 사용되기 위해 저장된다.

도 29는 동일한 수평면(179) 상의 단지 3개 머리 방향들, 좌전방 스피커(180) 좌측의 X 지점(176), 중앙 화면의 X 지점(177), 우전방 스피커 우측의 X 지점(178)이 개인화된 측정들을 하는데 사용되는 대안 개인화 측정 절차를 도시한다. 이러한 형태의 측정은, 상기 라인의 양측에서의 머리 고도들(피치)에 대한 공 간 임펄스 응답이 파악되지 않기 때문에, 머리 추적 가상화에서 가장 중요한 요소가 순수한 머리 회전(요동)이라고 가정한다. 도 30은 좌측 지점(176) 및 우측 지점(178)이 좌전방 및 우전방 스피커들 자체에 대응하도록 더욱 단순화하여 도시한다. 상기 변형에서, 피실험자는 단순히 개인화 측정들의 각 셋트에 대하여 대략 동일한 수평면 상에 있는 좌전방 스피커, 우전방 스피커 및 화면 중앙을 각각 바라보는 것만을 필요로 한다.

상기 개인화 공간 임펄스 응답(PRIR) 데이터 셋트들은 스피커의 가상화를 허용하고, 각각의 가상 스피커의 위치는 측정 프로세스 동안에 확립된 피실험자 머리에 관한 실제의 스피커의 위치에 대응한다. 그러므로 정확하게 작동하는 보간 방법 즉, 가상 스피커가 실제의 스피커와 일치하여 위치하는 것처럼 보이게 하는 보간 방법에 있어서, 실제의 스피커들에 관한 피실험자 청취 지점이 개인화 측정 동안과 동일하면, 머리 추적 장치로부터 피드백되는 머리 방향 신호들에 대응하여 데이터 사이를 보간하기 위하여, 가상화기는 상기 개인화된 임펄스 응답이 대응하는 머리 방향들을 파악하는 것만이 필요하다. 상기 머리 추적기가 각각의 개인화 데이터 셋트에 대한 머리 방향을 결정하는 시스템과 동일한 방향성 기준을 사용한다고 가정하면, 가상 스피커 및 실제의 스피커는 원래의 측정의 범위 내에서 청취자의 시점에서 일치한다.

가상-실제 스피커 수평 및 높이 위치 매칭

개인화 측정 프로세스는 각 스피커가 피실험자 머리 움직임의 일부 영역 또는 범위에 걸쳐 측정된다는 사실에 의지한다. 엄밀히 말하면, 각 개인화 데이터 셋 트에 대한 머리 방향들이 파악되고 재생 머리 추적기 좌표를 기준으로 할 때, 본 발명의 실시예들은 정확한 가상화를 달성하기 위하여 테스트 중의 임의의 스피커들의 물리적 위치를 파악할 필요가 없다. 실제의 스피커 위치들이 개인화 프로세스에 사용된 것과 동일하게 유지되면, 가상 사운드들은 동일한 물리적 위치들에서부터 발산한다. 하지만 가상-실제 스피커 위치 부정렬로 인하여 가상 스피커 위치들에 대한 조정을 하는 것이 필요할 경우, 물리적인 스피커 위치들의 인식이 유용하다. 예를 들면, 사용자가 측정하는데 사용된 바와 다른 청취 환경에 스피커를 설치하길 원하면, 이상적으로 사용자는 가상 사운드들을 실제의 스피커들과 일치시키기 위하여 가능한 한 정확하게 가상 스피커 위치들에 매치하도록 스피커들을 물리적으로 배열한다. 이러한 것이 불가능한 곳에서는, 청취자는 가상 사운드들이 상기 스피커들과 다른 위치들로부터 나오는 것, 즉 일부 사람들에 있어서 가상화기의 리얼리즘을 감소시킬 수 있는 현상을 인식한다. 이러한 문제점은 도 34a에 도시된 서라운드 스피커들(198, 199) 또는 청취자 위에 배치된 스피커들의 경우와 같이, 정상적인 청취자의 머리 움직임 범위 상에서 일반적으로 보이지 않는 스피커들에게 문제시되지 않는다.

본 발명의 실시예들은 보간 프로세스들에 오프셋(offset)을 도입함으로써 가상 스피커 수평 및/또는 높이 위치들에 대해 약간의 조정을 허용할 수도 있다. 상기 오프셋은 상기 측정된 스피커 위치에 관한 임의의 가상 스피커의 위치를 나타낸다. 하지만 상기 스피커들을 가상화하는 동안 허용된 머리 움직인 정도는, 개인화 공간 임펄스 응답이 원래의 측정된 경계들을 벗어난 머리 움직임들을 커버하지 못 하기 때문엥 상기 오프셋과 동일한 양만큼 감소된다. 이것은, 나중에 사소한 위치 조정들을 할 것 같으면 평소의 청취/시청에서 일반적으로 필요한 것보다 더 넓은 머리 방향 범위에 걸쳐 원래의 개인화 프로세스를 실시하여야 하는 것을 의미한다.

가상 스피커의 위치를 변경하는데 보간 오프셋을 사용하는 것이 도 33a 및 도 33b에 도시되어 있다. 도 33a에서, 점선 경계선(179)은 실제 스피커(180)에 대해 지점들(184, 185, 186, 187, 177)에서 측정된 개인화된 데이터 셋트들을 사용하여 동작하는 가상화기 보간기 상의 청취자 시청 경계선을 나타낸다. 중앙 측정 지점(177)은 명목상의 청취/시청 머리 방향을 나타내고, 이것은 재생 머리 추적기 제로 기준 지점에 대응한다. 최대 좌우 및 상하 머리 움직임 정도가 각각 214 및 215로 표시된다. 도 33b에서, 실제 스피커(217)의 위치는 상기 개인화된 측정들(180)을 하는데 사용되었던 것에 대응하지 않는다. 이것은 가상화기 보간기가 가상 스피커(180)를 실제 스피커(217)와 재정렬시키기 위하여 그 연산(216)에 오프셋 - 임의의 가상 스피커 위치 이동(218)에 반대로 이동하는 오프셋을 도입하는 것을 의미한다. 또한, 동일한 오프셋은 귀간 경로 차이를 조정하는데 사용된다. 따라서 상기 가상 스피커에 대하여 보간기에 의해 허용될 수 있는 머리 움직임 범위는 상당히 감소한다(214, 215) - 상기 특정 예에서, 좌중(left-off-center) 머리 움직임과 하중(below-center) 머리 움직임들은 상기 오프셋이 없을 경우보다 훨씬 더 빨리 개인화 측정 경계선(179)에 도달한다.

개인화 측정들 동안에 행하여진 머리 방향들의 측정

상기 개인화된 공간 임펄스 응답 보간이 가상 스피커 위치를 실제의 스피커 위치와 일치시키기 위해서는, 머리 방향을 개인화 공간 응답 측정들의 각각에 대해 확립하여 기록하고, 이들 방향들을 가상화기 재생에서 사용될 머리 추적 좌표에 기준하는 것이 필요할 수도 있다. 이들 좌표들은 그것들이 없으면 그것들이 나타내는 머리 각도들과 가상 스피커들이 PRIR들 자체로부터 해결하기가 어려울 수 있기 때문에, 일반적으로 PRIR 데이터 셋트들을 따라 영원히 저장된다. 상기 머리 방향 측정들은 많은 방법들로 달성될 수가 있다.

가장 직접적인 방법은 피실험자가 개인화 측정들 동안에 이어 마운트형(ear-mounted) 마이크로폰들에 추가하여 어떤 형태의 머리 추적 장치를 쓰는 단계를 포함한다. 상기 방법은 3개의 자유도(degree of freedom)를 통하여 머리 방향들을 결정할 수 있고, 따라서 머리 회전을 고려하는 것들을 포함하는 모든 레벨의 측정 복잡도에 응용 가능하다. 예를 들면, 머리 추적기는 도 29, 도 30 및 도 31에 도시된 측정들을 위하여 사용될 수 있다. 그러므로 머리 추적기로부터 출력된 머리 요동(또는 회전), 피치(고도) 및 회전(roll) 값들은 각 셋트의 스피커 측정들의 개시 이전에 기록될 수 있고, 상기 정보가 가상화기에 의한 사용을 위하여 유지된다.

한편, 머리 추적기를 이용할 수 없으면, 관련 머리 방향들이 미리 수동으로 측정된 고정된 물리적 뷰잉 지점들이 테스트 이전에 설치될 수 있다. 이것은 통상적으로 전방 스피커 또는 영화 화면 주위의 많은 뷰잉(viewing) 목표물들을 세우는 단계를 포함한다. 피실험자는 간단히 각각의 개인화 측정을 위하여 상기 목표물들을 향하여 바라보고, 관련 머리 방향 데이터가 가상화기에 수동으로 입력된다. 예를 들어 도 29 및 도 30의 경우와 같이, 머리 방향 측정들이 수평면으로 제한된 측 정에서, 도 30에 도시된 전방 스피커들 자체들(180, 183)을 뷰잉 목표물들로서 사용하고 그것들의 위치들을 가상화기에 입력하는 것도 가능하다.

불행하게도, 피실험자들이 목표물들 또는 스피커들을 바라볼 때, 종종 그들의 머리가 그들이 바라보는 대상물을 정확하게 향하지 못하고, 그 결과적인 부정렬이 가상화기 헤드폰 재생 동안에 사소한 동적 트래킹 에러(tracking error)의 원인이 된다. 상기 문제점에 대한 해결책 하나는, 상기 측정 지점들을 임의의 머리 각도들로서 간주하는 것이고, 도 29에서 지점들(176, 178)에 관련된 머리 회전 각도가 상기 측정된 개인화된 공간 임펄스 응답들 자체의 귀간 지연들을 분석함으로써 평가될 수 있다. 예를 들면, 피실험자가 좌측을 바라보도록 머리를 위치하고 전방 중앙 스피커(181)가 여기 스피커로서 선택되면, 좌측 및 우측 귀 임펄스 응답 온셋 사이의 지연은 중앙 스피커에 대해 머리 각도의 평가를 제공한다.

최대 지연, 즉, 여기 신호가 좌측 귀 또는 우측 귀에 직접 수직이고 머리 각도가 여기 스피커의 +/-90도 내에 있을 때 좌측 및 우측 귀 마이크로폰 신호들 사이에서 측정된 지연이 알려져 있다고 가정하면, 상기 스피커를 기준으로 한 머리 각도는 수학식1과 같이 표시된다.

머리 각도 = arcsine(-지연/최대 절대 지연)

여기서, 좌측 귀 마이크로폰들의 지연이 우측 귀 마이크로폰의 지연을 초과할 때, 양(+) 지연이 발생한다. 상기 여기 스피커와 피실험자 머리 사이에 내재한 각도가 가장 작을 때, 상기 기술의 정확도가 최대이다. 즉 오프 레프트(off-left) 측정들의 경우에, 중앙 전방 스피커보다 좌전방 스피커를 여기 소스로서 사용하는 것이 더 좋을 수도 있다. 또한, 상기 방법은 특히 머리 대 스피커 각도가 작을 때 최대 절대 지연의 평가를 사용할 수 있거나, 사용자 이어 마운트형 마이크로폰들 사이의 최대 절대 지연이 개인화 절차의 일부분으로서 측정될 수도 있다. 또 다른 변형은 임펄스 측정 여기 신호보다 몇몇 형태의 파일롯 톤(pilot tone)을 사용하는 것이다. 임의의 상태에서, 톤(tone)은 더 정확한 머리 각도 측정들을 가능케 한다. 상기 경우에, 상기 톤이 연속적이거나 버스트(burst) 상태일 수 있고, 지연들은 좌측 및 우측 귀 마이크로폰 신호들 사이의 위상 차이 또는 온셋 시간들을 분석함으로써 결정될 수 있다.

각 개인화 획득 동안에 얻어진 머리 방향 각도들은 일반적으로 개인화 동안에 허용된 자유도들에 따라, 기준 머리 방향(여기서, θref, ωref 또는 ψref 라고 함)에 대하여 측정된다. 상기 기준 머리 방향은 영화 화면을 시청하거나 음악을 청취하는 동안 취해진 청취자의 머리 방향을 정의한다. 머리 추적기의 성질에 따라, 추적 좌표는 고정된 기준점, 예를 들어 지구의 자장 또는 텔레비전 셋트에 놓여진 광 전송기를 가질 수도 있거나, 그것들의 기준점이 시간에 따라 가변할 수도 있다. 고정형 기준 시스템에서는, 통상적인 시야 방향을 측정한 후, 기준 머리 방향으로서 사용하기 위한 영구적인 토대로 가상화기 내에 상기 측정을 보유하는 것이 가능하다. 청취자의 홈 엔터테인먼트 시스템이 상기 시야각들을 상기 기준에 대하여 가변시키는 방식으로 변경되는 경우에만, 상기 측정이 반복된다. 부동형 기준 머리 추적기, 예를 들어 자이로스코프 기반에서는, 가상화기/머리 추적기가 켜질때마다 기준 머리 방향을 확립할 필요가 있을 수 있다.

이러한 것 모두에 가능한 암시 하나는, 시간에 따라 머리 기준 값들의 차이에 의해 야기되는 약간의 가상-실제 스피커 부정렬을 가지는 것이 이상하지 않을 수도 있다는 것이다. 따라서, 헤드폰 가상화 시스템은 머리 기준 방향각들(θref, ωref 또는 ψref)을 통상적인 청취 설정의 일부로서 리셋(reset)하는 편리한 방법을 사용자에게 제공할 수도 있다. 이것은 예를 들면, 눌러졌을 때 가상화기 또는 머리 추적기를 자극하여 청취자의 현재 머리 방향각들을 저장하게 하는 원샷 스위치(one-shot switch)를 제공함으로써 달성될 수 있다. 청취자는, 가상 스피커와 실제 스피커가 일치할 때까지 상기 스위치를 사용하여 상기 각들을 반복적으로 샘플링하는 동안, 헤드폰들을 통하여 가상형 스피커들을 간단히 청취하고 상기 인식된 부정렬에 반대되는 방향으로 그들의 머리를 이동시킴으로써 정확한 머리 정렬 상태에서 대화식으로 추적할 수 있다. 한편, 머리 각도들을 저장하기 이전에, 머리 마운트형 레이저(laser)를 사용하고, 청취실 내의 몇몇의 미리 정의된 기준점, 예를 들어 영화 화면의 중앙을 레이저 빔(laser beam)으로 가리키는 몇몇 형태의 절대 기준 방법이 사용될 수가 있다.

머리 추적기 입력에 기반한 PRIR 데이터간의 보간

본 출원에, 가상화 정확도의 손실 없이 산개 샘플링된(sparsely sampled) PRIR들 사이의 정확한 보간을 허용하며, 본 출원에서 개시된 개인화 머리 추적 방법론의 성공에 중요할 수도 있는 방법이 개시된다. 좌측 귀 컨벌브된 신호가 1쌍의 헤드폰의 좌측을 통하여 재생되고, 우측 귀 컨벌브된 신호가 상기 헤드폰들의 우측을 통하여 재생되도록 오디오 신호와 컨벌브될 때, 좌측 및 우측 귀 개인화된 공간 임펄스 응답들(PRIR)은 청취자가 자신의 머리 방향에 대하여 처음 장소에서 좌측 및 우측 귀 PRIR들을 획득하는데 사용된 스피커와 동일한 위치에서 오디오가 나오는 것으로 인식하게 한다. 청취자가 자신의 머리를 움직이면, 가상 스피커 사운드는 머리와 동일한 공간 관계를 보유하고, 이미지가 머리와 일치하여 이동하는 것으로 인식될 것이다. 머리 방향들의 범위를 사용하여 동일한 스피커가 측정되고 머리 추적기가 청취자의 머리가 원래의 측정 지점들과 일치하는 것을 나타낼 때, 대안 PRIR들이 컨벌버에 의해 선택되면, 가상 스피커가 상기 동일한 머리 지점에 정확하게 위치할 것이다.

상기 측정들 동안에 사용된 것에 대응하지 않는 머리 위치들의 경우, 가상 스피커 위치가 실제 스피커 위치와 정렬하지 않을 수도 있다. 보간 방법 배후의 아이디어는, 스피커와 이어 마운트형 마이크로폰들 사이의 임펄스 응답 특성이 머리를 돌림에 따라 아마도 비교적 느리게 변화할 것이고, 소수의 머리 위치들에 대해 측정되었으면, 구체적으로 측정되지 않은 상기 머리 위치들에 대한 임펄스 특성이 임펄스 데이터가 존재하지 않는 상기 머리 위치들 사이에서 보간함으로써 연산될 수가 있다는 것이다. 따라서 컨벌버들에 로딩된 임펄스 응답 데이터는 상기 측정 머리 위치들에 대응하는 머리 위치들만에 대한 원래의 PRIR들의 것과 정확하게 매치한다. 이론적으로는, 머리 방향들이 전체의 청각 영역(auditory sphere)에 커버(cover)할 수 있고, 만약 약간의 측정들만이 상기 움직임들의 범위를 커 버(cover)하도록 취해지면, PRIR들 사이의 차이가 커지고 따라서 보간에 적합하지 않게 될것이다.

일반적인 청취자 머리 움직임들이 확인되고, 상기 좁은 범위의 머리 움직임들을 커버(cover)하기에 충분한 측정들만이 실행되고 보간 프로세스에 응용되는 방법이 개시된다. 인접한 PRIR들 사이의 차이가 작으면, 상기 측정된 PRIR들에 기반하여 즉시의 임펄스 응답을 연산함으로써 머리 추적기가 청취자의 머리 위치가 상기 PRIR들의 것과 더 이상 일치하지 않음을 나타낼 때조차도 보간 프로세스는 가상 스피커 위치를 정지상태로 유지시켜야 한다. 보간 프로세스가 정확하게 동작하기 위해서는, 많은 단계로 구분된다.

1)개인화 프로세스로부터 출력된 가공되지 않은(raw) 임펄스 응답들의 본질적인 귀간 시간 지연들이 측정되고, 기록되고, 상기 임펄스 데이터로부터 제거된다. 즉, 모든 임펄스 응답들이 시간 정렬(time-align)된다. 이것은 개인화 측정들이 완료된 후 1번만 실시된다.

2)상기 시간 정렬된 임펄스들은 직접 보간되고, 여기서 보간 계수들이 실시간으로 연산되거나, 청취자의 머리 추적기에 의해 표시되는 머리 방향에 기반하여 룩업 테이블(lookup table)로부터 유도되고, 상기 보간된 임펄스는 오디오 신호들을 컨벌브하는데 사용된다.

3)좌측 및 우측 귀 오디오 신호들은, 청취자의 좌측 및 우측 귀들과 가상 스피커와 일치하는 실제의 스피커 사이에 일반적으로 존재하는 상이한 경로 길이들의 효과를 모사(simulate)하는 가상 귀산 지연들에 매치하도록 지연들을 연속적으로 조정하는 개별적인 가변 지연 버퍼들을 PRIR 컨벌루션 프로세스 이전에 또는 이후에 통과한다. 상기 경로 길이들은 실시간으로 연산될 수 있거나, 청취자의 머리 추적기에 의해 표시되는 머리 방향에 기반하여 룩업 테이블로부터 유도될 수 있다.

임펄스 응답들의 시간 정렬

효과적인 임펄스 보간을 제공하기 위해서는, PRIR들을 시간 정렬하는 것이 바람직하다. 하지만 모든 PRIR들 사이의 상이한 시간 지연들은, 가상화기 환영을 완전히 재형성하기 위하여 고정 지연 버퍼와 머리 추적 유도형 가변 지연 버퍼의 조합을 사용하여 PRIR 컨벌루션 프로세스 이전에 또는 이후에 오디오 신호들에 되돌려진다. 이것을 달성하는 방법 하나는 여러 가지 시간 지연들을 측정하고, 그것들을 저장한 후, 그것들이 개략적으로 시간 정렬되도록 각 PRIR로부터 상기 지연 샘플들을 제거하는 것이다. 또 다른 접근 방법은 상기 지연들을 단순히 제거하고, 상기 지연들이 PRIR 데이터에 독립적으로 연산될 수 있도록 PRIR 머리 각도들 및 스피커 위치들에 관한 충분한 정보를 입력하는 사용자에 의존하는 것이다.

(사용자가 데이터를 입력시키는 것보다) PRIR 데이터로부터 지연들을 예측하는 것이 바람직하면, 첫 번째 단계는, 가공되지 않은 PRIR 데이터 파일들을 검색(search)하고 각 임펄스의 온셋을 정함으로써 스피커에서부터 이어 마운트형 마이크로폰까지의 절대적인 시간 지연들을 측정하는 것이다. 일 구현에서, MLS의 재생 및 기록이 엄격하게 제어되고 매우 재현성이 있기 때문에, 각 임펄스 온셋의 위치는 상기 스피커와 마이크로폰 사이의 경로 길이에 관련된다. 아날로그 및 디지털 회로에서의 레이턴시(latency) 때문에, 임의의 고정 지연 오프셋은 스피커-마이크 로폰 거리가 작을 때조차도 PRIR에 항상 존재하나, 이것은 조절(calibration) 절차 동안에 측정될 수 있고 연산으로부터 제거될 수 있다.

파형 피크(peak)를 검출하는 많은 방법들이 존재하고, 당업계에 공지되어 있다. 일관되게 효력 있는 방법은 전체의 임펄스 응답 파형에 걸쳐 절대적인 피크 값을 측정한 후 상기 값을 사용하여 피크 검출 한계(threshold)를 연산하는 방법이다. 그 다음에, 상기 한계와 각 샘플을 순차적으로 비교하는 검색이 임펄스 파일의 초기에서부터 시작된다. 상기 한계를 첫 번째 초과하는 샘플은 임펄스 온셋을 정의한다. 임의의 하드웨어 오프셋보다 작은 상기 파일의 시작에서부터 샘플의 위치는, 샘플에서 스피커와 마이크로폰 사이의 전체 경로 길이의 척도이다.

일단 지연들이 각 PRIR에 대해 측정되고 저장되었으면, 임펄스 온셋까지의 모든 데이터 샘플들이 PRIR 데이터 파일들로부터 제거되어 각 파일의 시작과 일치하거나 아주 근접한 진정한 임펄스 파형들을 남긴다. 두 번째 단계는, 각각의 실제의 스피커에서부터 머리의 중앙까지의 샘플 지연을 측정하는 단계 및 이것을 사용하여 개인화 측정들 동안에 취해진 각 머리 위치에 대한 좌측 및 우측 귀 마이크로폰들 사이에 존재하는 귀간 지연들을 연산하는 단계를 포함한다. 스피커-머리 샘플 경로 길이는 좌측 및 우측 귀 임펄스 온셋들 사이의 평균값을 취함으로써 연산된다. 동일한 스피커를 측정하는데 사용된 모든 머리 위치들에 대하여 동일한 값이 발견되어야 하지만 사소한 차이들이 존재할 수 있으며, 평균화된 스피커 경로가 바람직할 수도 있다. 그 다음에, 귀간 경로 차이는 모든 머리 위치들과 모든 스피커들에 대한 모든 쌍의 임펄스 응답들에 대하여 좌측 귀 경로 길이에서 우측 귀 경로 길이를 차감함으로써 연산된다.

지금까지 설명한 방법은 여기 스피커를 통한 MLS 재생의 것과 동일한 레이트(rate)로 샘플링된 가공되지 않은 PRIR 데이터에서 동작한다. 일반적으로, 상기 샘플링 레이트는 48KHz의 범위이다. 더 높은 MLS 샘플링 비율들이 가능하고, 실제로, 종종, 예를 들어 96KHz의 고 샘플링 비율들에서 가상화 시스템을 실행하길 원할 때 바람직하다. 또한, 고 샘플링 비율들은 PRIR 파일들의 더 정확한 시간 정렬을 허용하고, 가변 버퍼 구현들이 일반적으로 샘플 기간의 일부분으로의 지연 축소를 제공하기 때문에, 추가적인 정확도가 용이하게 개발될 수 있다. MLS 프로세스의 기본적인 샘플링 레이트를 높이기보다는, PRIR 데이터 샘플들을 임의의 해상도(resolution)로 오버 샘플링(over sampling)하고 상기 오버 샘플링된 데이터에 기반하여 임펄스들을 시간 정렬하는 것이 가능하다. 일단 이것이 달성되면, 상기 임펄스 데이터가 다운 샘플링(down sampling)되어 상기 샘플 레이트가 원래의 샘플링 레이트로 복귀되고, 보간기에 의해 사용되기 위하여 저장된다. 엄격히 말하면, 정렬을 달성하기 위하여 각 임펄스 쌍의 좌측 귀 또는 우측 귀를 오버 샘플링하는 것만이 필요하다.

임펄스 응답 보간

시간 정렬된 임펄스 데이터를 보간하는 것은 비교적 간단하고, 머리 추적기에 의해 실시간으로 전송되는 청취자의 머리 방향 각도들에 기반하여 선형적으로 구현된다. 가장 간단한 구현은 임의의 명목적인 시야각의 양측의 2개 측정 각도들에 대응하는 2개의 임펄스들 응답들 사이에서 보간한다. 하지만 중요한 성능 개선 이 명목적인 시야 머리 방향을 개략화하는 머리 위치를 채택함으로써 제3 측정을 2개의 외부 측정들 사이의 중간으로 만듦으로써 실현될 수도 있다.

예로서, 상기 3 지점 선형 보간을 위한 프로세스가 도 15에 도시되어 있다. 시간 정렬형 PRIR 보간 프로세스(15)는 머리 추적기 머리 각도(10), 기준 머리 각도(12) 및 가상 스피커 오프셋 각도(11)의 분석으로부터 연산되는(9) 3개의 보간 계수들(6, 7, 8)을 입력한다. 보간 계수들은, 멀티플라이어들(multipliers)(4)을 사용하여 버퍼들(1, 2, 3)로부터 각각 출력되는 임펄스 응답 샘플들의 진폭을 스케일(scale)하는데 사용된다. 상기 스케일된 샘플들은 합산되고(5), 저장되며(13), 요구에 따라 컨벌버에 출력된다(14). 상기 임펄스 응답 버퍼들 각각은 일반적으로 수백 밀리 세컨드의 반향파 시간을 가진 개인화 공간 임펄스 응답을 나타내는 수천개의 샘플들을 계속 붙잡아둔다. 상기 보간 프로세스는 경제성과 속도 때문에 일반적으로 상기 버퍼들(1, 2, 3)에 붙잡아둔 모든 샘플들을 처리하며, 소수의 샘플들에 걸쳐 보간을 실행하고, 상기 임펄스 응답 버퍼들 중 하나로부터의 대응 샘플들을 사용하여 보간되지 않은 상기 위치들(13)에 채우는 것이 가능하다. 머리 추적기 각도들을 리딩(reading) 하고, 보간 계수들을 연산하고, 보간된 PRIR 데이터 파일(13)을 업데이트(update)하는 프로세스는 일반적으로 가상화기 입력 오디오 프레임 레이트 또는 머리 추적기 업데이트 레이트로 진행한다. 상기 설명을 위한 기본적인 보간 방정식은 수학식2와 같이 표시된다.

보간된 IR(n) = a*IR1(n)+b*IR2(n)+c*IR3(n); n=0, 임펄스 길이인 경우

상기 예에서, 임펄스 응답 버퍼들(1, 2, 3)은 기준 머리 각(θref)(12)에 대하여, -30도(또는 반시계방향으로 30도), 0도 및 +30도의 청취자 수평 머리 각도들에 각각 대응하는 PRIR들을 포함한다. 상기 경우의 보간 계수들은 일반적으로 다음과 같이 머리 추적기 각도(θ_T)에 따라 연산된다. 먼저, 정상화된 머리 추적 각도(θ)는 수학식3으로 표시된다.

θn = (θ_T - θref), -30＜θn＜30으로 제한됨

여기서, 기준 머리 각도(θref)는 임의의 시청 또는 청취 머리 각도에 대응하는 고정된 머리 추적기 각도이다. 가상 스피커 오프셋 각도가 제로(0)이면, 상기 계수들은 다음의 수학식들과 같이 표시된다.

a = (θn)/-30, -30＜θn≤0 인 경우

b = 1.0 - a, -30＜θn≤0 인 경우

c = 0.0, -30＜θn≤0 인 경우

a = 0.0, 30＞θn＞0 인 경우

c = (θn)/30, 30＞θn＞0 인 경우

b = 1.0 - c, 30＞θn＞0 인 경우

따라서, 1과 0으로 모두 한정된다. 가상 스피커 오프셋 각도(θv)는, 예를 들어 상기 측정된 스피커와 위치가 일치하지 않는 실제 스피커들에 정렬하는데 필요한 바와 같이, 가상 스피커 위치를 θref에 대하여 약간 이동시키도록 하는 상기 정상화된 머리 추적 각도에 추가되는 각도 오프셋이다. 각각의 가상 스피커에 대해 개별적인 θ_V가 존재한다. 3개의 버퍼들에 붙잡아둔 PRIR 파일들은 단지 고정된 범위의 머리 각도들 - 본 예에서, +/- 30도를 대표하기 때문에, 상기 오프셋들의 사용은 θref에 대한 머리 추적 범위를 감소하는 결과를 가져온다. 예를 들면, θ_VL이 좌전방 가상 스피커에 인가되는 오프셋을 나타낼 때, 상기 스피커에 대한 정상화된 머리 추적 각도(θn_L)는 수학식7과 같다.

θn_L = (θ_T - θref + θ_VL), 또 다시 -30＜θn_L＜30으로 한정됨

지금까지 상기 설명은, 3개의 머리 각도들 -30도, 0도 및 +30도에서 측정된 스피커에 대응하는 단일 셋트의 PRIR 파일들 사이에서 보간을 하였다. 정상 동작 상태에서는, 개인화 측정 각도들은 임의적이고, 거의 기준(θref) 근처에서 거의 확실히 비대칭이다. 상기 상태들에서의 더욱 일반적인 형태의 보간 방정식들은 다음의 수학식들과 같이 표시된다.

θn_X = (θ_T - θref + θ_VX), θ_L＜θn_X＜30으로 한정됨

a = (θnx - θ_C)/(θ_L - θ_C), θ_L＜θn_X≤θ_C 인 경우

b = 1.0 - a, θ_L＜θn_X≤θ_C 인 경우

c = 0.0, θ_L＜θn_X≤θ_C 인 경우

a = 0.0, θ_R＞θn_X＞θ_C 인 경우

c = (θnx - θ_C)/(θ_R - θ_C), θ_R＞θn_X＞θ_C 인 경우

b = 1.0 - c, θ_R＞θn_X＞θ_C 인 경우

여기서, θ_VX는 스피커(X)에 대한 가상 오프셋이고, θn_X는 가상 스피커(X)에 대한 정상화된 머리 추적 각도이고, θ_L, θ_C, θ_R은 θref를 기준으로 하여 좌측, 중앙, 우측을 각각 바라보는 3개의 측정 각도들이다. 가상 오프셋들(θ_VX)이 각각의 스피커에 대해 상이하다는 것을 고려하여 모든 가상 스피커들에 대한 각각의 좌측 및 우측 귀 PRIR의 보간 프로세스가 반복된다.

또한, 고도(피치)를 포함하는 머리 위치들에 대한 PRIR이 존재할 때, 보간이 달성될 수 있다. 도 32a는 머리 방향들 (A;185, B;184, C;177, D;186, E;187)에 대한 5개의 PRIR 측정들 셋트들이 존재하는 예를 도시한다. 보간은 일반적으로 상기 영역을 삼각형들(188, 189, 190, 191)로 분할하고, 청취자의 머리 각도가 어느 삼각형에 위치하는지 결정하고, 상기 삼각형을 형성하는 3개의 꼭지점(apex) 측정 지점들에 대하여 상기 머리 각도가 위치하는 곳을 기초로 하여 3개의 보간 계수들을 연산함으로써 달성된다. 도 32b는 예로서 꼭지점들(A, B, C)이 각각 원래의 측정 지점들(185, 184, 177)에 대응하는 삼각형 내에 위치하는 현재의 청취자 머리 방향(194)을 도시한다. 상기 삼각형은 상기 머리 각도 점(194)이 각 소삼각형(sub-triangle)의 새로운 꼭지점을 형성하는 바와 같이 또 다시 세분된다. 소영역(A';192)은 머리 각도 점(177)과 꼭지점들(B, C)에 의해 경계된다. 마찬가지로, 소영역(B';193)은 상기 점(194, A, C)에 의해 경계되고, 소영역(C';195)은 상기 점(194, A, B)에 의해 경계된다. 보간 방정식은 수학식 15에 의해 표시된다.

보간된 IR(n) = a*IRA(n)+b*IRB(n)+c*IRC(n); n=0, 임펄스 길이인 경우

여기서, IRA(n), IRB(n), IRC(n)는 측정 지점들(A, B, C)에 대응하는 임펄스 응답 데이터 버퍼들이다. 보간 계수들(a, b, c)은 수학식 16, 수학식17, 수학식 18에 의해 각각 표시된다.

a = A'/(A' + B' + C')

b = B'/(A' + B' + C')

c = C'/(A' + B' + C')

상기 방법은 머리 추적기가 청취자의 머리가 지향하고 있는 것을 나타내는 원래의 측정 경계들을 만드는 삼각형들 중 어떤 것에도 사용될 수 있다. 소영역(A', B', C')을 연산하는 많은 방법들이 기존에 존재한다. 가장 정확한 방법들은 측정 지점들(A, B, C, D, E)과 머리 위치 지점(194) 모두가 중앙이 청취자 머리와 일치하는 영역면(surface of sphere) 내에 위치하는 것을 가정한다. 청취자의 머리 요동 및 피치 좌표들이 ω_T로 표시되면, 수평 보간의 경우와 같이, 청취자의 머리 요동 및 피치 좌표들은 임의의 시야 요동 및 피치 방향(ωref)에 참조되고, 측정 2차원 경계선들 내에 위치하도록 제한된다. 도 32a의 경우에, 정상화된 추적기 좌표(ω_n)들은 수학식 19와 수학식 20과 같이 정의된다.

ωn = (ω_T - ωref) AB<ωn(요동)<DE로 제한됨

BE<ωn(피치)<AD로 제한됨

여기서, AB, DE, AD, BE는 측정 영역의 좌, 우, 상, 하 경계선들을 나타낸다. 또다시, 가상 스피커(x)에 대한 2차원 오프셋(ω_VX)은 가상 스피커의 인식된 위치를 기준 시야 방향(ωref)에 대하여 이동시키도록 정상화된 좌표들(ωn)에 추가되어 수학식 21 및 수학식 22와 같이 표시될 수 있다.

ωnx = (ω_T - ωref + ω_VX) AB<ωnx(요동)<DE로 제한됨

BE<ωnx(피치)<AD로 제한됨

상기 논의들은 PRIR 측정 머리 방향들이 기준 머리 방향에 관하여 측정된 것임을 가정하였다. 상기 PRIR 방향들은 단지 서로에 관하여 알려져 있으면, 기준 머 리 방향에 대한 그것들의 정확한 관계가 불명확해질 수도 있다. 상기 경우에, 상기 PRIR 측정 범위의 중간점을 연산하고 상기 측정 좌표들을 상기 점에 참조함으로써 개략적인 중앙 기준을 확립하는 것이 필요하다. 이것은, 상기 중간점이 그것들의 획득 동안에 사용된 기준 머리 방향과 일치하지 않을 수 있기 때문에, 가상화 재생 동안에 정확한 가상-실제 스피커 정렬을 보장하지 못한다. 상기 경우의 정렬은 본 출원에서 설명된 바와 같이, 헤드폰들을 통하여 가상화된 스피커들을 청취하는 동안에 대화식으로만 신뢰성이 달성될 수 있다.

보간 계수 연산들의 연산 부하를 줄이기 위해, 가상화기 초기 단계 동안에 개별 값(discrete value)의 룩업 테이블을 확립하는 것이 가능하다. 그 후, 상기 값들은 머리 추적기 각도들을 기반하여 상기 테이블로부터 파악된다. 상기 룩업 테이블들은 상기 PRIR들과 함께 저장되어, 가상화기 초기화 루틴들에 의해 부하될 때마다 상기 테이블들을 재형성할 필요를 방지할 수 있다. 또한, 상기 논의들은 예로서 2지점, 3지점 및 5지점 PRIR 보간 방법들을 참조한다. 상기 PRIR 보간 기술들은 상기한 구체적인 예들에 한정되지 아니하고, 본 발명의 범위를 벗어남 없이 머리 방향들의 많은 조합들에 응용될 수 있다.

선보간된 임펄스 응답 저장

청취자 머리 각도들의 변화에 따라 상기 PRIR들을 변경하는 방법 하나는 몇몇 셋트의 산개 측정된 PRIR들로부터 보간된 임펄스 응답을 온더플라이(on-the-fly) 방식으로 연산하는 것이다. 다른 방법은 중간 응답들의 범위를 미리 선연산하고 이것들을 메모리에 저장시키는 것이다. 어떤 오프셋이든지 포함한 머리 추적기 각도들은 실시간 가상화 동안에 보간 계수들을 생성하거나 PRIR 보간 프로세스를 실행할 필요없이 상기 파일들을 직접 액세스(access)하는데 사용된다. 상기 방법은 실시간 메모리 리드 및 연산들의 회수가 상기 보간된 경우보다 더 낮은 이점을 가진다. 상기 방법의 큰 단점은 동적 머리 추적 동안 중간 응답들 사이의 충분히 순조로운 천이들(transitions)을 달성하기 위하여, 많은 임펄스 응답 파일들이 필요하여 시스템 메모리에 과중한 요구를 한다는 것이다.

경로 길이 연산

각 스피커와 각 머리 위치에 대해 측정된 원래의 좌측 및 우측 귀 PRIR들을 반드시 시간 정렬되지 않기 때문에, 즉 원래의 좌측 및 우측 귀 PRIR들이 귀간 시간 차이(또는 지연)를 나타낼 수도 있기 때문에, 상기 좌측 및 우측 귀 오디오 신호들을 시간 정렬된 임펄스 응답들과 컨벌빙한 후에, 상기 컨벌빙된 오디오 신호들을 가변 지연 버퍼들을 통과시킴으로써 상기 차이를 재도입할 필요가 있을 수도 있다. 귀간 지연들은 수평면(요동)의 머리 움직임들과 머리 회전(roll)에 대해서만 정현파 형태로 변동한다. 머리의 승강(피치)은, 피치 축이 본질적으로, 귀들 자체들과 정렬하기 때문에, 도달 시간들에 영향을 주지 못한다. 그러므로 머리 위치가 회전 및 승강을 포함하는 개인화 측정들의 경우, 가변 지연 버퍼들을 구동하는데 사용되는 것은 머리 추적기의 요동 각도뿐이다. 수평각도 대신에 머리 회전 각도들에 대한 PRIR 데이터가 존재하는 곳에서는, 귀간 시간 지연 연산은 머리 추적기 회전 각도의 변화들을 고려한다. 귀간 시간 지연들이 있을 때의 상기 요동 또는 회전 움직임들의 최대량은 궁극적으로, 청취자의 머리에 관한 스피커의 위치에 의존한 다.

예로서, 도 9, 도 10, 도 11의 수평면 측정들에 대한 좌측 및 우측 이어 마운트형 마이크로폰들 사이의 일반적인 귀간 경로 차이(△)가 도 13에 도시된다. y축 (147)으로 플로트된 바와 같이, △(149)가 양(+)이면, 좌측 귀 마이크로폰에 대한 경로 길이가 최대이다. 머리 회전에 관하여 △의 변동은 x축(150)으로 플로팅되고, 개략적으로 정현파(149)로 플로팅되어, 귀들을 통한 축이 사운드 소스와 정렬할 때 피크 값들(148, 155)에 도달한다. 상기 정현파의 실선 부분은 각각 도 10, 도 9, 도 11에 도시된 3개의 머리 시야 위치들(154, 153, 151)을 각각 경계하는 곡선의 영역을 나타낸다. 상기 3개 지점들의 정현파 진폭은 각 머리 위치에 대한 PRIR 데이터로부터 측정된 경로 길이 차이를 나타내고, 그것들의 관련 머리 각도는 x축에 대조된다. 상기 경로 길이 보간 방법은 어떤 중간 경로 지연이 머리 각도들(A, B, C) 사이에 생성될 수 있도록 상기 머리 추적기에 의해 표시되는 머리 각도들(150)에 대한 정현파 진폭을 연산하는 단계를 포함한다. 상기 정현파가 완전한 0도 내지 360도 머리 회전 범위에 대해 자동적으로 정의되기 때문에, 상기 머리 추적기가 머리가 도 13에서 점선(149)으로 도시된 바와 같이 측정 경계들 외부로 이동하였음을 나타낼 때조차 경로 길이 연산들을 계속할 수 있다.

임의의 특정한 스피커의 경우, 정현파 방정식은, 2개 이상의 PRIR 측정 지점들의 경로 차이와 머리 각도 값들을 사용하여 푼다. 상기 점들(A, B, C)에 대한 기본적인 방정식들은 다음의 수학식 23, 수학식 24, 수학식 25와 같다.

피크*sin(θ) = △_A

피크*sin(θ+ω) = △_B

피크*sin(θ+ω+ε) = △_C

여기서, 피크는 사운드 소스가 귀들에 수직일 때의 최대 귀간 지연이고, θ는 측정 지점(A)에 대응하는 정현파 곡선 상의 각도이고, △_A, △_B, △_C는 각각 점들(A, B, C)에 대한 상이한 지연들이고, ω는 점들(A, B) 사이에 내재된 각도이고, ε는 점들 (B, C) 사이에 내재된 각도이다.

첫 번째 두 개의 방정식들을 사용하여 θ를 푸는 방정식은 수학식 26으로 표시된다.

sin(θ + ω)/sin(θ) = △_B/△_A

2개 이상의 머리 각도들이 청취자 범위를 정의하고, 알려진 경로 차이들(△)(예를 들면 △_A와 △_B)을 나타내는 좌측 및 우측 귀 PRIR 데이터 셋트들이 상기 각도들에 관련되고, 머리 각도들 사이의 각 변위(ω)가 또한 알고 있으면, θ는 반 복법에 의해 쉽게 결정될 수 있다. 측정 부정확성 때문에, 첫 번째 레이트의 결과를 확인하거나 평균을 생성하기 위하여, 추가 측정들이 존재하는 제2 레이트, 즉 본 예에서의 △_C/△_A를 생성하는 것이 바람직할 수 있다. 상기 정현파의 진폭, 즉 피크(PEAK)는 치환에 의해 알 수 있다. 상기 방법은 스피커 PRIR 데이터의 모든 좌측 및 우측 귀 셋트에 대해 반복된다. 가상 스피커(x)에 대한 일반적인 경로 차이 방정식은 수학식 27과 같이 표시된다.

△_X = 피크_X * sin(θ_X + ρ)

여기서, ρ는 청취자의 머리 회전에 관련된 각도이다. 더욱 상세하게는, 원래의 측정 지점들이 θref를 기준으로 하고 있기 때문에, 추적기에 의해 표시되는 바와 같은 청취자의 머리 각도(θt)는 개략적으로 수학식 28과 같이 정상화된 청취자 머리 각도(θn)를 나타내는 오프셋이다.

θn = (θt - θref)

상기 각도는 일반적으로 상기 측정 지점들의 각 한계치들 이내로 한정되나, 이것은 모든 머리 각도들에 대한 경로 차이들이 정확하게 연산될 수 있기 때문에 엄격하게 필요하지 않다. 상기한 것은 수학식 29와 같이 가상화된 스피커 오프셋 들(θ_VX)을 적용할 때 사실이다.

θn_X = (θt - θref + θ_VX)

상기 정상화된 머리 각도는 이제 도 13에 도시된 정현파 함수에 참조된다. 각각의 가상 스피커에 대한 경로 길이 각도(θ_△X)는 수학식 30과 같이 상기 정상화된 머리 각도에서 최좌측 측정 각도(θ_A)를 차감함으로써 연산된다.

θ_△X = (θn_X - θ_A)

그러므로 상기 정상화된 각도가 상기 좌측 측정 지점과 동일할 때, 상기 경로 길이 각도(θ_△X)가 제로이다. 스피커(x)에 대한 경로 길이 차이는 이제 수학식 31을 사용하여 연산된다.

△n_X = 피크_X * sin(θ_X + θ_△X)

전형적으로, 정현파 함수는 서브루틴(subroutine)을 사용하여 연산되거나, 몇몇 형태의 개별적인 룩업 테이블을 사용하여 예측된다.

상기 설명은 수평 머리 회전(요동)의 예에 초점이 맞춰져 있다. 머리 고도(피치)의 변화들은 귀간 지연들에 영향을 미치지 못한다. 이것은, 피치 각도의 선택이 그것들의 PRIR 데이터 셋들로부터 정현파 함수를 구축하기에 이를 때 중요하지 않다는 것을 의미한다. 머리 회전(roll)이 가상화된 귀간 지연들을 조절하는데 사용되어져야 할 곳에서는, 상이한 회전 각도들에 대해 획득된 PRIR 데이터로부터 측정된 귀간 시간 지연들을 사용하여 동일한 일반적인 접근 방법을 채택할 수 있다. 상기 경우에, 요동 머리 움직임들로부터 연산된 귀간 지연들은 회전각도 정도에 기초하여 수정된다. 여러 절차들이 상기 2차원 보간 프로세스를 구현하는데 이용 가능하고, 기술 분야에 공지되어 있다. 더욱이 요동 경로 길이 연산을 설명하는데 사용된 도면들은 3점 PRIR 구성에 초점을 두었다. 경로 길이 공식이 본 발명의 범위를 벗어남 없이 PRIR 머리 방향들의 광범위 조합들을 사용하여 수립될 수 있다.

어떤 하나의 스피커에 대하여 귀들 사이에 존재하는 귀간(상이한) 지연들을 별문제로 두고, 경로 길이 차이들이 여러 스피커들 사이에 잠재적으로 존재한다. 즉, 스피커들은 청취자의 머리로부터 등거리가 아닐 수 있다. 스피커간 상이한 지연들은 먼저 최단 경로 길이, 즉 청취자 머리에 최근접한 스피커를 확인하고, 그 자체 및 모든 다른 스피커 경로 길이 값들로부터 상기 값을 차감함으로써 연산된다. 상기 상이한 값들은 귀간 지연 프로세싱을 구현하도록 만들어지는 적응성 지연 버퍼들의 고정 요소가 될 수 있다. 한편, 어느 것이 먼저 이든지 가변 귀간 지연 버퍼들 또는 PRIR 컨벌버들에 공급하도록 분리되기 전에 오디오 신호 경로들의 상 기 지연들을 구현하는 것이 더욱 바람직할 수도 있다.

공통의 스피커 지연, 즉 상기 머리까지의 최소 경로 길이는 고정 지연 버퍼들을 사용하여 상기 프로세서의 어떤 단계에서든지 구현될 수 있다. 가상화기의 입력을 지연하는 것이 바람직할 수 있거나, 다른 방법으로 상기 지연이 상당한 머리 추적 레이턴시를 도입하지 못할 정도로 충분히 작을 경우, 가상화기의 출력에서 공급되는 헤드폰 신호 피드에 도입될 수 있다. 하지만 종종, 가상화기 하드웨어 구현 자체는 상당한 신호 처리 지연 또는 레이턴시를 나타내고, 그래서 최소 스피커 경로 지연은 일반적으로, 하드웨어 레이턴시의 크기에 의해 감소되고, 전혀 필요하지 않을 수도 있다.

수동으로 공식화된 경로 길이 연산기

지금까지의 논의는 PRIR 데이터를 분석함으로써 경로 길이 방정식들 및/또는 관련 룩업 테이블들을 결정하는 방법을 설명하였다. PRIR 머리 방향들 각도들과 PRIR 스피커들 사이의 관계가 이미 알려져 있으면, 상기 데이터를 사용하여 상기 경로 길이 공식을 직접 수립하는 것이 가능하다. 예를 들면, 사용자가 PRIR 측정들을 하는 동안에 머리 추적기를 장착하고 있었다면, PRIR 각도들은 이미 알려져 있을 것이다. 덧붙여, 스피커들의 위치들이 또한 기준 방향에 관하여 알려져 있으면, 어떤 추가적인 분석 없이 상기 경로 길이 방정식들을 직접 공식화하는 것이 가능하다. 이러한 방법을 지지하려면 연산들이 이루어지도록 사용자가 수동으로 스피커들의 위치들을 가상화기에 입력하는 것이 필요하다. 상기 위치들은 PRIR 머리 각도들을 측정하는데 사용되는 동일한 좌표에 참조된다. PRIR 머리 각도들은 또한 동일한 방식으로 입력되거나, PRIR 절차 동안에 머리 추적기로부터 샘플링될 수 있다.

일단 PRIR 머리 각도들과 스피커 위치들이 가상화기에 설치되면, 상기 데이터는 PRIR 데이터와 함께 저장되어 상기 PRIR이 가상화기 초기화 루틴들에 의해 부하될 때마다 경로 길이 공식이 재생성되도록 한다.

가변 지연 버퍼의 구현

디지털 가변 지연 버퍼들이 공지되어 있고, 많은 효율적인 구현예들이 종래에 존재한다. 도 17은 전형적인 구현예를 도시한다. 가변 지연 버퍼(17)는 샘플들 사이에 제로를 삽입함으로써 입력 스트림(input stream)을 오버 샘플링하고(18), 저역 통과 필터링하여(19) 이미지 엘리어스들(image aliases)을 거부한다. 상기 샘플들이 고정 길이 버퍼들(25)의 최상부(top)에 입력되고, 상기 버퍼의 내용들이 체계적으로 샘플 기간에 걸쳐 각각의 최하부(bottom)로 셔플(shuffle)된다. 샘플들은, 청취자들 머리 방향, 기준 각도들, 어떤 가상 스피커 오프셋(10, 11, 12)에 의해 구동되는 귀간 시간 지연 연산기(24)에 의해 어드레스(20)가 결정되는 버퍼 위치로부터 리드된다. 예를 들면, 머리 회전 각도들이 없는 상태에서, 상기 연산기는 수학식 31의 형태를 갖는다. 상기 버퍼에서 리드된 샘플들은 다운 샘플링되고(22), 나머지 샘플들이 출력된다. 상기 버퍼의 지연은 상기 샘플들이 리드되는 위치의 어드레스(20)를 변경시킴으로써 영향을 받고, 이것은 가상화기가 실행되는 동안에 동적으로 발생한다. 상기 지연은 상기 버퍼의 최상부에서 출력 샘플들을 가져 제로에서부터, 최하위 위치에서 출력 샘플들을 가져오는 버퍼 자체의 샘플 사이즈까지의 범위에 걸칠 수가 있다. 전형적으로, 오버 샘플링 레이트(18)는 출력 어드레스를 가변하는 단계가 청취할 수 있는 인공물들(artifacts)을 야기하지 않는 것을 보장하는 수백의 차수(in the order of 100s)이다.

선연산된 경로 길이들

청취자들 머리 각도들의 변화에 따라 귀간 경로 길이를 변경하는 일 방법은, 온더플라이(on-the-fly) 연산을 통하거나 몇몇 종류의 사인(sine) 룩업 테이블을 통한 정현파 함수에 기초하여, 가변 지연 경로 길이들을 연산하는 것이다. 다른 방법은 예상된 머리 움직임 범위를 대처하는, 각 스피커에 대한 경로 길이들의 범위를 미리 선연산하고, 이것들을 룩업 테이블들에 저장하는 것이다. 개별적인 경로 길이 값들은 머리 추적기 각도들을 가변함에 따라 액세스된다.

가상-실제 스피커 인식 거리를 매칭함

사람들이 사운드 소스들의 인식 거리의 차이들에 비교적 둔감한 반면, 청취자와 개인화된 측정들을 하는데 사용된 스피커 사이의 거리와, 청취자와 가상 이미지를 시각적으로 강화하는데 사용되고 있는 실제의 스피커 사이의 거리의 큰 거리 차이들은, 심리 음향학적으로 조화시키기가 어려울 것이다. 상기 문제는, 예를 들어 비행기 또는 차량 엔터테이먼트 시스템들과 같이 시청 화면이 청취자의 머리에 비교적 근접할 때, 더욱 명백하다. 더욱이 상기 환경에서, 상기 재생 시스템을 개인화하는 것은 종종 비실용적이다. 상기 이유 때문에, 본 발명의 실시예들은 인식된 가상 스피커 거리를 가변시키기 위하여 상기 개인화된 공간 임펄스 응답들 자체를 수정하는 방법을 포함한다. 상기 수정은 당해의 스피커에 대해 특정된, 상기 개인화된 공간 임펄스 응답의 직접적인 부분을 확인하는 단계와, 후자의 반향파 부분 에 관하여 그것의 진폭과 위치를 변화시키는 단계를 포함한다. 상기 수정된 공간 임펄스 응답이 이제 가상화기에 사용되면, 가상 스피커의 명백한 거리가 어느 정도 변경될 것이다.

이러한 수정의 예시가 도 12에 도시되어 있다. 본 예에서, 원래의 임펄스 응답(상부 기록(trace))은 물리적인 스피커와 너무 멀리 떨어져 있는 것으로 인식되는 가상 스피커를 투영하고, 상기 거리를 단축하도록(하부 기록) 수정하고자 한다. 전형적으로, 개인화된 공간 응답(161)의 직접적인 부분은 임펄스 온셋(162)에서 시작하는 파형의 1/5 내지 10ms를 포함하고, 어떤 공간 반사파들(164)의 도달 전에 스피커로부터 직접적으로 마이크로폰에 도달하는 임펄스 파형을 나타내는 응답의 일부분에 의해 정의된다.

상기 온셋(162)과 제1 반사파(164) 사이의 임펄스(161)의 직접적인 부분은 상기 수정된 임펄스 응답(163)에 변경 없이 복사된다. 스피커의 인식 거리는 상기 임펄스 응답의 직접적인 부분과 반향 부분의 상대 진폭에 의해 심하게 영향을 받고, 스피커가 가까울수록 상기 반향 신호에 비하여 직접 신호의 에너지가 더 커진다. 사운드 레벨이 사운드로부터의 거리의 제곱의 역에 의해 낮아지므로, 가상 스피커와 실제 스피커 사이의 인식 거리를 반감하려 한다면, 상기 반향 부분은 1/4로 감쇠한다. 그러므로 제1 공감 반사파의 온셋(164)에서 상기 공간 임펄스 응답(165)의 끝까지 나타나는 임펄스 응답의 진폭은 적절히 조절되고, 수정된 임펄스 응답(163)에 복사된다. 상기 예에서, 상기 직접적인 부분의 끝(166)과 상기 제1 반사의 시작(167) 사이의 시간은 상기 임펄스 샘플들을 제로들로 패딩아웃(padding out)함으로써 인위적으로 증가된다. 이것은, 피실험자가 스피커 사운드 소스에 근접할수록 직접적인 부분과 반향 부분의 상대적인 도달 시간들이 증가하는 사실을 모사(simulate)한다. 스피커 사운드를 더욱 멀리하기 위해서는, 상기 임펄스에 대한 수정이 반대 방법으로 이루어진다 - 상기 임펄스의 직접적인 부분이 반향 부분에 관하여 감쇠하고 상기 도달 시간이 제1 반사파에 바로 전에 임펄스 샘플들을 제거함으로써 단축될 수 있다.

중심을 벗어난 청취 위치들을 조절함

동일한 스피커 배열이 개인화 및 청취 활동들을 위하여 유지되어 있을 때조차도, 청취 위치가 개인화 측정들을 하는데 사용된 것과 동일하지 않으면, 가상-실제 스피커 배열은 달성되지 않을 수 있다. 상기 문제는 전형적으로, 예를 들어 1명 이상의 개인들이 임의의 스윗 스팟(sweet spot)에서 근거리 이격하여 위치할 수 있는 경우에, 1명 이상의 사람이 동시에 음악을 청취하거나 영화를 시청할 때 일어난다. 이것들과 같은 작은 위치적인 에러들은 본 명세서에 설명된 기술들을 사용하여 쉽게 보상될 수 있다. 먼저, 측정 위치에 관하여 청취 위치의 오프셋은 중앙 시청 방향에 관하여 실제 스피커들의 수평 및 높이 좌표를 변경할 수 있으며, 변경 정도는 각 스피커에 대해 상이하고 청취 위치 오프셋 에러의 크기에 종속한다. 실제 스피커들의 위치들을 알면, 그것들을 가상 스피커들과 재정렬하기 위해서는 보간기 오프셋(ω_V)(또는 θ_V)이 본 명세서에 설명된 방법을 사용하여 각 스피커에 대해 개별적으로 활용된다. 두 번째로, 청취자의 머리와 실제 스피커들 사이의 거리는 인 식된 가상 거리와 더 이상 정합하지 않을 수 있다. 원래의 거리가 알려져 있기 때문에, 개인화 측정들의 부산물인 각각의 가상 스피커에 대한 거리 에러가 연산될 수 있고, 대응하는 공간 임펄스 응답 데이터는 불일치를 제거하도록 본 명세서에 설명된 기술들을 사용하여 수정될 수 있다.

측정된 범위 외부에 위치하는 머리 움직임들

청취자 머리 움직임이 예를 들어 도 31에 도시된 점선(179) 외부로 나가는 경우처럼 개인화 측정 경계선의 한계들, 즉, 머리 추적 비회전 프로세스의 범위를 초과하는 상황들을 다루도록 활용할 수 있는 많은 방법들이 본 명세서에 개시되어 있다. 가장 기본적인 방법은 간단하게도, 머리 추적기가 경계의 침범이 발생하였음을 표시하는 어떤 축에 대하여 보간 프로세스를 중단하고, 머리가 다시 범위 내로 돌아올 때가지 그 값을 유지하는 것이다. 상기 방법의 효과는 가상 스피커 이미지가 범위 외부의 방향들에 대해 머리 움직임을 뒤따를 수도 있으나, 일단 범위 내로 들어오면 안정화되는 점이다.

다른 방법은 상이한 경로 길이 연산 프로세스가 범위 외부에서 계속 적용되는 것(수학식 31)을 허용하여, 임펄스 응답 보간을 범위 경계를 침범하기 전에 사용된 최종 값으로 고정하여 두는 것이다. 상기 방법의 효과는 가상 스피커들에서 나오는 고주파수들만이 범위 외부에서 머리에 따라 움직이는 것이다.

또 다른 방법은 몇몇 종류의 머리 위치 감쇠 프로파일을 사용하여 가상화기 출력의 진폭을 범위 외부에서 감쇠시키는 것이다. 이것은 종래의 방법들의 어떤 것과 조합하여 사용될 수 있다. 감쇠의 효과는 음향적 윈도우(window)를 형성함으로 써 사용자가 개인화된 지역(범위) 근처에서 바라보고 있을 때에만 사운드가 가상 스피커로부터 나오는 것이다. 상기 방법은, 머리가 범위 경계 외부로 건너간 직후에 오디오를 감쇠하는 것을 시작할 필요가 없다. 예를 들어 수평 측정들만이 (도 29 및 도 30에 도시된 바와 같이) 이루어진 경우에, 감쇠 프로세스를 일으키기 전에 고도(피치) 즉, 측정 중앙선(179)의 상, 하의 상당한 편차들을 허용하는 것이 바람직하다. 상기 감쇠 방법의 심리음향적 이점 하나는, 상기 감쇠 방법이, 청취자가 사운드 이미지 회전의 환영 감소 효과를 받기 쉬운 경향을 최소화하기 때문에 가상 사운드 스테이지를 상당히 강화시킨다. 상기 감쇠 방법의 또 다른 이점은, 상기 방법이 사용자가 볼륨 응용형 헤드폰들을 쉽게 제어하는 것을 허용하는 것이다. 예를 들면, 사용자들의 머리를 영화 화면을 외면함으로써 청취자가 효과적으로 상기 헤드폰들의 소리를 죽일 수 있다.

최종적인 방법은 동일한 개인화 데이터 셋트의 다른 가상 스피커들에 관련된 공간 임펄스 응답 데이터를 사용하여 개인화 범위를 인위적으로 확장하는 단계를 포함한다. 상기 방법은 완전한 +/-180도 머리 회전 각도에 걸쳐 신뢰성 있게 정확한 가상 경험을 가능하게 할 만큼 충분한 스피커들이 있는 멀티 채널 서라운드 사운드 타입 스피커 시스템들(도 34a)에 대해 매우 유용하다. 하지만 상기 방법은 보간 지역을 확장함으로써, 가상화되어 있는 것 이외의 위치들에 배치된 스피커들을 사용하여 측정된 공간 임펄스 응답 데이터를 사용하는 것이 필요할 수 있어, 가상 스피커들이 음파적으로 매칭되도록 보장할 수 없다.

음파적 미스매칭(mismatching)은 별문제로 하고, 상기 방법은 또한, 서라운 드 사운드 시스템에 배열된 스피커들이 등거리 배치되지 않고 동일 고도로 배치되지 않아 이로써 개인화가 단일의 수평면에서 실시되는 곳에서 청취자의 머리가 확장 영역을 통과할 때 가상 스피커와 실제 스피커 사이의 정확한 정렬을 유지하기가 어려울 수가 있는 점에서 문제가 있다. 개인화 측정들이 고도 요소를 포함하는 곳에서 상기 높이 미스매치들은 앞서 논의된 바와 같이 보간 오프셋을 사용하여, 머리가 회전함에 따라 동적으로 보상할 수 있다. 스피커 거리의 차이들은 또한, 머리가 회전함에 따라 이미 논의된 기술들을 사용하여 동적으로 보정될 수 있다.

통상적인 5채널 서라운드 사운드 스피커 형태를 사용한 방법은 도 34b에 도시되고, 청취자가 360도 회전할 때 좌전방 스피커(200(도 34a)를 가상화하도록 활용되는 여러 보간 조합들을 나타낸다. 도 34a의 예시는 평면도이고, 가상원(201)의 중심에 위치한 청취자(79)와, 가상원(201) 상에 위치한 5개 스피커들, 즉, 중앙(196), 우전방(197), 우측 서라운드(198), 좌측 서라운드(199) 및 좌전방(200) 사이의 각 관계를 강조한다. 상기 전방 중앙 스피커(196)는 0도 방향을 나타내고, 이는 청취자가 중앙 화면을 시청하고 있을 때 채택하는 방향이다. 좌전방 스피커(200)는 중앙 화면에서 -30도에 위치하고, 우전방 스피커(197)는 화면 중앙에서 +30도에 위치하며, 좌측 서라운드 스피커(199)는 -120도에 위치하고, 우측 서라운드 스피커(198)는 화면 중앙에서 +120도에 위치한다.

도 34b는 개인화 측정들이 단일의 수평면 상에서 실시되고, 상기 수평면(도 30에서 미리 도시됨) 상에서 +/- 30도의 범위를 각각 제공하는 좌전방(200), 화면 중앙(196) 및 우전방(197) 스피커들로 구성된 3개의 시청 지점들에 대해 모든 5개 스피커들이 측정되었다고 가정한다. 도 34b는 청취자의 머리가 완전한 360도에 걸쳐 움직일 때 좌전방 스피커(200)를 가상화하도록 보간기에 의해 사용되는 개인화된 데이터 셋들(202, 203, 204, 205, 206, 207, 208)의 조합들을 나타낸다. 모든 스피커들에 대한 개인화 측정들은 3개의 전방 스피커 위치들을 바라보며 이루어지고, 상기 범위(중앙 화면에서 +/-30도; 202) 이내에 있는 머리 각도들에 대해, 보간기는 실제의 좌전방 스피커를 사용하여 측정된 3 셋들의 공간 임펄스 응답들을 사용한다. 이것은 정상적인 동작 모드(mode)이다.

머리가 좌전방 스피커를 넘어 -30 내지 -90도의 영역(208) 내에 이동할 때, 보간기는 좌전방 스피커 데이터를 더 이상 사용할 수 없고, 보간기는 우전방 스피커에 대해 측정된 3 셋들의 공간 응답 임펄스를 활용하도록 강제된다. 상기 경우에, 보간기에 입력된 머리 회전 각도는, 머리가 상기 지역에 걸쳐 회전할 때 우전방 스피커 임펄스 데이터를 정확하게 액세스시키는 시계방향의 60도 차이의 오프셋이다. 좌, 우 전방 스피커들의 음파 특성은 유사하며, 스피커들이 동일한 고도에 위치하고 있을 경우, 전환은 이음매 없이(seamless) 이루어져 사용자는 일반적으로 스피커 데이터 미스매치를 인식하지 못해야 한다.

-90도와 -120도 사이의 머리 각도들(207)의 경우, 가상화기는, 사용자가 좌전방 스피커를 바라보고 있을 때 우측 스피커에 대해 측정된 공간 임펄스 응답 데이터와, 사용자가 우전방 스피커를 바라보고 있을 때 우측 서라운드 스피커에 대해 측정된 공간 임펄스 응답 데이터 사이에서 보간한다.

-120도와 -180도 사이의 머리 각도들(206)의 경우, 보간기는 보간기에 적용 된 적절한 각도의 오프셋을 가진 채 우측 서라운드 스피커에 대해 측정된 3개 셋들의 공간 임펄스 응답 데이터를 사용한다.

180도와 120도 사이의 머리 각도들(205)의 경우, 가상화기는 좌전방 스피커를 바라보며 우측 서라운드 스피커에 대해 측정된 공간 임펄스 응답 데이터와, 우전방 스피커를 바라보며 좌측 서라운드 스피커에 대해 측정된 공간 임펄스 응답 데이터 사이에서 보간한다.

120도와 60도 사이의 머리 각도들(204)의 경우, 보간기는, 보간기에 적용된 적절한 각도의 오프셋을 가진 채 또 다시 좌측 서라운드 스피커에 대해 측정된 3개 셋들의 공간 임펄스 응답 데이터를 사용한다.

60도와 30도 사이의 머리 각도들(203)의 경우, 가상화기는, 좌전방 스피커를 바라보며 좌측 서라운드 스피커에 대해 측정된 공간 임펄스 응답 데이터와, 우전방 스피커를 바라보며 좌전방 스피커에 대해 측정된 공간 임펄스 응답 데이터 사이에 보간한다. 방금 설명되고 도면에 도시된 기술이 몇몇 스피커들을 가진 언터테인먼트 시스템들에 쉽게 응용될 수 있고, 수평(요동)과 승강(피치) 머리 방향 모두를 사용하여 만들어진 개인화된 데이터 셋트들에 응용될 수 있음은 당업자에게 자명하다.

개인화된 및 비개인화된 공간 임펄스 응답들을 혼합함

본 발명자들에 의해 이루어진 실험들은 가상화의 정확도는 청취자들 자신의 개인화된 공간 임펄스 응답(PRIR) 데이터의 활용에 큰 폭으로 의존하는 것을 명백히 나타낸다. 하지만 또한, 일반적으로 보이지 않는 스피커들이 상기 개인화된 데 이터의 정확도에 덜 중요하고 실제로, 비개인적 공간 임펄스들 또는 배후 가상화 환영의 심각한 손실 없이 더미(dummy) 머리를 사용하여 획득된 것들을 사용하는 것이 종종 가능함은 알려져 있다. 그러므로 개인화된 및 비개인화된 또는 일반적인 공간 응답들의 조합들을 사용하여 멀티 채널 스피커 구성들을 가상화하여도 좋다. 상기 동작 모드는 사용자가 필요한 측정들을 할 시간을 갖지 못하거나, 측정을 위한 임의의 위치들에 스피커들을 배치하는 것이 비실용적인 곳에서와 같다. 일반적인 공간 임펄스 응답들(GRIRs)은 PRIRs와 같은 형태를 갖는다. 즉, 그것들은 전형적인 청취자의 머리 움직임 범위(range) 또는 범위(scope)에 걸쳐 스피커의 산계 샘플링을 나타낸다. GRIR의 프로세싱은 또한, 유사하다. 즉, 귀간 지연들이 기록되고, 임펄스 파형들이 시간 정합되고, 귀간 지연들이 가변 지연 버퍼를 사용하여 복위되고, 보간기가 청취자 머리 위치에 의해 동적으로 유도된 중간 임펄스 응답 데이터를 생성한다.

개인화된 측정 절차의 자동 레벨 조절

MLS 기술을 사용하여 이루어진 임펄스 응답 측정들은, 순환 교차 상관 프로세서에 피드백되는 기록된 신호들에 비선형성이 있는 상태에서는 부정확해진다. 비선형성은 전형적으로, 마이크로폰 증폭기들에 후속하는 아날로그 디지털 변환기 단계에서 클리핑(clipping)의 결과로 발생하거나, 과구동(overdriving)의 결과로 인한 스피커 변환기 또는 스피커 증폭기의 왜곡의 결과로 발생한다. 이것은 강건한 MLS 개인화된 공간 임펄스 응답 측정 방법들을 위하여, 측정 동안에 측정 체인의 각 단계에서 신호들 레벨들을 제어하는 것이 필요할 수도 있다는 것을 의미한다.

일 실시예에서, 각각의 개인화된 측정 세션(session) 전에 사용되는 MLS 레벨 스케일링(scaling) 방법이 개시되어 있다. 일단 적절한 MLS 레벨이 결정되었으면 결과적인 스케일링 팩터는, 특정 공간-스피커 장치 및 피실험자에 대한 후속하는 모든 개인화된 측정들 동안에 MLS 볼륨 레벨을 설정하도록 사용된다. 상기 개인화된 공간 임펄스 응답 획득 동안에 단일한 스케일링 팩터를 사용함으로써, 가상화 엔진에 활용되기 이전에 추가적인 스케일링 또는 귀간 레벨 조절들이 불필요하다.

도 23은 전형적인 5채널 스피커 MLS 개인화 장치를 나타낸다. 피실험자(평면도; 79)는 5개의 스피커들(또한 평면도)에 의해 둘러싸여 있고, 전방 중앙 스피커를 바라보며 임의의 측정 지점에 위치하고 있으며 각 귀에 출력단이 마이크로폰 증폭기들(96)에 연결된 마이크로폰들을 끼고 있다. 98에서 출력된 MLS는 스케일링 팩터(101)를 곱합으로서 스케일링된다(4). 상기 조정된 MLS 신호(103)는, 출력(105)이 디지털 아날로그 변환기들(72)과 가변 이득 전력 증폭기들(106)을 통하여 5개의 스피커들 중 하나를 각각 구동하는 1 대 5 역다중화기(104)에 입력된다. 도 23은 MLS 신호(98)가 좌전방 스피커(88)로 전송되는 것을 구체적으로 도시한다. 이어 마운트형 마이크로폰들은 스피커(88)에 의해 방사되는 MLS 사운드 파형들을 입수하고, 상기 신호들은 증폭되고(96) 디지털화되어(99), 신호들의 피크 진폭들이 분석되어(97) 임의의 한계 레벨(100)에 비교된다.

테스트는 스피커 증폭기 볼륨(106)이, 스피커들에 의해 제공되는 풀 스케일(full scale) MLS 신호가 이어 마운트형 마이크로폰들에서 임의의 한계 레벨(100)에 도달하거나 임의의 한계 레벨(100)을 초과하는 마이크로폰 신호 레벨을 가져오는 음압(sound pressure) 레벨을 생성하기에 충분히 높게 설정되는 것으로서 시작한다. 불확실할 경우, 볼륨은 최대 설정으로 놓여지고, 상기 개인화 공간 임펄스 응답들이 획득되었을 때까지 다시 조정되지 않는다. 레벨 측정 루틴은, 상기 MLS가 비교적 낮은 레벨(예를들어, -50㏈)로 조정된 채 시작한다. 98로부터 출력된 MLS는 초기에 디지털 피크 레벨(즉, 0㏈)으로 생성되기 때문에, 이는 MLS가 디지털 클립(clip) 레벨 보다 50㏈ 낮은 값으로 DACs에 도달하는 결과를 가져온다. 상기 감쇠된 MLS는, 97에서의 실시간 측정이 피크 레벨을 신뢰성 있게 결정하는 것을 허용하기에 충분히 긴 기간 동안에 단지 1개의 스피커에 플레이된다. 일 실시예에서, 0.25초의 기간이 사용된다. 97에서의 상기 피크 값은 소정의 레벨(100)에 비교되고, 상기 기록된 MLS 마이크로폰 신호들의 어느 것도 상기 한계를 초과하지 못한 것으로 밝혀지면, 스케일(scale) 팩터 감쇠가 조금 감소되고 상기 측정이 반복된다.

일 실시예에서, 스케일 팩터 감쇠가 3㏈의 스텝(step)에서 감소된다. 스피커로의 MLS 구동의 진폭을 점진적으로 높이고, 결과적인 마이크로폰 입수 레벨을 테스트하는 과정은, 마이크로폰들 신호들의 어느 쪽이 상기 임의의 레벨을 초과할 때까지 계속된다. 일단 상기 임의의 레벨에 도달하면, 스케일 팩터(101)가 실제의 개인화 측정들에서의 사용을 위하여 유지된다. MLS 레벨 테스트는 104를 사용하여 테스트할 다른 스피커들을 선택함으로써 모든 스피커들이 개인화 측정을 받도록 반복될 수 있다. 상기 경우에, 각 스피커의 스케일 팩터들은, 모든 스피커들이 테스트되었을 때까지 유지되고, 최고 감쇠를 가진 스케일 팩터는 모든 후속의 개인화 측 정들을 위하여 유지된다.

MLS 유도형 개인화된 공간 임펄스 응답들의 신호 대 잡음 비율을 최대화하려면, 상기 임의의 레벨의 한계(100)는 디지털 클립 레벨에 근접하게 설정되어야 한다. 하지만 통상적으로, 그것은 어느 정도 클립 이하로 설정되어 에러에 대한 여유도를 제공한다. 더욱이 MLS 음압 레벨이 피실험자에게 불편하거나, 측정 체인(chain)이 불충분한 이득을 가져서 스피커 또는 증폭기를 과구동하는 위험이 있다면, 상기 레벨은 더욱 감소될 수 있다.

상기 MLS 레벨 테스트는, 스케일 팩터(101)가 1.0의 값(0㏈)에 도달하고 상기 측정된 MLS 레벨이 상기 임의의 레벨(100)보다 낮은 상태를 유지하면 중단된다. 상기 테스트는 또한, 상기 측정된 마이크로폰 레벨들이 스케일 팩터 반복 단계에서의 것에 비례하여 증가하지 못하면 중지된다. 즉, 스케일 팩터 감쇠가 각 단계에서 3㏈ 차이로 감소하면, 상기 마이크로폰 신호 레벨들은 3㏈ 차이로 증가하여야 한다. 임의의 마이크로폰의 고정된 신호 레벨은 통상적으로, 마이크로폰들, 스피커, 증폭기들 및/또는 이들 사이의 연결에 문제점이 있음을 나타낸다.

상기한 논의에서 구체적인 스텝 크기들과 한계 값이 언급되었다. 광범위한 스텝 사이즈들과 한계들이 본 발명의 상기 측면의 범위를 벗어남 없이 상기 방법에 응용될 수 있다.

직접적인 스피커 연결을 사용한 개인화 측정들

개인화 공간 임펄스 응답(PRIR) 측정들을 실시함은, 여기 신호를 선택된 스피커들을 통하여 실시간으로 출력하고, 이어 마운트형 마이크로폰들을 사용하여 그 결과적인 공간 응답을 기록하는 것을 필요로 한다. 일 실시예는 상기 측정들을 하는 MLS 기술을 사용하고, 상기 신호가 통상적인 AV 수신기 장치의 전력 증폭 단계들에 앞서 DACs로 선택적으로 스위칭된다. 스피커 신호 공급부에 직접 액세스하는 구성이 도 26에 도시된다. 멀티 채널 오디오 입력들(76)이 아날로그 디지털 변환기들(ADC; 70)을 통하여 입력되고, 헤드폰 가상화기(122) 입력단들과 2웨이(2-way) 디지털 스위치들(132)의 뱅크에 연결된다. 일반적으로 상기 스위치들(132)은 상기 오디오 신호들(121)이 디지털 아날로그 변환기들(DAC; 72)를 통과하고 가변 이득 전력 증폭기들(106)을 거쳐 상기 스피커들을 구동하는 것을 허용하도록 설정된다. 이것은 정상 동작 모드이고, 사용자에게 스피커들 또는 헤드폰들을 거쳐 오디오를 청취하는 선택권을 제공한다. 하지만 사용자가 개인화 측정을 시작하길 원할 때, 가상화기(123)는 스위치들(123)을 전환함으로써 스피커들을 격리하고, 대신에 스케일된 디지털 MLS 신호(103)가 모든 나머지 스피커 입력들이 묵음 상태가 된 채 스피커들 중 하나에 전달된다. 상기 가상화기는 MLS 라우팅(104)을 변경함으로써 상이한 스피커들을 선택하여 테스트할 수 있다. 모든 MLS 테스트들이 완료된 후, 스위치들(132)은 전형적으로, 오디오 신호들(121)이 또 다시 상기 스피커들로 전달되는 것을 허용하도록 리셋된다.

외부 프로세서들을 사용한 개인화 측정들

예를 들어 헤드폰 가상화기가 개별적인 외부 프로세서로서 설계되고, 멀티 채널 오디오 신호들이 입력되는 인코딩된 비트 스트림으로부터 디코딩될 때, 상기 한 바와 같이 스피커 신호 경로들에 액세스하지 못하는 특정 제품 설계들이 예상된다. 여러 경우에 선택된 스피커들에 MLS들을 전송하는데 필요한 바와 같이 가상화기 프로세서로부터 외부의 라인 레벨(line-level) 스위칭 시스템들에 연결될 수 있는 개별적인 출력들을 포함하는 것은 비용이 많이 소요된다. 인코딩된 디지털 비트 스트림을 거쳐 시디(CD) 또는 디브이디(DVD) 디스크(disc)로부터 여기 신호를 재생하는 것이 가능한 반면, 일단 디스크 재생이 시작되면 디스크 재생을 중단시키는 것이 쉽지 않기 때문에 불편하다. 이것은 MLS 레벨 조절들, 머리 안정화 또는 스피커 측정들을 생략함과 같은 간단한 작업들이 사용자, 또는 보조자에 의해 수동으로 유도되어, 개인화 프로세스의 난이도와 지속시간을 매우 증가시키는 것을 의미한다.

AV 수신기형 장치 내의 스피커들에 대한 액세스를 최소의 부담과 비용으로 제공하는 산업용 표준 멀티 채널 인코딩 시스템들을 사용하는 방법이 본 명세서에 개시되어 있다. 전술한 시스템은 도 27에 도시되어 있다. 헤드폰 가상화기(124)는 헤드폰, 머리 추적기 및 마이크로폰 입/출력(i/o; 72, 73, 96, 99), 멀티 채널 디코더(114) 및 S/PDIF 수신기(111) 및 송신기(112)가 완비된 가상화기(123)를 수용한다. 외부의 DVD 재생기(82)는, DVD 재생기로부터 송신되고(110) 내부의 SPDIF 수신기(111)를 사용하여 상기 가상화기에 의해 수신되는 디지털 SPDIF 연결을 통하여 124에 연결된다. 상기 신호는 내부의 멀티 채널 디코더(114)에 전송되고 상기 디코딩된 오디오 신호(121)가 가상화기 코어 프로세서(122)에 전송된다. 일반적으로, 스위치(120)는, 상기 DVD 재생기로부터의 SPDIF 데이터가 내부의 SPDIF 송신 기(112)를 직접 통과하여 AV 수신기(109)에 전송되는 것을 허용하도록 위치한다. 상기 AV 수신기가 SPDIF 데이터 스트림을 디코딩하고, 그 결과 디코딩된 오디오 신호들이 가변 이득 전력 증폭기들(106)을 거쳐 스피커들(88)에 출력된다. 이것은 정상 동작 모드이고, 장비간 신호 연결선들에 어떤 변경을 할 필요 없이 스피커들 또는 헤드폰들을 통하여 오디오를 청취하는 선택권을 사용자에게 제공한다.

하지만, 사용자가 개인화 측정을 시작하길 원할 때, 가상화기(123)는 스위치(120)를 전환함으로써 DVD 재생기로부터의 SPDIF 신호를 격리시키고, 대신 멀티 채널 인코더(encoder)(119)로부터 출력되는 인코딩된 MLS 비트 스트림이 AV 수신기(109)에 전송된다. 상기 생성된 MLS 샘플들(98)은 인코딩(119) 전에 이득 범위가 정해진다(4 및 101). 한번에 1개의 오디오 채널이 측정되기 때문에, 상기 MLS는 상기 가상화기에 의해, 상기 가상화기가 측정하길 원하는 멀티 채널 인코더의 상기 특정 입력 채널로 전송된다. 모든 다른 채널들은 일반적으로 묵음 상태가 된다. 이것은 인코딩 비트 배정(encoding bit allocation)이 이용 가능한 비트들을 상기 MLS를 운반하는 채널에만 집중시킬 수 있는 이점을 갖고, 이로 인하여 상기 인코딩 시스템 그 자체의 효과들을 최소화하는 이점을 가진다. 상기 MLS 인코딩된 비트 스트림은, 상기 MLS가 호환성 있는 멀티 채널 디코더(108)를 사용하여 PCM으로 디코딩되는 AV 수신기에 실시간으로 전송된다.

상기 PCM 오디오가 상기 디코더로부터 출력되고, 상기 MLS가 임의의 여기 스피커(88)에 전송된다. 동시에, 피실험자(79)의 좌측 및 우측 이어 마운트형 마이크로폰들은 그 결과적인 사운드들을 채택하고, 그것들(86a, 86b)을 MLS 교차 상관 프 로세서(97)에 의한 프로세싱을 위해 마이크로폰 증폭기들(96)에 중계한다. 모든 다른 스피커들은, 오디오 채널들이 인코딩 프로세스(119) 동안에 묵음 상태이기 때문에, 침묵 상태를 지킨다. 상기 방법은 상기 AV 수신기 내에 호환성 있는 멀티 채널 디코더의 존재 여부에 의존한다. 현재, 예를 들어 돌비 디지털, DTS(미국 특허번호 5,978,762호 참조), 또는 MPEGⅠ방법론들을 사용하여 인코딩된 오디오는 대다수의 기존의 소비자 엔터테인먼트 장치를 사용하여 디코딩될 수 있다. 상기 방법은 모든 3가지 형태의 인코딩에 양호하게 작용하나, 모두가 상기 MLS 또는 여기 파형에 약간의 왜곡을 유입하여 PRIR 충실도(fidelity)의 미미한 감소를 가져온다. 그럼에도 불구하고, 상기 DTS 및 MPEG 시스템들은 더욱 고속의 비트 레이트로 동작할 수 있고, 단지 1개의 오디오 채널이 활성화되어 있는 사실을 더 잘 활용하도록 조정될 수 있는 적응성 비트 분할 시스템들을 진척시켜 왔으며, 이로 인하여 돌비 시스템보다도 여기 파형들을 적게 변경시킬 수 있다. 더욱이 상기 DTS 시스템은 특정 동작 모드들에서 23비트까지의 양자화(quantization)와 완전한 재구성을 제공하고, 이것은 상기 MPEG 시스템에 비하여 더 낮은 여기 왜곡 레벨들을 가져올 수 있다.

도 27에서, MLS는 생성되고(98), 스케일되고(4), 상기 여기 스피커로 전송되는 도중에 실시간으로 인코딩된다. 또 다른 방법은 인코딩된 데이터의 선인코딩된(pre-encoded) 블록들을 메모리에 유지하는 것이고, 각각은 진폭들의 범위에 걸쳐 상이한 여기 채널을 나타낸다. 상기 인코딩된 데이터는, 그것들이 MLS 측정 동안에 루프(loop) 방식으로 상기 디코더에 반복 출력될 수 있기 때문에, 단일의 MLS 블록 또는 소수개의 블록들을 나타내기만을 필요로 한다. 상기 기술의 장점은, 모 든 인코딩이 오프라인(off-line)으로 이루어지기 때문에, 연산 부하가 훨씬 적다는 것이다. 상기 선인코딩된 MLS 방법의 단점은, 모든 선인코딩된 MLS 데이트 블록들을 저장하는데 상당한 메모리가 필요하는 것이다. 예를 들면, 풀 비트 레이트(full bit rate) DTS(1.536Mbps) 인코딩된 15비트 MLS 블록은 각 채널 및 각 진폭 값에 대해 약 1Mbit의 메모리를 필요로 한다.

가공되지 않은 MLS 블록들은 코딩 시스템들에 의해 제공되는 인코딩 프레임 사이즈들에 의하여 쉽게 분할될 수 없다. 예를 들면, 2 레벨(bi-level) 15 비트 MLS는 32767 상태들(states)을 포함하는 반면, 384, 512개의 프레임 사이즈 배수들 및 1536 개의 샘플들을 코딩하는 것은 단지 MPEGⅠ, DTS, 돌비에서 각각 이용 가능하다. 상기 인코딩된 MLS 블록들은 정수 개의 코딩 프레임들이 MLS 블록 샘플 길이를 정확하게 커버하는 연속적인 엔드-투-엔드(end-to-end) 루프에서 재생하는 것이 바람직하다. 이것은 MLS가 상기 코딩 프레임들에 의해 분할할 수 있도록 그것의 길이를 조정하기 위하여 먼저 재샘플링되는 것을 의미한다. 예를 들면, 32767개 샘플들은 그 길이를 1개 샘플 만큼 증가시켜 32768 샘플까지 증가하도록 재샘플링될 수 있고, 64개의 시계열적인 DTS 코딩된 프레임들로 인코딩될 수 있다. MLS 교차 상관 프로세서들은 상기 동일한 재샘플링된 파형을 이용하여 MLS 디-컨벌루션(de-convolution)을 실행한다.

각 스피커를 위해 선인코딩된 MLS 진폭들의 범위를 저장하여야 하는 것을 방지하는 방법은, AV 수신기에 전송하기 전에 비트 스트림 내에 삽입된 스케일 팩터 코드들을 직접 조작함으로써 여기 오디오를 전송하는 인코딩된 오디오 채널에 관련 된 스케일 팩터 이득들을 대신하여 변경하는 것이다. 상기 비트 스트림 스케일 팩터들의 조정은 충실도의 손실 없이 상기 디코딩된 여기 파형의 진폭에 비례하여 영향을 미친다. 이러한 프로세스는 저장될 선인코딩된 블록 수를 스피커 당 단일 블록으로 감소시킨다. 상기 기술은 특히 진보적인 적응 특성으로 인하여 DTS 및 MPEG 인코딩된 비트 스트림들에 응용할 수 있다.

상기 방법의 추가 변형은 각각의 스피커 테스트 전에, 선인코딩된 요소들(elements)로부터 비트 스트림들을 컴파일링(compiling)하는 단계를 포함한다. 예를 들면 동시에 단지 1개의 채널이 활성화 상태이기 때문에, 이론적으로 단일의 인코딩된 여기 오디오 채널을 위한 비트 스트림 요소들을 저장하는 것만이 필요할 수도 있다. 가상화기가 테스트하길 원하는 모든 스피커의 경우, 가공되지 않은 인코딩된 여기 데이터가 임의의 비트 스트림 채널 슬롯들(slots)로 재압축(repack)되어, 다른 모든 채널 슬롯들을 묵음화시키고, 상기 스트림이 AV 수신기로 출력된다. 상기 기술은 또한, 상기한 스케일 팩터 조정 프로세스를 사용할 수 있다. 이론적으로, 모든 채널들과 모든 진폭들은, 풀 비트 레이트 DTS 스트림 포맷의 경우에 단지 단일한 1Mbit 파일만에 의해 표시될 수 있다.

상기 MLS가 1개의 가능한 여기 신호이더라도, 스피커들로의 액세스를 단순화하기 위하여, 산업 표준형 멀티 채널 인코더 또는 선인코딩된 비트 스트림들을 사용하여 상기 여기 신호를 원격의 디코더에 전송하는 방법은, 임펄스들 및 정현파들과 같은 다른 형태의 여기 파형들에 동일하게 응용될 수 있다.

개인화 측정들 동안의 머리 안정화

MLS 기반 획득 프로세스 동안의 배경 잡음 및 머리 움직임은 어우러져 결과적인 개인화 공간 임펄스 응답(PRIR)의 정확도를 감소시킨다. 배경 잡음은, 직접적으로 상기 임펄스 응답 데이터의 광대역 신호-대-잡음 비율에 영향을 미치나, MLS에 신호에 상관관계가 없기 때문에 교차 상관 프로세스에서 추출된 각각의 임펄스 응답에 중첩된 무작위한 잡음으로서 나타난다. MLS 측정을 반복하고 현재의 임펄스 응답 평균을 유지함으로써 무작위한 잡음이 상기 임펄스 자체의 1/2 비율을 형성하며, 각각의 새로운 측정을 위한 임펄스신호-대-잡음 비율의 개선을 쉽게 한다. 반면에, 각각의 마이크로폰에 의해 포획되는 MLS 파형의 타임 스미어링(time smearing)을 야기하는 머리 움직임은, 무작위한 것은 아니지만 평균적인 머리 위치에 관하여 연관된다.

스미어링의 효과는, 특히 고주파 영역들에서, 평균화된 임펄스의 신호-대-잡음 비율을 감소시키고 응답을 변경하는 것이다. 이것은 직접적인 간섭이 없을 경우, 평균량이 머리 움직임으로 인하여 손실된 고주파 정보를 결코 완전히 복원하지 못하는 것을 의미한다. 본 발명자에 의해 실시된 실험들은 개인화 프로세스에 익숙한 피실험자를 사용하여, 무의식적인 머리 움직임들이 마이크로폰과 여기 스피커 사이의 경로 길이의 변화를 가져오는 것을 나타내며, 길이 변화는 평균 편차는 훨씬 적을지라도, 약 +/-3㎜까지의 편차를 가진다. 48KHz의 샘플링 레이트에서, 이것은 약 +/- 1/2 샘플링 주기가 된다. 실제로, 미숙한 피실험자들에게 측정된 머리 움직임들은 상당히 더 클 수도 있다.

측정들 동안에 예를 들어 목 버팀대 또는 턱 지지대와 같은 몇몇 형태의 머리 지지대를 사용하는 것이 가능하더라도, 지지대 자체가 상기 측정된 임펄스 응답에 영향을 줄 가능성을 방지하기 위해서, 지지되지 않은 채로 개인화 측정들을 실시하는 것이 바람직하다. 분석에 의하면, 상당한 머리 움직임들은 호흡과 혈액 순환의 동작에 의해 주로 야기되며, 그래서 비교적 저주파수이고 추적하기가 쉽다.

머리 움직임이 있는 상태에서 획득된 임펄스 응답의 정확도를 개선하기 위하여 개발된 많은 다른 방법들이 본 명세서에 개시되어 있다. 제1 방법은 좌측 및 우측 귀 마이크로폰들로부터 출력되는 실제의 기록된 MLS 파형들에서 머리 움직임에 의해 야기된 편차들을 확인하는 단계를 포함한다. 상기 프로세스의 이점은, 상기 절차를 구현하는데 어떤 파일롯 신호 또는 기준 신호가 필요하지 않다는 점이다. 그러나, 단점은 편차들을 측정하는데 필요한 프로세싱이 집중적(intensive)일 수 있고/있거나, MLS 신호들이 실시간으로 저장되고 상기 프로세싱이 오프라인으로 실시되는 것을 필요로 할 수도 있다. 상기 분석은 시간 또는 주파수에 기반한 교차 상관 측정을 사용하여 MLS 1블록 마다(block by block) 실시되어, 입력되는 블록 파형들 사이의 유사성의 레벨을 설정한다. 서로 유사한 것으로 간주되는 블록들은 MLS 교차 상관을 통한 프로세싱을 위하여 보존된다. 조건에 맞는 한계를 벗어난 것들은 폐기된다. 상기 상관 측정은 현재의 블록 파형의 평균을 사용할 수 있으나, 또는 몇몇 형태의 중앙 측정(median measure)을 사용할 수 있으며, 또는 모든 MLS 블록들이 모든 다른 것들과 교차 상관될 수 있고, 가장 유사한 것들은 임펄스로의 변환을 위하여 유지된다.

종래의 공지된 많은 다른 상관 기술들은, 상기 선택 프로세스를 진행하는데 동일하게 응용할 수 있다. MLS 시간 파형을 분석하는 것보다, 다른 방법으로 순환 교차 상관 단계에서 출력되는 결과적인 임펄스 응답들 사이의 상관관계들을 분석하는 단계와, 임의의 머리 위치에 관련된 몇몇의 명목적인 임펄스 응답에 매우 유사한 것으로 간주되는 임펄스 응답들만을 현재의 평균에 합산하는 단계를 포함한다. 상기 선택 프로세스는 MLS 파형 블록들에 대해 전술한 것과 유사한 방법으로 달성될 수 있다. 예를 들면, 각각의 개별적인 임펄스 응답을 위하여, 모든 다른 임펄스들에 대한 교차 상관 측정이 실시될 수 있다. 상기 측정은 응답들 사이의 유사성을 나타낸다. 또다시, 임펄스들 사이의 유사성을 측정하는 방법으로써, 상기 프로세스에 응용할 수 있는 많은 방법들이 종래에 존재하고 있다. 모든 다른 임펄스들에 관하여 미약한 상관관계를 나타내는 임펄스들은 폐기된다. 나머지 임펄스들은 평균적인 임펄스 응답을 형성하도록 함께 합산된다. 연산 부하를 감소시키기 위해서는, 각각의 임펄스 응답의 선택된 부분들, 예를 들어 상기 임펄스 응답의 초기 부분을 위한 교차 상관을 측정하고, 상기 단순화된 측정들을 사용하여 상기 선택 프로세스를 진행하는 것이 충분할 수도 있다.

제2 방법은 MLS 획득 과정이 진행되는 동안에 머리 움직임을 측정하는 몇몇 종류의 머리 추적 장치를 사용하는 단계를 포함한다. 머리 움직임은, 좌측 및 우측 이어 마운트형 마이크로폰들과 함께 기능하는, 예를 들어 자기형, 자이로스코픽형 또는 광학형 검출기와 같은 헤드 마운트형 추적기를 사용하여 측정될 수 있거나, 또는 피실험자 머리를 지향하는 카메라를 사용하여 측정될 수 있다. 상기 머리 움 직임 판독치는, MLS 블록 또는 전술한 임펄스 응답 선택 절차를 진행하기 위하여 MLS 프로세서(97)에 전송된다. MLS 기록과 함께 머리 추적기 데이터를 기록함으로서 오프라인 프로세싱을 하는 것도 가능하다.

제3 방법은 음향적 머리 추적기로서 기능하도록, MLS와 동일한 시간에 스피커로부터 출력되는 파일롯 또는 기준 신호를 전송하는 과정을 포함한다. 상기 파일롯은 MLS를 운반하는데 사용되는 동일한 스피커로부터 출력될 수 있으며, 또는 제2 스피커로부터 출력될 수도 있다. 전통적인 머리 추적형 방법들보다 상기 파일롯 방법의 이점은 특히 동일한 스피커가 MLS와 파일롯 신호 모두를 보내는데 사용될 때, 측정된 머리 움직임이 좌측 및 우측 귀 마이크로폰 신호들에 끼치는 정도를 예상하는데 머리에 대한 MLS 스피커 위치에 대한 추가 정보가 필요하지 않다는 점이다. 예를 들면, 피실험자의 바로 좌측의 스피커에 의해 보내진 MLS는 피실험자 머리의 바로 앞의 스피커로부터 나오는 MLS보다 머리 움직임에 훨씬 덜 민감하다. 그러므로 머리 추적형 분석기는 MLS 신호가 머리에 입사되는 각도를 알고 있는 것이 필요할 수도 있다. 상기 파일롯 또는 MLS가 동일한 스피커로부터 나오기 때문에, 머리 움직임은 양측 신호들에 대해 동일한 효과를 가진다.

상기 파일롯 방법의 또 다른 이점은, 동일한 마이크로폰들이 MLS와 파일롯 신호들을 동시에 획득하기 때문에, 추가적인 장치들이 머리 움직임들을 측정하는데 필요하지 않는 것이다. 그러므로 가장 간단한 형태에서, 파일롯 톤(tone) 방법은 기록들이 획득되고 있는 동안에, 입력되는 MLS 신호들의 간단한 분석이 이루어지고, 적절한 동작이 실시간으로 취해지도록 한다. 도 24는, MLS(98)이 로우 패스 필 터링되고(135), 파일롯(134)과 합산되어 스피커로 출력되는(103) 파일롯 톤 구현을 도시한다. 마이크로폰 출력들(86a),(86b)은 증폭되고(96), 상기 MLS와 파일롯 톤이 상기 기록된 파형들에 함께 나타나기 때문에, 상기 MLS와 톤 콤포넌트들을 분리하기 위하여 각 마이크로폰 신호는 로우 패스(135)와 상보형 하이 패스(136) 필터들을 각각 통과한다. MLS 로우 패스 필터들(135)의 특성은 전형적으로 매치된다.

상기 좌측 및 우측 귀 마이크로폰들에 의해 획득된 하이 패스 필터링된 파일롯 톤들을 오버 샘플링하고, 그것들의 상대 위상 또는 그것들의 절대 위상의 개별적인 편차들을 분석함(137)으로써 수분의 일 밀리미터 미만의 머리 움직임들이 쉽게 검출된다. 상기 정보는 상기한 비파일롯 톤 접근 방법(non-pilot-tone approach)을 사용하여 상기한 바와 같이, MLS 파형 블록들 또는 결과적인 임펄스 응답들의 적합성에 관한 선택 프로세스를 진행하는데 사용될 수 있다. 덧붙여, 파일롯 톤의 분석은 또한, 상기 머리 움직임을 중화하기 위하여 상기 기록된 MLS 신호들을 시간적으로 스트레치(stretch) 또는 압축(compress)하는 방법을 가능하게 한다. 좌측 귀 마이크로폰에 의해 기록된 MLS 신호에 대한 상기 방법이 도 25에 도시된다. 상기 프로세스는 상기 신호들이 상기 마이크로폰들로부터 도달하자마자 실시간으로 실시될 수 있으나, 또는 복합 MLS-톤 신호가 일단 기록이 완료된 후 오프라인 프로세싱을 위하여 측정 동안에 저장될 수 있다.

파형 타이밍을 변경하는 것은 마이크로폰들로부터 도달하는 MLS 파형들을 오버 샘플링하고(141), 지연이 기준 톤들의 위상 분석(146)에 의해 결정되는 가변 지연 버퍼(142)를 구현함으로써 달성될 수 있다. MLS 시간 파형을 스트레칭하거나 압 축하는 동작이 추후에 후속하는 임펄스 응답들의 에러들로 변경되는 상당한 레벨들의 왜곡을 MLS 신호들에 유입시키지 않도록 보장하기 위해서는 고도(high degree) 오버 샘플링(141)이 바람직하다. 본 명세서에서 설명된 상기 가변 지연 버퍼(142) 기술은 당업계에 공지되어 있다. 오버 샘플링된 MLS 톤, 좌측 및 우측 귀 파일롯 톤이 시간 정렬 상태를 유지하는 것을 보장하기 위하여, 파일롯 신호 및 MLS 신호를 위해 동일한 오버 샘플링 안티 앨리어싱(anti-aliasing) 필터들을 사용하는 것이 바람직할 수 있다. 오버 샘플링된 파일롯 톤 위상들의 분석(146)은 가변 버퍼 출력 어드레스 포인터(145)를 구현하는데 사용된다. 입력에 관하여 포인터 출력 위치를 변경하는 동작은, 버퍼(142)를 통과하는 MLS 샘플들의 유효한 지연을 변화시킨다. 버퍼에서 독출된 샘플들은 다운 샘플링되고(143), 임펄스 응답들로의 변환을 위해 정상의 MLS 교차 상관 프로세서(97)에 입력된다.

MLS 파형 스트레치-압축 프로세스는 또한, 머리 추적기 신호를 사용하여 상기 오버 샘플링된 버퍼 출력 포인터 위치를 조정할 수 있다. 상기 경우에, 상기 추적기 장치에 의해 검출되는 머리 움직임으로 인하여 발생하는, MLS 스피커와 좌측 및 우측 귀 마이크로폰들 사이의 경로 길이 차이를 예측하기 위하여, MLS 스피커 위치에 관한 머리위치를 알거나 예측하는 것이 필요할 수 있다.

헤드폰의 이퀄라이제이션

개인화 프로세스는 스피커에서부터 이어 마운트형 마이크로폰들까지의 전달 함수를 측정하는 것을 필요로 한다. 결과로서, PRIR이 있으면 오디오 신호들은 상기 전달 함수를 사용하여 필터링되거나 가상화될 수 있다. 상기 필터링된 오디오 신호들이 사운드로 다시 변환되어, 원래의 측정을 포획한 마이크로폰들이 위치한 지점에 근접한 이공(ear cavity)으로 전달될 수 있으면, 피실험자는 상기 스피커로부터 상기 사운드가 오는 것을 인식한다. 헤드폰들은 상기 귀 근처에서 상기 사운드를 재생하는 편리한 수단이나, 모든 헤드폰들은 자체적으로 몇몇 추가적인 필터링을 나타낸다. 즉, 상기 헤드폰에서 귀까지의 전달 함수는 평탄하지 않으며, 상기 추가적인 필터링은, 가상 스피커의 충실도가 가능한 한 실제 스피커의 충실도와 근접하게 매치되도록 보정되거나 이퀄라이징된다.

본 발명의 일 실시예에서, MLS 디-컨벌루션 기술은, PRIR 측정들과 함께 전술한 바와 같이, 헤드폰 대 이어 마운트형 마이크로폰 임펄스 응답의 일시(one-time) 측정을 하기 위해 사용된다. 상기 이퀄라이제이션 필터를 가진 가상화기의 출력에 나타나는 헤드폰 오디오 신호들을 컨벌빙함으로써, 헤드폰-귀 전달 함수들의 효과는 실질적으로 제거되거나 이퀄라이징되고, 상기 신호들은 평탄한 응답을 가진 채 마이크로폰 채택 지점에 도달한다. 각 귀를 위한 역필터를 개별적으로 연산하는 것이 바람직하나, 좌측 및 우측 귀 응답을 평균화하는 것이 또한 가능하다. 일단 상기 역필터들이 연산되었으면, 상기 역필터들은 가상화기 신호 체인을 따라 예를 들어 출력과 같이 어디든지 배치된 개별적인 실시간 이퀄라이제이션 필터들로서 구현될 수 있다. 다른 방법으로, 상기 역필터들은 PRIR 보간기에 의해 사용된, 시간 정합된 PRIR 데이터 셋트들을 선강조(pre-emphasize)하도록 사용될 수 있다. 즉, 상기 역필터들은 가상화기 초기화 동안에 상기 PRIR들을 필터링하는데 1회성(one-off) 토대에서 사용된다.

도 22는 피실험자(79)가 헤드폰들(80)을 착용한 채 이어 마운트형 마이크로폰(87)이 배치된 상태를 도시한다. 동일한 방식이 양측 귀들에 대해 적용된다. 상기 마이크로폰은, 개인화 측정들을 위한 것과 동일한 방식 및 개략적으로 동일한 위치의 이관(ear canal)(209)에 장착된다. 실제로, 최고의 정확도를 얻기 위해서, 좌측 및 우측 귀 마이크로폰들이 개인화 측정들이 완료된 후에 직후에 진행하는 헤드폰 이퀄라이제이션 측정을 위하여 상기 귀들 내에 있는 것이 바람직하다. 도 22는 헤드폰 쿠션(80a) 아래를 통과하여야 하는 헤드폰 케이블들(86)을 도시하고, 양호한 헤드폰 대 머리 밀봉(seal)을 유지하기 위해서, 상기 케이블들은 연성이고 경량이어야 한다. 헤드폰 변환기(213)는 헤드폰 케이블(78)을 통한 MLS 신호에 의해 구동된다.

도 35는 헤드폰 MLS 이퀄라이제이션 측정에 개인화 회로를 응용한 것을 도시한다. MLS 생성(97), 이득 조정(101, 4), 마이크로폰 증폭(96), 디지털화(99), 교차 상관(97) 및 임펄스 평균화 프로세스들은 개인화 측정들에 사용된 것과 동일하다. 하지만 스케일된(scaled) MLS 신호(103)는 스피커를 구동하지 않으며, 헤드폰 변환기들을 구동하기 위하여 스테레오 헤드폰 출력 회로들(72)로 다시 보내진다. MLS 측정은 동시에 실시될 경우 좌측 및 우측 귀 헤드폰 변환기들 사이에서 발생하는 크로스토크(cross talk)의 가능성을 방지하도록 좌측 및 우측 귀 헤드폰 변환기들 모두에 개별적으로 실시된다. 도면은, 마이크로폰들을 좌측 귀(87a)와 우측 귀(87b)에 장착한 피실험자(79)를 도시한다. 마이크로폰 신호들(86a, 86b)은 마이크로폰 증폭기들(96)에 각각 연결된다. 상기 피실험자는 또한, 좌측 귀 변환기가 케이블(78a)을 거쳐 좌측 헤드폰 출력으로부터 구동되며, 우측 귀 변환기가 케이블(78b)을 거쳐 우측 헤드폰 출력으로부터 구동되는 스테레오 헤드폰을 장착하고 있다.

일 실시예에서, 헤드폰-마이크로폰 임펄스 응답들을 획득하는 절차는 다음과 같다. 먼저, 상기 헤드폰에 전송되는 MLS 신호의 이득(101)이 개인화 측정들에 대하여 설명된 것과 동일한 반복적인 접근 방법을 사용하여, 상기 마이크로폰에 의해 획득되는 신호들의 진폭을 분석함으로써 결정된다. 상기 이득은 좌측 및 우측 귀 회로들에 대해 개별적으로 측정되고, 최저 이득 스케일 팩터(101)는 유지되어, 양측 MLS 측정들을 위하여 사용된다. 이것은 좌측 및 우측 귀 임펄스 응답들 사이의 진폭 차이들이 유지되도록 한다. 하지만 좌측 또는 우측 귀 헤드폰 변환기들 사이의 어떤 차이들 또는 헤드폰 구동 이득들은 상기 측정의 정확도를 감소시킨다. MLS 테스트는 좌측 귀에서 시작하여 우측 귀의 순서로 수행된다. MLS는 헤드폰 변환기에 출력되고, 각각의 마이크로폰들에 의해 실시간으로 획득된다. 개인화 절차에서, 디지털화된 마이크로폰 신호들(99)은 이후의 프로세싱을 위하여 저장될 수 있으며, 또는 이용할 수 있는 프로세싱 전력에 따라 교차 상관 및 임펄스 평균화가 실시간으로 진행될 수 있다. 완료시, 좌측 및 우 임펄스 응답들은 시간적으로 정렬되고, 반전(inversion)을 위하여 가상화기(122)로 전송된다(117). 시간 정렬은, 헤드폰변환기-대-귀 경로 길이들이 머리의 양측에서 대칭이 되도록 한다. 상기 정렬 프로세스는 PRIR들에 대해 설명한 동일한 방법에 뒤따라 수행될 수 있다.

헤드폰-귀 임펄스 응답들은 당업계에 공지된 많은 필터 반전 기술들을 사용 하여 반전될 수 있다. 가장 간단한 접근 방법으로 실시예에서 사용되는 방법은, 상기 임펄스를 주파수 도메인(frequency domain)으로 변환하고, 위상 정보를 제거하고, 모듀러스(modulus) 주파수 성분들의 진폭을 반전하고 시간 도메인(time domain)으로 다시 변환하여 결과적으로 선형 위상 역 임펄스 응답을 얻는 것이다. 전형적으로, 원래의 응답은 반전 연산 동안에 강한 폴들(poles)과 제로들의 효과들을 완화하도록 임의의 주파수들에서 평탄해지거나 디더링(dithering)된다. 반전 프로세스가 종종 개별적인 임펄스 응답들에 수행되는 반면, 2개의 임펄스 응답들 사이의 상대 이득들이 정확하게 반전되는 것을 보장하는 것이 중요하다. 이것은 스펙트럼 평탄화 동작에 의해 복잡해지고 관심 있는 주파수에 대해 좌-우 반전 밸런스(balance)가 유지되도록 낮은 주파수 진폭들을 재조정하는 것이 필요할 수 있다.

역 필터들은 MLS를 내보내는데 사용된 형태의 헤드폰 및 헤드폰을 착용한 특정인에 최적화되기 때문에, 계수들은 전형적으로 헤드폰 제조회사와 모델 및 테스트에 관여한 사람을 기록하는 몇몇 형태의 정보와 함께 저장된다. 덧붙여 마이크로폰들의 위치가 개인화 측정 세션(session)에서 사용되었을지도 모르기 때문에, 상기 관념(association)에 관한 정보가 또한 이후의 검색(retrieval)을 위하여 저장될 수 있다.

스피커들의 이퀄라이제이션

본 발명의 실시예가 스피커와 마이크로폰 사이의 전달 함수를 측정하고, 상기 전달 함수들을 반전하는 장치를 상기 실시예 내에 끼워 넣었기 때문에, 상기 실 시예의 유용한 확장은 실제의 스피커의 주파수 응답을 측정하고, 역 필터를 형성하며 외관상의 충실도가 실제의 스피커보다 개선되도록 가상 스피커들을 이퀄라이징하는데 상기 필터들을 사용하는 수단을 제공하는 것이다.

가상 스피커들을 이퀄라이징함으로써 헤드폰 시스템은 더 이상 실제의 스피커의 음파적 충실도와 경쟁하려고 하지 않으나, 대신에 청취자에 관하여 공간성을 유지하는 동안 충실도를 개선하려고 하고 있다. 상기 프로세스는, 예를 들어 스피커들이 저급이며 스피커들의 주파수 범위를 개선하는 것이 바람직한 경우에 유용하다. 상기 이퀄라이제이션 방법은 저성능(under performing)이 의심되는 스피커들에 응용될 수 있거나, 모든 가상 스피커들에 지속적으로 응용될 수 있다.

스피커에서 마이크로폰까지의 전달 함수는 개인화된 PRIR들의 것과 매우 동일한 방식으로 측정될 수 있다. 상기 응용에서, 단지 1개의 마이크로폰이 사용되고, 상기 마이크로폰은 귀에 착용되지 않고, 영화를 시청하거나 음악을 청취하는 동안에 청취자의 머리가 차지하는 곳에 근접한 자유 공간에 배치된다. 전형적으로, 마이크로폰은, MLS 측정이 이루어지는 동안에 상기 마이크로폰이 머리 높이로 고정될 수 있도록, 몇몇 형태의 스탠드 마운트형 붐 암(stand mounted boom arm)에 고착된다.

상기 MLS 측정 프로세스는 먼저, 개인화 방법과 같이, MLS 신호를 수신하는 스피커를 선택한다. 다음으로, 상기 스피커에 출력되는 MLS 신호를 적절히 스케일(scale)하는 필수적인 스케일 팩터를 확립하고, 또 다시 상기 개인화 방법과 동일한 방식으로 임펄스 응답을 획득하기 시작한다. PRIR들의 경우에, 확장된 공간 반향 응답 꼬리(tail)는 직접적인 임펄스와 함께 유지되어, 오디오 신호들을 컨벌브하는데 사용된다. 하지만 상기 경우에 역 필터를 연산하는데 사용되는 것은 단지 임펄스 응답의 직접적인 부분뿐이다. 상기 직접적인 부분은, 통상적으로, 상기 임펄스의 온셋에 뒤이어 약 1 내지 10㎳의 시간 간격을 커버하며, 어떤 상당한 공간 반사들 전에 마이크로폰에 도달하는 입사 사운드 파형의 부분을 나타낸다. 그러므로 가공되지 않은 MLS 유도형 임펄스 응답은 끊어지고(truncate), 헤드폰 이퀄라이제이션 절차를 위하여 설명된 반전 절차에 응용된다. 상기 헤드폰 이퀄라이제인션에서, 강한 폴들 또는 제로의 효과를 완화하기 위해 주파수 응답을 평탄화하는 것이 바람직할 수도 있다. 또 다시, 상기 헤드폰의 경우, 가상-스피커간 밸런스가 반전 프로세스들에 의해 변경되지 않도록 특별한 주의를 기울여야 하고, 상기 역 필터들을 완료하기 전에 상기 값들을 재조정하는 것이 필요할 수 있다.

가상 스피커 이퀄라이제이션 필터들은 각각의 개별 스피커에 대하여 연산될 수 있거나, 많은 스피커들의 몇몇 평균이 모든 가상 스피커들 또는 가상 스피커들의 어떤 조합에 사용될 수 있다. 가상 스피커 이퀄라이제이션 필터링은 가상화기의 입력에서, 또는 가상화기 출력에서, 또는 가상 스피커들에 관련된, (어떤 임의의 헤드폰 이퀄라이제이션과 함께) 시간 정렬된 PRIR들의 1회성 선강조(one-off pre-emphasis)를 거쳐 실시간 필터들을 사용하여 구현될 수 있다.

서브밴드( sub - band ) 가상화

헤드폰 가상화 프로세스의 일 실시예의 일 특징은 실제 스피커 신호 피드(feed)를 나타내는 입력되는 오디오 신호들을, 개인화된 공간 임펄스 응답 들(PRIR)로 필터링 또는 컨벌루션하는 것이다. 모든 스피커가 가상화되기 위해서는, 해당하는 입력 신호를, 좌측 및 우측 귀 스테레오 헤드폰 피드를 제공하는 좌측 및 우측 귀 PRIR들 모두로써 컨벌브하는 것이 필요할 수 있다. 예를 들면, 많은 애플리케이션들에서, 6-스피커 헤드폰 가상화기는 12 컨벌루션 프로세스들을 동시에 실시간으로 실행한다. 전형적인 거실은 약 0.3초의 반향 시간을 나타낸다. 이것은, 48KHz의 샘플링 주파수에서, 이상적으로, 각 PRIR이 적어도 14000 샘플들을 포함하는 것을 의미한다. 간단한 시간 도메인 비귀납성 필터링(FIR)을 구현하는 6-스피커 시스템의 경우, 컨벌루션 곱셈/축적 동작들의 회수는 초당 14000*48000*2*6 또는 80.64억개의 동작들이다.

이러한 연산 조건은, 오늘날 공지된 모든 저가 디지털 신호 프로세서들로는 불가능하며, 실시간 가상화 컨벌루션 프로세싱을 구현하는 더욱 효율적인 방법을 강구하는 것이 필요할 수 있다. 종래에는, 예를 들어 Gardner W, G., "Efficient convolution without input-output delay", J.Audio Eng.Soc., vol. 43 no.3, Mar. 1995에 기술된 바와 같이, FFT 컨벌루션의 원리에 기초한 많은 상기 구현들이 존재한다. FFT 컨벌루션의 단점 하나는, 고주파수 해상도(resolution)이 관여됨으로 인하여, 내재된 레이턴시 또는 상기 프로세스에 대한 지연이 존재하는 것이다. 큰 레이턴시들은 일반적으로 바람직하지 않으며, 특히 청취자의 머리 움직임이 추적되고, 가상 사운드 소스들이 비회전되어 상기 머리 움직임을 중화하도록, 어떤 변화들이 컨벌버들에 의해 사용된 PRIR 데이터를 수정하는 것이 요구될 때 바람직하지 않다. 자명한 일로서, 상기 컨벌루션 프로세스가 높은 레이턴시를 가지면, 동일한 레이턴시가 비회전 적응 루프에 나타나고, 머리를 움직이는 청취자와 보정되는 가상 스피커 위치들 사이의 현저한 시간 지연(lag)을 가져올 수 있다.

본 명세서에서 서브밴드 필터 뱅크들(banks)을 사용하여 주파수 도메인 서브밴드 컨벌버들을 구현하는 효율적인 컨벌루션 방법이 개시되어 있다. 서브밴드 필터 뱅크들은 당업계에 공지되어 있고, 그 구현예들은 상세히 언급하지 않는다. 상기 방법은 높은 레벨의 신호 충실도와 낮은 프로세싱 레이턴시를 유지하는 반면 연산 부하의 상당한 감소를 가져온다. 중간 차수(medium order) 서브밴드 필터 뱅크들은 일반적으로 10㎳의 영역에서 비교적 낮은 레이턴시를 나타내나, 그 때문에 낮은 주파수 해상도를 나타낸다. 서브밴드 필터 뱅크들의 낮은 주파수 해상도는 서브밴드간 누설(leakage)로서 나타나고, 전통적으로 임계적으로 샘플링된 설계들에서, 이것은 신호 충실도를 유지하기 위해 엘리어스 삭제(alias cancellation)에 높은 정도로 의존하게 된다. 하지만 서브밴드 컨벌루션은 자명하게는 서브밴드들 사이의 큰 진폭 전이(shift)들을 일으켜 오버랩 영역들에서의 알리아스 삭제의 완전한 브레이크다운(breakdown)과 합성 필터 뱅크의 재구성 특성들에서의 유해한 변화들을 종종 가져올 수 있다.

그러나 알리아스 문제점은 상기 오버랩 근처에서의 신호 누설을 폴드백(fold back)하는 것을 방지하는 오버 샘플링 서브밴드 필터 뱅크들로서 알려진 필터 뱅크들의 부류를 사용하여 다소 완화될 수 있다. 오버 샘플링 필터 뱅크들은 몇몇 단점들을 나타낸다. 첫 번째로, 서브밴드 샘플링 레이트는 자명하게도 임계적으로 샘플링된 경우보다도 더 높고, 그러므로 연산 부가가 비례적으로 더 높다. 두 번째로, 더 높은 샘플링 레이트는, 서브밴드 PRIR 파일들이 또한 비례적으로 더 많은 샘플들을 포함하는 것을 의미한다. 따라서 서브밴드 컨벌루션 연산들은, 임계적으로 샘플링된 경우에 비하여 오버 샘플링 팩터의 제곱으로 증가한다. 오버 샘플링 서브밴드 필터 뱅크 이론은 또한, 당업계에 공지되어 있고(예를 들어, Vaidyanatham, P.P., "Multirate systems and filter banks," Signal processing series, Prentice Hall, Jan. 1992 참조), 상기 컨벌루션 방법의 이해에 특정된 자세한 사항만이 논의된다.

서브밴드 가상화는 컨벌루션, 또는 필터링이 필터 뱅크 서브 밴드들 내에서 독립적으로 동작하는 프로세스이다. 일 실시예에서, 이것을 달성하는 단계들은 다음을 포함한다.

1) PRIR 샘플들은, 원오프(one-off) 프로세스로서 서브밴드 분석 필터 뱅크를 통과하여 1셋트의 더 작은 서브밴드 PRIR들을 제공한다.

2) 오디오 신호들은, 동일한 분석 필터 뱅크를 사용하여 서브밴드들로 분할된다.

3) 각각의 서브밴드 PRIR은, 해당하는 오디오 서브밴드 신호를 필터링하도록 사용된다.

4) 상기 필터링된 오디오 서브밴드 신호들은, 합성 필터 뱅크를 사용하여 시간 도메인으로 다시 재구성된다.

상기 필터 뱅크에서 사용된 서브밴드들의 수에 따라, 서브밴드 컨벌루션은 상당히 더 낮은 연산 부하를 가진다. 예를 들면, 2-밴드 임계적으로 샘플링된 필터 뱅크는 48KHz 샘플링된 오디오 신호들을 각기 24KHz 샘플링의 2개 서브밴드로 분할한다. 상기 동일한 필터 뱅크는 14000-샘플 PRIR을 각기 7000 샘플들의 2개 서브밴드 PRIR들로 분할하도록 사용된다. 상기 예를 사용하면, 연산 부하는 이제, 7000*24000*2*2868 또는 40.32억 개의 동작들이고, 즉 1/2로 감소한다. 따라서 임계적으로 샘플링된 필터 뱅크들의 경우, 감소 팩터는 서브밴드들의 수와 동일하다. 오버 샘플링 필터 뱅크의 경우, 임계적으로 샘플링된 서브 밴드 컨벌루션에 비하여, 서브밴드 컨벌루션 이득은 오버 샘플링 레이트의 제곱으로 감소하고, 즉 2x 오버 샘플링의 경우, 8개 밴드들의 필터 뱅크들만으로 감소하고, 간단한 시간 도메인 컨벌루션을 능가하여 감소를 제공한다. 오버 샘플링된 필터 뱅크들은 정수(integer) 오버 샘플링 팩터들에 한정되는 것이 아니고, 전형적으로, 1.4x 영역의 오버 샘플링 팩터들을 사용하여 높은 신호 충실도, 즉 2x 필터 뱅크에서 약 2.0의 연산 개선을 얻을 수 있다.

비정수(non-integer) 오버 샘플링의 이점들은 단지 연산 부하에 한정되지 아니 한다. 낮은 오버 샘플링 레이트는 또한 서브밴드 PRIR 파일들의 크기를 줄이고, 이것은 이어 PRIR 보간 연산 부하를 줄인다. 비정수 오버 샘플링된 필터 뱅크들의 가장 효율적인 구현예들은 종종, 실수-복소수-실수의 신호 흐름(real-complex-real signal flow)을 사용하여 구현되어, 서브밴드들 신호들이 실수와 상반되는 복소수임(실수 및 허수)을 나타낸다. 이러한 경우에, 복소수 컨벌루션은 서브밴드 PRIR 필터링을 구현하는데 사용되어, 임의의 디지털 신호 프로세서들에서 아키텍처들(architectures)이 실수 계산(real arithmetic)에 비하여 효율적으로 구현되지 않을 수 있는 복소수 곱셈들과 합산들을 필요로 한다. 상기 부류의 비정수 오버 샘플링된 필터 뱅크들은 당업계에 공지되어 있다(예를 들어, Cvetkovi Z., Vetterli M., "Oversampled filter banks," IEEE Trans. Signal Processing, vol, no. 5, at 1245-55(May 1988) 참조).

서브밴드 가상화 방법이 도 19에 도시되어 있다. 먼저, PRIR 데이터 파일이 분석 필터 뱅크(26)를 사용하여 다수의 서브밴드들로 분할되고, 개별적인 서브밴드 PRIR 파일들(28)이 서브밴드 컨벌버들(30)에 의한 사용을 위하여 저장된다(31). 다음으로 입력 오디오 신호가 유사한 분석 필터 뱅크(26)를 사용하여 분할되고, 서브밴드 오디오 신호들이, 모든 오디오 서브밴드들에서 각각의 서브밴드 PRIR들을 필터링하는 서브밴드 컨벌버(30)로 입력한다. 다음으로 상기 서브밴드 컨벌버 출력들(29)은 풀 밴드(full band) 시간 도메인 가상화된 오디오 신호를 출력하는 합성 필터 뱅크(27)를 사용하여 재구성된다.

종래에 존재하는 프로토타입(prototype) 로우 패스 필터들은 서브밴드 패스, 트랜지션(transition), 스톱 밴드 응답을 제어하여 재구성 진폭 리플(ripple)이 최소화되도록 설계되고, 임계적으로 샘플링된 필터 뱅크들의 경우에, 알리아스 삭제가 최대화된다. 본질적으로, 프로토타입 로우 패스 필터들은 서브밴드 오버랩 주파수에서 3㏈ 감쇠를 나타내도록 설계된다. 따라서 분석 필터 및 합성 필터는 조합되어 상기 트랜지션 주파수를 패스 밴드로부터 6㏈ 낮은 상태로 둔다. 요약하면, 서브밴드 오버랩 영역들은 0㏈과 합산되어 최종적인 신호를 전체 패스 밴드에서 실질적으로 리플이 없는 상태가 되도록 한다. 하지만 합성 필터 뱅크 전에, 임의의 서 브밴드를 또 다른 서브밴드와 컨벌빙하는 동작은, 오디오 신호가 효과적으로 상기 프로토타입을 2번이 아니라 3번 통과하기 때문에 3㏈의 피크를 가진 오버랩 리플을 가져온다.

도 14a는 재구성시 어떤 2개의 인접한 서브밴드들 사이에서 일반적으로 발생하는 리플(160)의 일 예를 나타낸다. 오버랩, 또는 트랜지션 주파수(158)는 최대 감쇠와 일치하고, 프로토타입 필터들의 사양에 따라 -3㏈의 영역에 위치한다. 트랜지션(157, 159)의 양측에서 상기 리플은 대칭적으로 0㏈로 감소한다. 전형적으로, 상기 지점들 사이의 대역폭(bandwidth)은 200-300Hz의 영역이다. 예로서, 도 14b는 8밴드 서브밴드 컨벌버를 통과하는 재구성된 오디오 신호에 나타날 수 있는 결과적인 리플을 도시한다.

본 명세서에 상기 리플(160)을 제거하고 평탄한 응답(160a)을 복구하는 많은 방법들이 개시되어 있다. 먼저, 상기 리플은 순전히 진폭 왜곡이기 때문에, 상기 재구성된 신호를, 주파수 응답이 상기 리플의 반대인 FIR 필터에 통과시킴으로써 이퀄라이징될 수 있다. 동일한 역 필터는 상기 필터 뱅크에 앞서 상기 입력 신호 또는 PRIR들 자체를 선강조(pre-emphasize)하는데 사용될 수 있다. 두 번째로, PRIR 파일들을 분할하는데 사용되는 분석 프로토타입 필터는 트랜지션 감쇠를 0㏈로 감소하도록 변형될 수 있다. 세 번째로, 2㏈의 트랜지션 감쇠를 가진 프로토타입 필터는 오디오 필터 뱅크와 PRIR 필터 뱅크 모두를 위하여 설계되어 6㏈의 조합된 감쇠를 제공할 수 있다. 네 번째로, 서브밴드 신호들 자체들은 컨벌루션 단계들의 전 또는 후에, 적합한 역 응답을 가진 서브밴드 FIR 필터를 사용하여 필터링될 수 있다. 모든 시스템 레이턴시의 증가들이 방지될 수 있기 때문에, 프로토타입 필터들을 재설계하는 것은 바람직할 수도 있다. 본 발명의 사상 및 범위를 벗어남 없이 많은 방식으로 리플 왜곡이 이퀄라이징될 수 있음은 자명하다.

도 36은 단일의 개인화된 머리 추적 가상화된 채널을 형성하는데 필요한 바와 같이, 기본적인 서브밴드 가상화기를 PRIR 보간 및 가변 지연 버퍼링과 조합하는데 필요한 단계들을 도시한다. 오디오 신호는, 상기 신호를 다수의 서브밴드 신호들로 분할하는 분석 필터 뱅크(126)에 입력된다. 상기 서브밴드 신호들은 2개의 개별적인 서브밴드 컨벌루션 프로세스들, 즉 좌측 귀 헤드폰 신호를 위한 일측 프로세스(35)와, 우측 귀 헤드폰 신호를 위한 타측 프로세스(36)에 입력된다. 각각의 컨벌루션 프로세스들은 유사한 방식으로 기능한다. 좌측 귀 컨벌버 블록(36)에 입력하는 서브밴드 신호들은, 본질적으로 머리 추적기 각도 정보(10, 11, 12)에 의해 구동된 내부의 서브밴드 PRIR 보간기에 의해 선택되는 바에 따라, 상기 서브밴드 오디오 신호들에서 각각의 죄측 귀 서브밴드 시간 정렬된 PRIR 파일들(16)을 필터링하는 각각의 서브밴드 컨벌버들(34)에 인가된다.

서브밴드 컨벌버들(34)의 출력들은 합성 필터 뱅크(27)에 입력되어 풀 밴드 시간 도메인 좌측 귀 신호로 다시 재구성된다. 상기 프로세스는, 개별적인 서브밴드 오디오 신호들을 컨벌브하는데 사용되는 것이 우측 귀 서브밴드 시간 정렬된 PRIR들(16)인 점을 제외하면, 우측 귀 서브밴드 컨벌루션(36)과 동일하다. 가상화된 좌측 및 우측 귀 신호들은 가변 시간 지연 버퍼들(17)을 통과하며, 가변 시간 지연 버퍼들(17)의 경로 길이는 머리 추적기에 의해 표시되는 특정 머리 방향에 대 해 PRIR 데이터 셋트에 관련된 가상 스피커와 일치하는 실제 사운드 소스들에 대해 존재하는 귀간 시간 지연들을 모사하도록 동적으로 조절된다.

도 16은 예로써 3개의 수평 머리 위치들에 대해 측정된 PRIR들을 사용하여 서브밴드 보간 블록(16)의 기능을 상세히 도시한다. 보간 계수들(6, 7, 8)은 머리 추적기 각도 정보(10), 기준 머리 방향(12) 및 가상 스피커 오프셋(11)의 분석 때에 9에서 생성된다. 개별적인 보간 블록(15)이 각각의 서브밴드 PRIR에 대하여 존재하고, 그 동작은 PRIR 데이터가 서브밴드 도메인에 있는 것을 제외하고 도 15의 것과 동일하다. 모든 보간 블록들(15; 도 16)은 동일한 보간 계수들을 사용하고 상기 보간된 서브밴드 PRIR 데이터는 상기 서브밴드 컨벌버들에 출력된다.

도 38은 도 36의 방법이 더 많은 가상 스피커 채널들을 포함하도록 확장되는 방법을 도시한다. 명료함을 위하여, 서브밴드 신호 길이들은 단일의 굵은 선(28)으로서 합쳐지고, 머리 추적 신호 경로들은 도시되지 않는다. 각각의 오디오 신호가 서브밴드들(26)로 분할되고 해당 서브밴드 신호들은, 출력이 풀 밴드 신호들로 재결합되고 가변 지연 버퍼들(17)에 전송되어 적절한 귀간 지연들에 영향을 미치는, 좌측 및 우측 귀 컨벌버들(35, 36)을 통과한다. 모든 좌측 및 우측 귀 신호들에 대한 버퍼 출력들(40)은 개별적으로 합산되어(5) 좌측 및 우측 귀 헤드폰 신호들을 각각 형성한다.

도 37은 가변 지연 버퍼들(23)이 합성 필터 뱅크(27) 전에 서브밴드들의 각각에 구현되는 도 36의 구현예의 변형을 도시한다. 상기 서브밴드 가변 지연 버퍼(23)가 도 18에 도시되어 있다. 각각의 서브밴드 신호는 그 자신의 개별적인 오 버 샘플링된 지연 프로세서(17a)에 입력되며, 그 동작은 도 17에 도시된 것과 동일하다. 단지 서브밴드 및 풀 밴드 지연 버퍼 구현예 사이의 차이는, 동일한 성능의 경우 오버 샘플링 팩터가 필터 뱅크 서브밴드들의 십분의 일로 감소할 수 있다는 점이다. 예를 들면, 서브밴드 샘플 레이트가 입력 오디오 샘플의 1/4이면, 상기 가변 버퍼의 오버 샘플링 레이트는 1/4로 감소될 수 있다. 이것은 또한, 오버 샘플링 FIR과 지연 버퍼의 크기의 유사한 축소를 가져온다. 도 18은 또한, 동일한 오디오 신호 내의 모든 서브밴드들이 동일한 지연을 나타내어야 한다는 사실을 반영하여, 공통 출력 버퍼 어드레스(20)가 모든 서브밴드 지연 버퍼들에 인가된 것을 도시한다.

도 37과 같이 가변 지연 버퍼들이 서브밴드 도메인에서 구현되는 곳에서는, 서브밴드 도메인의 좌측 및 우측 귀 신호들을 합산하고 이것들을, 각각을 위한 단일의 합성부를 사용하여 재구성함으로써 구현예의 효율의 개선이 얻어질 수 있다. 도 39는 이러한 접근방법을 도시한다. 또 다시, 명료함을 위하여, 서브밴드 신호 경로들은 단일의 굵은 선(28, 29)으로 표시되고, 머리 추적기 정보 경로들은 도시되지 않는다. 각각의 입력 신호가 서브 밴드들(28)로 분할되고(26), 각각의 개별적인 서브밴드 컨벌브되어 서브밴드 가변 지연 버퍼들(37),(38)에 인가된다. 각각의 버퍼들로부터 출력되는 모든 채널들에 대한 좌측 및 우측 귀 서브밴드 신호들은, 합성 필터 뱅크들(27)을 사용하여 풀 밴드 신호들로 다시 재구성되기 전에 서브밴드 합산기들(39)에서 합산된다. 좌측 및 우측 귀 서브밴드 합산기(39)는 수학식 32와 수학식 33에 따라 각각의 가상화된 오디오 채널로부터의 개별적인 서브밴드들에 작용한다.

sub_L[i] = sub_L1[i] + sub_L2[i] + ....... + sub_Ln[i]

sub_R[i] = sub_R1[i] + sub_R2[i] + ....... + sub_Rn[i]

여기서, i = 1, 필터 뱅크 서브밴드들의 개수이고, n = 가상화된 오디오 채널들의 개수이고, sub_L[i]는 i번째 좌측 귀 서브밴드를 나타내고, sub_R[i]는 i번째 우측 귀 서브밴드를 나타낸다.

도 40은 사용자(A)와 사용자(B) 모두가 동일한 가상화된 오디오 신호들을 청취하길 원하나, 그들 자신의 PRIR 신호와 머리 추적 신호를 사용하는 구현을 도시한다. 또 다시, 상기 신호들은 명료함을 위하여 생략되어 있다. 상기 경우에 동일한 오디오 서브밴드 신호들(28)이 사용자의 좌측 및 우측 귀 컨벌루션 프로세서들(37, 38) 모두에 이용될 수 있기 때문에 연산이 절약되고, 상기 절약은 어떤 수의 사용자들에게 이용될 수 있다.

이전의 부분들에서, 헤드폰과 스피커 이퀄라이제이션 필터링의 방법들이 설명되었다. 방금 설명한 서브밴드 컨벌루션 방법들을 사용하는 가상화기 구현예들에 이러한 방법들이 동일하게 응용할 수 있음은 당업자에게 자명하다.

서브밴드 반향 시간의 편차들을 활용함

여기에 개시된 서브밴드 가상화 방법의 큰 이점은, 컨벌루션 연산 부하, PRIR 보간 연산 부하 및 PRIR 저장 공간 조건들에서 더 많은 절약이 될 수 있도록 주파수로 PRIR 반향 시간의 편차들을 활용하는 능력이다. 예를 들면, 전형적인 공간 임펄스 응답들은 종종, 주파수의 증가에 따라 반향 시간의 감소를 나타낸다. 상기 경우에, PRIR이 주파수 서브밴드들로 분할되면, 각 서브밴드 PRIR의 실질적인 길이는 더 높은 서브밴드들에서 감소한다. 예로서, 4밴드 임계적으로 샘플링된 필터 뱅크는 14000개 샘플 PRIR을 3500개 샘플들의 각각에 4개 서브밴드 PRIR들로 분할한다. 하지만 이것은 상기 서브밴드들 전체에 걸쳐 PRIR 반향 시간들이 동일함을 가정한다. 48KHz의 샘플링 레이트에서, 35000, 2625, 1750, 875의PRIR 길이들(3500은 최저 주파수 서브밴드에 대한 것임)은 더욱 전형적이어서 고주파 사운드가 청취 공간 환경에 의해 더욱 쉽게 흡수된다는 사실을 반영한다. 그러므로 더욱 일반적으로는, 어떤 서브밴드의 실질적인 반향 시간이 결정될 수 있고, 컨벌루션 및 PRIR 길이들은 상기 기간을 보장하도록 조절될 수 있다. 상기 반향 시간들은 상기 측정된 PRIR들에 관계되어 있기 때문에, 단지, 헤드폰 시스템을 초기화할 시점에 한 번만 연산하면 된다.

서브밴드 신호 마스킹 한계를 활용함

컨벌루션 프로세스에 관여된 서브밴드들 실제적인 수는, 청취할 수 없는 상기 서브밴드들 또는 컨벌루션 후에 인접한 서브밴드들 신호들에 의해 마스크되는 상기 서브밴드들을 결정함으로서 감소될 수 있다. 지각적인 잡음 또는 신호 마스킹의 이론은 당업계에 공지되어 있고, 신호 스펙트럼의 일부분들의 신호 레벨이 가청 한계보다 낮기 때문에, 또는 신호 스펙트럼의 일부분들이 높은 신호 레벨들 및/또는 인접한 주파수들의 특성으로 인하여 청취할 수 없기 때문에, 피실험자에 의해 인식될 수 없는 신호 스펙트럼의 부분들을 확인하는 단계를 포함한다. 예를 들면, 입력 신호들의 레벨에 관계없이 16KHz 이상의 서브밴드들은 가청할 수 없다는 것이 몇몇 가청 한계 곡선의 응용을 통하여 결정될 수 있다. 상기 경우에, 상기 주파수 이상의 모든 서브밴드들은 서브밴드 컨벌루션 프로세스로부터 영구적으로 제거된다. 관련 서브밴드 PRIR은 또한, 메모리로부터 제거될 수 있다. 더욱 일반적으로는, 상기 컨벌빙된 서브밴드들 전역에서의 마스킹 한계들은 1개 프레임씩 평가되고, 상기 한계 아래로 떨어질 것으로 간주되는 서브밴드들은 묵음화되거나, 그 반향 시간이 분석 프레임의 기간 동안에 심하게 단축된다. 이것은, 완전한 동적 마스킹 한계 연산이 프레임별로 가변하는 연산 부하에 이르는 결과를 가져온다. 하지만 전형적인 응용들에서, 상기 컨벌루션 프로세스는 동시에 많은 오디오 채널들에 걸쳐 실행하기 때문에 상기 편차는 쉽게 완화되어진다. 고정 연산 부하를 유지하길 원하면, 어떤 또는 모든 오디오 채널들에서 활성적인 서브밴드들의 수 또는 전체 컨벌루션 탭(tap) 길이에 임의의 한계들이 부과될 수 있다. 예를 들면, 하기의 한계들이 지각적으로 받아들일 수 있는 것임을 알 수 있다.

첫째, 모든 채널들에 걸쳐 컨벌루션에 관여된 서브밴들의 수는, 마스킹 한계들이 단지 가끔 더 많은 수의 서브밴드들을 가끔 선택하도록 최대 레벨로 고정된다. 서브밴드 한계를 초과함으로써 야기되는 밴드 제한 효과가 고주파 영역들에 한정되도록, 저주파 서브밴드들에 우선순위(priority)가 정해진다. 추가적으로, 우선 순위는 임의의 오디오 채널들에 부여되고, 고주파 밴드 제한 효과는 보다 덜 중요하다고 간주되는 상기 채널들에 한정된다.

더욱이 컨벌루션 탭들의 전체 수는, 마스킹 한계들이, 반향 시간들이 조합되어 상기 한계를 초과하는 서브밴드들의 범위를 단지 가끔 선정하도록 고정된다. 이전과 마찬가지로, 고주파 반향 시간들이 낮은 우선순위의 오디오 채널들에서만 감소하도록 저주파 서브밴드들 및/또는 특정 오디오 채널들에 우선순위가 지정될 수 있다.

신호 또는 스피커 대역폭들의 편차들을 활용함

대역폭이 샘플링 레이트에 비례하여 스케일링 되지 않는 오디오 채널들 또는 스피커들의 경우, 컨벌루션 프로세스에 참여하는 서브밴드들의 수는 애플리케이션의 대역폭과 조화를 이루도록 영구히 낮추어질 수 있다. 예를 들면, 많은 홈 엔터테인먼트 시어터 시스템(home entertainment theatre system)에 공통적인 서브 우퍼(sub-woofer) 채널은 약 120Hz 내외의 동작 대역폭을 가진다. 이는 서브우퍼 스피커 자체에 관해서도 동일하다. 따라서 어떤 뜻있는 신호를 포함하는 상기 서브밴들만이 서브밴드 컨벌루션 프로세스에 참여하는 것을 허용함으로써 오디오 채널의 것과 조화를 이루도록 컨벌루션 프로세스의 대역폭을 제한함으로써 상당한 절약이달성될 수 있다.

주파수-반향 시간 특성을 변경함

헤드폰 가상화기의 리얼리즘을 최대화하기 위해서는, 원래의 PRIR들의 주파수-반향 시간 특성을 유지하는 것이 바람직하다. 하지만 상기 특성은, 컨벌버가 서 브밴드 오디오를 필터링하는데 사용하는 서브밴드 PRIR 샘플들의 수를 한정함으로써 반향 시간을 어떤 서브밴드에 제한함으로써 변경될 수 있다. 본 발명은, 논의한 바와 같이, 어떤 특정 주파수에서 컨벌버들의 복잡성을 간단하게 한정하는데 필요하거나, 임의의 주파수들에서 가상 스피커들의 인식된 반향 시간들을 실제적으로 감소시키는 것이 요구되면, 더욱 진취적으로 응용될 수 있다.

컨벌루션 복잡성을 가상화 정확도와 교환(trade)함

개인화된 공간 임펄스 응답은 3개의 주요 부분들을 포함한다. 첫 번째 부분은, 임펄스 파형이 마운트형 마이크로폰들을 지나서 스피커로부터 나올 때 임펄스 파형의 초기 전송을 기록하는 임펄스 온셋이다. 전형적으로, 첫 번째 부분은 초기 임펄스 온셋에서 약 5 내지 10㎳ 만큼 연장된다. 청취 공간 경계들에서 반사되는, 임펄스의 전반부의 반사 기록이 온셋을 뒤따른다. 전형적인 청취 공간의 경우, 이것은 약 50㎳의 시간 구간에 걸쳐진다. 세 번째 부분은 후반부의 반사의 기록 또는 공간 반향이고, 전형적으로 환경의 반향 시간에 따라 200 내지 300㎳ 동안 지속된다.

PRIR의 반향 부분이 충분히 확산되면, 즉 사운드들이 모든 방향들로부터 동일하게 오는 것으로 인식되면, 모든 획득된 PRIR들의 후반의 반사(반향) 부분은 유사할 것이다. 반향 부분들이 전체 임펄스 응답의 최대 부분을 나타내기 때문에, 상기 부분들과 해당 컨벌루션들을 단일 프로세스에 융합함으로써 상당한 절약을 얻을 수 있다. 도 50은 원래의 시간 정합된 PRIR(246)의 분할을 도시한다. 임펄스 온셋 및 전반부의 반사들(242)과 후반부의 반사들(243) 또는 반향은 점선(241)으로 분리 하여 도시되어 있다. 초기 및 전반부의 반사 계수들(244)은 주요 신호 컨벌버들을 위한 PRIR을 형성한다. 후반부의 반사 또는 반향 계수들(245)은 상기 융합된 신호들을 컨벌브하도록 사용된다. 전반부의 계수 부분(247)은, 원래의 시간 지연을 유지하기 위하여 제로로 될 수 있거나 완전히 제거될 수 있고, 지연은 고정 지연 버퍼를 사용하여 본래대로 될 수 있다.

예로서, 도 49는 수정된 PRIR들을 사용하여 2개의 입력신호들을 가상화하는 시스템을 도시한다. 명료함을 위하여, 머리 추적 신호들은 도시되어 있지 않다. 2개의 오디오 채널들(IN1, IN2)은, 좌측 귀(37) 및 우측 귀(38) 신호들에 대하여 서브밴드(28) 컨벌루션 및 가변 시간 지연 프로세스를 사용하여 가상화된다. 상기 컨벌브된 서브밴드 신호와 지연된 서브밴드 신호는 합산되고(39), 시간 도메인으로 변환되어(27) 좌측 및 우측 귀 헤드폰 신호들이 된다. 좌(37), 우(38) 프로세스들 내에 사용된 PRIR들은 절단처리되어 온셋 및 전반부 반사들(244; 도 50)만을 포함하고, 그 자체로서 상당히 더 낮은 연산 부하를 나타낸다. 좌(37) 및 우(38) 프로세스 내의 머리 추적 서브밴드 PRIR 보간은 통상적인 방식으로 동작하고, 또한 감소된 길이로 인하여 연산적으로 덜 집중적이다. 입력 채널들(CH1 및 CH2) 모두를 위한 PRIR들의 반향 부분들(245; 도 50)은 함께 합산되고, 레벨 조정되어 서브밴드 컨벌버들(35, 36)에 부하된다. 상기 스테이지들은, 가변 지연 프로세싱이 없다는 점에서, (37, 38)의 스테이지들과 상이하다. 양측의 입력 채널들(28)로부터의 서브밴드 신호들이 합산되고(39), 융합된 신호들(240)이 좌측 및 우측 귀(35, 36) 서브밴드 컨벌버들에 인가된다. 상기 좌측 및 우측 귀(35, 36)로부터 출력된 서브밴드 들은 시간 도메인으로 다시 변환되기(37) 전에 그 각각의 좌측 및 우측 귀 서브밴드들과 합산된다(39).

머리 추적형 귀간 지연 프로세싱은 상기 좌측 및 우측 귀(35),(36)의 반향 채널들에 효과적이지 않고, 사용되지 않는다. 이것은, 상기 융합된 오디오 신호들이 더 이상 단일의 가상 스피커로부터 나오지 않아서 1개의 지연 값이 상기와 같은 복합적인 신호들에 최적화되어 있지 않음을 의미한다. 컨벌버 스테이지들(35, 36)은 보통, 머리 추적기에 의해 보내어진 보간된 반향 PRIR들을 사용한다. 상기 보간 프로세스를 록킹(locking)하고, 상기 융합된 신호들을 단지 1개의 고정된 반향 PRIR, 예를 들어 명목적인 시청 머리 방향을 나타내는 PRIR을 컨벌빙함으로써 더욱 단순화하는 것이 가능하다.

도 49의 예에서, 상기 PRIR의 초기 및 전반부 반사 부분들은, 전형적으로 단지 원래의 PRIR의 20%만을 나타낼 수 있고, 도시된 2개의 채널 컨벌루션 구현은 약30%의 연산 절약을 실현할 수 있다. 명백하게도, 더 많은 채널들이 융합된 반향 경로를 사용할수록 상기 절약의 양은 더 커진다. 예를 들면, 5개의 채널 구현예들은 컨벌루션 프로세싱 복잡성을 60% 감소시킴을 알 수 있다.

선가상화(pre-virtualization) 기술들

정상 동작 모드에서, 상기 시스템의 일 실시예는 각각의 가상 스피커에 특정된 많은 임의의 PRIR들로부터 보간되는 임펄스 응답 데이터를 사용하여 입력 오디오 신호를 실시간으로 컨벌브한다. 상기 보간 프로세스는 상기 컨벌루션 프로세스와 함께 연속적으로 실행하고, 청취자의 머리 움직임들이 있을 경우에 가상 사운드 소스들이 고정한 것처럼 나타나도록, 머리 추적 장치를 사용하여 적절한 보간 계수들과 버퍼 지연들을 연산한다. 상기 동작 모드의 중대한 단점은, 가상화기로부터 출력된 스테레오 헤드폰 신호들이 청취자의 실시간 머리 위치에 관련되어 있고, 단지 상기 특정한 순간에만 의미있다는 점이다. 따라서 상기 헤드폰 신호들 자체는, 청취자의 머리 움직임들이 기록 동안에 발생하는 것과 일치되지 않을 것이므로, 일반적으로 저장(또는 기록)될 수 없고, 약간 후에 재생될 수 없다. 더욱이 보간 및 차동 지연들은 상기 헤드폰 신호들에 회고하여 인가될 수가 없기 때문에, 청취자의 머리 움직임들은 가상 이미지를 비회전시키지 못한다. 하지만 선기록된 가상화(pre-recorded virtualization) 또는 선가상화(pre-virtualization)의 개념은, 집중적인 컨벌루션 프로세스들이 단지 기록 동안에 발생하고 재생 동안에 반복될 필요가 없기 때문에, 재생 때의 상당한 연산 부하 감소를 제공한다. 이러한 프로세스는 제한된 재생 프로세싱 전력을 갖는 애플리케이션들과, 상기 가상화 프로세스가 오프라인으로 실행되고, 상기 선가상화된(또는 입체음향의) 신호들이 그 대신에 청취자의 머리 추적 장치의 제어 상태에서 실시간으로 프로세스되는 기회가 존재하는 곳에 유익하다.

선가상화 프로세스의 토대가 도 44에 예시로서 도시되어 있다. 단일의 오디오 신호(41)가 3개의 좌측 귀 시간 정렬된 PRIR들(42, 43, 44)과 3개의 우측 귀 시간 정렬된 PRIR들(45, 46, 47)과 컨벌브된다. 상기 예에서, 3개의 좌측 및 우측 귀 PRIR들은 3개의 다른 머리 방향들(A, B, C)에 대해 개인화된 단일의 스피커에 해당한다. 이러한 개인화 동작들의 예시는 도 29에 도시되어 있다. 머리 위치들(A , B, C)에 대한 좌측 귀 PRIR들 각각은 입력 신호(41)를 컨벌브하여 3개의 개별적인 가상화된 신호들(48, 49, 50)을 각각 형성한다. 덧붙여 3개의 개별적인 가상화된 신호들은 우측 귀 PRIR들을 사용하여 우측 귀에 대하여 생성된다. 본 예의 6개 가상화된 신호들은 3개의 청취자 머리 방향들(A, B, C)에 대한 헤드폰용 좌측 및 우측 귀 피드들(feeds)을 나타낸다. 상기 신호들은 재생장치로 전송될 수 있으며, 또는 나중의 재생을 위하여 저장될 수 있다(51). 상기 경우에, 단지 단일의 보간된 PRIR과 달리 모든 3개의 머리 위치들에 대한 PRIR 들이 상기 신호를 컨벌브하는데 사용되기 때문에, 상기 중간 가상화 스테이지의 연산 부하는 동일한 보간 버전(version)보다 3배 더 크다. 하지만 상기 가상화된 신호들이 저장되어 있는 곳에서는 이것을 실시간으로 실행하는 것이 필요하지 않을 수 있다.

사용자가 상기 가상화된 버전의 입력 오디오 신호(41)를 청취하기 위하여, 보간 계수들이 종래의 PRIR 보간이 동작하는(10) 것과 매우 동일한 방식으로 청취자의 머리 각도(10)에 기반하여 연산된 보간기(56)에 상기 3개의 좌측 귀 가상화된 신호들(52),(53),(54)을 인가하는 것이 필요할 수 있다. 상기 경우에, 상기 보간 계수들은 샘플 기간마다 상기 3개의 입력 신호들의 선형 조합을 출력하는데 사용된다. 상기 우측 귀 가상화된 신호들은 또한, 동일한 프로세스를 사용하여 보간된다(10). 상기 예의 경우, 머리 위치(A)에 대한 가상화된 신호 샘플들이 x1(n)이고, 가상화된 머리 위치(B)에 대한 신호 샘플들이 x2(n)이고, 가상화된 머리 위치(C) 대한 신호 샘플들이 x3(n)이면, 보간된 샘플 스트림(x(n))은 수학식 34와 같이 표시된다.

x(n) = a*x1(n) + b*x2(n) + c*x3(n), n번째 샘플링 기간의 경우

여기서, a, b, c는 수학식 2, 수학식 3, 수학식 4에 따라 머리 추적기 각도들에 따라 값들이 가변하는 보간 계수들이다.

좌측 귀 보간된 출력(56)은 청취자의 머리 각도에 따라 버퍼의 경로 길이를 변화시키는 가변 지연 버퍼(17)에 인가된다. 상기 보간된 우측 귀 신호는 또한, 가변 지연 퍼버를 통과하고, 좌측 및 우측 귀 버퍼들간의 지연의 차이는, 머리 각도의 변화들에 동적으로 적응되어, 상기 버퍼들이 헤드폰 신호들이 가상 스피커와 일치하는 실제 스피커로부터 실제적으로 도달하고 있을 경우 존재하는 귀간 지연들을 맞추도록 한다. 상기 방법들은 앞서 설명한 것과 모두 동일하다. 보간기와 가변 지연 버퍼들은, 상기 가상화된 신호들을 생성하는데 사용된 PRIR들에 특정된 개인화 측정 머리 각도 정보를 이용할 수 있어, 머리 추적기가 명령할 때, 적절한 보간기 계수들과 버퍼 지연들을 동적으로 연산하는 것이 가능하다.

상기 시스템의 일 이점은 보간 프로세스와 가변 지연 프로세스는 가상화 컨벌루션 스테이지들(34)에 의해 요구되는 것보다 매우 적은 연산 부하를 나타낸다는 점이다. 도 44는 3개의 머리 위치들에 대해 가상화된 단일의 오디오 신호(41)를 도시한다. 상기 프로세스가 더 많은 머리 위치들과 더 많은 가상화된 오디오 채널들을 커버하도록 쉽게 확장될 수 있음은 당업자에게 자명하다. 더욱이 상기 선가상화된 신호들(51; 도 44)은 가까이에 저장될 수 있거나, 몇몇 원격 사이트(site)에 저 장될 수 있고, 이들 신호들은 사용자에 의해 재생되어 동영상 또는 비디오와 같은 다른 관련 미디어 스트림들에 동기화될 수 있다.

도 45는 6개의 가상화된 신호들이 인코딩되어(57), 중간 스테이지인 저장 장치(60)로 출력되는 프로세스의 확장을 나타낸다. 입력 오디오 샘플들(41)을 입력하고, 상이한 가상화된 신호들을 생성하고, 그것들을 인코딩하고 그 다음에 그것들을 저장하는(60) 프로세스는 상기 입력 오디오 샘플들이 프로세싱될 때까지 계속한다. 이것은, 실시간이거나 실시간이 아닐 수 있다. 상기 가상화된 신호들을 생성하는데 사용된 PRIR들에 특정된 개인화 측정 머리 각도 정보는 또한, 인코딩된 스트림에 포함된다.

얼마 후에, 청취자가 가상화된 사운드 트랙을 청취하길 원하고, 스토리지(60)에 저장된 가상화된 데이터는, 상기 가상화된 측정 머리 각도 정보를 추출하여 6개의 가상화된 오디오 스트림들을 실시간으로 재구성하는 디코더(58)로 스트림된다(61). 재구성 후에, 좌측 및 우측 귀 신호들은, 출력들이 가변 지연 버퍼들(17)을 통과하여 가상 귀간 지연들을 재형성하는 그들의 각각의 보간기(56)에 인가된다. 본 예에서 헤드폰 이퀄라이제이션은, 버퍼 출력들을 처리하는 필터 스테이지들을 사용하여 구현되고, 상기 필터들의 출력이 스테레오 헤드폰들을 구동하는데 사용된다. 또 다시, 상기 시스템의 이점은, 디코딩, 보간, 버퍼링 및 이퀄라이제이션에 관련된 프로세싱 부하가 상기 가상화 프로세스에 비하여 작은 것이다.

도 44 및 도 45의 예들에서, 선가상화 프로세스는 전송되거나 저장될 오디오 스트림들의 수에 있어서 6배 증가를 초래한다. 더욱 일반적으로는 스트림들의 수 는, 보간기들에 의해 사용된 가상화된 머리 측정의 수의 2배에, 가상화될 스피커들의 수를 곱한 수와 동일하다. 이러한 전송의 비트 레이트, 또는 스토리지(60)에 저장될 데이터 파일의 크기를 감소시키는 일 방법은, 인코더(57) 내에서 몇몇 형태의 오디오 비트 레이트 압축 또는 오디오 코딩을 사용하는 것이다. 오디오 스트림들을 재구성하도록 상보적인 오디오 디코딩 프로세스들이 디코드 프로세스(58)에 상주한다. 오늘날 존재하는 고급 오디오 코딩 시스템들은 가청의 왜곡 없이 12:1 이하의 압축 레이트로 동작할 수 있다. 이것은 선가상화된 인코딩된 스트림들의 저장 조건이 원래의 미압축된 오디오 신호의 것에 비해 양호하다는 것을 의미한다. 하지만 상기 애플리케이션의 경우, 상기 인코드 스테이지(57)에 입력하는 여러 가상화된 신호들 사이의 높은 상관 레벨으로 인하여 훨씬 더 큰 압축 효율이 가능할 것 같다.

도 44와 도 45에 도시된 프로세스들은, 시간 부정합된 선가상화된 신호들 사이에서 보간하는 것이 받아들일 수 있는 것으로 간주되면, 매우 단순화될 수 있다. 상기 단순화의 의미는, 가변 지연 프로세싱이 재생 스테이지에서 완전히 생략되어, 인코딩 전에 좌측 및 우측 귀 신호 군들(groups)이 합산되어 1개 이상의 스피커가 가상화되어야 할 때 디코드 쪽으로 저장되거나 전송되어질 신호들의 수를 감소시킨다는 것이다.

단순화가 도 47에 도시되어 있다. 오디오의 2개 채널들이 선가상화 프로세스(55),(56)에 인가되고, 그 각각이 개별적인 스피커 PRIR들을 사용하여 가상화된다. 상기 오디오 신호들을 컨벌브하도록 사용된 PRIR들 데이터는 시간 정렬되지 않 으나, 가공되지 않은 PRIR 데이터에 존재하는 귀간 시간 지연들을 유지한다. 상기 3개의 머리 위치들에 대한 선가상화된 신호들은 제2 오디오 채널의 것과 합산되어, 출력들이 헤드폰들을 직접 구동하는 좌측 및 우측 귀 보간기(56)로 전송된다. 재생 측(51)으로 전송되는 선가상화된 신호들의 수는 고정되고, 이는 PRIR 머리 위치들의 수의 2배와 동일하여, 도 45에 도시된 시스템들을 구현하는데 필요한 오디오 코딩 압축 조건들을 본질적으로 감소시킨다.

도 47은 2개의 오디오 채널들과 3개의 PRIR 머리 위치들에 대한 애플리케이션을 도시한다. 상기 애플리케이션은 둘 또는 이상의 PRIR 머리 위치를 사용하는 어떠한 수의 오디오 채널들을 커버하도록 확장될 수 있다. 상기 단순화의 주요 단점은, 상기 PRIR들을 시간 정렬하지 않음으로써 보간 프로세스가, 청취자의 머리가 PRIR 측정 지점들 사이에서 움직일 때 헤드폰 오디오 신호들에 임의의 고주파들을 감쇠하기 쉬운 큰 콤필터링(comb filtering) 효과를 생성하는 것이다. 하지만 사용자는, 머리가 기준 방향에 근접하게 위치한 채 가상화된 스피커 사운드를 청취하는데 대부분의 시간을 소비할 수 있기 때문에, 상기 인공물(artifact)은 평균적인 사용자에 심각한 것으로 인식되지 않을 수 있다. 헤드폰 이퀄라이제이션은, 명료함을 위하여 도 47에 도시되지 않으나, 선가상화 프로세싱 동안 또는 PRIR 내에 포함될 수 있거나, 재생 동안에 디코딩된 신호들 또는 헤드폰 출력들 자체에 필터링이 실시될 수 있음은 자명하다.

도 47의 개인화된 선가상화 방법은 좌측 및 우측 귀(입체음향의) 헤드폰 신호들을 생성하는 많은 다른 방법들을 커버하도록 더욱 확장될 수 있다. 일반적인 형태에서, 상기 방법은 많은 개인화된 입체음향의 신호들을 생성하는 기술을 기술하며, 각 신호는 개인화된 데이터가 속하는 개인들의 상이한 머리 방향들 이외에는 동일한 가상 스피커 배치를 나타낸다. 상기 신호들은 예를 들어, 전송 또는 저장을 지원하도록 몇몇 방식으로 처리될 수 있으나, 궁극적으로는 재생 동안에 머리 추적기로부터의 제어 상태에서 헤드폰들에 전송된 입체음향의 신호들은 상기 동일한 셋트들의 신호들로부터 유도된다. 가장 기본적인 구성에서, 2개의 청취자 머리 위치들을 나타내는 2셋트의 입체음향의 신호들은, 헤드폰들을 구동하고 적절한 조합을 결정하는 수단으로서 청취자의 머리 추적기를 사용하는 단일의 입체음향의 신호를 실시간으로 생성하는데 사용된다. 다시 한번, 헤드폰 이퀄라이제이션은 본 발명의 범위를 벗어남 없이 상기 프로세스의 여러 스테이지들에서 실시될 수 있다.

상기 선가상화 방법의 최종적인 일 변형이 도 46에 도시된다. 원격 서버(64)는, 휴대용 오디오 재생기(22)를 통하여 재생용 커스토머(customer) 스토리지(60)에 다운로드(66)될 수 있는 보안된 오디오(67)를 포함한다. 상기 선가상화는 도 45에 도시된 바와 같이, 보안된 오디오 자체가 커스토머 장비에서 다운로드되고 선가상화되는 형태를 가질 수 있다. 하지만 무단복제(piracy) 문제들을 방지하기 위하여, 커스토머로 하여금 PRIR 파일들(63)을 원격 서버에 업로드(65)시키고, 상기 서버로 하여금 오디오(68)를 선가상화시키고(68), 상기 가상화된 오디오를 인코딩하고(57), 커스토머 자신의 저장장치(60)에 스트림(66)을 다운로드시키는 것이 바람직할 수도 있다. 스토리지에 저장된 인코딩된 데이터는 전술한 설명들과 같이 커스토머의 헤드폰들을 거쳐 재생을 위한 디코더로 전달된다. 헤드폰 이퀄라이제이션은 또한 상기 서버에 업로드되어 선가상화 프로세싱에 포함될 수 있거나, 도 46과 같이 재생기에 의해 구현(62)될 수 있다. 상기 선가상화 기술과 재생 기술은 도 45에 예시된 방법들을 사용하여도 좋고, 도 47의 단순화된 접근방법(또는 논의한 바와 같은 일반적인 형태)을 사용할 수도 있다.

상기 접근방법의 이점은, 커스토머에 의해 다운로드된 오디오가 상기 오디오를 PRIR들로 컨벌빙하는 동작에 의해 효과적으로 개인화되는 것이 간단하다는 점이다. 상기 오디오는, PRIR들이 측정된 사람 이외의 청취자들에게 상기 가상화가 다소 비효과적인 것으로 입증될 것이므로, 훨씬 덜 불법복제(pirate)될 것이다. 더욱이 PRIR 컨벌루션 프로세스는 전환하기가 어렵고, 보안 멀티 채널 오디오의 경우에, 개별적인 채널들을 헤드폰 신호들로부터 분리하는 것은 실질적으로 불가능하다.

도 46은 휴대용 재생기의 사용을 도시한다. 하지만 PRIR 데이터를 원격의 오디오 사이트에 업로딩하고 개인화되고 가상화된(입체음향의) 오디오를 다운로딩하는 원리는 많은 종류의 가전용 엔터테인먼트 재생 플랫폼(flatform)에 응용될 수 있다. 상기 가상화된 오디오는 동영상 또는 비디오 데이터와 같은 다른 형태의 미디어 정보에 관련될 수 있고, 상기 신호들은 전형적으로 풀(full) 영상-사운드 동기화가 달성되도록 상기 가상화된 오디오 재생과 동기화된다. 예를 들면, 애플리케이션이 컴퓨터 상의 DVD 비디오 재생일 경우, 영화 사운드 트랙들은 DVD 디스크로부터 독출되고, 선가상화되고, 컴퓨터 자체의 하드 드라이브(hard drive)에 다시 저장된다. 상기 선가상화는 전형적으로 오프라인으로 실시된다. 영화를 보기 위하 여 컴퓨터 사용자는 영화를 개시하고, 디코딩된 DVD 사운드 트랙을 청취하기보다는 상기 동영상에 동기화된 선가상화된 오디오가 대신에(귀간 지연들(17)을 모사하고/모사하거나 통상적인 방식으로 보간(56)하는데 머리 추적기를 사용하여) 재생된다. DVD 사운드 트랙을 선가상화하는 것은 또한, 도 46에 도시된 바와 같이 업로드된 PRIR들을 사용하여 원격 서버 상에서 달성될 수 있다.

상기 선가상화 방법들의 설명은 예로서, 3-점 PRIR 측정 영역을 언급하였다. 논의된 방법들은, 더 적거나 더 많은 PRIR 머리 방향들을 수용하도록 쉽게 확장될 수 있음은 자명하다. 이는 입력 오디오 채널들의 수에 대하여도 동일하다. 더욱이 일반적인 실시간 가상화 방법들의 특징들 중 상당수, 예를 들어 측정된 범위 외측에 위치하는 머리 움직임들에 대한 가상화기 출력을 수정하는 것들은 선가상화된 재생 시스템에 동일하게 응용될 수 있다. 상기 선가상화 명세는 상기 방법을 설명하기 위하여 컨벌루션 프로세스와 보간 및 가변 프로세싱을 분리하는 원리에 초점을 둔다. 여기에 개시된 서브밴드 컨벌루션 방법 또는 FFT 컨벌루션과 같은 다른 방법들과 같은 효율적인 가상화 기술들의 사용이 개선된 인코딩 구현과 디코딩 구현을 가져오는 것은 당업자에게 자명하다. 예를 들면, 컨벌브된 서브밴드들 오디오 신호들 또는 FFT 계수들 자체는, 오디오 코딩 기술들에 의해 더 좋게 활용되어 비트 레이트 압축 효율을 개선할 수 있는 임의의 잉여량(redundancies)을 나타낸다. 더욱이 서브밴드 컨벌루션 프로세스의 연산 부하를 줄이도록 제안된 방법들 중 많은 것은 또한, 인코딩 프로세스에 응용될 수 있다. 예를 들면, 지각적인 마스크 한계보다 낮고, 컨벌루션 프로세스로부터 선택적으로 제거되는 서브밴드들은, 상기 프레임을 위한 인코딩 프로세스로부터 삭제될 수 있고, 이로써 양자화되고 코딩되어야 할 필요가 있는 서브밴드 신호들의 수를 감소시켜 비트 레이트의 감소를 가져온다.

네트워크된 실시간 개인화된 가상화 애플리케이션들

개인화된 머리 추적 가상화가 사용되는 많은 새로운 애플리케이션들이 예상된다. 이러한 일반적인 애플리케이션 중 하나는, 여러 네트워크된 참가자들을 위한 PRIR 데이트 셋트들을 이용할 수 있는 원격의 네트워크된 서버에서 컨벌루션 프로세스가 실행되는, 네트워크된 실시간 개인화된 가상화이다. 이러한 시스템은 가상화된 원격회의, 인터넷 원거리 학습 가상 교실 및 대화식 네트워크된 게임 시스템들의 핵심을 형성한다. 범용 네트워크된 가상화기는 도 48에 도시되어 있다. 예로서, 3명의 원격 사용자(A),(B),(C)는 네트워크(227)를 거쳐 가상화기 허브(hub)(226)에 연결되어 3-웨이 컨퍼런스 타입 콜(3-way conference type call)로 통신하길 원한다. 상기 가상화의 목적은, 원격 당사자들의 목소리들이 기준 머리 방향에 관해 구별된 방향에서 나오는 것으로 보이도록 원격 당사자들의 목소리들을 구내 참가자들 헤드폰들에서 출력시키는 것이다. 예를 들면, 일 옵션(option)은 원격 당사자들 중 한 사람의 목소리를 가상의 좌전방 스피커계자들에서 출력시키고, 다른 사람의 목소리를 가상의 우전방 스피커에서 출력시키는 것이다. 각각의 참가자들 머리 방향은 머리 추적기들에 의해 모니터되고, 이들 각도들은, 머리 움직임들이 존재하는 상태에서 가상의 당사자들을 비회전하기 위하여, 서버에 연속적으로 전달된다.

각각의 참여자들(79)은, 오디오 신호들이 서버(226)에서부터 전달되는 스테레오 헤드폰(80)을 끼고 있다. 머리 추적기(81)는 사용자들 머리 움직임을 추적하고, 이 신호가 서버에 전달되어 가상화기(235), 상기 사용자에 관련된 귀간 지연 및 PRIR 보간(236)을 제어한다. 각각의 헤드폰은 또한, 붐 마이크로폰(228)을 장착하여 각각의 사용자들의 디지털화된(229) 음성 신호들이 서버(234)에 전달되도록 한다. 각각의 음성 신호는 다른 참여자의 가상화기들의 입력으로서 이용 가능하게 된다. 상기 방식에서, 각각의 사용자가 다른 참여자의 음성들만을 가상화된 소스들로서 듣게 되며, 그들 자신의 목소리가 국부적으로 피드백되어 비밀 신호를 제공한다.

회의를 시작하기 전에, 각각의 참여자(79)는 상기 서버에, 많은 머리 각도들에 측정된 가상 스피커들 또는 포인트 소스들을 나타내는 PRIR 파일들(236, 237, 238)을 업로드한다. 상기 데이터는 홈 엔터테인먼트에서 획득된 것과 동일할 수 있거나, 애플리케이션을 위하여 특별하게 생성될 수 있다. 예를 들면, 그것은 엔터테인먼트 목적들에 일반적으로 필요한 것보다 더 많은 스피커 위치들을 포함할 수 있다. 각 사용자는, 각각의 PRIR 파일들과 머리 추적기 제어 신호들(239)이 관련된 서버 내의 독립적인 가상화기(235)에 배정된다. 각 가상화기(233)의 좌측 및 우측 귀 출력들(233)은 각각의 대응하는 참가자들에게 그들의 헤드폰들(80)을 거쳐 실시간으로 다시 보내진다. 명백하게도, 도 48은 어떤 수의 참가자들을 수용할 만큼 확장될 수 있다.

네트워크에 큰 전송 지연(레이턴시)이 존재하는 경우에, 머리 추적 응답 시 간은, 머리 추적 PRIR 보간과 경로 길이 프로세싱이 청취자에게 더 많이 액세스할 수 있는 즉, 업스트림(upstream)과 다운스트림(downstream) 지연들이 더 적은 네트워크 상의 몇몇 위치에서 실시되는 것을 허용함으로써 개선되어질 수 있다. 새로운 위치(location)는 상기 네트워크 상의 또 다른 서버가 될 수 있거나, 청취자와 함께 위치할 수 있다. 이것은, 도 44, 도 45 및 도 47에 도시된 형태의 선가상화 방법들의 사용이, 선가상화된 신호들이 좌측 및 우측 귀 오디오보다도 제2 사이트로 전송되는 곳에서 활용되는 것을 의미한다.

원격회의 애플리케이션의 단순화된 형태는, 참가자들의 수가 작을 때 가능하다. 상기 경우, 참가자들 목소리 신호들의 각각이 네트워크를 거쳐 모든 다른 참가자들에게 전파되는 것이 더 경제적일 수 있다. 상기 방법에서, 전체 가상화기는 일반적인 홈 엔터테인먼트 셋업(setup)으로 되돌아가, 각각의 입력하는 목소리 신호가 간단히 각 참가자에 위치하는 가상화기 장치의 입력이 된다. 상기 경우에는 네트워크된 가상화기 또는 PRIR 업로딩이 필요하지 않다.

디지털 신호 프로세서(DSP)를 사용한 실시간 구현

도 1에 도시되는, 48KHz 샘플링 레이트로 실행하는 멀티 채널 홈 엔터테인먼트 애플리케이션 내에 사용하기 위한 6채널 버전 헤드폰 가상화기의 실시간 구현예가 단일한 디지털 신호 프로세서(DSP) 칩 주위에 구성되었다. 상기 구현예는 MLS 개인화 루틴들과 가상화 루틴들을 단일 프로그램에 통합한다. 상기 구현예는 도 26, 도 27 및 도 28에 도시된 모드들에서 동작할 수 있고, 추가적인 6번째 입력(70)과 스피커 출력(72)을 제공한다. DSP 코어 및 보조 하드웨어가 도 41에 도시 된다. DSP 칩(123)은 PRIR 측정들, 헤드폰 이퀄라이제이션, 머리 추적기 디코딩, 실시간 가상화 및 모든 다른 관련 프로세스들을 수행하는데 필요한 모든 디지털 신호 프로세싱을 제어한다. 도 41은 명료함을 위하여, 여러 가지 디지털 입력/출력(i/o) 신호들 개별적인 경로들로서 나타낸다. 실제의 하드웨어는, 상기 DSP가 외부의 디코더(114), ADC(99), DAC들(92, 72), SPDIF 전송기(112), SPDIF 수신기(111) 및 머리 추적기 UART(73)를 인터럽트(interrupt) 또는 DMA 제어 상태에서 리드(read) 및 라이트(write)할 수 있는 프로그래머블 로직 멀티플렉서(programmable logic multiplexer)를 사용한다. 더욱이 상기 DSP는 멀티플렉싱된 외부 버스(bus)를 거쳐 램(RAM; 125), 부트 롬(Boot ROM; 126) 및 마이크로콘트롤러(127)에 액세스하고, 또한 상기 DSP는 필요하면, DMA 제어 상태에서 동작할 수 있다.

DSP 블록(123)은 도 26, 도 27 및 도 28에 공통이고, 상기 도면들은 상기 칩 자체 내에서 DMA 루틴들로서 구현되는 주요 신호 프로세싱 블록들의 개요를 제공한다. 상기 DSP는 2개의 PRIR 측정 모드들에서 동작하도록 구성될 수 있다.

모드 A)는 도 27에 도시된 바와 같이, 스피커들에 직접적인 액세스가 실용적이지 못한 애플리케이션들을 위하여 설계된다. 상기 모드에서, 입력 오디오 신호들(121; 도 41)은, 비트 스트림이 SPDIF 수신기(111)를 거쳐 입력되는 로컬 멀티 채널 디코더(114)에서 나올 수 있거나, 로컬 멀티 채널 ADC(70)로부터 직접 입력될 수 있다. 개인화 측정 MLS 신호들은 산업용 일반적인 멀티 채널 코더를 사용하여 인코딩되고, SPDIF 송신기(112)를 거쳐 출력된다. MLS 비트 스트림은 뒤이어 일반 적인 AV 수신기(109; 도 27)를 사용하여 디코딩되고, 임의의 스피커로 전달된다.

모드 B)는 도 26에 도시된 바와 같이, 스피커 신호에 직접적인 액세스가 가능한 애플리케이션들을 위하여 설계된다. 모드 A와 같이, 입력 오디오 신호들(121; 도 41)은, 비트 스트림이 SPDIF 수신기(111)를 거쳐 입력되는 로컬 멀티 채널 디코더(114)에서 나올 수 있거나, 로컬 멀티 채널 ADC(70)로부터 직접 입력될 수 있다. 하지만 개인화 측정 MLS 신호들은 멀티 채널 DAC(72)에 직접 출력된다.

도 43은 본 발명의 일 실시예에 따른 개인화 루틴들을 위한 단계들과 사양들을 기술한다. 도 42는 마찬가지로, 가상화 루틴을 위한 단계들과 사양들을 기술한다. DSP 루틴들은 함수에 의해 분리되고, 미리 획득된 개인화된 데이터를 보유하지 못한 사용자를 위하여 파워업(power up) 후에, 전형적으로 아래의 순서로 실행된다.

1)각 스피커 및 각 머리 위치를 위한 PRIR들을 획득함.

2)양 귀들을 위한 헤드폰-마이크로폰 전달 함수를 획득하여 이퀄라이제이션 필터를 생성함.

3)보간 및 귀간 시간 지연 함수들을 생성하여 PRIR을 시간 정렬함.

4)헤드폰 이퀄라이제이션 필터를 사용하여 시간 정합된 PRIR을 선강조(pre-emphasize)함.

5)서브밴드 PRIR들을 생성함.

6)머리 기준 각도들을 확립함.

7)가상 스피커 오프셋들을 연산함.

8)가상화기를 실행함.

DSP를 사용한 실시간 스피커 MLS 측정들

개인화된 공간 임펄스 응답 측정 루틴은, 임펄스 응답들을 32767개 샘플들까지 측정할 수 있는 32767개 상태들(states)을 포함하는 15비트 바이너리 MLS를 사용한다. 48KHz의 오디오 샘플링 레이트에서, 상기 MLS는, 상당한 순환 컨벌루션 앨리어싱 없이 임펄스 응답들을 약 0.68초의 환경적인 반향 시간들 내에 측정할 수 있다. 공간의 반향 시간이 0.68초를 초과할 수 있는 곳에서 더 높은 MLS 차수들(orders)이 사용될 수 있다. 도 29에 도시된 3점 PRIR 측정 방법은 실시간 SDP 플랫폼에서 구현된다. 따라서 머리 피치 및 회전은 상기 PRIR들을 획득할 때 고려되지 않았다. MLS 획득 프로세스 동안의 머리 움직임들은 또한 무시되었고, 그래서 피실험자의 머리가 테스트들 기간 동안에 신뢰성 있게 정지 상태로 유지되었다고 가정되었다.

모드 A 동작을 용이하게 하기 위하여, 32767개 시퀀스가 32768개 샘플들로 재샘플링되었고, 백투백(back-to-back) 블록들의 연속적인 스트림은, 1536kbps로 실행하는 5.1채널 DTS 코히어런트어쿠스틱스(coherent acoustics) 인코더를 사용하여 완전한 재구성 모드가 인에이블(enable)된 상태에서 인코딩되었다. MLS-인코더 프레임 정렬은, 디코더의 출력에서 프레임간 불연속성을 야기함 없이 DTS 비트 스트림이 루프(loop)에서 배출될 수 있도록, 원래의 MLS 윈도우(window)가 512개 샘플들의 64개 디코딩된 프레임들의 것과 정확하게 일치하도록 조정되었다. 일단 정렬이 달성되었으면, 1048576개 비트들, 또는 32768개 스테레오 SPDIF 16-비트 페이 로드(payload) 워드들(words)을 포함한 최종의 DTS 비트 스트림에서 64개 프레임들이 추출된다. 비트 스트림들은, 서브우퍼를 포함한 6개 채널들의 각각에 대해 생성되었다(인코더의 다른 입력 신호들이 묵음화되었다). -27㏈을 시작하여 0㏈까지 3㏈ 스텝으로 상승하는 MLS 진폭의 범위에 걸쳐진 활성 채널 당 10개 비트 스트림들이 생성되었다. 모든 60개의 인코딩된 MLS 시퀀스들은 오프라인으로 인코딩되었고 비트 스트림들은 콤팩트 플래시(compact flash; 130)에 선저장되었으며, 모드A가 인에이블된 채 상기 시스템이 초기화되었을 때마다 시스템 램(RAM)(125)에 업로드되었다.

개인화 프로세스 동안에, 모든 비본질적인 루틴들은 정지되고, 입력되는 좌측 및 우측 귀 마이크로폰 샘플들은 직접적으로 순환 컨벌루션 루틴들에 의해 샘플마다(sample-per-sample) 처리된다. 개인화 측정들은, 마이크로폰들 기록들을 -9㏈ 한계를 초과시키는데 필요한 MLS의 진폭을 먼저 결정함으로써 시작한다. 이것은 각각의 스피커에 대하여 개별적으로 테스트되고, 최저 진폭을 가진 MLS는 모든 후속의 PRIR 측정들을 위하여 사용된다. 적절한 비트 스트림은 루프로 SPDIF 송신기로 스트림되고, 디지털화된 마이크로폰 신호들(99)은 원래의 재샘플링된 MLS와 순환적으로 컨벌빙된다. 상기 프로세스는 32개 MLS 프레임 기간들-약 22초 동안 48kHz의 샘플링 레이트로 계속된다. 풀 5.1채널 스피커 셋업의 경우, 테스트는 전형적으로, 다음의 절차를 사용하여 실시된다.

피실험자는 화면 중앙을 바라보고, 머리를 고정 상태로 유지하고,

1. 좌측 스피커 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측 정되고,

2. 우측 스피커 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측정되고,

3. 중앙 스피커 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측정되고,

4. 좌측 서라운드 스피커 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측정되고,

5. 우측 서라운드 스피커 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측정되고,

6. 서브우퍼 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측정된다.

피실험자는 좌측 스피커를 바라보고 머리를 고정 상태로 유지하고,

1. 좌측 스피커 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측정되고,

2. 우측 스피커 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측정되고,

3. 중앙 스피커 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측정되고,

4. 좌측 서라운드 스피커 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측정되고,

5. 우측 서라운드 스피커 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측정되고,

6. 서브우퍼 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측정된다.

피실험자는 우측 스피커를 바라보고 머리를 고정 상태로 유지하고,

1. 좌측 스피커 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측정되고,

2. 우측 스피커 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측정되고,

3. 중앙 스피커 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측정되고,

4. 좌측 서라운드 스피커 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측정되고,

5. 우측 서라운드 스피커 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측정되고,

6. 서브우퍼 MLS 비트 스트림이 루프되고, 좌측 및 우측 귀 PRIR들이 측정된다.

모드 B 동작의 경우, 32 스케일된 32767개 샘플 MLS는 테스트(72) 중의 스피커(72)로 직접 출력된다. 모드 B에서와 같이, MLS의 진폭은 먼저 테스트 시작 전에 스케일된다. MLS 자체는 콤팩트 플래시(130; 도 41)에 32767개 비트 시퀀스로서 선 저장되고 파워업(power-up)시 DSP에 업로드된다. MLS 측정들은 테스트되는 각 스피커에 대해 그리고 모든 임의의 개인화된 머리 방향에 대해 이루어진다.

피실험자는 화면 중앙을 바라보고 머리를 고정 상태로 유지하고,

1. MLS가 좌측 스피커에 배출되고, 좌측 및 우측 귀 PRIR들이 측정되고,

2. MLS가 우측 스피커에 배출되고, 좌측 및 우측 귀 PRIR들이 측정되고,

3. MLS가 중앙 스피커에 배출되고, 좌측 및 우측 귀 PRIR들이 측정되고,

4. MLS가 좌측 서라운드 스피커에 배출되고, 좌측 및 우측 PRIR들이 측정되고,

5. MLS가 우측 서라운드 스피커에 배출되고, 좌측 및 우측 귀 PRIR들이 측정되고,

6. MLS가 서브우퍼에 배출되고, 좌측 및 우측 귀 PRIR들이 측정된다.

피시험자가 좌측 스피커를 바라보고 머리를 고정 상태로 유지하고,

1. MLS가 좌측 스피커에 배출되고, 좌측 및 우측 귀 PRIR들이 측정되고,

2. MLS가 우측 스피커에 배출되고, 좌측 및 우측 귀 PRIR들이 측정되고,

3. MLS가 중앙 스피커에 배출되고, 좌측 및 우측 귀 PRIR들이 측정되고,

4. MLS가 좌측 서라운드 스피커에 배출되고, 좌측 및 우측 PRIR들이 측정되고,

5. MLS가 우측 서라운드 스피커에 배출되고, 좌측 및 우측 귀 PRIR들이 측정되고,

6. MLS가 서브우퍼에 배출되고, 좌측 및 우측 귀 PRIR들이 측정된다.

피실험자가 우측 스피커를 바라보고 머리를 고정 상태로 유지하고,

1. MLS가 좌측 스피커에 배출되고, 좌측 및 우측 귀 PRIR들이 측정되고,

2. MLS가 우측 스피커에 배출되고, 좌측 및 우측 귀 PRIR들이 측정되고,

3. MLS가 중앙 스피커에 배출되고, 좌측 및 우측 귀 PRIR들이 측정되고,

4. MLS가 좌측 서라운드 스피커에 배출되고, 좌측 및 우측 PRIR들이 측정되고,

5. MLS가 우측 서라운드 스피커에 배출되고, 좌측 및 우측 귀 PRIR들이 측정되고,

6. MLS가 서브우퍼에 배출되고, 좌측 및 우측 귀 PRIR들이 측정된다.

A 또는 B 모드의 경우, 5.1채널 개인화 측정들은 18개 좌우 PRIR 쌍들의 32768 샘플들을 각각 가져오고, 이것들은 추가적인 프로세싱을 위한 임시 메모리(116; 도 26 및 도 27)에 유지되고 콤팩트 플래시에 다시 저장된다. 이들 측정 데이터는 그러므로 PRIR 측정들을 반복하여야 할 필요 없이 추후에 언제든지 사용자에 의해 검색될 수 있다.

DSP를 사용한 실시간 헤드폰들 MLS 측정들

모드 A와 모드 B 모두의 경우, 헤드폰 이퀄라이제이션 측정은 변경을 가하지 않은(straight) MLS(모드 B)를 사용하여 실시된다. MLS 헤드폰 측정 루틴은 스케일된 MLS가 스피커 DAC가 아닌 헤드폰 DAC를 거쳐 헤드폰들에 출력되는 것을 제외하면 스피커 테스트와 동일하다. 헤드폰의 각 측의 응답들은 아래와 내용에 따라 32 평균화된 디컨벌브컨벌브 프레임들을 사용하여 개별적으로 생성된다.

1. MLS가 좌측 귀 헤드폰 변환기에 배출되고, 좌측 귀 PRIR들이 측정되고,

2. MLS가 우측 귀 헤드폰 변환기에 배출되고, 우측 귀 PRIR들이 측정된다.

좌측 및 우측 귀 임펄스 응답들은 최근접 샘플에 시간 정렬되고, 임펄스 온셋에서부터 첫 번째의 128개 샘플들이 남도록 절단된다. 각각의 128개 샘플 임펄스는 본 명세서에 개시된 방법을 사용하여 반전된다. 반전 연산 동안에, 16125Hz 초과의 주파수들은 유니티(unity) 이득으로 설정되고, 폴(pole)과 제로들(zeros)은 0과 750Hz 사이의 평균 레벨에 관하여 +/-12㏈로 클립(clip)된다. 결과적인 좌측 및 우 채널 128 탭들(taps) 대칭 임펄스 응답들은 콤팩트 플래시(130)(도 41)에 다시 저장된다.

PRIR 데이터의 준비

실시간 가상화 루틴들에 사용하기 위한 PRIR 데이터의 준비는 도 43에 도시된다. PRIR 측정들의 완료시, 각 스피커와 3개의 수평 머리 방향들의 각각에 대해 가공되지 않은 좌측 및 우측 귀 PRIR 측정들이 메모리(116)에 유지된다. 먼저, 모든 18개의 좌측 및 우측 귀 PRIR 쌍에 대한 귀간 시간 변위들이 최근접 샘플에 측정되고(225), 그 값이 머리 추적기 프로세서(9, 24)에 의한 사용을 위하여 임시적으로 저장된다. PRIR 쌍들은 본 명세서에 개시된 방법들과 같이 최근접 샘플들에 시간 정렬된다(225). 상기 시간 정합된 PRIR들은, 본 명세서에 기재된 바와 같이, 유니티 이득이 오버랩 지점까지 유지되도록 프로토타입 로우 패스 필터 롤오프(roll-off)가 다소 확장되는 2x 오버샘플링 분석 필터 뱅크를 사용하여, 각각 헤 드폰 이퀄라이제이션 필터들(62)과 컨벌빙되고, 6개의 서브밴드들(26)로 분할된다. 각각의 PRIR을 서브밴드들로 분할하는 동작은 4096개 샘플들을 가진 16개의 서브밴드 PRIR 파일들을 가져온다. 상기 서브밴드 PRIR 파일은 다음의 컨벌루션 프로세스들의 연산 부하를 최적화하기 위하여 절단된다(223). 서브우퍼를 제외한 모든 오디오 채널들의 경우, 각 PRIR의 서브밴드들(1-10)은 단지 첫 번째의 1500개 샘플들을 포함하도록 절단되고 약 0.25초의 반향 시간을 제공하며, 서브밴드들(11-14)은 단지 첫 32개 샘플들을 포함하도록 절단되며, 서브밴드들(15-16)은 전부 제거되어 21KHz를 초과하는 주파수들은 헤드폰 오디오에 존재하지 않는다. 서브우퍼 채널의 경우, 서브밴드(1)는 단지 첫 번째 1500개 샘플들을 포함하도록 절단되고, 모든 다른 서버밴드들은 제거되어, 서브우퍼 컨벌루션 연산들에 포함되지 않는다. 일단 절단되면, 서브밴드 PRIR 데이터는 도 42의 실시간 가상화 프로세스들에 의한 사용을 위하여 그것들의 대응하는 서브밴드 PRIR 보간 프로세서(16) 메모리에 부하된다.

PRIR 보간 공식들(수학식8 내지 수학식 14)은 상기 DSP 구현에 사용된다. 이것은, 시청 머리 각도들(176, 177, 178; 도 29)에 해당하는 3개의 PRIR 측정 머리 각도들(θL, θC, θR)이 각각 알려져 있을 것을 필요로 한다. 상기 구현예는은 전방 중앙 스피커(81)가 기준 머리 각도(θref)와 정확하게 정렬된 것으로 가정한다. 이것은, 수학식 1을 사용하여 MLS 여기 소스인 중앙 스피커를 상대로 한 3개의 머리 위치들의 각각에 대하여 좌측 및 우측 귀 PRIR 쌍들 사이의 귀간 시간 지연들을 분석하여 θL,θC,θR이 연산되도록 한다. 상기 경우에, 최대의 절대 지연은 24개 샘플들로 고정된다.

각각의 가상 스피커에 대한 귀간 경로 길이 공식들은 수학식 23 내지 수학식 25를 사용하여 어떤 가상의 오프셋 조정을 조합하여 예상되고, 각각의 경로 길이 차이는 수학식 31을 사용하여 연산된다. 정현파 함수는 소프트웨어 내에서 0.25도의 각 해상도를 제공하는 4비트 선형 보간과 조합된 32점 단일의 사분면 룩업(look up) 테이블을 사용하여 구성된다. 경로 길이 연산은 청취자들 머리가 PRIR 측정들 각도들의 범위 밖으로 움직일 때조차 계속된다.

선택 사항으로, PRIR 보간 및 경로 길이 공식 생성 루틴들은 키보드(129; 도 41)를 거쳐 가상화기에 수작업으로 입력된 PRIR 머리 각도들 및 스피커 위치들에 관한 정보에 액세스할 수 있다.

동적 머리 추적 연산들

머리 추적기 구현은, 청취자 머리 기울어짐이 있는 상태에서 자성 독출들(magnetic readings)을 비회전하도록 2축 기울기 가속도계를 활용하는 헤드폰 마운트형 3축 자성 센서 설계에 기반한다. 간섭을 방지하기 위하여, 가상화된 신호들을 재생하는데 정전기형 헤드폰들이 사용된다. 자성 및 기울기 측정들과 머리 연산들은 120Hz의 업데이트 레이트로 온보드형(onboard) 마이크로콘트롤러에 의해 실시된다. 청취자 머리 요동, 피치 및 회전 각도들은 보드 레이트(baud rate) 9600bit/초로 전송되는 간단한 비동기 직렬 포맷을 사용하여 가상화기에 전달된다. 비트 스트림은 동기화 데이터, 옵션 명령어들 및 3개의 머리 방향들을 포함한다. 상기 머리 각도들은 Q2 바이너리 포맷을 사용하는 +/-180도 포맷을 사용하여 인코딩되므로 어떤 축에서든지 0.25도의 기본적인 해상도가 제공된다. 결과적으로 2바이트들이 전송되어 각 머리 각도를 보호한다(encapsulate)는 머리 추적기 직렬 스트림은 외부 보드(UART; 73; 도 41)에 연결되고, 각 바이트는 디코딩되어 인터럽스 서비스 루틴을 거쳐 DSP(123)로 전송된다. 머리 추적기 업데이트 레이트는 자유롭게 실행되고(약 120Hz), 가상화기의 오디오 샘플링 레이트의 것과 동기화되지 않는다. 각각의 머리 추적기 인터럽트 때에, DSP는 UART 버스를 리드(read)하여 동기 바이트들의 존재를 체크한다. 확인된 동기화 패턴을 따르는 바이트들은 DSP에 보유된 머리 방향 각도들과, 선택적으로 프래그(flag) 머리 추적기 명령어들을 업데이트하도록 사용된다.

머리 추적기 명령어 함수들 중 하나는 상기 DSP가 현재의 머리 요동 각도를 샘플링하고, 이것을 내부에 저장된 기준 머리 방향(θref)으로 복사하도록 명령하는 것이다. 상기 명령어는 헤드폰 머리 밴드 상에 장착된 머리 추적기 유닛 자체에 장착된 마이크로스위치(micro-switch)에 의해 트리거된다. 상기 구현예에서, 기준 각도는 청취자가 그 머리에 헤드폰을 장착하고, 중앙 스피커를 바라보고 기준 각도 마이크로스위치를 누르도록 명령함으로써 확립된다. 상기 DSP는 상기 머리 요동 각도를 기준으로서 사용한다. 기준 각도의 변화들은 간단히 상기 스위치를 누름으로써 언제든지 이루어질 수 있다.

서브밴드 보간 계수와 가변 지연 경로 길이 업데이트들은 200Hz의 가상화기 프레임 레이트(240 입력 샘플들@Fs = 48KHz)로 연산된다. 보간 계수들의 독창적인 셋은 오디오 채널들의 각각에 대해 독립적으로 연산되어, 가상 오프셋 조정들이 1 개 스피커마다 이루어지도록(θ_VX) 한다. 그 결과적인 서브밴드 보간 계수들은 각각의 오디오 채널(16; 도 16)을 위한 서브밴드 PRIR들의 보간된 셋트를 직접 생성하는데 사용된다.

하지만 경로 길이 업데이트들은 오버 샘플링된 버퍼 어드레스들(20; 도 18)을 직접 구동하도록 사용되지 아니 하고, 대신에 '임의의 경로 길이'변수들의 셋트를 업데이트하도록 사용된다. 실제의 경로 길이들은, 임의의 경로 길이 값들의 방향으로 적응되도록 델타 함수를 사용하여 24개 입력 샘플들마다 업데이트되고, 점진적으로(incrementally) 조정된다. 이것은 모든 가상 스피커 경로 길이들이 머리 추적기 요동 각도의 변화에 따라 2KHz의 레이트로 효과적으로 조정되는 것을 의미한다. 델타 업데이트를 사용하는 목적은, 가변 버퍼 경로 길이들이 큰 차이로 변화하지 않도록 하여, 이로써 청취자의 머리 각도의 급작스러운 변화들로 인하여 오디오 신호들에 가청의 인공물들(artifacts)이 유입될 가능성을 방지한다.

개인화 범위의 영역을 벗어난 머리 요동 각도들의 경우, 보간 계수 연산은 그것들의 최외측 또는 최우측 위치에서 포화한다. 일반적으로, 머리 추적기 피치 및 회전 각도들은, PRIR 측정 범위에 포함되지 않기 때문에 가상화기에 의해 무시된다. 하지만 피치 각도가 약 +/-65도(+/-90도가 수평임)를 초과할 때, 가상화기는 가능한 곳에서 스피커 신호들을 전환한다(132; 도 28). 이것은 청취자가 헤드폰들을 벗어, 평평하게 놓아두고, 스피커들을 거쳐 오디오를 계속 청취하기에 편리한 방식을 제공한다.

실시간 5.1채널 DSP 가상화기

도 42는 본 발명의 실시예에 따라 단일의 입력 오디오 채널을 가상화하도록 구현된 1셋트의 루틴들을 도시한다. 모든 기능들은 채널들의 나머지에 대해 복제되고, 좌측 및 우측 귀 헤드폰 신호들이 복합적인 스테레오 헤드폰 출력을 형성하도록 합쳐진다. 아날로그 오디오 입력 신호는 인터럽트 서비스 루틴을 사용하여, 48KHz의 샘플링 레이트로 실시간 디지털화되고(70), 240개 샘플 버퍼(71)로 전달된다. 상기 버퍼를 충전하자마자, DSP는 입력 샘플들을 내부 임시 버퍼에 복사하여, 좌측 및 우측 채널 출력 버퍼들(71)에 1쌍의 임시 출력 버퍼들로부터의 새롭게 가상화된 오디오를 재부하하는 DMA 루틴을 호출한다. 상기 DMA는 240개 입력 샘플들마다 발생하고 그래서 가상화기 프레임 레이트가 200Hz로 실행된다.

240개의 새로 획득된 입력 샘플들은 2x 오버 샘플링된 480-탭 분석 필터 뱅크를 사용하여 16개의 서브밴들(26)로 분할된다. 이것을 위한 프로토타입 로우 패스 필터와 합성 필터 뱅크는 통상의 방식으로, 즉 오버랩 지점이 패스 밴드 상에서 3㏈ 낮게 설계된다. 각 서브밴드의 30개 샘플들은 좌측 및 우측 귀 서브밴드 컨벌버(30)를 사용하여, 보간 루틴들에 의하여 가장 최근에 업데이트된 보간 계수들을 사용하여 생성된 관련 서브밴드 PRIR 샘플들(16)과 컨벌빙된다. 상기 컨벌빙된 좌측 및 우측 귀 샘플들은 각각 상보적인 16밴드 서브밴드 480 탭 합성 필터 뱅크(27)를 사용하여 240개 샘플 파형들로 재구성된다. 상기 240개 재구성된 좌측 및 우측 귀 샘플들은 가변 지연 버퍼들(17)을 통과하여 가상 스피커에 적절한 귀간 시간 지연에 영향을 미친다. 상기 가변 버퍼 구현은 500x 오버 샘플링 아키텍처를 사 용하여 32000 탭 안티알리싱 필터를 전개시킨다.

결과적으로 각 버퍼는 개별적으로, 입력 샘플 스트림을 32개 샘플들까지 단계적으로 1개 샘플 당 1/500 낮게 지연시킬 수 있다. 앞서 설명한 바와 같이, 지연들은 매 24 입력 샘플 기간들마다 또는 0.5ms마다 업데이트되어 가변 지연들은 각각의 240개 입력 샘플 기간마다 10번 업데이트된다. 각 채널 가상화기의 좌측 및 우측 귀 가변 지연 버퍼들에서 출력되는 240개 샘플들은 합쳐지고(5), 다음 DMA 입력/출력 루틴에서 출력 버퍼들(71)로 전송되는 것에 대비하여 임시 출력 샘플 버퍼들에 부하된다. 상기 좌측 및 우측 귀 출력 샘플들은, 인터럽트 서비스 루틴을 사용하여 DAC들에 48KHz의 레이트로 실시간 전송된다. 결과적인 아날로그 신호들은 버퍼링되고, 청취자에 의해 장착된 헤드폰으로 출력된다.

변형 및 대체 실시예들

본 발명의 상세한 설명을 통하여 본 발명의 여러 예시적인 실시예들이 도시되고 설명되었더라도, 당해 기술 분야의 당업자에 의하여 많은 변형 및 대체 실시예들이 예상된다. 상기 변형 및 대체 실시예들은 본 발명의 사상과 범위를 벗어남 없이 구성될 수 있다.

예를 들면, 상기 설명은 재생 동안에 청취자의 머리 움직임들의 범위를 확립하는 개인화 측정 프로세스를 기술하였다. 이론적으로는 보간을 용이하게 하기 위해서는 2개 이상의 측정 지점들이 필요하다. 실제로, 예들 중 상당수가 3 및 5 점 PRIR 측정 범위들의 사용을 나타내고 있다. 상기 방법으로 스피커들 응답의 각각을 측정하는 것은, 상기 머리 움직임들이 상기 측정 범위 내에 있을 경우 머리 움직임 들을 비회전하는 PRIR 보간이 가상 스피커를 투사하기 위해 사용되고 있는 실제의 스피커에 특정된 PRIR 데이터를 항상 갖게 되는 이점을 갖는다. 다시 말하면, 가상 스피커들이 실제 스피커에 특정된 PRIR 데이터를 사용하기 때문에, 가상 스피커들은 실제의 스피커의 경험에 거의 정확하게 매치된다. 상기 방법과 다른 점 하나는, 각 스피커에 대하여 단지 1셋트의 PRIR들을 측정하는 것이다. 즉, 피실험자는 간단하게 1개의 고정된 머리 위치를 취하고, 엔터테인먼트 시스템을 구성하는 스피커들의 각각에 대하여 좌측 및 우측 귀 PRIR을 획득한다.

통상적으로 피실험자는 측정들을 하기 전에 화면 중앙 또는 다른 몇몇 이상저인 청취 방향을 바라본다. 상기 상태에서, 머리 추적기에 의해 검출되는 상기 기준 머리 방향에서 벗어나는 머리 움직임은, 가상화되고 있는 스피커에 관계되지 않은 보간된 PRIR 데이터 셋트를 사용하여 비회전된다. 하지만 귀간 경로 길이 연산들이 여러 스피커 PRIR 데이터에서 유도될 수 있거나, 가상화기 자체에 통상적인 방식으로 수작업으로 입력될 수 있기 때문에, 귀간 경로 길이 연산들은 정확하게 유지될 수 있다. 인접 스피커 PRIR들 사이의 보간 프로세스는, 가상화기의 범위를 상기 측정된 범위를 초과하여 연장하도록 사용된 방법들 중 하나에서 어느 정도 이미 언급되었다('측정된 범위 외부에 위치하는 머리 움직임들'이라는 제목의 부분을 참조).

도 34b는 +/-30도 측정 범위를 초과하는 머리 회전들에 대한 좌전방 스피커의 보간 조건들을 나타낸다. 상기 예에서, 각 스피커가 머리 회전의 60도 전체를 나타내었고, 존재하는 불충분하게 커버되는 곳에서만 인접 스피커 PRIR들이 갭(gap; 203, 207, 205; 도 34b)을 각각 채우도록 보간되었음이 가정되었다. 단지 1셋트의 PRIR들만이 측정되는 방법에서, 스피커들 사이의 각 영역은 인접한 스피커 보간을 활용한다.

이하의 설명은 도 34에 도시된 동일한 스피커 장치를 사용한 프로세스를 나타낸다. 상기 설명에서, 좌전방 스피커가 360도 전체의 머리 회전 범위에 걸쳐 가상화된다. 청취자가 중앙 스피커를 바라보고(0도) 있는 채 시작하여, 모든 PRIR 보간기들은 실제의 스피커들에서 직접 측정된 상기 응답들을 사용한다. 청취자의 머리가 좌측 스피커 위치 쪽으로 반시계방향으로 돌아감에 따라, 좌전방 가상 스피커에 대한 PRIR 보간기는, 중앙, 좌측 스피커 위치들 사이의 청취자의 머리 각도에 비례하여 컨벌버에 좌, 중앙 스피커 PRIR들의 선형 조합을 출력하기 시작한다.

청취자의 머리 방향이 좌측 스피커 위치(-30도)에 도달할 때까지, 가상의 좌측 스피커 컨벌루션이 중앙 스피커 PRIR에 전적으로 실시된다. 머리가 여전히 반시계방향으로 -30도 내지 -60도에 있으므로, 보간기는 중앙 및 우측 스피커 PRIR들의 선형 조합을 상기 컨벌버에 출력한다. -60도 내지 -150도에는, 우측 및 우측 서라운드 PRIR들이 상기 보간기에 의해 사용된다. -150도 내지 +90도에는, 우측 서라운드 및 좌측 서라운드 PRIR들이 사용된다. 마지막으로, +90도에서 0도까지 반시계방향으로 움직이면, 좌측 서라운드 및 좌측 PRIR들은 상기 보간기에 의해 사용된다. 전술한 설명은, 360도 머리 회전 동안에 가상의 좌전방 스피커를 안정화하는데 필요한 보간 조합들을 나타낸다. 다른 가상 스피커들에 대한 PRIR 조합들은, 특정 스피커의 기하학적 배열과 이용 가능한 PRIR 데이터 셋들을 검사함으로써 쉽게 유도 된다.

단지 단일의 방향에 대해 측정된 PRIR들이 본 명세서에 언급된 선가상화 방법들에 동일하게 응용될 수 있음은 자명하다. 상기 경우들에, 입체음향의 신호들의 범위는 PRIR 머리 방향들의 범위에 한정되지 아니 하고, 사용자는 임의의 머리 움직임의 범위를 결정하고, 상기 범위를 커버하는 적절한 보간된 스피커 PRIR들을 생성하고, 각각에 대해 가상화를 실행한다. 다음으로, 보간기 범위를 적절하게 설정하기 위하여 머리 움직임 한계들이 재생장치에 전송된다. 필요할 경우, 청취자의 머리가 보간기들의 한계들 사이에서 움직임에 따른 귀간 경로 길이를 생성하기 위하여 경로 길이 데이터가 또한 전송된다.

본 발명의 실시예들의 전술한 설명은 예시를 위하여 제시된 것으로, 본 발명은 개시된 정밀한 형태들에 배타적이거나 한정되지 아니한다. 당업자에게는, 상기 관점에서, 많은 수정들 및 변형들이 가능할 것이므로, 본 발명의 범위는 상기 상세한 설명에 의해 한정되는 되는 것이 아니라 첨부된 청구범위에 의해 한정된다.

Claims (38)

1쌍의 헤드폰들 내의 1셋트의 스피커들의 개인화된 가상화를 위한 오디오 시스템에 있어서,

상기 시스템은,

스피커 입력 신호를 수신하는 오디오 입력 인터페이스;

오디오 신호로 1셋트의 스피커들의 각각을 구동하는 스피커 출력 인터페이스;

오디오 신호로 1쌍의 헤드폰들을 구동하는 헤드폰 출력 인터페이스;

청취자의 각 귀 근처에 위치할 수 있는 1개 이상의 마이크로폰들로부터 응답 신호들을 수신하는 마이크로폰 입력 인터페이스;

청취자의 머리의 방향을 검출하는 머리 추적 시스템;

상기 스피커 출력 인터페이스와 커플링된 여기 신호 발생기로서, 상기 오디오 시스템이 개인화된 측정 모드에 있을 때, 상기 여기 신호 발생기는 1개 이상의 스피커들을 구동하여 청취자의 귀들 각각의 근처 위치에서 오디오 응답들을 생성하는 상기 스피커 출력 인터페이스에 여기 신호들을 제공하도록 구성되는 여기 신호 발생기;

상기 오디오 응답들을 위해 상기 마이크로폰 입력 인터페이스로부터 신호들을 수신하도록 마이크로폰 입력 인터페이스와 커플링된 측정 모듈로서, 상기 측정 모듈은 각각의 오디오 응답에 관련된 응답 함수를 생성하도록 구성되고, 각각의 응답 함수는 특정 스피커, 상기 청취자의 특정 귀 및 머리 방향에 관련되는 측정 모듈; 및

상기 헤드폰 출력 인터페이스와 커플링된 가상화기로서, 상기 오디오 시스템이 정상 모드일 때, 상기 가상화기는 1셋트의 응답 함수들을 사용하여 상기 스피커 입력 신호를 변환하고 상기 변환된 스피커 입력 신호를 상기 헤드폰 출력 인터페이스로 제공하는 가상화기를 포함하는 것을 특징으로 하는 오디오 시스템.

제1항에 있어서,

상기 헤드폰 출력 인터페이스와 커플링된 여기 신호 생성기로서, 상기 오디오 시스템이 개인화된 헤드폰 이퀄라이제이션 측정 모드일 때, 상기 여기 신호 발생기는 상기 측정 모듈이 상기 헤드폰들을 이퀄라이징하기 위한 응답 함수를 연산하도록 구성되는 것에 따라, 청취자의 귀들 각각의 근처 위치에서 오디오 응답들을 생성하도록 상기 헤드폰들을 구동하는 헤드폰 출력 인터페이스에 여기 신호들을 제공하도록 구성된 여기 신호 생성기를 더 포함하는 것을 특징으로 하는 오디오 시스템.

제1항에 있어서,

상기 스피커 출력 인터페이스는 멀티 채널 인코딩된 비트 스트림 출력을 포함하고,

상기 여기 신호들은 멀티 채널 오디오 코딩 방법론을 사용하여 인코딩되는 것을 특징으로 하는 오디오 시스템.

제1항에 있어서,

각각의 응답 함수를 1셋트의 필터 계수들로서 저장하는 메모리를 더 포함하는 것을 특징으로 하는 오디오 시스템.

제1항에 있어서,

상기 스피커 입력 신호는 각각이 스피커에 대응하는 복수개의 채널들을 포함하고,

상기 가상화기는, 청취자의 머리 방향에 기초하여 1셋트의 응답 함수들을 결정하고, 좌측 및 우측 귀 응답 함수를 사용하여 각 채널을 변환하고, 상기 헤드폰 출력 인터페이스를 위한 듀얼 채널 변환된 스피커 입력 신호를 얻기 위해 좌측 및 우측 귀 변환된 채널들을 개별적으로 합산함으로써 상기 스피커 입력 신호를 변환하는 것을 특징으로 하는 오디오 시스템.

제5항에 있어서,

상기 가상화기는, 소정의 응답 함수들의 셋트들을 선택하고, 상기 청취자의 머리 방향과 상기 소정의 응답 함수들에 관련된 머리 방향들에 기초하여 상기 선택된 소정의 응답 함수들의 셋들을 보간함으로써 상기 응답 함수들의 셋트를 결정하 는 것을 특징으로 하는 오디오 시스템.

제6항에 있어서,

상기 가상화기는, 특정 스피커와 상기 청취자의 특정 귀 및 머리 방향에 관련된 응답 함수들의 각각을 보간함으로써 2개 이상의 셋트들의 소정의 응답 함수들을 보간하는 것을 특징으로 하는 오디오 시스템.

제6항에 있어서,

상기 응답 함수들은 임펄스 함수들이고,

상기 가상화기는, 각각의 임펄스 함수에 대한 시간 지연을 측정하고, 각각의 임펄스 함수로부터 시간 지연들을 제거하고, 그 결과적인 임펄스 함수들을 평균화하고, 상기 제거된 지연을 상기 평균화된 임펄스 함수에 다시 편입시킴으로써 2개 이상의 응답 함수들을 보간하는 것을 특징으로 하는 오디오 시스템.

제8항에 있어서,

상기 임펄스 함수들은, 상기 청취자의 추적된 머리 방향과 각각의 임펄스 함수에 관련된 방향들에 따라 상기 임펄스 함수들을 가중화함으로써 평균화되는 것을 특징으로 하는 오디오 시스템.

제5항에 있어서,

상기 가상화기는, 메모리에 저장된 1셋트의 소정의 선보간된 응답 함수들을 선택함으로써 상기 셋의 응답 함수들을 결정하고,

상기 선택된 셋트는 상기 청취자의 추적된 머리 방향과 가장 가깝게 매치하는 머리 방향에 관련되는 것을 특징으로 하는 오디오 시스템.

제1항에 있어서,

상기 가상화기는, 1개 이상의 응답 함수들을 조정하여 해당하는 스피커들의 인식된 거리를 변환하도록 더 구성되는 것을 특징으로 하는 오디오 시스템.

제11항에 있어서,

상기 응답 함수는, 상기 응답 함수의 지향성 부분 및 반향 부분을 확인하고, 상기 반향 부분에 관하여 상기 지향 부분의 진폭과 위치를 변화시킴으로써 조정되는 것을 특징으로 하는 오디오 시스템.

제1항에 있어서,

상기 가상화기는, 역 전달 함수를 응용하여 헤드폰들로부터의 출력 신호에 대한 헤드폰들의 효과를 보상하도록 더 구성되는 것을 특징으로 하는 오디오 시스템.

제1항에 있어서,

상기 가상화기는, 역 전달 함수 및 이상적인 기준 전달 함수를 상기 스피커 입력 신호에 응용하도록 더 구성되고,

상기 역 전달 함수는 상기 스피커로부터의 출력 신호에 대한 스피커들의 효과를 보상하도록 설계되며,

상기 이상적인 기준 전달 함수는 개선된 충실도를 가지는 1셋트의 스피커들의 효과를 나타내게 하도록 설계되는 것을 특징으로 하는 오디오 시스템.

헤드폰들을 위한 가상 서라운드 사운드 시스템을 개인화하는 시스템에 있어서,

청취자의 머리 방향을 결정하는 머리 추적 시스템;

1셋트의 스피커들에 여기 신호를 인가하는 수단; 및

제한된 수의 청취자 머리 방향 상의 각 귀 및 각 스피커에 대한 개인화된 공간 임펄스 응답들을 획득하는 수단을 포함하는 것을 특징으로 하는 시스템.

1쌍의 헤드폰들 내의 1셋트의 스피커들의 개인화된 가상화를 위한 오디오 시스템에 있어서,

스피커 입력 신호를 수신하는 오디오 입력 인터페이스;

오디오 신호로 1쌍의 헤드폰들을 구동하기 위한 헤드폰 출력 인터페이스;

청취자의 머리의 방향을 검출하는 머리 추적 시스템;

상기 청취자의 머리 방향에 기초하여 1개 이상의 셋트들의 소정의 개인화된 응답 함수들을 리딩하는 응답 함수 인터페이스로서, 각각의 소정의 개인화된 응답 함수는 특정 머리 방향에 대해 특정 스피커에서부터 청취자의 특정 귀까지의 변환을 나타내는 응답 함수 인터페이스; 및

상기 헤드폰 출력 인터페이스와 커플링된 가상화기로서, 상기 가상화기는 상기 응답 함수 인터페이스에 의해 리딩된 상기 개인화된 응답 함수들을 사용하여 상기 스피커 입력 신호를 변환하고, 결과적인 가상화된 오디오 신호를 상기 헤드폰 출력 인터페이스에 제공하도록 구성되는 가상화기를 포함하는 것을 특징으로 하는 오디오 시스템.

제16항에 있어서,

상기 응답 함수 인터페이스는 외부 메모리로부터 응답 함수들을 리딩하는 것을 특징으로 하는 오디오 시스템.

제16항에 있어서,

상기 가상화기는,

상기 응답 함수 인터페이스에 의해 리딩된 상기 개인화된 응답 함수들을 기초하여 상기 청취자의 머리 방향에 대한 1셋트의 응답 함수들을 평가하고;

상기 평가된 응답 함수들을 사용하여 상기 스피커 입력 신호를 변환하며;

상기 변환된 스피커 입력 신호를 결합하여 가상화된 오디오 신호를 생성함으로써 상기 스피커 입력 신호를 변환하는 것을 특징으로 하는 오디오 시스템.

홈 환경의 청취자를 위한 오디오 가상화 시스템을 개인화하는 방법에 있어서,

청취 위치로의 지향성 사운드를 제공하는 1셋트의 스피커들을 청치 위치 주위에 배치하여 제공하는 단계;

청취 위치에 위치하는 청취자 머리의 귀 근처에 마이크로폰을 고정하는 단계;

많은 머리 방향들의 각각에 대해, 상기 스피커들을 1개 이상의 여기 신호들로 구동하여 각각의 스피커에 대한 상기 청취자의 귀를 위한 오디오 응답을 생성하는 단계;

상기 마이크로폰으로 상기 오디오 응답들을 기록하는 단계; 및

각각의 기록된 오디오 응답에 대한 응답 함수를 생성하는 단계로서, 각각의 응답 함수는 특정 머리 방향에 대해 특정 스피커에서부터 청취자의 특정 귀까지 해당 여기 신호의 변환을 나타내는, 응답 함수를 생성하는 단계를 포함하는 것을 특징으로 하는 오디오 가상화 시스템을 개인화하는 방법.

제19항에 있어서,

상기 청취자의 머리의 방향을 추적하는 단계를 더 포함하는 것을 특징으로 하는 오디오 가상화 시스템을 개인화하는 방법.

제19항에 있어서,

상기 청취자의 귀들의 각각에 마이크로폰을 고정하는 단계; 및

특정 스피커에 대하여 상기 청취자의 귀들의 각각을 위한 오디오 응답들을 동시에 기록하는 단계를 더 포함하는 것을 특징으로 하는 오디오 가상화 시스템을 개인화하는 방법.

제19항에 있어서,

메모리에 각각의 응답 함수를 1셋트의 필터 계수들로서 저장하는 단계; 및

각각의 응답 함수를 머리 방향 및 스피커와 관련시키는 단계를 더 포함하는 것을 특징으로 하는 오디오 가상화 시스템을 개인화하는 방법.

제19항에 있어서,

상기 청취자의 머리 상에 1쌍의 헤드폰들을 배치하는 단계;

상기 헤드폰들을 1개 이상의 여기 신호들로 구동하여 상기 청취자의 각 귀를 위한 헤드폰 오디오 응답을 생성하는 단계로서, 상기 헤드폰 오디오 응답들은 상기 헤드폰들과 상기 청취자에 한정되는, 헤드폰 오디오 응답을 생성하는 단계;

상기 헤드폰 오디오 응답들을 상기 마이크로폰으로 기록하는 단계; 및

각각의 기록된 헤드폰 오디오 응답에 대한 헤드폰 응답 함수를 생성하는 단계로서, 각각의 헤드폰 응답 함수는 역 전달 함수를 생성하여 상기 헤드폰들로부터의 출력 신호에 대한 상기 헤드폰들의 효과를 보상하는데 사용할 수 있는, 헤드폰 응답 함수를 생성하는 단계를 포함하는 것을 특징으로 하는 오디오 가상화 시스템을 개인화하는 방법.

청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들을 가상화하는 방법에 있어서,

상기 셋의 스피커들을 위한 오디오 신호를 수신하는 단계;

상기 청취자의 머리 방향을 추적하는 단계;

복수개의 소정의 개인화된 응답 함수들에 기초하여 상기 청취자의 머리 방향에 대한 1셋트의 응답 함수들을 평가하는 단계로서, 각각의 소정의 개인화된 응답 함수는 특정 머리 방향에 대한 특정 스피커에서부터 청취자의 특정 귀까지 변환을 나타내는, 응답 함수들을 평가하는 단계;

상기 평가된 응답 함수들을 사용하여 상기 수신된 오디오 신호를 변환하는 단계;

상기 변환된 오디오 신호를 결합하여 상기 헤드폰들을 위한 가상화된 오디오 신호를 생성하는 단계; 및

상기 헤드폰들에 상기 가상화된 오디오 신호를 제공하는 단계를 포함하는 것을 특징으로 하는 청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들을 가상화하는 방법.

제24항에 있어서,

각각의 응답 함수를 1셋트의 필터 계수들로서 저장하는 단계를 더 포함하는 것을 특징으로 하는 청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들을 가상화하는 방법.

제24항에 있어서,

상기 응답 함수들을 평가하는 단계는,

상기 추적된 머리 방향을 기초로 하여 2개 이상의 셋트의 소정의 개인화된 응답 함수들을 선택하는 단계; 및

특정 머리 방향에 대한 특정 스피커 및 청취자의 특정 귀의 각각에 관련된 소정의 개인화된 응답 함수들을 보간하는 단계를 포함하는 것을 특징으로 하는 청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들을 가상화하는 방법.

제26항에 있어서,

상기 소정의 개인화된 응답 함수들은 임펄스 함수들이고,

2개 이상의 소정의 개인화된 응답 함수들을 보간하는 단계는,

각각의 임펄스 함수에 대한 시간 지연을 측정하는 단계;

각 임펄스 함수에서 상기 시간 지연들을 제거하는 단계;

그 결과적인 임펄스 함수들을 평균화하는 단계; 및

상기 제거된 지연을 상기 평균화된 임펄스 함수에 다시 편입하는 단계를 포함하는 것을 특징으로 하는 청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들 을 가상화하는 방법.

제27항에 있어서,

상기 결과적인 임펄스 함수들을 평균화하는 단계는, 상기 추적된 머리 방향 및 각각의 임펄스 함수에 관련된 방향들에 따라 상기 임펄스 함수들을 가중화하는 단계를 포함하는 것을 특징으로 하는 청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들을 가상화하는 방법.

제24항에 있어서,

상기 응답 함수들을 평가하는 단계는,

메모리에 저장된 1셋트의 소정의 선보간된 응답 함수들을 선택하는 단계를 포함하고, 상기 선택된 셋트는 상기 추적된 머리 방향과 가장 가깝게 매치하는 머리 방향에 관련되는 것을 특징으로 하는 청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들을 가상화하는 방법.

제24항에 있어서,

상기 수신된 오디오 신호는 상기 스피커들의 각각에 관련된 채널을 포함하고,

상기 수신된 오디오 신호를 변환하는 단계는 좌측 및 우측 귀들에 관련된 평가된 응답 함수들을 사용하여 상기 수신된 오디오 신호의 각 채널을 변환하는 단계 를 포함하는 것을 특징으로 하는 청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들을 가상화하는 방법.

제30항에 있어서,

상기 변환된 오디오 신호를 결합하는 단계는, 상기 헤드폰들에 적합한 듀얼 채널 변환된 오디오 신호를 획득하기 위해 좌측 귀 변환된 채널들과 우측 귀 변환된 채널들을 개별적으로 합산하는 단계를 포함하는 것을 특징으로 하는 청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들을 가상화하는 방법.

제24항에 있어서,

대응하는 스피커들의 인식된 거리를 변환하기 위해 1개 이상의 상기 평가된 응답 함수들을 조정하는 단계를 더 포함하는 것을 특징으로 하는 청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들을 가상화하는 방법.

제32항에 있어서, 상기 조정 단계는,

상기 평가된 응답 함수의 지향성 부분과 반향 부분을 확인하는 단계; 및

상기 반향 부분에 관하여 상기 지향성 부분의 진폭과 위치를 변화시키는 단계를 포함하는 것을 특징으로 하는 청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들을 가상화하는 방법.

제24항에 있어서,

역 전달 함수를 응용하여 헤드폰들로부터의 출력 신호에 대한 헤드폰들의 효과를 보상하는 단계를 더 포함하는 것을 특징으로 하는 청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들을 가상화하는 방법.

제24항에 있어서,

상기 스피커로부터의 출력 신호에 대한 스피커들의 효과를 보상하도록 설계되는 역 전달 함수를 상기 수신된 오디오 신호에 응용하는 단계; 및

개선된 충실도를 가지는 1셋트의 스피커들의 효과를 나타내게 하도록 설계되는 이상적인 기준 전달 함수를 상기 수신된 오디오 신호에 응용하는 단계를 포함하는 것을 특징으로 하는 청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들을 가상화하는 방법.

청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들을 가상화하는 방법에 있어서,

상기 셋트의 스피커들을 위한 오디오 신호를 수신하는 단계;

복수개의 청취자 머리 방향들에 대한 소정의 개인화된 응답 함수들을 사용하여, 상기 오디오 신호를 다중 셋트들의 선가상화된 오디오 신호들로 변환하는 단계;

상기 청취자의 머리 방향을 추적하는 단계;

1개 이상의 셋트들의 선가상화된 오디오 신호들 및 상기 청취자의 추적된 머리 방향을 기초로 하여 1셋트의 변환된 오디오 신호들을 생성하는 단계;

상기 청취자의 추적된 머리 방향을 기초로 하여 상기 생성된 변환된 오디오 신호를 지연하는 단계;

상기 지연된 생성된 변환된 오디오 신호들을 결합하여 상기 헤드폰들을 위한 가상화된 오디오 신호를 생성하는 단계; 및

상기 가상화된 오디오 신호를 상기 헤드폰들에 제공하는 단계를 포함하는 것을 특징으로 하는 청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들을 가상화하는 방법.

제36항에 있어서,

상기 셋트의 변환된 오디오 신호들을 생성하는 단계는, 상기 청취자의 추적된 머리 방향을 기초로 하여 1개 이상의 셋트들의 선가상화된 오디오 신호들을 보간하는 단계를 포함하는 것을 특징으로 하는 청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들을 가상화하는 방법.

청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들을 가상화하는 방법에 있어서,

상기 셋트의 스피커들을 위한 오디오 신호를 수신하는 단계;

복수개의 청취자 머리 방향들에 대한 소정의 개인화된 응답 함수들을 사용하 여, 상기 오디오 신호를 다중 셋트들의 선가상화된 오디오 신호들로 변환하는 단계;

상기 선가상화된 오디오 신호들을 결합하여 상기 청취자 머리 방향들의 각각에 대한 상기 헤드폰들을 위한 가상화된 오디오 신호를 생성하는 단계;

상기 청취자의 머리 방향을 추적하는 단계;

상기 청취자의 추적된 머리 방향을 기초로 하여 상기 결합된 선가상화된 오디오 신호들로부터 유도된 단일의 헤드폰 신호를 생성하는 단계; 및

상기 유도된 가상화된 오디오 신호를 상기 헤드폰들에 제공하는 단계를 포함하는 것을 특징으로 하는 청취자를 위한 1쌍의 헤드폰들 내에 1셋트의 스피커들을 가상화하는 방법.

Images