KR20210141707A - 매핑 서버를 사용하는 헤드셋에 대한 음향 파라미터들의 결정 - Google Patents

Abstract

헤드셋에 대한 음향 파라미터들의 세트의 결정이 본 명세서에서 제공된다. 음향 파라미터들의 세트는 매핑 서버에 저장된 물리적 위치들의 가상 모델에 기초하여 결정될 수 있다. 가상 모델은 복수의 공간들 및 이들 공간들의 음향 속성들을 설명하며, 가상 모델에서의 위치는 헤드셋의 물리적 위치에 대응한다. 헤드셋에 대한 가상 모델에서의 위치는 헤드셋으로부터 수신된 로컬 영역의 적어도 일부를 설명하는 정보에 기초하여 결정된다. 헤드셋의 물리적 위치와 연관된 음향 파라미터들의 세트는 가상 모델에서의 결정된 위치 및 결정된 위치와 연관된 임의의 음향 파라미터들에 적어도 부분적으로 기초하여 결정된다. 헤드셋은 매핑 서버로부터 수신된 음향 파라미터들의 세트를 사용하여 오디오 콘텐츠를 제공한다.

Description

매핑 서버를 사용하는 헤드셋에 대한 음향 파라미터들의 결정

관련된 출원들에 대한 상호 참조

본 출원은 2019년 3월 27일에 출원된 미국 출원 번호 제 16/366,484 호로부터의 우선권을 주장하고, 이 출원의 내용들은 모든 목적들을 위해 그 전체가 본 명세서에 참조로 포함된다.

본 발명은 일반적으로, 헤드셋에서의 오디오의 제공에 관한 것이고, 특히 매핑 서버를 사용하는 헤드셋에 대한 음향 파라미터들의 결정에 관한 것이다.

2명의 사용자들의 귀들에서 인지된 사운드는 각각의 사용자에 대한 음원의 방향 및 위치 뿐만 아니라, 사운드가 인지되는 룸의 주변 환경에 의존하여 상이할 수 있다. 인간들은 귀들의 각각의 세트에서 인지된 사운드를 비교함으로써 음원의 위치를 결정할 수 있다. 인공 현실 환경에서, 객체로부터 청취자로의 사운드 전파를 시뮬레이팅(simulating)하는 것은 룸의 음향 파라미터들 예를 들면, 반향 시간 또는 가장 강한 초기 반사들의 발생 방향에 관한 지식을 사용할 수 있다. 룸의 음향 파라미터들을 결정하기 위한 하나의 기술은 원하는 소스 위치에 라우드스피커를 배치하는 것, 제어된 테스트 신호를 플레이하는 것, 및 청취자 위치에서 기록되는 것으로부터 테스트 신호를 디컨볼빙(de-convolving)하는 것을 포함한다. 그러나, 이러한 기술은 일반적으로, 측정 실험실 또는 현장 전용 장비를 요구한다.

가상 음원을 환경에 매끄럽게 배치하기 위해, 환경을 통해 소스로부터 청취자(수신기)로의 사운드 전파 경로들에 기초하여 각각의 귀에 대한 사운드 신호들이 결정된다. 오디오 콘텐츠를 수신기(헤드셋의 사용자)에게 제공하기 위해 헤드셋에서 사용된 주파수 종속 음향 파라미터들의 세트에 기초하여 다양한 사운드 전파 경로들이 표현될 수 있다. 주파수 종속 음향 파라미터들의 세트는 전형적으로, 고유한 음향 속성을 갖는 로컬 환경(룸)의 특정 음향 구성에 대해 고유하다. 그러나, 로컬 환경의 모든 가능한 음향 구성들을 위해 헤드셋에서 음향 파라미터들의 다양한 세트들을 저장하고 업데이트하는 것은 비현실적이다. 소스와 수신기 사이의 룸 내의 다양한 사운드 전파 경로들은 소스 및 수신기의 특정 위치들에 의존하는 룸 임펄스 응답을 표현한다. 그러나, 공간에 있는 모든 가능한 소스 및 수신기 위치들의 조밀한 네트워크에 대해 측정되거나 시뮬레이팅된 룸 임펄스 응답들, 또는 심지어 가장 공통적인 배열들의 상대적으로 작은 서브세트를 저장하는 것은 메모리 집약적이다. 따라서, 요구된 정확도가 증가함에 따라 실시간으로 룸 임펄스 응답을 결정하는 것은 계산 집약적이다.

본 발명의 실시예들은 헤드셋에서 오디오 콘텐츠를 제공하기 위한 음향 파라미터들의 세트를 결정하기 위한 방법, 컴퓨터 판독가능한 매체, 및 장치를 지원한다. 일부 실시예들에서, 음향 파라미터들의 세트는 네트워크를 통해 헤드셋과 연결된 매핑 서버에 저장된 물리적 위치들의 가상 모델에 기초하여 결정된다. 가상 모델은 복수의 공간들 및 그들 공간들의 음향 속성들을 설명하며, 가상 모델에서의 위치는 헤드셋의 물리적 위치에 대응한다. 매핑 서버는 헤드셋으로부터 수신된 로컬 영역의 적어도 일부를 설명하는 정보에 기초하여, 헤드셋에 대한 가상 모델에서의 위치를 결정한다. 매핑 서버는 가상 모델에서의 결정된 위치 및 결정된 위치와 연관된 임의의 음향 파라미터들에 부분적으로 기초하여, 헤드셋의 물리적 위치와 연관된 음향 파라미터들의 세트를 결정한다. 헤드셋은 매핑 서버로부터 수신된 음향 파라미터들의 세트를 사용하여 청취자에게 오디오 콘텐츠를 제공한다.

본 발명에 따른 실시예들은 특히, 방법, 장치, 및 저장 매체에 관한 첨부된 청구항들에 개시되고, 하나의 청구항 범주 예컨대, 방법에 언급된 임의의 특징은 또 다른 청구항 범주 예컨대, 장치, 저장 매체, 시스템, 및 컴퓨터 프로그램 제품에서 또한 청구될 수 있다. 첨부된 청구항들의 종속성들 또는 역 참조들은 단지 공식적인 이유들로 인해 선택된다. 그러나, 임의의 이전 청구항들(특히 다중 종속성들)에 대한 고의적인 역 참조로부터 발생하는 임의의 주제가 또한 청구될 수 있어서, 청구항들과 그들의 특징들의 임의의 조합이 개시되게 하고 첨부된 청구항들에서 선택된 종속성들에 관계 없이 청구될 수 있게 한다. 청구될 수 있는 주제는 첨부된 청구항들에 제시된 바와 같이 특징들의 조합들 뿐만 아니라, 청구항들의 특징들의 임의의 다른 조합을 포함하고, 청구항들에 언급된 각각의 특징은 청구항들의 임의의 다른 특징 또는 다른 특징들의 조합과 조합될 수 있다. 또한, 본 명세서에서 설명되거나 묘사된 실시예들 및 특징들 중 임의의 것은 별개의 청구항에서 및/또는 본 명세서에서 설명되거나 묘사된 임의의 실시예 또는 특징과 또는 첨부된 청구항들의 특징들 중 임의의 것과의 임의의 조합으로 청구될 수 있다.

일 실시예에서, 방법은:

로컬 영역의 적어도 일부를 설명하는 정보에 기초하여, 로컬 영역 내의 헤드셋에 대한 가상 모델에서의 위치를 결정하는 단계로서, 가상 모델은 복수의 공간들 및 그들 공간들의 음향 속성들을 설명하고, 가상 모델에서의 위치는 로컬 영역 내의 헤드셋의 물리적 위치에 대응하는, 상기 가상 모델에서의 위치를 결정하는 단계; 및

가상 모델에서의 결정된 위치 및 결정된 위치와 연관된 임의의 음향 파라미터들에 부분적으로 기초하여, 헤드셋의 물리적 위치와 연관된 음향 파라미터들의 세트를 결정하는 단계를 포함할 수 있고,

오디오 콘텐츠는 음향 파라미터들의 세트를 사용하여 헤드셋에 의해 제공된다.

일 실시예에서, 방법은:

헤드셋으로부터, 로컬 영역의 적어도 일부를 설명하는 정보를 수신하는 단계를 포함할 수 있고, 정보는 로컬 영역의 적어도 일부에 관한 시각적 정보를 포함한다.

복수의 공간들은: 회의실, 욕실, 복도, 사무실, 침실, 식당, 및 거실을 포함할 수 있다.

오디오 콘텐츠는 로컬 영역 내의 객체로부터 발생하는 것처럼 보이도록 제공될 수 있다.

음향 파라미터들의 세트는:

복수의 주파수 대역들의 각각에 대해 음원으로부터 헤드셋까지의 반향 시간,

각각의 주파수 대역에 대한 반향 레벨,

각각의 주파수 대역에 대한 직접 대 반향 비,

각각의 주파수 대역에 대해 음원으로부터 헤드셋으로의 직접 사운드의 방향,

각각의 주파수 대역에 대한 직접 사운드의 진폭,

음원으로부터 헤드셋으로의 사운드의 초기 반사 시간,

각각의 주파수 대역에 대한 초기 반사의 진폭,

초기 반사의 방향,

룸 모드 주파수들, 및

룸 모드 위치들 중 적어도 하나를 포함할 수 있다.

일 실시예에서, 방법은:

헤드셋으로부터 오디오 스트림을 수신하는 단계;

수신된 오디오 스트림에 기초하여 적어도 하나의 음향 파라미터를 결정하는 단계; 및

적어도 하나의 음향 파라미터를 헤드셋이 위치되는 물리적 공간과 연관된 가상 모델에서의 저장 위치에 저장하는 단계를 포함할 수 있다.

오디오 스트림은 시간에 따른 로컬 영역의 음향 조건의 변화가 임계 변화를 초과한다는 헤드셋에서의 결정에 응답하여 헤드셋으로부터 제공될 수 있다.

일 실시예에서, 방법은:

헤드셋으로부터 오디오 스트림을 수신하는 단계; 및

수신된 오디오 스트림에 기초하여 음향 파라미터들의 세트를 업데이트하는 단계를 포함할 수 있고,

헤드셋에 의해 제공된 오디오 콘텐츠는 음향 파라미터들의 업데이트된 세트에 부분적으로 기초하여 조정된다.

일 실시예에서, 방법은:

하나 이상의 음향 파라미터들을 얻는 단계;

하나 이상의 음향 파라미터들을 음향 파라미터들의 세트와 비교하는 단계; 및

비교에 기초하여, 세트의 적어도 하나의 음향 파라미터를 하나 이상의 음향 파라미터들로 교체함으로써 가상 모델을 업데이트하는 단계를 포함할 수 있다.

일 실시예에서, 방법은:

임계 변화를 초과하는 로컬 영역의 음향 조건의 변화에 응답하여 음향 파라미터들의 조정된 세트로 외삽하기 위해 음향 파라미터들의 세트를 헤드셋으로 송신하는 단계를 포함할 수 있다.

일 실시예에서, 장치는:

로컬 영역의 적어도 일부를 설명하는 정보에 기초하여, 로컬 영역 내의 헤드셋에 대한 가상 모델에서의 위치를 결정하도록 구성된 매핑 모듈로서, 가상 모델은 복수의 공간들 및 그들 공간들의 음향 속성들을 설명하고, 가상 모델에서의 위치는 로컬 영역 내의 헤드셋의 물리적 위치에 대응하는, 상기 매핑 모듈; 및

가상 모델에서의 결정된 위치 및 결정된 위치와 연관된 임의의 음향 파라미터들에 부분적으로 기초하여, 헤드셋의 물리적 위치와 연관된 음향 파라미터들의 세트를 결정하도록 구성된 음향 모듈을 포함할 수 있고,

오디오 콘텐츠는 음향 파라미터들의 세트를 사용하여 헤드셋에 의해 제공된다.

일 실시예에서, 장치는:

헤드셋으로부터, 로컬 영역의 적어도 일부를 설명하는 정보를 수신하도록 구성된 통신 모듈을 포함할 수 있고, 정보는 헤드셋의 하나 이상의 카메라 어셈블리들을 통해 캡처된 로컬 영역의 적어도 일부에 관한 시각적 정보를 포함한다.

오디오 콘텐츠는 로컬 영역 내의 가상 객체로부터 발생하는 것처럼 보이도록 제공될 수 있다.

음향 파라미터들의 세트는:

복수의 주파수 대역들의 각각에 대해 음원으로부터 헤드셋까지의 반향 시간,

각각의 주파수 대역에 대한 반향 레벨,

각각의 주파수 대역에 대한 직접 대 반향 비,

각각의 주파수 대역에 대해 음원으로부터 헤드셋으로의 직접 사운드의 방향,

각각의 주파수 대역에 대한 직접 사운드의 진폭,

음원으로부터 헤드셋으로의 사운드의 초기 반사 시간,

각각의 주파수 대역에 대한 초기 반사의 진폭,

초기 반사의 방향,

룸 모드 주파수들, 및

룸 모드 위치들 중 적어도 하나를 포함할 수 있다.

일 실시예에서, 장치는:

헤드셋으로부터 오디오 스트림을 수신하도록 구성된 통신 모듈을 포함할 수 있고, 음향 모듈은 또한, 수신된 오디오 스트림에 기초하여 적어도 하나의 음향 파라미터를 결정하도록 구성되며, 장치는,

적어도 하나의 음향 파라미터를 헤드셋이 위치되는 물리적 공간과 연관된 가상 모델에서의 저장 위치에 저장하도록 구성된 비 일시적 컴퓨터 판독가능한 매체를 더 포함한다.

음향 모듈은:

하나 이상의 음향 파라미터들을 얻고;

하나 이상의 음향 파라미터들을 음향 파라미터들의 세트와 비교하도록 구성될 수 있고, 장치는,

비교에 기초하여, 세트의 적어도 하나의 음향 파라미터를 하나 이상의 음향 파라미터들로 교체함으로써 가상 모델을 업데이트하도록 구성된 비 일시적 컴퓨터 판독가능한 저장 매체를 더 포함한다.

일 실시예에서, 장치는:

임계 변화를 초과하는 로컬 영역의 음향 조건의 변화에 응답하여 음향 파라미터들의 조정된 세트로 외삽하기 위해 음향 파라미터들의 세트를 헤드셋으로 송신하도록 구성된 통신 모듈을 포함할 수 있다.

일 실시예에서, 비 일시적 컴퓨터 판독가능한 저장 매체는 프로세서에 의해 실행될 때, 프로세서로 하여금 본 명세서의 실시예들 중 임의의 실시예에 따른 방법을 수행하게 하거나:

로컬 영역의 적어도 일부를 설명하는 정보에 기초하여, 로컬 영역 내의 헤드셋에 대한 가상 모델에서의 위치를 결정하게 하는 것으로서, 가상 모델은 복수의 공간들 및 그들 공간들의 음향 속성들을 설명하고, 가상 모델에서의 위치는 로컬 영역 내의 헤드셋의 물리적 위치에 대응하는, 상기 가상 모델에서의 위치를 결정하게 하고;

가상 모델에서의 결정된 위치 및 결정된 위치와 연관된 임의의 음향 파라미터들에 부분적으로 기초하여, 헤드셋의 물리적 위치와 연관된 음향 파라미터들의 세트를 결정하게 하는 인코딩된 명령들을 가질 수 있고,

오디오 콘텐츠는 음향 파라미터들의 세트를 사용하여 헤드셋에 의해 제공된다.

명령들은 프로세서로 하여금:

헤드셋으로부터 오디오 스트림을 수신하게 하고;

수신된 오디오 스트림에 기초하여 적어도 하나의 음향 파라미터를 결정하게 하며;

적어도 하나의 음향 파라미터를 헤드셋이 위치되는 물리적 공간과 연관된 가상 모델에서의 저장 위치에 저장하게 할 수 있고, 가상 모델은 비 일시적 컴퓨터 판독가능한 저장 매체에 저장된다.

명령들은 프로세서로 하여금:

하나 이상의 음향 파라미터들을 얻게 하고;

하나 이상의 음향 파라미터들을 음향 파라미터들의 세트와 비교하게 하며;

비교에 기초하여, 세트의 적어도 하나의 음향 파라미터를 하나 이상의 음향 파라미터들로 교체함으로써 가상 모델을 업데이트하게 할 수 있다.

일 실시예에서, 하나 이상의 컴퓨터 판독가능한 비 일시적 저장 매체들은 실행될 때 상기 언급된 실시예들 중 임의의 실시예에 따르거나 임의의 실시예 내의 방법을 수행하도록 동작가능한 소프트웨어를 구현할 수 있다.

일 실시예에서, 시스템은: 하나 이상의 프로세서들; 및 프로세서들에 결합되고 프로세서들에 의해 실행가능한 명령들을 포함하는 적어도 하나의 메모리를 포함할 수 있고, 프로세서들은 명령들을 실행할 때 상기 언급된 실시예들 중 임의의 실시예에 따르거나 임의의 실시예 내의 방법을 수행하도록 동작가능하다.

일 실시예에서, 바람직하게 컴퓨터 판독가능한 비 일시적 저장 매체들을 포함하는 컴퓨터 프로그램 제품은 데이터 프로세싱 시스템에서 실행될 때 상기 언급된 실시예들 중 임의의 실시예에 따르거나 임의의 실시예 내의 방법을 수행하도록 동작가능할 수 있다.

도 1은 하나 이상의 실시예들에 따른, 헤드셋을 위한 시스템 환경의 블록도.
도 2는 하나 이상의 실시예들에 따른, 음원과 헤드셋의 사용자 사이의 사운드의 전파에 대한 룸의 표면들의 효과들을 도시한 도면.
도 3a는 하나 이상의 실시예들에 따른, 매핑 서버의 블록도.
도 3b는 하나 이상의 실시예들에 따른, 헤드셋의 오디오 시스템의 블록도.
도 3c는 하나 이상의 실시예들에 따른, 물리적 공간들 및 물리적 공간들의 음향 속성들을 설명하는 가상 모델의 일례를 도시한 도면.
도 4는 하나 이상의 실시예들에 따른, 오디오 시스템을 포함하는 헤드셋의 사시도.
도 5a는 하나 이상의 실시예들에 따른, 헤드셋의 물리적 위치에 대한 음향 파라미터들을 결정하기 위한 프로세스를 도시하는 흐름도.
도 5b는 하나 이상의 실시예들에 따른, 매핑 서버로부터 음향 파라미터들을 얻기 위한 프로세스를 도시하는 흐름도.
도 5c는 하나 이상의 실시예들에 따른, 헤드셋에서 룸 임펄스 응답을 재구성하기 위한 프로세스를 도시하는 흐름도.
도 6은 하나 이상의 실시예들에 따른, 헤드셋 및 매핑 서버를 포함하는 시스템 환경의 블록도.
도면들은 단지 예시의 목적들을 위해 본 발명의 실시예들을 묘사한다. 당업자는 본 명세서에서 설명된 본 발명의 원리들, 또는 그의 장점으로 내세워진 이득들로부터 벗어나지 않고 본 명세서에 도시된 구조들 및 방법들의 대안적인 실시예들이 이용될 수 있다는 것을 다음 설명으로부터 용이하게 인식할 것이다.

본 발명의 실시예들은 인공 현실 시스템을 포함하거나 이와 결부하여 구현될 수 있다. 인공 현실은 예컨대, 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실, 또는 그들의 일부 조합 및/또는 파생물들을 포함할 수 있는, 사용자에게 제공되기 전에 일부 방식으로 조정된 현실의 일 형태이다. 인공 현실 콘텐츠는 캡처된(예컨대, 실세계) 콘텐츠와 조합된 생성된 콘텐츠 또는 완전히 생성된 콘텐츠를 포함할 수 있다. 인공 현실 콘텐츠는 비디오, 오디오, 햅틱 피드백, 또는 그들의 일부 조합을 포함할 수 있으며, 그들 중 임의의 것은 단일 채널로 또는 다수의 채널들(예컨대, 뷰어에게 3차원 효과를 생성하는 스테레오 비디오와 같음)로 제공될 수 있다. 부가적으로, 일부 실시예들에서, 인공 현실은 예컨대, 인공 현실에서 콘텐츠를 생성하기 위해 사용되고/거나 그렇지 않으면, 인공 현실에서 사용되는(예컨대, 인공 현실에서 활동들을 수행하는) 애플리케이션들, 제품들, 액세서리들, 서비스들, 또는 그들의 일부 조합과 또한 연관될 수 있다. 인공 현실 콘텐츠를 제공하는 인공 현실 시스템은 헤드셋, 호스트 컴퓨터 시스템에 연결된 머리 장착 디스플레이(HMD), 독립형 HMD, 근안 디스플레이(NED), 모바일 디바이스 또는 컴퓨팅 시스템, 또는 인공 현실 콘텐츠를 한명 이상의 뷰어들에게 제공할 수 있는 임의의 다른 하드웨어 플랫폼을 포함하는 다양한 플랫폼들에서 구현될 수 있다.

룸 음향 매칭을 위한 통신 시스템이 본 명세서에서 제공된다. 통신 시스템은 매핑 서버에 통신가능하게 결합된 오디오 시스템을 갖는 헤드셋을 포함한다. 오디오 시스템은 스피커들, 음향 센서들의 어레이, 복수의 이미징 센서들(카메라들), 및 오디오 제어기를 포함할 수 있는 헤드셋에서 구현된다. 이미징 센서들은 로컬 영역의 적어도 일부와 관련된 시각적 정보(예컨대, 깊이 정보, 컬러 정보, 등)를 결정한다. 헤드셋은 시각적 정보를 매핑 서버에 전달한다(예컨대, 네트워크를 통해). 매핑 서버는 실세계 내의 공간들에 대한 음향 속성들을 포함하는 세계의 가상 모델을 유지한다. 매핑 서버는 헤드셋의 시각적 정보 예컨대, 로컬 영역의 적어도 일부의 이미지들을 사용하여 헤드셋의 물리적 위치에 대응하는 가상 모델에서의 위치를 결정한다. 매핑 서버는 결정된 위치와 연관된 음향 파라미터들(예컨대, 반향 시간, 반향 레벨, 등)의 세트를 결정하고 음향 파라미터들을 헤드셋에 제공한다. 헤드셋은 음향 파라미터들의 세트를 사용하여(예컨대, 오디오 제어기를 통해) 헤드셋의 사용자에게 오디오 콘텐츠를 제공한다. 헤드셋에 장착된 음향 센서들의 어레이는 로컬 영역의 사운드를 모니터링한다. 헤드셋은 룸 구성의 변화(예컨대, 인간 점유 레벨의 변경, 닫힌 후에 창문들이 열려 있음, 닫힌 후에 커튼들이 열려 있음, 등)가 발생했다고 결정하는 것에 응답하여, 모니터링된 사운드의 일부 또는 전부를 오디오 스트림으로서 매핑 서버에 선택적으로 제공할 수 있다. 매핑 서버는 헤드셋으로부터 수신된 오디오 스트림에 기초하여 음향 파라미터들을 재계산함으로써 가상 모델을 업데이트할 수 있다.

일부 실시예들에서, 헤드셋은 헤드셋이 위치되는 로컬 영역에 대한 임펄스 응답을 파라미터화하는 음향 파라미터들의 세트에 관한 정보를 얻는다. 헤드셋은 매핑 서버로부터 음향 파라미터들의 세트를 얻을 수 있다. 대안적으로, 음향 파라미터들의 세트는 헤드셋에 저장된다. 헤드셋은 음향 파라미터들의 세트를 외삽함으로써 헤드셋 및 음원(예컨대, 가상 객체)의 특정 공간 배열에 대한 임펄스 응답을 재구성할 수 있다. 재구성된 임펄스 응답은 음향 파라미터들의 조정된 세트에 의해 표현될 수 있으며, 조정된 세트로부터의 하나 이상의 음향 파라미터들은 원래 세트로부터 하나 이상의 대응하는 음향 파라미터들을 동적으로 조정함으로써 얻어진다. 헤드셋은 재구성된 임펄스 응답, 즉 음향 파라미터들의 조정된 세트를 사용하여 오디오 콘텐츠를 제공한다(예컨대, 오디오 제어기를 통해).

헤드셋은 예컨대, NED, HMD, 또는 일부 다른 유형의 헤드셋일 수 있다. 헤드셋은 인공 현실 시스템의 부분일 수 있다. 헤드셋은 디스플레이 및 광학 어셈블리를 더 포함한다. 헤드셋의 디스플레이는 이미지 광을 방출하도록 구성된다. 헤드셋의 광학 어셈블리는 착용자의 눈의 위치에 대응하는 헤드셋의 아이 박스(eye box)로 이미지 광을 지향하도록 구성된다. 일부 실시예들에서, 이미지 광은 헤드셋을 둘러싸는 로컬 영역에 대한 깊이 정보를 포함할 수 있다.

도 1은 하나 이상의 실시예들에 따른, 헤드셋(110)을 위한 시스템(100)의 블록도이다. 시스템(100)은 룸(102)에서 사용자(106)에 의해 착용될 수 있는 헤드셋(110)을 포함한다. 헤드셋(110)은 네트워크(120)를 통해 매핑 서버(130)에 연결된다.

네트워크(120)는 헤드셋(110)을 매핑 서버(130)에 연결한다. 네트워크(120)는 무선 및/또는 유선 통신 시스템들 둘 모두를 사용하는 근거리 및/또는 광역 네트워크들의 임의의 조합을 포함할 수 있다. 예를 들면, 네트워크(120)는 모바일 전화 네트워크들 뿐만 아니라, 인터넷을 포함할 수 있다. 하나의 실시예에서, 네트워크(120)는 표준 통신 기술들 및/또는 프로토콜들을 사용한다. 따라서, 네트워크(120)는 이더넷, 802.11, 마이크로파 액세스를 위한 전세계 상호운용성(WiMAX), 2G/3G/4G 모바일 통신 프로토콜들, 디지털 가입자 회선(DSL), 비동기식 전송 모드(ATM), 인피니밴드, PCI 익스프레스 고급 스위칭, 등과 같은 기술들을 사용하는 링크들을 포함할 수 있다. 유사하게, 네트워크(120)에서 사용된 네트워킹 프로토콜들은 다중프로토콜 라벨 스위칭(MPLS), 송신 제어 프로토콜/인터넷 프로토콜(TCP/IP), 사용자 데이터그램 프로토콜(UDP), 하이퍼텍스트 전송 프로토콜(HTTP), 단순 메일 전송 프로토콜(SMTP), 파일 전송 프로토콜(FTP), 등을 포함할 수 있다. 네트워크(120)를 통해 교환된 데이터는 이진 형태의 이미지 데이터(예컨대, 휴대용 네트워크 그래픽들(PNG)), 하이퍼텍스트 마크업 언어(HTML), 확장가능한 마크업 언어(XML), 등을 포함하는 기술들 및/또는 포맷들을 사용하여 표현될 수 있다. 게다가, 보안 스켓 계층(SSL), 전송 계층 보안(TLS), 가상 사설 네트워크들(VPNs), 인터넷 프로토콜 보안(IPsec), 등과 같은 종래의 암호 기술들을 사용하여 링크들의 전부 또는 일부가 암호화될 수 있다. 네트워크(120)는 또한, 동일하거나 상이한 룸들에 위치된 다수의 헤드셋들을 동일한 매핑 서버(130)에 연결할 수 있다.

헤드셋(110)은 사용자에게 미디어를 제공한다. 하나의 실시예에서, 헤드셋(110)은 NED일 수 있다. 또 다른 실시예에서, 헤드셋(110)은 HMD일 수 있다. 일반적으로, 헤드셋(110)은 헤드셋의 하나 또는 양쪽 렌즈들을 사용하여 콘텐츠(예컨대, 미디어 콘텐츠)가 제공되도록 사용자의 얼굴에 착용될 수 있다. 그러나, 헤드셋(110)은 또한, 미디어 콘텐츠가 상이한 방식으로 사용자에게 제공되도록 사용될 수 있다. 헤드셋(110)에 의해 제공된 미디어 콘텐츠의 예들은 하나 이상의 이미지들, 비디오, 오디오, 또는 그들의 일부 조합을 포함한다.

헤드셋(110)은 룸(102)의 적어도 일부를 설명하는 시각적 정보를 결정하고, 매핑 서버(130)에 시각적 정보를 제공할 수 있다. 예를 들면, 헤드셋(110)은 룸(102)의 적어도 일부에 대한 깊이 이미지 데이터를 생성하는 적어도 하나의 깊이 카메라 어셈블리(DCA)를 포함할 수 있다. 헤드셋(110)은 룸(102)의 적어도 일부에 대한 컬러 이미지 데이터를 생성하는 적어도 하나의 수동 카메라 어셈블리(PCA)를 더 포함할 수 있다. 일부 실시예들에서, 헤드셋(110)의 DCA 및 PCA는 룸(102)의 시각적 정보를 결정하기 위해 헤드셋(110)에 장착된 동시 국소화 및 매핑(simultaneous localization and mapping; SLAM) 센서들의 일부이다. 따라서, 적어도 하나의 DCA에 의해 캡처된 깊이 이미지 데이터 및/또는 적어도 하나의 PCA에 의해 캡처된 컬러 이미지 데이터는 헤드셋(110)의 SLAM 센서들에 의해 결정된 시각적 정보로서 언급될 수 있다.

헤드셋(110)은 룸(102)에 대한 음향 파라미터들의 세트를 결정하기 위해 네트워크(120)를 통해 매핑 서버(130)에 시각적 정보를 전달할 수 있다. 또 다른 실시예에서, 헤드셋(110)은 그것의 위치 정보(예컨대, 룸(102)의 위성 위치 확인 시스템(GPS) 위치)를 음향 파라미터들의 세트를 결정하기 위한 시각적 정보에 더하여 매핑 서버(130)에 제공한다. 대안적으로, 헤드셋(110)은 음향 파라미터들의 세트를 결정하기 위해 매핑 서버(130)에 위치 정보만을 제공한다. 음향 파라미터들의 세트는 함께 룸(102)에서 음향 조건을 정의하는 룸(102)에서의 특정한 구성의 다양한 음향 속성들을 표현하기 위해 사용될 수 있다. 룸(102)에서의 구성은 따라서, 룸(102)에서의 고유한 음향 조건과 연관된다. 룸(102)에서의 구성 및 연관된 음향 조건은 예컨대, 룸(102)에서 헤드셋(110)의 위치의 변화, 룸(102)에서 음원의 위치의 변화, 룸(102)에서 인간 점유 레벨의 변화, 룸(102)의 창문들을 열고/닫음으로써, 커튼들을 열고/닫음으로써, 룸(102)의 문을 열고/닫음으로써, 룸(102)의 표면들의 하나 이상의 음향 재료들의 변화, 등 중 적어도 하나에 기초하여 변화될 수 있다.

음향 파라미터들의 세트는: 복수의 주파수 대역들의 각각에 대해 음원으로부터 헤드셋(110)까지의 반향 시간, 각각의 주파수 대역에 대한 반향 레벨, 각각의 주파수 대역에 대한 직접 대 반향 비, 각각의 주파수 대역에 대해 음원으로부터 헤드셋(110)으로의 직접 사운드의 방향, 각각의 주파수 대역에 대한 직접 사운드의 진폭, 음원으로부터 헤드셋으로의 사운드의 초기 반사 시간, 각각의 주파수 대역에 대한 초기 반사의 진폭, 초기 반사의 방향, 룸 모드 주파수들, 룸 모드 위치들, 등 중 일부 또는 전부를 포함할 수 있다. 일부 실시예들에서, 상기 언급된 음향 파라미터들 중 일부의 주파수 의존성은 4개의 주파수 대역들로 클러스터링될 수 있다. 일부 다른 실시예들에서, 음향 파라미터들 중 일부는 4개보다 많거나 적은 주파수 대역들로 클러스터링될 수 있다. 헤드셋(110)은 매핑 서버(130)로부터 얻어진 음향 파라미터들의 세트를 사용하여 사용자(106)에게 오디오 콘텐츠를 제공한다. 오디오 콘텐츠는 룸(102) 내의 객체(즉, 실제 객체 또는 가상 객체)로부터 발생하는 것처럼 보이도록 제공된다.

헤드셋(110)은 룸(102)에서의 사운드를 모니터링하기 위한 음향 센서들의 어레이를 더 포함할 수 있다. 헤드셋(110)은 모니터링된 사운드에 기초하여 오디오 스트림을 생성할 수 있다. 헤드셋(110)은 룸(102)에서의 구성의 변화가 발생하여 룸(102)에서의 음향 조건이 변화되었음을 야기한다는 결정에 응답하여, 매핑 서버(130)에서 룸(102)에 대한 하나 이상의 음향 파라미터들을 업데이트하기 위해 매핑 서버(130)에 오디오 스트림을 선택적으로 제공할 수 있다(예컨대, 네트워크(120)를 통해). 헤드셋(110)은 매핑 서버(130)로부터 얻어진 음향 파라미터들의 업데이트된 세트을 사용하여 사용자(106)에게 오디오 콘텐츠를 제공한다.

일부 실시예들에서, 헤드셋(110)은 매핑 서버(130)로부터 또는 헤드셋(110)의 비 일시적 컴퓨터 판독가능한 저장 디바이스(즉, 메모리)로부터 룸(102)에 대한 임펄스 응답을 파라미터화하는 음향 파라미터들의 세트를 얻는다. 헤드셋(110)은 음향 파라미터들의 세트를 음향 파라미터들의 얻어진 세트와 연관된 구성과 상이한 룸(102)의 특정 구성에 대한 재구성된 룸 임펄스 응답을 표현하는 음향 파라미터들의 조정된 세트로 선택적으로 외삽할 수 있다. 헤드셋(110)은 재구성된 룸 임펄스 응답을 사용하여 헤드셋(110)의 사용자에게 오디오 콘텐츠를 제공한다. 또한, 헤드셋(110)은 룸 내에서 헤드셋(110)의 위치(예컨대, 위치 및 포즈)를 추적하는 위치 센서들 또는 관성 측정 유닛(IMU)을 포함할 수 있다. 헤드셋(110)의 동작들 및 구성요소들에 관한 부가적인 상세들은 도 3b, 도 4, 도 5b 및 도 5c 및 도 6과 관련하여 하기에 논의된다.

매핑 서버(130)는 헤드셋(110)을 위한 오디오 콘텐츠의 생성을 용이하게 한다. 매핑 서버(130)는 복수의 공간들 및 그들 공간들의 음향 속성들을 설명하는 가상 모델을 저장하는 데이터베이스를 포함하며, 가상 모델에서의 하나의 위치는 룸(102)의 현재 구성에 대응한다. 매핑 서버(130)는 네트워크(120)를 통해 헤드셋(110)으로부터, 룸(102)의 적어도 일부를 설명하는 시각적 정보 및/또는 룸(102)에 대한 위치 정보를 수신한다. 매핑 서버(130)는 수신된 시각적 정보 및/또는 위치 정보에 기초하여, 룸(102)의 현재 구성과 연관되는 가상 모델에서의 위치를 결정한다. 매핑 서버(130)는 가상 모델에서의 결정된 위치 및 결정된 위치와 연관된 임의의 음향 파라미터들에 부분적으로 기초하여, 룸(102)의 현재 구성과 연관된 음향 파라미터들의 세트를 결정(예컨대, 검색)한다. 매핑 서버(130)는 헤드셋(110)에서 오디오 콘텐츠를 생성하기 위해 헤드셋(110)에 음향 파라미터들의 세트에 관한 정보를 제공할 수 있다(예컨대, 네트워크(120)를 통해). 대안적으로, 매핑 서버(130)는 음향 파라미터들의 세트를 사용하여 오디오 신호를 생성하고 렌더링을 위해 오디오 신호를 헤드셋(110)에 제공할 수 있다. 일부 실시예들에서, 매핑 서버(130)의 구성요소들 중 일부는 유선 연결(도 1에 도시되지 않음)을 통해 헤드셋(110)에 연결된 또 다른 디바이스(예컨대, 콘솔)와 통합될 수 있다. 매핑 서버(130)의 동작들 및 구성요소들에 관한 부가적인 상세들은 도 3a, 도 3c, 도 5a와 관련하여 하기에 논의된다.

도 2는 하나 이상의 실시예들에 따른, 헤드셋의 사용자와 음원 사이의 사운드의 전파에 대한 룸(200)의 표면들의 효과들을 도시한다. 음향 파라미터들의 세트(예컨대, 룸 임펄스 응답을 파라미터화함)는 룸(200)에서 음원으로부터 사용자(수신기)로 이동할 때 사운드가 어떻게 변형되는지를 표현하고, 사운드에 의해 횡단된 반사 사운드 경로들 및 직접 사운드 경로의 효과들을 포함할 수 있다. 예를 들면, 헤드셋(110)을 착용하는 사용자(106)는 룸(200)에 위치된다. 룸(200)은 벽들(202 및 204)과 같은 벽들을 포함하고, 이들은 객체(206)(예컨대, 가상 음원)로부터 사운드(208)를 반사하기 위한 표면들을 제공한다. 객체(206)가 사운드(208)를 방출할 때, 사운드(208)는 다수의 경로들을 통해 헤드셋(110)으로 이동한다. 사운드(208) 중 일부는 반사 없이 직접 사운드 경로(210)를 따라 사용자(106)의 귀(예컨대, 우측)로 이동한다. 직접 사운드 경로(210)는 객체(206)와 사용자(106) 사이의 거리에 대해 전파 매체(예컨대, 공기)에 의해 야기된 사운드의 감쇠, 필터링, 및 시간 지연을 야기할 수 있다.

사운드(208)의 다른 부분들은 사용자(106)에 도달하기 전에 반사되고 반사 사운드들을 표현한다. 예를 들면, 사운드(208)의 또 다른 부분은 반사 사운드 경로(212)를 따라 이동하고, 여기서 사운드는 벽(202)에 의해 사용자(106)에게 반사된다. 반사 사운드 경로(212)는 객체(206)와 벽(202) 사이의 거리에 대한 전파 매체에 의해 야기된 사운드(208)의 감쇠, 필터링, 및 시간 지연, 벽(202)으로부터의 반사에 의해 야기된 또 다른 감쇠 또는 필터링, 및 벽(202)과 사용자(106) 사이의 거리에 대한 전파 매체에 의해 야기된 또 다른 감쇠, 필터링, 및 시간 지연을 야기할 수 있다. 벽(202)에서의 감쇠량은 벽(202)의 음향 흡수에 의존하며, 이는 벽(202)의 재료에 기초하여 달라질 수 있다. 또 다른 예에서, 사운드(208)의 또 다른 부분은 반사 사운드 경로(214)를 따라 이동하고, 여기서 사운드(208)는 객체(216)(예컨대, 테이블)에 의해 및 사용자(106)를 향해 반사된다.

룸(200) 내의 다양한 사운드 전파 경로들(210, 212, 214)은 사운드 소스(즉, 객체(206)) 및 수신기(예컨대, 헤드셋(106))의 특정 위치들에 의존하는 룸 임펄스 응답을 표현한다. 룸 임펄스 응답은 저 주파수 모드들, 회절 경로들, 벽들을 통한 송신, 표면들의 음향 재료 속성들을 포함하는, 룸에 관한 광범위한 정보를 포함한다. 룸 임펄스 응답은 음향 파라미터들의 세트를 사용하여 파라미터화될 수 있다. 반사 사운드 경로들(212 및 214)이 단일 표면에서의 반사에 의해 야기된 1차 반사들의 예들일지라도, 음향 파라미터들의 세트(예컨대, 룸 임펄스 응답)는 다수의 표면들 또는 객체들에서 고차 반사들로부터의 효과들을 통합할 수 있다. 음향 파라미터들의 세트를 사용하여 객체(206)의 오디오 신호를 전환함으로써, 헤드셋(110)은 직접 사운드 경로(210) 및 반사 사운드 경로들(212, 214)을 따라 룸(200)을 통해 사운드로서 오디오 신호의 전파를 시뮬레이팅하는 사용자(106)를 위한 오디오 콘텐츠를 생성한다.

객체(206)(음원)로부터 룸(200) 내의 사용자(106)(수신기)로의 전파 경로가 일반적으로 직접 사운드 경로(210), 인근의 표면들으로부터의 1차 음향 반사들에 대응하는 초기 반사들(예컨대, 반사 사운드 경로(214)에 의해 전달됨), 및 더 먼 표면들 또는 고차 음향 반사들로부터의 1차 음향 반사들에 대응하는 후기 반향(예컨대, 반사 사운드 경로(212)에 의해 전달됨)의 3개의 부분들로 분할될 수 있음에 유의한다. 각각의 사운드 경로는 대응하는 음향 파라미터들을 업데이트하는 레이트들에 영향을 미치는 상이한 인지적 요구조건들을 갖는다. 예를 들면, 사용자(106)는 직접 사운드 경로(210)에서 레이턴시(latency)에 대한 허용 오차가 거의 없을 수 있으며, 따라서 직접 사운드 경로(210)와 연관된 하나 이상의 음향 파라미터들이 최고 레이트로 업데이트될 수 있다. 사용자(106)는 그러나, 초기 반사들에서 레이턴시에 대해 더 많은 허용 오차를 가질 수 있다. 후기 반향은 머리 회전의 변화들에 대해 가장 덜 민감한데, 이는 많은 경우들에서, 후기 반향이 방 내에서 등방성이고 균일하고, 따라서 후기 반향은 회전 또는 병진 운동들로 귀에서 변하지 않기 때문이다. 또한 후기 반향과 관련된 모든 인지적으로 중요한 모든 음향 파라미터들을 계산하는데 계산적으로 비용이 많이 든다. 이러한 이유로, 초기 반사들 및 후기 반향과 연관된 음향 파라미터들은 예컨대, 헤드셋(110)만큼 엄격한 에너지 및 계산 제한들이 없지만, 상당한 레이턴시를 갖는 매핑 서버(130)에서 오프 타임으로 효율적으로 계산될 수 있다. 음향 파라미터들을 결정하기 위한 매핑 서버(130)의 동작들에 관한 상세들은 도 3a 및 도 5a와 관련하여 하기에 논의된다.

도 3a는 하나 이상의 실시예들에 따른, 매핑 서버(130)의 블록도이다. 매핑 서버(130)는 헤드셋(110)이 위치되는 물리적 공간(룸)에 대한 음향 파라미터들의 세트를 결정한다. 음향 파라미터들의 결정된 세트는 룸에서 객체(예컨대, 가상 또는 실제 객체)와 연관된 오디오 신호를 전환하기 위해 헤드셋(110)에서 사용될 수 있다. 객체에 설득력 있는 음원을 부가하기 위해, 헤드셋(110)으로부터 출력된 오디오 신호는 그것이 자연적인 소스가 동일한 위치에 있을 동일한 방식으로 객체의 위치로부터 청취자에게 전파된 것처럼 들려야 한다. 음향 파라미터들의 세트는 룸의 표면들로부터의 다양한 반사 경로들 및 직접 경로를 따른 전파를 포함하는, 룸 내의 객체로부터 청취자로의(즉, 룸 내의 헤드셋의 위치로의) 사운드의 전파에 의해 야기된 전환을 정의한다. 매핑 서버(130)는 가상 모델 데이터베이스(305), 통신 모듈(310), 매핑 모듈(315), 및 음향 분석 모듈(320)을 포함한다. 다른 실시예들에서, 매핑 서버(130)는 임의의 부가적인 모듈들과 함께 나열된 모듈들의 임의의 조합을 가질 수 있다. 일부 다른 실시예들에서, 매핑 서버(130)는 도 3a에 도시된 모듈들의 기능들을 조합하는 하나 이상의 모듈들을 포함한다. 매핑 서버(130)의 프로세서(도 3a에 도시되지 않음)는 가상 모델 데이터베이스(305), 통신 모듈(310), 매핑 모듈(315), 음향 분석 모듈(320), 하나 이상의 다른 모듈들 또는 도 3a에 도시된 모듈들의 기능들을 조합하는 모듈들의 일부 또는 전부를 실행할 수 있다.

가상 모델 데이터베이스(305)는 복수의 물리적 공간들 및 그들 물리적 공간들의 음향 속성들을 설명하는 가상 모델을 저장한다. 가상 모델에서의 각각의 위치는 고유한 음향 조건과 연관된 특정 구성을 가지는 로컬 영역 내의 헤드셋(110)의 물리적 위치에 대응한다. 고유한 음향 조건은 음향 파라미터들의 고유한 세트로 표현된 음향 속성들의 고유한 세트를 가지는 로컬 영역의 조건을 표현한다. 가상 모델에서의 특정한 위치는 룸(102) 내의 헤드셋(110)의 현재 물리적 위치에 대응할 수 있다. 가상 모델에서의 각각의 위치는 로컬 영역의 하나의 구성을 표현하는 대응하는 물리적 공간에 대한 음향 파라미터들의 세트와 연관된다. 음향 파라미터들의 세트는 로컬 영역의 그 하나의 특정한 구성의 다양한 음향 속성들을 설명한다. 가상 모델에서 음향 속성들이 설명되는 물리적 공간들은 회의실, 욕실, 복도, 사무실, 침실, 식당, 및 거실을 포함하지만 그들로 제한되지 않는다. 따라서, 도 1의 룸(102)은 회의실, 욕실, 복도, 사무실, 침실, 식당, 또는 거실일 수 있다. 일부 실시예들에서, 물리적 공간들은 특정 외부 공간들(예컨대, 파티오, 정원, 등) 또는 다양한 내부 및 외부 공간들의 조합일 수 있다. 가상 모델의 구조에 관한 더 많은 상세들은 도 3c와 관련하여 하기에 논의된다.

통신 모듈(310)은 네트워크(120)를 통해 헤드셋(130)과 통신하는 모듈이다. 통신 모듈(310)은 헤드셋(130)으로부터, 룸(102)의 적어도 일부를 설명하는 시각적 정보를 수신한다. 하나 이상의 실시예들에서, 시각적 정보는 룸(102)의 적어도 일부에 대한 이미지 데이터를 포함한다. 예를 들면, 통신 모듈(310)은 룸(102)의 벽들, 바닥 및 천장의 표면들과 같은, 룸(102)의 표면들에 의해 정의된 룸(102)의 형상에 관한 정보와 함께 헤드셋(110)의 DCA에 의해 캡처된 깊이 이미지 데이터를 수신한다. 통신 모듈(310)은 또한, 헤드셋(110)의 PCA에 의해 캡처된 컬러 이미지 데이터를 수신할 수 있다. 매핑 서버(130)는 상이한 음향 재료들을 룸(102)의 표면들과 연관시키기 위해 컬러 이미지 데이터를 사용할 수 있다. 통신 모듈(310)은 헤드셋(130)으로부터 수신된 시각적 정보(예컨대, 깊이 이미지 데이터 및 컬러 이미지 데이터)를 매핑 모듈(315)에 제공할 수 있다.

매핑 모듈(315)은 헤드셋(110)으로부터 수신된 시각적 정보를 가상 모델의 위치에 매핑한다. 매핑 모듈(315)은 헤드셋(110)이 위치되는 현재 물리적 공간, 즉 룸(102)의 현재 구성에 대응하는 가상 모델의 위치를 결정한다. 매핑 모듈(315)은 (i) 적어도 예컨대, 물리적 공간의 표면들의 기하학적 구조에 관한 정보 및 표면들의 음향 재료들에 관한 정보와 (ii) 가상 모델 내의 물리적 공간의 대응하는 구성 사이의 매핑을 발견하기 위해 가상 모델을 검색한다. 매핑은 수신된 시각적 정보의 기하학적 구조 및/또는 음향 재료 정보를 가상 모델 내의 물리적 공간의 구성의 일부로서 저장되는 기하학적 구조 및/또는 음향 재료 정보와 매칭시킴으로써 수행된다. 가상 모델 내의 물리적 공간의 대응하는 구성은 헤드셋(110)이 현재 위치되는 물리적 공간의 모델에 대응한다. 어떠한 매칭도 발견되지 않으면, 이것은 물리적 공간의 현재 구성이 아직 가상 모델 내에서 모델링되지 않는다는 표시이다. 이러한 경우에, 매핑 모듈(315)은 어떠한 매칭도 발견되지 않음을 음향 분석 모듈(320)에 통지할 수 있고, 음향 분석 모듈(320)은 수신된 시각적 정보에 적어도 부분적으로 기초하여 음향 파라미터들의 세트를 결정한다.

음향 분석 모듈(320)은 매핑 모듈(315)로부터 얻어진 가상 모델에서의 결정된 위치 및 결정된 위치와 연관된 가상 모델의 임의의 음향 파라미터들에 부분적으로 기초하여, 헤드셋(110)의 물리적 위치와 연관된 음향 파라미터들의 세트를 결정한다. 일부 실시예들에서, 음향 분석 모듈(320)은 음향 파라미터들의 세트가 특정 공간 구성과 연관되는 가상 모델에서의 결정된 위치에 저장되기 때문에, 가상 모델로부터 음향 파라미터들의 세트를 검색한다. 일부 다른 실시예들에서, 음향 분석 모듈(320)은 헤드셋(110)으로부터 수신된 시각적 정보에 적어도 부분적으로 기초하여, 가상 모델의 특정 공간 구성에 대한 음향 파라미터들의 이전에 결정된 세트를 조정함으로써 음향 파라미터들의 세트를 결정한다. 예를 들면, 음향 분석 모듈(320)은 음향 파라미터들의 세트를 결정하기 위해 수신된 시각적 정보를 사용하여 오프라인 음향 시뮬레이션을 실행할 수 있다.

일부 실시예들에서, 음향 분석 모듈(320)은 예컨대, 헤드셋(110)으로부터 캡처되고 얻어지는 주변 사운드를 분석함으로써 이전에 생성된 음향 파라미터들이 헤드셋(110)의 현재 물리적 위치의 음향 조건과 일치하지 않는다고 결정한다. 검출된 미스 매치는 매핑 서버(130)에서 음향 파라미터들의 새로운 세트의 재생을 트리거링할 수 있다. 일단 재계산되면, 음향 파라미터들의 이 새로운 세트는 음향 파라미터들의 이전 세트에 대한 교체로서, 또는 동일한 물리적 공간에 대한 부가적인 상태로서 매핑 서버(130)의 가상 모델에 입력될 수 있다. 일부 실시예들에서, 음향 분석 모듈(320)은 헤드셋(110)으로부터 수신된 주변 사운드(예컨대, 음성)를 분석함으로써 음향 파라미터들의 세트를 추정한다. 일부 다른 실시예들에서, 음향 분석 모듈(320)은 룸의 기하학적 구조 및 음향 재료 속성들의 추정치들을 포함할 수 있는 헤드셋(110)으로부터 수신된 시각적 정보를 사용하여 음향 시뮬레이션(예컨대, 파 기반 음향 시뮬레이션 또는 광선 추적 음향 시뮬레이션)을 실행함으로써 음향 파라미터들의 세트를 유도한다. 음향 분석 모듈(320)은 예컨대, 네트워크(120)를 통해 매핑 서버(130)로부터 헤드셋(110)으로 음향 파라미터들의 세트를 전달하는 통신 모듈(310)에 음향 파라미터들의 유도된 세트를 제공한다.

일부 실시예들에서, 논의된 바와 같이, 통신 모듈(310)은 헤드셋(110)으로부터 오디오 스트림을 수신하는데, 이는 룸(102)에서의 사운드를 사용하여 헤드셋(110)에서 생성될 수 있다. 음향 분석 모듈(320)은 수신된 오디오 스트림에 기초하여, 룸(102)의 특정 구성에 대한 하나 이상의 음향 파라미터들을 결정할 수 있다(예컨대, 서버 기반 계산 알고리즘을 적용함으로써). 일부 실시예들에서, 음향 분석 모듈(320)은 예컨대, 최대 가능성 추정기를 이용하는 오디오 스트림의 사운드 감쇠에 대한 통계 모델에 기초하여, 오디오 스트림으로부터 하나 이상의 음향 파라미터들(예컨대, 반향 시간)을 추정한다. 일부 다른 실시예들에서, 음향 분석 모듈(320)은 예컨대, 수신된 오디오 스트림으로부터 추출된 시간 도메인 정보 및/또는 주파수 도메인 정보에 기초하여 하나 이상의 음향 파라미터들을 추정한다.

일부 실시예들에서, 음향 분석 모듈(320)에 의해 결정된 하나 이상의 음향 파라미터들은 룸(102)의 현재 구성 및 룸(102)의 대응하는 음향 조건이 가상 모델에 의해 모델링되지 않았기 때문에 가상 모델의 일부가 아닌 음향 파라미터들의 새로운 세트를 표현한다. 이러한 경우에, 가상 모델 데이터베이스(305)는 룸(102)의 현재 음향 조건을 모델링하는 룸(102)의 현재 구성과 연관되는 가상 모델 내의 위치에 음향 파라미터들의 새로운 세트를 저장한다. 하나 이상의 음향 파라미터들(예컨대, 주파수 종속 반향 시간, 주파수 종속 직접 반향 비, 등) 중 일부 또는 전부는 음향 파라미터들 중 일부를 재계산하기 위해 사용될 수 있는, 그 음향 파라미터와 연관된 신뢰도(가중치) 및 절대 타임 스탬프와 함께 가상 모델에 저장될 수 있다.

일부 실시예들에서, 룸(102)의 현재 구성은 이미 가상 모델에 의해 모델링되었으며, 음향 분석 모듈(320)은 수신된 오디오 스트림에 기초하여 음향 파라미터들의 세트를 재계산한다. 대안적으로, 재계산된 세트의 하나 이상의 음향 파라미터들은 예컨대, 헤드셋(110)에서 모니터링된 적어도 로컬 영역의 사운드에 기초하여 헤드셋(110)에서 결정되고, 매핑 서버(130)에 전달될 수 있다. 가상 모델 데이터베이스(305)는 음향 파라미터들의 세트를 음향 파라미터들의 재계산된 세트로 교체함으로써 가상 모델을 업데이트할 수 있다. 하나 이상의 실시예들에서, 음향 분석 모듈(320)은 음향 파라미터들의 재계산된 세트를 음향 파라미터들의 이전에 결정된 세트와 비교한다. 비교에 기초하여, 재계산된 음향 파라미터들 중 임의의 파라미터와 임의의 이전에 결정된 음향 파라미터 사이의 차가 임계 차를 초과할 때, 가상 모델은 음향 파라미터들의 재계산된 세트를 사용하여 업데이트된다.

일부 실시예들에서, 음향 분석 모듈(320)은 과거 추정치들이 재계산된 음향 파라미터로부터의 임계 값 내에 있는 경우, 재계산된 음향 파라미터들 중 임의의 파라미터를 로컬 영역의 동일한 구성에 대한 대응하는 음향 파라미터의 과거 추정치들과 조합한다. 과거 추정치들은 로컬 영역의 대응하는 구성과 연관된 가상 모델의 위치에서 가상 모델 데이터베이스(305)에 저장될 수 있다. 하나 이상의 실시예들에서, 음향 분석 모듈(320)은 과거 추정치들이 재계산된 음향 파라미터로부터의 임계 값 내에 있지 않은 경우, 과거 추정치들(예컨대, 과거 추정치들 또는 저장된 가중치들과 연관된 타임 스탬프들에 기초한 가중치들)에 가중치들을 적용한다. 일부 실시예들에서, 음향 분석 모듈(320)은 적어도 하나의 음향 파라미터(예컨대, 반향 시간)에 대한 추정치들 및 헤드셋(110)이 적어도 하나의 음향 파라미터에 대한 추정치들을 생성할 상이한 음향 재료들을 결정하기 위해 위치되는 물리적 공간에 대한 기하학적 정보에 대해 재료 최적화 알고리즘을 적용한다. 기하학적 구조 정보와 함께 음향 재료들에 관한 정보는 동일한 물리적 공간의 상이한 구성들 및 음향 조건들을 모델링하는 가상 모델의 상이한 위치들에 저장될 수 있다.

일부 실시예들에서, 음향 분석 모듈(320)은 공간적으로 종속인 미리 계산된 음향 파라미터들(예컨대, 공간적으로 종속인 반향 시간, 공간적으로 종속인 직접 대 반향 비, 등)을 생성하기 위해 음향 시뮬레이션들을 수행할 수 있다. 공간적으로 종속인 미리 계산된 음향 파라미터들은 가상 모델 데이터베이스(305)에서 가상 모델의 적절한 위치들에 저장될 수 있다. 음향 분석 모듈(320)은 물리적 공간의 기하학적 구조 및/또는 음향 재료들이 변화될 때마다 미리 계산된 음향 파라미터들을 사용하여 공간적으로 종속인 음향 파라미터들을 재계산할 수 있다. 음향 분석 모듈(320)은: 방 기하학적 구조에 관한 정보, 음향 재료 속성 추정치들, 및/또는 인간 점유 레벨에 관한 정보(예컨대, 비어 있음, 부분적으로 가득참, 가득참)와 같지만 그들로 제한되지 않는 음향 시뮬레이션들을 위한 다양한 입력들을 사용할 수 있다. 음향 파라미터들은 다양한 점유 레벨들, 및 룸의 다양한 상태들(예컨대, 열린 창들, 닫힌 창들, 커튼들이 열림, 커튼들이 닫힘, 등)에 대해 시뮬레이팅될 수 있다. 룸의 상태가 변화되면, 매핑 서버(130)는 오디오 콘텐츠를 사용자에게 제공하기 위해 음향 파라미터들의 적절한 세트를 결정하고 이를 헤드셋(110)에 전달할 수 있다. 그렇지 않으면, 음향 파라미터들의 적절한 세트가 이용가능하지 않은 경우, 매핑 서버(130)(예컨대, 음향 분석 모듈(320)을 통해)는 음향 파라미터들의 새로운 세트를 산출하고(예컨대, 음향 시뮬레이션들을 통해) 음향 파라미터들의 새로운 세트를 헤드셋(110)에 전달할 것이다.

일부 실시예들에서, 매핑 서버(130)는 로컬 영역의 주어진 구성에 대한 전체(측정되거나 시뮬레이팅됨) 룸 임펄스 응답을 저장한다. 예를 들면, 로컬 영역의 구성은 헤드셋(110) 및 음원의 특정 공간 배열에 기초할 수 있다. 매핑 서버(130)는 네트워크 송신의 정의된 대역폭(예컨대, 네트워크(120)의 대역폭)에 적합한 음향 파라미터들의 세트로 룸 임펄스 응답을 감소시킬 수 있다. 전체 임펄스 응답의 파라미터화된 버전을 표현하는 음향 파라미터들의 세트는 예컨대, 가상 모드의 일부로서 가상 모델 데이터베이스(305)에, 또는 매핑 서버(130)의 별개의 비 일시적 컴퓨터 판독가능한 저장 매체(도 3a에 도시되지 않음)에 저장될 수 있다.

도 3b는 하나 이상의 실시예들에 따른, 헤드셋(110)의 오디오 시스템(330)의 블록도이다. 오디오 시스템(330)은 트랜스듀서 어셈블리(335), 음향 어셈블리(340), 오디오 제어기(350), 및 통신 모듈(355)을 포함한다. 하나의 실시예에서, 오디오 시스템(330)은 예컨대, 오디오 시스템(330)의 상이한 구성요소들의 동작들을 제어하기 위한 입력 인터페이스(도 3b에 도시되지 않음)를 더 포함한다. 다른 실시예들에서, 오디오 시스템(330)은 임의의 부가적인 구성요소들과 함께 나열된 구성요소들의 임의의 조합을 가질 수 있다.

트랜스듀서 어셈블리(335)는 예컨대, 오디오 제어기(350)로부터의 오디오 명령들에 기초하여 사용자의 귀들을 위한 사운드를 생성한다. 일부 실시예들에서, 트랜스듀서 어셈블리(335)는 예컨대, 오디오 제어기(350)로부터의 오디오 명령들에 따라 사용자의 귀들에 공기 중 음압 파를 생성함으로써 사운드를 생성하는 공기 전도 트랜스듀서들의 쌍(예컨대, 각각의 귀에 대해 하나)으로서 구현된다. 트랜스듀서 어셈블리(335)의 각각의 공기 전도 트랜스듀서는 주파수 범위의 상이한 부분들을 커버하기 위해 하나 이상의 트랜스듀서들을 포함할 수 있다. 예를 들면, 압전 트랜스듀서는 주파수 범위의 제 1 부분을 커버하기 위해 사용될 수 있고 이동 코일 트랜스듀서는 주파수 범위의 제 2 부분을 커버하기 위해 사용될 수 있다. 일부 다른 실시예들에서, 트랜스듀서 어셈블리(335)의 각각의 트랜스듀서는 사용자의 머리에서 대응하는 뼈를 진동시킴으로써 사운드를 생성하는 골전도 트랜스듀서로서 구현된다. 골전도 트랜스듀서로서 구현된 각각의 트랜스듀서는 사용자의 달팽이관을 향해 전파되는 조직 전달 음압 파를 생성하는 사용자의 뼈의 일부를 진동시키기 위해 사용자의 뼈의 일부에 결합된 귓바퀴 뒤에 배치될 수 있고, 그에 의해 고막을 우회한다.

음향 어셈블리(340)는 복수의 음향 센서들 예컨대, 각각의 귀에 대해 하나의 음향 센서를 포함할 수 있다. 대안적으로, 음향 어셈블리(340)는 헤드셋(110)의 다양한 위치들에 장착된 음향 센서들(예컨대, 마이크로폰들)의 어레이를 포함한다. 음향 어셈블리(340)의 음향 센서는 귀의 입구에서 음향 압력 파들을 검출한다. 음향 어셈블리(340)의 하나 이상의 음향 센서들은 각각의 귀의 입구에 배치될 수 있다. 하나 이상의 음향 센서들은 귀의 입구에 형성된 공기 중 음압 파들을 검출하도록 구성된다. 하나의 실시예에서, 음향 어셈블리(340)는 생성된 사운드에 관한 정보를 오디오 제어기(350)에 제공한다. 또 다른 실시예에서, 음향 어셈블리(340)는 검출된 음압 파들의 피드백 정보를 오디오 제어기(350)로 송신하고, 피드백 정보는 트랜스듀서 어셈블리(335)의 교정을 위해 오디오 제어기(350)에 의해 사용될 수 있다.

하나의 실시예에서, 음향 어셈블리(340)는 착용자의 각각의 귀의 입구에 배치된 마이크로폰을 포함한다. 마이크로폰은 압력을 전기 신호로 변환하는 트랜스듀서이다. 마이크로폰의 주파수 응답은 주파수 범위의 일부 부분들에서 상대적으로 평평할 수 있고 주파수 범위의 다른 부분들에서 선형일 수 있다. 마이크로폰은 트랜스듀서 어셈블리(335)에 제공된 오디오 명령들에 기초하여 마이크로폰으로부터의 검출된 신호를 스케일링하기 위해 오디오 제어기(350)로부터 신호를 수신하도록 구성될 수 있다. 예를 들면, 신호는 검출된 신호의 클리핑(clipping)을 방지하기 위한 또는 검출된 신호의 신호 대 잡음 비를 개선하기 위한 오디오 명령들에 기초하여 조정될 수 있다.

또 다른 실시예에서, 음향 어셈블리(340)는 진동 센서를 포함한다. 진동 센서는 귀의 일부에 결합된다. 일부 실시예들에서, 진동 센서 및 트랜스듀서 어셈블리(335)는 귀의 상이한 부분들에 결합한다. 진동 센서는 신호가 역으로 흐르는 것을 제외하고 트랜스듀서 어셈블리(335)에서 사용된 공기 트랜스듀서와 유사하다. 트랜스듀서에서 기계적 진동을 생성하는 전기 신호 대신에, 기계적 진동이 진동 센서에서 전기 신호를 생성하고 있다. 진동 센서는 압전 재료가 변형될 때 전기 신호를 생성할 수 있는 압전 재료로 만들어질 수 있다. 압전 재료는 중합체(예컨대, PVC, PVDF), 중합체 기반 합성물, 세라믹, 또는 결정(예컨대, SiO₂, PZT)일 수 있다. 압전 재료에 압력을 가함으로써, 압전 재료는 분극을 변화시키고 전기 신호를 생성한다. 압전 센서는 귀 뒤쪽에 잘 부착되는 재료(예컨대, 실리콘)에 결합될 수 있다. 진동 센서는 또한, 가속도계일 수 있다. 가속도계는 압전식 또는 정전식일 수 있다. 하나의 실시예에서, 진동 센서는 착용자의 귀 뒤쪽과의 양호한 표면 접촉을 유지하고 귀에 일정한 양의 적용 힘(예컨대, 1 뉴턴)을 유지한다. 진동 센서는 IMU 집적 회로에 통합될 수 있다. IMU는 도 6과 관련하여 더 설명된다.

오디오 제어기(350)는 음향 파라미터들의 세트(예컨대, 룸 임펄스 응답)를 사용하여 오디오 콘텐츠를 생성함으로써 사운드를 생성하기 위한 오디오 명령들을 트랜스듀서 어셈블리(335)에 제공한다. 오디오 제어기(350)는 헤드셋(110)의 로컬 영역 내의 객체(예컨대, 가상 객체 또는 실제 객체)로부터 발생하는 것처럼 보이도록 오디오 콘텐츠를 제공한다. 일 실시예에서, 오디오 제어기(350)는 로컬 영역의 현재 구성에 대한 음향 파라미터들의 세트를 사용하여 소스 오디오 신호를 전환함으로써 가상 음원으로부터 발생하는 것처럼 보이도록 오디오 콘텐츠를 제공하며, 이는 로컬 영역의 현재 구성에 대한 룸 임펄스 응답을 파라미터화할 수 있다.

오디오 제어기(350)는 예컨대, 헤드셋(110)의 하나 이상의 카메라들로부터 로컬 영역의 적어도 일부를 설명하는 정보를 얻을 수 있다. 정보는 깊이 이미지 데이터, 컬러 이미지 데이터, 로컬 영역의 위치 정보, 또는 그들의 조합을 포함할 수 있다. 깊이 이미지 데이터는 로컬 영역의 벽들, 바닥 및 천장의 표면들과 같은, 로컬 영역의 표면들에 의해 정의된 로컬 영역의 형상에 관한 기하학적 구조 정보를 포함할 수 있다. 컬러 이미지 데이터는 로컬 영역의 표면들과 연관된 음향 재료들에 관한 정보를 포함할 수 있다. 위치 정보는 로컬 영역의 GPS 좌표들 또는 일부 다른 위치 정보를 포함할 수 있다.

일부 실시예들에서, 오디오 제어기(350)는 음향 어셈블리(340)에 의해 모니터링된 로컬 영역의 사운드에 기초하여 오디오 스트림을 생성하고 매핑 서버(130)에 선택적으로 전달되도록 오디오 스트림을 통신 모듈(355)에 제공한다. 일부 실시예들에서, 오디오 제어기(350)는 하나 이상의 음향 파라미터들(예컨대, 초기 반사들, 직접 사운드 폐색, 등)을 결정하기 위해 실시간 음향 광선 추적 시뮬레이션을 실행한다. 실시간 음향 광선 추적 시뮬레이션을 실행할 수 있기 위해, 오디오 제어기(350)는 예컨대, 매핑 서버(130)에 저장된 가상 모델로부터, 헤드셋(110)이 현재 위치되는 로컬 영역의 구성을 위한 기하학적 구조 및/또는 음향 파라미터들에 관한 정보를 요청하고 얻는다. 일부 실시예들에서, 오디오 제어기(350)는 음향 어셈블리(340)에 의해 모니터링된 로컬 영역의 사운드 및/또는 헤드셋(110)에서 결정된 시각적 정보를 사용하여 로컬 영역의 현재 구성에 대한 하나 이상의 음향 파라미터들을 결정한다, 예컨대, 헤드셋(110)에 장착된 SLAM 센서들 중 하나 이상에 의해.

통신 모듈(355)(예컨대, 트랜시버)은 오디오 제어기(350)에 결합되고 오디오 제어기(350)의 일부로서 통합될 수 있다. 통신 모듈(355)은 로컬 영역의 적어도 일부를 설명하는 정보를 매핑 서버(130)에서 음향 파라미터들의 세트의 결정을 위해 매핑 서버(130)에 전달할 수 있다. 통신 모듈(355)은 오디오 제어기(350)로부터 얻어진 오디오 스트림을 매핑 서버(130)에서 물리적 공간들의 시각적 모델을 업데이트하기 위해 매핑 서버(130)에 선택적으로 전달할 수 있다. 예를 들면, 통신 모듈(355)은 시간에 따른 로컬 영역의 음향 조건의 변화가 음향 파라미터들의 새로운 또는 업데이트된 세트를 요구하는 로컬 영역의 구성의 변화로 인해 임계치 변화를 초과한다는 결정(예컨대, 모니터링된 사운드에 기초한 오디오 제어기(350)에 의한)에 응답하여 오디오 스트림을 매핑 서버(130)에 전달한다. 일부 실시예들에서, 오디오 제어기(350)는 로컬 영역의 음향 조건의 변화가 주변 오디오 스트림을 주기적으로 분석함으로써 및 예컨대, 시간에 따라 변화되는 오디오 스트림으로부터 반향 시간을 주기적으로 추정함으로써 임계 변화를 초과한다고 결정한다. 예를 들면, 음향 조건의 변화는 룸(102)에서 인간의 점유 레벨(예컨대, 비어 있음, 부분적으로 가득참, 가득참)을 변화시킴으로써, 룸(102)의 창문들을 열거나 닫거나, 룸(102)의 문을 열거나 닫거나, 창문들의 커튼들을 열거나 닫거나, 룸(102)에서 헤드셋(110)의 위치를 변화시키거나, 룸(102)에서 음원의 위치를 변화시키거나, 룸(102)에서 일부 다른 특징을 변화시킴으로써, 또는 그들의 조합에 의해 야기될 수 있다. 일부 실시예들에서, 통신 모듈(355)은 가능하게 매핑 서버(130)에서 가상 모델을 업데이트하기 위해 로컬 영역의 현재 구성과 연관된 음향 파라미터들의 이전에 결정된 세트와 비교하기 위해 오디오 제어기(350)에 의해 결정된 하나 이상의 음향 파라미터들을 매핑 서버(130)에 전달한다.

하나의 실시예에서, 통신 모듈(355)은 매핑 서버(130)로부터 로컬 영역의 현재 구성에 대한 음향 파라미터들의 세트를 수신한다. 또 다른 실시예에서, 오디오 제어기(350)는 예컨대, 헤드셋(110)에 장착된 SLAM 센서들 중 하나 이상에 의해 결정된 로컬 영역의 시각적 정보, 음향 어셈블리(340)에 의해 모니터링된 로컬 영역의 사운드, 위치 센서(440)에 의해 결정된 로컬 영역에서의 헤드셋(110)의 위치에 관한 정보, 로컬 영역에서의 음원의 위치에 관한 정보, 등에 기초하여 로컬 영역의 현재 구성에 대한 음향 파라미터들의 세트를 결정한다. 여전히 또 다른 실시예에서, 오디오 제어기(350)는 오디오 제어기(350)에 결합된 컴퓨터 판독가능한 데이터 저장장치(즉, 메모리)(도 3b에 도시되지 않음)로부터 음향 파라미터들의 세트를 얻는다. 메모리는 물리적 공간들의 제한된 수의 구성들에 대해 음향 파라미터들의 상이한 세트들(룸 임펄스 응답들)을 저장할 수 있다. 음향 파라미터들의 세트는 로컬 영역의 현재 구성에 대한 룸 임펄스 응답의 파라미터화된 형태를 표현할 수 있다.

오디오 제어기(350)는 로컬 영역의 음향 조건의 변화를 야기하는 로컬 영역의 구성의 시간에 따른 변화에 응답하여, 음향 파라미터들의 세트를 음향 파라미터들의 조정된 세트(즉, 재구성된 룸 임펄스 응답)로 선택적으로 외삽할 수 있다. 시간에 따른 로컬 영역의 음향 조건의 변화는 예컨대, 로컬 영역의 시각적 정보, 로컬 영역의 모니터링된 사운드, 로컬 영역에서의 헤드셋(110)의 위치의 변화에 관한 정보, 로컬 영역에서의 음원의 위치의 변화에 관한 정보, 등에 기초하여 오디오 제어기(350)에 의해 결정될 수 있다. 세트의 일부 음향 파라미터들이 로컬 영역의 구성이 변화됨에 따라 체계적인 방식으로 변화되고 있기 때문에(예컨대, 로컬 영역에서 음원 및/또는 헤드셋(110)의 이동으로 인해), 오디오 제어기(350)는 음향 파라미터들 중 일부를 동적으로 조정하기 위해 외삽 방식을 적용할 수 있다.

하나의 실시예에서, 오디오 제어기(350)는 룸 기하학적 구조 및 미리 산출된 이미지 소스들에 관한 정보에 기초하여(예컨대, 한번 반복으로), 외삽 방식 예컨대, 직접 사운드의 진폭 및 방향, 직접 사운드와 초기 반사들 사이의 지연, 및/또는 초기 반사들의 방향 및 진폭을 사용하여 동적으로 조정한다. 또 다른 실시예에서, 오디오 제어기(350)는 예컨대, 데이터 구동 접근법에 기초하여 음향 파라미터들의 일부를 동적으로 조정한다. 이러한 경우에, 오디오 제어기(350)는 정의된 수의 룸들 및 소스/수신기 위치들의 측정들로 모델을 트레이닝할 수 있으며, 오디오 제어기(350)는 선험적 지식에 기초하여 특정 새로운 방 및 소스/수신기 배열에 대한 임펄스 응답을 예측할 수 있다. 여전히 또 다른 실시예에서, 오디오 제어기(350)는 청취자가 방들 사이의 연결에 근접할 때 2개의 방들과 연관된 음향 파라미터들을 보간함으로써 음향 파라미터들 중 일부를 동적으로 조정한다. 음향 파라미터들의 세트로 표현된 룸 임펄스 응답의 파라미터화된 표현은 따라서, 동적으로 적응될 수 있다. 오디오 제어기(350)는 동적으로 적응된 룸 임펄스 응답에 적어도 부분적으로 기초하여 트랜스듀서 어셈블리(335)에 대한 오디오 명령들을 생성할 수 있다.

오디오 제어기(350)는 매핑 서버(130)로부터 수신된 음향 파라미터들의 세트에 외삽 방식을 적용함으로써 로컬 영역의 특정 구성에 대한 룸 임펄스 응답을 재구성할 수 있다. 파라미터화된 형태의 룸 임펄스 응답을 표현하고 인지적으로 관련된 룸 임펄스 응답 특징들과 관련되는 음향 파라미터들은 다음 중 일부 또는 전부를 포함할 수 있다: 복수의 주파수 대역들의 각각에 대해 음원으로부터 헤드셋(110)까지의 반향 시간, 각각의 주파수 대역에 대한 반향 레벨, 각각의 주파수 대역에 대한 직접 대 반향 비, 각각의 주파수 대역에 대해 음원으로부터 헤드셋(110)으로의 직접 사운드의 방향, 각각의 주파수 대역에 대한 직접 사운드의 진폭, 음원으로부터 헤드셋으로의 사운드의 초기 반사 시간, 각각의 주파수 대역에 대한 초기 반사의 진폭, 초기 반사의 방향, 룸 모드 주파수들, 룸 모드 위치들, 하나 이상의 다른 음향 파라미터들, 또는 그들의 조합.

오디오 제어기(350)는 로컬 영역의 현재 구성에 대한 재구성된 룸 임펄스 응답을 표현하는 음향 파라미터들의 조정된 세트를 얻기 위해 음향 파라미터들의 수신된 세트에 대해 공간 외삽을 수행할 수 있다. 공간 외삽을 수행할 때, 오디오 제어기(350)는 직접 사운드의 방향, 반향에 대한 직접 사운드의 진폭, 소스 지향성에 따른 직접 사운드 등화, 초기 반사의 타이밍, 초기 반사의 진폭, 초기 반사의 방향, 등과 같은 다수의 음향 파라미터들을 조정할 수 있다. 반향 시간이 룸 내에서 일정하게 유지될 수 있으며, 룸들의 교차 지점에서 조정될 필요가 있을 수 있음에 유의한다.

하나의 실시예에서, 초기 반사 타이밍/진폭/방향을 조정하기 위해, 오디오 제어기(350)는 샘플 또는 반사 당 도달 방향(DOA)에 기초하여 외삽을 수행한다. 이러한 경우에, 오디오 제어기(350)는 전체 DOA 벡터에 오프셋을 적용할 수 있다. 초기 반사들의 DOA가 헤드셋(110)에 장착된 마이크로폰들의 어레이에 의해 얻어진 오디오 데이터를 프로세싱함으로써 결정될 수 있다는 점에 유의한다. 초기 반사들의 DOA는 그 다음 예컨대, 룸(102)에서의 사용자의 위치 및 룸 기하학적 구조에 관한 정보에 기초하여 조정될 수 있다.

또 다른 실시예에서, 룸 기하학적 구조 및 소스/청취자 위치가 알려질 때, 오디오 제어기(350)는 이미지 소스 모델(ISM)에 기초하여 저차 반사들을 식별할 수 있다. 청취자가 움직일 때, 식별된 반사들의 타이밍 및 방향은 ISM을 실행함으로써 수정된다. 이러한 경우에, 진폭이 조정될 수 있는 반면에, 착색 처리(coloration)는 조작될 수 없다. ISM이 청취자의 위치에 관계 없이, 초기 반사들의 소스 위치를 결정하는 시뮬레이션 모델을 표현함에 유의한다. 초기 반사 방향들은 그 다음, 이미지 소스로부터 청취자까지 추적함으로써 산출될 수 있다. 주어진 소스에 대한 이미지 소스들을 저장하고 활용하는 것은 룸(102)에서의 임의의 청취자 위치에 대한 초기 반사 방향들을 산출한다.

여전히 또 다른 실시예에서, 오디오 제어기(350)는 초기 반사 타이밍/진폭/방향과 관련된 음향 파라미터들을 외삽하기 위해 룸(102)의 "신발상자 모델(shoebox model)"을 적용할 수 있다. "신발상자 모델"은 실제 공간과 거의 동일한 크기의 직사각형 상자에 기초한 룸 음향들의 근사치이다. "신발상자 모델"은 예컨대, 사빈 방정식(Sabine equation)에 기초하여 반사들 또는 반향 시간을 근사화하기 위해 사용될 수 있다. 원래 룸 임펄스 응답의 가장 강한 반사들(예컨대, 주어진 소스/수신기 배열에 대해 측정되거나 시뮬레이팅됨)은 라벨링되고 제거된다. 그 다음, 외삽된 룸 임펄스 응답을 얻기 위해 "신발상자 모델"의 저차 ISM을 사용하여 가장 강한 반사들이 재도입된다.

도 3c는 하나 이상의 실시예들에 따른, 물리적 공간들 및 물리적 공간들의 음향 속성들을 설명하는 가상 모델(360)의 일례이다. 가상 모델(360)은 가상 모델 데이터베이스(305)에 저장될 수 있다. 가상 모델(360)은 세계의 모든 공간들에 대한 정보의 지리적으로 연결된 트리플렛(triplet)들(즉, 물리적 공간 식별자(ID)(365), 공간 구성 ID(370), 및 음향 파라미터들의 세트(375))을 저장하는 가상 저장 데이터베이스(305)에서 지리적 정보 저장 영역을 표현할 수 있다.

가상 모델(360)은 각각 고유한 물리적 공간 ID(365)에 의해 식별된 가능한 물리적 공간들(S1, S2,..., Sn)의 목록을 포함한다. 물리적 공간 ID(365)는 특정한 유형의 물리적 공간을 고유하게 식별한다. 물리적 공간 ID(365)는 예컨대, 회의실, 욕실, 복도, 사무실, 침실, 식당, 및 거실, 일부 다른 유형의 물리적 공간, 또는 그들의 일부 조합을 포함할 수 있다. 따라서, 각각의 물리적 공간 ID(365)는 하나의 특정한 유형의 물리적 공간에 대응한다.

각각의 물리적 공간 ID(365)는 하나 이상의 공간 구성 ID들(370)과 연관된다. 각각의 공간 구성 ID(370)는 특정 음향 조건을 갖는 물리적 공간 ID(335)에 의해 식별된 물리적 공간의 구성에 대응한다. 공간 구성 ID(370)는 예컨대, 물리적 공간에서 인간 점유 레벨에 관한 식별, 물리적 공간의 구성요소들의 조건들에 관한 식별(예컨대, 열린/닫힌 창들, 열린/닫힌 문, 등), 물리적 공간에 있는 객체들 및/또는 표면들의 음향 재료들에 관한 표시, 동일한 공간에 있는 소스 및 수신기의 위치들에 관한 표시, 일부 다른 유형의 구성 표시, 또는 그들의 일부 조합을 포함할 수 있다. 일부 실시예들에서, 동일한 물리적 공간의 상이한 구성들은 물리적 공간에서의 다양한 상이한 조건들에 기인할 수 있다. 동일한 물리적 공간의 상이한 구성들은 예컨대, 동일한 물리적 공간의 상이한 점유들, 동일한 물리적 공간의 구성요소들의 상이한 조건들(예컨대, 열린/닫힌 창, 열린/닫힌 문, 등), 동일한 물리적 공간에 있는 객체들 및/또는 표면들의 상이한 음향 재료들, 동일한 물리적 공간에 있는 소스/수신기의 상이한 위치들, 물리적 공간의 일부 다른 특징, 또는 그들의 일부 조합과 관련될 수 있다. 각각의 공간 구성 ID(370)는 물리적 공간 ID(365)의 구성을 식별하는 고유 코드 ID(예컨대, 이진 코드)로서 표현될 수 있다. 예를 들면, 도 3c에서 도시된 바와 같이, 물리적 공간(S1)은 각각이 동일한 물리적 공간(S1)의 상이한 음향 조건을 표현하는 p개의 상이한 공간 구성들(S1C1, S1C2,..., S1Cp)과 연관될 수 있고; 물리적 공간(S2)은 각각이 동일한 물리적 공간(S2)의 상이한 음향 조건을 표현하는 q개의 상이한 공간 구성들(S2C1, S2C2,..., S2Cq)과 연관될 수 있으며; 물리적 공간(Sn)은 각각이 동일한 물리적 공간(Sn)의 상이한 음향 조건을 표현하는 r개의 상이한 공간 구성들(SnC1, SnC2,..., SnCr)과 연관될 수 있다. 매핑 모듈(315)은 헤드셋(110)으로부터 수신된 물리적 공간의 시각적 정보에 기초하여 적절한 공간 구성 ID(370)를 발견하기 위해 가상 모델(360)을 검색할 수 있다.

각각의 공간 구성 ID(370)는 가상 모델(360)의 대응하는 위치에 저장된 음향 파라미터들의 세트(375)와 연관되는 특정 음향 조건을 갖는다. 도 3c에 도시된 바와 같이, 동일한 물리적 공간(S1)의 p개의 상이한 공간 구성들(S1C1, S1C2,..., S1Cp)은 음향 파라미터들의 p개의 상이한 세트들({AP11}, {AP12},..., {AP1p})과 연관된다. 유사하게, 도 3c에 또한 도시된 바와 같이, 동일한 물리적 공간(S2)의 q개의 상이한 공간 구성들(S2C1, S2C2,..., S2Cq)은 음향 파라미터들의 q개의 상이한 세트들({AP21}, {AP22},..., {AP2q})과 연관되며; 동일한 물리적 공간(Sn)의 r개의 상이한 공간 구성들(SnC1, SnC2,..., SnCr)은 음향 파라미터들의 r개의 상이한 세트들({APn1}, {APn2},..., {APnr})과 연관된다. 음향 분석 모듈(320)은 일단 매핑 모듈(315)이 헤드셋(110)이 위치되는 물리적 공간의 현재 구성에 대응하는 공간 구성 ID(370)를 발견하면 가상 모델(360)로부터 음향 파라미터들의 대응하는 세트(375)를 추출할 수 있다.

도 4는 하나 이상의 실시예들에 따른, 오디오 시스템을 포함하는 헤드셋(110)의 사시도이다. 일부 실시예들에서(도 1에 도시된 바와 같이), 헤드셋(110)은 NED로서 구현된다. 대안적인 실시예들(도 1에 도시되지 않음)에서, 헤드셋(100)은 HMD로서 구현된다. 일반적으로, 헤드셋(110)은 헤드셋(110)의 렌즈들(410) 중 하나 또는 둘 모두를 사용하여 콘텐츠(예컨대, 미디어 콘텐츠)가 제공되도록 사용자의 얼굴에 착용될 수 있다. 그러나, 헤드셋(110)은 또한, 미디어 콘텐츠가 사용자에게 상이한 방식으로 제공되도록 사용될 수 있다. 헤드셋(110)에 의해 제공된 미디어 콘텐츠의 예들은 하나 이상의 이미지들, 비디오, 오디오, 또는 그들의 일부 조합을 포함한다. 헤드셋(110)은 다른 구성요소들 중에서, 프레임(405), 렌즈(410), DCA(425), PCA(430), 위치 센서(440), 및 오디오 시스템을 포함할 수 있다. 헤드셋(110)의 오디오 시스템은 예컨대, 좌측 스피커(415a), 우측 스피커(415b), 음향 센서들의 어레이(435), 오디오 제어기(420), 하나 이상의 다른 구성요소들, 또는 그들의 조합을 포함한다. 헤드셋(110)의 오디오 시스템은 도 3b와 결부하여 상기 설명된 오디오 시스템(330)의 일 실시예이다. DCA(425) 및 PCA(430)는 헤드셋(110)의 일부 또는 전부를 둘러싸는 로컬 영역의 시각적 정보를 캡처하기 위해 헤드셋(110)에 장착된 SLAM 센서들의 일부일 수 있다. 도 4가 헤드셋(110)의 예시적인 위치들에 있는 헤드셋(110)의 구성요소들을 도시하지만, 구성요소들은 헤드셋(110)의 다른 곳에, 헤드셋(110)과 페어링된 주변 디바이스에, 또는 그들의 일부 조합에 위치될 수 있다.

헤드셋(110)은 사용자의 시력을 정정하거나 향상시키거나, 사용자의 눈을 보호하거나, 사용자에게 이미지들을 제공할 수 있다. 헤드셋(110)은 사용자의 시력의 결함들을 정정하는 안경들일 수 있다. 헤드셋(110)은 태양으로부터 사용자의 눈을 보호하는 선글라스들일 수 있다. 헤드셋(110)은 충격으로부터 사용자의 눈을 보호하는 보안경들일 수 있다. 헤드셋(110)은 야간에 사용자의 시력을 향상시키기 위한 야간 투시 디바이스 또는 적외선 고글들일 수 있다. 헤드셋(110)은 사용자를 위한 인공 현실 콘텐츠들을 생성하는 근안 디스플레이일 수 있다. 대안적으로, 헤드셋(110)은 렌즈(410)를 포함하지 않을 수 있고 오디오 콘텐츠(예컨대, 음악, 라디오, 팟캐스트들 사용자에게 제공하는 오디오 시스템을 갖는 프레임(405)일 수 있다.

프레임(405)은 헤드셋(110)의 다른 구성요소들을 보유한다. 프레임(405)은 렌즈(410)를 보유하는 전방 부분 및 사용자의 머리에 부착하기 위한 단부 피스들을 포함한다. 프레임(405)의 전방 부분은 사용자의 코 상단을 연결한다. 단부 피스들(예컨대, 관자놀이들)은 사용자의 관자놀이들이 부착되는 프레임(405)의 부분들이다. 단부 피스의 길이는 상이한 사용자들에 맞도록 조정가능할 수 있다(예컨대, 조정가능한 관자놀이 길이). 단부 피스는 또한, 사용자의 귀 뒤에서 말리는 일부(예컨대, 관자놀이 팁, 이어 피스)를 포함할 수 있다.

렌즈(410)는 헤드셋(110)을 착용하는 사용자에게 광을 제공하거나 투과시킨다. 렌즈(410)는 사용자의 시력의 결함들을 정정하는데 도움을 주는 처방 렌즈(prescription lens)(예컨대, 단초점, 이중초점 및 삼초점, 또는 누진)일 수 있다. 처방 렌즈는 헤드셋(110)을 착용하는 사용자에게 주변 광을 투과시킨다. 투과된 주변 광은 사용자의 시력의 결함들을 정정하기 위해 처방 렌즈에 의해 변화될 수 있다. 렌즈(410)는 태양으로부터 사용자의 눈들을 보호하기 위한 편광 렌즈 또는 착색 렌즈일 수 있다. 렌즈(410)는 이미지 광이 도파관의 단부 또는 에지를 통해 사용자의 눈에 결합되는 도파관 디스플레이의 일부로서 하나 이상의 도파관들일 수 있다. 렌즈(410)는 이미지 광을 제공하기 위한 전자 디스플레이를 포함할 수 있고 또한 전자 디스플레이로부터 이미지 광을 확대하기 위한 광학 블록을 포함할 수 있다.

스피커들(415a 및 415b)은 사용자의 귀들을 위한 사운드를 생성한다. 스피커들(415a, 415b)은 도 3b의 트랜스듀서 어셈블리(335)의 트랜스듀서들의 실시예들이다. 스피커들(415a 및 415b)은 사운드들을 생성하기 위해 오디오 제어기(420)로부터 오디오 명령들을 수신한다. 좌측 스피커(415a)는 오디오 제어기(420)로부터 좌측 오디오 채널을 얻을 수 있고, 우측 스피커(415b)는 오디오 제어기(420)로부터 우측 오디오 채널을 얻는다. 도 4에 도시된 바와 같이, 각각의 스피커(415a, 415b)는 프레임(405)의 단부 부분에 결합되고 사용자의 대응하는 귀의 입구 앞에 배치된다. 스피커들(415a 및 415b)이 프레임(405)의 외부에 도시될지라도, 스피커들(415a 및 415b)은 프레임(405)에 포함될 수 있다. 일부 실시예들에서, 각각의 귀에 대한 개별적인 스피커들(415a 및 415b) 대신에, 헤드셋(110)은 제공된 오디오 콘텐츠의 방향성을 개선하기 위해 예컨대, 프레임(405)의 단부 부분들에 통합된 스피커 어레이(도 4에 도시되지 않음)를 포함한다.

DCA(425)는 룸과 같은, 헤드셋(110)을 둘러싸는 로컬 영역에 대한 깊이 정보를 설명하는 깊이 이미지 데이터를 캡처한다. 일부 실시예들에서, DCA(425)는 광 투영기(예컨대, 전파 시간(time-of-flight)을 위한 구조화된 광 및/또는 플래시 조명), 이미징 디바이스, 및 제어기(도 4에 도시되지 않음)를 포함할 수 있다. 캡처된 데이터는 광 투영기에 의해 로컬 영역에 투영된 광의 이미징 디바이스에 의해 캡처된 이미지들일 수 있다. 하나의 실시예에서, DCA(425)는 스테레오로 로컬 영역의 일부들을 캡처하도록 지향되는 2개 이상의 카메라들 및 제어기를 포함할 수 있다. 캡처된 데이터는 스테레오로 로컬 영역의 2개 이상의 카메라들에 의해 캡처된 이미지들일 수 있다. DCA(425)의 제어기는 캡처된 데이터 및 깊이 결정 기술들(예컨대, 구조화된 광, 전파 시간, 스테레오 이미징, 등)을 사용하여 로컬 영역의 깊이 정보를 계산한다. 깊이 정보에 기초하여, DCA(425)의 제어기는 로컬 영역 내의 헤드셋(110)의 절대 위치 정보를 결정한다. DCA(425)의 제어기는 또한, 로컬 영역의 모델을 생성할 수 있다. DCA(425)는 헤드셋(110)과 통합될 수 있거나 헤드셋(110) 외부의 로컬 영역 내에 배치될 수 있다. 일부 실시예들에서, DCA(425)의 제어기는 예컨대, 또 다른 프로세싱 및 매핑 서버(130)로의 전달을 위해 헤드셋(110)의 오디오 제어기(420)로 깊이 이미지 데이터를 송신할 수 있다.

PCA(430)는 컬러(예컨대, RGB) 이미지 데이터를 생성하는 하나 이상의 수동 카메라들을 포함한다. 능동 광 방출 및 반사를 사용하는 DCA(425)와 달리, PCA(430)는 컬러 이미지 데이터를 생성하기 위해 로컬 영역의 환경으로부터 광을 캡처한다. 이미징 디바이스로부터 깊이 또는 거리를 정의하는 픽셀 값들보다는, 컬러 이미지 데이터의 픽셀 값들은 이미지 데이터에서 캡처된 객체들의 가시적 컬러들을 정의할 수 있다. 일부 실시예들에서, PCA(430)는 수동 이미징 디바이스에 의해 캡처된 광에 기초하여 컬러 이미지 데이터를 생성하는 제어기를 포함한다. PCA(430)는 예컨대, 또 다른 프로세싱 및 매핑 서버(130)로의 전달을 위해 오디오 제어기(420)에 컬러 이미지 데이터를 제공할 수 있다.

음향 센서들(435)의 어레이는 헤드셋(110)의 일부 또는 전부를 둘러싸는 로컬 영역에서 사운드를 모니터링하고 녹음한다. 음향 센서들(435)의 어레이는 도 3b의 음향 어셈블리(340)의 일 실시예이다. 도 4에 도시된 바와 같이, 음향 센서들(435)의 어레이는 헤드셋(110)에 배치되는 다수의 음향 검출 위치들을 갖는 다수의 음향 센서들을 포함한다. 음향 센서들(435)의 어레이는 녹음된 사운드를 오디오 제어기(420)에 오디오 스트림으로서 제공할 수 있다.

위치 센서(440)는 헤드셋(110)의 움직임에 응답하여 하나 이상의 측정 신호들을 생성한다. 위치 센서(440)는 헤드셋(110)의 프레임(405)의 일부에 위치될 수 있다. 위치 센서(440)는 위치 센서, 관성 측정 유닛(IMU), 또는 둘 모두를 포함할 수 있다. 헤드셋(110)의 일부 실시예들은 위치 센서(440)를 포함하거나 포함하지 않을 수 있거나 하나보다 많은 위치 센서들(440)을 포함할 수 있다. 위치 센서(440)가 IMU를 포함하는 실시예들에서, IMU는 위치 센서(440)로부터의 측정 신호들에 기초하여 IMU 데이터를 생성한다. 위치 센서(440)의 예들은: 하나 이상의 가속도계들, 하나 이상의 자이로스코프들, 하나 이상의 자력계들, 움직임을 검출하는 또 다른 적합한 유형의 센서, IMU의 오류 정정을 위해 사용된 일 유형의 센서, 또는 그들의 일부 조합을 포함한다. 위치 센서(440)는 IMU 외부, IMU 내부, 또는 그들의 일부 조합에 위치될 수 있다.

하나 이상의 측정 신호들에 기초하여, 위치 센서(440)는 헤드셋(110)의 초기 위치에 대한 헤드셋(110)의 현재 위치를 추정한다. 추정된 위치는 헤드셋(110)의 위치 및/또는 헤드셋(110) 또는 헤드셋(110)을 착용하는 사용자의 머리의 방향, 또는 그들의 임의의 조합을 포함할 수 있다. 방향은 기준 지점에 대한 각각의 귀의 위치에 대응할 수 있다. 일부 실시예들에서, 위치 센서(440)는 헤드셋(110)의 현재 위치를 추정하기 위해 DCA(425)로부터의 깊이 정보 및/또는 절대 위치 정보를 사용한다. 위치 센서(440)는 병진 운동(전진/후진, 위/아래, 좌측/우측)을 측정하기 위한 다수의 가속도계들 및 회전 운동(예컨대, 피치, 요, 롤)을 측정하기 위한 다수의 자이로스코프들을 포함할 수 있다. 일부 실시예들에서, IMU는 측정 신호들을 빠르게 샘플링하고 샘플링된 데이터로부터 헤드셋(110)의 추정된 위치를 산출한다. 예를 들면, IMU는 속도 벡터를 추정하기 위해 시간에 따라 가속도계들로부터 수신된 측정 신호들을 통합하고 헤드셋(110)의 기준 지점의 추정된 위치를 결정하기 위해 시간에 따라 속도 벡터를 통합한다. 기준 지점은 헤드셋(110)의 위치를 설명하기 위해 사용될 수 있는 지점이다. 기준 지점이 일반적으로, 공간의 지점으로서 정의될 수 있지만, 실제로 기준 지점은 헤드셋(110) 내의 지점으로서 정의된다.

오디오 제어기(420)는 음향 파라미터들의 세트(예컨대, 룸 임펄스 응답)를 사용하여 오디오 콘텐츠를 생성함으로써 사운드를 생성하기 위해 오디오 명령들을 스피커들(415a, 415b)에 제공한다. 오디오 제어기(420)는 도 3b의 오디오 제어기(350)의 일 실시예이다. 오디오 제어기(420)는 예컨대, 로컬 영역의 현재 구성에 대한 음향 파라미터들의 세트를 사용하여 소스 오디오 신호를 전환함으로써 로컬 영역 내의 객체(예컨대, 가상 객체 또는 실제 객체)로부터 발생하는 것처럼 보이도록 오디오 콘텐츠를 제공한다.

오디오 제어기(420)는 예컨대, DCA(425) 및/또는 PCA(430)로부터 로컬 영역의 적어도 일부를 설명하는 시각적 정보를 얻을 수 있다. 오디오 제어기(420)에서 얻어진 시각적 정보는 DCA(425)에 의해 캡처된 깊이 이미지 데이터를 포함할 수 있다. 오디오 제어기(420)에서 얻어진 시각적 정보는 PCA(430)에 의해 캡처된 컬러 이미지 데이터를 더 포함할 수 있다. 오디오 제어기(420)는 음향 파라미터들의 세트의 결정을 위해 깊이 이미지 데이터를 매핑 서버(130)에 전달되는(예컨대, 오디오 제어기(420)에 결합된 통신 모듈을 통해, 도 4에 도시되지 않음) 시각적 정보의 컬러 이미지 데이터와 조합할 수 있다. 하나의 실시예에서, 통신 모듈(예컨대, 트랜시버)은 오디오 제어기(420)에 통합될 수 있다. 또 다른 실시예에서, 통신 모듈은 오디오 제어기(420)의 외부에 있고 오디오 제어기(420)에 결합된 별개의 모듈 예컨대, 도 3b의 통신 모듈(355)로서 프레임(405)에 통합될 수 있다. 일부 실시예들에서, 오디오 제어기(420)는 예컨대, 음향 센서들(435)의 어레이에 의해 모니터링된 로컬 영역의 사운드에 기초하여 오디오 스트림을 생성한다. 오디오 제어기(420)에 결합된 통신 모듈은 매핑 서버(130)에서 물리적 공간들의 시각적 모델을 업데이트하기 위해 오디오 스트림을 매핑 서버(130)에 선택적으로 전달할 수 있다.

도 5a는 하나 이상의 실시예들에 따른, 헤드셋의 물리적 위치에 대한 음향 파라미터들을 결정하기 위한 프로세스(500)를 도시하는 흐름도이다. 도 5a의 프로세스(500)는 장치의 구성요소들 예컨대, 도 3a의 매핑 서버(130)에 의해 수행될 수 있다. 다른 개체들(예컨대, 도 4의 헤드셋(110)의 구성요소들 및/또는 도 6에 도시된 구성요소들)은 다른 실시예들에서 프로세스의 단계들의 일부 또는 전부를 수행할 수 있다. 마찬가지로, 실시예들은 상이하고/거나 부가적인 단계들을 포함하거나, 상이한 순서들로 단계들을 수행할 수 있다.

매핑 서버(130)는 로컬 영역의 적어도 일부를 설명하는 정보에 기초하여, 로컬 영역(예컨대, 룸(102)) 내의 헤드셋(예컨대, 헤드셋(110))에 대한 가상 모델에서의 위치를 결정한다(505)(예컨대, 매핑 모듈(315)을 통해). 저장된 가상 모델은 복수의 공간들 및 그들 공간들의 음향 속성들을 설명하며, 가상 모델에서의 위치는 로컬 영역 내의 헤드셋의 물리적 위치에 대응한다. 로컬 영역의 적어도 일부를 설명하는 정보는 로컬 영역에 있는 하나 이상의 객체들(실제 및/또는 가상) 및 로컬 영역의 표면들(예컨대, 벽들, 바닥 및 천장의 표면들)에 의해 정의된 로컬 영역의 적어도 일부의 형상에 관한 정보를 갖는 깊이 이미지 데이터를 포함할 수 있다. 로컬 영역의 적어도 일부를 설명하는 정보는 음향 재료들을 로컬 영역의 표면들 및 하나 이상의 객체들의 표면들과 연관시키기 위한 컬러 이미지 데이터를 더 포함할 수 있다. 일부 실시예들에서, 로컬 영역의 적어도 일부를 설명하는 정보는 로컬 영역의 위치 정보 예컨대, 로컬 영역의 주소, 로컬 영역의 GPS 위치, 로컬 영역의 위도 및 경도에 관한 정보, 등을 포함할 수 있다. 일부 다른 실시예들에서, 로컬 영역의 적어도 일부를 설명하는 정보는: 깊이 이미지 데이터, 컬러 이미지 데이터, 로컬 영역의 적어도 일부에 대한 음향 재료들에 관한 정보, 로컬 영역의 위치 정보, 일부 다른 정보, 또는 그들의 조합을 포함한다.

매핑 서버(130)는 가상 모델에서의 결정된 위치 및 결정된 위치와 연관된 임의의 음향 파라미터들에 부분적으로 기초하여, 헤드셋의 물리적 위치와 연관된 음향 파라미터들의 세트를 결정한다(510)(예컨대, 음향 분석 모듈(320)을 통해). 일부 실시예들에서, 매핑 서버(130)는 헤드셋(110)이 현재 위치되는 공간 구성과 연관된 가상 모델에서의 결정된 위치로부터의 가상 모델로부터 음향 파라미터들의 세트를 검색한다. 일부 다른 실시예들에서, 매핑 서버(130)는 헤드셋(110)으로부터 수신된 로컬 영역의 적어도 일부를 설명하는 정보에 적어도 부분적으로 기초하여, 가상 모델에서의 음향 파라미터들의 이전에 결정된 세트를 조정함으로써 음향 파라미터들의 세트를 결정한다. 매핑 서버(130)는 음향 파라미터들의 기존의 세트(이용가능한 경우)가 오디오 분석과 일치하는지 또는 재계산될 필요가 있는지의 여부를 결정하기 위해 헤드셋(110)으로부터 수신된 오디오 스트림을 분석할 수 있다. 기존의 음향 파라미터들이 오디오 분석과 일치하지 않는 경우, 매핑 서버(130)는 음향 파라미터들의 새로운 세트를 결정하기 위해 로컬 영역의 적어도 일부를 설명하는 정보(예컨대, 룸 기하학적 구조, 음향 재료 속성들의 추정치들)를 사용하여 음향 시뮬레이션(예컨대, 파 기반 음향 시뮬레이션 또는 광선 추적 음향 시뮬레이션)을 실행할 수 있다.

매핑 서버(130)는 음향 파라미터들의 세트를 사용하여 오디오 콘텐츠를 사용자에게 제공하기 위해 음향 파라미터들의 결정된 세트를 헤드셋에 전달한다. 매핑 서버(130)는 또한, 헤드셋(110)으로부터 오디오 스트림을 수신한다(예컨대, 통신 모듈(310)을 통해). 매핑 서버(130)는 수신된 오디오 스트림을 분석하는 것에 기초하여 하나 이상의 음향 파라미터들을 결정한다(예컨대, 음향 분석 모듈(320)을 통해). 매핑 서버(130)는 헤드셋(110)이 위치되는 물리적 공간과 연관된 가상 모델에서의 저장 위치에 하나 이상의 음향 파라미터를 저장할 수 있고, 따라서 물리적 공간의 현재 음향 구성이 아직 모델링되지 않은 경우에 가상 모델에 새로운 엔트리를 생성한다. 매핑 서버(130)는 하나 이상의 음향 파라미터들을 음향 파라미터들의 이전에 결정된 세트와 비교할 수 있다(예컨대, 음향 분석 모듈(320)을 통해). 매핑 서버(130)는 비교에 기초하여, 음향 파라미터들의 세트의 적어도 하나의 음향 파라미터를 하나 이상의 음향 파라미터들로 교체함으로써 가상 모델을 업데이트할 수 있다. 일부 실시예들에서, 매핑 서버(130)는 예컨대, 서버 기반 시뮬레이션 알고리즘, 헤드셋(110)으로부터의 제어된 측정들, 또는 2개 이상의 헤드셋들 사이의 측정들에 기초하여 음향 파라미터들의 세트를 재결정한다.

도 5b는 하나 이상의 실시예들에 따른, 매핑 서버로부터 음향 파라미터들의 세트를 얻기 위한 프로세스(520)를 도시하는 흐름도이다. 도 5b의 프로세스(520)는 장치의 구성요소들 예컨대, 도 4의 헤드셋(110)에 의해 수행될 수 있다. 다른 개체들(예컨대, 도 3b의 오디오 시스템(330)의 구성요소들 및/또는 도 6에 도시된 구성요소들)은 다른 실시예들에서 프로세스의 단계들의 일부 또는 전부를 수행할 수 있다. 마찬가지로, 실시예들은 상이하거나 부가적인 단계들을 포함하거나, 상이한 순서들로 단계들을 수행할 수 있다.

헤드셋(110)은 로컬 영역(예컨대, 룸(102))의 적어도 일부를 설명하는 정보를 결정한다(525). 정보는 및 로컬 영역에 있는 하나 이상의 객체들(실제 및/또는 가상) 및 로컬 영역의 표면들(예컨대, 벽들, 바닥 및 천장의 표면들)에 의해 정의된 로컬 영역의 적어도 일부의 형상에 관한 정보를 갖는 깊이 이미지 데이터(예컨대, 헤드셋(110)의 DCA(425)에 의해 생성됨)를 포함할 수 있다. 정보는 또한, 로컬 영역의 적어도 일부에 대한 컬러 이미지 데이터(예컨대, 헤드셋(110)의 PCA(430)에 의해 생성됨)를 포함할 수 있다. 일부 실시예들에서, 로컬 영역의 적어도 일부를 설명하는 정보는 로컬 영역의 위치 정보 예컨대, 로컬 영역의 주소, 로컬 영역의 GPS 위치, 로컬 영역의 위도 및 경도에 관한 정보, 등을 포함할 수 있다. 일부 다른 실시예들에서, 로컬 영역의 적어도 일부를 설명하는 정보는: 깊이 이미지 데이터, 컬러 이미지 데이터, 로컬 영역의 적어도 일부에 대한 음향 재료들에 관한 정보, 로컬 영역의 위치 정보, 일부 다른 정보, 또는 그들의 조합을 포함한다.

헤드셋(110)은 로컬 영역 내의 헤드셋에 대한 가상 모델에서의 위치 및 가상 모델에서의 위치와 연관된 음향 파라미터들의 세트를 결정하기 위해 정보를 매핑 서버(130)에 전달한다(530)(예컨대, 통신 모듈(355)을 통해). 가상 모델에서의 각각의 위치는 로컬 영역 내의 헤드셋(110)의 특정 물리적 위치에 대응하고, 가상 모델은 복수의 공간들 및 이들 공간들의 음향 속성들을 설명한다. 헤드셋(110)은 또한, 시간에 따른 로컬 영역의 음향 조건의 변화가 임계 변화를 초과한다는 헤드셋(110)에서의 결정에 응답하여, 음향 파라미터들의 세트를 업데이트하기 위해 오디오 스트림을 매핑 서버(130)에 선택적으로 전달한다(예컨대, 통신 모듈(355)을 통해). 헤드셋(110)은 로컬 영역의 사운드를 모니터링함으로써 오디오 스트림을 생성한다.

헤드셋(110)은 매핑 서버(130)로부터 음향 파라미터들의 세트에 관한 정보를 수신한다(535)(예컨대, 통신 모듈(355)을 통해). 예를 들면, 수신된 정보는 복수의 주파수 대역들의 각각에 대해 음원으로부터 헤드셋(110)까지의 반향 시간, 각각의 주파수 대역에 대한 반향 레벨, 각각의 주파수 대역에 대한 직접 대 반향 비, 각각의 주파수 대역에 대해 음원으로부터 헤드셋(110)으로의 직접 사운드의 방향, 각각의 주파수 대역에 대한 직접 사운드의 진폭, 음원으로부터 헤드셋으로의 사운드의 초기 반사 시간, 각각의 주파수 대역에 대한 초기 반사의 진폭, 초기 반사의 방향, 룸 모드 주파수들, 룸 모드 위치들, 등에 관한 정보를 포함한다.

헤드셋(110)은 예컨대, 적절한 음향 명령들을 생성하고 그들을 오디오 제어기(420)로부터 스피커들(415a, 415b)에(즉, 오디오 제어기(350)로부터 트랜스듀서 어셈블리(340)에) 제공함으로써 음향 파라미터들의 세트를 사용하여 헤드셋(110)의 사용자에게 오디오 콘텐츠를 제공한다(540). 로컬 영역(룸 환경)에 변화가 발생하여 로컬 영역의 음향 조건의 변화를 야기할 때, 헤드셋(110)은 매핑 서버(130)로부터 음향 파라미터들의 업데이트된 세트를 요청하고 얻을 수 있다. 이러한 경우에, 헤드셋(110)은 음향 파라미터들의 업데이트된 세트를 사용하여 업데이트된 오디오 콘텐츠를 사용자에게 제공한다. 대안적으로, 음향 파라미터들의 세트는 매핑 서버(130)와 통신하지 않고, 헤드셋(110)에서 로컬적으로 결정될 수 있다. 헤드셋(110)은 로컬 영역에 관한 입력 정보 예컨대, 로컬 영역의 기하학적 구조에 관한 정보, 로컬 영역에서의 음향 재료 속성들의 추정치들, 등으로서 사용하여 음향 시뮬레이션(예컨대, 파 기반 음향 시뮬레이션 또는 광선 추적 음향 시뮬레이션)을 실행함으로써 음향 파라미터들의 세트를 결정할 수 있다(예컨대, 오디오 제어기(350)를 통해).

도 5c는 하나 이상의 실시예들에 따른, 로컬 영역에 대한 임펄스 응답을 재구성하기 위한 프로세스(550)를 도시하는 흐름도이다. 도 5c의 프로세스(550)는 장치의 구성요소들 예컨대, 헤드셋(110)의 오디오 시스템(330)에 의해 수행될 수 있다. 다른 개체들(예컨대, 도 6에 도시된 구성요소들)은 다른 실시예들에서 프로세스의 단계들의 일부 또는 전부를 수행할 수 있다. 마찬가지로, 실시예들은 상이하거나 부가적인 단계들을 포함하거나, 상이한 순서들로 단계들을 수행할 수 있다.

헤드셋(110)은 헤드셋(110)의 일부 또는 전부를 둘러싸는 로컬 영역(예컨대, 룸(102))에 대한 음향 파라미터들의 세트를 얻는다(555). 하나의 실시예에서, 헤드셋(130)은 매핑 서버(130)로부터 음향 파라미터들의 세트를 얻는다(예컨대, 통신 모듈(355)을 통해). 또 다른 실시예에서, 헤드셋(110)은 깊이 이미지 데이터(예컨대, 헤드셋(110)의 DCA(425)로부터의), 컬러 이미지 데이터(예컨대, 헤드셋(110)의 PCA(430)로부터의), 로컬 영역의 사운드(예컨대, 음향 어셈블리(340)에 의해 모니터링됨), 로컬 영역에서의 헤드셋(110)의 위치에 관한 정보(예컨대, 위치 센서(440)에 의해 결정됨), 로컬 영역에서의 음원의 위치에 관한 정보, 등에 기초하여, 음향 파라미터들의 세트를 결정한다(예컨대, 오디오 제어기(350)를 통해). 또 다른 실시예에서, 헤드셋(110)은 오디오 제어기(350)에 결합된 컴퓨터 판독가능한 데이터 저장장치(즉, 메모리)로부터 음향 파라미터들의 세트를 얻는다(예컨대, 오디오 제어기(350)를 통해). 음향 파라미터들의 세트는 로컬 영역의 하나의 고유한 음향 조건을 특징으로 하는 로컬 영역의 하나의 구성에 대한 룸 임펄스 응답의 파라미터화된 형태를 표현할 수 있다.

헤드셋(110)은 로컬 영역의 구성의 변화에 응답하여, 음향 파라미터들의 세트를 외삽함으로써 음향 파라미터들의 세트를 음향 파라미터들의 조정된 세트로 동적으로 조정한다(560)(예컨대, 오디오 제어기(420)를 통해). 예를 들면, 로컬 영역의 구성 변화는 헤드셋 및 음원(예컨대, 가상 음원)의 공간적 배열의 변화로 인한 것일 수 있다. 음향 파라미터들의 조정된 세트는 로컬 영역의 현재(변화된) 구성에 대한 재구성된 룸 임펄스 응답의 파라미터화된 형태를 표현할 수 있다. 예를 들면, 초기 반사들의 방향, 타이밍 및 진폭은 로컬 영역의 현재 구성에 대해 재구성된 룸 임펄스 응답을 생성하기 위해 조정될 수 있다.

헤드셋(110)은 재구성된 룸 임펄스 응답을 사용하여 헤드셋(110)의 사용자에게 오디오 콘텐츠를 제공한다(565). 헤드셋(110)(예컨대, 오디오 제어기(350)를 통해)은 사용자에게 제공하기 위해 전환된 오디오 신호를 얻기 위해 재구성된 룸 임펄스 응답과 오디오 신호를 컨볼빙할 수 있다. 헤드셋(110)은 전환된 오디오 신호에 대응하는 사운드를 생성하기 위해 적절한 음향 명령들을 생성하고 그들을 트랜스듀서 어셈블리(335)(예컨대, 스피커들(415a, 415b))에 제공할 수 있다(예컨대, 오디오 제어기(350)를 통해).

시스템 환경

도 6은 하나 이상의 실시예들에 따른, 헤드셋의 시스템 환경(600)이다. 시스템(600)은 인공 현실 환경 예컨대, 가상 현실, 증강 현실, 혼합 현실 환경, 또는 그들의 일부 조합에서 동작할 수 있다. 도 6에 의해 도시된 시스템(600)은 헤드셋(110), 매핑 서버(130) 및 콘솔(645)에 결합되는 입력/출력(I/O) 인터페이스(640)를 포함한다. 도 6이 하나의 헤드셋(110) 및 하나의 I/O 인터페이스(640)를 포함하는 일 예시적인 시스템(600)을 도시할지라도, 다른 실시예들에서 임의의 수의 이들 구성요소들이 시스템(600)에 포함될 수 있다. 예를 들면, 각각이 연관된 I/O 인터페이스(640)를 갖는 다수의 헤드셋들(110)이 존재할 수 있고, 각각의 헤드셋(110) 및 I/O 인터페이스(640)는 콘솔(645)과 통신한다. 대안적인 구성들에서, 상이하고/하거나 부가적인 구성요소들이 시스템(600)에 포함될 수 있다. 부가적으로, 도 6에 도시된 구성요소들 중 하나 이상과 결부하여 설명된 기능은 일부 실시예들에서 도 6과 결부하여 설명된 것과 상이한 방식으로 구성요소들 사이에 분산될 수 있다. 예를 들면, 콘솔(645)의 기능 중 일부 또는 전부는 헤드셋(110)에 의해 제공된다.

헤드셋(110)은 렌즈(410), 광학 블록(610), 하나 이상의 위치 센서들(440), DCA(425), 관성 측정 유닛(IMU)(615), PCA(430), 및 오디오 시스템(330)을 포함한다. 헤드셋(110)의 일부 실시예들은 도 6과 결부하여 설명된 것들과 상이한 구성요소들을 갖는다. 부가적으로, 도 6과 결부하여 설명된 다양한 구성요소들에 의해 제공된 기능은 다른 실시예들에서 헤드셋(110)의 구성요소들 사이에 상이하게 분산되거나, 헤드셋(110)으로부터 멀리 떨어져 있는 별개의 어셈블리들에서 캡처될 수 있다.

렌즈(410)는 콘솔(645)로부터 수신된 데이터에 따라 2D 또는 3D 이미지들을 이용자에게 디스플레이하는 전자 디스플레이를 포함할 수 있다. 다양한 실시예들에서, 렌즈(410)는 단일 전자 디스플레이 또는 다수의 전자 디스플레이들(예로서, 이용자의 각각의 눈을 위한 디스플레이)을 포함한다. 전자 디스플레이의 예들은: 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이, 능동 매트릭스 유기 발광 다이오드 디스플레이(AMOLED), 일부 다른 디스플레이, 또는 그들의 일부 조합을 포함한다.

광학 블록(610)은 전자 디스플레이로부터의 수신된 이미지 광을 확대하고, 이미지 광과 연관된 광학 오류들을 정정하며, 정정된 이미지 광을 헤드셋(110)의 이용자에게 제공한다. 다양한 실시예들에서, 광학 블록(610)은 하나 이상의 광학 요소들을 포함한다. 광학 블록(610)에 포함된 예시적인 광학 요소들은: 개구부, 프레넬 렌즈, 볼록 렌즈, 오목 렌즈, 필터, 반사 표면, 또는 이미지 광에 영향을 주는 임의의 다른 적합한 광학 요소를 포함한다. 게다가, 광학 블록(610)은 상이한 광학 요소들의 조합들을 포함할 수 있다. 일부 실시예들에서, 광학 블록(610)에서 광학 요소들 중 하나 이상은 부분적인 반사 또는 반사 방지 코팅들과 같은 하나 이상의 코팅들을 가질 수 있다.

광학 블록(610)에 의한 이미지 광의 확대 및 집속은 전자 디스플레이가 물리적으로 더 작고, 덜 무게가 나가며, 더 큰 디스플레이들보다 전력을 덜 소비하게 하는 것을 허용한다. 부가적으로, 확대는 전자 디스플레이에 의해 제공된 콘텐츠의 시야를 증가시킬 수 있다. 예를 들면, 디스플레이된 콘텐츠의 시야는 디스플레이된 콘텐츠가 거의 전부(예로서, 대략 110°대각선), 및 일부 경우들에서 이용자의 시야의 전부를 이용하여 제공되도록 하는 것이다. 부가적으로, 일부 실시예들에서, 확대량은 광학 요소들을 부가하거나 제거함으로써 조정될 수 있다.

일부 실시예들에서, 광학 블록(610)은 하나 이상의 유형들의 광학 오류를 정정하도록 설계될 수 있다. 광학 오류의 예들은 배럴 또는 핀쿠션 왜곡, 종방향 색 수차들, 또는 횡방향 색 수차들을 포함한다. 다른 유형들의 광학 오류들은 구면 수차들, 코마틱 수차들, 또는 렌즈 필드 곡률로 인한 오류들, 비점 수차(astigmatism)들, 또는 임의의 다른 유형의 광학 오류를 더 포함할 수 있다. 일부 실시예들에서, 디스플레이하기 위해 전자 디스플레이에 제공된 콘텐츠는 사전 왜곡되고, 광학 블록(610)은 그것이 콘텐츠에 기초하여 생성된 전자 디스플레이로부터 이미지 광을 수신할 때 왜곡을 정정한다.

IMU(615)는 위치 센서들(440) 중 하나 이상으로부터 수신된 측정 신호들에 기초하여 헤드셋(110)의 위치를 나타내는 데이터를 생성하는 전자 디바이스이다. 위치 센서(440)는 헤드셋(110)의 움직임에 응답하여 하나 이상의 측정 신호들을 생성한다. 위치 센서들(440)의 예들은: 하나 이상의 가속도계들, 하나 이상의 자이로스코프들, 하나 이상의 자력계들, 움직임을 검출하는 또 다른 적합한 유형의 센서, IMU(615)의 오류 정정을 위해 사용된 일 유형의 센서, 또는 그들의 일부 조합을 포함한다. 위치 센서들(440)은 IMU(615) 외부, IMU(615) 내부, 또는 그들의 일부 조합에 위치될 수 있다.

DCA(425)는 룸과 같은 로컬 영역의 깊이 이미지 데이터를 생성한다. 깊이 이미지 데이터는 이미징 디바이스로부터의 거리를 정의하는 픽셀 값들을 포함하고 따라서, 깊이 이미지 데이터에서 캡처된 위치들의 (예컨대, 3D) 매핑을 제공한다. DCA(425)는 광 투영기(620), 하나 이상의 이미징 디바이스들(625), 및 제어기(630)를 포함한다. 광 투영기(620)는 깊이 이미지 데이터를 생성하기 위해 로컬 영역의 객체들로부터 반사되고, 이미징 디바이스(625)에 의해 캡처되는 구조화된 광 패턴 또는 다른 광을 투영할 수 있다.

예를 들면, 광 투영기(620)는 헤드셋(110)을 둘러싸는 로컬 영역의 일부에 상이한 유형들(예컨대, 라인들, 격자들, 또는 점들)의 복수의 구조화된 광(SL) 요소들을 투영할 수 있다. 다양한 실시예들에서, 광 투영기(620)는 방출기 및 패턴 플레이트(pattern plate)를 포함한다. 방출기는 광(예컨대, 적외선)으로 패턴 플레이트를 조명하도록 구성된다. 조명된 패턴 플레이트는 복수의 SL 요소들을 포함하는 SL 패턴을 로컬 영역으로 투영한다. 예를 들면, 조명된 패턴 플레이트에 의해 투영된 SL 요소들의 각각은 패턴 플레이트의 특정한 위치와 연관된 점이다.

DCA(425)에 의해 투영된 각각의 SL 요소는 전자기 스펙트럼의 적외선 부분의 광을 포함한다. 일부 실시예들에서, 조명원은 적외선이 인간에게 보이지 않도록 적외선으로 패턴 플레이트를 조명하도록 구성된 레이저이다. 일부 실시예들에서, 조명원은 펄스화될 수 있다. 일부 실시예들에서, 조명원은 광이 눈에 보이지 않도록 가시적이고 펄스화될 수 있다.

DCA(425)에 의해 로컬 영역으로 투영된 SL 패턴은 그것이 로컬 영역의 다양한 표면들 및 객체들과 조우함에 따라 변형된다. 하나 이상의 이미징 디바이스들(625)은 각각 로컬 영역의 하나 이상의 이미지들을 캡처하도록 구성된다. 캡처된 하나 이상의 이미지들의 각각은 광 투영기(620)에 의해 투영되고 로컬 영역의 객체들에 의해 반사된 복수의 SL 요소들(예컨대, 점들)을 포함할 수 있다. 하나 이상의 이미징 디바이스들(625)의 각각은 검출기 어레이, 카메라, 또는 비디오 카메라일 수 있다.

제어기(630)는 이미징 디바이스(625)에 의해 캡처된 광에 기초하여 깊이 이미지 데이터를 생성한다. 제어기(630)는 또한, 콘솔(645), 오디오 제어기(420), 또는 일부 다른 구성요소에 깊이 이미지 데이터를 제공할 수 있다.

PCA(430)는 컬러(예컨대, RGB) 이미지 데이터를 생성하는 하나 이상의 수동 카메라들을 포함한다. 능동 발광 및 반사를 사용하는 DCA(425)와 달리, PCA(430)는 이미지 데이터를 생성하기 위해 로컬 영역의 환경으로부터 광을 캡처한다. 이미징 디바이스로부터의 깊이 또는 거리를 정의하는 픽셀 값들보다는, 이미지 데이터의 픽셀 값들은 이미징 데이터에서 캡처된 객체들의 가시적 컬러를 정의할 수 있다. 일부 실시예들에서, PCA(430)는 수동 이미징 디바이스에 의해 캡처된 광에 기초하여 컬러 이미지 데이터를 생성하는 제어기를 포함한다. 일부 실시예들에서, DCA(425) 및 PCA(430)는 공통 제어기를 공유한다. 예를 들면, 공통 제어기는 가시 스펙트럼(예컨대, 이미지 데이터)에서 및 적외선 스펙트럼(예컨대, 깊이 이미지 데이터)에서 캡처된 하나 이상의 이미지들의 각각을 서로 매핑할 수 있다. 하나 이상의 실시예들에서, 공통 제어기는 부가적으로 또는 대안적으로, 로컬 영역의 하나 이상의 이미지들을 오디오 제어기(420) 또는 콘솔(645)에 제공하도록 구성된다.

오디오 시스템(330)은 헤드셋(110)이 위치되는 로컬 영역의 음향 속성을 표현하는 음향 파라미터들의 세트를 사용하여 헤드셋(110)의 사용자에게 오디오 콘텐츠를 제공한다. 오디오 시스템(330)은 로컬 영역 내의 객체(예컨대, 가상 객체 또는 실제 객체)로부터 발생하는 것처럼 보이도록 오디오 콘텐츠를 제공한다. 오디오 시스템(330)은 로컬 영역의 적어도 일부를 설명하는 정보를 얻을 수 있다. 오디오 시스템(330)은 매핑 서버(130)에서 음향 파라미터들의 세트의 결정을 위해 정보를 매핑 서버(130)에 전달할 수 있다. 오디오 시스템(330)은 또한, 매핑 서버(130)로부터 음향 파라미터들의 세트를 수신할 수 있다.

일부 실시예들에서, 오디오 시스템(330)은 임계 변화를 초과하는 로컬 영역의 음향 조건의 변화에 응답하여, 로컬 영역의 특정 구성에 대한 재구성된 임펄스 응답을 표현하는 음향 파라미터들의 조정된 세트로 음향 파라미터들의 세트를 선택적으로 외삽한다. 오디오 시스템(330)은 재구성된 임펄스 응답에 적어도 부분적으로 기초하여 헤드셋(110)의 사용자에게 오디오 콘텐츠를 제공할 수 있다.

일부 실시예들에서, 오디오 시스템(330)은 로컬 영역의 사운드를 모니터링하고 대응하는 오디오 스트림을 생성한다. 오디오 시스템(330)은 오디오 스트림에 적어도 부분적으로 기초하여, 음향 파라미터들의 세트를 조정할 수 있다. 오디오 시스템(330)은 또한, 시간에 따른 로컬 영역의 음향 속성의 변화가 임계 변화를 초과한다는 결정에 응답하여, 다양한 물리적 공간들 및 그들 공간들의 음향 속성들을 설명하는 가상 모델을 업데이트하기 위해 오디오 스트림을 매핑 서버(130)에 선택적으로 전달할 수 있다. 헤드셋(110)의 오디오 시스템(330) 및 매핑 서버(130)는 유선 또는 무선 통신 링크(예컨대, 도 1의 네트워크(120))를 통해 통신할 수 있다.

I/O 인터페이스(640)는 이용자가 동작 요청들을 전송하고 콘솔(645)로부터 응답들을 수신하는 것을 허용하는 디바이스이다. 동작 요청은 특정한 동작을 수행하기 위한 요청이다. 예를 들면, 동작 요청은 이미지 또는 비디오 데이터의 캡처를 시작 또는 종료하기 위한 명령, 또는 애플리케이션 내에서 특정한 동작을 수행하기 위한 명령일 수 있다. I/O 인터페이스(640)는 하나 이상의 입력 디바이스들을 포함할 수 있다. 예시적인 입력 디바이스들은: 키보드, 마우스, 게임 제어기, 또는 동작 요청들을 수신하고 동작 요청들을 콘솔(645)에 전달하기 위한 임의의 다른 적합한 디바이스를 포함한다. I/O 인터페이스(640)에 의해 수신된 동작 요청은 콘솔(645)에 전달되고, 상기 콘솔은 동작 요청에 대응하는 동작을 수행한다. 일부 실시예들에서, I/O 인터페이스(640)는 I/O 인터페이스(640)의 초기 위치에 대한 I/O 인터페이스(640)의 추정된 위치를 나타내는 교정 데이터를 캡처하는, 상기 더 설명된 바와 같은 IMU(615)를 포함한다. 일부 실시예들에서, I/O 인터페이스(640)는 콘솔(645)로부터 수신된 명령들에 따라 햅틱 피드백을 이용자에게 제공할 수 있다. 예를 들면, 햅틱 피드백은 동작 요청이 수신될 때 제공되거나, 콘솔(645)은 I/O 인터페이스(640)에 명령들을 전달하여 I/O 인터페이스(640)로 하여금 콘솔(645)이 동작을 수행할 때 햅틱 피드백을 생성하게 한다.

콘솔(645)은: DCA(425), PCA(430), 헤드셋(110), 및 I/O 인터페이스(640) 중 하나 이상으로부터 수신된 정보에 따라 프로세싱하기 위한 콘텐츠를 헤드셋(110)에 제공한다. 도 6에 도시된 예에서, 콘솔(645)은 애플리케이션 저장장치(650), 추적 모듈(655), 및 엔진(660)을 포함한다. 콘솔(645)의 일부 실시예들은 도 6과 결부하여 설명된 것들과 상이한 모듈들 또는 구성요소들을 갖는다. 유사하게, 하기에 또한 설명된 기능들은 도 6과 결부하여 설명된 것과 상이한 방식으로 콘솔(645)의 구성요소들 사이에 분산될 수 있다. 일부 실시예들에서, 콘솔(645)과 관련하여 본 명세서에서 논의된 기능은 헤드셋(110), 또는 원격 시스템에서 구현될 수 있다.

애플리케이션 저장장치(650)는 콘솔(645)에 의해 실행하기 위한 하나 이상의 애플리케이션들을 저장한다. 애플리케이션은 프로세서에 의해 실행될 때, 이용자에게 제공하기 위한 콘텐츠를 생성하는 명령들의 그룹이다. 애플리케이션에 의해 생성된 콘텐츠는 헤드셋(110) 또는 I/O 인터페이스(640)의 움직임을 통해 이용자로부터 수신된 입력들에 응답할 수 있다. 애플리케이션들의 예들은: 게이밍 애플리케이션들, 회의 애플리케이션들, 비디오 재생 애플리케이션들, 또는 다른 적합한 애플리케이션들을 포함한다.

추적 모듈(655)은 헤드셋(110)의 또는 I/O 인터페이스(640)의 위치의 결정 시에 오류를 감소시키기 위해 하나 이상의 교정 파라미터들을 사용하여 시스템(600)의 로컬 영역을 교정하고 하나 이상의 교정 파라미터들을 조정할 수 있다. 예를 들면, 추적 모듈(655)은 DCA(425)에 의해 캡처된 SL 요소들의 위치들을 더 정확하게 결정하기 위해 DCA(425)의 초점을 조정하도록 교정 파라미터를 DCA(425)에 전달한다. 추적 모듈(655)에 의해 수행된 교정은 또한, 헤드셋(110)의 IMU(615) 및/또는 I/O 인터페이스(640)에 포함된 IMU(615)로부터 수신된 정보를 설명한다. 부가적으로, 헤드셋(110)의 추적이 실패하면(예로서, DCA(425)가 적어도 임계 수의 투영된 SL 요소들의 가시선을 놓쳐버림), 추적 모듈(655)은 시스템(600)의 일부 또는 전부를 재교정한다.

추적 모듈(655)은 DCA(425), PCA(430), 하나 이상의 위치 센서들(440), IMU(615) 또는 그들의 일부 조합으로부터의 정보를 사용하여 헤드셋(110)의 또는 I/O 인터페이스(640)의 움직임들을 추적한다. 예를 들면, 추적 모듈(655)은 헤드셋(110)으로부터의 정보에 기초하여 로컬 영역의 매핑 시에 헤드셋(110)의 기준 지점의 위치를 결정한다. 추적 모듈(655)은 또한, 객체 또는 가상 객체의 위치들을 결정할 수 있다. 부가적으로, 일부 실시예들에서, 추적 모듈(655)은 헤드셋(110)의 미래 위치를 예측하기 위해 DCA(425)로부터의 로컬 영역의 표현들 뿐만 아니라, IMU(615)로부터의 헤드셋(110)의 위치를 나타내는 데이터의 부분들을 사용할 수 있다. 추적 모듈(655)은 헤드셋(110) 또는 I/O 인터페이스(640)의 추정되거나 예측된 미래 위치를 엔진(660)에 제공한다.

엔진(660)은 애플리케이션들을 실행하고 추적 모듈(655)로부터 헤드셋(110)의 위치 정보, 가속 정보, 속도 정보, 예측된 미래 위치들, 또는 그들의 일부 조합을 수신한다. 수신된 정보에 기초하여, 엔진(660)은 이용자에게 제공하기 위해 헤드셋(110)에 제공할 콘텐츠를 결정한다. 예를 들면, 수신된 정보가 이용자가 좌측을 보았음을 나타내면, 엔진(660)은 가상 로컬 영역에서 또는 부가적인 콘텐츠로 로컬 영역을 증강시키는 로컬 영역에서 이용자의 움직임을 미러링하는 헤드셋(110)에 대한 콘텐츠를 생성한다. 부가적으로, 엔진(660)은 I/O 인터페이스(640)로부터 수신된 동작 요청에 응답하여 콘솔(645)에서 실행되는 애플리케이션 내에서 동작을 수행하고 동작이 수행되었다는 피드백을 이용자에게 제공한다. 제공된 피드백은 헤드셋(110)을 통한 시각적 또는 청취가능한 피드백이거나 I/O 인터페이스(640)를 통한 햅틱 피드백일 수 있다.

부가적인 구성 정보

본 발명의 실시예들의 상기 설명은 예시의 목적을 위해 제공되었고; 그것은 철저한 것으로 의도되지 않거나 본 발명을 개시된 정확한 형태들로 제한하도록 의도되지 않는다. 관련 분야에서의 숙련자들은 상기 발명에 비추어 많은 수정들 및 변형들이 가능하다는 것을 이해할 수 있다.

이 설명의 일부 부분들은 정보에 대한 연산들의 상징적 표현들 및 알고리즘들의 관점에서 본 발명의 실시예들을 설명한다. 이들 알고리즘적 설명들 및 표현들은 데이터 프로세싱 분야들의 숙련가들의 작업의 핵심을 다른 당업자들에게 효과적으로 전달하기 위해 상기 데이터 프로세싱 분야들의 숙련가들에 의해 공통적으로 사용된다. 기능적으로, 계산적으로, 또는 논리적으로 설명될지라도, 이들 동작들은 컴퓨터 프로그램들 또는 등가 전기 회로들, 마이크로코드, 등에 의해 구현되는 것으로 이해된다. 또한, 이들 동작들의 배열들을 일반성의 손실 없이, 모듈들로서 언급하는 것이 때때로 편리한 것으로 또한 입증되었다. 설명된 동작들 및 그들의 연관된 모듈들은 소프트웨어, 펌웨어, 하드웨어, 또는 그들의 임의의 조합들로 구현될 수 있다.

본 명세서에서 설명된 단계들, 동작들, 또는 프로세스들 중 임의의 것은 단독으로 또는 다른 디바이스들과 조합하여 하나 이상의 하드웨어 또는 소프트웨어 모듈들로 수행되거나 구현될 수 있다. 하나의 실시예에서, 소프트웨어 모듈은 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현되며, 상기 컴퓨터 프로그램 코드는 설명된 단계들, 동작들, 또는 프로세스들 중 임의의 것 또는 전부를 수행하기 위해 컴퓨터 프로세서에 의해 실행될 수 있다.

본 발명의 실시예들은 또한, 본 명세서에서의 동작들을 수행하기 위한 장치에 관한 것일 수 있다. 이 장치는 요구된 목적들을 위해 특수하게 구성될 수 있고/거나, 그것은 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성된 범용 컴퓨팅 디바이스를 포함할 수 있다. 이러한 컴퓨터 프로그램은 비 일시적인 유형의 컴퓨터 판독가능한 저장 매체, 또는 컴퓨터 시스템 버스에 결합될 수 있는 전자 명령들을 저장하기 위해 적합한 임의의 유형의 매체들에 저장될 수 있다. 또한, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나 증가된 컴퓨팅 능력을 위해 다수의 프로세서 설계들을 이용하는 아키텍처들일 수 있다.

본 발명의 실시예들은 또한, 본 명세서에서 설명된 컴퓨팅 프로세스에 의해 생성되는 제품에 관한 것일 수 있다. 이러한 제품은 컴퓨팅 프로세스로부터 발생하는 정보를 포함할 수 있고, 여기서 정보는 비 일시적인 유형의 컴퓨터 판독가능한 저장 매체에 저장되며 본 명세서에서 설명된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.

마지막으로, 본 명세서에서 이용된 언어는 원칙적으로, 가독성 및 교육 목적들을 위해 선택되었으며, 그것은 독창적인 주제를 상세하게 설명하거나 제한하기 위해 선택되지 않았을 수 있다. 따라서, 본 발명의 범위가 이 상세한 설명에 의해 제한되는 것이 아니라, 오히려 여기에 기초한 출원에 관해 발행되는 임의의 청구항들에 의해 제한되는 것으로 의도된다. 그에 따라, 실시예들의 개시는 본 발명의 범위를 제한하는 것이 아니라 예시적인 것으로 의도되며, 이는 다음의 청구항들에 제시된다.

Claims (14)

1. 방법에 있어서,
   로컬 영역의 적어도 일부를 설명하는 정보에 기초하여, 상기 로컬 영역 내의 헤드셋에 대한 가상 모델에서의 위치를 결정하는 단계로서, 상기 가상 모델은 복수의 공간들 및 상기 공간들의 음향 속성들을 설명하고, 상기 가상 모델에서의 상기 위치는 상기 로컬 영역 내의 상기 헤드셋의 물리적 위치에 대응하는, 상기 가상 모델에서의 위치를 결정하는 단계; 및
   상기 가상 모델에서의 상기 결정된 위치 및 상기 결정된 위치와 연관된 임의의 음향 파라미터들에 부분적으로 기초하여, 상기 헤드셋의 물리적 위치와 연관된 음향 파라미터들의 세트를 결정하는 단계를 포함하고,
   오디오 콘텐츠는 상기 음향 파라미터들의 세트를 사용하여 상기 헤드셋에 의해 제공되는, 방법.
2. 제 1 항에 있어서,
   a) 상기 헤드셋으로부터, 상기 로컬 영역의 적어도 일부를 설명하는 상기 정보를 수신하는 단계로서, 상기 정보는 상기 로컬 영역의 적어도 일부에 관한 시각적 정보를 포함하는, 상기 정보를 수신하는 단계를 더 포함하거나;
   b) 상기 복수의 공간들은: 회의실, 욕실, 복도, 사무실, 침실, 식당, 및 거실을 포함하거나;
   c) 상기 오디오 콘텐츠는 상기 로컬 영역 내의 객체로부터 발생하는 것처럼 보이도록 제공되거나;
   d) 상기 음향 파라미터들의 세트는:
   복수의 주파수 대역들의 각각에 대해 음원으로부터 상기 헤드셋까지의 반향 시간,
   각각의 주파수 대역에 대한 반향 레벨,
   각각의 주파수 대역에 대한 직접 대 반향 비,
   각각의 주파수 대역에 대해 상기 음원으로부터 상기 헤드셋으로의 직접 사운드의 방향,
   각각의 주파수 대역에 대한 상기 직접 사운드의 진폭,
   상기 음원으로부터 상기 헤드셋으로의 사운드의 초기 반사 시간,
   각각의 주파수 대역에 대한 초기 반사의 진폭,
   초기 반사의 방향,
   룸 모드 주파수들, 및
   룸 모드 위치들 중 적어도 하나를 포함하는 것 중 어느 하나 이상인, 방법.
3. 제 1 항 또는 제 2 항에 있어서,
   상기 헤드셋으로부터 오디오 스트림을 수신하는 단계;
   상기 수신된 오디오 스트림에 기초하여 적어도 하나의 음향 파라미터를 결정하는 단계; 및
   상기 적어도 하나의 음향 파라미터를 상기 헤드셋이 위치되는 물리적 공간과 연관된 상기 가상 모델에서의 저장 위치에 저장하는 단계를 더 포함하는, 방법.
4. 제 3 항에 있어서,
   상기 오디오 스트림은 시간에 따른 상기 로컬 영역의 음향 조건의 변화가 임계 변화를 초과한다는 상기 헤드셋에서의 결정에 응답하여 상기 헤드셋으로부터 제공되는, 방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   a) 상기 헤드셋으로부터 오디오 스트림을 수신하는 단계; 및
   상기 수신된 오디오 스트림에 기초하여 상기 음향 파라미터들의 세트를 업데이트하는 단계를 더 포함하고,
   상기 헤드셋에 의해 제공된 상기 오디오 콘텐츠는 상기 음향 파라미터들의 업데이트된 세트에 부분적으로 기초하여 조정되거나;
   b) 하나 이상의 음향 파라미터들을 얻는 단계;
   상기 하나 이상의 음향 파라미터들을 상기 음향 파라미터들의 세트와 비교하는 단계; 및
   상기 비교에 기초하여, 상기 세트의 적어도 하나의 음향 파라미터를 상기 하나 이상의 음향 파라미터들로 교체함으로써 상기 가상 모델을 업데이트하는 단계를 더 포함하거나;
   c) 임계 변화를 초과하는 상기 로컬 영역의 음향 조건의 변화에 응답하여 음향 파라미터들의 조정된 세트로 외삽하기 위해 상기 음향 파라미터들의 세트를 상기 헤드셋으로 송신하는 단계를 더 포함하는 것 중 어느 하나 이상인, 방법.
6. 장치에 있어서,
   로컬 영역의 적어도 일부를 설명하는 정보에 기초하여, 상기 로컬 영역 내의 헤드셋에 대한 가상 모델에서의 위치를 결정하도록 구성된 매핑 모듈로서, 상기 가상 모델은 복수의 공간들 및 상기 공간들의 음향 속성들을 설명하고, 상기 가상 모델에서의 상기 위치는 상기 로컬 영역 내의 상기 헤드셋의 물리적 위치에 대응하는, 상기 매핑 모듈; 및
   상기 가상 모델에서의 상기 결정된 위치 및 상기 결정된 위치와 연관된 임의의 음향 파라미터들에 부분적으로 기초하여, 상기 헤드셋의 물리적 위치와 연관된 음향 파라미터들의 세트를 결정하도록 구성된 음향 모듈을 포함하고,
   오디오 콘텐츠는 상기 음향 파라미터들의 세트를 사용하여 상기 헤드셋에 의해 제공되는, 장치.
7. 제 6 항에 있어서,
   상기 헤드셋으로부터, 상기 로컬 영역의 적어도 일부를 설명하는 상기 정보를 수신하도록 구성된 통신 모듈을 더 포함하고, 상기 정보는 상기 헤드셋의 하나 이상의 카메라 어셈블리들을 통해 캡처된 상기 로컬 영역의 적어도 일부에 관한 시각적 정보를 포함하는, 장치.
8. 제 6 항 또는 제 7 항에 있어서,
   상기 오디오 콘텐츠는 상기 로컬 영역 내의 객체로부터 발생하는 것처럼 보이도록 제공되는, 장치.
9. 제 6 항 내지 제 8 항 중 어느 하나 이상의 항에 있어서,
   상기 음향 파라미터들의 세트는:
   복수의 주파수 대역들의 각각에 대해 음원으로부터 상기 헤드셋까지의 반향 시간,
   각각의 주파수 대역에 대한 반향 레벨,
   각각의 주파수 대역에 대한 직접 대 반향 비,
   각각의 주파수 대역에 대해 상기 음원으로부터 상기 헤드셋으로의 직접 사운드의 방향,
   각각의 주파수 대역에 대한 상기 직접 사운드의 진폭,
   상기 음원으로부터 상기 헤드셋으로의 사운드의 초기 반사 시간,
   각각의 주파수 대역에 대한 초기 반사의 진폭,
   초기 반사의 방향,
   룸 모드 주파수들, 및
   룸 모드 위치들 중 적어도 하나를 포함하는, 장치.
10. 제 6 항 내지 제 9 항 중 어느 하나 이상의 항에 있어서,
    a) 상기 헤드셋으로부터 오디오 스트림을 수신하도록 구성된 통신 모듈을 더 포함하고,
    상기 음향 모듈은 또한, 상기 수신된 오디오 스트림에 기초하여 적어도 하나의 음향 파라미터를 결정하도록 구성되고, 상기 장치는 상기 적어도 하나의 음향 파라미터를 상기 헤드셋이 위치되는 물리적 공간과 연관된 상기 가상 모델에서의 저장 위치에 저장하도록 구성된 비 일시적 컴퓨터 판독가능한 매체를 더 포함하거나;
    b) 상기 음향 모듈은 또한:
    하나 이상의 음향 파라미터들을 얻고;
    상기 하나 이상의 음향 파라미터들을 상기 음향 파라미터들의 세트와 비교하도록 구성되고, 상기 장치는,
    상기 비교에 기초하여, 상기 세트의 적어도 하나의 음향 파라미터를 상기 하나 이상의 음향 파라미터들로 교체함으로써 상기 가상 모델을 업데이트하도록 구성된 비 일시적 컴퓨터 판독가능한 저장 매체를 더 포함하는 것 중 어느 하나 이상인, 장치.
11. 제 6 항 내지 제 10 항 중 어느 하나 이상의 항에 있어서,
    임계 변화를 초과하는 상기 로컬 영역의 음향 조건의 변화에 응답하여 음향 파라미터들의 조정된 세트로 외삽하기 위해 상기 음향 파라미터들의 세트를 상기 헤드셋으로 송신하도록 구성된 통신 모듈을 더 포함하는, 장치.
12. 인코딩된 명령들을 가지는 비 일시적 컴퓨터 판독가능한 저장 매체에 있어서,
    상기 인코딩된 명령들은 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    로컬 영역의 적어도 일부를 설명하는 정보에 기초하여, 상기 로컬 영역 내의 헤드셋에 대한 가상 모델에서의 위치를 결정하게 하는 것으로서, 상기 가상 모델은 복수의 공간들 및 상기 공간들의 음향 속성들을 설명하고, 상기 가상 모델에서의 상기 위치는 상기 로컬 영역 내의 상기 헤드셋의 물리적 위치에 대응하는, 상기 가상 모델에서의 위치를 결정하게 하고;
    상기 가상 모델에서의 상기 결정된 위치 및 상기 결정된 위치와 연관된 임의의 음향 파라미터들에 부분적으로 기초하여, 상기 헤드셋의 물리적 위치와 연관된 음향 파라미터들의 세트를 결정하게 하며,
    오디오 콘텐츠는 상기 음향 파라미터들의 세트를 사용하여 상기 헤드셋에 의해 제공되는, 비 일시적 컴퓨터 판독가능한 저장 매체.
13. 제 12 항에 있어서,
    상기 명령들은 또한, 상기 프로세서로 하여금:
    상기 헤드셋으로부터 오디오 스트림을 수신하게 하고;
    상기 수신된 오디오 스트림에 기초하여 적어도 하나의 음향 파라미터를 결정하게 하고;
    상기 적어도 하나의 음향 파라미터를 상기 헤드셋이 위치되는 물리적 공간과 연관된 상기 가상 모델에서의 저장 위치에 저장하게 하며, 상기 가상 모델은 상기 비 일시적 컴퓨터 판독가능한 저장 매체에 저장되는, 비 일시적 컴퓨터 판독가능한 저장 매체.
14. 제 12 항 또는 제 13 항에 있어서,
    상기 명령들은 또한, 상기 프로세서로 하여금:
    하나 이상의 음향 파라미터들을 얻게 하고;
    상기 하나 이상의 음향 파라미터들을 상기 음향 파라미터들의 세트와 비교하게 하며;
    상기 비교에 기초하여, 상기 세트의 적어도 하나의 음향 파라미터를 상기 하나 이상의 음향 파라미터들로 교체함으로써 상기 가상 모델을 업데이트하게 하는, 비 일시적 컴퓨터 판독가능한 저장 매체.

Images