KR20210153671A

KR20210153671A - 헤드셋 사용자에 대한 머리 관련 전달 함수의 결정을 위한 사운드 주파수의 원격 추론

Info

Publication number: KR20210153671A
Application number: KR1020217037322A
Authority: KR
Inventors: 모르테자 칼레기메이보디; 호프만 파블로 프란시스코 파운데즈
Original assignee: 페이스북 테크놀로지스, 엘엘씨
Priority date: 2019-04-22
Filing date: 2020-04-21
Publication date: 2021-12-17
Also published as: JP2022529202A; US20210029484A1; US20200336856A1; WO2020219460A1; US10848891B2; US11234092B2; CN113711626A; EP3959900A1

Abstract

헤드셋은 프레임(105) 및 오디오 시스템을 포함한다. 오디오 시스템은 검출 영역(125)에서 프레임(105) 상에 위치된 마이크로폰 어셈블리(120)로서, 상기 검출 영역은 상기 헤드셋을 착용한 사용자의 귀 외부에 있고, 귀의 외이도로부터 임계 거리 내에 있으며, 상기 마이크로폰 어셈블리(120)는 오디오 소스로부터 방출되는 오디오 신호를 검출하도록 구성되고, 상기 검출 영역(125)에서 검출된 오디오 신호는 사용자의 외이도에서 음압파의 유사성 임계 범위 내에 있는, 상기 마이크로폰 어셈블리, 및 상기 검출된 오디오 신호에 부분적으로 기초하여 머리 관련 전달 함수(HRTF)들의 세트를 결정하도록 구성되는 오디오 컨트롤러를 포함한다.

Description

헤드셋 사용자에 대한 머리 관련 전달 함수의 결정을 위한 사운드 주파수의 원격 추론

관련 출원의 교차 참조

본 출원은 2019년 4월 22일에 출원된 미국 출원 번호 16/390,405로부터의 우선권을 주장하며, 그 내용은 모든 목적을 위해 그 전체가 여기에 참조로 포함된다.

본 개시는 일반적으로 머리 관련 전달 함수들(head-related transfer functions)(HRTFs)의 결정, 특히 헤드셋 사용자에 대한 HRTF들의 결정을 위한 사운드 주파수들의 원격 추론(remote inference)에 관한 것이다.

두 귀들에서 인지되는 사운드는: 사운드의 방향, 각각의 귀에 대한 사운드 소스의 위치, 사용자의 머리 및/또는 신체의 해부학적 구조 중 적어도 하나는 물론, 사운드가 인지되는 실내의 환경에 따라 상이할 수 있다. 사람들은 각각의 귀에서 인지되는 사운드를 비교함으로써 사운드 소스의 위치를 결정할 수 있다. 일종의 "공간 사운드(spatial sound)" 시스템에서, 복수의 스피커들을 HRTF들을 사용하여 사운드의 방향성(directional aspects)을 재생한다. HRTF는 자유장(free field)의 사운드 소스로부터 사람의 귀로의 사운드 전달을 나타낸다. HRTF들은 오디오 주파수 응답뿐만 아니라 두 귀 사이의 시간 및 강도 차이에서 사운드 소스의 방향 정보를 인코딩한다. HRTF들은 사람마다 다르며, 사용자에 대한 맞춤형 HRTF들은 사용자에게 오디오 콘텐트를 전달할 때 탁월한 공간 사운드 품질을 경험할 수 있게 한다.

HRTF들을 결정하기 위한 교정 시스템들은 일반적으로 사용자의 외이도 내부에 배치되는 마이크로폰을 포함할 수 있다. 로컬 영역의 사운드 소스들에 대한 응답으로 외이도에서 오디오 신호를 측정함으로써, HRTF들은 사용자에 대해 결정되어 맞춤화될 수 있다. 그러나, 이러한 것은 편안하거나 편리한 사용자 경험이 아니다.

본 발명은 헤드셋 사용자에 대한 HRTF들의 결정을 위한 사운드 주파수들의 원격 추론과 관련하여 보다 개선되고 효과적인 구성 및 방법을 제공하고자 하는 것이다.

헤드셋 착용자에 대한 HRTF들의 결정을 위한 낮은 사운드 주파수의 원격 추론을 위한 오디오 시스템. 오디오 시스템은 헤드셋 사용자에 대한 HRTF들의 세트를 생성 및/또는 맞춤화하도록 구성된다. HRTF들은 헤드셋 사용자에 대한 오디오 콘텐트를 생성하는 데 사용될 수 있다. 일부 실시예들에 따라, 헤드셋은 인공 현실 헤드셋이다.

오디오 시스템은 검출 영역 내의 (헤드셋의) 프레임에 위치한 마이크로폰 어셈블리를 포함한다. 검출 영역은 헤드셋을 착용한 사용자의 귀 외부에 있으며, 귀의 외이도로부터 임계 거리 내에 있다. 마이크로폰 어셈블리는 오디오 소스로부터 방출되는 오디오 신호를 검출하도록 구성된다. 검출 영역에서 검출된 오디오 신호는 사용자의 외이도에서 음압파(sound pressure wave)의 유사성 임계 범위(threshold degree of similarity) 내에 있다. 추가적으로, 오디오 시스템은 또한 검출된 오디오 신호에 부분적으로 기초하여 머리 관련 전달 함수(HRTF)들의 세트를 결정하도록 구성된 오디오 컨트롤러를 포함한다.

일부 실시예들에서, 오디오 시스템은 방법을 수행한다. 방법은 헤드셋 프레임 상의 검출 영역 내에 위치된 마이크로폰 어셈블리를 통해, 오디오 소스로부터 방출되는 오디오 신호를 검출하는 단계를 포함한다. 검출 영역은 헤드셋을 착용한 사용자의 귀 외부이고 사용자의 외이도로부터 임계 거리 내에 있고, 검출 영역에서 검출된 오디오 신호는 외이도에서 음압파의 유사성 임계 범위 내에 있다. 방법은 오디오 제어기를 통해, 검출된 오디오 신호에 부분적으로 기초하여 HRTF들의 세트를 결정하는 단계를 더 포함한다.

일부 실시예들에서, 헤드셋은 바람직하게는: 프레임; 및 오디오 시스템을 포함하여 제공되고, 상기 오디오 시스템은: 검출 영역에서 프레임 상에 위치된 마이크로폰 어셈블리로서, 상기 검출 영역은 상기 헤드셋을 착용한 사용자의 귀 외부에 있고, 귀의 외이도로부터 임계 거리 내에 있으며, 상기 마이크로폰 어셈블리는 로컬 영역의 오디오 소스로부터 방출되는 오디오 신호를 검출하도록 구성되고, 상기 검출 영역에서 검출된 오디오 신호는 사용자의 외이도에서 음압파의 유사성 임계 범위 내에 있는, 상기 마이크로폰 어셈블리, 및 상기 검출된 오디오 신호에 부분적으로 기초하여 머리 관련 전달 함수(HRTF)들의 세트를 결정하도록 구성되는 오디오 컨트롤러를 포함한다.

마이크로폰 어셈블리는 복수의 마이크로폰들을 포함할 수 있다.

일부 실시예들에서, 복수의 마이크로폰들 중 적어도 하나의 마이크로폰은 검출 영역 이외의 위치에서 프레임 상에 위치된다.

일부 실시예들에서, 임계 거리는 최대 3인치이다.

일부 실시예들에서, 오디오 소스는 오디오 시스템의 일부인 스피커이다.

일부 실시예들에서, 스피커는 헤드셋의 프레임 상에 위치된다.

일부 실시예들에서, 오디오 소스는 연골 전도 시스템의 변환기이다.

오디오 소스는 헤드셋 외부에 있을 수 있고 헤드셋과 분리되어 있을 수 있으며, 오디오 신호는 헤드셋의 로컬 영역에서 주변 사운드들을 나타낸다.

일부 실시예들에서, 오디오 신호의 주파수들은 2kHz 이하이다.

일부 실시예들에서, 오디오 컨트롤러는 로컬 영역 내의 헤드셋의 위치에 대해 검출된 사운드의 도달 방향(direction of arrival)(DoA)을 추정하고; DoA 추정에 기초하여 2kHz 위의 주파수들에 대한 오디오 시스템과 연관된 HRTF를 업데이트한다.

방법이 제공되며, 상기 방법은: 헤드셋의 프레임 상의 검출 영역 내에 위치된 마이크로폰 어셈블리를 통해 로컬 영역의 오디오 소스로부터 방출되는 오디오 신호를 검출하는 단계로서, 상기 검출 영역은 헤드셋을 착용한 사용자의 귀의 외부에 있고 사용자의 외이도로부터 임계 거리 내에 있으며, 상기 검출 영역에서 검출된 오디오 신호는 상기 외이도에서 음압파의 유사성 임계 범위 내에 있는, 상기 오디오 신호를 검출하는 단계; 및 오디오 컨트롤러를 통해, 검출된 오디오 신호에 부분적으로 기초하여 머리 관련 전달 함수(HRTF)들의 세트를 결정하는 단계를 포함한다.

일부 실시예들에서, 헤드셋은 오디오 시스템을 포함하고, 여기서 오디오 소스는 오디오 시스템의 일부인 스피커이다.

오디오 소스는 연골 전도 시스템의 변환기일 수 있다.

일부 실시예들에서, 오디오 신호는 사용자의 로컬 영역에서 주변 사운드들을 나타낸다.

일부 실시예들에서, 상기 방법은 바람직하게: 로컬 영역 내의 헤드셋의 위치에 대해 검출된 사운드의 도달 방향(DoA)을 추정하는 단계; 및 DoA 추정에 기초하여 2kHz 위의 주파수들에 대한 오디오 시스템과 연관된 HRTF를 업데이트하는 단계를 더 포함한다.

일부 실시예들에서, 바람직하게는, 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금 동작들을 수행하게 하는 지시들을 저장하는 비일시적 컴퓨터 판독가능한 매체가 제공되며, 상기 동작들은: 헤드셋의 프레임 상의 검출 영역 내에 위치된 마이크로폰 어셈블리를 통해 로컬 영역의 오디오 소스로부터 방출되는 오디오 신호를 검출하는 동작으로서, 상기 검출 영역은 헤드셋을 착용한 사용자의 귀의 외부에 있고 사용자의 외이도로부터 임계 거리 내에 있으며, 상기 검출 영역에서 검출된 오디오 신호는 상기 외이도에서 음압파의 유사성 임계 범위 내에 있는, 상기 오디오 신호를 검출하는 동작; 및 오디오 컨트롤러를 통해, 검출된 오디오 신호에 부분적으로 기초하여 머리 관련 전달 함수(HRTF)들의 세트를 결정하는 동작을 포함한다.

일부 실시예들에서, 마이크로폰 어셈블리는 복수의 마이크로폰들을 포함한다.

일부 실시예들에서, 오디오 컨트롤러는 바람직하게는: 로컬 영역 내의 헤드셋의 위치에 대해 검출된 사운드의 도달 방향(DoA)을 추정하고; DoA 추정에 기초하여 2kHz 위의 주파수들에 대한 오디오 시스템과 연관된 HRTF를 업데이트하도록 구성된다.

본 명세서에서 하나 이상의 실시예들로의 통합에 적합한 것으로 설명된 특징들은 본 개시의 교시에 걸쳐 일반화되고 따라서 본 발명의 임의의 실시예들로의 통합에 적합한 것으로 인식될 것이다.

도 1은 하나 이상의 실시예들에 따라 오디오 시스템을 포함하는 헤드셋을 도시하는 예이다.
도 2는 하나 이상의 실시예들에 따라 음향 센서들을 포함하는 헤드셋의 일부를 도시하는 예이다.
도 3은 하나 이상의 실시예들에 따른 오디오 시스템의 블록도이다.
도 4는 하나 이상의 실시예들에 따라 방향 및 주파수의 함수로서 외이도 입구에서의 음압 대 검출 영역에서의 음압의 유사도 비율을 도시하는 그래프이다.
도 5는 하나 이상의 실시예들에 따라 헤드셋을 사용하는 사용자에 대한 머리 관련 전달 함수(HRTF)들의 세트를 맞춤화하기 위한 프로세스를 도시하는 흐름도이다.
도 6은 하나 이상의 실시예들에 따라 오디오 시스템을 포함하는 헤드셋에 대한 시스템 환경이다.
도면들은 단지 예시의 목적들로 다양한 실시예들을 도시한다. 당업자는 다음의 논의로부터 본 명세서에서 예시된 구조들 및 방법들의 대안적인 실시예들이 본 명세서에서 기술된 원리들로부터 벗어나지 않고 채용될 수 있음을 쉽게 인식할 것이다.

개요

사람의 귓바퀴는 사운드 방향에 따라 들어오는 사운드의 주파수 응답을 형성하는 개별화된 음향 필터와 같은 역할을 한다. 사람의 경우, 이러한 기능은 3D 사운드 로컬화(3D sound localization)에 매우 중요한다. 따라서, 모든 로컬화 신호들(localization cues)이 정확하게 캡처될 수 있는 외이도 입구에서 음압을 수집하는 것이 중요한다. 그러나, 예를 들어 산업 디자인 문제로 인해, 외이도의 입구에 마이크로폰를 두는 것이 바람직하지 않은 경우가 많다. 외이도 입구로부터 멀리 떨어진 위치에서 검출된 음압에 기초하여 외이도에 대한 입구에서의 음압을 추론하는 오디오 시스템의 다양한 실시예들이 여기에서 논의된다. 오디오 시스템은 헤드셋 착용자의 머리 관련 전달 함수(HRTF)들을 결정하기 위해 검출된 음압을 사용한다. 오디오 시스템은 결정된 HRTF들을 사용하여 사용자에게 오디오 콘텐트를 제공한다.

오디오 시스템은 사용자에 대한 하나 이상의 머리 관련 전달 함수(HRTF)들을 생성하기 위해 사운드(즉, 음압)를 검출한다. 일부 실시예들에서, 오디오 시스템은 복수의 음향 센서들 및 컨트롤러를 포함하는 마이크로폰 어셈블리를 포함한다. 각각의 음향 센서는 마이크로폰 어셈블리 주위의 로컬 영역 내에서 사운드들을 검출하도록 구성된다. 복수의 음향 센서들 중 적어도 일부는 사용자가 착용하도록 구성된 헤드셋에 결합되고, 사용자의 각각의 귀에 대한 적어도 하나의 음향 센서는 해당하는 귀의 외이도 입구로부터 임계 거리 내에 있는 검출 영역 내의 헤드셋의 프레임 상에 위치된다. 로컬 영역 내의 하나 이상의 오디오 소스들은 헤드셋의 음향 센서들에 의해 검출된 오디오 신호들을 방출한다. 각각의 검출 영역에 대해, 검출 영역의 음향 센서들에 의해 검출된 오디오 신호의 제1 주파수 대역(예를 들어, 2kHz 이하)은 제1 주파수 대역에 대한 검출 영역에서 외이도 입구에서 음압을 추론하는 데 사용된다. 제1 주파수 대역은 일반적으로 상대적으로 낮은/중간 오디오 주파수들(예를 들어, 2kHz 이하)에 대응한다. 검출 영역에서 검출된 제1 주파수 대역의 오디오 신호들은 사용자의 외이도 입구에서 제1 주파수 대역의 음압파에 대한 유사성 임계 범위 내에(예를 들어, 실질적으로 동일) 있다. 이러한 관계는 예를 들어 낮은/중간 주파수 음압파들이 더 높은 주파수의 음압파들보다 방향 의존성이 적기 때문에 발생한다. 제1 주파수 대역 밖의 오디오 신호들(예를 들어, 2kHz보다 높은)에 대해, 방향 의존성이 증가하고, 음향 센서에서 검출된 오디오 신호와 외이도 입구에서 대응하는 압력파 사이에서 유사도가 줄어든다(즉, 오류 증가). 컨트롤러는 예를 들어 교정, 고주파수 HRTF들에 대한 템플릿 등을 사용하여 제1 주파수 대역 밖의 주파수들에 대한 증가된 오류를 처리할 수 있다. 컨트롤러는 검출된 오디오 신호를 사용하여 하나 이상의 HRTF들을 생성할 수 있다. 그 다음 컨트롤러는 생성된 HRTF들을 사용하여 오디오 콘텐트를 사용자에게 제공하도록 스피커 어셈블리에 지시할 수 있다.

본 개시의 실시예들은 인공 현실 시스템을 포함하거나 이와 함께 구현될 수 있다. 인공 현실은 사용자에게 제공 전에 일부 방식으로 조정된 현실의 형태이고, 이는 예를 들어 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실 또는 이들의 일부 조합 및/또는 유도물을 포함할 수 있다. 인공 현실 콘텐트는 완전하게 생성된 콘텐트 또는 캡처된 (예를 들어, 실세계(real-world)) 콘텐트와 결합되는 생성된 콘텐트를 포함할 수 있다. 인공 현실 콘텐트는 비디오, 오디오, 햅틱 피드백, 또는 그들의 일부 조합을 포함할 수 있으며, 그들 중 임의의 것은 단일 채널로 또는 다중 채널들(예컨대, 뷰어에게 3차원 효과를 생성하는 스테레오 비디오와 같음)로 제공될 수 있다. 부가적으로, 일부 실시예들에서, 인공 현실은 또한 예를 들어 인공 현실에서 콘텐트를 생성하고/하거나 인공 현실에서 달리 사용되는(예를 들어, 활동들을 수행하는), 애플리케이션들, 제품들, 액세서리들, 서비스들 또는 이들의 일부 조합과 관련될 수 있다. 인공 현실 콘텐트를 제공하는 인공 현실 시스템은, 호스트 컴퓨터 시스템에 연결된 헤드셋, 독립형 헤드셋, 모바일 디바이스 또는 컴퓨팅 시스템, 또는 인공 현실 콘텐트를 하나 이상의 뷰어들에게 제공할 수 있는 임의의 다른 하드웨어 플랫폼을 포함하는 다양한 플랫폼들에서 구현될 수 있다.

헤드셋 디바이스 구성

도 1은 하나 이상의 실시예들에 따라 오디오 시스템을 포함하는 헤드셋(100)을 도시하는 예이다. 헤드셋(100)은 사용자에게 미디어를 제공한다. 일 실시예에서, 헤드셋(100)은 근안 디스플레이(near-eye display)(NED)일 수 있다. 헤드셋(100)에 의해 제공되는 미디어의 예들은 하나 이상의 이미지들, 비디오, 오디오, 또는 이들의 일부 조합을 포함한다. 헤드셋(100)은 무엇보다도, 프레임(105), 하나 이상의 렌즈들(110), 센서 디바이스(115), 및 오디오 시스템(미도시)을 포함할 수 있다. 도 1은 헤드셋(100) 상의 예시적인 위치들에서 헤드셋(100)의 구성요소들을 도시하지만, 구성요소들은 헤드셋(100), 헤드셋(100)과 페어링된 주변 디바이스, 또는 이들의 일부 조합의 다른 곳에도 위치할 수 있다.

헤드셋(100)은 사용자의 시력을 교정 또는 향상시키고, 사용자의 눈을 보호하거나, 또는 사용자에게 이미지들을 제공할 수 있다. 헤드셋(100)은 사용자의 시력에서의 결함들을 교정하는 안경일 수 있다. 헤드셋(100)은 태양으로부터 사용자의 눈을 보호하는 선글라스일 수 있다. 헤드셋(100)은 충격으로부터 사용자의 눈을 보호하는 보안경일 수 있다. 헤드셋(100)은 야간에 사용자의 시야(vision)를 향상시키기 위한 야간 시야 디바이스(night vision device) 또는 적외선 고글일 수 있다. 헤드셋(100)은 사용자를 위한 VR, AR 또는 MR 콘텐트를 생성하는 근안 디스플레이일 수 있다. 대안적으로, 헤드셋(100)은 렌즈(110)를 포함하지 않을 수 있으며 사용자에게 오디오(예를 들어, 음악, 라디오, 팟캐스트)를 제공하는 오디오 시스템을 갖는 프레임(105)일 수 있다.

프레임(105)은 하나 이상의 렌즈들(110)을 고정하는 전방부(front part) 및 사용자에게 부착되는 단부 피스들(end pieces)을 포함한다. 프레임(105)의 전방부는 사용자의 코의 맨 위 부분에 걸친다. 단부 피스들(예를 들어, 안경 다리(temple))은 헤드셋(100)을 사용자의 적합한 자리에서 유지하는 프레임(105)의 부분들(portions)이다(예를 들어, 각각의 단부 피스는 사용자의 대응하는 귀 위로 연장된다). 엔드 피스의 길이는 다양한 사용자들에 맞게 조정 가능할 수 있다. 상기 단부 피스는 또한 사용자의 귀 뒤에서 감기는 부분(예를 들어, 안경 다리 끝(temple tip), 이어 피스(ear piece))을 포함할 수 있다.

하나 이상의 렌즈들(110)은 헤드셋(100)을 착용한 사용자에게 광을 제공하거나 투과시킨다. 렌즈(110)는 사용자의 시력 결함들을 교정하는 데 도움이 되는 처방된 렌즈(prescription lens)(예를 들어, 단 초점, 이중 초점 및 삼중 초점, 또는 진행성 다초점(progressive))일 수 있다. 처방된 렌즈는 헤드셋(100)을 착용한 사용자에게 주변 광을 전달한다. 전달된 주변 광은 사용자 시력의 결함들을 교정하기 위해 처방된 렌즈에 의해 변경될 수 있다. 하나 이상의 렌즈들(110)은 태양으로부터 사용자의 눈을 보호하기 위한 편광 렌즈(polarized lens) 또는 착색 렌즈(tinted lens)일 수 있다. 하나 이상의 렌즈들(110)은 도파관 디스플레이의 일부로서 하나 이상의 도파관일 수 있으며, 여기서 이미지 광은 도파관의 단부 또는 가장자리를 통해 사용자의 눈에 결합된다. 하나 이상의 렌즈들(110)은 이미지 광을 제공하기 위한 전자 디스플레이를 포함할 수 있으며, 또한 전자 디스플레이로부터의 이미지 광을 확대하기 위한 광학 블록을 포함할 수 있다. 하나 이상의 렌즈들(110)은 헤드셋(100)의 프레임(105)의 전방부에 의해 고정된다.

일부 실시예들에서, 헤드셋(100)은 헤드셋(100) 주위의 로컬 영역에 대한 깊이 정보를 나타내는 데이터를 캡처하는 깊이 카메라 어셈블리(DCA)를 포함할 수 있다. 일 실시예에서, DCA는 구조화된 광 프로젝터, 이미징 디바이스, 및 컨트롤러를 포함할 수 있다. 캡처된 데이터는 구조화된 광 프로젝터에 의해 로컬 영역에 투사된 구조화된 광의 이미징 디바이스에 의해 캡처된 이미지일 수 있다. 일 실시예에서, DCA는 스테레오로 로컬 영역의 부분들을 캡처하도록 지향되는 2개 이상의 카메라들 및 컨트롤러를 포함할 수 있다. 캡처된 데이터는 스테레오로 로컬 영역의 2개 이상의 카메라들에 의해 캡처된 이미지들일 수 있다. 컨트롤러는 캡처된 데이터를 사용하여 로컬 영역의 깊이 정보를 계산한다. 깊이 정보에 기초하여 컨트롤러는 로컬 영역 내에서 헤드셋(100)의 절대 위치 정보를 결정한다. DCA는 헤드셋(100)과 통합되거나 헤드셋(100) 외부의 로컬 영역 내에 위치할 수 있다. 후자의 실시예에서, DCA의 컨트롤러는 깊이 정보를 오디오 시스템으로 전송할 수 있다.

센서 디바이스(115)는 헤드셋(100)의 움직임에 응답하여 하나 이상의 측정 신호들을 생성한다. 센서 디바이스(115)는 헤드셋(100)의 프레임(105)의 일부에 위치될 수 있다. 센서 디바이스(115)는 포지션 센서, 관성 측정 유닛(IMU), 또는 이 둘 모두를 포함할 수 있다. 헤드셋(100)의 일부 실시예들은 센서 디바이스(115)를 포함하거나 포함하지 않을 수 있거나, 하나보다 많은 센서 디바이스들(115)을 포함할 수 있다. 센서 디바이스(115)가 IMU를 포함하는 실시예에서, IMU는 센서 디바이스(115)로부터의 측정 신호들에 기초하여 IMU 데이터를 생성한다. 센서 디바이스(115)의 예들은 다음을 포함한다: 하나 이상의 가속도계, 하나 이상의 자이로스코프, 하나 이상의 자력계, 모션을 검출하는 다른 적합한 유형의 센서, IMU의 오류 정정에 사용되는 유형의 센서, 또는 이들의 일부 조합. 센서 디바이스(115)는 IMU 외부, IMU 내부, 또는 이들의 일부 조합에 위치될 수 있다.

하나 이상의 측정 신호들에 기초하여, 센서 디바이스(115)는 헤드셋(100)의 초기 포지션에 대한 헤드셋(100)의 현재 포지션을 추정한다. 추정된 포지션은 헤드셋(100)의 위치 및/또는 헤드셋(100)의 지향방향 또는 헤드셋(100)을 착용한 사용자의 머리, 또는 이들의 조합을 포함할 수 있다. 지향방향은 기준 지점에 대한 각각의 귀의 포지션에 대응할 수 있다. 일부 실시예들에서, 센서 디바이스(115)는 헤드셋(100)의 현재 위치를 추정하기 위해 DCA로부터의 깊이 정보 및/또는 절대 포지션 정보를 사용한다. 센서 디바이스(115)는 병진 운동(전진/후퇴, 상/하, 좌/우)을 측정하기 위한 다중 가속도계들 및 회전 운동(예를 들어, 피치(pitch), 요(yaw), 및 롤(roll))을 측정하기 위한 다중 자이로스코프들을 포함한다. 일부 실시예들에서, IMU는 측정 신호들을 빠르게 샘플링하고, 샘플링된 데이터로부터 헤드셋(100)의 추정된 포지션을 계산한다. 예를 들어, IMU는 속도 벡터를 추정하기 위해 시간에 걸쳐 가속도계들로부터 수신된 측정 신호들을 통합하고, 헤드셋(100) 상의 기준 지점의 추정된 포지션을 결정하기 위해 시간에 걸쳐 속도 벡터를 통합한다. 대안적으로, IMU는 IMU 데이터를 결정하는 콘솔에 샘플링된 측정 신호들을 제공한다. 기준 지점은 헤드셋(100)의 포지션을 나타내는 데 사용될 수 있는 지점이다. 기준 지점은 일반적으로 공간의 한 지점으로 정의될 수 있지만, 실제로 기준 지점은 헤드셋(100) 내의 지점으로서 정의된다.

오디오 시스템은 사용자에 대한 하나 이상의 HRTF들을 생성하기 위해 사운드를 검출한다. HRTF는 사운드가 공간의 한 지점으로부터 사용자에 의해 수신되는 방식을 특성화한다. 하나 이상의 HRTF들은 헤드셋(100)을 착용한 사용자와 연관될 수 있다. 헤드셋(100)의 오디오 시스템은 마이크로폰 어셈블리, 스피커 어셈블리, 및 컨트롤러(135)를 포함한다. 오디오 시스템에 관한 추가 세부사항은 도 3과 관련하여 논의된다.

마이크로폰 어셈블리는 마이크로폰 어셈블리 주위의 로컬 영역 내에서 사운드들을 검출한다. 마이크로폰 어셈블리는 복수의 음향 센서들(120)을 포함한다. 음향 센서들(120)은 음파에 의한 기압 변화를 검출하는 센서이다. 각각의 음향 센서(120)는 사운드를 검출하고 검출된 사운드를 전자 포맷(예를 들어, 아날로그 또는 디지털)으로 변환하도록 구성된다. 음향 센서들(120)은 사운드들을 검출하는 데 적합한 음향파 센서들, 마이크로폰들, 사운드 변환기들, 또는 유사한 센서들일 수 있다. 마이크로폰 어셈블리는 프레임(105) 상의 각각의 검출 영역(125) 내에 각각 위치되는 적어도 2개의 음향 센서들(120)을 포함한다. 각각의 검출 영역(125)은 사용자의 외이도의 대응하는 입구로부터 임계 거리 내에 있다. 도시된 바와 같이, 검출 영역들(125)은 프레임(105) 상에 있지만, 다른 실시예들에서, 검출 영역들(125)은 프레임(105) 상에 있지 않은 영역을 포함한다. 2개의 음향 센서들(120)만이 도시되어 있지만, 다른 실시예들에서 마이크로폰 어레이는 추가의 음향 센서들을 포함한다. 추가의 음향 센서들은 오디오 신호들에 대한 더 나은 도달 방향(DoA) 추정을 제공하기 위해 사용될 수 있다. 또한, 마이크로폰 어셈블리의 각각의 추가적인 음향 센서의 포지션은 다를 수 있다. 추가의 음향 센서들은 하나 또는 두 개의 검출 영역들(125) 내에, 프레임(105) 상의 다른 곳에, 또는 이들의 일부 조합에 위치될 수 있다. 예를 들어, 추가의 음향 센서들은 안경 다리(temples)의 길이를 따라, 브리지(bridge)를 가로질러, 렌즈(110)의 위 또는 아래, 또는 이들의 일부 조합에 위치될 수 있다. 마이크로폰 어레이의 음향 센서들은 마이크로폰 어셈블리가 헤드셋(100)을 착용한 사용자 주위의 넓은 범위의 방향들에서 사운드를 검출할 수 있도록 배향될 수 있다.

마이크로폰 어셈블리는 마이크로폰 어셈블리 주위의 로컬 영역 내에서 사운드들을 검출한다. 로컬 영역은 헤드셋(100)을 둘러싼 환경이다. 예를 들어, 로컬 영역은 헤드셋(100)을 착용한 사용자가 내부에 있는 실내(room)일 수 있고, 또는 헤드셋(100)을 착용한 사용자가 외부에 있을 수 있고 로컬 영역은 마이크로폰 어셈블리가 사운드를 검출할 수 있는 외부 영역이 된다. 검출된 사운드들은 제어되지 않은 사운드들 또는 제어된 사운드들일 수 있다. 제어되지 않은 사운드들은 오디오 시스템에 의해 제어되지 않고 로컬 영역에서 발생하는 사운드들이다. 제어되지 않는 사운드들의 예들은 자연적으로 발생하는 주변 소음이 될 수 있다. 이 구성에서, 오디오 시스템은 오디오 시스템에 의해 검출된 제어되지 않은 사운드들을 사용하여 헤드셋(100)을 교정할 수 있다. 제어된 사운드들은 오디오 시스템에 의해 제어되는 사운드들이다. 제어된 사운드들의 예들은 스피커, 스피커 어셈블리, 교정 시스템, 또는 이들의 일부 조합과 같은 외부 시스템에 의해 출력되는 하나 이상의 신호들이 될 수 있다. 헤드셋(100)이 제어되지 않은 사운드들을 사용하여 교정될 수 있지만, 일부 실시예들에서, 외부 시스템이 교정 프로세스 동안 헤드셋(100)을 교정하는 데 사용될 수 있다. 각각의 검출된 (제어되지 않은 및 제어된) 사운드는 주파수, 진폭, 지속 시간, 또는 이들의 일부 조합과 연관될 수 있다.

검출된 오디오 신호는 일반적으로 제1 주파수 대역과 하나 이상의 고주파수 대역으로 나뉘어질 수 있다. 제1 주파수 대역은 일반적으로 상대적으로 낮고 가능한 중간 범위의 음향 주파수에 대응한다. 예를 들어, 제1 주파수 대역은 0-2kHz일 수 있고, 하나 이상의 고주파수 대역들은 2kHz 이상의 주파수들을 커버할 수 있다. 각각의 검출 영역(125)에 대해, 검출 영역(125)에서 음향 센서들(120)에 의해 검출된 오디오 신호의 제1 주파수 대역은 제1 주파수 대역에 대한 외이도의 대응하는 입구에서의 음압을 추론하는 데 사용된다. 검출 영역에서 검출된 제1 주파수 대역의 오디오 신호들은 사용자의 외이도 입구에서 제1 주파수 대역의 음압파에 대한 유사성 임계 범위 내에 있다. 유사성 임계 범위(threshold degree of similarity)는 제1 주파수 대역에 걸쳐 실질적으로 동일한 압력 파형들(예를 들어, 1dB 차이 미만, 및/또는 지각이 고려되는 경우 JND(just-noticeable difference) 임계값 이내)이 되도록 할 수 있다. 이러한 관계는 예를 들어 낮은/중간 주파수 음압파들이 더 높은 주파수의 음압파들보다 방향 의존성이 적기 때문에 발생한다.

컨트롤러(135)는 마이크로폰 어레이에 의해 검출된 사운드들을 나타내는 마이크로폰 어레이로부터의 정보를 처리한다. 각각의 검출된 사운드와 연관된 정보는 검출된 사운드의 주파수, 진폭, 및/또는 지속 시간을 포함할 수 있다. 각각의 검출된 사운드에 대해, 컨트롤러(135)는 DoA 추정을 수행한다. DoA 추정은 추정된 방향이며, 이로부터 검출된 사운드가 마이크로폰 어셈블리의 음향 센서(120) 및/또는 음향 센서(125)에 도달된다. 마이크로폰 어셈블리의 적어도 두 개의 음향 센서들에 의해 사운드가 검출되면, 컨트롤러(135)는 음향 센서들의 알려진 위치 관계 및 각각의 음향 센서로부터의 DoA 추정을 사용하여 예를 들어, 삼각측량을 통해 검출된 사운드의 소스 위치를 추정할 수 있다. 소스 위치 추정의 정확도는 사운드를 검출한 음향 센서들의 수가 증가할수록 및/또는 사운드를 검출한 음향 센서들 사이의 거리가 증가할수록 증가할 수 있다.

일부 실시예들에서, 컨트롤러(135)는 오디오 데이터 세트를 정보로 채운다. 상기 정보는 검출된 사운드 및 각각의 검출된 사운드와 연관된 파라미터들을 포함할 수 있다. 예시적인 파라미터들은 주파수, 진폭, 지속 기간, DoA 추정, 소스 위치, 또는 이들의 일부 조합을 포함할 수 있다. 각각의 오디오 데이터 세트는 헤드셋에 대한 상이한 소스 위치에 대응할 수 있고, 해당 소스 위치를 갖는 하나 이상의 사운드들을 포함할 수 있다. 이 오디오 데이터 세트는 해당 소스 위치에 대한 하나 이상의 HRTF들과 연관될 수 있다. 하나 이상의 HRTF들은 데이터 세트에 저장될 수 있다. 대안적인 실시예들에서, 각각의 오디오 데이터 세트는 헤드셋(100)에 대한 여러 소스 위치들에 대응할 수 있고, 각각의 소스 위치에 대한 하나 이상의 사운드들을 포함할 수 있다. 예를 들어, 서로 상대적으로 가까이 위치된 소스 위치들이 함께 그룹화될 수 있다. 컨트롤러(135)는 마이크로폰 어셈블리에 의해 사운드들이 검출됨에 따라 오디오 데이터 세트를 정보로 채울 수 있다. 컨트롤러(135)는 또한, DoA 추정이 수행되거나 각각의 검출된 사운드에 대한 소스 위치가 결정됨에 따라, 각각의 검출된 사운드에 대해 오디오 데이터 세트를 채울 수 있다.

일부 실시예들에서, 컨트롤러(135)는 검출된 사운드들을 선택하고, 이에 대해 DoA 추정을 수행한다. 컨트롤러(135)는 오디오 데이터 세트에 저장된 각각의 검출된 사운드와 연관된 파라미터들에 기초하여 검출된 사운드들을 선택할 수 있다. 컨트롤러(135)는 각각의 검출된 사운드와 연관된 저장된 파라미터들을 평가할 수 있고, 하나 이상의 저장된 파라미터들이 대응하는 파라미터 조건을 충족하는지를 결정할 수 있다. 예를 들어, 파라미터가 임계값 이상 또는 이하이거나 타겟 범위 내에 있는 경우, 파라미터 조건이 충족될 수 있다. 파라미터 조건이 충족되면, 컨트롤러(135)는 검출된 사운드에 대해 DoA 추정을 수행한다. 예를 들어, 컨트롤러(135)는 주파수 범위 내의 주파수, 임계 진폭 위의 진폭, 임계 지속 기간 미만의 지속 기간, 다른 유사한 변형, 또는 이들의 일부 조합을 갖는 검출된 사운드들에 대해 DoA 추정을 수행할 수 있다. 파라미터 조건은 이력 데이터(historical data)에 기초하여, 오디오 데이터 세트의 정보 분석(예를 들어, 파라미터의 수집된 정보 평가 및 평균 설정)에 기초하여, 또는 이들의 일부 조합에 기초하여 오디오 시스템의 사용자에 의해 설정될 수 있다. 컨트롤러(135)는 검출된 사운드의 DoA 추정 및/또는 소스 위치를 저장하기 위해 오디오 세트에 요소(element)를 생성할 수 있다. 일부 실시예들에서, 컨트롤러(135)는 데이터가 이미 존재하는 경우 오디오 세트의 요소들을 업데이트할 수 있다.

일부 실시예들에서, 컨트롤러(135)는 헤드셋(100) 외부의 시스템으로부터 헤드셋(100)의 포지션 정보를 수신할 수 있다. 포지션 정보는 헤드셋(100)의 위치, 헤드셋(100) 또는 헤드셋(100)을 착용한 사용자의 머리의 지향방향을 포함한다. 포지션 정보는 기준 지점과 관련하여 정의될 수 있다. 포지션 정보는 로컬 영역에서 사운드 소스들의 상대 위치를 결정하는 것을 포함하여 사용자에 대한 HRTF들을 생성 및/또는 맞춤화하는 데 사용될 수 있다. 외부 시스템들의 예들로는, 이미징 어셈블리, 콘솔(예를 들어, 도 6에 도시됨), 동시 위치화 및 매핑(SLAM: simultaneous localization and mapping) 시스템, 깊이 카메라 어셈블리, 구조화된 조명 시스템, 또는 기타 적절한 시스템들이 있다. 일부 실시예들에서, 헤드셋(100)은 컨트롤러(135)에 의해 전체적으로 또는 부분적으로 실행될 수 있는 SLAM 계산들에 사용될 수 있는 센서들을 포함할 수 있다. 컨트롤러(135)는 시스템으로부터 포지션 정보를 지속적으로 또는 랜덤하게 또는 지정된 간격들로 수신할 수 있다. 다른 실시예들에서, 컨트롤러(135)는 헤드셋(100)에 결합된 시스템들을 사용하여 헤드셋(100)의 포지션 정보를 수신한다. 예를 들어, 헤드셋(100)에 결합된 깊이 카메라 어셈블리는 포지션 정보를 컨트롤러(135)에 제공하기 위해 사용될 수 있다.

검출된 사운드들의 파라미터들에 기초하여, 컨트롤러(135)는 오디오 시스템과 연관된 하나 이상의 HRTF들을 생성한다. HRTF는 귀가 공간의 한 지점으로부터의 사운드를 수신하는 방식을 특성화한다. 사람과 관련된 특정 소스 위치에 대한 HRTF는 사운드가 사람의 귀로 이동함에 따라 사운드에 영향을 미치는 사람의 해부학적 구조(예를 들어, 귀 모양, 어깨 등)으로 인해 사람의 각각의 귀에 대해 고유하다(그리고 사람마다 고유하다). 예를 들어, 도 1에서, 컨트롤러(135)는 각각의 귀에 대해 적어도 하나의 HRTF를 생성한다. HRTF들은 제1 주파수 대역에서 오디오 신호의 일부들을 사용하여 생성된 HRTF들을 포함하며, 이러한 HRTF들은 제1 주파수 대역에서의 주파수들에 대응한다. 더 높은 주파수 HRTF들은, 사용자의 외이도에 배치된 음향 센서들을 사용하여, 도 1에 도시된 바와 같이 음향 센서들(120)과는 다른 위치들에서 프레임에 배치된 음향 센서들을 사용하여, 템플릿 고주파수 HRTF들을 사용하여, 또는 이들의 일부 조합을 사용하여, 방향 정보를 제공하는 복수의 음향 센서들(음향 센서들(120)를 포함할 수 있음)을 사용하여 생성될 수 있다. 이러한 방식으로, 컨트롤러(135)는 사용자에 대해 HRTF들의 맞춤형 세트를 생성 및/또는 업데이트한다. 컨트롤러(135)는 오디오 콘텐트를 사용자에게 제공하기 위해 HRTF들의 맞춤형 세트를 사용한다. 예를 들어, 맞춤형 HRTF들은 공간의 특정 지점으로부터 나오는 것처럼 보이는 사운드들을 포함하는 오디오 콘텐트를 생성하는 데 사용될 수 있다. 일부 실시예들에서, 컨트롤러(135)는 각각의 검출된 사운드의 DoA 추정에 기초하여 하나 이상의 기존의 HRTF들을 업데이트할 수 있다. 헤드셋(100)의 위치가 로컬 영역 내에서 변경됨에 따라, 컨트롤러(135)는 그에 따라 하나 이상의 새로운 HRTF들을 생성하거나 하나 이상의 기존의 HRTF들을 업데이트할 수 있다.

도 2는 하나 이상의 실시예들에 따라 음향 센서들을 포함하는 헤드셋의 일부를 도시하는 예이다. 헤드셋(200)은 헤드셋(100)의 일 실시예일 수 있다. 헤드셋(200)은 음향 센서들(120)의 일 실시예일 수 있는 음향 센서(210)를 포함한다. 일부 실시예들에 따라, 음향 센서들(210)은 검출 영역(230)에서 헤드셋(200)의 프레임(220)의 일부에 각각 위치하는 마이크로폰들이고, 검출 영역(230)은 검출 영역(125)의 일 실시예이다. 도 2에는 단지 하나의 귀(240)만이 도시되어 있지만, 일부 실시예들에 따르면, 사용자의 다른 귀(240)에 대응하는 헤드셋(200)의 일부도 도 2에 도시된 동일한 구성을 포함한다. 헤드셋(200)은 도 2에 도시된 것과 상이한 음향 센서들의 구성을 가질 수 있다. 예를 들어, 일부 실시예들에서, 검출 영역(230)에 더 많은 수의 음향 센서들(210)이 위치한다. 도 2에 도시된 바와 같이, 헤드셋(200)의 프레임(220)의 일부는 사용자에게 헤드셋(200)을 고정하기 위해 각 귀(240)의 귓바퀴 뒤에 위치된다.

음향 센서들(210)은 사용자의 외이도 입구(250) 외부의 검출 영역(230)에 위치한다. 검출 영역에서 음향 센서(210)에 의해 검출된 오디오 신호의 제1 주파수 대역(예를 들어, 2kHz 이하)은 외이도 입구(250)에서 음압파들을 추론하는 데 사용된다. 검출 영역(230)에서 검출된 제1 주파수 대역의 오디오 신호들은 외이도 입구(250)에서 제1 주파수 대역의 음압파들에 대한 유사성 임계 범위 내에(예를 들어, 실질적으로 동일) 있다. 이러한 관계는 예를 들어 낮은/중간 주파수 음압파들이 더 높은 주파수의 음압파들보다 방향 의존성이 적기 때문에 발생한다. 제1 주파수 대역 밖의 오디오 신호들(예를 들어, 2kHz보다 높은)에 대해, 방향 의존성이 증가하고, 음향 센서에서 검출된 오디오 신호와 외이도 입구에서 대응하는 압력파 사이에서 유사도가 줄어든다(즉, 오류 증가). 단순함을 위해, 검출 영역(230)은 프레임(220) 상에 예시되어 있지만, 검출 영역(230)은 임계 거리 내에 있는(예를 들어, 외이도 입구(250)에 더 가까운) 프레임(220)이 아닌 영역들로 확장될 수 있다. 일부 실시예들에서, 검출 영역(230)은 귀(240)의 나선(helix)의 전방 부분으로부터 임계 거리 내에 위치된다.

위에서 언급한 바와 같이, 임계 거리(예를 들어, 3인치 이하)는 검출 영역 내에서 측정된 저주파수 오디오 신호들이 외이도 입구(250)에서 저주파수 음압파의 임계 유사도 내에 있는 거리일 수 있다. 이러한 유사성 임계 범위는 사용자의 외이도에 마이크로폰를 배치하지 않고서 외이도 입구(250)에서 저주파수 압력파들의 추론을 가능하게 한다. 유사성 임계 범위는 제1 주파수 대역에 걸쳐 실질적으로 동일한 압력 파형들(예를 들어, 1dB 차이 미만, 및/또는 JND 임계값 이내)이 되도록 할 수 있다.

제1 주파수 대역의 오디오 신호의 일부는 외이도 입구(250)에서 음압을 정확하고 원격으로 추론하는데 사용될 수 있다. 사용자의 외이도 입구(250)에서 추론된 음압파는 제1 주파수 대역에서 주파수들에 대해 사용자의 각각의 귀에 대한 고유한 HRTF들을 생성 및/또는 맞춤화하는 데 사용된다.

마이크로폰 어셈블리의 음향 센서들(210)의 구성은 달라질 수 있다. 헤드셋(200)이 사용자의 각각의 귀(240)에 대해 하나의 음향 센서(210)를 갖는 것으로 도 2에 도시되어 있지만, 음향 센서들(210)의 수는 증가될 수 있다. 음향 센서들(210)의 수를 증가시키는 것은 수집된 오디오 정보의 양 및/또는 오디오 정보의 감도 및 정확도를 증가시킬 수 있다. 예를 들어, 검출 영역(250)에서 음향 센서(210)의 수를 증가시키는 것은 외이도의 입구(250)에서 제1 주파수 대역 내의 음압파들의 추론에 기초하여 사용자에 대한 HRTF들을 생성 및/또는 맞춤화하는 것을 수반하는 교정을 개선할 수 있다. 일부 실시예들에 따르면, 검출 영역(250) 외부의 프레임(220) 상에 위치된 추가의 음향 센서들(210)은 사용자에 대한 고주파수 HRTF들을 생성 및/또는 맞춤화하기 위해 사용된다. 추가 실시예에서, 추가의 음향 센서들(210)은 더 높은 주파수 HRTF들을 생성 및/또는 맞춤화하기 위한 DoA 추정들을 수행하는 데 사용되는 음향 센서 어레이의 일부이다.

다른 실시예들에서, 음향 센서(210)에 의해 검출된 오디오 신호의 부분들은 또한 제1 주파수 대역보다 높은 주파수들에 대한 정보를 수집하는 데 사용될 수 있다. 예를 들어, 제1 주파수 대역보다 높은 주파수들은 2kHz보다 높을 수 있다. 위에서 언급한 바와 같이, 제1 주파수 대역보다 높은 주파수들의 경우, 방향 의존성이 증가하고, 음향 센서(210)에서 검출된 오디오 신호와 외이도 입구(250)에서 대응하는 압력파 사이에서 유사도가 줄어든다(즉, 오류 증가). 일부 실시예들에서, 오류의 증가는 추가의 음향 센서들로부터의 데이터를 사용함으로써 상쇄될 수 있다. 추가의 음향 센서들은 프레임(220)의 어느 곳에나 배치될 수 있고, 또한 일부 실시예들에서 검출 영역(230) 내에 있을 수 있다. 더 많은 수의 음향 센서들이 DOA 분석의 정확도를 높이는 것을 가능하게 하며, 이는 더 높은 주파수들과 연관된 방향 종속성(directional dependency)을 상쇄하는 데 도움이 될 수 있다.

오디오 시스템 개요

도 3은 하나 이상의 실시예들에 따른 오디오 시스템(300)의 블록도이다. 도 1 및 도 3의 오디오 시스템은 오디오 시스템(300)의 실시예들일 수 있다. 오디오 시스템(300)은 사용자에 대한 하나 이상의 HRTF들을 생성하기 위해 사운드를 검출한다. 그 다음, 오디오 시스템(300)은 사용자에 대한 오디오 콘텐트를 생성하기 위해 하나 이상의 HRTF들을 사용할 수 있다. 도 3의 실시예에서, 오디오 시스템(300)은 마이크로폰 어셈블리(310), 컨트롤러(320), 및 스피커 어셈블리(330)를 포함한다. 오디오 시스템(300)의 일부 실시예들은 여기에 설명된 것과 상이한 구성요소들을 갖는다. 마찬가지로, 일부 경우들에서, 기능들은 여기에 설명된 것과는 상이한 방식으로 구성요소 사이에서 분산될 수 있다. 예를 들어, 컨트롤러(320)의 일부 또는 전부는 헤드셋으로부터 원격에 있는 서버 또는 콘솔에 위치될 수 있다.

마이크로폰 어셈블리(310)는 마이크로폰 어셈블리 주위의 로컬 영역 내에서 사운드들을 검출한다. 마이크로폰 어셈블리(310)는 음파의 기압 변화들을 각각 검출하고 검출된 사운드들을 전자 포맷(아날로그 또는 디지털)으로 변환하는 복수의 음향 센서들을 포함할 수 있다. 복수의 음향 센서들은 사용자의 각각의 귀와 연관된 각각의 검출 영역에서 적어도 하나의 음향 센서를 포함한다. 복수의 음향 센서들은 음향 센서들(120)의 실시예들을 포함할 수 있다. 복수의 음향 센서들은 헤드셋, 예를 들어 헤드셋(100) 상에, 사용자에, 또는 이들의 일부 조합에 위치될 수 있다. 상술한 바와 같이, 검출된 사운드들은 제어되지 않은 사운드들 또는 제어된 사운드들일 수 있다. 각각의 검출된 사운드는 주파수, 진폭, 지속 시간, 또는 이들의 일부 조합과 같은 오디오 정보와 연관될 수 있다.

스피커 어셈블리(330)는 컨트롤러(320)로부터의 지시들에 따라 오디오 콘텐트를 플레이한다. 스피커 어셈블리(330)는 도 1에 도시된 스피커들(130)의 실시예들을 포함할 수 있다. 스피커는 예를 들어 가동 코일 변환기(moving coil transducer), 압전 변환기, 전기 신호를 사용하여 음압파를 생성하는 일부 다른 디바이스, 또는 이들의 일부 조합일 수 있다. 일부 실시예들에서, 스피커 어셈블리(330)는 또한 각각의 귀를 덮는 스피커들(예를 들어, 헤드폰, 이어버드 등)을 포함한다. 다른 실시예들에서, 스피커 어셈블리(330)는 사용자의 귀를 막는 어떠한 스피커도 포함하지 않는다. 일부 실시예들에서, 스피커 어셈블리(330)는 예를 들어, 공기 전도 이외의 전도 방법들, 예를 들어 골전도, 연골 전도 또는 이주 전도(tragus conduction)를 사용하여 오디오 콘텐트를 사용자에게 전달하는 스피커들을 포함한다. 공기 전도 이외의 전도 방법들을 사용하는 오디오 소스들에 관한 추가 세부사항은 미국 특허 출원들인 15/680,836, 15/702,680, 및 15/967,924에서 찾아 볼 수 있으며, 이들 모두는 그 전체가 본원에 참조로 포함된다.

컨트롤러(320)는 오디오 시스템(300)의 구성요소들을 제어한다. 컨트롤러(320)는 사용자에게 맞춤화된 HRTF들의 세트를 결정하기 위해 마이크로폰 어셈블리(310)로부터의 정보를 처리한다. 컨트롤러(320)는 HRTF들의 세트를 사용하여 오디오 콘텐트를 제공하도록 스피커 어셈블리(330)에 지시할 수 있다. 컨트롤러(320)는 컨트롤러(135)의 일 실시예일 수 있다. 도 3의 실시예에서, 컨트롤러(320)는 HRTF 맞춤화 모듈(340), 교정 모듈(345), 데이터 저장소(350), 오디오 콘텐트 엔진(360)을 포함한다. 그러나, 다른 실시예들에서, 컨트롤러(320)는 상이한 및/또는 추가의 구성요소들을 포함할 수 있다. 마찬가지로, 일부 경우들에서, 기능들은 여기에 설명된 것과는 상이한 방식으로 구성요소 사이에서 분산될 수 있다. 예를 들어, 컨트롤러(320)의 기능의 일부 또는 전부는 (예를 들어, 도 6에 도시된 바와 같이) 콘솔에 의해 수행될 수 있다.

데이터 저장소(350)는 컨트롤러(320)에 의해 생성 및/또는 사용되는 데이터를 저장한다. 데이터는 일부 실시예들에 따라, 마이크로폰 어셈블리(310)에 의해 검출된 오디오 신호들, 스피커 어셈블리(330)에 의해 플레이될 오디오 콘텐트, HRTF 맞춤화 모듈(340)에 의해 생성 및/또는 맞춤화된 HRTF들, 오디오 시스템(300)과 관련된 기타 데이터, 또는 이들의 일부 조합을 포함할 수 있다. 데이터 저장소(350)는 데이터 저장 디바이스를 포함할 수 있다. 일부 실시예들에서, 데이터 저장 디바이스는 헤드셋의 프레임에 결합될 수 있다. 다른 실시예들에서, 데이터 저장 디바이스는 헤드셋 외부에 있다. 일부 실시예들에서, 데이터 저장소(350)는 네트워크 통신을 통해 컨트롤러(320)에 의해 액세스되는 원격 데이터베이스의 일부이다.

일부 실시예들에 따라, HRTF 맞춤화 모듈(340)은 제1 주파수 대역보다 높은 주파수들(예를 들어, 2kHz보다 높은)에서 검출된 사운드들에 대한 DoA 추정을 수행한다. DoA 추정은 검출된 사운드가 마이크로폰 어셈블리(310)의 음향 센서에 도달하게 되는 추정 방향이다. 마이크로폰 어셈블리의 적어도 두 개의 음향 센서들에 의해 사운드가 검출되면, 컨트롤러(320)는 음향 센서들의 위치 관계 및 각각의 음향 센서로부터의 DoA 추정을 사용하여 예를 들어, 삼각측량을 통해 검출된 사운드의 소스 위치를 추정할 수 있다. 각각의 검출된 사운드의 DoA 추정은 검출된 사운드의 추정된 소스 위치와 로컬 영역 내의 마이크로폰 어셈블리(310)의 포지션 사이의 벡터로서 표현될 수 있다. 추정된 소스 위치는 마이크로폰 어셈블리(310)의 포지션에 대한 로컬 영역에서의 소스 위치의 상대적인 포지션일 수 있다. DoA 추정의 추가 세부사항은 예를 들어, 그 전체가 참고로 명세서에 포함된 미국 특허 출원 번호 16/015,879에서 찾아 볼 수 있다.

마이크로폰 어셈블리(310)의 포지션은 마이크로폰 어셈블리(310)를 갖는 헤드셋 상의 하나 이상의 센서들에 의해 결정될 수 있다. 일부 실시예들에서, 컨트롤러(320)는 마이크로폰 어셈블리(310)의 절대 포지션이 로컬 영역에서 알려져 있는 경우 소스 위치의 절대 포지션을 결정할 수 있다. 마이크로폰 어셈블리(310)의 포지션은 외부 시스템(예를 들어, 이미징 어셈블리, AR 또는 VR 콘솔, SLAM 시스템, 깊이 카메라 어셈블리, 구조화된 광 시스템 등)으로부터 수신될 수 있다. 외부 시스템은 로컬 영역의 가상 모델을 생성할 수 있으며, 여기서 마이크로폰 어셈블리(310)의 포지션과 로컬 영역이 매핑된다. 수신된 포지션 정보는 매핑된 로컬 영역에서 마이크로폰 어셈블리의 위치 및/또는 지향방향을 포함할 수 있다. 컨트롤러(135)는 검출된 사운드들의 결정된 소스 위치들로 로컬 영역의 매핑을 업데이트할 수 있다. 컨트롤러(135)는 외부 시스템으로부터 포지션 정보를 지속적으로 또는 랜덤하게 또는 지정된 간격들로 수신할 수 있다. 일부 실시예들에서, 컨트롤러(320)는 검출된 사운드들을 선택하고, 이에 대해 DoA 추정을 수행한다.

HRTF 맞춤화 모듈(340)은 하나 이상의 HRTF들을 생성 및/또는 맞춤화한다. HRTF는 사람의 귀가 공간의 한 지점으로부터의 사운드를 수신하는 방식을 특성화한다. 사람과 관련된 특정 소스 위치에 대한 HRTF는 사운드가 사람의 귀로 이동함에 따라 사운드에 영향을 미치는 사람의 해부학적 구조(예를 들어, 귀 모양, 어깨 등)으로 인해 사람의 각각의 귀에 대해 고유하다(그리고 사람마다 고유하다). HRTF 맞춤화 모듈(340)은 검출 영역의 음향 센서에 의해 검출된 오디오 신호의 부분들을 사용하여 제1 주파수 대역의 주파수들과 연관된 HRTF들을 생성 및/또는 업데이트할 수 있다. HRTF 맞춤화 모듈(340)은 마이크로폰 어셈블리에 의해 캡처된 오디오 신호들, 제1 주파수 대역보다 높은 주파수들에 대한 HRTF들과 연관된 템플릿, 또는 이들의 일부 조합을 사용하여 제1 주파수 대역보다 높은 주파수들과 연관된 HRTF들을 생성 및/또는 업데이트할 수 있다. 일부 실시예들에서, HRTF 맞춤화 모듈(340)은 도 2에 도시된 바와 같이 음향 센서(210)의 포지션과 다른 포지션들에 위치한 마이크로폰 어셈블리(310)의 마이크로폰들에 의해 캡처된 오디오 신호를 사용하여 제1 주파수 대역보다 높은 주파수들과 연관된 HRTF들을 생성 및/또는 업데이트한다. 일부 실시예들에서, HRTF 맞춤화 모듈(340)은 사용자에 대한 개인화된 HRTF들을 생성 및/또는 맞춤화하기 위해 기계 학습 기술들을 사용한다. 예를 들어, 기계 학습 모델은 마이크로폰 어셈블리(310)에 의해 검출된 오디오 신호들에 기초하여 사운드 소스의 방향을 결정하도록 트레이닝될 수 있다. 다른 실시예들에서, 기계 학습 모델은 마이크로폰 어셈블리(310)에 의해 검출된 오디오 신호들에 기초하여 제1 주파수 대역보다 높은 주파수들에서 사운드들을 생성하는 사운드 소스의 방향을 결정하도록 트레이닝된다. 일부 실시예들에서, 기계 학습 모델은 마이크로폰 어셈블리(310)에 의해 캡처된 오디오 신호들에 대해 트레이닝되고 사용자의 외이도에 배치된 마이크로폰으로 오디오 신호들을 측정함으로써 생성된 HRTF들을 트레이닝한다.

기계 학습 모델은 임의의 수의 기계 학습 알고리즘들을 포함할 수 있다. 사용될 수 있는 일부 다른 기계 학습 모델들은 선형 및/또는 로지스틱 회귀, 분류 및 회귀 트리, k-평균 클러스터링, 벡터 양자화 등이다. 일부 실시예들에서, 기계 학습 모델은 강화 학습으로 트레이닝된(따라서, 강화 학습 모델 생성) 결정론적 방법들을 포함한다.

HRTF 맞춤화 모듈(340)은 한 사람에 대해 복수의 HRTF들을 생성할 수 있으며, 여기서 각각의 HRTF는 상이한 소스 위치, 마이크로폰 어셈블리(310)를 착용하는 사람의 상이한 포지션, 또는 이들의 일부 조합과 연관될 수 있다. 예를 들어, HRTF 맞춤화 모듈(340)은 단일 소스 위치에 대한 로컬 영역에서 사용자 머리의 특정 위치 및 배향방향에서 사용자에 대해 2개의 HRTF들을 생성할 수 있다. 사용자가 자신의 머리를 다른 방향으로 돌리면, HRTF 맞춤화 모듈(340)은 특정 위치 및 새로운 지향방향에서 사용자에 대해 2개의 새로운 HRTF들을 생성할 수 있거나, 또는 HRTF 맞춤화 모듈(340)은 2개의 기존 HRTF들을 업데이트할 수 있다. 따라서, HRTF 맞춤화 모듈(340)은 상이한 소스 위치들, 로컬 영역에서 마이크로폰 어셈블리(310)의 상이한 포지션들, 또는 이들의 일부 조합에 대한 HRTF들을 생성한다.

교정 모듈(345)은 맞춤형 HRTF들의 생성(및/또는 업데이트)을 위해 오디오 시스템(300)을 교정한다. 교정 단계들은 마이크로폰 어셈블리(330)에 대해 상이한 지향방향들에서 발생하는 미리 결정된 타이밍으로 제어된 사운드들을 생성하도록 스피커 어셈블리(330) 및/또는 외부 스피커에 지시하는 것을 포함할 수 있다. 교정 모듈(345)은 스피커 어셈블리(330) 및/또는 외부 스피커들에 의해 방출되는 오디오 신호들, 로컬 영역에서 오디오 소스들에 의해 방출되는 제어되지 않은 오디오 신호들, 또는 이들의 일부 조합을 검출하도록 마이크로폰 어셈블리(310)에 지시할 수 있다. 오디오 신호들은 특정 주파수들이 될 수 있고 마이크로폰 어셈블리(320)에 대한 상이한 상대 포지션들에서 오디오 소스들에 의해 방출될 수 있다. 일부 실시예들에서, 하나 이상의 템플릿 HRTF들은 교정 프로세스 동안 마이크로폰 어셈블리(310)에 의해 검출된 오디오 신호들에 기초하여 맞춤화된다.

일부 실시예들에서, 교정 시스템(345)은 일관성의 임계 정도를 초과하는 스피커 어셈블리(330)에 의해 방출된 오디오 신호와 마이크로폰 어셈블리(310)에 의해 검출된 측정된 오디오 신호 사이의 일관성 정도에 응답하여 오디오 시스템(300)을 교정한다. 제1 주파수 대역 내의 주파수들을 갖는 방출된 오디오 신호에 대해, 교정 시스템(345)은 일관성의 임계 정도를 초과하는 방출된 오디오 신호와 대응하는 측정된 오디오 신호 사이의 일관성 정도에 응답하여 제1 주파수 대역에 대해 오디오 시스템(300)을 교정한다. 더 높은 주파수들을 갖는 방출된 오디오 신호들의 경우, 교정 시스템(345)은 일관성의 임계 정도를 초과하는 방출된 오디오 신호와 측정된 오디오 신호 사이의 일관성 정도에 응답하여 오디오 시스템(300)을 교정한다. 이 경우, 교정 시스템(345)은 스피커 어셈블리(330)와 마이크로폰 어셈블리(310) 사이의 전달 함수들만을 교정한다.

오디오 콘텐트 엔진(360)은 맞춤형 HRTF들을 사용하여 오디오 특성화 구성(audio characterization configuration)을 생성한다. 오디오 특성화 구성은 오디오 시스템(300)이 공간의 특정 지점에서 오는 것처럼 보이는 바이노럴 사운드를 합성하기 위해 사용하는 기능이다. 오디오 콘텐트 엔진(360)은 예를 들어 공간의 임의의 주어진 방향이 HRTF에 매핑되도록 보간 기능을 HRTF(예를 들어, 구형 고조파의 세트)에 맞출 수 있다. 대안적으로, 오디오 콘텐트 엔진(360)은 공간의 상이한 방향을 가장 가까운 HRTF들에 매핑하는 룩업 테이블을 생성할 수 있다. 오디오 특성화 구성은 오디오 콘텐트(예를 들어, 서라운드 사운드)를 제공하기 위해 스피커 어셈블리(330)에 의해 사용될 수 있다. 일부 실시예들에서 오디오 콘텐트 엔진(360)은 오디오 특성화 구성에 따라 오디오 콘텐트를 제공하도록 스피커 어셈블리(330)에 지시한다.

예시적 데이터

도 4는 하나 이상의 실시예들에 따라 방향 및 주파수의 함수로서 외이도 입구에서의 음압 대 검출 영역에서의 음압의 유사도 비율을 도시하는 그래프이다. 그래프는 곡선(410), 곡선(420), 곡선(430) 및 곡선(440)을 포함한다. 곡선(410)은 사용자의 정면에 대응하는 구면 좌표계를 사용하여 0°의 방위각 및 0°의 고도각에 대응하는 포지션에서 오디오 소스의 기록에 대응한다. 곡선(420)는 45°의 방위각 및 0°의 고도각에 대응하는 포지션의 오디오 소스에 대응한다. 곡선(430)은 90°의 방위각 및 45°의 고도각에 대응하는 포지션의 오디오 소스에서 오디오 소스에 대응한다. 곡선(440)는 180°의 방위각 및 0°의 고도각에 대응하는 포지션의 오디오 소스에 대응한다. 가로축은 주파수(Hz)이고 세로축은 데시벨(dB)이다. 따라서, 외이도 개구에서의 음압이 검출 영역의 음압과 실질적으로 동일하다면, 두 값들의 비율은 ~ 1이며 결과적으로 0dB 값이 된다(1의 로그는 0).

도 4에 도시된 바와 같이, 제1 주파수 대역(예를 들어, 0-2kHz)의 주파수들에 대해 음향 센서에 의해 검출된 오디오 신호들은 오디오 소스의 상이한 포지션들에 대해 외이도에서 검출된 오디오 신호와 임계 유사도 내에 있다. 이와 같이, 검출 영역에서 음향 센서에 의해 검출된 제1 주파수 대역의 오디오 신호들의 부분들은 사용자의 외이도 입구에서의 음압파를 추론하는 데 사용될 수 있다. 제1 주파수 대역에서 오디오 신호들의 파장이 크기 때문에, 검출 영역에서 측정된 제1 주파수 대역에서 오디오 신호들의 부분들은 귀의 나선(helix) 및/또는 다른 해부학적 부분들의 작은 피처들에 크게 영향을 받지 않는다. 이와 같이, 검출 영역에서 측정된 제1 주파수 대역에서 오디오 신호들의 부분들은 사용자의 외이도에서 음압파와 임계 유사도 내에 있다.

도 4에 도시된 바와 같이, 곡선들(410, 420, 430, 440)은 약 2kHz 이상의 주파수들에 대해 서로 실질적으로 분기하기(diverge) 시작한다(각각의 곡선은 상이한 방향과 연관되어 있다). 분기하는 곡선들은 주파수에 따라 증가하는 방향 종속성 때문이다.

머리 관련 전달 함수(HRTF) 개인화

도 5는 하나 이상의 실시예들에 따라 헤드셋을 사용하는 사용자에 대한 머리 관련 전달 함수(HRTF)들의 세트를 맞춤화하기 위한 프로세스를 도시하는 흐름도이다. 일 실시예에서, 도 5의 프로세스는 오디오 시스템(300)의 구성요소들에 의해 수행된다. 다른 엔티티들이 다른 실시예들(예를 들어, 콘솔)에서 프로세스의 단계들의 일부 또는 전부를 수행할 수 있다. 마찬가지로, 실시예들은 상이한 및/또는 추가 단계들을 포함하거나 상이한 순서들로 그 단계들을 수행할 수 있다.

오디오 시스템(300)은 오디오 소스로부터 방출되는 오디오 신호를 검출한다(510). 오디오 시스템(300)은 헤드셋의 프레임 상의 검출 영역 내에 위치한 마이크로폰 어셈블리를 사용하여 오디오 신호를 검출한다. 검출 영역은 헤드셋을 착용한 사용자의 귀 외부에 있으며, 사용자의 외이도로부터 임계 거리 내에 있다. 검출된 신호의 일부 또는 전체는 제1 주파수 대역(예를 들어, 0-2kHz) 내에 있다. 검출 영역에서 검출되는 제1 주파수 대역 내의 오디오 신호 부분은 동일한 주파수 대역에 걸쳐 외이도에서 음압파의 유사성 임계 정도 이내이다.

오디오 시스템(300)은 검출된 오디오 신호에 부분적으로 기초하여 HRTF들의 세트를 결정한다(520). HRTF들의 세트는 컨트롤러를 사용하여 결정될 수 있다. HRTF들 중 적어도 일부는 제1 주파수 대역에 대해 외이도 입구에서 추론된 음압을 사용하여 결정된다. 제1 주파수 대역보다 높은 주파수들과 연관된 HRTF들의 경우, 오디오 시스템(300)은 예를 들어 템플릿 HRTF들, 마이크로폰 어레이의 추가의 음향 센서들에 의해 캡처된 오디오 신호들, 음장 분해(sound field decomposition), 기계 학습 등을 사용할 수 있다. 일부 실시예들에서, 오디오 시스템(300)은 제1 주파수 대역보다 높은 주파수들과 연관된 HRTF들을 결정하는 데 DoA 추정을 사용한다.

오디오 시스템(300)은 HRTF들의 세트를 사용하여 오디오 콘텐트를 제공한다(530). 도 3과 관련하여 위에서 설명된 바와 같이, 오디오 시스템(300)은 결정된 HRTF들을 사용하여 오디오 특성화 구성을 생성한다. 오디오 시스템(300)은 오디오 특성화 구성 및 스피커 어셈블리(330)를 사용하여 사용자에게 오디오 콘텐트를 제공한다.

헤드셋을 착용한 사용자의 포지션이 로컬 영역 내에 있는 경우, 오디오 시스템은 그에 따라, 하나 이상의 새로운 HRTF들을 생성하거나 또는 하나 이상의 기존의 음향 전달 함수들을 업데이트할 수 있다. 프로세스(500)는 헤드셋을 착용한 사용자가 로컬 영역을 이동함에 따라 계속해서 반복될 수 있거나, 프로세스(500)는 마이크로폰 어셈블리를 통해 사운드를 검출할 때 시작될 수 있다.

예시적인 시스템 환경

도 6은 하나 이상의 실시예들에 따라 오디오 시스템을 포함하는 헤드셋에 대한 시스템 환경이다. 시스템(600)은 인공 현실 환경에서 동작할 수 있다. 도 6에 도시된 시스템(600)은 헤드셋(605) 및 콘솔(615)에 연결된 입/출력(I/O) 인터페이스(610)를 포함한다. 헤드셋(605)은 헤드셋(100)의 일 실시예일 수 있다. 도 6는 하나의 헤드셋(605) 및 하나의 I/O 인터페이스(610)를 포함하는 예시적인 시스템(600)을 도시하지만, 다른 실시예들에서는, 임의의 수의 이러한 구성요소들이 시스템(600)에 포함될 수 있다. 예를 들어, 다수의 헤드셋들(605)이 있을 수 있으며, 이들 각각은 연관된 I/O 인터페이스(610)를 갖고, 각각의 헤드셋(605) 및 I/O 인터페이스(610)는 콘솔(615)과 통신한다. 대안적인 구성들에서, 상이한 및/또는 추가의 구성요소들이 시스템(600)에 포함될 수 있다. 추가적으로, 도 6에 도시된 하나 이상의 구성요소와 관련하여 기술된 기능은 일부 실시예들에서 도 6와 관련하여 기술된 것과 다른 방식으로 구성요소들 사이에 분산될 수 있다. 예를 들어, 콘솔(615)의 기능의 일부 또는 전부는 헤드셋(605)에 의해 제공된다.

일부 실시예들에서, 헤드셋(605)은 사용자의 시력을 교정 또는 향상시키고, 사용자의 눈을 보호하거나, 또는 사용자에게 이미지들을 제공할 수 있다. 헤드셋(605)은 사용자의 시력에서의 결함들을 교정하는 안경일 수 있다. 헤드셋(605)은 태양으로부터 사용자의 눈을 보호하는 선글라스일 수 있다. 헤드셋(605)은 충격으로부터 사용자의 눈을 보호하는 보안경일 수 있다. 헤드셋(605)은 야간에 사용자의 시야(vision)를 향상시키기 위한 야간 시야 디바이스(night vision device) 또는 적외선 고글일 수 있다. 대안적으로, 헤드셋(605)은 렌즈들을 포함하지 않을 수 있으며 사용자에게 오디오(예를 들어, 음악, 라디오, 팟캐스트)를 제공하는 오디오 시스템(620)을 갖는 프레임뿐일 수 있다.

일부 실시예들에서, 헤드셋(605)은 컴퓨터 생성 요소들(예를 들어, 2 차원(2D) 또는 3 차원(3D) 이미지들, 2D 또는 3D 비디오, 사운드 등)이 있는 물리적인 실제 환경의 증강된 뷰들을 포함하는 콘텐트를 사용자에게 제공하는 헤드-마운트 디스플레이일 수 있다. 일부 실시예들에서, 제공된 콘텐트는 헤드셋(605), 콘솔(615), 또는 이들 둘 모두로부터 오디오 정보를 수신하고 오디오 정보에 기초하여 오디오 데이터를 제공하는 오디오 시스템(620)을 통해 제공되는 오디오를 포함한다. 일부 실시예들에서, 헤드셋(605)은 사용자 주위의 실제 환경에 부분적으로 기초하는 가상 콘텐트를 사용자에게 제공한다. 예를 들어, 가상 콘텐트가 아이웨어 디바이스의 사용자에게 제공될 수 있다. 사용자는 물리적으로 실내(room)에 있을 수 있으며, 실내의 가상 벽과 가상 바닥이 가상 콘텐트의 일부로서 렌더링된다. 도 6의 실시예에서, 헤드셋(605)은 오디오 시스템(620), 전자 디스플레이(625), 광학 블록(630), 포지션 센서(635), 깊이 카메라 어셈블리(DCA)(640), 및 관성 측정(IMU) 유닛(645)을 포함한다. 헤드셋(605)의 일부 실시예들은 도 6와 관련하여 설명된 것들과 상이한 구성 요소들을 갖는다. 추가로, 도 6와 관련하여 기술된 다양한 구성 요소들에 의해 제공되는 기능은 다른 실시예들에서 헤드셋(605)의 구성요소들 사이에서 상이하게 분포될 수 있거나, 또는 헤드셋(605)로부터 멀리 떨어진 별도의 어셈블리들에서 캡처될 수 있다.

오디오 시스템(620)은 사용자에 대한 하나 이상의 HRTF들을 생성하기 위해 사운드를 검출한다. 그 다음, 오디오 시스템(620)은 사용자에 대한 오디오 콘텐트를 생성하기 위해 하나 이상의 HRTF들을 사용할 수 있다. 오디오 시스템(620)은 오디오 시스템(300)의 일 실시예가 될 수 있다. 도 3과 관련하여 위에서 설명된 바와 같이, 오디오 시스템(620)은 다른 구성요소들 중에서도 마이크로폰 어셈블리, 컨트롤러, 및 스피커 어셈블리를 포함할 수 있다. 마이크로폰 어셈블리는 마이크로폰 어셈블리 주위의 로컬 영역 내에서 사운드들을 검출한다. 복수의 음향 센서들은 헤드셋(예를 들어, 헤드셋(100)), 사용자(예를 들어, 사용자의 외이도), 넥밴드, 또는 이들의 일부 조합 상에 위치될 수 있다. 일부 실시예들에 따라, 음향 센서들 중 적어도 2개 각각은 사용자의 각각의 외이도의 입구로부터 임계 거리 내의 검출 영역에 위치된다. 검출된 사운드들은 제어되지 않은 사운드들 또는 제어된 사운드들일 수 있다. 컨트롤러는 마이크로폰 어셈블리에 의해 검출된 2kHz 이상의 고주파수 사운드들에 대한 DoA 추정을 수행할 수 있다. 일부 실시예들에서, 검출된 고주파수 사운드들의 DoA 추정들 및 검출된 사운드들과 연관된 파라미터들에 부분적으로 기초하여, 컨트롤러는 검출된 사운드들의 소스 위치들과 연관된 하나 이상의 HRTF들을 생성 및/또는 업데이트한다. 컨트롤러는 또한 저주파수 오디오 센서들에 의해 검출 영역에서 측정된 검출된 저주파수 오디오 신호들에 적어도 부분적으로 기초하여 하나 이상의 HRTF들을 생성 및/또는 업데이트한다. 컨트롤러는 공간의 여러 상이한 지점들로부터 오는 것처럼 보이는 오디오 콘텐트를 방출하도록 스피커 어셈블리에 대한 지시들(instructions)을 생성할 수 있다. 일부 실시예들에서, 컨트롤러의 일부 또는 전부는 콘솔(615)의 일부라는 점에 유의해야 한다.

전자 디스플레이(625)는 콘솔(615)로부터 수신된 데이터에 따라 2D 또는 3D 이미지들을 사용자에게 디스플레이한다. 다양한 실시예들에서, 전자 디스플레이(625)는 단일 전자 디스플레이 또는 다중 전자 디스플레이들(예를 들어, 사용자의 각각의 눈에 대한 디스플레이)을 포함한다. 전자 디스플레이(625)의 예들은: 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이, 액티브 매트릭스 유기 발광 다이오드 디스플레이(AMOLED), 일부 다른 디스플레이, 또는 이들의 일부 조합을 포함한다.

광학 블록(630)은 전자 디스플레이(625)로부터 수신된 이미지 광을 확대하고, 이미지 광과 관련된 광학 에러들을 수정하고, 수정된 이미지 광을 헤드셋(605)의 사용자에게 제공한다. 전자 디스플레이(625) 및 광학 블록(630)은 렌즈(110)의 일 실시예일 수 있다. 다양한 실시예들에서, 광학 블록(630)은 하나 이상의 광학 요소들을 포함한다. 광학 블록(630)에 포함된 예시적인 광학 소자들은: 조리개(aperture), 프레넬 렌즈(Fresnel lens), 볼록 렌즈, 오목 렌즈, 필터, 반사면, 또는 이미지 광에 영향을 주는 임의의 다른 적절한 광학 요소를 포함한다. 더욱이, 광학 블록(630)은 상이한 광학 소자들의 조합을 포함할 수 있다. 일부 실시예들에서, 광학 블록(630)의 광학 소자들 중 하나 이상은 부분 반사 또는 반사 방지 코팅들과 같은 하나 이상의 코팅을 가질 수 있다.

광학 블록(630)에 의한 이미지 광의 확대 및 포커싱은 전자 디스플레이(625)가 물리적으로 더 작게 하고, 더 가볍게 하고, 더 큰 디스플레이보다 더 적은 전력을 소비하게 한다. 추가적으로, 확대는 전자 디스플레이(625)에 의해 제공된 콘텐트의 시야를 증가시킬 수 있다. 예를 들어, 디스플레이된 콘텐트의 시야는 디스플레이된 콘텐트가 사용자 시야의 거의 모두(예를 들어, 약 110도 대각선)를 사용하여 제공되고, 일부 경우들에서는 사용자 시야의 모두를 사용하여 제공되도록 된다. 추가적으로, 일부 실시예들에서, 확대는 광학 요소들을 추가하거나 제거함으로써 조정될 수 있다.

일부 실시예들에서, 광학 블록(630)은 하나 이상의 광학 에러 유형을 수정하도록 설계될 수 있다. 광학 에러의 예들은 배럴 또는 핀쿠션 왜곡(barrel or pincushion distortion), 세로 색수차 또는 가로 색수차를 포함한다. 광학 에러의 다른 유형들은 구면 수차, 색수차, 또는 렌즈 상면 만곡(lens field curvature), 난시 또는 광학 에러의 기타 유형으로 인한 에러들을 더 포함할 수 있다. 일부 실시예들에서, 디스플레이를 위해 전자 디스플레이(625)에 제공된 콘텐트는 사전 왜곡되고(pre-distorted), 광학 블록(630)은 콘텐트에 기초하여 생성된 전자 디스플레이(625)로부터의 이미지 광을 수신할 때 왜곡을 수정한다.

DCA(640)는 헤드셋(605) 주위의 로컬 영역에 대한 깊이 정보를 나타내는 데이터를 캡처한다. 일 실시예에서, DCA(640)는 구조화된 광 프로젝터, 이미징 디바이스, 및 컨트롤러를 포함할 수 있다. 캡처된 데이터는 구조화된 광 프로젝터에 의해 로컬 영역에 투사된 구조화된 광의 이미징 디바이스에 의해 캡처된 이미지일 수 있다. 일 실시예에서, DCA(640)는 스테레오로 로컬 영역의 부분들을 캡처하도록 지향되는 2개 이상의 카메라들 및 컨트롤러를 포함할 수 있다. 캡처된 데이터는 스테레오로 로컬 영역의 2개 이상의 카메라들에 의해 캡처된 이미지들일 수 있다. 컨트롤러는 캡처된 데이터를 사용하여 로컬 영역의 깊이 정보를 계산한다. 깊이 정보에 기초하여 컨트롤러는 로컬 영역 내에서 헤드셋(605)의 절대 포지션 정보를 결정한다. DCA(640)는 헤드셋(605)과 통합되거나 헤드셋(605) 외부의 로컬 영역 내에 위치할 수 있다. 후자의 실시예에서, DCA(640)의 컨트롤러는 깊이 정보를 오디오 시스템(620)의 컨트롤러로 전송할 수 있다.

IMU(645)는 하나 이상의 포지션 센서들(635)로부터 수신된 측정 신호들에 기초하여 헤드셋(605)의 포지션을 나타내는 데이터를 생성하는 전자 디바이스이다. 하나 이상의 포지션 센서들(635)은 센서 디바이스(115)의 일 실시예일 수 있다. 포지션 센서(635)는 헤드셋(605)의 움직임에 응답하여 하나 이상의 측정 신호들을 생성한다. 포지션 센서(635)의 예들은 하나 이상의 가속도계, 하나 이상의 자이로스코프, 하나 이상의 자력계, 모션을 검출하는 다른 적합한 유형의 센서, IMU(645)의 에러 정정에 사용되는 유형의 센서, 또는 이들의 일부 조합을 포함한다. 포지션 센서들(635)은 IMU(645)의 외부, IMU(645)의 내부, 또는 이들의 일부 조합에 위치할 수 있다.

하나 이상의 포지션 센서들(635)로부터의 하나 이상의 측정 신호들에 기초하여, IMU(645)는 헤드셋(605)의 초기 포지션에 대한 헤드셋(605)의 추정된 현재 포지션을 나타내는 데이터를 생성한다. 예를 들어, 포지션 센서들(635)은 병진 운동(전진/후퇴, 상/하, 좌/우)을 측정하기 위한 다중 가속도계들 및 회전 운동(예를 들어, 피치(pitch), 요(yaw), 및 롤(roll))을 측정하기 위한 다중 자이로스코프들을 포함한다. 일부 실시예들에서, IMU(645)는 측정 신호들을 빠르게 샘플링하고, 샘플링된 데이터로부터 헤드셋(605)의 추정된 현재 포지션을 계산한다. 예를 들어, IMU(645)는 속도 벡터를 추정하기 위해 시간에 걸쳐 가속도계들로부터 수신된 측정 신호들을 통합하고, 헤드셋(605) 상의 기준 지점의 추정된 현재 포지션을 결정하기 위해 시간에 걸쳐 속도 벡터를 통합한다. 대안적으로, IMU(645)는 샘플링된 측정 신호들을 콘솔(615)에 제공하며, 콘솔(510)은 에러를 줄이기 위해 그 데이터를 해석한다. 기준 지점은 헤드셋(605)의 포지션을 기술하는 데 사용될 수 있는 지점이다. 기준 지점은 일반적으로 공간에서의 지점 또는 아이웨어 디바이스(605)의 지향방향 및 포지션과 관련된 포지션으로 정의될 수 있다.

IMU(645)는 콘솔(615)로부터 하나 이상의 파라미터들을 수신한다. 아래에서 더 논의되는 바와 같이, 상기 하나 이상의 파라미터들은 헤드셋(605)의 추적을 유지하기 위해 사용된다. 수신된 파라미터에 기초하여, IMU(645)는 하나 이상의 IMU 파라미터들(예를 들어, 샘플 레이트)을 조정할 수 있다. 일부 실시예들에서, DCA(640)로부터의 데이터는 IMU(645)가 기준 지점의 초기 포지션을 업데이트하게 하여 기준 지점의 다음 포지션에 대응하도록 한다. 기준 지점의 초기 포지션을 기준 지점의 다음의 교정 포지션으로 업데이트하는 것은 IMU(645)에서 추정된 현재 포지션과 관련된 누적 에러를 줄이는 데 도움을 준다. 드리프트 에러(drift error)라고도 하는 누적 에러는 시간이 지남에 따라 기준 지점의 추정된 포지션이 기준 지점의 실제 포지션으로부터 멀어지게 “드리프”되도록 한다. 헤드셋(605)의 일부 실시예들에서, IMU(645)는 전용 하드웨어 구성요소일 수 있다. 다른 실시예들에서, IMU(645)는 하나 이상의 프로세서들에서 구현되는 소프트웨어 구성요소일 수 있다.

I/O 인터페이스(610)는 사용자가 동작 요청들(action requests)을 보내고 콘솔(615)로부터 응답들을 수신하도록 허용하는 디바이스이다. 동작 요청은 특정 동작을 수행하기 위한 요청이다. 예를 들어, 동작 요청은 이미지 또는 비디오 데이터의 캡처를 시작 또는 종료하고, 오디오 시스템(620)이 사운드들을 생성하는 것을 시작 또는 종료하고, 헤드셋(605)의 교정 프로세스를 시작 또는 종료하기 위한 지시이거나, 애플리케이션 내에서 특정 동작을 수행하기 위한 지시일 수 있다. I/O 인터페이스(610)는 하나 이상의 입력 디바이스를 포함할 수 있다. 예시적인 입력 디바이스들은: 키보드, 마우스, 게임 제어기, 또는 동작 요청들을 수신하고 동작 요청들을 콘솔(615)에 전달하기 위한 임의의 다른 적절한 디바이스를 포함한다. I/O 인터페이스(610)에 의해 수신된 동작 요청은 그 동작 요청에 대응하는 동작을 수행하는 콘솔(615)로 전달된다. 일부 실시예들에서, I/O 인터페이스(615)는 전술한 바와 같이, I/O 인터페이스(610)의 초기 포지션에 대한 I/O 인터페이스(610)의 추정된 포지션을 나타내는 교정 데이터를 캡처하는 IMU(645)를 포함한다. 일부 실시예들에서, I/O 인터페이스(610)는 콘솔(615)로부터 수신된 지시들에 따라 사용자에게 햅틱 피드백을 제공할 수 있다. 예를 들어, 동작 요청이 수신될 때 햅틱 피드백이 제공되거나, 콘솔(615)이 동작을 수행할 때 I/O 인터페이스(610)가 햅틱 피드백을 발생시키게 하는 지시들을 콘솔(615)이 I/O 인터페이스(610)에 전달한다.

콘솔(615)은 헤드셋(605) 및 I/O 인터페이스(610) 중 하나 이상으로부터 수신된 정보에 따라 처리하기 위한 콘텐트를 헤드셋(605)에 제공한다. 도 6에 도시된 예에서, 콘솔(615)은 애플리케이션 저장소(650), 추적 모듈(655), 및 엔진(660)을 포함한다. 콘솔(615)의 일부 실시예들은 도 6와 관련하여 기술된 것들과는 다른 모듈들 또는 구성요소들을 갖는다. 유사하게, 아래에서 추가로 설명되는 기능들은 도 6와 관련하여 기술된 것과 다른 방식으로 콘솔(615)의 구성요소들 사이에 분산될 수 있다.

애플리케이션 저장소(650)는 콘솔(615)에 의해 실행하기 위한 하나 이상의 애플리케이션을 저장한다. 애플리케이션은 프로세서에 의해 실행될 때 사용자에 제공하기 위한 콘텐트를 생성하는 지시들의 그룹이다. 애플리케이션에 의해 발생된 콘텐트는 헤드셋(605) 또는 I/O 인터페이스(610)의 움직임을 통해 사용자로부터 수신된 입력들에 응답할 수 있다. 애플리케이션들의 예들은: 게임 애플리케이션들, 회의 애플리케이션들, 비디오 재생 애플리케이션들, 교정 프로세스들, 또는 다른 적절한 애플리케이션들을 포함한다.

추적 모듈(655)은 하나 이상의 교정 파라미터들을 사용하여 시스템 환경(600)을 교정하고, 헤드셋(605) 또는 I/O 인터페이스(610)의 포지션 결정에서 에러를 줄이기 위해 하나 이상의 교정 파라미터를 조정할 수 있다. 추적 모듈(655)에 의해 수행된 교정은 또한 헤드셋(605)의 IMU(645) 및/또는 I/O 인터페이스(610)에 포함된 IMU(645)로부터 수신된 정보를 고려한다. 추가적으로, 헤드셋(605)의 추적이 분실(lose)되면, 추적 모듈(655)은 시스템 환경(600)의 일부 또는 전부를 재교정할 수 있다.

추적 모듈(655)은 하나 이상의 센서 디바이스들(635), IMU(645), 또는 이들의 일부 조합으로부터의 정보를 사용하여 헤드셋(605) 또는 I/O 인터페이스(610)의 움직임들을 추적한다. 예를 들어, 추적 모듈(655)은 헤드셋(605)으로부터의 정보에 기초하여 로컬 영역의 매핑에서 헤드셋(605)의 기준 지점의 포지션을 결정한다. 추적 모듈(655)은 또한, IMU(645)로부터 헤드셋(605)의 포지션을 나타내는 데이터를 사용하거나 I/O 인터페이스(610)에 포함된 IMU(645)로부터 I/O 인터페이스(610)의 포지션을 나타내는 데이터를 사용하여 헤드셋(605)의 기준 지점 또는 I/O 인터페이스(610)의 기준 지점의 포지션들을 각각 결정할 수 있다. 추가적으로, 일부 실시예에서, 추적 모듈(655)은 헤드셋(605)의 미래 위치를 예측하기 위해 IMU(645)로부터의 헤드셋(605)의 포지션을 나타내는 데이터의 부분들을 사용할 수 있다. 추적 모듈(655)은 헤드셋(605) 또는 I/O 인터페이스(610)의 추정된 또는 예측된 미래 포지션을 엔진(660)에 제공한다.

엔진(660)은 또한, 시스템 환경(600) 내에서 애플리케이션들을 실행하고, 추적 모듈(655)로부터 헤드셋(605)의 포지션 정보, 가속도 정보, 속도 정보, 예측된 미래 포지션들, 오디오 정보, 또는 이들의 일부 조합을 수신한다. 수신된 정보에 기초하여, 엔진(660)은 사용자에게 제공하기 위해 헤드셋(605)에 제공할 콘텐트를 결정한다. 예를 들어, 수신된 정보가 사용자가 왼쪽을 봤다는 것을 나타내면, 엔진(660)은 가상 환경에서 또는 추가 콘텐트로 로컬 영역을 증강하는 환경에서 사용자의 움직임을 미러링하는 헤드셋(605)에 대한 콘텐트를 생성한다. 추가적으로, 엔진(660)은 I/O 인터페이스(610)로부터 수신된 동작 요청에 응답하여 콘솔(615) 상에서 실행되는 애플리케이션 내에서 동작을 수행하고, 동작이 수행되었다는 피드백을 사용자에게 제공한다. 제공된 피드백은 헤드셋(605)를 통한 시각적 또는 청각적 피드백이거나 또는 I/O 인터페이스(610)를 통한 햅틱 피드백일 수 있다.

추가 구성 정보

본 발명에 따른 실시예들은 특히 헤드셋, 방법, 및 저장 매체에 관한 첨부된 청구 범위에 개시되며, 여기서 한 청구 범위 카테고리, 예를 들어 헤드셋에서 언급된 임의의 특징은 다른 청구 범위 카테고리, 예를 들어 방법, 저장 매체, 시스템, 및 컴퓨터 프로그램 제품에서도 역시 청구될 수 있다. 첨부된 청구 범위에서 종속하거나 또는 참조하는 것은 형식적인 이유로만 선택된다. 그러나 임의의 이전 청구항들(특히 다중 종속)에 대한 의도적인 참조에 의해 기인한 어떠한 청구 대상도 역시 청구될 수 있으므로, 청구 범위 및 그 특징들의 어떠한 조합도 개시되는 것이며 첨부된 청구 범위에서 선택된 종속과는 상관없이 청구될 수 있다. 청구될 수 있는 청구 대상은 첨부된 청구 범위에 명시된 특징들의 조합들뿐만 아니라 청구 범위 내의 특징들의 어떠한 다른 조합도 포함하며, 청구 범위에서 언급된 각 특징은 임의의 다른 특징 또는 청구 범위 내의 다른 특징들의 조합과 결합될 수 있다. 더욱이, 본 명세서에 기재되거나 묘사된 실시예들 및 특징들의 어떠한 것도 별도의 청구항으로 및/또는 본 명세서에 기재되거나 묘사된 임의의 실시예 또는 특징 또는 첨부된 청구 범위의 임의의 특징들과의 임의의 조합으로 청구될 수 있다.

일부 실시예들에서, 헤드셋은: 프레임; 및 오디오 시스템을 포함할 수 있고, 상기 오디오 시스템은: 검출 영역에서 프레임 상에 위치된 마이크로폰 어셈블리로서, 상기 검출 영역은 상기 헤드셋을 착용한 사용자의 귀 외부에 있고, 귀의 외이도로부터 임계 거리 내에 있으며, 상기 마이크로폰 어셈블리는 로컬 영역의 오디오 소스로부터 방출되는 오디오 신호를 검출하도록 구성되고, 상기 검출 영역에서 검출된 오디오 신호는 사용자의 외이도에서 음압파의 유사성 임계 범위 내에 있는, 상기 마이크로폰 어셈블리, 및 검출된 오디오 신호에 부분적으로 기초하여 머리 관련 전달 함수(HRTF)들의 세트를 결정하도록 구성된 오디오 컨트롤러를 포함한다.

일 실시예에서, 헤드셋은 복수의 마이크로폰들 중 검출 영역 이외의 위치에서 프레임 상에 위치된 적어도 하나의 마이크로폰을 포함할 수 있다.

임계 거리는 최대 3인치일 수 있다.

오디오 소스는 오디오 시스템의 일부인 스피커일 수 있다.

스피커는 헤드셋의 프레임 상에 위치할 수 있다.

오디오 소스는 연골 전도 시스템의 변환기일 수 있다.

오디오 소스는 헤드셋 외부에 있을 수 있고 헤드셋과 분리되어 있을 수 있으며, 오디오 신호는 헤드셋의 로컬 영역에서 주변 사운드들을 나타낼 수 있다.

오디오 신호의 주파수들은 2kHz 이하이다.

오디오 컨트롤러는 다음과 같이 구성될 수 있다:

로컬 영역 내에 헤드셋의 포지션에 대해 검출된 사운드의 도달 방향(DoA)을 추정하고;

DoA 추정에 기초하여, 2kHz보다 높은 주파수들에 대해 오디오 시스템과 연관된 HRTF를 업데이트한다.

일 실시예에서, 방법은:

헤드셋의 프레임 상의 검출 영역 내에 위치된 마이크로폰 어셈블리를 통해 로컬 영역의 오디오 소스로부터 방출되는 오디오 신호를 검출하는 단계로서, 상기 검출 영역은 헤드셋을 착용한 사용자의 귀의 외부에 있고 사용자의 외이도로부터 임계 거리 내에 있으며, 상기 검출 영역에서 검출된 오디오 신호는 상기 외이도에서 음압파의 유사성 임계 범위 내에 있는, 상기 오디오 신호를 검출하는 단계; 및

오디오 컨트롤러를 통해, 검출된 오디오 신호에 부분적으로 기초하여 머리 관련 전달 함수(HRTF)들의 세트를 결정하는 단계를 포함할 수 있다.

헤드셋은 오디오 시스템을 포함할 수 있고, 오디오 소스는 오디오 시스템의 일부인 스피커일 수 있다.

오디오 신호의 주파수들은 2kHz 이하이다.

오디오 소스는 연골 전도 시스템의 변환기일 수 있다.

오디오 신호는 사용자의 로컬 영역에서 주변 사운드들을 나타낼 수 있다.

일 실시예에서, 방법은:

로컬 영역 내에 헤드셋의 포지션에 대해 검출된 사운드의 도달 방향(DoA)을 추정하는 단계; 및

DoA 추정에 기초하여, 2kHz보다 높은 주파수들에 대해 오디오 시스템과 연관된 HRTF를 업데이트하는 단계를 포함할 수 있다.

일 실시예에서, 지시들을 저장할 수 있는 비일시적 컴퓨터 판독 가능한 매체로서, 상기 지시들은 하나 이상의 프로세서들에 의해 실행될 때 상기 하나 이상의 프로세서들로 하여금:

헤드셋의 프레임 상의 검출 영역 내에 위치된 마이크로폰 어셈블리를 통해 로컬 영역의 오디오 소스로부터 방출되는 오디오 신호를 검출하는 동작으로서, 상기 검출 영역은 헤드셋을 착용한 사용자의 귀의 외부에 있고 사용자의 외이도로부터 임계 거리 내에 있으며, 상기 검출 영역에서 검출된 오디오 신호는 상기 외이도에서 음압파의 유사성 임계 범위 내에 있는, 상기 오디오 신호를 검출하는 동작; 및

오디오 컨트롤러를 통해, 검출된 오디오 신호에 부분적으로 기초하여 머리 관련 전달 함수(HRTF)들의 세트를 결정하는 동작을 포함하는 동작들을 실행하게 한다.

오디오 신호의 주파수들은 2kHz 이하이다.

오디오 컨트롤러는 다음과 같이 구성될 수 있다:

일 실시예에서, 하나 이상의 컴퓨터 판독 가능한 비일시적 저장 매체는 전술한 실시예들 중 임의의 실시예에 따른 또는 그 내의 방법을 수행하도록 실행될 때 동작 가능한 소프트웨어를 포함할 수 있다.

일 실시예에서, 시스템은 하나 이상의 프로세서들; 및 상기 프로세서들에 결합되고 상기 프로세서들에 의해 실행 가능한 지시들을 포함하는 적어도 하나의 메모리를 포함하며, 상기 프로세서들은 상기 지시들을 실행할 때 상기 전술한 실시예들 중 임의의 실시예에 따른 또는 그 내의 방법을 수행하도록 동작가능하다.

일 실시예에서, 바람직하게는 컴퓨터 판독 가능한 비일시적 저장 매체를 포함하는 컴퓨터 프로그램 제품은 상기 전술한 실시예들 중 임의의 실시예에 따른 또는 그 내의 방법을 수행하기 위해 데이터 처리 시스템 상에서 실행될 때 동작가능할 수 있다.

본 개시의 실시예들에 대한 상술한 설명은 예시의 목적으로 제공되었다; 이러한 것은 포괄적인 것으로 의도되지 않았으며, 본 개시내용을 개시된 정확한 형태들로 제한하려 의도되지 않았다. 당업자들는 위의 개시내용에 비추어 많은 수정들 및 변형들이 가능하다는 것을 인식할 수 있다.

본 설명의 일부 부분들은 정보에 대한 동작들의 알고리즘들 및 상징적 표현들의 관점에서 본 개시내용의 실시예들을 기술한다. 이러한 알고리즘적 설명들 및 표현들은 데이터 처리 분야의 당업자들에 의해 그들의 작업의 내용을 다른 당업자들에게 효과적으로 전달하기 위해 일반적으로 사용된다. 이들 동작들은 기능적으로, 계산적으로 또는 논리적으로 설명되었지만, 컴퓨터 프로그램들 또는 등가의 전기 회로들, 마이크로코드, 등에 의해 구현되는 것으로 이해된다. 더욱이, 이러한 동작들의 배열들을 일반성 손실 없이 모듈들로 지칭하는 것이 때때로 편리한 것으로 입증되었다. 기술된 동작들 및 관련 모듈들은 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합으로 구현될 수 있다.

본 명세서에서 기술된 단계들, 동작들 또는 프로세스들의 어떠한 것도 하나 이상의 하드웨어 또는 소프트웨어 모듈들로 단독으로 또는 다른 디바이스와 조합하여 수행되거나 구현될 수 있다. 한 실시예에서, 소프트웨어 모듈은 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독 가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현되며, 컴퓨터 프로그램 코드는 컴퓨터 프로세서에 의해 실행되어 설명된 단계들, 동작들 또는 프로세스들 중 임의의 것 또는 모두를 수행할 수 있다.

본 개시내용의 실시예들은 또한 본 명세서의 동작들을 수행하기 위한 장치에 관한 것일 수 있다. 이러한 장치는 필요한 목적들을 위해 특별히 구성될 수 있고/있거나, 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 디바이스를 포함할 수 있다. 이러한 컴퓨터 프로그램은 비일시적, 유형의 컴퓨터 판독 가능한 저장 매체, 또는 전자 명령들을 저장하기에 적합한 임의의 유형의 매체에 저장될 수 있고, 이러한 매체는 컴퓨터 시스템 버스에 결합될 수 있다. 또한, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나 증가된 컴퓨팅 능력을 위해 다중 프로세서 설계들을 채용하는 아키텍처일 수 있다.

본 개시내용의 실시예들은 또한 본 명세서에 기술된 컴퓨팅 프로세스에 의해 생성되는 제품에 관한 것일 수 있다. 이러한 제품은 컴퓨팅 프로세스로부터 초래된 정보를 포함할 수 있으며, 여기서 정보는 비일시적인, 유형의 컴퓨터 판독 가능한 저장 매체에 저장되며, 여기에 설명된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.

본 명세서에서 사용된 언어는 원칙적으로 가독성 및 교육 목적으로 선택되었으며, 본 발명의 주제를 정확하게 기술하거나 제한하기 위해 선택되지 않았을 수 있다. 그러므로, 본 개시내용의 범주는 이러한 상세한 설명에 의해 제한되는 것이 아니라, 여기에 기초한 본 출원에 대해 주장하는 청구범위에 의해 제한되는 것으로 의도된다. 따라서, 실시예들의 개시내용은 다음의 청구범위에 제시된 본 개시내용의 범주를 예시하기 위한 것이지 제한하기 위한 것은 아니다.

Claims

헤드셋으로서:
프레임; 및
오디오 시스템을 포함하며,
상기 오디오 시스템은:
검출 영역에서 프레임 상에 위치된 마이크로폰 어셈블리로서, 상기 검출 영역은 상기 헤드셋을 착용한 사용자의 귀 외부에 있고, 상기 귀의 외이도로부터 임계 거리 내에 있으며, 상기 마이크로폰 어셈블리는 로컬 영역의 오디오 소스로부터 방출되는 오디오 신호를 검출하도록 구성되고, 상기 검출 영역에서 검출된 오디오 신호는 사용자의 외이도에서 음압파(sound pressure wave)의 유사성 임계 범위(threshold degree of similarity) 내에 있는, 상기 마이크로폰 어셈블리, 및
검출된 오디오 신호에 부분적으로 기초하여 머리 관련 전달 함수(HRTF)들의 세트를 결정하도록 구성된 오디오 컨트롤러를 포함하는, 헤드셋.
제1항에 있어서, 상기 마이크로폰 어셈블리는 복수의 마이크로폰들을 포함하고, 바람직하게는 상기 복수의 마이크로폰들 중 적어도 하나의 마이크로폰은 상기 검출 영역 이외의 위치에서 프레임 상에 위치되는, 헤드셋.
제1항 또는 제2항에 있어서, 상기 임계 거리는 최대 3인치인, 헤드셋.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 오디오 소스는 오디오 시스템의 일부인 스피커이며, 바람직하게는 상기 스피커는 헤드셋의 프레임 상에 위치되는, 헤드셋.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 오디오 소스는 연골 전도 시스템의 변환기이며; 및/또는 상기 오디오 소스는 헤드셋 외부에 있고 상기 헤드셋과 분리되어 있으며, 상기 오디오 신호는 상기 헤드셋의 로컬 영역에서 주변 사운드들을 나타내는, 헤드셋.
제1항 내지 제5항 중 어느 한 항에 있어서, 상기 오디오 신호의 주파수들은 2kHz 이하인, 헤드셋.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 오디오 컨트롤러는:
상기 로컬 영역 내에 헤드셋의 포지션에 대해 검출된 사운드의 도달 방향(direction of arrival)(DoA)을 추정하고;
상기 DoA 추정에 기초하여, 2kHz보다 높은 주파수들에 대해 상기 오디오 시스템과 연관된 HRTF를 업데이트하도록 구성되는, 헤드셋.
방법으로서:
헤드셋의 프레임 상의 검출 영역 내에 위치된 마이크로폰 어셈블리를 통해 로컬 영역의 오디오 소스로부터 방출되는 오디오 신호를 검출하는 단계로서, 상기 검출 영역은 헤드셋을 착용한 사용자의 귀의 외부에 있고 사용자의 외이도로부터 임계 거리 내에 있으며, 상기 검출 영역에서 검출된 오디오 신호는 상기 외이도에서 음압파의 유사성 임계 범위 내에 있는, 상기 오디오 신호를 검출하는 단계; 및
오디오 컨트롤러를 통해, 검출된 오디오 신호에 부분적으로 기초하여 머리 관련 전달 함수(HRTF)들의 세트를 결정하는 단계를 포함하는, 방법.
제8항에 있어서, 상기 헤드셋은 오디오 시스템을 포함하고, 상기 오디오 소스는 상기 오디오 시스템의 일부인 스피커인, 방법.
제8항 또는 제9항에 있어서, 상기 오디오 신호의 주파수들은 2kHz 이하이고; 및/또는 상기 오디오 소스는 연골 전도 시스템의 변환기인, 방법.
제8항 내지 제10항 중 어느 한 항에 있어서, 상기 오디오 신호는 사용자의 로컬 영역에서 주변 사운드들을 나타내는, 방법.
제8항 내지 제11항 중 어느 한 항에 있어서,
상기 로컬 영역 내에 헤드셋의 포지션에 대해 검출된 사운드의 도달 방향(DoA)을 추정하는 단계; 및
DoA 추정에 기초하여, 2kHz보다 높은 주파수들에 대해 상기 오디오 시스템과 연관된 HRTF를 업데이트하는 단계를 더 포함하는, 방법.
지시들을 저장하는 비일시적 컴퓨터 판독 가능한 매체로서, 상기 지시들은 하나 이상의 프로세서들에 의해 실행될 때 상기 하나 이상의 프로세서들로 하여금:
헤드셋의 프레임 상의 검출 영역 내에 위치된 마이크로폰 어셈블리를 통해 로컬 영역의 오디오 소스로부터 방출되는 오디오 신호를 검출하는 동작으로서, 상기 검출 영역은 헤드셋을 착용한 사용자의 귀의 외부에 있고 사용자의 외이도로부터 임계 거리 내에 있으며, 상기 검출 영역에서 검출된 오디오 신호는 상기 외이도에서 음압파의 유사성 임계 범위 내에 있는, 상기 오디오 신호를 검출하는 동작; 및
오디오 컨트롤러를 통해, 검출된 오디오 신호에 부분적으로 기초하여 머리 관련 전달 함수(HRTF)들의 세트를 결정하는 동작을 포함하는 동작들을 수행하게 하는, 비일시적 컴퓨터 판독 가능한 매체.
제13항에 있어서, 상기 오디오 신호의 주파수들은 2kHz 이하이고; 및/또는 상기 마이크로폰 어셈블리는 복수의 마이크로폰들을 포함하는, 비일시적 컴퓨터 판독 가능한 매체.
제13항 또는 제14항에 있어서,
상기 오디오 컨트롤러는:
상기 로컬 영역 내에 헤드셋의 포지션에 대해 검출된 사운드의 도달 방향(DoA)을 추정하고;
상기 DoA 추정에 기초하여, 2kHz보다 높은 주파수들에 대해 상기 오디오 시스템과 연관된 HRTF를 업데이트하도록 구성되는, 비일시적 컴퓨터 판독 가능한 매체.