KR20220042183A

KR20220042183A - 개인화된 음향 전달 함수에 기초한 착용자 식별

Info

Publication number: KR20220042183A
Application number: KR1020227006626A
Authority: KR
Inventors: 블라디미르 투르바빈; 야코프 라이언 돈리; 뱀시 크리슈나 이타푸
Original assignee: 페이스북 테크놀로지스, 엘엘씨
Priority date: 2019-07-30
Filing date: 2020-07-24
Publication date: 2022-04-04
Also published as: US11526589B2; CN114208208A; US20210034725A1; JP2022541991A; EP4004882A1; WO2021021643A1

Abstract

웨어러블 디바이스는 오디오 시스템을 포함한다. 일 실시예에서, 오디오 시스템은 복수의 음향 센서들을 포함하는 센서 어레이를 포함한다. 사용자가 웨어러블 디바이스를 착용할 때, 오디오 시스템은 센서 어레이 주위의 로컬 영역 내에서의 검출된 사운드들에 기초하여 사용자에 대한 음향 전달 함수를 결정한다. 음향 전달 함수는 사용자 신체(예를 들어 사용자의 머리)의 크기, 모양, 및/또는 밀도에 기초하기 때문에, 상이한 사용자들에 대해 상이한 음향 전달 함수들이 결정될 것이다. 결정된 음향 전달 함수들은 웨어러블 디바이스의 사용자를 인증하기 위해 알려진 사용자들의 저장된 음향 전달 함수들과 비교된다.

Description

개인화된 음향 전달 함수에 기초한 착용자 식별

본 개시는 일반적으로 개인화된 음향 전달 함수들의 동적 결정과, 사용자 식별 및 보안 목적을 위한 음향 전달 함수의 사용에 관한 것이다.

스마트 안경, 오디오 헤드셋 및 증강 현실 디바이스와 같은 웨어러블 디바이스는 이들의 사용자들에게 개인화된 경험들과 콘텐트를 제공하는 데 사용될 수 있다. 개인화된 콘텐트를 제공하는 것과 같이 사용자를 식별하거나 인증하는 것이 바람직하다. 또한, 임의의 주어진 시간에 누가 디바이스를 착용하고 있는지 식별할 수 있는 것은 권한이 없는 사용자들이 사적인 데이터 또는 민감한 데이터에 액세스하는 것을 방지할 수 있다.

본 발명에 따라, 오디오 시스템이 제공되고, 이 오디오 시스템은: 오디오 시스템의 로컬 영역 내에서 전송되는 사운드를 검출하도록 구성된 복수의 음향 센서들을 포함하는 센서 어레이; 및 컨트롤러로서: 검출된 사운드에 부분적으로 기초하여 적어도 하나의 음향 전달 함수를 결정하고 - 상기 적어도 하나의 음향 전달 함수는 오디오 시스템의 사용자의 머리에 의해 부분적으로 야기되는 사운드의 변환(transformation)을 정의함 -; 상기 적어도 하나의 음향 전달 함수에 기초하여 사용자를 식별하도록 구성된, 상기 컨트롤러를 포함한다.

바람직하게는, 컨트롤러는 결정된 적어도 하나의 음향 전달 함수를 적어도 하나의 저장된 음향 전달 함수와 비교함으로써 적어도 하나의 음향 전달 함수에 기초하여 사용자를 식별하도록 구성된다.

편리하게는, 복수의 음향 센서들은 사운드로부터 제1 오디오 신호를 생성하도록 구성된 제1 음향 센서 및 사운드로부터 제2 오디오 신호를 생성하도록 구성된 제2 음향 센서를 포함하고; 컨트롤러는 제1 오디오 신호와 제2 오디오 신호 사이의 비율을 결정함으로써 음향 전달 함수를 결정하도록 구성된다.

바람직하게는, 컨트롤러는 복수의 음향 센서들 중 2개의 음향 센서들 사이의 비율에 각각 기초하는 음향 전달 함수들의 세트를 결정하고, 결정된 음향 전달 함수들의 세트에 기초하여 사용자를 식별하도록 구성된다.

편리하게는, 복수의 음향 센서들은 사용자의 각 귀에 근접하게 위치된 한 쌍의 음향 센서들을 포함하고, 음향 전달 함수는 머리 관련 전달 함수(HRTF)(head-related transfer function)에 대응한다.

바람직하게는, 센서 어레이는 헤드셋에 위치한다.

편리하게는, 오디오 시스템은 근접 센서를 더 포함하고, 컨트롤러는 또한: 근접 센서로부터 수신된 입력에 기초하여 사용자가 헤드셋을 착용하고 있는지를 결정하고; 사용자가 헤드셋을 착용하고 있다는 결정에 응답하여 음향 전달 함수를 결정하도록 구성된다.

바람직하게는, 컨트롤러는 또한: 오디오 시스템의 포지션에 대해 로컬 영역 내의 위치를 나타내는 검출된 사운드의 소스 위치를 결정하고; 결정된 적어도 하나의 음향 전달 함수를 결정된 소스 위치와 연관시키고; 결정된 소스 위치에 기초하여 권한이 있는 사용자에 대응하는 적어도 하나의 저장된 음향 전달 함수를 식별하고; 그리고 결정된 적어도 하나의 음향 전달 함수와 식별된 적어도 하나의 저장된 음향 전달 함수의 비교에 기초하여 사용자를 식별하도록 구성된다.

편리하게는, 적어도 하나의 저장된 음향 전달 함수는 결정된 소스 위치의 임계 거리 내에 있는 소스 위치와 연관된다.

바람직하게는, 컨트롤러는 또한 스피커로 하여금 사운드를 방출하게 하도록 구성된다.

편리하게는, 사운드는 사용자에 의해 생성된다.

바람직하게는, 컨트롤러는 또한, 상기 비교의 결과에 기초하여 하나 이상의 보안 기능을 수행하도록 구성되며, 여기서 하나 이상의 보안 기능은 개인화된 데이터에 대한 사용자에 의한 액세스에 권한을 부여하거나 또는 하나 이상의 저장된 사용자 선호도에 기초하여 웨어러블 디바이스의 구성을 설정하는 것을 포함한다.

본 발명의 또 다른 양상에 따라, 방법이 제공되며, 상기 방법은: 복수의 음향 센서들을 포함하는 센서 어레이를 사용하여 헤드셋의 로컬 영역 내에서 전송되는 사운드를 검출하는 단계; 검출된 사운드에 부분적으로 기초하여 사용자와 연관된 적어도 하나의 음향 전달 함수를 결정하는 단계로서, 상기 적어도 하나의 음향 전달 함수는 헤드셋의 사용자의 머리에 의해 부분적으로 야기되는 사운드의 변환을 정의하는, 상기 적어도 하나의 음향 전달 함수를 결정하는 단계; 및 결정된 음향 전달 함수에 기초하여 사용자를 식별하는 단계를 포함한다.

바람직하게는, 결정된 음향 전달 함수에 기초하여 사용자를 식별하는 단계는 결정된 적어도 하나의 음향 전달 함수를 적어도 하나의 저장된 음향 전달 함수와 비교하는 단계를 포함한다.

편리하게는, 복수의 음향 센서들은 사운드로부터 제1 오디오 신호를 생성하도록 구성된 제1 음향 센서 및 사운드로부터 제2 오디오 신호를 생성하도록 구성된 제2 음향 센서를 포함하고; 음향 전달 함수를 결정하는 단계는 제1 오디오 신호와 제2 오디오 신호 사이의 비율을 결정하는 단계를 포함한다.

바람직하게는, 상기 방법은: 헤드셋의 근접 센서로부터 수신된 입력에 기초하여 사용자가 헤드셋을 착용하고 있는지를 결정하는 단계; 및 사용자가 헤드셋을 착용하고 있다는 결정에 응답하여 음향 전달 함수를 결정하는 단계를 더 포함한다.

편리하게는, 방법은: 상기 비교의 결과에 기초하여 하나 이상의 보안 기능을 수행하는 단계를 더 포함하며, 상기 하나 이상의 보안 기능은 개인화된 데이터에 대한 사용자에 의한 액세스에 권한을 부여하거나 또는 하나 이상의 저장된 사용자 선호도에 기초하여 헤드셋의 구성을 설정하는 것을 포함한다.

바람직하게는, 방법은: 헤드셋의 포지션에 대해 로컬 영역 내의 위치를 나타내는 검출된 사운드의 소스 위치를 결정하는 단계; 결정된 적어도 하나의 음향 전달 함수를 결정된 소스 위치와 연관시키는 단계; 결정된 소스 위치에 기초하여 권한이 있는 사용자에 대응하는 적어도 하나의 저장된 음향 전달 함수를 식별하는 단계; 및 결정된 음향 전달 함수와 식별된 적어도 하나의 저장된 음향 전달 함수의 비교에 기초하여 사용자를 식별하는 단계를 더 포함한다.

본 발명의 또 다른 양상에 따라, 지시들(instructions)을 저장하는 비일시적 컴퓨터 판독 가능한 매체가 제공되며, 상기 지시들은 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 복수의 음향 센서들을 포함하는 센서 어레이를 사용하여 헤드셋의 로컬 영역 내에서 전송되는 사운드를 검출하는 동작; 검출된 사운드에 부분적으로 기초하여 사용자와 연관된 적어도 하나의 음향 전달 함수를 결정하는 동작으로서, 상기 적어도 하나의 음향 전달 함수는 헤드셋의 사용자의 머리에 의해 부분적으로 야기되는 사운드의 변환을 정의하는, 상기 적어도 하나의 음향 전달 함수를 결정하는 동작; 및 결정된 음향 전달 함수에 기초하여 사용자를 식별하는 동작을 포함하는 동작들을 수행하게 한다.

음향 전달 함수들은 소스 위치로부터의 사운드와 사운드가 검출되는 방식(예를 들어, 센서 어레이에 의하거나 또는 사람에 의하거나) 사이의 관계들을 나타낸다. 예를 들어, 사람의 두 귀에서 인지되는 사운드는 각 귀에 대한 사운드 소스의 방향이나 위치, 사운드가 반사되거나 또는 지나가게(travel through) 할 수 있는 로컬 영역 내의 객체들에 따라 상이할 수 있다. 오디오 시스템을 포함하는 웨어러블 디바이스에서, 음향 전달 함수들은 오디오 콘텐트를 사용자에게 제공하기 위해 사용될 수 있으며, 이는 사용자가 제공된 오디오 콘텐트를 로컬 영역 내의 특정 위치들로부터 비롯된 것으로 인식할 수 있게 한다. 상이한 사용자들은 상이한 방식들로 사운드들에 영향을 미칠 수 있는 상이한 머리 기하학적 구조들을 가지며, 상이한 음향 전달 함수들은 오디오 콘텐트를 제공할 목적으로 상이한 사용자들과 연관될 수 있다.

실시예들은 결정된 음향 전달 함수들에 기초하여 사용자를 식별하기 위한 오디오 시스템에 관한 것이다. 일부 실시예들에서, 오디오 시스템은 오디오 시스템의 로컬 영역 내에서 전송되는 사운드를 검출하도록 구성된 복수의 음향 센서들을 포함하는 센서 어레이를 포함한다. 오디오 시스템은 컨트롤러를 더 포함할 수 있다. 컨트롤러는 검출된 사운드에 부분적으로 기초하여 음향 전달 함수를 결정하도록 구성되며, 여기서 음향 전달 함수는 오디오 시스템의 사용자의 머리에 의해 부분적으로 야기되는 사운드의 변환을 정의하고, 음향 전달 함수에 기초하여 사용자를 식별하도록 구성된다.

일부 실시예들에서, 결정된 음향 전달 함수들에 기초하여 사용자를 식별하는 방법이 개시된다. 방법은 복수의 음향 센서들을 포함하는 센서 어레이를 사용하여 헤드셋의 로컬 영역 내에서 전송되는 사운드를 검출하는 단계를 포함할 수 있다. 방법은 검출된 사운드에 부분적으로 기초하여 사용자와 연관된 적어도 하나의 음향 전달 함수를 결정하는 단계를 더 포함할 수 있고, 적어도 하나의 음향 전달 함수는 헤드셋의 사용자의 머리에 의해 부분적으로 야기되는 사운드 변환을 정의한다. 방법은 결정된 음향 전달 함수에 기초하여 사용자를 식별하는 단계를 더 포함할 수 있다.

일부 실시예들에서, 지시들을 저장하는 비일시적 컴퓨터 판독 가능한 매체가 개시되며, 하나 이상의 프로세서들에 의해 실행될 때 상기 하나 이상의 프로세서들로 하여금 동작들을 수행하게 한다. 상기 동작들은 복수의 음향 센서들을 포함하는 센서 어레이를 사용하여 헤드셋의 로컬 영역 내에서 전송되는 사운드를 검출하는 동작을 포함할 수 있다. 상기 동작들은 검출된 사운드에 부분적으로 기초하여 사용자와 연관된 적어도 하나의 음향 전달 함수를 결정하는 동작을 더 포함할 수 있고, 적어도 하나의 음향 전달 함수는 헤드셋의 사용자의 머리에 의해 부분적으로 야기되는 사운드 변환을 정의한다. 상기 동작들은 결정된 음향 전달 함수에 기초하여 사용자를 식별하는 동작을 더 포함할 수 있다.

도 1a는 하나 이상의 실시예에 따라 아이웨어 디바이스로서 구현된 웨어러블 헤드셋을 도시하는 예이다.
도 1b는 하나 이상의 실시예에 따라 머리 장착형 디스플레이로서 구현된 헤드셋의 사시도이다.
도 2는 하나 이상의 실시예들에 따른 오디오 시스템의 블록도이다.
도 3은 일부 실시예들에 따라 센서 어레이에 의해 검출되고 음향 전달 함수를 결정하는 데 사용될 수 있는 로컬 영역의 사운드들을 도시하는 도면이다.
도 4는 하나 이상의 실시예에 따라 오디오 시스템을 포함하는 웨어러블 디바이스의 음향 전달 함수를 생성 및 업데이트하는 프로세스를 도시하는 흐름도이다.
도 5는 하나 이상의 실시예에 따라 하나 이상의 결정된 음향 전달 함수에 기초하여 오디오 시스템을 포함하는 웨어러블 디바이스의 사용자를 인증하는 프로세스를 도시하는 흐름도이다.
도 6는 하나 이상의 실시예에 따른 오디오 시스템을 포함하는 아이웨어 디바이스의 시스템 환경이다.

도면들은 단지 예시의 목적들로 본 개시내용의 실시예들을 도시한다. 당업자는 다음의 설명으로부터 본 명세서에서 예시된 구조들 및 방법들의 대안적인 실시예들이 본 명세서에서 기술된 본 개시내용의 원리들, 또는 언급된 이점들로부터 벗어나지 않고 채용될 수 있음을 쉽게 인식할 것이다.

음향 전달 함수는 소스 위치로부터 비롯되는 사운드와 사운드가 검출되는 방식(예를 들어, 센서 어레이에 의하거나 또는 사람에 의하거나) 사이의 관계들을 나타낸다. 예를 들어, 사운드 소스 위치로부터 청취자의 귀에 도달하는 사운드는 사운드 소스 위치로부터 청취자의 귀로 직접 전달되는 사운드와 간접적으로 귀에 도달하는 사운드를 포함할 수 있다. 이러한 간접 사운드는 청취자의 머리 및/또는 로컬 영역 내의 다른 객체들에 반사된 사운드를 포함할 수 있으며, 또한 청취자의 머리를 통해 지나가는(travel through) 사운드를 포함할 수 있다. 간접 사운드는 회절이나 반사를 통해 변환되어 특정 주파수들은 증폭되게 하고 다른 주파수들은 감쇠되게 한다. 따라서, 특정 소스 위치로부터의 사운드가 청취자에 의해 인지되는 방식은 청취자의 머리, 귀, 및 얼굴의 크기, 모양, 및/또는 밀도에 따라 달라질 수 있다. 이러한 동일한 원리는 또한 사용자가 착용하는 웨어러블 디바이스의 센서 어레이에도 적용될 수 있다. 센서 어레이는 로컬 영역 내에서 사운드들을 검출하도록 구성된 상이한 위치들에 적어도 2개의 마이크로폰들을 포함할 수 있다. 소스 위치로부터의 사운드들이 센서 어레이의 각 마이크로폰에 의해 수신되는 방식은 소스 위치에 대한 각 마이크로폰의 위치와 사용자의 머리, 귀, 및 얼굴의 모양, 크기, 및/또는 밀도에 따라 달라질 수 있으며, 이는 사운드가 사용자 신체의 상이한 부분들에서 반사되는 방식 및/또는 사용자의 신체를 통해 지나가 센서 어레이의 적어도 하나의 마이크로폰에 간접적으로 도달하는 방식에 영향을 준다. 센서 어레이(또는 센서 어레이를 갖는 디바이스를 착용한 사람)는 센서 어레이 주위의(surrounding)(또는 센서 어레이를 착용한 사람 주위의) 로컬 영역에서의 상이한 소스 위치들 및/또는 검출된 사운드들과 연관된 주파수 범위에 대응하는 여러 연관된 음향 전달 함수들을 가질 수 있다.

각 사용자의 머리의 기하학적 구조는 개별 사용자에게 고유하기 때문에, 센서 어레이를 갖는 웨어러블 디바이스가 제1 사용자에 의해 착용될 때, 웨어러블 디바이스의 센서 어레이는 음향 전달 함수들의 제1 세트와 연관될 수 있으며, 상기 음향 전달 함수들의 제1 세트는 웨어러블 디바이스가 제2 사용자에 의해 착용된 때에 대응하는 음향 전달 함수들의 제2 세트와는 상이하고, 이는 제1 및 제2 사용자의 머리들의 상이한 특성들(예를 들어, 상이한 머리 모양, 크기, 및/또는 밀도) 때문이다. 이러한 방식으로, 센서 어레이에 대해 결정된 음향 전달 함수들은 어느 사용자가 웨어러블 디바이스를 현재 착용하고 있는지를 식별하는 인디케이터로서 활용될 수 있다. 본 명세서에서 사용되는 바와 같이, 사용자의 머리 모양, 크기, 및/또는 밀도는 또한 사용자의 얼굴 상의 피처들(예를 들어, 사용자의 코의 크기 및 모양) 및 사용자의 귀와 관련된 피처들(예를 들어, 귀의 모양 및/또는 또는 외이도)을 망라할 수 있다.

웨어러블 디바이스의 오디오 시스템은 사운드를 검출하여 사용자를 위한 하나 이상의 음향 전달 함수를 생성한다. 일 실시예에서, 오디오 시스템은 복수의 음향 센서들을 포함하는 센서 어레이 및 컨트롤러를 포함한다. 각각의 음향 센서는 센서 어레이 주위의 로컬 영역 내에서 사운드들을 검출하도록 구성된다. 일부 실시예들에서, 복수의 음향 센서들 중 적어도 일부는 사용자에 의해 착용되도록 구성된 근안 디스플레이(NED)에 결합된다. 사용자가 웨어러블 디바이스를 착용함에 따라, 센서 어레이의 음향 센서들은 사용 주위의 로컬 영역 내에서 사운드들을 검출한다. 검출된 사운드들은 제어된 사운드들과 제어되지 않은 사운드들을 포함할 수 있다. 제어되지 않은 사운드들은 오디오 시스템에 의해 제어되지 않고 로컬 영역에서 발생하는 사운드들이다(예를 들어, 자연적으로 발생하는 주변 소음). 제어된 사운드들은 오디오 시스템에 의해 제어되거나(예를 들어, 오디오 시스템의 하나 이상의 스피커들에 의해 방출됨) 및/또는 오디오 시스템에 의해 프롬프트되는(예를 들어, 오디오 시스템이 사용자에게 프롬프트하여 사운드를 생성하게 함) 사운드들이다.

본 개시의 실시예들은 인공 현실 시스템을 포함하거나 이와 함께 구현될 수 있다. 　인공 현실은 사용자에게 제공 전에 일부 방식으로 조정된 현실의 형태이고, 이는 예를 들어 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실 또는 이들의 일부 조합 및/또는 유도물을 포함할 수 있다. 　인공 현실 콘텐트는 완전하게 생성된 콘텐트 또는 캡처된 (예를 들어, 실세계(real-world)) 콘텐트와 결합되는 생성된 콘텐트를 포함할 수 있다. 　인공 현실 콘텐트는 비디오, 오디오, 햅틱 피드백, 또는 그들의 일부 조합을 포함할 수 있으며, 그들 중 임의의 것은 단일 채널로 또는 다중 채널들(예컨대, 뷰어에게 3차원 효과를 생성하는 스테레오 비디오와 같음)로 제공될 수 있다. 　부가적으로, 일부 실시예들에서, 인공 현실은 또한 예를 들어 인공 현실에서 콘텐트를 생성하고/하거나 인공 현실에서 달리 사용되는(예를 들어, 활동들을 수행하는), 애플리케이션들, 제품들, 액세서리들, 서비스들 또는 이들의 일부 조합과 관련될 수 있다. 　인공 현실 콘텐트를 제공하는 인공 현실 시스템은, 호스트 컴퓨터 시스템에 연결된 헤드셋, 독립형 헤드셋, 모바일 디바이스 또는 컴퓨팅 시스템, 또는 인공 현실 콘텐트를 하나 이상의 뷰어들에게 제공할 수 있는 임의의 다른 하드웨어 플랫폼을 포함하는 다양한 플랫폼들에서 구현될 수 있다.

아이웨어 디바이스 구성

도 1a는 하나 이상의 실시예에 따라 아이웨어 디바이스로서 구현된 웨어러블 디바이스(100)(예를 들어, 헤드셋)를 도시하는 예이다. 웨어러블 디바이스(100)는 사용자에게 미디어를 제공하는 아이웨어 디바이스를 갖는 헤드셋이다. 일 실시예에서, 웨어러블 디바이스(100)는 근안 디스플레이(near-eye display)(NED)일 수 있다. 일부 실시예들에서, 아이웨어 디바이스는 근안 디스플레이(NED: near-eye display)다. 일반적으로, 웨어러블 디바이스(100)는 디스플레이 어셈블리 및/또는 오디오 시스템을 사용하여 콘텐트(예를 들어, 미디어 콘텐트)가 제시되도록 사용자의 얼굴에 착용될 수 있다. 그러나, 웨어러블 디바이스(100)는 또한, 미디어 콘텐트가 다른 방식으로 사용자에게 제공되도록 사용될 수도 있다. 웨어러블 디바이스(100)에 의해 제공되는 미디어의 예들은 하나 이상의 이미지, 비디오, 오디오, 또는 이들의 일부 조합을 포함한다. 웨어러블 디바이스(100)는 프레임을 포함하고, 다른 구성요소들 중에서도, 하나 이상의 디스플레이 요소(120), 깊이 카메라 어셈블리(DCA), 오디오 시스템, 및 포지션 센서(190)를 포함하는 디스플레이 어셈블리를 포함할 수 있다. 도 9는 웨어러블 디바이스(100) 상의 예시적인 위치들에서 웨어러블 디바이스(100)의 구성요소들을 도시하지만, 구성요소들은 웨어러블 디바이스(100), 웨어러블 디바이스(100)와 페어링된 주변 디바이스, 또는 이들의 일부 조합의 다른 곳에도 위치할 수 있다. 유사하게, 웨어러블 디바이스(100)에는 도 1a에 도시된 것보다 더 많거나 더 적은 구성요소들이 있을 수 있다.

프레임(110)은 웨어러블 디바이스(100)의 다른 구성요소들을 보유한다. 프레임(110)은 사용자의 머리에 부착하기 위한 엔드 피스들(예를 들어, 안경 다리들) 및 하나 이상의 디스플레이 요소들(120)을 유지하는 전방부를 포함한다. 프레임(110)의 전방부는 사용자의 코의 맨 위 부분에 걸친다. 상기 엔드 피스들의 길이는 다양한 사용자들에 맞게 조정 가능(예를 들어, 조정 가능한 안경 다리의 길이)할 수 있다. 상기 엔드 피스들은 또한 사용자의 귀 뒤에서(예를 들어, 안경 다리 끝, 이어 피스(ear piece)) 감기는 부분을 포함할 수 있다.

하나 이상의 디스플레이 요소들(120)은 웨어러블 디바이스(100)를 착용한 사용자에게 광을 제공한다. 도시된 바와 같이, 헤드셋은 사용자의 각각의 눈을 위한 디스플레이 요소(120)를 포함한다. 일부 실시예들에서, 디스플레이 요소(120)는 웨어러블 디바이스(100)의 아이박스에 제공되는 이미지 광을 생성한다. 아이박스는 웨어러블 디바이스(100)를 착용한 사용자의 눈이 차지하는 공간에서의 위치이다. 예를 들어, 디스플레이 요소(120)는 도파관 디스플레이일 수 있다. 도파관 디스플레이는 광원(예를 들어, 2차원 소스, 하나 이상의 라인 소스들, 하나 이상의 포인트 소스들 등) 및 하나 이상의 도파관들을 포함하다. 광원으로부터의 광은 웨어러블 디바이스(100)의 아이박스에서 동공 복제가 존재하도록 하는 방식으로 광을 출력하는 하나 이상의 도파관들로 인커플링된다. 하나 이상의 도파관들로부터의 광의 인커플링 및/또는 아웃커플링은 하나 이상의 회절 격자들을 사용하여 수행될 수 있다. 일부 실시예들에서, 도파관 디스플레이는 하나 이상의 도파관들에 인커플링될 때 광원으로부터의 광을 스캔하는 스캐닝 요소(예를 들어, 도파관, 거울 등)를 포함한다. 일부 실시예들에서, 디스플레이 요소들(120) 중 하나 또는 둘 모두는 불투명하고 웨어러블 디바이스(100) 주변의 로컬 영역으로부터의 광을 투과하지 않는다는 점에 유의해야 한다. 로컬 영역은 웨어러블 디바이스(100) 주위(surrounding)의 영역이다. 예를 들어, 로컬 영역은 웨어러블 디바이스(100)를 착용한 사용자가 내부에 있는 방일 수 있고, 또는 웨어러블 디바이스(100)를 착용한 사용자가 외부에 있고 로컬 영역이 외부 영역일 수 있다. 이러한 상황에서, 웨어러블 디바이스(100)는 VR 콘텐트를 생성한다. 대안적으로, 일부 실시예들에서, 디스플레이 요소들(120) 중 하나 또는 둘 모두는 적어도 부분적으로 투명하여, 로컬 영역으로부터의 광이 하나 이상의 디스플레이 요소들로부터의 광과 결합되어 AR 및/또는 MR 콘텐트를 생성할 수 있다.

일부 실시예들에서, 디스플레이 요소(120)는 이미지 광을 생성하지 않고, 대신에 로컬 영역으로부터의 광을 아이박스로 전송하는 렌즈이다. 예를 들어, 디스플레이 요소들(120) 중 하나 또는 둘 모두는 사용자 시력의 결함을 교정하는 데 도움이 되는 처방 렌즈(prescription lens)(예를 들어, 단초점, 이중 초점 및 삼중 초점 또는 누진) 또는 교정이 없는 렌즈(비처방)일 수 있다. 일부 실시예들에서, 디스플레이 요소(120)는 태양으로부터 사용자의 눈을 보호하기 위해 편광 및/또는 착색될 수 있다.

일부 실시예들에서, 디스플레이 요소(120)는 추가적인 광학 블록(도시되지 않음)을 포함할 수 있음을 유의해야 한다. 광학 블록은 디스플레이 요소(120)로부터의 광을 아이박스로 향하게 하는 하나 이상의 광학 요소들(예를 들어, 렌즈, 프레넬 렌즈 등)을 포함할 수 있다. 광학 블록은, 예를 들어, 이미지 콘텐트의 일부 또는 전부에서 수차(aberrations)를 보정하고, 이미지의 일부 또는 전부, 또는 이들의 일부 조합을 확대할 수 있다.

DCA는 웨어러블 디바이스(100) 주위의 로컬 영역의 부분에 대한 깊이 정보를 결정한다. DCA는 하나 이상의 이미징 디바이스(130) 및 DCA 컨트롤러(도 1a에 도시되지 않음)를 포함하고, 또한 조명기(140)를 포함할 수 있다. 일부 실시예들에서, 조명기(140)는 로컬 영역의 부분을 광으로 조명한다. 광은 예를 들어 적외선(IR)의 구조화된 광(예를 들어, 도트 패턴(dot pattern), 바(bars) 등), 비행 시간을 위한 IR 플래시 등일 수 있다. 일부 실시예들에서, 하나 이상의 이미징 디바이스들(130)은 조명기(140)로부터의 광을 포함하는 로컬 영역의 부분의 이미지들을 캡처한다. 도시된 바와 같이, 도 1a는 단일 조명기(140) 및 2개의 이미징 디바이스들(130)을 도시한다. 대안적인 실시예들에서는, 조명기(140)가 없고 적어도 2 개의 이미징 디바이스들(130)이 있다.

DCA 컨트롤러는 캡처된 이미지들 및 하나 이상의 깊이 결정 기술들을 사용하여 로컬 영역의 일부에 대한 깊이 정보를 계산한다. 깊이 결정 기술들은 예를 들어, 직접 비행 시간(ToF: Time-of-Flight) 깊이 감지, 간접 ToF 깊이 감지, 구조화된 광, 수동 스테레오 분석, 능동 스테레오 분석(조명기(140)로부터의 광에 의해 장면에 추가된 텍스처 사용), 장면의 깊이를 결정하는 일부 다른 기술, 또는 이들의 일부 조합이 될 수 있다.

센서 디바이스(190)는 웨어러블 디바이스(100)의 움직임에 응답하여 하나 이상의 측정 신호들을 생성한다. 센서 디바이스(190)는 웨어러블 디바이스(100)의 프레임(105)의 일부에 위치될 수 있다. 센서 디바이스(190)는 포지션 센서, 관성 측정 유닛(IMU), 또는 이 둘 모두를 포함할 수 있다. 웨어러블 디바이스(100)의 일부 실시예들은 센서 디바이스(190)를 포함하거나 포함하지 않을 수 있거나, 하나보다 많은 센서 디바이스들(190)을 포함할 수 있다. 센서 디바이스(190)가 IMU를 포함하는 실시예에서, IMU는 센서 디바이스(190)로부터의 측정 신호들에 기초하여 빠른 교정 데이터(fast calibration data)를 생성한다. 센서 디바이스(190)의 예들은 다음을 포함한다: 하나 이상의 가속도계, 하나 이상의 자이로스코프, 하나 이상의 자력계, 모션을 검출하는 다른 적합한 유형의 센서, IMU의 오류 정정에 사용되는 유형의 센서, 또는 이들의 일부 조합. 센서 디바이스(190)는 IMU 외부, IMU 내부, 또는 이들의 일부 조합에 위치될 수 있다.

하나 이상의 측정 신호들에 기초하여, 센서 디바이스(190)는 웨어러블 디바이스(100)의 초기 포지션에 대한 웨어러블 디바이스(100)의 현재 포지션을 추정한다. 추정된 포지션은 웨어러블 디바이스(100)의 위치 및/또는 웨어러블 디바이스(100) 또는 웨어러블 디바이스(100)를 착용한 사용자의 머리의 지향방향, 또는 이들의 조합을 포함할 수 있다. 지향방향은 기준 지점에 대한 각각의 귀의 포지션에 대응할 수 있다. 일부 실시예들에서, 센서 디바이스(190)는 웨어러블 디바이스(100)의 현재 위치를 추정하기 위해 DCA로부터의 깊이 정보 및/또는 절대 포지션 정보를 사용한다. 센서 디바이스(190)는 병진 운동(전진/후퇴, 상/하, 좌/우)을 측정하기 위한 다중 가속도계들 및 회전 운동(예를 들어, 피치(pitch), 요(yaw), 및 롤(roll))을 측정하기 위한 다중 자이로스코프들을 포함한다. 일부 실시예들에서, IMU는 측정 신호들을 빠르게 샘플링하고, 샘플링된 데이터로부터 웨어러블 디바이스(100)의 추정된 포지션을 계산한다. 예를 들어, IMU는 속도 벡터를 추정하기 위해 시간에 걸쳐 가속도계들로부터 수신된 측정 신호들을 통합하고, 웨어러블 디바이스(100) 상의 기준 지점의 추정된 포지션을 결정하기 위해 시간에 걸쳐 속도 벡터를 통합한다. 대안적으로, IMU는 샘플링된 측정 신호들을 컨트롤러(150)에 제공하고, 컨트롤러(150)는 빠른 교정 데이터를 결정한다. 기준 지점은 웨어러블 디바이스(100)의 포지션을 기술하는 데 사용될 수 있는 지점이다. 기준 지점은 일반적으로 공간의 한 지점으로 정의될 수 있지만, 실제로 기준 지점은 웨어러블 디바이스(100) 내의 지점으로서 정의된다.

일부 실시예들에서, 웨어러블 디바이스(100)는 웨어러블 디바이스(700)의 포지션에 대한 SLAM(simultaneous localization and mapping) 및 로컬 영역 모델의 업데이트를 제공할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 컬러 이미지 데이터를 생성하는 PCA(Passive Camera Assembly)를 포함할 수 있다. PCA는 로컬 영역의 일부 또는 전체의 이미지들을 캡처하는 하나 이상의 RGB 카메라들을 포함할 수 있다. 일부 실시예들에서, DCA의 이미징 디바이스들(130)의 일부 또는 전부는 또한 PCA로서 기능할 수 있다. PCA에 의해 캡처된 이미지들 및 DCA에 의해 결정된 깊이 정보는 로컬 영역의 파라미터들을 결정하고, 로컬 영역의 모델을 생성하고, 로컬 영역의 모델을 업데이트하거나, 이들의 일부 조합에 사용될 수 있다. 또한, 포지션 센서(190)는 방 내에서 웨어러블 디바이스(100)의 포지션(예를 들어, 위치 및 포즈)을 추적한다.

일부 실시예들에서, 센서 디바이스(190)는 웨어러블 디바이스가 사용자에 의해 현재 착용되고 있는지 여부와 같은 웨어러블 디바이스(100)의 사용자에 관한 하나 이상의 파라미터를 결정하도록 구성된 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센서 디바이스(190)는 사용자가 현재 웨어러블 디바이스(100)를 착용하고 있는지를 결정하기 위해 사용가능한 근접 센서(예를 들어, IR 근접 센서), 터치 센서, 또는 이들의 일부 조합을 포함할 수 있다. 웨어러블 디바이스는 사용자가 현재 웨어러블 디바이스(100)를 착용하고 있다는 결정에 기초하여 하나 이상의 기능을 수행할 수 있으며, 이러한 것에는 사용자 인증 시도, 사용자에게 콘텐트를 제공, 사용자가 웨어러블 디바이스의 하나 이상의 기능에 액세스하도록 허용하는 것 등이 있다. 예를 들어, 웨어러블 디바이스(100)는 사용자가 웨어러블 디바이스를 착용하고 있다는 결정에 응답하여 사용자를 인증하고 사용자 계정에 사용자를 로그인하는 것을 시도할 수 있고, 사용자가 웨어러블 디바이스를 더 이상 착용하지 않는다는 결정에 응답하여 사용자 계정에서 사용자를 로그아웃할 수 있다.

오디오 시스템은 오디오 콘텐트를 제공하다. 오디오 시스템은 변환기 어레이, 센서 어레이, 및 오디오 컨트롤러(150)를 포함한다. 그러나, 다른 실시예들에서, 오디오 시스템은 상이한 및/또는 추가적인 구성요소들을 포함할 수 있다. 유사하게, 일부 경우들에서, 오디오 시스템의 구성요소들을 참조하여 설명된 기능은 여기에 설명된 것과 상이한 방식으로 구성요소들 사이에 분포될 수 있다. 예를 들어, 컨트롤러의 기능들 중 일부 또는 전부는 원격 서버에 의해 수행될 수 있다.

변환기 어레이는 사용자에게 사운드를 제공하다. 변환기 어레이는 복수의 변환기들을 포함한다. 변환기는 스피커(160) 또는 조직 변환기(tissue transducer)(170)(예를 들어, 골전도 변환기 또는 연골 전도 변환기)일 수 있다. 스피커들(160)이 프레임(110)의 외부에 도시되어 있지만, 스피커들(160)은 프레임(110) 내에 포함될 수 있다. 일부 실시예들에서, 각각의 귀에 대한 개별 스피커 대신에, 웨어러블 디바이스(100)는 제공된 오디오 콘텐트의 방향성(directionality)을 개선하기 위해 프레임(110)에 통합된 다중 스피커들을 포함하는 스피커 어레이를 포함한다. 조직 변환기(170)는 사용자의 머리에 결합되며, 사용자의 조직(예를 들어, 뼈 또는 연골)을 직접 진동시켜 사운드를 발생시킨다. 변환기들의 수 및/또는 위치들은 도 1a에 도시된 것과 다를 수 있다.

오디오 시스템은 웨어러블 디바이스(100)의 사용자를 위한 하나 이상의 음향 전달 함수를 생성하기 위해 사운드를 검출한다. 음향 전달 함수는 사운드가 공간의 한 지점으로부터 수신되는 방식을 특성화한다. 음향 전달 함수는 어레이 전달 함수(ATF), 머리 관련 전달 함수(HRTF), 다른 유형의 음향 전달 함수, 또는 이들의 일부 조합일 수 있다. 그리고, 오디오 시스템은 하나 이상의 음향 전달 함수를 사용하여 사용자를 인증하고, 사용자를 위한 오디오 콘텐트를 생성하는 등의 작업을 수행할 수 있다. 웨어러블 디바이스(100)의 오디오 시스템은 센서 어레이 및 컨트롤러(150)를 포함한다.

센서 어레이는 웨어러블 디바이스(100)의 로컬 영역 내에서 사운드들을 검출한다. 센서 어레이는 복수의 음향 센서들(180)을 포함한다. 음향 센서(180)는 로컬 영역(예를 들어, 방)에서의 하나 이상의 사운드 소스들로부터 방출되는 사운드들을 캡처한다. 각각의 음향 센서는 사운드를 검출하고 검출된 사운드를 전자 포맷(예를 들어, 아날로그 또는 디지털)으로 변환하도록 구성된다. 음향 센서들(180)은 사운드들을 검출하는 데 적합한 음향파 센서들, 마이크로폰들, 사운드 변환기들, 또는 유사한 센서들일 수 있다.

일부 실시예들에서, 하나 이상의 음향 센서들(180)은 각각의 귀의 외이도에 배치될 수 있다(예를 들어, 바이노럴 마이크로폰으로 작용). 일부 실시예들에서, 음향 센서들(180)은 웨어러블 디바이스(100)의 외부 표면에 배치되거나, 웨어러블 디바이스(100)의 내부 표면에 배치되거나, 웨어러블 디바이스(100)와 별개로(예를 들어, 어떤 다른 디바이스의 일부) 배치되거나, 또는 이들의 일부 조합일 수 있다. 음향 센서들(180)의 수 및/또는 위치들은 도 1a에 도시된 것과 상이할 수 있다. 예를 들어, 음향 검출 위치들의 수는 수집된 오디오 정보의 양 및 정보의 감도 및/또는 정확도를 증가시키기 위해 증가될 수 있다. 음향 검출 위치들은 마이크로폰이 웨어러블 디바이스(100)를 착용한 사용자 주위의 광범위한 방향들에서 사운드들을 검출할 수 있도록 배향될 수 있다.

센서 어레이는 센서 어레이 주위의 로컬 영역 내에서 사운드들을 검출한다. 로컬 영역은 웨어러블 디바이스(100)를 둘러싸는(surround) 환경이다. 예를 들어, 로컬 영역은 웨어러블 디바이스(100)를 착용한 사용자가 내부에 있는 방(room)일 수 있고, 또는 웨어러블 디바이스(100)를 착용한 사용자가 외부에 있을 수 있고 로컬 영역은 센서 어레이가 사운드들을 검출할 수 있는 외부 영역이다. 검출된 사운드들은 제어되지 않은 사운드들 또는 제어된 사운드들일 수 있다. 제어되지 않은 사운드들은 오디오 시스템에 의해 제어되지 않고 로컬 영역에서 발생하는 사운드들이다. 제어되지 않는 사운드들의 예들은 자연적으로 발생하는 주변 소음이 될 수 있다. 이 구성에서, 오디오 시스템은 오디오 시스템에 의해 검출된 제어되지 않은 사운드들을 사용하여 웨어러블 디바이스(100)를 교정할 수 있다. 제어된 사운드들은 오디오 시스템에 의해 제어되는 사운드들이다. 제어된 사운드들의 예들은 스피커, 스피커 어셈블리, 교정 시스템, 또는 이들의 일부 조합과 같은 외부 시스템에 의해 출력되는 하나 이상의 신호들이 될 수 있다. 일부 실시예들에서, 제어된 사운드들은 또한 오디오 시스템에 의해 프롬프트되는 사운드들을 포함할 수 있다. 예를 들어, 오디오 시스템은 (예를 들어, 미리 결정된 문구를 말함으로써) 사운드를 발생시키도록 웨어러블 디바이스(100)의 사용자를 프롬프트할 수 있다. 웨어러블 디바이스(100)가 제어되지 않은 사운드들을 사용하여 교정될 수 있지만, 일부 실시예들에서, 외부 시스템이 교정 프로세스 동안 웨어러블 디바이스(100)를 교정하는 데 사용될 수 있다. 각각의 검출된 (제어되지 않은 및 제어된) 사운드는 주파수, 진폭, 지속 시간, 또는 이들의 일부 조합과 연관될 수 있다.

센서 어레이의 음향 센서들(180)의 구성은 다양할 수 있다. 웨어러블 디바이스(100)가 도 1에 8개의 음향 센서들(180)을 갖는 것으로 도시되어 있지만, 음향 센서들(180)의 수는 증가 또는 감소될 수 있다. 음향 센서들(180)의 수를 증가시키는 것은 수집된 오디오 정보의 양 및/또는 오디오 정보의 감도 및 정확도를 증가시킬 수 있다. 음향 센서들(180)의 수를 감소시키는 것은 수집된 오디오 정보를 처리하기 위해 컨트롤러(150)에 의해 요구되는 컴퓨팅 파워를 감소시킬 수 있다. 또한, 센서 어레이의 각 음향 센서(180)의 포지션은 다양할 수 있다. 음향 센서(180)의 포지션은 사용자 상의 정의된 포지션, 프레임(110) 상의 정의된 좌표, 각 음향 센서와 연관된 지향방향(orientation), 또는 이들의 일부 조합을 포함할 수 있다. 예를 들어, 음향 센서들(180)은 귓바퀴(pinna) 뒤 또는 외이(auricle) 또는 와(fossa) 내부와 같은 사용자 귀의 상이한 부분에 위치될 수 있거나, 외이도 내부에 음향 센서(180)에 추가하여 귀 위에 또는 귀를 둘러싸는 추가 음향 센서들이 있을 수 있다. 사용자의 외이도 옆에 음향 센서를 두면 센서 어레이가 어떻게 사운드가 외이도에 도달하는지에 대한 정보를 수집할 수 있다. 프레임(115) 상의 음향 센서들(180)은 템플의 길이를 따라, 브릿지를 가로질러, 디스플레이 요소들(120) 위 또는 아래, 또는 이들의 일부 조합에 위치될 수 있다. 음향 센서들(180)은 센서 어레이가 웨어러블 디바이스(100)를 착용한 사용자 주위의 광범위한 방향들에서 사운드들을 검출할 수 있도록 배향될 수 있다.

컨트롤러(150)는 센서 어레이에 의해 검출된 사운드들을 설명하는(describe) 센서 어레이로부터의 정보를 처리한다. 각각의 검출된 사운드와 연관된 정보는 검출된 사운드의 주파수, 진폭, 및/또는 지속 시간을 포함할 수 있다. 일부 실시예들에서, 각각의 검출된 사운드에 대해, 컨트롤러(150)는 DoA 추정을 수행한다. DoA 추정은 검출된 사운드가 센서 어레이의 음향 센서에 도달한 추정 방향이다. 센서 어레이의 적어도 두 개의 음향 센서들에 의해 사운드가 검출되면, 컨트롤러(150)는 음향 센서들의 알려진 위치 관계 및 각각의 음향 센서로부터의 음향 신호를 사용하여 예를 들어, 삼각측량 또는 다른 DoA 알고리즘을 통해 검출된 사운드의 소스 위치를 추정할 수 있다. 소스 위치 추정의 정확도는 사운드를 검출한 음향 센서들의 수가 증가할수록 및/또는 사운드를 검출한 음향 센서들 사이의 거리가 증가할수록 증가할 수 있다.

일부 실시예들에서, 컨트롤러(150)는 오디오 데이터 세트를 정보로 채운다. 상기 정보는 검출된 사운드 및 각각의 검출된 사운드와 연관된 파라미터들을 포함할 수 있다. 예시적인 파라미터들은 주파수, 진폭, 지속 기간, DoA 추정, 소스 위치, 또는 이들의 일부 조합을 포함할 수 있다. 각각의 오디오 데이터 세트는 웨어러블 디바이스(100)에 대한 상이한 소스 위치에 대응할 수 있고, 해당 소스 위치를 갖는 하나 이상의 사운드를 포함할 수 있다. 이 오디오 데이터 세트는 해당 소스 위치에 대한 하나 이상의 음향 전달 함수를 결정하는 데 사용할 수 있다. 하나 이상의 음향 전달 함수는 데이터 세트에 저장될 수 있다. 대안적인 실시예들에서, 각각의 오디오 데이터 세트는 웨어러블 디바이스(100)에 대한 여러 소스 위치들에 대응할 수 있고, 각각의 소스 위치에 대한 하나 이상의 사운드를 포함할 수 있다. 예를 들어, 서로 상대적으로 가깝게(예를 들어, 임계 거리 내에) 위치된 소스 위치들이 함께 그룹화될 수 있다. 컨트롤러(150)는 센서 어레이에 의해 사운드들이 검출됨에 따라 오디오 데이터 세트를 정보로 채울 수 있다. 컨트롤러(150)는 또한, DoA 추정이 수행되거나 각각의 검출된 사운드에 대한 소스 위치가 결정됨에 따라, 각각의 검출된 사운드에 대해 오디오 데이터 세트를 채울 수 있다.

일부 실시예들에서, 컨트롤러(150)는 검출된 사운드들을 선택하고, 이에 대해 DoA 추정 및/또는 소스 위치 결정을 수행한다. 컨트롤러(150)는 오디오 데이터 세트에 저장된 각각의 검출된 사운드와 연관된 파라미터들에 기초하여 검출된 사운드들을 선택할 수 있다. 컨트롤러(150)는 각각의 검출된 사운드와 연관된 저장된 파라미터들을 평가할 수 있고, 하나 이상의 저장된 파라미터들이 대응하는 파라미터 조건을 충족하는지를 결정할 수 있다. 예를 들어, 파라미터가 임계값 이상 또는 이하이거나 타겟 범위 내에 있는 경우, 파라미터 조건이 충족될 수 있다. 파라미터 조건이 충족되면, 컨트롤러(150)는 검출된 사운드에 대해 DoA 추정 및/또는 소스 위치 결정을 수행한다. 예를 들어, 컨트롤러(150)는 주파수 범위 내의 주파수, 임계 진폭 위의 진폭, 임계 지속 기간 미만의 지속 기간, 다른 유사한 변형, 또는 이들의 일부 조합을 갖는 검출된 사운드들에 대해 DoA 추정 및/또는 소스 위치 결정을 수행할 수 있다. 파라미터 조건은 이력 데이터(historical data)에 기초하여, 오디오 데이터 세트의 정보 분석(예를 들어, 파라미터의 수집된 정보 평가 및 평균 설정)에 기초하여, 또는 이들의 일부 조합에 기초하여 오디오 시스템의 사용자에 의해 설정될 수 있다. 컨트롤러(150)는 검출된 사운드의 DoA 추정 및/또는 소스 위치를 저장하기 위해 오디오 세트에 요소(element)를 생성할 수 있다. 일부 실시예들에서, 컨트롤러(150)는 데이터가 이미 존재하는 경우 오디오 세트의 요소들을 업데이트할 수 있다.

일부 실시예들에서, 컨트롤러(150)는 웨어러블 디바이스(100) 외부의 시스템으로부터 웨어러블 디바이스(100)의 포지션 정보를 수신할 수 있다. 포지션 정보는 웨어러블 디바이스(100)의 위치, 웨어러블 디바이스(100) 또는 웨어러블 디바이스(100)를 착용한 사용자의 머리의 지향방향, 또는 이들의 조합을 포함할 수 있다. 포지션 정보는 기준 지점과 관련하여 정의될 수 있다. 지향방향은 기준 지점에 대한 각각의 귀의 포지션에 대응할 수 있다. 시스템들의 예들로는, 이미징 어셈블리, 콘솔(예를 들어, 도 6에 도시됨), 동시 위치화 및 매핑(SLAM: simultaneous localization and mapping) 시스템, 깊이 카메라 어셈블리, 구조화된 조명 시스템, 또는 기타 적절한 시스템들이 있다. 일부 실시예들에서, 웨어러블 디바이스(100)는 컨트롤러(150)에 의해 전체적으로 또는 부분적으로 실행될 수 있는 SLAM 계산들에 사용될 수 있는 센서들을 포함할 수 있다. 컨트롤러(150)는 시스템으로부터 포지션 정보를 지속적으로 또는 랜덤하게 또는 지정된 간격들로 수신할 수 있다. 일부 실시예들에서, 수신된 포지션 정보는 검출된 사운드들의 소스 위치를 결정하는 데 사용될 수 있다. 예를 들어, 검출된 사운드들이 외부 시스템에 의해 생성된 제어된 사운드들을 포함하는 실시예들에서, 컨트롤러(150)는 외부 시스템의 알려진 포지션 및 웨어러블 디바이스(100)의 현재 포지션에 기초하여 소스 위치를 결정할 수 있다.

검출된 사운드들의 파라미터들에 기초하여, 컨트롤러(150)는 오디오 시스템과 연관된 하나 이상의 음향 전달 함수를 생성한다. 음향 전달 함수들은 ATFs, HRTFs, 다른 유형들의 음향 전달 함수들, 또는 이들의 일부 조합일 수 있다. ATF는 센서 어레이가 공간의 한 지점으로부터 사운드를 수신하는 방식을 특성화한다. 특히, ATF는 소스 위치에서 사운드의 파라미터들과 센서 어레이가 사운드를 검출하게 된 파라미터들 사이의 관계를 정의한다. 사운드와 연관된 파라미터들은 주파수, 진폭, 지속 시간, DoA 추정 등을 포함할 수 있다. 일부 실시예들에서, 센서 어레이의 음향 센서들 중 적어도 일부는 사용자에 의해 착용되는 웨어러블 디바이스(100)에 결합된다. 센서 어레이와 관련된 특정 소스 위치에 대한 ATF는 사람의 귀로 전달되는 사운드에 영향을 미치는 사람의 해부학적 구조(예를 들어, 귀 모양, 어깨 등)로 인해 사용자마다 다를 수 있다. 이에 따라, 센서 어레이의 ATF들은 웨어러블 디바이스(100)를 착용한 사용자별로 개인화된다.

HRTF는 귀가 공간의 한 지점으로부터 사운드를 수신하는 방식을 특성화한다. 사람과 관련된 특정 소스 위치에 대한 HRTF는 사운드가 사람의 귀로 이동함에 따라 사운드에 영향을 미치는 사람의 해부학적 구조(예를 들어, 귀 모양, 어깨 등)로 인해 사람의 각각의 귀에 대해 고유하다(그리고 사람마다 고유하다). 예를 들어, 컨트롤러(150)는 사용자의 각 귀에 근접하게 위치된 한 쌍의 음향 센서들(예를 들어, 외이도 입구의 임계 거리 내에(및 외이도 입구에 위치할 수 있음) 또는 귀의 외이도 내에 위치할 수 있음)에 기초하여 각각의 귀에 대해 하나씩, 사용자에 대해 2개의 HRTF들을 생성할 수 있다. HRTF 또는 HRTF들의 쌍은 공간의 특정 지점으로부터 나오는 것처럼 보이는 사운드들을 포함하는 오디오 콘텐트를 생성하는 데 사용될 수 있다. 여러 HRTF들을 사용하여 서라운드 사운드 오디오 콘텐트(예를 들어, 홈 엔터테인먼트 시스템, 극장 스피커 시스템, 몰입형 환경 등)를 생성할 수 있으며, 여기서 각각의 HRTF 또는 각각의 HRTF들의 쌍은 오디오 콘텐트가 공간의 여러 다른 지점들로부터 오는 것처럼 보이도록 공간의 상이한 지점에 대응한다. 일부 실시예들에서, 컨트롤러(150)는 각각의 검출된 사운드의 DoA 추정에 기초하여 기존의 음향 전달 함수를 업데이트할 수 있다. 일부 실시예들에서, 웨어러블 디바이스(100)의 포지션이 로컬 영역 내에서 변경됨에 따라, 컨트롤러(150)는 새로운 음향 전달 함수를 생성하거나 그에 따라 기존의 음향 전달 함수를 업데이트할 수 있다.

도 1b는 하나 이상의 실시예들에 따라, HMD로서 구현된 헤드셋(105)의 사시도이다. AR 시스템 및/또는 MR 시스템을 설명하는 실시예들에서, HMD의 전방측의 부분들은 가시 대역(~380nm 내지 750nm)에서 적어도 부분적으로 투명하고, HMD의 전방측과 사용자의 눈 사이에 있는 HMD의 부분들은 적어도 부분적으로 투명하다(예를 들어, 부분적으로 투명한 전자 디스플레이). HMD는 전면 강체(190)와 밴드(175)를 포함한다. 헤드셋(105)은 도 1a를 참조하여 위에서 설명된 많은 동일한 구성요소들을 포함하지만 HMD 폼 팩터와 통합되도록 수정된다. 예를 들어, HMD는 디스플레이 어셈블리, DCA, 오디오 시스템, 및 포지션 센서(190)를 포함한다. 도 1b는 조명기(140), 복수의 스피커들(160), 복수의 이미징 디바이스들(130), 복수의 음향 센서들(180), 및 센서 디바이스(190)를 도시한다. 도 1b가 헤드셋(105)의 특정 위치들에 있는 HMD의 구성요소들을 도시하지만, 다른 실시예들에서 HMD의 구성요소들은 상이하게 배열될 수 있다는 것이 이해될 것이다. 예를 들어, 도 1b는 밴드(175)에 장착된 스피커(160)를 예시한다. 다른 실시예들에서, 스피커들(160)은 밴드(175) 상에, 전면 강체(115) 상에, 스피어커들(160)이 사용자의 귀에 인접하게 또는 그 내부에 위치되도록 하는 별도의 구조 상에, 또는 이들의 일부 조합으로 위치될 수 있다.

오디오 시스템 개요

도 2는 하나 이상의 실시예들에 따른 오디오 시스템(200)의 블록도다. 도 1의 오디오 시스템은 오디오 시스템(200)의 일 실시예가 될 수 있다. 오디오 시스템(200)은 사용자를 인증하기 위해 및/또는 사용자를 위한 오디오 콘텐트를 생성하기 위해 사용될 수 있는 사용자를 위한 하나 이상의 음향 전달 함수를 생성하기 위해 사운드를 검출한다. 도 2의 실시예에서, 오디오 시스템(200)은 변환기 어레이(210), 센서 어레이(220), 및 오디오 컨트롤러(230)를 포함한다. 오디오 시스템(200)의 일부 실시예들은 여기에 설명된 것과 상이한 구성요소들을 갖는다. 마찬가지로, 일부 경우들에서, 기능들은 여기에 설명된 것과는 상이한 방식으로 구성요소들 사이에서 분산될 수 있다.

변환기 어레이(210)는 오디오 콘텐트를 제공하도록 구성된다. 변환기 어레이(210)는 복수의 변환기들을 포함한다. 변환기는 오디오 콘텐트를 제공하는 디바이스이다. 변환기는 예를 들어, 스피커(예를 들어, 스피커(160)), 조직 변환기(tissue transducer)(예를 들어, 조직 변환기(170)), 오디오 콘텐트를 제공하는 일부 다른 디바이스, 또는 이들의 일부 조합일 수 있다. 조직 변환기는 골전도 변환기 또는 연골 전도 변환기로 기능하도록 구성될 수 있다. 변환기 어레이(210)는 공기 전도를 통해(예를 들어, 하나 이상의 스피커를 통해), 골전도를 통해(하나 이상의 골전도 변환기를 통해), 연골 전도 오디오 시스템을 통해(하나 이상의 연골 전도 변환기를 통해), 또는 이들의 일부 조합을 통해 오디오 콘텐트를 제공할 수 있다. 일부 실시예들에서, 변환기 어레이(210)는 주파수 범위의 상이한 부분들을 커버하기 위해 하나 이상의 변환기를 포함할 수 있다. 예를 들어, 압전 변환기는 주파수 범위의 제 1 부분을 커버하기 위해 사용될 수 있고, 이동 코일 변환기는 주파수 범위의 제 2 부분을 커버하기 위해 사용될 수 있다.

골전도 변환기는 사용자의 머리에 있는 뼈/조직을 진동시켜 음향 압력파들을 생성한다. 골전도 변환기는 헤드셋의 일부에 결합될 수 있고, 사용자의 두개골의 일부에 결합된 외이의 뒤에 위치하도록 구성될 수 있다. 골전도 변환기는 오디오 컨트롤러(230)로부터 진동 지시들을 수신하고, 수신된 지시들에 기초하여 사용자의 두개골의 일부를 진동시킨다. 골전도 변환기의 진동들은 고막을 우회하여 사용자의 달팽이관 쪽으로 전파되는 조직 매개 음향 압력파(tissue borne acoustic pressure wave)를 생성한다.

연골 전도 변환기들은 사용자 귀의 귀 연골의 하나 이상의 부분을 진동시킴으로써 음향 압력파를 생성한다. 연골 전도 변환기는 헤드셋의 일부에 결합될 수 있고, 귀의 귀 연골의 하나 이상의 부분에 결합되도록 구성될 수 있다. 예를 들어, 연골 전도 변환기는 사용자 귀의 외이(auricle) 뒤쪽에 결합될 수 있다. 연골 전도 변환기는 바깥쪽 주위의 귀 연골을 따라 어디든지 위치할 수 있다(예를 들어, 귓바퀴, 이주, 귀 연골의 어떤 다른 부분, 또는 이들의 일부 조합). 귀 연골의 하나 이상의 부분을 진동시키는 것은: 외이도 외부의 공기 매개 음향 압력파(airborne acoustic pressure waves); 외이도의 일부를 진동시켜 외이도 내에 공기 매개 음향 압력파를 생성하는 조직 매개 음향 압력파; 또는 이들의 일부 조합을 생성할 수 있다. 생성된 공기 매개 음향 압력파는 외이도를 따라 고막을 향해 전파된다.

변환기 어레이(210)는 오디오 컨트롤러(230)로부터의 지시들에 따라 오디오 콘텐트를 생성한다. 일부 실시예들에서, 오디오 콘텐트는 공간화된다. 공간화된 오디오 콘텐트는 특정 방향 및/또는 타겟 지역(예를 들어, 로컬 영역 내의 객체 및/또는 가상 객체)으로부터 비롯되는 것으로 보이는 오디오 콘텐트이다. 예를 들어, 공간화된 오디오 콘텐트는 사운드가 오디오 시스템(200)의 사용자로부터 방 건너편에 있는 가상 가수로부터 비롯된 것처럼 보이게 할 수 있다. 변환기 어레이(210)는 웨어러블 디바이스(예를 들어, 웨어러블 디바이스(100))에 결합될 수 있다. 대안적인 실시예들에서, 변환기 어레이(210)는 웨어러블 디바이스로부터 분리된(예를 들어, 외부 콘솔에 결합된) 복수의 스피커들일 수 있다. 일 실시예에서, 변환기 어레이(210)는 센서 어레이(220)에 의해 수신되고 웨어러블 디바이스(100)에 대한 음향 전달 함수들을 생성하기 위해 분석될 수 있는 제어된 테스트 사운드들을 전송할 수 있다. 다양한 주파수, 진폭, 지속 시간 또는 시퀀스를 갖는 다중 테스트 사운드들이 변환기 어레이(210)에 의해 생성될 수 있다. 일부 실시예들에서, 오디오 컨트롤러(230)는 또한 변환기 어레이(210)를 통해 사용자에게 청각 지시들을 내릴 수 있다(예를 들어, 사운드를 생성하고, 영역 주위를 이동하는 등을 위해 사용자에게 프롬프트한다).

센서 어레이(220)는 오디오 시스템(200) 주위의 로컬 영역 내에서 사운드를 검출한다. 센서 어레이(220)는 음파(sound wave)의 공기 압력 변화를 각각 검출하고 검출된 사운드들을 전자 형식(아날로그 또는 디지털)으로 변환하는 복수의 음향 센서들을 포함할 수 있다. 복수의 음향 센서들은 헤드셋(예를 들어, 헤드셋(100) 및/또는 헤드셋(105)), 사용자(예를 들어, 사용자의 외이도), 넥밴드, 또는 이들의 일부 조합에 위치될 수 있다. 음향 센서는 예를 들어, 마이크로폰, 진동 센서, 가속도계, 접촉 마이크로폰, 또는 이들의 임의의 조합일 수 있다. 일부 실시예들에서, 센서 어레이(220)는 복수의 음향 센서들 중 적어도 일부를 사용하여 변환기 어레이(210)에 의해 생성된 오디오 콘텐트를 모니터링하도록 구성된다. 센서들의 수를 증가시키는 것은 변환기 어레이(210)에 의해 생성된 사운드 필드 및/또는 로컬 영역으로부터의 사운드를 기술하는 정보(예를 들어, 방향성)의 정확도를 향상시킬 수 있다.

도 1과 관련하여 설명된 바와 같이, 검출된 사운드들은 제어되지 않은 사운드들 또는 제어된 사운드들일 수 있다. 각각의 검출된 사운드는 주파수, 진폭, 지속 시간, 또는 이들의 일부 조합과 같은 오디오 정보와 연관될 수 있다. 센서 어레이(220)의 각각의 음향 센서는 활성(파워 온) 또는 비활성(파워 오프)될 수 있다. 음향 센서들은 오디오 컨트롤러(230)의 지시에 따라 활성화 또는 비활성화된다. 일부 실시예들에서, 센서 어레이(220)의 모든 음향 센서들이 사운드를 검출하기 위해 활성일 수 있거나, 복수의 음향 센서들의 서브세트가 활성일 수 있다. 활성 서브세트는 복수의 음향 센서들 중 적어도 2개의 음향 센서들을 포함한다. 활성 서브세트는 예를 들어, 다른 모든 음향 센서(every other acoustic sensor), 사전 프로그래밍된 초기 서브세트, 랜덤 서브세트, 또는 이들의 일부 조합을 포함할 수 있다.

오디오 컨트롤러(230)는 오디오 시스템(200)의 동작을 제어한다. 도 2의 실시예에서, 오디오 컨트롤러(230)는 데이터 저장소(235), 소스 위치 결정 모듈(240), 전달 함수 프로세싱 모듈(250), 추적 모듈(260), 빔포밍 모듈(270), 및 사운드 필터 모듈(280)을 포함한다. 오디오 컨트롤러(230)는 일부 실시예들에서 헤드셋 내부에 위치할 수 있다. 오디오 컨트롤러(230)의 일부 실시예들은 여기에 설명된 것과 상이한 구성요소들을 갖는다. 마찬가지로, 기능들은 여기에 설명된 것과는 상이한 방식들로 구성요소 사이에서 분산될 수 있다. 예를 들어, 컨트롤러의 일부 기능들은 헤드셋 외부에서 수행될 수 있다(예를 들어, 데이터 저장소(235) 및 보안 모듈(285)에 의해 저장된 학습된 전달 함수 저장소는 오디오 시스템(200)과 통신하는 별도의 보안 시스템의 일부로서 구현될 수 있다).

데이터 저장소(235)는 오디오 시스템(200)에 의해 사용하기 위한 데이터를 저장한다. 데이터 저장소(235)의 데이터는 오디오 시스템(200)의 로컬 영역에 기록된 사운드, 오디오 콘텐트, 계산된 HRTF, 하나 이상의 센서에 대한 전달 함수, 하나 이상의 음향 센서에 대한 ATF, 사운드 소스 위치, 로컬 영역의 가상 모델, 도달 방향 추정치, 사운드 필터, 및 오디오 시스템(200)에 의한 사용과 관련된 임의의 다른 데이터, 또는 이들의 임의의 조합을 포함할 수 있다.

오디오 컨트롤러(230)는 센서 어레이(220)로부터의 정보를 처리한다. 또한, 오디오 컨트롤러(230)는 오디오 시스템(200)의 다른 모듈들 및 디바이스들을 제어한다. 각각의 검출된 사운드와 연관된 정보는 검출된 사운드의 주파수, 진폭, 및/또는 지속 시간을 포함할 수 있다.

소스 위치 결정 모듈(220)은 센서 어레이(220)로부터의 정보에 부분적으로 기초하여 로컬 영역에서 사운드 소스들을 로컬라이즈하도록 구성된다. 로컬라이제이션은 오디오 시스템(200)의 사용자에 대하여 사운드 소스가 어디에 위치되는지를 결정하는 프로세스이다. 센서 어레이의 적어도 2개의 음향 센서들에 의해 사운드가 검출되면, 컨트롤러(230)는 음향 센서들의 위치 관계 및 각각의 음향 센서로부터의 DoA 추정을 사용하여 예를 들어, 삼각측량을 통해 검출된 사운드의 소스 위치를 추정할 수 있다. 추정된 소스 위치는 센서 어레이(220)의 포지션에 대한 로컬 영역에서의 소스 위치의 상대적인 포지션일 수 있다. DOA 분석은 센서 어레이(220)에서 각 사운드의 강도, 스펙트럼, 및/또는 도달 시간을 분석하여 사운드들이 비롯된 방향을 결정하는 것을 포함할 수 있다. 일부 경우들에서, DOA 분석은 오디오 시스템(200)이 위치한 주변 음향 환경을 분석하기 위한 임의의 적절한 알고리즘을 포함할 수 있다.

예를 들어, DOA 분석은 센서 어레이(220)로부터 입력 신호를 수신하고 디지털 신호 프로세싱 알고리즘을 입력 신호들에 적용하여 도달 방향을 추정하도록 설계될 수 있다. 이러한 알고리즘들은 예를 들어 입력 신호가 샘플링되는 지연 및 합산 알고리즘들을 포함할 수 있으며, 샘플링된 신호의 결과적인 가중 및 지연된 버전들이 함께 평균화되어 DOA를 결정한다. 최소 평균 제곱(LMS) 알고리즘이 또한 적응 필터(adaptive filter)를 생성하기 위해 구현될 수 있다. 이러한 적응 필터는 예를 들어, 신호 강도의 차이들 또는 도달 시간의 차이들을 식별하는 데 사용될 수 있다. 그리고, 이러한 차이들은 DOA를 추정하는 데 사용될 수 있다. 다른 실시예들에서, DOA는 입력 신호를 주파수 도메인으로 변환하고 처리할 시간-주파수(TF) 도메인 내의 특정 빈들(specific bins)을 선택함으로써 결정될 수 있다. 각각의 선택된 TF 빈은 그 빈이 직접 경로 오디오 신호를 갖는 오디오 스펙트럼의 일부를 포함하는지 여부를 결정하기 위해 처리될 수 있다. 직접 경로 신호의 일부를 갖는 이러한 빈은 센서 어레이(220)가 직접 경로 오디오 신호를 수신한 각도를 식별하기 위해 분석될 수 있다. 그리고, 결정된 각도는 수신된 입력 신호에 대한 DOA를 식별하는 데 사용될 수 있다. 위에 나열되지 않은 다른 알고리즘들도 또한 DOA를 결정하기 위해 단독으로 또는 위의 알고리즘들과 조합하여 사용될 수 있다.

일부 실시예들에서, 오디오 컨트롤러(230)는 센서 어레이(220)의 절대 포지션이 로컬 영역에서 알려져 있는 경우 소스 위치의 절대 포지션을 결정할 수 있다. 센서 어레이(220)의 포지션은 외부 시스템(예를 들어, 이미징 어셈블리, AR 또는 VR 콘솔, SLAM 시스템, 깊이 카메라 어셈블리, 구조화된 광 시스템 등)으로부터 수신될 수 있다. 외부 시스템은 로컬 영역의 가상 모델을 생성할 수 있으며, 여기서 센서 어레이(220)의 포지션과 로컬 영역이 매핑된다. 수신된 포지션 정보는 매핑된 로컬 영역에서 센서 어레이의 위치 및/또는 지향방향을 포함할 수 있다. 오디오 컨트롤러(230)는 검출된 사운드들의 결정된 소스 위치들로 로컬 영역의 매핑을 업데이트할 수 있다. 오디오 컨트롤러(230)는 외부 시스템으로부터 포지션 정보를 지속적으로 또는 랜덤하게 또는 지정된 간격들로 수신할 수 있다. 일부 실시예들에서, 오디오 컨트롤러(230)는 소스 위치 결정을 수행하는 검출된 사운드들을(예를 들어, 특정 파라미터 조건들을 만족하는 사운드만을) 선택한다.

일부 실시예들에서, 소스 위치 결정 모듈(220)은 검출된 사운드의 소스 위치를 결정하는 데 사용하기 위해 하나 이상의 추가 센서(예를 들어, 센서 디바이스(190))로부터 정보를 수신할 수 있다. 예를 들어, 일부 실시예들에서, 하나 이상의 카메라 어셈블리, 자이로스코프, 가속도계, 자력계, SLAM 시스템 등은 웨어러블 디바이스의 지상 실측 포지션 및 지향방향(ground truth position and orientation)을 결정하는 데 사용될 수 있으며, 이로부터 하나 이상의 제어된 사운드 소스(예를 들어, 외부 스피커들)의 상대적 포지션들이 결정될 수 있다. 예를 들어, 검출된 사운드가 기준 지점에 대해 알려진 위치에서 외부 스피커로부터 방출되는 제어된 사운드인 경우, 소스 위치 결정 모듈(220)은 기준 지점에 대한 오디오 시스템(200)의 포지션을 사용하여 오디오 시스템(200)에 대한 사운드의 소스 위치를 결정한다. 일부 실시예들에서, 사운드가 검출됨에 따라 웨어러블 디바이스가 이동하는 경우(예를 들어, 사용자가 로컬 영역 내에서 이동하기 때문에), 검출된 사운드의 소스 위치를 결정할 때 움직임을 보상하기 위해 추가 센서 데이터가 사용될 수 있다.

전달 함수 프로세싱 모듈(250)은 하나 이상의 음향 전달 함수를 생성하도록 구성된다. 일반적으로, 전달 함수는 가능한 각 입력 값에 대해 대응하는 출력 값을 제공하는 수학 함수이다. 검출된 사운드들의 파라미터들에 기초하여, 전달 함수 프로세싱 모듈(250)은 오디오 시스템과 연관된 하나 이상의 음향 전달 함수를 생성한다. 음향 전달 함수들은 ATFs, HRTFs, 다른 유형들의 음향 전달 함수들, 또는 이들의 일부 조합일 수 있다. ATF는 마이크로폰이 공간의 한 지점으로부터 사운드를 수신하는 방식을 특성화한다. 도 2의 실시예에서, 음향 전달 함수는 소스 위치에서의 사운드와 사운드가 검출되는 방식(예를 들어, 센서 어레이에 의하거나 또는 사람에 의하거나) 사이의 관계들을 나타낸다. 상이한 소스 위치들로부터 비롯된 사운드들이 검출됨에 따라, 전달 함수 프로세싱 모듈(250)은 상이한 소스 위치들 각각에 대한 하나 이상의 음향 전달 함수를 결정할 수 있다.

일 실시예에서, 전달 함수 프로세싱 모듈(250)은 어레이 전달 함수(ATF)를 생성한다. ATF는 센서 어레이(220)가 공간의 한 지점으로부터 사운드를 수신하는 방식을 특성화한다. 구체적으로, ATF는 소스 위치에서 사운드의 파라미터들과 센서 어레이(220)가 사운드를 검출하게 된 파라미터들 사이의 관계를 정의한다. 사운드와 연관된 파라미터들은 주파수, 진폭, 지속 시간, 등을 포함할 수 있다. 전달 함수 프로세싱 모듈(250)은 검출된 사운드의 특정 소스 위치에 대한 하나 이상의 ATF를 생성할 수 있다. 사운드가 센서 어레이(220)에 의해 수신되는 방식에 영향을 미칠 수 있는 팩터들은 센서 어레이(220)의 음향 센서들의 배열 및/또는 지향방향, 사운드 소스과 센서 어레이(220) 사이에 있는 임의의 객체들, 센서 어레이(220)를 갖는 아이웨어 디바이스를 착용한 사용자의 해부학적 구조, 또는 로컬 영역 내의 다른 객체들을 포함할 수 있다. 예를 들어, 사용자가 센서 어레이(220)를 포함하는 아이웨어 디바이스를 착용하고 있는 경우, 사람의 해부학적 구조(예를 들어, 귀 모양, 어깨 등)는 음파가 센서 어레이(220)로 이동할 때 음파에 영향을 미칠 수 있다. 다른 예에서, 사용자가 센서 어레이(220)를 포함하는 아이웨어 디바이스를 착용하고 있고 센서 어레이(220) 주위의 로컬 영역이 건물, 나무, 덤불, 수역(body of water) 등을 포함하는 외부 환경인 경우, 이러한 객체들은 로컬 영역에서 사운드들의 진폭을 줄이거나 증폭할 수 있다. ATF를 생성 및/또는 업데이트하는 것은 센서 어레이(220)에 의해 캡처된 오디오 정보의 정확도를 향상시킬 수 있다.

일 실시예에서, 전달 함수 프로세싱 모듈(250)은 하나 이상의 HRTF를 생성한다. HRTF는 사람의 귀가 공간의 한 지점으로부터의 사운드를 수신하는 방식을 특성화한다. 사람과 관련된 특정 소스 위치에 대한 HRTF는 사운드가 사람의 귀로 이동함에 따라 사운드에 영향을 미치는 사람의 해부학적 구조(예를 들어, 귀 모양, 어깨 등)로 인해 사람의 각각의 귀에 대해 고유하다(그리고 사람마다 고유하다). 전달 함수 프로세싱 모듈(250)은 한 사람에 대해 복수의 HRTF들을 생성할 수 있으며, 여기서 각각의 HRTF는 상이한 소스 위치, 상이한 주파수 범위, 또는 이들의 일부 조합과 연관될 수 있다.

보안 모듈(285)은 사용자에 대한 전달 함수 프로세싱 모듈(250)에 의해 생성된 음향 전달 함수들을 사용하여, 결정된 음향 전달 함수들에 기초한 사용자 식별 또는 인증과 관련된 하나 이상의 보안 기능들을 관리하도록 구성된다. 하나 이상의 보안 기능들은 이전에 학습된 음향 전달 함수들과의 비교에 기초한 결정된 음향 전달 함수들에 기초하여 사용자를 식별 또는 인증하는 것, 식별 또는 인증에 기초하여 사용자를 사용자 프로파일에 로그인하거나 사용자가 사용자 프로파일에 로그인하는 것을 방지하는 것, 식별 또는 인증에 기초하여 개인화된 콘텐트에 대한 액세스를 허용하거나 방지하는 것 등을 포함할 수 있다. 사용자를 식별할 수 있도록 하기 위해, 사용자와 연관된 결정된 음향 전달 함수들은 데이터 저장소(235)에 저장된 알려진 사용자들과 연관된 이전에 결정된 음향 전달 함수들(이하 "개인화된 기능"이라고 함)과 비교된다. 예를 들어, 일부 실시예들에서, 보안 모듈(285)은 사용자에 대한 결정된 기능을 수신하는 데 응답하여, 데이터 저장소(235)로부터 하나 이상의 알려진 사용자의 하나 이상의 개인화된 기능을 검색하고, 결정된 음향 전달 함수를 검색된 개인화된 기능들과 비교하는 데 기초하여 사용자 식별을 시도한다. 일부 실시예들에서, 보안 모듈(285)은 결정된 음향 전달 함수와 연관된 소스 위치에 대응하거나 결정된 음향 전달 함수의 소스 위치의 임계 거리 내의 소스 위치들과 연관된 개인화된 기능들만을 검색한다. 일부 실시예들에서, 데이터 저장소(235)로부터 검색되는 대신에 또는 그에 추가하여, 보안 모듈(285)은 네트워크를 통해 액세스가능한 서버(예를 들어, 도 6에 도시된 매핑 서버(625)) 또는 웨어러블 디바이스와 통신하는 별도의 디바이스(예를 들어, 도 6에 도시된 콘솔(615))에 위치한 전달 함수 저장소로부터 하나 이상의 알려진 사용자와 연관된 개인화된 기능들을 검색할 수 있다. 또한, 보안 모듈(285)이 오디오 시스템(200)의 일부인 것으로 예시되어 있지만, 일부 실시예들에서 보안 모듈(285)의 기능들은 별도의 디바이스(예를 들어, 콘솔) 또는 서버에서 수행될 수 있으며, 여기서 원격 보안 모듈은 하나 이상의 보안 기능을 수행하기 위해 오디오 시스템(200)에서 결정된 음향 전달 함수들을 수신한다.

보안 모듈(285)은 회귀 모델(regression model), 클러스터링 모델, 또는 기계 학습 기반 분류 모델을 사용하여 결정된 음향 전달 함수와 검색된 개인화된 함수를 비교할 수 있다. 예를 들어, 일부 실시예들에서, 보안 모듈(285)은 상이한 음향 전달 함수들 간의 유사성 레벨을 결정하도록 트레이닝된 신경망을 포함한다.

일부 실시예들에서, 보안 모듈(285)은 사용자에 대해 결정된 하나 이상의 음향 전달 함수와 알려진 사용자에 대응하는 하나 이상의 저장된 개인화된 기능 사이의 유사성 레벨을 나타내는 신뢰 레벨(confidence level)을 결정하고, 신뢰 레벨이 임계값을 초과하는 경우 사용자를 알려진 사용자로 인증한다. 일부 실시예들에서, 신뢰 레벨은 비교된 복수의 음향 전달 함수들, 비교된 함수들과 연관된 복수의 상이한 위치들 등에 기초할 수 있다. 일부 실시예들에서, 신뢰 레벨이 미리 결정된 범위 내에 있는 경우, 보안 모듈(285)은 추가 인증 정보(예를 들어, 패스워드, 지문, 음성 인식 등)를 제공하도록 사용자를 프롬프트할 수 있다. 일부 실시예들에서, 사용자를 식별하기 위한 집계 신뢰 메트릭(aggregate confidence metric)을 형성하기 위해 신뢰 값이 다른 보안 측정치들과 함께 통합될(aggregate) 수 있다.

데이터 저장소(235)는 (예를 들어, 전달 함수 프로세싱 모듈(250)에 의해) 알려진 사용자에 대해 결정된 음향 전달 함수들을 사용자에 대한 개인화된 기능으로서 저장할 수 있다. 일부 실시예들에서, 데이터 저장소(235)는 하나 이상의 알려진 사용자 각각에 대해, 특정 소스 위치와 각각 연관된 개인화된 기능들의 하나 이상의 세트를 저장한다. 각각의 소스 위치는 오디오 시스템(200)에 대한 위치, 또는 특정 지역 내의 다중 위치들(예를 들어, 서로의 임계 거리 내의 위치들의 세트)에 대응할 수 있다. 일부 실시예들에서, 개인화된 기능들의 각각의 세트는 또한 상이한 주파수 범위들에 대응하는 하나 이상의 서브세트로 분할될 수 있다. 일부 실시예들에서, 하나 이상의 사용자에 대해 결정된 개인화된 기능들은 별도의 학습된 전달 함수 저장소(미도시)에 저장될 수 있다.

일부 실시예들에서, 보안 모듈(285)은 사용자와 연관된 개인화된 기능들로 데이터 저장소(235)를 채우기 위해 사용자에 대한 초기 교정 동작을 수행하여, 사용자가 나중에 웨어러블 디바이스를 착용할 때 그들의 개인화된 기능들을 사용하여 사용자가 식별될 수 있도록 한다. 교정 동작 동안, 사용자는 인증되고 알려진 사용자 프로파일과 연관된다. 예를 들어, 사용자는 디바이스와 연관된 사용자 인터페이스에 패스워드를 입력하고, 지문을 제공하고, 및/또는 다른 수단을 사용하여 인증될 수 있다. 사용자가 웨어러블 디바이스를 착용할 때, 전달 함수 프로세싱 모듈(250)은 사용자를 위한 개인화된 기능으로서 데이터 저장소(235)에 저장되는 사용자에 대한 하나 이상의 음향 전달 함수를 결정한다. 예를 들어, 일부 실시예들에서, 사용자가 일부 다른 수단(예를 들어, 퍽(puck) 상의 지문, 전화, 또는 다른 신뢰할 수 있는 디바이스)을 통해 먼저 인증된 후 디바이스는 사용자에 대해 트레이닝된다. 디바이스를 착용하는 동안(예를 들어, 안경테 내부의 적외선(IR) 근접 센서 또는 다른 착/탈(don/doff) 센서에 의해 결정됨), 음향 전달 함수들은 "디바이스-온" 상태 동안 착용자를 예측/추정한다.

일부 실시예들에서, 보안 모듈(285)은 특정의 원하는 위치들 및/또는 주파수 범위들에 대응하는 사용자에 대한 음향 전달 함수들을 결정하기 위해 하나 이상의 제어된 사운드들이 방출되게 할 수 있다. 예를 들어, 보안 모듈(285)은 변환기 어레이(210)의 하나 이상의 스피커가 하나 이상의 미리 결정된 사운드를 방출하게 할 수 있다. 다른 실시예들에서, 보안 모듈(285)은 웨어러블 디바이스(100)와 통신하는 외부 디바이스의 스피커가 소정의 사운드를 출력하게 할 수 있다. 보안 모듈(285)은 하나 이상의 문구 말하기, 손뼉치기 등과 같은 하나 이상의 사운드를 생성하도록 사용자를 프롬프트할 수 있다. 일부 실시예들에서, 보안 모듈(285)은 디바이스에 대해 더 다양한 상이한 위치들에서 비롯되는 사운드들을 검출하기 위해 사용자에게 로컬 영역 주위를 이동하도록 프롬프트할 수 있다. 사용자에 대한 음향 전달 함수들의 임계값이 결정될 때까지, 특정 소스 위치들, 소스 위치들의 임계값 및/또는 특정 주파수 범위들에 대응하는 음향 전달 함수들이 사용자에 대해 결정될 때까지 등에서 교정 동작이 수행될 수 있다. 일부 실시예들에서, 교정 동작은 기계 학습 모델에 의해 결정되는 바와 같이 임계 신뢰 레벨이 도달될 때까지 사용자에 대한 음향 전달 함수를 계속해서 결정 및/또는 업데이트한다.

교정 동작이 수행되고 사용자에 대한 개인화된 기능들이 저장되면, 나중에 디바이스를 착용할 때 개인화된 기능들에 기초하여 사용자가 식별될 수 있다. 예를 들어, 사용자가 웨어러블 디바이스를 착용하고 있다고 결정되면, 전달 함수 프로세싱 모듈(250)은 사용자에 대한 하나 이상의 음향 전달 함수를 동적으로 결정할 수 있다. 일부 실시예들에서, 전달 함수 프로세싱 모듈(250)은 사용자의 로컬 영역 내의 제어되지 않은 사운드들을 사용하여 사용자에 대한 음향 전달 함수들을 결정한다. 일부 실시예들에서, 보안 모듈(285)은 제어된 사운드의 방출을 야기할 수 있거나, 음향 전달 함수를 결정하는 데 사용될 수 있는 하나 이상의 사운드(예를 들어, 미리 결정된 문구를 말함으로써) 를 생성하도록 사용자를 프롬프트할 수 있다. 제어된 사운드들의 사용은 특정 소스 위치들 또는 특정 주파수 범위들과 연관된 음향 전달 함수들이 로컬 영역 내의 제어되지 않은 사운드들의 레벨에 관계없이 안정적으로 결정되게 할 수 있다. 또한, 사용자가 하나 이상의 사운드를 생성하도록 프롬프트되는 실시예들에서, 사용자에 대한 음향 전달 함수들의 결정은 사용자에 대한 음성 식별과 병행하여 수행될 수 있다. 예를 들어, 음향 전달 함수들의 결정은 사운드를 생성할 때 사용자의 공간 시그니처(spatial signature)를 활용할 수 있고(예를 들어, 오디오 센서에 대해 일관되고 예측 가능한 위치로부터 비롯되는 사운드로 인해), 반면에 음성 인식 기능들은 생성된 사운드들에 기초하여 사용자의 음성 시그니처를 분석할 수 있다.

그리고, 결정된 음향 전달 함수는 데이터 저장소(235)에 저장된 사용자에 대한 개인화된 기능들의 적어도 서브세트와 비교될 수 있으며, 여기서 사용자는 성공적인 비교(예를 들어, 임계 레벨을 초과하는 신뢰도 값)에 응답하여 식별될 수 있고 개인화된 콘텐트 및/또는 웨어러블 디바이스의 특정 기능들에 대한 액세스가 허용된다. 다른 예에서, 사용자에 대한 특정 웨어러블 디바이스의 구성은 사용자를 식별하는 데 응답하여 활성화될 수 있다. 반면, 상기 비교가 성공적이지 못한 경우(예를 들어, 결정된 음향 전달 함수와 저장된 개인화된 함수들 사이의 차이가 너무 커서), 사용자는 식별되지 못한다. 일부 실시예들에서, 사용자는 웨어러블 디바이스의 특정 데이터 또는 기능들에 액세스하는 것이 제한될 수 있다. 일부 실시예들에서, 비교 결과들은 음성 식별, 눈/홍채 식별, 지문 식별 등과 같은 하나 이상의 추가 식별 방법들과 조합하여(예를 들어, 복수의 상이한 식별 체계들과 연관된 신뢰도 값들의 가중 조합) 사용자를 식별하는 데 사용될 수 있다.

일부 실시예들에서, 사용자 인증을 용이하게 하기 위해 음향 전달 함수들이 사용될 수 있다. 예를 들어, 저장된 사용자의 개인화된 기능들은 실제 지문과 유사한 사용자의 "지문”, 얼굴 ID 시스템 등의 역할을 할 수 있다. 보안 모듈(285)은 제1 사용자를 식별하고 인증할 때 제1 사용자를 제1 사용자 계정에 로그인시킬 수 있다. 나중에, 보안 모듈(285)은 (예를 들어, 웨어러블 디바이스가 제거되었다가 다시 착용되는 것을 검출하거나, 주기적으로 착용 중인 사용자에 대한 음향 전달 함수를 결정함으로써) 상이한 착용자가 웨어러블 디바이스를 착용하고 있음을 결정할 수 있고, 사용자에 대해 결정된 음향 전달 함수와 저장된 제1 사용자의 개인화된 기능들의 비교에 기초하여 현재 착용 중인 사용자가 제1 사용자와 상이하다는 결정에 응답하여 제1 사용자 계정을 로그아웃할 수 있다. 일부 실시예들에서, 보안 모듈(285)은 제1 사용자가 제2 사용자(예를 들어, 제2 사용자의 가족 구성원)와 연관된 권한이 있는 그룹의 일부인 것으로 식별되는 경우, 제1 사용자를 제2 사용자와 연관된 사용자 계정 또는 프로파일에 로그인할 수 있다.

빔포밍 모듈(270)은 하나 이상의 ATF를 처리하여 특정 영역 내의 사운드 소스들로부터의 사운드들을 선택적으로 강조하고 다른 영역들로부터의 사운드를 덜 강조하도록 구성된다. 센서 어레이(220)에 의해 검출된 사운드들을 분석함에 있어, 빔포밍 모듈(270)은 상이한 음향 센서들의 정보를 결합하여 로컬 영역의 특정 지역에서 발생하는 사운드를 강조하면서, 그 지역 외부로부터의 사운드를 덜 강조할 수 있다. 빔포밍 모듈(270)은 예를 들어 DOA 추정 모듈(240) 및 추적 모듈(260)로부터의 상이한 DOA 추정들에 기초하여 로컬 영역의 다른 사운드 소스들로부터 특정 사운드 소스으로부터의 사운드와 연관된 오디오 신호를 분리할 수 있다. 따라서 빔포밍 모듈(270)은 로컬 영역의 개별 사운드 소스들을 선택적으로 분석할 수 있다. 일부 실시예들에서, 빔포밍 모듈(270)은 사운드 소스으로부터의 신호를 향상시킬 수 있다. 예를 들어, 빔포밍 모듈(270)은 특정 주파수들 사이, 위, 또는 아래의 신호들을 제거하는 사운드 필터들을 적용할 수 있다. 신호 향상은 센서 어레이(220)에 의해 검출된 다른 사운드들에 비해 주어진 식별된 사운드 소스와 연관된 사운드를 향상시키는 역할을 한다. 일부 실시예들에서, 빔포밍 모듈(270)은 하나 이상의 주어진 방향 및/또는 환경에 대한 ATF들의 클리닝된 카피들(cleaned copies)을 포함하도록 적응된 하나 이상의 빔포밍 필터들을 포함한다.

사운드 필터 모듈(280)은 변환기 어레이(210)에 대한 사운드 필터들을 결정한다. 일부 실시예들에서, 사운드 필터들은 오디오 콘텐트가 타겟 지역으로부터 비롯되는 것처럼 보이도록 오디오 콘텐트가 공간화되게 한다. 사운드 필터 모듈(280)은 사운드 필터들을 생성하기 위해 HRTF들 및/또는 음향 파라미터들을 사용할 수 있다. 음향 파라미터들은 로컬 영역의 음향 특성들을 설명한다. 음향 파라미터들은 예를 들어 잔향 시간, 잔향 레벨, 실내 임펄스 응답 등을 포함할 수 있다. 일부 실시예들에서, 사운드 필터 모듈(280)은 하나 이상의 음향 파라미터들을 계산한다. 일부 실시예들에서, 사운드 필터 모듈(280)은 (예를 들어, 도 6과 관련하여 아래에서 설명되는 바와 같이) 매핑 서버로부터 음향 파라미터들을 요청한다. 사운드 필터 모듈(280)은 트랜스듀서 어레이(210)에 사운드 필터들을 제공한다. 일부 실시예들에서, 사운드 필터들은 주파수의 함수로서 사운드들의 포지티브 또는 네거티브 증폭을 유발할 수 있다.

사용자 인증을 위한 음향 전달 함수의 결정

도 3은 일부 실시예들에 따라 센서 어레이에 의해 검출되고 음향 전달 함수를 결정하는 데 사용될 수 있는 로컬 영역의 사운드들을 도시하는 도면이다. 사용자는 자신의 머리(310) 근처에 음향 센서들(305A, 305B)(총칭하여 음향 센서들(305))을 갖는 웨어러블 디바이스를 착용할 수 있다. 도 3은 사용자의 머리(310)에 대한 특정 위치들에 있는 2개의 음향 센서들(305)만을 도시하고 있지만, 다른 실시예들에서 웨어러블 디바이스의 오디오 시스템은 추가적인 음향 센서들, 사용자의 머리(310)에 대해 상이한 위치들에 있는 음향 센서들, 또는 이들의 일부 조합을 포함할 수 있다는 것을 이해해야 한다.

로컬 영역의 소스 위치(315)로부터 비롯되는 사운드는 음향 센서들(305)에 의해 검출될 수 있는 음파들을 생성할 수 있다. 음향 센서들(305A, 305B) 각각에서 검출되는 사운드는 간접 사운드뿐만 아니라 직접 사운드(320A, 320B)을 포함할 수 있다. 간접 사운드는 사용자의 머리(310)에서 반사되는 반사된 사운드(325A, 325B) 및 사용자의 머리(310)의 적어도 일부를 통해 지나간(travelled through) 사운드(330)를 포함할 수 있다. 일부 실시예들에서, 직접 사운드는 사용자의 머리(310)와 같은 상이한 매체들을 통해 지나가는 사운드를 포함할 수 있다. 일부 실시예들에서, 간접 사운드는 로컬 영역(미도시)의 다른 객체들에 반사된 사운드를 더 포함할 수 있다. 일부 실시예들에서, 음향 센서들은 직접 사운드를 가장 빠른 시간에 검출할 수 있는데, 이는 직접 사운드가 소스 위치(315)로부터 각각의 음향 센서(305)로의 가장 직접적인 경로(예를 들어, 막혀있지 않는 한 일반적으로 시선(line of sight) 경로)를 갖기 때문이며, 한편 간접 사운드들은 더 늦은 시간에 검출될 수 있다. 음향 센서들(305)에 대한 사용자의 머리(310)의 근접성으로 인해, 사용자의 머리에서 반사되는 간접 사운드들은 직접 사운드와 밀접하게 상호작용할 수 있는 반면, 로컬 영역 내의 다른 객체들(예를 들어, 벽, 가구 등)의 반사에 대응하는 사운드들은 더 늦은 시간에 음향 센서들(305)에서 검출될 수 있다.

오디오 시스템은 각각의 음향 센서(305)에서 검출된 사운드에 기초하여 음향 전달 함수를 결정한다. 음향 센서들(305)의 위치들이 상이하기 때문에, 직접 사운드(320A, 320B)는 상이한 시간들에서 음향 센서들(305A, 305B)에 의해 검출된다. 또한, 각각의 음향 센서(305)에서 검출된 직접 사운드(320)의 크기는 소스 위치(315)와 각각의 음향 센서(305) 사이의 임의의 개입하는 객체들(예를 들어, 사용자의 머리(310)의 모양, 크기, 및/또는 밀도)의 속성들에 기초하여 상이할 있다. 각각의 음향 센서(305A, 305B)에서 검출된 간접 사운드(반사된 사운드(325A, 325B) 및 머리를 관통하는 사운드(330)를 포함)는 또한, 소스 위치(315)에 대한 사용자의 머리(310)의 위치, 기하학적 구조, 및 사용자의 머리(310)의 밀도 등에 기초하여 상이할 수 있다. 이와 같이, 동일한 소스 위치(315)로부터 비롯된 주어진 사운드에 대해, 각각의 음향 센서(305)에서 검출된 직접 및 간접 사운드 간의 차이들은 서로 다른 머리 모양들을 가진 상이한 사용자들에 대해 상이할 것이며, 이에 따라 상이한 사용자들에 대해 상이한 음향 전달 함수들이 결정될 수 있다.

일부 실시예들에서, 결정된 음향 전달 함수는 2개 이상의 마이크로폰들에서 검출된 사운드들 간의 상대적 차이에 대응하는 상대적 전달 함수이다. 상대적 전달 함수는 상이한 마이크로폰들에서 검출된 사운드들 간의 상대적 차이를 반영하기 때문에, 동일한 위치로부터 비롯된 상이한 청각 콘텐트를 가진 사운드들은 사용자에 대한 상대적 전달 함수를 결정하는 데 사용될 수 있다. 이것은, 알려진 소스 위치로부터 비롯된 제1 사운드에 기초하여 사용자에 대해 결정된 제1 전달 함수를 소스 위치로부터 비롯된 제2 사운드에 기초하여 사용자에 대해 결정된 제2 전달 함수와 비교함으로써, 제1 사운드와 제2 사운드가 상이하다 하더라도 사용자의 인증을 가능하게 한다.

오디오 시스템의 센서 어레이가 2개보다 많은 음향 센서들을 포함하는 실시예들에서, 미리 결정된 음향 센서는 기준 음향 센서로 지정될 수 있으며, 여기서 결정된 상대적 전달 함수는 기준 음향 센서와 나머지 음향 센서들 각각에서 검출된 사운드들 간의 상대적 차이를 나타낸다. 일부 실시예들에서, 오디오 시스템은 센서 어레이의 2개의 음향 센서들에서 검출된 사운드들 간의 비율에 각각 대응하는 음향 전달 함수들의 세트를 결정한다.

일부 실시예들에서, 오디오 시스템은 각각의 음향 센서(305)에서 수신된 사운드를 분석하고, 각각의 음향 센서에서 검출된 통합 사운드로부터 사운드의 일부를 추출한다. 사운드의 추출된 부분은 소스 위치로부터 직접 사운드의 제1 부분이 수신되는 시간 창(window of time) 내의 소스 위치로부터 수신된 사운드에 대응할 수 있다. 이와 같이, 추출된 직접 사운드는 공기를 통해 직접적으로 각 음향 센서로 이동한 사운드(예를 들어, 사운드(320)), 사용자의 머리(310)와 같은 다른 매체들을 통해 지나각 직접 사운드 및/또는 사용자의 머리 부분에서 반사된 간접 사운드을 포함할 수 있다. 한편, 추출된 사운드가 더 멀리 있는 객체들(예를 들어, 사용자 신체의 다른 부분들, 로컬 영역 내의 다른 객체들)에 반사된 간접 사운드를 포함하지 않도록 시간 창(time window)이 선택될 수 있다. 일부 실시예들에서, 직접 사운드는 간접 사운드에 비해 각각의 음향 센서(305)에 더 일찍 도달하고 더 큰 진폭을 갖는 것으로 식별된다. 상대적 전달 함수는, 사용자의 머리(310)로부터의 임의의 효과들과, 소스 위치(315)로부터 음향 센서들(305)의 상대적 위치들을 반영하는 음향 센서들 각각에서 검출된 추출된 사운드 간의 차이에 기초하여 결정된다. 일부 실시예들에서, 각각의 음향 센서에서 검출된 추출된 사운드 간의 차이는 비율로 결정된다. 음향 센서들에 의해 검출된 추출된 사운드만이 상대적 전달 함수를 결정하는 데 사용되므로, 사용자의 머리(310) 이외의 로컬 영역 내의 객체들로부터의 반사로 인한 간접 사운드의 영향들은 무시되며 결정된 음향 전달 함수에는 영향을 미치지 않는다. 이와 같이, 결정된 음향 전달 함수는 소스 위치에 대한 오디오 시스템의 포지션, 사용자의 머리(310)로 인한 직접 사운드에 대한 영향, 및 검출된 사운드의 주파수 범위에 기초하여 음향 센서들(305)에서 검출된 사운드의 시간 지연 및 주파수 응답을 반영한다. 수신된 사운드로부터 직접 사운드를 추출하고 음향 전달 함수를 결정하는 방법의 추가 예들은 "음향 전달 함수 개인화의 동적 결정을 위한 오디오 시스템"이라는 제목의 미국 특허 출원 번호 16/015,879에 설명되며, 이는 그 전체가 본 명세서에 참고로 포함되어 있다.

음향 전달 함수 인증 프로세스 흐름도

도 4는 하나 이상의 실시예에 따라 오디오 시스템(예를 들어, 오디오 시스템(200))을 포함하는 아이웨어 디바이스(예를 들어, 웨어러블 디바이스(100))의 음향 전달 함수를 생성 및 업데이트하는 프로세스(400)를 도시하는 흐름도이다. 일 실시예에서, 도 4의 프로세스는 오디오 시스템의 구성요소들에 의해 수행된다. 다른 엔티티들이 다른 실시예들(예를 들어, 콘솔)에서 프로세스의 단계들의 일부 또는 전부를 수행할 수 있다. 마찬가지로, 실시예들은 상이한 및/또는 추가 단계들을 포함하거나 상이한 순서들로 그 단계들을 수행할 수 있다.

오디오 시스템은 아이웨어 디바이스의 센서 어레이 주위의 로컬 영역에서 사운드들을 모니터링한다(410). 센서 어레이는 로컬 영역에서 발생하는 제어되지 않은 사운드 및 제어된 사운드와 같은 사운드들을 검출할 수 있다. 각각의 검출된 사운드는 주파수, 진폭, 지속 시간, 또는 이들의 일부 조합과 연관될 수 있다. 일부 실시예들에서, 오디오 시스템은 각각의 검출된 사운드와 연관된 정보를 오디오 데이터 세트에 저장한다.

일부 실시예들에서, 오디오 시스템은 로컬 영역에서 센서 어레이의 포지션을 선택적으로 추정한다(420). 추정된 포지션은 어레이의 위치의 위치 및/또는 웨어러블 디바이스 또는 웨어러블 디바이스를 착용한 사용자의 머리의 지향방향, 또는 이들의 조합을 포함할 수 있다. 일 실시예에서, 오디오 시스템은 센서 어레이의 움직임에 응답하여 하나 이상의 측정 신호를 생성하는 하나 이상의 센서를 포함할 수 있다. 오디오 시스템은 센서 어레이의 초기 포지션에 대한 센서 어레이의 현재 포지션을 추정할 수 있다. 다른 실시예에서, 오디오 시스템은 외부 시스템(예를 들어, 이미징 어셈블리, AR 또는 VR 콘솔, SLAM 시스템, 깊이 카메라 어셈블리, 구조화된 광 시스템 등)으로부터 아이웨어 디바이스의 포지션 정보를 수신할 수 있다. 일부 실시예들에서, 환경에 대한 디바이스의 위치에 대한 지식은 환경 내의 객체들로부터의 반사들에 대응하는 오디오 데이터를 제거하는 데 도움이 될 수 있으며, 이는 환경 내의 다른 객체들로부터 반사된 사운드들로부터의 영향들을 줄임으로써 계산된 음향 전달 함수들이 사용자의 머리의 기하학적 구조를 더욱 정확하게 반영할 수 있도록 한다.

오디오 시스템은 센서 어레이의 포지션에 대한 각각의 검출된 사운드에 대한 소스 위치 결정을 수행한다(430). 일부 실시예들에서, 소스 위치 결정은, 검출된 사운드가 센서 어레이의 음향 센서에 도달하게 된 추정된 방향을 나타내는, 마이크로폰의 각각의 음향 센서에 대한 하나 이상의 DoA 추정에 기초한다. DoA 추정은 검출된 사운드의 추정된 소스 위치와 로컬 영역 내의 아이웨어 디바이스의 포지션 사이의 벡터로서 표현될 수 있다. 소스 위치는 추정된 DoA의 삼각측량에 기초하여 결정될 수 있다. 일부 실시예들에서, 오디오 시스템은 파라미터 조건을 충족하는 파라미터와 연관된 검출된 사운드들에 대한 소스 위치 결정을 수행할 수 있다(430). 예를 들어, 파라미터가 임계값 이상 또는 이하이거나 타겟 범위 내에 있는 경우, 파라미터 조건이 충족될 수 있다.

오디오 시스템은 하나 이상의 음향 전달 함수를 업데이트한다(440). 음향 전달 함수는 ATF 또는 HRTF일 수 있다. 음향 전달 함수는 소스 위치에서의 사운드와 사운드가 검출되는 방식 사이의 관계들을 나타낸다. 따라서, 각각의 음향 전달 함수는 (센서 어레이의 포지션에 대한) 검출된 사운드의 상이한 소스 위치와 연관된다. 그 결과, 오디오 시스템은 특정 소스 위치에 대한 복수의 음향 전달 함수들을 업데이트할 수 있다(440).

일부 실시예들에서, 아이웨어 디바이스는 특정 소스 위치에 대해 사용자의 각각의 귀에 대해 하나씩인 2개의 HRTF들을 업데이트할 수 있다(440). 일부 실시예들에서, 오디오 시스템은 센서 어레이의 상이한 음향 센서들에서 검출된 사운드의 상대적 비율과 각각 연관된 하나 이상의 음향 전달 함수를 생성한다.

로컬 영역으로부터 상이한 사운드들이 검출됨에 따라, 오디오 시스템은 하나 이상의 새로운 음향 전달 함수를 생성하거나 또는 그에 따라 소스 위치와 연관된 하나 이상의 기존 음향 전달 함수를 업데이트할 수 있다(440). 프로세스(400)는 센서 어레이를 착용한 사용자가 로컬 영역을 이동함에 따라 계속해서 반복될 수 있거나, 프로세스(400)는 센서 어레이를 통해 사운드들을 검출할 때 시작될 수 있다.

도 5는 하나 이상의 실시예에 따라 하나 이상의 결정된 음향 전달 함수에 기초하여 오디오 시스템을 포함하는 웨어러블 디바이스의 사용자를 식별하는 프로세스를 도시하는 흐름도이다. 오디오 시스템은 사용자가 웨어러블 디바이스를 착용하고 있다는 표시를 수신한다(510). 일부 실시예들에서, 표시는 웨어러블 디바이스의 동작 상태(예를 들어, 웨어러블 디바이스가 켜져 있는 것, 하나 이상의 기능이 켜져 있는 것 등), 하나 이상의 센서 판독값(sensor readings)(예를 들어, 사용자가 디바이스를 착용하고 있음을 나타내는 IR 근접 센서와 같은 근접 센서), 하나 이상의 사용자 입력(예를 들어, 사용자가 웨어러블 디바이스를 착용한 후 특정 버튼을 누르는 것), 또는 이들의 일부 조합에 기초할 수 있다.

위에서 논의된 바와 같이, 사용자에 대한 음향 전달 함수들이 사용자로부터의 임의의 입력을 요구하지 않고 로컬 영역의 사운드에 기초하여 결정되는 것이 가능하지만, 일부 실시예들에서 오디오 시스템은 제어된 사운드의 방출을 일으킬 수 있고, 및/또는 사용자에 대한 음향 전달 함수의 결정을 용이하게 하기 위해 하나 이상의 사운드를 생성하도록 사용자를 프롬프트한다(520). 예를 들어, 오디오 시스템은 웨어러블 디바이스에 의해 제어되거나 웨어러블 디바이스와 통신하는 스피커가 하나 이상의 사운드를 생성하게 할 수 있다. 일부 실시예들에서, 사용자는 하나 이상의 미리 결정된 문구를 말하고, 손뼉을 치는 등을 행하도록 프롬프트될 수 있다. 알려진 사용자들의 개인화된 기능들이 교정 동작 동안 사용자에 의한 구어에 기초하여 계산된 음향 전달 함수들을 포함하는 실시예들에서, 하나 이상의 구를 말하도록 사용자를 프롬프트하는 것은 사용자의 입 위치가 일반적으로 디바이스를 착용할 때의 유사한 위치에 있을 것이라는 사실로 인해 특정 소스 위치들에 대응하는 음향 전달 함수들이 획득될 수 있음을 보장할 수 있다.

오디오 시스템은 오디오 시스템(예를 들어, 센서 어레이)의 센서 어레이에서 검출된 사운드들에 기초하여 사용자에 대한 적어도 하나의 음향 전달 함수를 결정한다(530). 예를 들어, 센서 어레이의 음향 센서들은 사용자의 머리에 착용된 헤드셋에 위치할 수 있다. 사운드는 소스 위치로부터 각각의 음향 센서로 전파된다. 음향 센서들은 캡처된 사운드에 기초하여 오디오 데이터를 생성한다. 사운드는 사용자 머리의 다양한 부분들(예를 들어, 머리, 얼굴, 귀 표면)의 반사 및/또는 사용자의 머리를 통한 전파에 의해 변환되며, 이러한 변환은 사용자들마다 상이할 수 있다. 변환은 주파수 응답, 시간 지연, 및/또는 진폭 변화를 포함할 수 있다. 적어도 하나의 음향 전달 함수는 상이한 위치들에서 음향 센서들에 의해 캡처된 오디오 데이터의 비율에 기초하여 결정될 수 있다. 일부 실시예들에서, 음향 전달 함수들의 세트가 결정될 수 있다. 예를 들어, 각각의 개별 소스 위치에 대한 것과 음향 센서들의 쌍들 사이의 오디오 데이터 비율이 음향 전달 함수들의 세트를 결정하는 데 사용될 수 있다.

일부 실시예들에서, 사운드들은 제어된 사운드들(예를 들어, 웨어러블 디바이스에 의해 제어되거나 웨어러블 디바이스와 통신하는 스피커에 의해 방출되거나, 또는 프롬프트에 응답하여 사용자에 의해 말함)일 수 있다. 다른 실시예들에서, 검출된 사운드들은 디바이스의 로컬 영역 내에서 제어되지 않는 사운드를 포함할 수 있다. 일부 실시예들에서, 오디오 시스템은 도 4에 도시된 프로세스를 사용하여 적어도 하나의 음향 전달 함수를 결정한다. 결정된 음향 전달 함수는 센서 어레이의 각각의 마이크로폰에 의해 검출된 사운드들의 상대적 차이들을 나타내는 상대적 전달 함수를 포함할 수 있다. 일부 실시예들에서, 각각의 결정된 음향 전달 함수는 특정 소스 위치, 특정 주파수 범위, 또는 이들의 조합과 연관된다.

오디오 시스템은 사용자에 대한 적어도 하나의 결정된 음향 전달 함수를 알려진 사용자들과 연관된 하나 이상의 저장된 음향 전달 함수들과 비교한다(540). 일부 실시예들에서, 오디오 시스템은 결정된 음향 전달 함수와 비교될 적어도 하나의 결정된 음향 전달 함수와 연관된 소스 위치의 임계 거리와 동일하거나 임계 거리 내에 있는 위치와 연관된 하나 이상의 저장된 개인화된 기능을 식별한다. 일부 실시예들에서, 식별된 개인화된 기능들은 결정된 음향 전달 함수로서 공통 주파수 범위와 연관된 기능들로서 결정될 수 있다. 일부 실시예들에서, 오디오 시스템은 적어도 하나의 결정된 음향 전달 함수와 각각의 알려진 사용자와 연관된 식별된 저장된 음향 전달 함수들 간의 비교에 기초하여 하나 이상의 신뢰 값을 결정한다. 일부 실시예들에서, 음향 전달 함수들의 세트(예를 들어, 각각은 상이한 음향 센서 쌍을 사용하여 생성된 비율에 대응함)는 저장된 음향 전달 함수들의 대응하는 세트와 비교될 수 있다. 일부 실시예에서, 어레이 전달 함수와 음향 전달 함수들의 저장된 세트의 비교들은 유사성 학습, 표현 학습 및 거리 메트릭 계산을 포함하는 기계 학습 및 통계적 학습 알고리즘들을 사용하여 수행될 수 있다. 일부 실시예들에서, 이러한 특정 모델들/알고리즘들은 커널화된 최근접 이웃(kernalized nearest neighbors), 신경망, 비선형 변환(단일 또는 다중 인덱스 모델과 같은), 일반화된 주요 구성요소 분석, 국부적으로 선형 임베딩, 등각 투영 매핑 등을 포함한다.

오디오 시스템은 음향 전달 함수들의 비교에 기초하여 사용자를 식별한다(550). 예를 들어, 결정된 하나 이상의 음향 전달 함수를 제1 알려진 사용자의 저장된 음향 전달 함수들과 비교함으로써 획득된 신뢰도가 임계값을 충족하는 경우, 사용자는 제1 알려진 사용자로 식별될 수 있다. 일부 실시예들에서, 비교 결과는 사용자를 식별하거나 인증하기 위해 하나 이상의 추가 인증 방법(예를 들어, 음성, 지문 등)과 결합될 수 있다. 예를 들어, 사용자가 미리 결정된 문구를 말하도록 프롬프트된 경우(예를 들어, 520에서), 사용자의 말(speech)에 대응하는 사운드들은 사용자에 대한 음향 전달 함수를 결정하고 사용자에 대한 음성 인식을 수행하는 데 사용될 수 있다. 일부 실시예들에서, 사용자가 알려진 사용자로 식별되면, 디바이스는 하나 이상의 저장된 사용자 선호도들에 따라 하나 이상의 설정들을 자동으로 구성하는 것과 같이 사용자에게 개인화된 하나 이상의 동작을 수행할 수 있으며, 개인화된 콘텐트 등에 사용자가 액세스할 수 있도록 한다. 반면에, 사용자가 알려진 사용자로 식별될 수 없는 경우, 디바이스는 알려진 사용자들의 개인화된 콘텐트에 사용자가 액세스하는 것을 방지하고/하거나 하나 이상의 기능을 제한할 수 있다. 일부 실시예들에서, 오디오 시스템은 사용자 프로파일을 생성하도록(예를 들어, 교정 동작을 진행하도록) 권한이 있는 사용자를 프롬프트하여, 그들이 디바이스의 알려진 사용자가 될 수 있도록 할 수 있다.

웨어러블 디바이스를 착용한 사용자에 대한 음향 전달 함수들을 동적으로 결정하기 위해 웨어러블 디바이스의 오디오 시스템을 사용함으로써, 그에 따라, 결정된 음향 전달 함수들을 알려진 사용자와 연관된 이전에 결정되고 저장된 음향 전달 함수들과 비교함으로써 사용자는 디바이스의 알려진 사용자로 식별될 수 있다. 이러한 것은 사용자에게 방해가 되지 않는 핸즈프리 방식으로 사용자 식별 및/또는 인증을 가능하게 하고(특히 로컬 영역에서 제어되지 않는 사운드들을 사용하여, 사용자 측의 조치가 필요하지 않은 경우), 용이하게 추가적인 보안을 위해 다른 인증 방법들(예를 들어, 음성 인식)과 상호 참조될 수 있다. 또한, 결정된 음향 전달 함수들은 또한 웨어러블 디바이스가 동작하는 동안 사용자에게 오디오 콘텐트를 제공하는 데 사용될 수 있다.

예시적인 시스템 환경

도 6은 하나 이상의 실시예들에 따라, 헤드셋(605)을 포함하는 시스템(600)이다. 일부 실시예들에서, 헤드셋(605)은 도 1a의 웨어러블 디바이스(100) 또는 도 1b의 헤드셋(105)일 수 있다. 시스템(600)은 인공 현실 환경(예를 들어, 가상 현실 환경, 증강 현실 환경, 혼합 현실 환경, 또는 이들의 일부 조합)에서 동작할 수 있다. 도 6에 도시된 시스템(600)은 헤드셋(605), 콘솔(615)에 결합된 입력/출력(I/O) 인터페이스(610), 네트워크(620), 및 매핑 서버(625)를 포함한다. 도 6는 하나의 헤드셋(605) 및 하나의 I/O 인터페이스(610)를 포함하는 예시적인 시스템(600)을 도시하지만, 다른 실시예들에서는, 임의의 수의 이러한 구성요소들이 시스템(600)에 포함될 수 있다. 예를 들어, 다수의 헤드셋들이 있을 수 있으며, 이들 각각은 연관된 I/O 인터페이스(610)를 갖고, 각각의 헤드셋 및 I/O 인터페이스(610)는 콘솔(615)과 통신한다. 대안적인 구성들에서, 상이한 및/또는 추가의 구성요소들이 시스템(600)에 포함될 수 있다. 추가적으로, 도 6에 도시된 하나 이상의 구성요소와 관련하여 기술된 기능은 일부 실시예들에서 도 6과 관련하여 기술된 것과 다른 방식으로 구성요소들 사이에 분산될 수 있다. 예를 들어, 콘솔(615)의 기능의 일부 또는 전부는 헤드셋(605)에 의해 제공될 수 있다.

헤드셋(605)은 디스플레이 어셈블리(630), 광학 블록(635), 하나 이상의 포지션 센서들(640), 및 DCA(645)를 포함한다. 헤드셋(605)의 일부 실시예들은 도 6와 관련하여 설명된 것들과 상이한 구성 요소들을 갖는다. 추가로, 도 6와 관련하여 기술된 다양한 구성 요소들에 의해 제공되는 기능은 다른 실시예들에서 헤드셋(605)의 구성요소들 사이에서 상이하게 분포될 수 있거나, 또는 헤드셋(605)로부터 멀리 떨어진 별도의 어셈블리들에서 캡처될 수 있다.

디스플레이 어셈블리(630)는 콘솔(615)로부터 수신된 데이터에 따라 사용자에게 콘텐츠를 디스플레이한다. 디스플레이 어셈블리(630)는 하나 이상의 디스플레이 요소들(예를 들어, 디스플레이 요소들(120))을 사용하여 콘텐트를 디스플레이한다. 디스플레이 요소는 예를 들어 전자 디스플레이일 수 있다. 다양한 실시예들에서, 디스플레이 어셈블리(630)는 단일 디스플레이 요소 또는 다중 디스플레이 요소들(예를 들어, 사용자의 각각의 눈에 대한 디스플레이)을 포함한다. 전자 디스플레이의 예들은 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이, 액티브 매트릭스 유기 발광 다이오드 디스플레이(AMOLED), 도파관 디스플레이, 일부 다른 디스플레이, 또는 이들의 일부 조합을 포함한다. 일부 실시예들에서, 디스플레이 요소(120)는 또한 광학 블록(635)의 기능의 일부 또는 전부를 포함할 수 있음에 유의해야 한다.

광학 블록(635)은 전자 디스플레이로부터 수신된 이미지 광을 확대하고, 이미지 광과 연관된 광학 에러들을 수정하고, 수정된 이미지 광을 헤드셋(605)의 한쪽 또는 양쪽 아이박스에 제시할 수 있다. 다양한 실시예들에서, 광학 블록(635)은 하나 이상의 광학 요소들을 포함한다. 광학 블록(635)에 포함된 예시적인 광학 요소들은: 조리개, 프레넬 렌즈(Fresnel lens), 볼록 렌즈, 오목 렌즈, 필터, 반사면, 또는 이미지 광에 영향을 주는 임의의 다른 적절한 광학 요소를 포함한다. 더욱이, 광학 블록(635)은 상이한 광학 소자들의 조합을 포함할 수 있다. 일부 실시예들에서, 광학 블록(635)의 광학 소자들 중 하나 이상은 부분 반사 또는 반사 방지 코팅들과 같은 하나 이상의 코팅을 가질 수 있다.

광학 블록(635)에 의한 이미지 광의 확대 및 포커싱은 전자 디스플레이가 물리적으로 더 작게 되도록 하고, 더 가볍게 되도록 하고, 더 큰 디스플레이보다 더 적은 전력을 소비하게 한다. 추가적으로, 확대는 전자 디스플레이에 의해 제공된 콘텐츠의 시야를 증가시킬 수 있다. 예를 들어, 디스플레이된 콘텐츠의 시야는 디스플레이된 콘텐츠가 사용자 시야의 거의 모두(예를 들어, 약 110도 대각선)를 사용하여 제공되고, 일부 경우들에서는 사용자 시야의 모두를 사용하여 제공되도록 된다. 추가적으로, 일부 실시예들에서, 확대는 광학 요소들을 추가하거나 제거함으로써 조정될 수 있다.

일부 실시예들에서, 광학 블록(635)은 하나 이상의 광학 에러 유형을 수정하도록 설계될 수 있다. 광학 에러의 예들은 배럴 또는 핀쿠션 왜곡(barrel or pincushion distortion), 세로 색수차 또는 가로 색수차를 포함한다. 광학 에러의 다른 유형들은 구면 수차, 색수차, 또는 렌즈 상면 만곡(lens field curvature), 난시 또는 광학 에러의 기타 유형으로 인한 에러들을 더 포함할 수 있다. 일부 실시예들에서, 디스플레이를 위해 전자 디스플레이에 제공된 콘텐트는 사전 왜곡되고(pre-distorted), 광학 블록(635)은 콘텐트에 기초하여 발생된 전자 디스플레이로부터의 이미지 광을 수신할 때 왜곡을 수정한다.

포지션 센서(640)는 헤드셋(605)의 포지션을 나타내는 데이터를 생성하는 전자 디바이스이다. 포지션 센서(640)는 헤드셋(605)의 움직임에 응답하여 하나 이상의 측정 신호들을 생성한다. 포지션 센서(190)는 포지션 센서(640)의 실시예이다. 포지션 센서(640)의 예들은 하나 이상의 IMU, 하나 이상의 가속도계, 하나 이상의 자이로스코프, 하나 이상의 자력계, 움직임을 검출하는 다른 적합한 유형의 센서, 또는 이들의 일부 조합을 포함한다. 포지션 센서(640)는 병진 운동(전진/후퇴, 상/하, 좌/우)을 측정하기 위한 다중 가속도계들 및 회전 운동(예를 들어, 피치(pitch), 요(yaw), 및 롤(roll))을 측정하기 위한 다중 자이로스코프들을 포함한다. 일부 실시예들에서, IMU는 측정 신호들을 빠르게 샘플링하고, 샘플링된 데이터로부터 헤드셋(605)의 추정된 포지션을 계산한다. 예를 들어, IMU는 속도 벡터를 추정하기 위해 시간에 걸쳐 가속도계들로부터 수신된 측정 신호들을 통합하고, 헤드셋(605) 상의 기준 지점의 추정된 포지션을 결정하기 위해 시간에 걸쳐 속도 벡터를 통합한다. 기준 지점은 헤드셋(605)의 포지션을 기술하는 데 사용될 수 있는 지점이다. 기준 지점은 일반적으로 공간의 한 지점으로 정의될 수 있지만, 실제로 기준 지점은 헤드셋(605) 내의 지점으로서 정의된다.

DCA(645)는 로컬 영역의 일부에 대한 깊이 정보를 생성한다. DCA는 하나 이상의 이미징 디바이스 및 DCA 컨트롤러를 포함한다. DCA(645)는 또한 조명기를 포함할 수 있다. DCA(645)의 동작 및 구조는 도 1a와 관련하여 위에서 설명되었다.

오디오 시스템(650)은 헤드셋(605)의 사용자에게 오디오 콘텐트를 제공한다. 오디오 시스템(650)은 위에서 언급된 오디오 시스템(200)의 실시예다. 오디오 시스템(650)은 하나 이상의 음향 센서, 하나 이상의 변환기, 및 오디오 컨트롤러를 포함할 수 있다. 오디오 시스템(650)은 공간화된 오디오 콘텐트를 사용자에게 제공할 수 있다. 일부 실시예들에서, 오디오 시스템(650)은 네트워크(620)를 통해 매핑 서버(625)로부터 음향 파라미터들을 요청할 수 있다. 음향 파라미터들은 로컬 영역의 하나 이상의 음향 속성(예를 들어, 실내 충격 응답, 잔향 시간, 잔향 레벨 등)을 설명한다. 오디오 시스템(650)은 예를 들어 DCA(645)로부터 로컬 영역의 적어도 일부를 설명하는 정보 및/또는 포지션 센서(640)로부터 헤드셋(605)에 대한 위치 정보를 제공할 수 있다. 오디오 시스템(650)은 매핑 서버(625)로부터 수신된 하나 이상의 음향 파라미터를 사용하여 하나 이상의 사운드 필터를 생성할 수 있고, 사용자에게 오디오 콘텐트를 제공하기 위해 사운드 필터들을 사용할 수 있다.

오디오 시스템(650)은 또한 헤드셋(605)의 로컬 영역 내에서 전송된 사운드들에 기초하여 사용자에 대한 하나 이상의 음향 전달 함수들을 결정할 수 있다. 결정된 음향 전달 함수들은 사용자 신체의 일부(예를 들어, 사용자의 머리, 얼굴, 귀, 몸통 등)의 크기, 모양, 및/또는 밀도에 기초할 수 있으며, 따라서 헤드셋(605)의 상이한 착용자들에 따라 상이할 수 있다. 일부 실시예들에서, 결정된 음향 전달 함수들은 개인화된 오디오 콘텐트를 사용자에게 제공하기 위해 사용될 수 있다. 또한, 음향 전달 함수들은 결정된 함수들을 알려진 사용자들과 연관되고 미리 결정된 음향 전달 함수들과 비교함으로써 사용자를 식별하거나 인증하는 데 사용될 수 있다. 식별 또는 인증에 기초하여, 하나 이상의 보안 기능(예를 들어, 사용자 계정에 사용자를 로그인, 사용자 계정에 사용자가 로그인하는 것을 방지, 사용자가 개인화된 데이터에 액세스하는 것을 허용 또는 방지 등)이 수행될 수 있다.

I/O 인터페이스(610)는 사용자가 동작 요청들(action requests)을 보내고 콘솔(615)로부터 응답들을 수신하도록 허용하는 디바이스이다. 동작 요청은 특정 동작을 수행하기 위한 요청이다. 예를 들어, 동작 요청은 이미지 또는 비디오 데이터의 시작 또는 종료를 위한 지시, 또는 애플리케이션 내에서의 특정 동작을 수행하기 위한 지시일 수 있다. I/O 인터페이스(610)는 하나 이상의 입력 디바이스를 포함할 수 있다. 예시적인 입력 디바이스들은: 키보드, 마우스, 게임 컨트롤러, 또는 동작 요청들을 수신하고 동작 요청들을 콘솔(615)에 전달하기 위한 임의의 다른 적절한 디바이스를 포함한다. I/O 인터페이스(610)에 의해 수신된 동작 요청은 그 동작 요청에 대응하는 동작을 수행하는 콘솔(615)로 전달된다. 일부 실시예들에서, I/O 인터페이스(610)는 I/O 인터페이스(610)의 초기 포지션에 대한 I/O 인터페이스(610)의 추정된 포지션을 나타내는 교정 데이터를 캡처하는 IMU를 포함한다. 일부 실시예들에서, I/O 인터페이스(610)는 콘솔(615)로부터 수신된 지시들에 따라 사용자에게 햅틱 피드백을 제공할 수 있다. 예를 들어, 동작 요청이 수신될 때 햅틱 피드백이 제공되거나, 콘솔(615)이 동작을 수행할 때 I/O 인터페이스(610)가 햅틱 피드백을 발생시키게 하는 지시들을 콘솔(615)이 I/O 인터페이스(610)에 전달한다.

콘솔(615)은 DCA(645), 헤드셋(605), 및 I/O 인터페이스(610) 중 하나 이상으로부터 수신된 정보에 따라 처리하기 위해 콘텐츠를 헤드셋(605)에 제공한다. 도 6에 도시된 예에서, 콘솔(615)은 애플리케이션 저장소(655), 추적 모듈(660), 및 엔진(665)을 포함한다. 콘솔(615)의 일부 실시예들은 도 6와 관련하여 기술된 것들과는 다른 모듈들 또는 구성요소들을 갖는다. 유사하게, 아래에서 추가로 설명되는 기능들은 도 6와 관련하여 기술된 것과 다른 방식으로 콘솔(615)의 구성요소들 사이에 분산될 수 있다. 일부 실시예들에서, 콘솔(615)과 관련하여 본 명세서에서 논의된 기능은 헤드셋(605) 또는 원격 시스템에서 구현될 수 있다.

애플리케이션 저장소(655)는 콘솔(615)에 의해 실행하기 위한 하나 이상의 애플리케이션을 저장한다. 애플리케이션은 프로세서에 의해 실행될 때 사용자에 제공하기 위한 콘텐트를 생성하는 지시들의 그룹이다. 애플리케이션에 의해 발생된 콘텐트는 헤드셋(605) 또는 I/O 인터페이스(610)의 움직임을 통해 사용자로부터 수신된 입력들에 응답할 수 있다. 애플리케이션들의 예들은: 게임 애플리케이션들, 회의 애플리케이션들, 비디오 재생 애플리케이션들, 또는 다른 적절한 애플리케이션들을 포함한다.

추적 모듈(660)은 DCA(645), 하나 이상의 포지션 센서(640), 또는 이들의 일부 조합으로부터의 정보를 사용하여 헤드셋(605) 또는 I/O 인터페이스(610)의 움직임을 추적한다. 예를 들어, 추적 모듈(660)은 헤드셋(605)으로부터의 정보에 기초하여 로컬 영역의 매핑에서 헤드셋(605)의 기준 지점의 포지션을 결정한다. 추적 모듈(660)은 또한 물체 또는 가상 물체의 포지션들을 결정할 수 있다. 추가적으로, 일부 실시예들에서, 추적 모듈(660)은 헤드셋(605)의 미래 위치를 예측하기 위해 DCA(645)로부터의 로컬 지역의 표현뿐만 아니라 포지션 센서(640)로부터의 헤드셋(605)의 포지션을 나타내는 데이터의 부분들을 사용할 수 있다. 추적 모듈(660)은 헤드셋(605) 또는 I/O 인터페이스(610)의 추정된 또는 예측된 미래 포지션을 엔진(665)에 제공한다.

엔진(665)은 또한 애플리케이션들을 실행하고, 추적 모듈(660)로부터 헤드셋(605)의 포지션 정보, 가속도 정보, 속도 정보, 예측된 미래 포지션들, 또는 이들의 일부 조합을 수신한다. 수신된 정보에 기초하여, 엔진(665)은 사용자에게 제공하기 위해 헤드셋(605)에 제공할 콘텐트를 결정한다. 예를 들어, 수신된 정보가 사용자가 왼쪽을 봤다는 것을 나타내면, 엔진(665)은 가상 로컬 지역에서 또는 추가 콘텐트로 로컬 지역을 증강하는 로컬 지역에서 사용자의 움직임을 미러링하는 헤드셋(605)에 대한 콘텐트를 발생시킨다. 추가적으로, 엔진(665)은 I/O 인터페이스(610)로부터 수신된 동작 요청에 응답하여 콘솔(615) 상에서 실행되는 애플리케이션 내에서 동작을 수행하고, 동작이 수행되었다는 피드백을 사용자에게 제공한다. 제공된 피드백은 헤드셋(605)를 통한 시각적 또는 청각적 피드백이거나 또는 I/O 인터페이스(610)를 통한 햅틱 피드백일 수 있다.

네트워크(620)는 헤드셋(605) 및/또는 콘솔(615)을 매핑 서버(625)에 결합한다. 네트워크(620)는 무선 및/또는 유선 통신 시스템들 모두를 사용하여 로컬 영역 및/또는 광역 네트워크들의 임의의 조합을 포함할 수 있다. 예를 들어, 네트워크(620)는 모바일 전화 네트워크들뿐만 아니라 인터넷을 포함할 수 있다. 한 실시예에서, 네트워크(620)는 표준 통신 기술 및/또는 프로토콜들을 사용한다. 따라서, 네트워크(620)는 이더넷, 802.11, 마이크로웨이브 액세스를 위한 전세계 상호 운용성(WiMAX: worldwide interoperability for microwave access), 2G/3G/4G 모바일 통신 프로토콜, 디지털 가입자 회선(DSL), 비동기 전송 모드(ATM), 인피니밴드(InfiniBand), PCI 익스프레스 어드밴스드 스위칭 등과 같은 기술들을 사용하는 링크들을 포함할 수 있다. 유사하게, 네트워크(620)에서 사용되는 네트워킹 프로토콜들은 다중 프로토콜 레이블 스위칭(MPLS), 전송 제어 프로토콜/인터넷 프로토콜(TCP/IP), 사용자 데이터그램 프로토콜(UDP), 하이퍼텍스트 전송 프로토콜(HTTP), 단순 메일 전송 프로토콜(SMTP), 파일 전송 프로토콜(FTP) 등을 포함할 수 있다. 네트워크(620)을 통해 교환되는 데이터는 이진 형식의 이미지 데이터를 포함하는 기술들 및/또는 포맷들(예를 들어, 포터블 네트워크 그래픽(Portable Network Graphics)(PNG)), HTML(Hypertext Markup Language), XML(Extensible Markup Language) 등을 사용하여 표현될 수 있다. 또한, 링크들의 모두 또는 일부는 보안 소켓 계층(SSL), 전송 계층 보안(TLS), 가상 사설망(VPN), 인터넷 프로토콜 보안(IPsec) 등과 같은 통상의 암호화 기술들을 사용하여 암호화될 수 있다.

매핑 서버(625)는 복수의 공간들을 설명하는 가상 모델을 저장하는 데이터베이스를 포함할 수 있으며, 가상 모델 내의 하나의 위치는 헤드셋(605)의 로컬 영역의 현재 구성에 대응한다. 매핑 서버(625)는 네트워크(620)를 통해 헤드셋(605)으로부터 로컬 영역의 적어도 일부를 설명하는 정보 및/또는 로컬 영역에 대한 위치 정보를 수신한다. 매핑 서버(625)는 수신된 정보 및/또는 위치 정보에 기초하여 헤드셋(605)의 로컬 영역과 연관된 가상 모델의 위치를 결정한다. 매핑 서버(625)는 가상 모델의 결정된 위치 및 결정된 위치와 연관된 임의의 음향 파라미터들에 부분적으로 기초하여 로컬 영역과 연관된 하나 이상의 음향 파라미터를 결정(예를 들어, 검색)한다. 매핑 서버(625)는 로컬 영역의 위치 및 로컬 영역과 연관된 음향 파라미터들의 임의의 값들을 헤드셋(605)으로 전송할 수 있다.

추가 구성 정보

본 개시의 실시예들에 대한 상술한 설명은 예시의 목적으로 제공되었다; 이러한 것은 포괄적인 것으로 의도되지 않았으며, 본 개시내용을 개시된 정확한 형태들로 제한하려 의도되지 않았다. 당업자들는 위의 개시내용에 비추어 많은 수정들 및 변형들이 가능하다는 것을 인식할 수 있다.

본 설명의 일부 부분들은 정보에 대한 동작들의 알고리즘들 및 상징적 표현들의 관점에서 본 개시내용의 실시예들을 기술한다. 이러한 알고리즘적 설명들 및 표현들은 데이터 처리 분야의 당업자들에 의해 그의 작업의 내용을 다른 당업자들에게 효과적으로 전달하기 위해 일반적으로 사용된다. 이들 동작들은 기능적으로, 계산적으로 또는 논리적으로 설명되었지만, 컴퓨터 프로그램들 또는 등가의 전기 회로들, 마이크로코드, 등에 의해 구현되는 것으로 이해된다. 더욱이, 이러한 동작들의 배열들을 일반성 손실 없이 모듈들로 지칭하는 것이 때때로 편리한 것으로 입증되었다. 기술된 동작들 및 관련 모듈들은 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합으로 구현될 수 있다.

본 명세서에서 기술된 단계들, 동작들 또는 프로세스들의 어떠한 것도 하나 이상의 하드웨어 또는 소프트웨어 모듈들로 단독으로 또는 다른 디바이스와 조합하여 수행되거나 구현될 수 있다. 한 실시예에서, 소프트웨어 모듈은 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독 가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현되며, 컴퓨터 프로그램 코드는 컴퓨터 프로세서에 의해 실행되어 설명된 단계들, 동작들 또는 프로세스들 중 임의의 것 또는 모두를 수행할 수 있다.

본 개시내용의 실시예들은 또한 본 명세서의 동작들을 수행하기 위한 장치에 관한 것일 수 있다. 이러한 장치는 필요한 목적들을 위해 특별히 구성될 수 있고/있거나, 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 디바이스를 포함할 수 있다. 이러한 컴퓨터 프로그램은 비일시적인, 유형의 컴퓨터 판독 가능한 저장 매체, 또는 전자 지시들을 저장하기에 적합한 임의의 유형의 매체에 저장될 수 있고, 이러한 매체는 컴퓨터 시스템 버스에 결합될 수 있다. 또한, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나 증가된 컴퓨팅 능력을 위해 다중 프로세서 설계들을 채용하는 아키텍처일 수 있다.

본 개시내용의 실시예들은 또한 본 명세서에 기술된 컴퓨팅 프로세스에 의해 생성되는 제품에 관한 것일 수 있다. 이러한 제품은 컴퓨팅 프로세스로부터 초래된 정보를 포함할 수 있으며, 여기서 정보는 비일시적, 유형의 컴퓨터 판독 가능한 저장 매체에 저장되며, 여기에 설명된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예들을 포함할 수 있다.

본 명세서에서 사용된 언어는 원칙적으로 가독성 및 교육 목적으로 선택되었으며, 본 발명의 주제를 정확하게 기술하거나 제한하기 위해 선택되지 않았을 수 있다. 그러므로, 본 개시내용의 범주는 이러한 상세한 설명에 의해 제한되는 것이 아니라, 여기에 기초한 본 출원에 대해 주장하는 청구범위에 의해 제한되는 것으로 의도된다. 따라서, 실시예들의 개시내용은 다음의 청구범위에 제시된 본 개시내용의 범주를 예시하기 위한 것이지 제한하기 위한 것은 아니다.

Claims

오디오 시스템에 있어서:
오디오 시스템의 로컬 영역 내에서 전송되는 사운드를 검출하도록 구성된 복수의 음향 센서들을 포함하는 센서 어레이; 및
컨트롤러를 포함하며,
상기 컨트롤러는:
검출된 사운드에 부분적으로 기초하여 적어도 하나의 음향 전달 함수를 결정하고 - 상기 적어도 하나의 음향 전달 함수는 오디오 시스템의 사용자의 머리에 의해 부분적으로 야기되는 사운드의 변환을 정의함 -;
상기 적어도 하나의 음향 전달 함수에 기초하여 사용자를 식별하도록 구성되는, 오디오 시스템.
제1항에 있어서, 상기 컨트롤러는:
결정된 적어도 하나의 음향 전달 함수를 적어도 하나의 저장된 음향 전달 함수와 비교함으로써 적어도 하나의 음향 전달 함수에 기초하여 사용자를 식별하도록 구성되는, 오디오 시스템.
제1항에 있어서,
상기 복수의 음향 센서들은 사운드로부터 제1 오디오 신호를 생성하도록 구성된 제1 음향 센서 및 사운드로부터 제2 오디오 신호를 생성하도록 구성된 제2 음향 센서를 포함하고;
상기 컨트롤러는 상기 제1 오디오 신호와 상기 제2 오디오 신호 사이의 비율을 결정함으로써 상기 음향 전달 함수를 결정하도록 구성되는, 오디오 시스템.
제3항에 있어서, 상기 컨트롤러는 복수의 음향 센서들 중 2개의 음향 센서들 사이의 비율에 각각 기초하는 음향 전달 함수들의 세트를 결정하고, 결정된 음향 전달 함수들의 세트에 기초하여 사용자를 식별하도록 구성되는, 오디오 시스템.
제1항에 있어서, 복수의 음향 센서들은 사용자의 각 귀에 근접하게 위치된 한 쌍의 음향 센서들을 포함하고, 상기 음향 전달 함수는 머리 관련 전달 함수(HRTF)(head-related transfer function)에 대응하는, 오디오 시스템.
제1항에 있어서, 상기 센서 어레이는 헤드셋에 위치되는, 오디오 시스템.
제6항에 있어서, 상기 오디오 시스템은 근접 센서를 더 포함하고,
상기 컨트롤러는 또한:
상기 근접 센서로부터 수신된 입력에 기초하여 사용자가 헤드셋을 착용하고 있는지를 결정하고;
사용자가 헤드셋을 착용하고 있다는 결정에 응답하여 음향 전달 함수를 결정하도록 구성되는, 오디오 시스템.
제1항에 있어서, 상기 컨트롤러는 또한:
오디오 시스템의 포지션에 대해 로컬 영역 내의 위치를 나타내는 검출된 사운드의 소스 위치를 결정하고;
결정된 적어도 하나의 음향 전달 함수를 결정된 소스 위치와 연관시키고;
상기 결정된 소스 위치에 기초하여 권한이 있는 사용자에 대응하는 적어도 하나의 저장된 음향 전달 함수를 식별하고;
상기 결정된 적어도 하나의 음향 전달 함수와 식별된 적어도 하나의 저장된 음향 전달 함수의 비교에 기초하여 사용자를 식별하도록 구성되는, 오디오 시스템.
제8항에 있어서, 상기 적어도 하나의 저장된 음향 전달 함수는 상기 결정된 소스 위치의 임계 거리 내에 있는 소스 위치와 연관되는, 오디오 시스템.
제1항에 있어서,
a) 상기 컨트롤러는 또한 스피커로 하여금 사운드를 방출하게 하도록 구성되거나; 또는
b) 상기 사운드는 사용자에 의해 생성되거나;
c: 상기 컨트롤러는 또한:
상기 비교의 결과에 기초하여 하나 이상의 보안 기능을 수행하도록 구성되고, 상기 하나 이상의 보안 기능은 개인화된 데이터에 대한 사용자에 의한 액세스에 권한을 부여하거나 또는 하나 이상의 저장된 사용자 선호도에 기초하여 웨어러블 디바이스의 구성을 설정하는 것을 포함하는, 오디오 시스템.
방법에 있어서:
복수의 음향 센서들을 포함하는 센서 어레이를 사용하여 헤드셋의 로컬 영역 내에서 전송되는 사운드를 검출하는 단계;
검출된 사운드에 부분적으로 기초하여 사용자와 연관된 적어도 하나의 음향 전달 함수를 결정하는 단계로서, 상기 적어도 하나의 음향 전달 함수는 헤드셋의 사용자의 머리에 의해 부분적으로 야기되는 사운드 변환을 정의하는, 상기 적어도 하나의 음향 전달 함수를 결정하는 단계; 및
결정된 음향 전달 함수에 기초하여 사용자를 식별하는 단계를 포함하는, 방법.
제11항에 있어서,
a) 상기 결정된 음향 전달 함수에 기초하여 사용자를 식별하는 단계는 결정된 적어도 하나의 음향 전달 함수를 적어도 하나의 저장된 음향 전달 함수와 비교하는 단계를 포함하거나; 또는
b) 상기 복수의 음향 센서들은 사운드로부터 제1 오디오 신호를 생성하도록 구성된 제1 음향 센서 및 사운드로부터 제2 오디오 신호를 생성하도록 구성된 제2 음향 센서를 포함하고; 상기 음향 전달 함수를 결정하는 단계는 상기 제1 오디오 신호와 상기 제2 오디오 신호 사이의 비율을 결정하는 단계를 포함하거나; 또는
c) 헤드셋의 근접 센서로부터 수신된 입력에 기초하여 사용자가 헤드셋을 착용하고 있는지를 결정하는 단계; 및
사용자가 헤드셋을 착용하고 있다는 결정에 응답하여 음향 전달 함수를 결정하는 단계를 더 포함하거나; 또는
d) 상기 비교의 결과에 기초하여 하나 이상의 보안 기능을 수행하는 단계로서, 상기 하나 이상의 보안 기능은 개인화된 데이터에 대한 사용자에 의한 액세스에 권한을 부여하거나 또는 하나 이상의 저장된 사용자 선호도에 기초하여 헤드셋의 구성을 설정하는 것을 포함하는, 상기 하나 이상의 보안 기능을 수행하는 단계를 더 포함하는, 방법.
제11항에 있어서,
헤드셋의 포지션에 대해 로컬 영역 내의 위치를 나타내는 검출된 사운드의 소스 위치를 결정하는 단계;
결정된 적어도 하나의 음향 전달 함수를 결정된 소스 위치와 연관시키는 단계;
상기 결정된 소스 위치에 기초하여 권한이 있는 사용자에 대응하는 적어도 하나의 저장된 음향 전달 함수를 식별하는 단계; 및
상기 결정된 적어도 하나의 음향 전달 함수와 식별된 적어도 하나의 저장된 음향 전달 함수의 비교에 기초하여 사용자를 식별하는 단계를 더 포함하는, 방법.
제11항에 있어서, 적어도 하나의 저장된 음향 전달 함수는 결정된 소스 위치의 임계 거리 내에 있는 소스 위치와 연관되는, 방법.
지시들을 저장하는 비일시적 컴퓨터 판독 가능한 매체로서, 상기 지시들은 하나 이상의 프로세서들에 의해 실행될 때 상기 하나 이상의 프로세서들로 하여금:
복수의 음향 센서들을 포함하는 센서 어레이를 사용하여 헤드셋의 로컬 영역 내에서 전송되는 사운드를 검출하는 동작;
검출된 사운드에 부분적으로 기초하여 사용자와 연관된 적어도 하나의 음향 전달 함수를 결정하는 동작으로서, 상기 적어도 하나의 음향 전달 함수는 헤드셋의 사용자의 머리에 의해 부분적으로 야기되는 사운드 변환을 정의하는, 상기 적어도 하나의 음향 전달 함수를 결정하는 동작; 및
결정된 음향 전달 함수에 기초하여 사용자를 식별하는 동작을 포함하는 동작들을 수행하게 하는, 비일시적 컴퓨터 판독 가능한 매체.