KR20220034836A - 조직 전도 오디오 시스템에서의 누화 완화 - Google Patents

Abstract

헤드셋상의 오디오 시스템은 조직 전도를 통해 사용자의 제1 귀의 내이에 오디오 콘텐츠를 제공한다. 상기 시스템은 상기 헤드셋상의 하나 이상의 센서들을 통해 상기 제공된 오디오 콘텐츠에 대한 데이터를 모니터링한다. 상기 하나 이상의 센서들은 사용자의 제2 귀에서 상기 제공된 오디오 콘텐츠에 대한 데이터를 캡처하도록 구성된 적어도 하나의 센서를 포함한다. 상기 시스템은 상기 데이터와 관련된 어레이 전달 함수(ATF)들을 추정하고, 상기 추정된 ATF들을 사용하여 상기 변환기 어레이에 대한 사운드 필터들을 생성한다. 상기 시스템은 부분적으로 상기 사운드 필터들에 기초하여 조정된 오디오 콘텐츠를 제공한다. 상기 조정된 오디오 콘텐츠는 상기 제1 귀에서 상기 조정된 오디오 콘텐츠의 진폭이 상기 제2 귀에서보다 더 큰 진폭을 갖도록 상기 제2 귀에서 감쇠 영역을 갖는다.

Description

조직 전도 오디오 시스템에서의 누화 완화

본 발명은 일반적으로 조직 전도 오디오 시스템에 관한 것이며, 특히 조직 전도 오디오 시스템에서의 누화(crosstalk) 완화에 관한 것이다.

헤드 장착형 디스플레이(Head Mounted Display; HMD)는 가상 및/또는 증강 정보를 사용자에게 제공하기 위해 사용될 수 있다. 예를 들어, 증강 현실(AR) 헤드셋 또는 가상 현실(VR) 헤드셋이 증강/가상 현실을 시뮬레이션하기 위해 사용될 수 있다. 통상적으로, AR/VR 헤드셋의 사용자는 컴퓨터 생성 사운드, 비디오 및 햅틱을 수신하거나 또는 달리 경험하기 위해 헤드폰을 착용한다. 그러나, 헤드폰을 착용하는 경우, 실제 환경으로부터의 소리가 억제되어 사용자가 예기치 않은 위험에 노출될 수 있으며 또한 의도하지 않게 사용자를 환경으로부터 격리시킬 수 있다. 또한, 상기 HMD의 외부 케이싱이나 스트랩으로부터 분리된 헤드폰은 미관상 좋지 않거나 사용 중 파손될 수 있다.

조직 전도 오디오 시스템에서 누화를 완화하기 위한 방법. 이 방법은 헤드셋의 변환기 어레이를 통해 조직 전도(예를 들어, 골 전도 및/또는 연골 전도)를 통한 오디오 콘텐츠를 사용자의 제1 귀에 제공한다. 상기 헤드셋의 센서 어레이는 사용자의 제1 귀와 제2 귀 모두에서 상기 제공된 오디오 콘텐츠에 대한 데이터를 모니터링한다. 상기 오디오 콘텐츠와 관련된 어레이 전달 함수(ATF)들은 상기 센서 데이터에 기초하여 추정된다. 사운드 필터들은 상기 추정된 ATF들을 사용하여 생성된다. 상기 사운드 필터들은 사용자의 귀에 조정된 오디오 콘텐츠를 제공하는 변환기 어레이로부터 변환기 신호에 적용된다. 상기 제1 귀에서 상기 조정된 오디오 콘텐츠의 진폭은 상기 제2 귀의 감쇠된 영역에서 상기 조정된 오디오 콘텐츠의 진폭보다 크다. 일부 실시예들에 있어서, 상기 제2 귀에서 상기 조정된 오디오 콘텐츠의 진폭은 상기 제1 귀의 감쇠된 영역에서 상기 조정된 오디오 콘텐츠의 진폭보다 크다. 일부 실시예들에 있어서, 일시적 컴퓨터 판독가능 매체는 프로그램 코드 명령어들을 저장하도록 구성된다. 상기 코드 명령어들은 프로세서에 의해 실행될 때 상기 프로세서로 하여금 상기 방법의 단계들을 수행하게 한다.

일부 실시예들에 있어서, 오디오 시스템은 헤드셋(예를 들어, 근안 디스플레이, 헤드 장착형 디스플레이)의 일부이다. 상기 오디오 시스템은 변환기 어레이, 하나 이상의 센서들 및 제어기를 포함한다. 상기 변환기 어레이는 조직 전도를 통해 사용자의 제1 귀의 내이(inner ear)에 오디오 콘텐츠를 제공하도록 구성된다. 상기 헤드셋상의 하나 이상의 센서들은 상기 제공된 오디오 콘텐츠에 대한 데이터를 모니터링하도록 구성되고, 상기 하나 이상의 센서들은 제2 귀에서 상기 제공된 오디오 콘텐츠에 대한 데이터를 캡처하도록 구성된 적어도 하나의 센서를 포함한다. 상기 제어기는 상기 데이터와 관련된 어레이 전달 함수(ATF)들을 추정하고, 또한 상기 추정된 ATF들을 사용하여 상기 변환기 어레이에 대한 사운드 필터들을 생성하도록 구성된다. 상기 제어기는 부분적으로 상기 사운드 필터들에 기초하여 조정된 오디오 콘텐츠를 제공하도록 상기 변환기 어레이에 명령하고, 여기서 상기 조정된 오디오 콘텐츠는 상기 제1 귀에서의 오디오 콘텐츠의 진폭이 상기 제2 귀에서보다 높은 진폭을 갖도록 상기 제2 귀에서 감쇠 영역을 갖는다.

본 발명의 제1 양태에 따르면, 조직 전도를 통해 사용자의 제1 귀의 내이에 오디오 콘텐츠를 제공하는 변환기 어레이를 통해 오디오 콘텐츠를 제공하는 단계; 헤드셋상의 하나 이상의 센서들을 통해 상기 제공된 오디오 콘텐츠에 대한 데이터를 모니터링하는 단계로서, 상기 하나 이상의 센서들은 상기 사용자의 제2 귀에서 상기 제공된 오디오 콘텐츠에 대한 데이터를 캡처하도록 구성되는 적어도 하나의 센서를 포함하는, 상기 모니터링하는 단계; 상기 데이터와 관련된 어레이 전달 함수(ATF)들을 추정하는 단계; 상기 추정된 ATF들을 사용하여 상기 변환기 어레이에 대한 사운드 필터들을 생성하는 단계; 및 상기 변환기 어레이를 통해, 부분적으로 상기 사운드 필터들에 기초하여, 조정된 오디오 콘텐츠를 제공하는 단계를 포함하는 방법이 제공되며, 상기 조정된 오디오 콘텐츠는 상기 제1 귀에서 상기 조정된 오디오 콘텐츠의 진폭이 상기 제2 귀에서보다 큰 진폭을 갖도록 상기 제2 귀에서 감쇠 영역을 갖는다.

일부 실시예들에 있어서, 상기 조직 전도는 연골 전도 및 골 전도 중 적어도 하나를 포함할 수 있다.

일부 실시예들에 있어서, 상기 변환기 어레이는 제1 그룹의 변환기들 및 제2 그룹의 변환기들을 포함할 수 있으며, 상기 제1 그룹의 변환기들은 상기 제1 귀에 근접하고, 상기 제2 그룹의 변환기들은 상기 제2 귀에 근접한다.

일부 실시예들에 있어서, 상기 하나 이상의 센서들은 제1 그룹의 센서들 및 제2 그룹의 센서들을 포함할 수 있으며, 상기 제1 그룹의 센서들은 상기 제1 귀에 근접하고, 상기 제2 그룹의 센서들은 상기 제2 귀에 근접하고 상기 적어도 하나의 센서를 포함한다.

일부 실시예들에 있어서, 상기 헤드셋상의 하나 이상의 센서들을 통해 상기 제공된 오디오 콘텐츠에 대한 데이터를 모니터링하는 단계는: 상기 제1 그룹의 센서들 및 상기 제2 그룹의 센서들 중 적어도 하나를 사용하여 상기 제공된 오디오 콘텐츠에 대한 데이터를 모니터링하는 단계를 포함할 수 있다.

일부 실시예들에 있어서, 상기 추정된 ATF들을 사용하여 상기 변환기 어레이에 대한 사운드 필터들을 생성하는 단계는: 상기 사운드 필터들을 생성하기 위해 상기 추정된 ATF들에 최적화 알고리즘을 적용시키는 단계를 포함할 수 있으며, 상기 최적화 알고리즘은 하나 이상의 제약 조건들을 따른다

일부 실시예들에 있어서, 상기 하나 이상의 제약 조건들은 상기 제1 귀가 밝은 구역으로 지정되고 상기 제2 귀가 조용한 구역으로 지정되는 것을 포함할 수 있다.

일부 실시예들에 있어서, 상기 방법은 추가로: 조직 전도를 통해 제2 오디오 콘텐츠를 제2 귀의 내이에 제공하는 상기 변환기 어레이를 통해 상기 제2 오디오 콘텐츠를 제공하는 단계; 상기 헤드셋상의 적어도 하나의 센서를 통해, 상기 제공된 제2 오디오 콘텐츠에 대한 제2 데이터를 모니터링하는 단계로서, 상기 적어도 하나의 센서는 상기 제2 귀에서 상기 제공된 제2 오디오 콘텐츠에 대한 제2 데이터를 캡처하도록 구성되는 적어도 하나의 센서를 포함하는, 상기 제2 데이터를 모니터링하는 단계; 상기 제2 데이터와 관련된 제2 어레이 전달 함수(ATF)들을 추정하는 단계; 상기 추정된 제2 ATF들을 사용하여 상기 변환기 어레이에 대한 제2 사운드 필터들을 생성하는 단계; 및 상기 변환기 어레이를 통해, 부분적으로 상기 제2 사운드 필터들에 기초하여, 조정된 제2 오디오 콘텐츠를 제공하는 단계를 포함하며, 상기 조정된 오디오 콘텐츠는 상기 제1 귀에서 상기 조정된 오디오 콘텐츠의 진폭이 상기 제2 귀에서보다 큰 진폭을 갖도록 상기 제1 귀에서 감쇠 영역을 포함할 수 있다.

일부 실시예들에 있어서, 조정된 오디오 콘텐츠를 제공하는 단계 및 조정된 제2 오디오 콘텐츠를 제공하는 단계는 서로 상이한 시간 기간들에 걸쳐 발생할 수 있다.

본 발명의 제2 양태에 따르면, 조직 전도를 통해 사용자의 제1 귀의 내이에 오디오 콘텐츠를 제공하도록 구성되는 변환기 어레이; 상기 제공된 오디오 콘텐츠에 대한 데이터를 모니터링하도록 구성되는 헤드셋상의 하나 이상의 센서들로서, 상기 하나 이상의 센서들은 제2 귀에서 상기 제공된 오디오 콘텐츠에 대한 데이터를 캡처하도록 구성되는 적어도 하나의 센서를 포함하는, 상기 하나 이상의 센서들; 및 제어기로서: 상기 데이터와 관련된 어레이 전달 함수(ATF)들을 추정하고, 상기 추정된 ATF들을 사용하여 상기 변환기 어레이에 대한 사운드 필터들을 생성하고, 부분적으로 상기 사운드 필터들에 기초하여, 조정된 오디오 콘텐츠를 제공하도록 상기 변환기 어레이에게 명령하도록 구성되는, 상기 제어기를 포함하는, 오디오 시스템이 제공되며, 상기 조정된 오디오 콘텐츠는 상기 제1 귀에서 상기 오디오 콘텐츠의 진폭이 상기 제2 귀에서보다 큰 진폭을 갖도록 상기 제2 귀에서 감쇠 영역을 갖는다.

일부 실시예들에 있어서, 상기 조직 전도는 연골 전도 및 골 전도 중 적어도 하나를 포함할 수 있다.

일부 실시예들에 있어서, 상기 변환기 어레이는 제1 그룹의 변환기들 및 제 2 그룹의 변환기들을 포함할 수 있으며, 상기 제1 그룹의 변환기들은 상기 제1 귀에 근접하고, 상기 제2 그룹의 변환기들은 상기 제2 귀에 근접한다.

일부 실시예들에 있어서, 상기 하나 이상의 센서들은 제1 그룹의 센서들 및 제2 그룹의 센서들을 포함할 수 있으며, 상기 제1 그룹의 센서들은 상기 제1 귀에 근접하고, 상기 제2 그룹의 센서들은 상기 제2 귀에 근접하고 상기 적어도 하나의 센서를 포함한다.

일부 실시예들에 있어서, 상기 제어기는: 상기 사운드 필터들을 생성하기 위해 상기 추정된 ATF들에 최적화 알고리즘을 적용시키도록 추가로 구성될 수 있으며, 상기 최적화 알고리즘은 하나 이상의 제약 조건들을 따른다.

일부 실시예들에 있어서, 상기 하나 이상의 제약 조건들은 상기 제1 귀가 밝은 구역으로 지정되고 상기 제2 귀가 조용한 구역으로 지정되는 것을 포함할 수 있다.

일부 실시예들에 있어서, 상기 오디오 시스템은 추가로: 조직 전도를 통해 사용자의 제2 귀의 내이에 제2 오디오 콘텐츠를 제공하도록 구성되는 변환기 어레이; 상기 제공된 오디오 콘텐츠에 대한 제2 데이터를 모니터링하도록 구성되는 헤드셋상의 하나 이상의 센서들로서, 상기 하나 이상의 센서들은 상기 제2 귀에서 상기 제공된 오디오 콘텐츠에 대한 제2 데이터를 캡처하도록 구성되는 적어도 하나의 센서를 포함하는, 상기 하나 이상의 센서들; 및 제어기로서: 상기 제2 데이터와 관련된 제2 어레이 전달 함수(ATF)들을 추정하고, 상기 추정된 제2 ATF들을 사용하여 상기 변환기 어레이에 대한 제2 사운드 필터들을 생성하고, 부분적으로 상기 제2 사운드 필터들에 기초하여, 조정된 제2 오디오 콘텐츠를 제공하도록 상기 변환기 어레이에게 명령하도록 구성되는, 상기 제어기를 포함할 수 있으며, 상기 조정된 오디오 콘텐츠는 상기 제2 귀에서 상기 조정된 오디오 콘텐츠의 진폭이 상기 제1 귀에서보다 큰 진폭을 갖도록 상기 제1 귀에서 감쇠 영역을 갖는다.

일부 실시예들에 있어서, 조정된 오디오 콘텐츠를 제공하는 단계 및 조정된 제2 오디오 콘텐츠를 제공하는 단계는 서로 상이한 시간 기간들에 걸쳐 발생할 수 있다.

본 발명의 제3 양태에 따르면, 프로그램 코드 명령어들을 저장하도록 구성된 비일시적 컴퓨터 판독가능 매체가 제공되며, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금: 조직 전도를 통해 사용자의 제1 귀의 내이에 오디오 콘텐츠를 제공하는 변환기 어레이를 통해 오디오 콘텐츠를 제공하는 단계; 헤드셋상의 하나 이상의 센서들을 통해 상기 제공된 오디오 콘텐츠에 대한 데이터를 모니터링하는 단계로서, 상기 하나 이상의 센서들은 상기 사용자의 제2 귀에서 상기 제공된 오디오 콘텐츠에 대한 데이터를 캡처하도록 구성되는 적어도 하나의 센서를 포함하는, 상기 모니터링하는 단계; 상기 데이터와 관련된 어레이 전달 함수(ATF)들을 추정하는 단계; 상기 추정된 ATF들을 사용하여 상기 변환기 어레이에 대한 사운드 필터들을 생성하는 단계; 및 상기 변환기 어레이를 통해, 부분적으로 상기 사운드 필터에 기초하여, 조정된 오디오 콘텐츠를 제공하는 단계를 실행하게 하며, 상기 조정된 오디오 콘텐츠는 상기 제1 귀에서 상기 조정된 오디오 콘텐츠의 진폭이 상기 제2 귀에서보다 큰 진폭을 갖도록 상기 제2 귀에서 감쇠 영역을 갖는다.

일부 실시예들에 있어서, 상기 비일시적 컴퓨터 판독가능 매체는 추가로: 조직 전도를 통해 제2 오디오 콘텐츠를 제2 귀의 내이에 제공하는 상기 변환기 어레이를 통해 상기 제2 오디오 콘텐츠를 제공하고; 상기 헤드셋상의 적어도 하나의 센서를 통해, 상기 제공된 제2 오디오 콘텐츠에 대한 제2 데이터를 모니터링하고, 상기 적어도 하나의 센서는 상기 제2 귀에서 상기 제공된 제2 오디오 콘텐츠에 대한 제2 데이터를 캡처하도록 구성되는 적어도 하나의 센서를 포함하며; 상기 제2 데이터와 관련된 제2 어레이 전달 함수(ATF)들을 추정하고; 상기 추정된 제2 ATF들을 사용하여 상기 변환기 어레이에 대한 제2 사운드 필터들을 생성하고; 또한 상기 변환기 어레이를 통해, 부분적으로 상기 제2 사운드 필터들에 기초하여 조정된 제2 오디오 콘텐츠를 제공하도록 구성될 수 있으며, 상기 조정된 오디오 콘텐츠는 상기 제1 귀에서 상기 조정된 오디오 콘텐츠의 진폭이 상기 제2 귀에서보다 더 큰 진폭을 갖도록 상기 제1 귀에서 감쇠 영역을 갖는다.

일부 실시예들에 있어서, 상기 조직 전도는 연골 전도 및 골 전도 중 적어도 하나를 포함할 수 있다.

상기 제1 양태, 상기 제2 양태 또는 상기 제3 양태로의 통합에 적합한 것으로 본원에 기재된 특징들은 본 발명의 모든 양태들 및 실시예들에 걸쳐 일반화될 수 있도록 의도된 것이라는 사실을 이해해야 할 것이다.

도 1은 하나 이상의 실시예에 따른 헤드셋의 도면이다.
도 2는 하나 이상의 실시예에 따른 헤드셋의 일부의 측면도이다.
도 3a는 하나 이상의 실시예에 따른 누화 완화 이전의 음장을 도시한다.
도 3b는 하나 이상의 실시예에 따른 누화 완화 이후의 음장을 도시한다.
도 4는 하나 이상의 실시예에 따른 예시적인 오디오 시스템의 블록도이다.
도 5는 하나 이상의 실시예에 따른 조직 전도 오디오 시스템에서 누화를 완화하기 위한 공정이다.
도 6은 하나 이상의 실시예에 따른 예시적인 인공 현실 시스템의 블록도이다.
상기 도면들은 단지 예시적인 목적으로의 다양한 실시예들을 도시한다. 당업자라면 본원에 기술된 원리로부터 벗어남이 없이 본원에 설명된 구조 및 방법의 대안적인 실시예가 채용될 수 있음을 다음의 논의로부터 용이하게 인식할 것이다.

조직 전도 오디오 시스템은 골전도 및 연골 전도 중 하나 또는 둘 모두를 사용하여 사용자에게 오디오 콘텐츠를 제공한다. 조직 전도는 연골 전도 및/또는 골 전도를 사용하여 사용자에게 오디오 콘텐츠를 전달한다. 조직 전도는, 뼈 및/또는 연골을 진동시켜 음압파를 생성하는, 골 전도 및/또는 연골 전도를 통해 발생할 수 있다.

골전도 오디오 시스템은 사용자의 외이도(ear canal)를 방해받지 않는 상태로 유지하면서 사용자의 귀에 오디오 콘텐츠를 제공하기 위해 골전도를 사용한다. 상기 골전도 오디오 시스템은, 유양 돌기(mastoid)와 같은, 뼈를 포함하는 사용자의 머리에서 조직을 진동시켜 오디오 콘텐츠에 대응하는 조직 파생 음압파(tissue born acoustic pressure wave)를 생성하는 변환기 조립체를 포함한다. 조직은 예를 들어 뼈, 연골, 근육, 피부 등을 포함할 수 있다. 골전도의 경우, 생성된 음압파의 주요 경로는 머리 뼈를 통해(고막 우회) 달팽이관으로 직접 향한다. 골전도에 있어서, 상기 음압파는 달팽이관에 도달하기 위해 공기 전도 경로를 우회하여 뼈를 통해 바로 이동할 수 있다. 상기 달팽이관은 조직 파생 음압파를 뇌가 소리로서 인식하는 신호들로 변경한다.

연골 전도 오디오 시스템은 사용자의 귀에 오디오 콘텐츠를 제공하기 위해 연골 전도를 이용한다. 상기 연골 전도 오디오 시스템은 외이(outer ear) 주위의 귓바퀴연골(auricular cartilage)의 하나 이상의 부분(예를 들어, 상기 귓바퀴연골의 이개(pinna), 이주(tragus), 일부 다른 부분, 또는 이들의 일부 조합)에 결합되는 변환기 조립체를 포함한다. 상기 변환기 조립체는 귓바퀴연골의 하나 이상의 부분을 진동시킴으로써 상기 오디오 콘텐츠에 대응하는 공기 중 음압파를 생성한다. 이와 같은 공기 중 음압파는 고막에 의해 감지될 수 있는 외이도 입구를 향해 전파될 수 있다. 그러나, 상기 연골 전도 오디오 시스템은 다양한 방식으로 음압파를 생성하는 다중 경로 시스템이다. 예를 들어, 귓바퀴연골의 하나 이상의 부분을 진동시키킴으로써: 외이도를 통해 이동하는 공기 중 음압파; 외이도의 일부 부분들을 진동시켜 외이도 내에서 공기 중 음압파를 생성하는 조직 파생 음압파; 또는 이들의 일부 조합을 생성할 수 있다.

상기 조직 전도 시스템은 적어도 상기 조직 전도 시스템이 사용자의 조직(뼈, 연골 등)을 진동시켜 공기 중 음파를 생성할 수 있다는 이유에서 공기 중 오디오 시스템(예를 들면, 기존의 스피커)과 상이하다는 사실에 유의한다. 상기 조직의 진동은 음압파가 조직, 뼈, 공기 또는 이들의 조합을 통해 이동할 수 있도록 여러 음향 경로들을 생성한다. 대조적으로, 일반적인 공기 중 오디오 시스템은 공기를 직접 이동시켜 공기 중 음파를 생성하는 진동 멤브레인을 갖는 스피커를 사용한다.

상기 오디오 시스템은 헤드셋(예를 들어, 근안 디스플레이 또는 헤드 장착형 디스플레이)의 일부일 수 있다. 상기 오디오 시스템은 변환기 어레이, 센서 및 제어기를 포함한다. 상기 변환기 어레이는 조직 전도를 통해 헤드셋 사용자의 내이에 오디오 콘텐츠를 제공한다. 상기 센서는 헤드셋 사용자의 양쪽 귀에 처음 제공된 오디오 콘텐츠에 대한 데이터를 캡처한다. 상기 제어기는 각각의 귀에 제공되는 오디오 콘텐츠와 관련된 어레이 전달 함수(ATF)들을 추정하고, 또한 추정된 ATF들을 사용하여 사운드 필터들을 생성한다. 상기 ATF들은 상기 변환기 어레이에 의해 생성된 오디오 콘텐츠가 어떻게 센서 어레이에 의해 수신되는지를 특성화하는 전달 함수들의 수집으로 구성된다. 전달 함수는 음원 위치(즉, 변환기)에서 생성되는 음향와 감지되는 위치(즉, 센서) 사이의 관계를 정의한다. 상기 관계를 한정하는 데 도움이 되는 매개변수들에는 주파수, 진폭, 시간, 위상, 지속 시간, 도달 방향(DoA) 추정 등이 포함될 수 있다. 일부 실시예들에 있어서, 고유값 분해(Eigen value decomposition)가 전달 함수를 결정하기 위해 사용된다. 다른 실시예들에 있어서는, 특이값 분해(singular-value decomposition)가 상기 전달 함수를 결정하기 위해 사용된다. 상기 변환기 어레이는, 조직 전도에 의해 유발되는 누화가 완화되도록, 상기 생성된 사운드 필터들에 의해 부분적으로 조정된 오디오 콘텐츠를 양쪽 귀에 제공한다. 상기 제어기는 제1 귀를 "밝은 구역"으로 지정하고 제2 귀를 감쇠된 "조용한 구역"으로 지정한다. 상기 조정된 오디오 콘텐츠는 밝은 구역에서보다 조용한 구역에서 더 작은 진폭을 가지며, 경우에 따라서, 오디오 콘텐츠를 전혀 인식할 수 없는 조용한 구역의 음장에서 제로(null)일 수 있다.

조직 전도 변환기를 통해 오디오 콘텐츠를 제공하면, 예를 들어 진동을 전송하기 위한 공통 매체로서 사용자의 두개골을 공유하기 때문에, 누화가 발생할 수 있다. 누화가 감지될 수 있는 영역에서 음향을 감쇠함으로써, 본원에 설명된 오디오 시스템은 조직 전도로 인해 발생하는 누화의 적어도 일부를 완화시킨다.

본 발명의 실시예들은 인공 현실 시스템을 포함하거나 또는 이와 함께 구현될 수 있다. 인공 현실은, 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실, 또는 이들의 일부 조합 및/또는 파생물들을 포함할 수 있는, 사용자에게 제공하기 전에 어떤 방식으로든 조정된 현실의 한 형태이다. 인공 현실 콘텐츠는 완전히 생성된 콘텐츠 또는 캡처된(예를 들면, 현실 세계) 콘텐츠와 결합 생성된 콘텐츠를 포함할 수 있다. 상기 인공 현실 콘텐츠는 비디오, 오디오, 햅틱 피드백 또는 이들의 일부 조합을 포함할 수 있으며, 이들 중 임의의 것은 단일 채널 또는 다중 채널(예를 들면, 시청자에게 3차원 효과를 생성하는 스테레오 비디오)로 제공될 수 있다. 추가적으로, 일부 실시예들에 있어서, 인공 현실은 또한 예를 들어 인공 현실에서 콘텐츠를 생성하는 데 사용되거나 그리고/또는 인공 현실에서(예를 들어, 인공 현실에서 활동을 수행하는) 다른 용도로 사용되는 애플리케이션, 제품, 액세서리, 서비스 또는 이들의 일부 조합과 연관될 수 있다. 인공 현실 콘텐츠를 제공하는 인공 현실 시스템은, 호스트 컴퓨터 시스템에 연결되는 헤드 장착형 디스플레이(HMD), 독립형 HMD, 모바일 디바이스 또는 컴퓨팅 시스템, 또는 한 명 이상의 시청자에게 인공 현실 콘텐츠를 제공할 수 있는 다른 하드웨어 플랫폼을 포함하는, 다양한 플랫폼들상에서 구현될 수 있다.

시스템 개요

도 1은 하나 이상의 실시예에 따른 헤드셋(100)의 도면이다. 상기 헤드셋(100)은 사용자에게 미디어를 제공한다. 상기 헤드셋(100)은 오디오 시스템 및 프레임(110)을 포함한다. 일반적으로, 상기 헤드셋은 상기 헤드셋을 사용하여 컨텐츠를 제공하도록 사용자의 얼굴에 착용될 수 있다. 콘텐츠는 각각 상기 오디오 시스템 및 디스플레이를 통해 제공되는 오디오 및 시각적 미디어 콘텐츠를 포함할 수 있다. 일부 실시예들에 있어서, 상기 헤드셋은 상기 헤드셋을 통해 사용자에게 오디오 콘텐츠만을 제공할 수 있다. 상기 프레임(110)은 상기 헤드셋(100)이 사용자의 얼굴에 착용될 수 있게 하고 또한 상기 오디오 시스템의 구성 요소들을 수용한다. 일 실시예에 있어서, 상기 헤드셋(100)은 헤드 장착형 디스플레이(HMD)일 수 있다.

상기 오디오 시스템은 상기 헤드셋의 사용자에게 오디오 콘텐츠를 제공한다. 상기 오디오 시스템은 조직 전도 시스템이다. 상기 오디오 시스템은 다른 구성 요소들 중에서 변환기 어레이, 센서 어레이, 및 제어기(170)를 포함한다. 상기 오디오 시스템은 조직 전도를 통해 오디오 콘텐츠를 제공할 수 있으며, 또한 그의 작동의 부산물로서 어느 정도 수준의 누화를 생성할 수 있다. 예를 들어, 사용자의 두개골을 통해 사용자의 다른 내이로 전달되는 제1 귀 주변 조직의 진동으로 인해, 사용자의 제1 내이로 방출된 음향이 또한 사용자의 다른 내이에 의해서도 수신될 수 있다. 일부 실시예들에 있어서, 음파는 상기 두개골 이외의 조직을 통해 전달될 수 있다. 상기 오디오 시스템에 대한 추가적인 세부 사항들은 도 2 내지 도 6과 관련하여 아래에서 논의된다.

상기 변환기 어레이는 상기 제어기(170)로부터의 진동 명령에 따라 오디오 콘텐츠(즉, 음압파)를 생성한다. 일부 실시예들에 있어서, 상기 오디오 콘텐츠는 기준 오디오 신호를 포함할 수 있다. 예를 들어, 상기 기준 오디오 신호는 음악, 연설 또는 기타 사용자 선호 콘텐츠와 같은, 사용자로부터의 콘텐츠일 수 있다. 다른 실시예들에 있어서, 상기 기준 오디오 신호는 최대 길이 시퀀스, 의사 랜덤 핑크 노이즈, 의사 랜덤 화이트 노이즈, 선형 사인파 스윕, 로그 사인파 스윕, 또는 이들의 일부 조합과 같은, 큰 주파수 범위를 커버할 수 있다. 상기 변환기 어레이는 또한, 상기 오디오 콘텐츠가 제어기의 지침에 따라 조정된 후, 필터링된 오디오 콘텐츠를 사용자에게 제공한다. 상기 변환기 어레이는 도 3a 및 도 3b를 참조하여 추가로 설명된다.

상기 변환기 어레이는 음압파를 생성하기 위해 조직(예를 들어, 뼈, 피부, 연골 등)을 직접 진동시킨다. 상기 변환기 조립체는 하나 이상의 변환기를 포함할 수 있다. 변환기(조직 전도 변환기라고도 함)는 골전도 변환기 또는 연골 전도 변환기로서 기능하도록 구성될 수 있다. 일부 실시예들에 있어서, 각각의 변환기 어레이는 상이한 부분의 주파수 범위를 커버하기 위해 하나 이상의 변환기를 포함할 수 있다. 예를 들어, 압전 변환기는 제1 부분의 주파수 범위를 커버하기 위해 사용될 수 있고 이동 코일 변환기는 제2 부분의 주파수 범위를 커버하기 위해 사용될 수 있다. 일부 실시예들에 있어서, 상기 변환기 어레이는 달팽이관 임플란트와 같은, 의료 임플란트로서 역할을 하는 변환기를 포함할 수 있다.

상기 골전도 변환기는 사용자의 머리에 있는 뼈/조직을 진동시켜 음압파를 발생시킨다. 골전도 변환기는 상기 프레임(110)의 단부 피스에 결합되고, 사용자의 두개골의 일부에 결합되는 귓바퀴 뒤에 구성될 수 있다. 상기 골전도 변환기는 상기 제어기(170)로부터의 진동 명령을 수신하고, 수신된 명령에 기초하여 사용자의 두개골을 진동시킨다. 상기 골전도 변환기로부터의 진동은 고막을 우회하여 사용자의 달팽이관을 향해 전파되는 조직 파생 음압파를 생성한다.

상기 연골 전도 변환기는 사용자 귀의 귓바퀴연골의 하나 이상의 부분을 진동시켜 음압파를 생성한다. 연골 전도 변환기는 상기 프레임(110)의 관자놀이 암에 결합되고, 귀의 귓바퀴연골의 하나 이상의 부분에 결합되도록 구성될 수 있다. 예를 들어, 상기 연골 전도 변환기는 사용자 귀의 귓바퀴 뒤쪽에 결합될 수 있다. 상기 연골 전도 변환기는 외이 주위의 귓바퀴연골을 따라 어디든지 위치할 수 있다(예를 들어, 상기 귓바퀴연골의 이개, 이주, 일부 다른 부분, 또는 이들의 일부 조합). 귓바퀴연골의 하나 이상의 부분을 진동시키면: 외이도 외부의 공기 중 음압파; 외이도의 일부 부분을 진동시켜 외이도 내에서 공기 중 음압파를 생성하는 조직 파생 음압파; 또는 이들의 일부 조합을 생성할 수 있다. 상기 생성된 공기 중 음압파는 외이도 아래로 고막을 향해 전파된다.

상기 센서 어레이는 상기 변환기 어레이에 의해 방출되는 오디오 콘텐츠를 모니터링한다. 상기 센서 어레이는 복수의 센서들을 포함한다. 예시된 실시예들에 있어서, 상기 센서 어레이는 센서(140A) 및 센서(140B)를 포함한다. 상기 센서들(140A, 140B)은 예를 들면 마이크로폰, 가속도계, 기타 음향 센서, 또는 이들의 일부 조합일 수 있다. 상기 센서 어레이는 상기 센서들(140A, 140B)로부터의 데이터를 사용하여 상기 변환기 어레이에 의해 제공되는 오디오 콘텐츠를 모니터링한다. 상기 센서 어레이는 상기 모니터링된 오디오 콘텐츠에 기초하여 센서 데이터를 생성한다. 상기 모니터링된 오디오 콘텐츠는 센서에 의해 캡처되기 전에 사용자의 머리를 통해 전파되었을 수도 있음에 유의한다. 예를 들어, 상기 변환기(120A)에 의해 제공되는 오디오 컨텐츠는 상기 센서(140B)에서 검출될 수 있다.

일부 실시예들에 있어서, 상기 변환기들(120A-D) 및 센서들(140A-B)은 도 1에 도시된 것과는 상이한 상기 프레임(110) 내부 및/또는 상기 프레임상의 위치들에 위치될 수 있다. 예를 들어, 일부 실시예들에 있어서, 상기 센서들(140A-B)은 사용자의 귀에 정합되도록 구성된 마이크로폰일 수 있다. 상기 헤드셋은 도 1에 도시된 것보다 다양한 개수 및/또는 유형의 변환기들 및/또는 센서들을 포함할 수 있다.

상기 제어기(170)는 상기 조직 전도 시스템을 제어한다. 상기 제어기(170)는 사용자에게 제공하기 위해 국부적 메모리 또는 일부 외부 존재들(예를 들어, 콘솔, 원격 서버 등)로부터 오디오 데이터(예를 들어, 음악)를 수신할 수 있다. 상기 제어기(170)는 상기 수신된 오디오 데이터에 기초하여 진동 명령어들을 생성하고, 상기 진동 명령어들을 상기 변환기 어레이에 제공한다. 일부 실시예들에 있어서, 상기 진동 명령어들은 상기 변환기 어레이가 기준 오디오 신호를 생성하도록 한다.

상기 제어기(170)는 상기 센서 어레이로부터의 센서 데이터를 이용하여 ATF들을 생성한다. 위에서 설명한 바와 같이, 상기 ATF들은 오디오 콘텐츠(예를 들면, 상기 오디오 기준 신호)가 상기 센서 어레이에 의해 수신되는 방식을 특성화하는 복수의 전달 함수들(예를 들면, 각각의 센서에 대한 전달 함수)을 포함한다. 상기 제어기(170)는 상기 ATF들을 사용하여 사운드 필터들을 생성한다. 상기 사운드 필터들은 상기 변환기 어레이에 의해 제공하는 오디오 콘텐츠를 조정하기 위해 상기 오디오 데이터에 적용된다. 도 3a 내지 도 6과 관련하여 더욱 상세하게 후술하는 바와 같이, 상기 조정된 오디오 콘텐츠는 상기 변환기 어레이에 의해 제공되는 오디오 콘텐츠의 누화를 완화시킨다. 상기 제어기(170)의 작동에 대해서는 도 3a, 도 3b 및 도 4를 참조하여 상세히 후술한다.

도 2는 하나 이상의 실시예에 따른 헤드셋(205)의 일부의 측면도(200)이다. 상기 헤드셋(205)은 상기 헤드셋(100)의 실시예이다. 상기 헤드셋(205)은 조직 전도 오디오 시스템에 의해 사용자에게 오디오 콘텐츠를 제공한다. 상기 헤드셋(205)은 사용자의 귀의 귓바퀴(210)에 근접할 수 있도록 사용자의 귀에 부분적으로 안착된다. 상기 헤드셋(205)은 다른 구성 요소들 중에서 변환기 어레이 및 센서 어레이를 포함한다. 상기 변환기 어레이는 변환기들(230A, 230B)의 그룹을 포함하고, 상기 센서 어레이는 센서(245)를 포함하는 센서들의 그룹을 포함한다. 상기 변환기들(230A, 230B)은 상기 변환기들(120A, 120C)의 실시예이고, 상기 센서(245)는 상기 센서(140A)의 실시예이다.

상기 변환기들(230A, 230B)은 사용자의 한쪽 귀 또는 양쪽 귀에 오디오 콘텐츠를 제공한다. 상기 변환기들(230A, 230B)은 사용자의 귀 위 또는 귀 근처의 다양한 조직에 근접 및/또는 결합된다. 상기 변환기들(230A, 230B)의 일부 또는 전부와 사용자의 조직 사이에 간접 및/또는 직접 접촉이 존재하도록 커플링이 이루어질 수 있다. 예를 들어, 상기 변환기(230A)는 사용자의 귀의 귓바퀴(210)의 상부 또는 귓바퀴의 뒤쪽에 결합되는 연골 전도 변환기일 수 있다. 상기 변환기(230B)는 귀 근처의 뼈의 일부에 결합되는 골전도 변환기일 수 있다. 상기 변환기들(230A, 230B)은 결합된 조직을 진동시켜 음압파의 범위를 생성하고, 사용자의 내이(도 2에 도시되지 않음)의 달팽이관에 의해 음향으로서 감지된다.

일부 실시예들에 있어서, 상기 헤드셋(205)은 하나 이상의 골전도 및 연골 전도 변환기의 조합을 포함할 수 있다. 일부 실시예들에 있어서, 상기 헤드셋(205)은 하나 이상의 공기 전도 변환기(도시되지 않음)를 포함할 수 있고, 공기 전도와 조직 전도의 조합에 의해 사용자에게 오디오 콘텐츠를 제공할 수 있다.

상기 센서(245)는 상기 변환기 어레이에 의해 제공되는 오디오 콘텐츠를 모니터링한다. 상기 센서(245)는 상기 센서(140A)의 실시예이다. 상기 센서(245)는 상기 전도 변환기들(230A-B) 및/또는 다른 조직 전도 변환기들(예를 들어, 사용자의 다른 귀 근처에 위치한 변환기들)에 의해 생성된 음압파를 감지하기 위해 상기 헤드셋상에 위치된다. 일부 실시예들에 있어서, 상기 센서(245)는 외이도 내에 위치될 수 있다. 상기 센서(245)는 상기 헤드셋상에 또는 그의 근처에 위치된 센서 어레이의 일부일 수 있고, 상기 센서 어레이는 복수의 센서들을 포함한다. 상기 센서 어레이는, 오디오 데이터 측정 이외의 용도를 위해 지정된 센서들에 추가하여, 센서(245)와 유사한 복수의 음향 센서들을 포함할 수 있다. 상기 센서 어레이는 관성 측정 유닛(IMU), 자이로스코프, 위치 센서, 가속도계, 또는 이들의 조합을 포함하는 다른 센서들을 포함할 수 있다. 사용자의 다른 쪽 귀에서, 상기 오디오 시스템은 각각 헤드셋의 변환기 어레이 및 센서 어레이에 포함된 다른 그룹의 변환기들 및 적어도 다른 센서를 포함한다.

누화 완화

도 3a는 하나 이상의 실시예에 따른 누화 완화 이전의 음장(300)을 도시한다. 오디오 시스템은 음장(300)을 생성함으로써 헤드셋의 사용자에게 오디오 콘텐츠를 제공한다. 상기 오디오 시스템은 헤드셋(예를 들어, 상기 헤드셋(100))의 일부일 수 있다. 상기 음장(300)은 적어도 음원 영역들(310, 320), 변환기 그룹들(350A, 350B), 및 센서 그룹들(360A, 360B)을 포함한다. 상기 변환기 그룹들(350A, 350B)은 변환기 어레이의 일부인 반면, 상기 센서 그룹들은 도 4와 관련하여 더욱 상세하게 설명되는 바와 같이 센서 어레이의 일부이다.

상기 음장(300)은 상기 변환기 그룹들(350A, 350B) 중 하나 또는 둘 모두로부터의 오디오 콘텐츠가 전파되는 영역이다. 상기 음장(300)은 단순함을 위해 장방형 기하학을 갖는 것으로 도시되어 있음에 유의한다. 실제로는, 상기 기하학은 사용자의 머리에 대응한다. 상기 음원 영역들(310, 320)은 예를 들어, 내이, 고막, 사용자의 외이도, 또는 이들의 일부 조합을 포함할 수 있는 상기 음장(310) 내의 영역이다. 예를 들어, 상기 음원 영역(310)은 사용자의 우측 귀에 대한 내이에 대응할 수 있고, 상기 음원 영역(320)은 사용자의 좌측 귀에 대한 내이에 대응할 수 있다.

상기 변환기 그룹들(350A, 350B)은 상기 음장(300)을 생성하여, 각각 상기 음원 영역들(310 및 320)에 오디오 콘텐츠를 제공한다. 상기 변환기 그룹들(350A, 350B)은 도 2에 도시된 변환기들(230A, 230B)과 같은 복수의 변환기들을 포함할 수 있다. 상기 변환기 어레이는 상기 변환기 그룹들(350A, 350B)의 수집을 포함한다. 예시된 실시예에 있어서, 상기 음장(300)은 상기 음원 영역(310)에 제공되지만 상기 음원 영역(320)에는 제공되지 않는 것을 의미한다. 상기 음장(300)이 사용자의 머리 내에 위치하므로, 조직 전도 변환기들을 통해 오디오 콘텐츠를 제공하면, 예를 들어 진동을 전송하기 위한 공통 매체로서 사용자의 두개골을 공유하기 때문에 누화가 발생할 수 있다는 사실에 유의한다. 따라서, 오디오 콘텐츠를 선택적으로 단일 음원 영역으로(예를 들어, 음원 영역(320)이 아닌 음원 영역(310)으로, 또는 그 반대로) 향하게 하는 것은 어려울 수 있다. 도 3a에 도시된 바와 같이, 예를 들어, 상기 변환기 그룹(350A)이 상기 음원 영역(310)의 음장(300)에 오디오 콘텐츠를 생성하는 경우, 상기 음장(300)도 또한 상기 음원 영역(320)에 도달하여, 누화가 발생하게 된다. 그리고, 단순함을 위해, 상기 누화는 상기 음원 영역(320)과 중첩되는 음장(300)으로서 도시된다.

상기 센서 어레이는 상기 음장(300)의 오디오 콘텐츠를 모니터링한다. 상기 센서 어레이는 상기 센서 그룹들(360A, 360B)을 통해 상기 변환기 그룹(350A) 및/또는 상기 변환기 그룹(350B)에 의해 생성된 오디오 콘텐츠를 모니터링한다. 상기 센서 그룹들(360A, 360B)은 각각 상기 음원 영역들(310, 320)과 일치하여, 각각의 음원 영역은 지정된 센서 그룹에 의해 모니터링된다. 상기 센서 그룹들(360A, 360B)은 각각 도 2에 도시된 센서(245)와 같은, 하나 이상의 센서들을 포함한다. 상기 센서 그룹들(360A)은 상기 음원 영역(310)에서 오디오 콘텐츠를 모니터링하도록 구성되고 또한 상기 센서 그룹(360B)은 상기 음원 영역(320)에서 오디오 콘텐츠를 모니터링하도록 구성된다.

일부 실시예들에 있어서, 변환기 그룹은 사용자의 제1 귀상에 그리고/또는 그 부근에 위치되고, 다른 변환기 그룹은 사용자의 제2 귀상에 그리고/또는 그 부근에 위치된다. 유사하게도, 센서 그룹은 상기 제1 귀에 근접하게 위치되고, 다른 센서 그룹은 상기 제2 귀에 근접하게 위치된다.

상기 오디오 시스템의 제어기(도시되지 않음)는 상기 센서 그룹들(360A, 360B)에 의해 캡처된 사운드 데이터를 처리하여 사운드 필터들을 생성한다. 상기 사운드 필터들은 누화를 완화시키도록 작용하는 변환기 어레이를 통해 조정된 오디오 콘텐츠를 제공하기 위해 사용된다. 이에 대하여는 도 3b 및 도 4을 참조하여 추가로 후술된다.

도 3b는 하나 이상의 실시예에 따른 누화 완화 이후의 음장(315)을 도시한다. 상기 음장(315)은 상기 오디오 시스템에 의해 생성된다. 상기 음장(315)은 도 3a에 설명된 음장(300)과 실질적으로 유사하나, 감쇠 영역(370)을 포함하도록 수정된다. 상기 감쇠 영역(370)은 상기 변환기 그룹들(350A, 350B)의 변환기들에 의해 생성된 누화의 적어도 일부를 완화시키는 데 도움을 준다.

상기 변환기 그룹(350A) 및/또는 상기 변환기 그룹(350B)은 제어기(도시되지 않음)로부터의 명령어들에 따라 조정된 오디오 콘텐츠를 생성한다. 예시된 실시예에 있어서, 상기 조정된 오디오 콘텐츠는 감쇠 영역(370)이 상기 음장(315)에 형성되도록 한다. 도 3a와 관련하여 설명된 바와 같이, 상기 음장(300)은 누화에 의해 상기 음원 영역(320)에 도달할 수 있다. 상기 음원 영역(320), 즉 내이에서 인지되는 소리를 감쇠시킴으로써, 상기 오디오 시스템은 상기 음원 영역(320)에서 인지되는 소리를 완화시켜, 누화를 감소시킬 수 있다.

도시된 실시예에 있어서, 상기 음원 영역(320)은 "조용한 구역(quiet zone)"으로 지정된다. 조용한 구역은 감쇠 영역에 의해 둘러싸인 음원 영역이다. 감쇠 영역은 상기 감쇠 영역과 경계를 이루는 음장의 일부에 대해 오디오 콘텐츠가 실질적으로 감소되는 음장의 위치이다. 상기 감쇠 영역은 상기 음장의 일부인 감쇠 영역 외부의 음향으로부터 임계 레벨(threshold level) 미만의 음향 진폭을 갖는 것으로 한정될 수 있다. 일부 실시예들에 있어서, 상기 감쇠 영역과 경계를 이루는 음장과 상기 임계 레벨 사이의 기울기는 기하급수적으로 떨어질 수 있다. 상기 기울기는 특정 음장의 파장 또는 파수와 연관될 수 있다. 상기 감쇠 영역의 크기는 상기 ATF로 인코딩되어 상기 사운드 필터들에 사용되는, 수신된 사운드의 파장에 기초하여 결정될 수 있다.

일부 실시예들에 있어서, 상기 감쇠 영역은 제로(null)일 수 있다. 제로(null)는 진폭이 본질적으로 0인 음장의 위치이다. 따라서, 상기 음원 영역(320)이 상기 감쇠 영역(320) 내에 있으므로, 상기 음원 영역(320)에서 인지되는 오디오 콘텐츠는 실질적으로 감소되며, 어떤 경우에는, 사용자의 좌측 귀로 인지할 수 없을 정도로 충분히 낮다.

예시된 실시예에 있어서, 상기 음원 영역(310)은 "밝은 구역(bright zone)"으로 지정된다. 밝은 구역은 상기 감쇠 영역 내에 있지 않은 음장의 음원 영역이다. 일부 실시예들에 있어서, 상기 밝은 구역은 또한 상기 음장의 일부 증폭을 포함할 수 있음에 유의한다. 예를 들어, 상기 밝은 구역은 오디오 콘텐츠의 진폭이 상기 밝은 구역과 경계를 이루는 상기 음장의 부분들에 대해 증가하도록 될 수 있다.

상기 제어기는, 상기 센서 어레이에 의해 캡처된 데이터를 사용하여, 상기 변환기 어레이에 의해 재생된 음향과 상기 센서 어레이에 의해 수신된 음향 사이의 관계를 특징화 하는 하나 이상의 ATF를 추정한다. 상기 제어기는 상기 추정된 하나 이상의 ATF에 기초하여 사운드 필터들을 생성한다. 상기 사운드 필터들은 상기 변환기 어레이에 의해 생성되는 오디오 출력을 조정한다. 예를 들어, 상기 감쇠 영역(370)에서, 상기 사운드 필터들은 감쇠 진폭을 갖는 오디오 콘텐츠를 생성할 수 있다. ATF들을 추정하고 또한 사운드 필터들을 생성하는 공정은 도 4을 참조하여 보다 구체적으로 설명된다. 상기 제어기는 상기 변환기 그룹들(350A, 350B)에 명령하여, 필터링되고 그에 따라 조정된 오디오 콘텐츠를 상기 음원 영역들(310, 320)에 제공하게 한다.

상기 조용한 구역에서, 상기 변환기 그룹(350B)은 필터링된 오디오 콘텐츠를 상기 음원 영역(320)에 제공한다. 상기 감쇠 영역(370), 즉 음원 영역(320) 근처의 사용자 내이는 상기 음원 영역(310) 근처의 밝은 구역에서 생성된 사운드보다 작은 진폭으로 음향을 인지한다. 도 3a에서 누화가 인지된 음원 영역(320)의 오디오 콘텐츠를 감쇄시키면, 사용자에 의해 들리는 누화의 적어도 일부의 완화를 초래한다. 일부 실시예들에 있어서, 상기 오디오 콘텐츠의 일부 부분은 상기 음원 영역(320)의 내이가 인지할 수 있도록 상기 음원(320)에서 생성될 수 있다. 상기 감쇠 영역(370)에서의 감쇠량은 상기 음원(320)에서 생성될 오디오 콘텐츠를 설명할 수 있다. 예를 들어, 상기 내이에서 감지된 누화는 상기 내이에 대한 오디오 콘텐츠가 인지될 수 있도록 감쇠될 수 있다.

도 4는 하나 이상의 실시예에 따른 예시적인 오디오 시스템(400)의 블록도이다. 상기 오디오 시스템(400)은 사용자에게 오디오 콘텐츠를 제공하는 헤드셋(예를 들어, 헤드셋(100))의 구성 요소일 수 있다. 상기 오디오 시스템(400)은 변환기 어레이(410), 센서 어레이(420) 및 제어기(430)를 포함한다. 도 1 내지 도 3b에 도시된 오디오 시스템들은 상기 오디오 시스템(400)의 실시예이다. 상기 오디오 시스템(400)의 일부 실시예들은 본원에 설명된 것과는 다른 구성 요소들을 포함한다. 마찬가지로, 상기 구성 요소들의 기능은 여기에 설명된 것과는 다르게 분포될 수 있다. 예를 들어, 일 실시예에서, 상기 제어기(430)는 상기 헤드셋 내에 내장되기보다는 상기 헤드셋 외부에 위치할 수 있다.

상기 변환기 어레이(410)는 사용자에게 오디오 콘텐츠를 제공한다. 상기 변환기 어레이(410)는 복수의 변환기 그룹들(예를 들어, 상기 변환기 그룹들(350A, 350B))을 포함할 수 있다. 각각의 변환기 그룹은 사용자에게 오디오 콘텐츠를 제공하기 위해 사용될 수 있는 하나 이상의 변환기들(예를 들어, 변환기들(120A, 120B, 120C, 및 120D))을 포함한다. 상기 변환기들은 골전도 변환기, 연골 전도 변환기, 또는 이들의 일부 조합과 같은 조직 전도 변환기들일 수 있다. 일부 실시예들에 있어서, 상기 변환기는 또한 하나 이상의 공기 변환기(즉, 스피커)를 포함할 수 있다는 사실에 유의한다. 상기 변환기 어레이(410)는 전체 주파수 범위에 걸쳐 사용자에게 오디오 콘텐츠를 제공한다. 예를 들어, 전체 주파수의 범위는 20 Hz 내지 20 kHz이며, 일반적으로 인간이 들을 수 있는 평균 범위와 비슷하다. 상기 변환기 어레이(410)의 변환기들은 다양한 주파수 범위에 걸쳐 진동하도록 구성된다. 일 실시예에 있어서, 상기 변환기 어레이(410)의 각각의 변환기는 전체 주파수의 범위에 걸쳐 작동한다. 다른 실시예에 있어서, 하나 이상의 변환기는 낮은 하위 범위(예를 들어, 20 Hz 내지 500 Hz)에 걸쳐 작동하는 반면, 제2 세트의 변환기들은 높은 하위 범위(예를 들어, 500 Hz 내지 20 kHz)에 걸쳐 작동한다. 일부 실시예들에 있어서, 주파수의 다양한 범위들은 부분적으로 중첩될 수 있다.

상기 변환기 어레이(410)의 조직 전도 변환기들은 상기 제어기(430)에 의해 수신된 명령어들에 따라 음압파를 생성한다. 상기 변환기들은 연골 또는 뼈와 같은 사용자 귀 근처의 조직에 결합되고, 또한 상기 조직을 진동시켜 음파를 생성한다. 상기 음압파는 달팽이관과 같은 사용자의 고막 및/또는 내이에 의해 감지된다. 다른 실시예에 있어서, 상기 변환기들은 귀 근처의 조직보다는 사용자의 턱 또는 두개골에 결합된다. 일부 실시예들에 있어서, 상기 변환기 어레이(410)는 사용자 귀의 달팽이관에 의해 인지될 수 있는 공기 중 음압파를 생성하기 위해 진동하는 공기 전도 변환기들을 포함할 수 있다.

상기 센서 어레이(420)는 상기 변환기 어레이(410)에 의해 생성된 음향을 감지한다. 상기 센서 어레이(420)는 하나 이상의 센서 그룹(예를 들어, 상기 센서 그룹들(360A, 360B))을 포함할 수 있다. 센서 그룹은 하나 이상의 센서들(예를 들면, 센서(245))을 포함한다. 센서는 예를 들어 마이크로폰, 진동 센서, 가속도계, 또는 이들의 임의의 조합일 수 있다. 일부 실시예들에 있어서, 센서는 보청기 또는 달팽이관 임플란트의 구성 요소일 수 있다. 상기 센서 어레이(420)는 상기 하나 이상의 센서 그룹의 센서들을 사용하여 상기 변환기 어레이(410)에 의해 생성된 오디오 콘텐츠를 모니터링하도록 구성된다. 센서들의 수를 증가시키면 상기 변환기 어레이(410)에 의해 생성된 음장을 설명하는 정보의 정확도가 향상될 수 있다. 각각의 센서는 음향을 감지하고 또한 상기 감지된 음향을 전자 형식으로 변환하도록 구성된다.

상기 제어기(430)(예를 들어, 제어기(365))는 상기 오디오 시스템(400)의 작동을 제어한다. 일부 실시예들에 있어서, 상기 제어기(430)는 상기 오디오 시스템(400)에 의해 생성된 누화를 완화시키도록 구성된다. 상기 제어기(430)는 데이터 저장부(440), 전달 함수 모듈(450), 최적화 모듈(460) 및 사운드 필터 모듈(470)을 포함한다. 일부 실시예들에 있어서, 상기 제어기(430)는 상기 헤드셋 내부에 위치할 수 있다. 상기 제어기(430)의 일부 실시예들은 여기에 설명된 것과는 상이한 구성 요소들을 갖는다. 유사하게도, 기능들은 여기에 설명된 것과는 다른 방식으로 상기 구성 요소들 사이에 분포될 수 있다. 예를 들어, 상기 제어기의 일부 기능은 상기 헤드셋 외부에서 수행될 수 있다.

상기 데이터 저장부(440)는 상기 오디오 시스템(400)에서 사용하기 위한 데이터를 저장한다. 상기 데이터 저장부(440)의 데이터는 상기 헤드셋의 국부적 영역에 기록된 음향, 오디오 콘텐츠, 기준 신호와 같은 미리 설정된 오디오 콘텐츠, 머리-관련 전달 함수(HRTF), 하나 이상의 센서들 및/또는 변환기에 대한 전달 함수, 센서 및/또는 변환기에 대한 어레이 전달 함수(ATF), 최적화 제약 조건, 사운드 필터, 사용자 머리용 모델 및 상기 오디오 시스템(400)의 사용과 관련된 기타 데이터, 또는 이들의 임의의 조합을 포함할 수 있다. 상기 헤드셋의 국부적 영역에 기록된 음향은 상기 센서 어레이(420)에 의해 수집된 데이터를 포함할 수 있다. 일부 실시예들에 있어서, 상기 데이터 저장부(440)는 상기 제어기(430)가 밝은 구역 및 조용한 구역으로서 지정한 음원 영역들(예를 들면, 귀들)에 대한 데이터를 포함한다.

상기 전달 함수 모듈(450)은 상기 센서 어레이(420)의 복수의 센서 그룹들에 의해 캡처된 데이터를 사용하여 어레이 전달 함수(ATF)들을 추정한다. 센서 그룹은 하나 이상의 센서들을 포함한다. 각각의 센서 그룹은 특정 음원 영역을 모니터링하도록 구성된다. 예를 들어, 일 실시예에 있어서, 우측 귀와 관련된 음원 영역에서 상기 오디오 콘텐츠를 모니터링하는 센서 그룹 및 좌측 귀와 관련된 음원 영역에서 상기 오디오 콘텐츠를 모니터링하는 제2 센서 그룹이 존재한다.

상술된 바와 같이, 상기 ATF들은 상기 변환기 어레이(410)의 변환기들에 의해 생성된 음향과 상기 센서 어레이(420)의 센서들에 의해 수신된 대응하는 음향 사이의 관계를 특성화하는 복수의 전달 함수들을 포함한다. 변환기들 또는 센서들의 세트에 대한 복수의 전달 함수들을 어레이 전달 함수라고 칭한다. 일부 실시예들에 있어서, 고유값 분해가 전달 함수를 결정하기 위해 사용된다. 일부 실시예들에 있어서는, 특이값 분해가 전달 함수를 결정하기 위해 사용된다. 주어진 변환기 및/또는 센서의 경우, 상기 센서 어레이의 모든 센서들에 대한 전달 함수들의 수집을 ATF라고 칭한다. ATF는 상기 센서 어레이(420)가 상기 변환기로부터 음향을 수신하는 방법을 특성화하고 또한 상기 변환기 어레이(410)가 음향을 생성하는 방법을 특성화한다. ATF는 또한 상기 변환기의 위치에서 음향의 매개변수들과 상기 센서 어레이(420)가 음향을 감지하는 매개변수들 사이의 관계를 한정한다. 일부 실시예들에 있어서, 상대 전달 함수(Relative Transfer Function; RTF)는 상기 센서 어레이(420)상의 임의의 센서에 의해 정규화되는 다른 유형의 ATF이다. RTF는 상기 변환기 어레이(410)상의 임의의 변환기에 의해 정규화될 수 있다.

상기 최적화 모듈(460)은 상기 변환기 어레이(410)의 변환기들에 적용될 하나 이상의 사운드 필터들을 생성한다. 상기 최적화 모듈(460)은 상기 전달 함수 모듈(450)에 의해 추정된 ATF들을 입력으로서 취하고, 최적화 알고리즘을 상기 ATF들에 적용한다. 상기 최적화 알고리즘은 상기 데이터 저장부(440)에 저장되고 그에 따라 사운드 필터들을 출력하는 하나 이상의 제약 조건들을 따를 수 있다. 제약 조건들로는 무엇보다도 좌측 귀를 밝은 구역 또는 조용한 구역으로서 지정하는 것, 우측 귀를 밝은 구역 또는 조용한 구역으로 지정하는 것, 음향이 사용자에게 전달되는 전도 유형(예를 들면, 공기, 연골 및/또는 뼈), 또는 이들의 일부 조합을 포함할 수 있다. 일부 제약 조건들은, 머리 관련 전달 함수, 사용자 머리의 모델, 사용자의 사진, 인구 통계 정보에 기초하는 제약 조건들 또는 이들의 일부 조합과 같은, 상기 헤드셋의 사용자와 관련될 수 있다. 다른 제약 조건들로는 사용자의 조직 및/또는 뼈를 통한 재생된 파들의 전파 방향, 사용자의 조직 및/또는 뼈를 통해 생성된 음장의 형상, 또는 이들의 일부 조합을 포함할 수 있다. 상기 최적화 알고리즘은 선형으로 제약될 수 있으며, 예를 들어 선형으로 제약된 최소 분산(Linearly Constrained Minimum Variance; LCMV) 알고리즘, 제국주의 경쟁 알고리즘(imperialist competitive algorithm), 또는 주성분 분석을 사용하는 알고리즘일 수 있다. 상기 최적화 알고리즘은 본원에서 언급되지 않은 알고리즘일 수 있다. 상기 최적화 모듈(460)에 의해 출력된 사운드 필터들은 상기 사운드 필터 모듈(470) 내로 입력된다. 상기 사운드 필터들은 하나 이상의 상기 변환기에 의해 제공되는 음압파를 증폭 또는 감쇠시킬 수 있으며, 특정 주파수 범위들을 상이하게 목표로 삼을 수 있거나, 또는 이들의 일부 조합일 수 있다. 사운드 필터들은 무엇보다도 저역 통과 필터, 고역 통과 필터 및 대역 통과 필터를 포함할 수 있다.

일부 실시예들에 있어서, 상기 최적화 모듈(460)은 제1 세트의 하나 이상의 사운드 필터를 생성하기 위해, 제1 귀가 밝은 구역으로 되고 제2 귀가 조용한 구역으로 되는 최적화 알고리즘을 적용한다. 상기 최적화 모듈(460)은 또한 제2 세트의 하나 이상의 사운드 필터를 생성하기 위해, 상기 제2 귀가 밝은 구역으로 되고 상기 제1 귀가 조용한 구역으로 되는 최적화 알고리즘을 적용한다. 위의 공정들은 병렬 또는 직렬로 수행될 수 있다.

상기 사운드 필터 모듈(470)은 상기 변환기 어레이(410)에 사운드 필터들을 제공한다. 상기 변환기 어레이(410)에 의해 적용되는 상기 사운드 필터들은 상기 오디오 콘텐츠를 조정하여, 감쇠 영역(예를 들어, 제로(null)일 수 있음)이 조용한 구역으로 지정된 귀에 존재하는 반면, 밝은 구역으로 지정된 다른 귀에는 오디오 콘텐츠를 제공한다. 누화가 인지될 수 있는 영역들에서 음향을 감쇠시킴으로써, 본원에 설명된 오디오 시스템(400)은 조직 전도로 인해 유발되는 누화의 적어도 일부를 완화한다.

도 5는 하나 이상의 실시예에 따른 조직 전도 오디오 시스템에서 누화를 완화하기 위한 공정(500)이다. 도 5에 도시된 공정은 오디오 시스템(예를 들어, 오디오 시스템(400))의 구성 요소들에 의해 수행될 수 있다. 다른 존재들은 다른 실시예들에 있어서 도 5의 단계들의 일부 또는 전부를 수행할 수 있다. 실시예들은 상이한 그리고/또는 추가 단계들을 포함할 수 있거나, 또는 상이한 순서들로 상기 단계들을 수행할 수 있다.

상기 오디오 시스템(400)은 헤드셋(예를 들면, 헤드셋(100))을 착용한 사용자의 제1 귀를 밝은 구역으로 지정하고, 사용자의 제2 귀를 조용한 구역으로 지정한다(단계 510).

상기 오디오 시스템(400)은 변환기 어레이(예를 들어, 변환기 어레이(410))를 통해 사용자의 제1 귀에 오디오 콘텐츠를 제공한다(단계 520). 상기 오디오 콘텐츠는, 예를 들어, 음악, 음성 등일 수 있다. 일부 실시예들에 있어서, 상기 오디오 콘텐츠는 기준 오디오 신호를 포함할 수 있다. 상기 변환기 어레이는 조직 전도를 통해 사용자 귀의 내이에 상기 오디오 콘텐츠를 제공한다. 상기 오디오 콘텐츠가 조직 전도를 통해 제공됨에 따라, 상기 오디오 콘텐츠의 일부는 사용자의 제2 귀에서도 수신될 수 있다(즉, 누화).

상기 오디오 시스템(400)은 하나 이상의 센서들을 사용하여 상기 제공된 오디오 콘텐츠에 대한 데이터를 모니터링한다(단계 530). 상기 하나 이상의 센서들은 센서 어레이(예를 들어, 센서 어레이(420))의 일부일 수 있다. 상기 하나 이상의 센서들은 상기 제공된 오디오 콘텐츠에 대한 데이터를 캡처하도록 구성된 적어도 하나의 센서를 사용자의 다른 쪽 귀에 포함한다. 상기 캡처된 데이터는 제1 귀를 위해 의도된 오디오 콘텐츠를 설명하는 데이터를 포함하지만, 제2 귀에서 감지된다(즉, 누화).

상기 오디오 시스템(400)은 상기 제공된 오디오 콘텐츠와 관련된 어레이 전달 함수(ATF)들을 추정한다(단계 540). 제어기(예를 들어, 제어기(430))에 의해 추정된 ATF들은 (예를 들어, 고유값 분해를 통해) 상기 하나 이상의 센서들에 의해 캡처된 데이터를 사용하여 계산된다. ATF들은 상기 변환기 어레이(410)의 각각의 변환기에 대해 계산된다.

상기 오디오 시스템(400)은 상기 추정된 ATF들을 사용하여 상기 변환기 어레이에 대한 사운드 필터들을 생성한다(단계 550). 상기 오디오 시스템(400)은 상기 오디오 시스템(400)의 제어기(예를 들면, 상기 제어기(430))를 사용하여 상기 사운드 필터들을 생성할 수 있다.

상기 오디오 시스템(400)은 부분적으로 상기 사운드 필터들에 기초하여 상기 변환기 어레이를 통해 조정된 오디오 콘텐츠를 제공한다(단계 560). 상기 조정된 오디오 콘텐츠는 상기 제1 귀에서 상기 조정된 오디오 콘텐츠의 진폭이 상기 제2 귀에서보다 더 큰 진폭을 갖도록 상기 제2 귀에서 감쇠 영역을 갖는다. 따라서, 상기 조정된 오디오 콘텐츠는 누화를 필터링할 수 있으며, 만약 그렇지 않을 경우 상기 제2 귀에서 누화가 발생할 수 있다.

상술된 공정은 제2 귀에서의 누화를 완화하는 방식으로 제1 귀에 콘텐츠를 제공하기 위해 설명되었음에 유의한다. 상기 오디오 시스템(400)은 유사한 공정을 수행할 수 있지만, 어느 귀가 밝은 구역에 있고 어느 귀가 조용한 구역에 있는지를 역으로 하여, 상기 제2 귀에 오디오 콘텐츠를 제공하면서 상기 제1 귀와의 누화를 완화한다. 각각의 귀에 대한 사운드 필터들은 상기 조정된 오디오 콘텐츠의 지속 시간 내에 생성될 수 있도록 서로 병렬 및/또는 직렬로 생성된다. 그러나, 각각의 귀는 오디오 콘텐츠를 병렬로 수신한다.

인공 현실 시스템의 예

도 6은 하나 이상의 실시예에 따른 예시적인 인공 현실 시스템(600)의 블록도이다. 상기 인공 현실 시스템(600)은 사용자에게 인공 현실 환경, 예를 들어 가상 현실, 증강 현실, 혼합 현실 환경, 또는 이들의 일부 조합을 제공한다. 상기 시스템(600)은 헤드셋(605) 및 입/출력(I/O) 인터페이스를 포함하며, 이들 모두는 콘솔(610)에 결합된다. 상기 헤드셋(605)은 상기 헤드셋(100)의 실시예일 수 있다. 도 6은 하나의 헤드셋, 하나의 콘솔 및 하나의 I/O 인터페이스를 갖는 예시적인 시스템을 도시하고 있지만, 다른 실시예들에 있어서는, 이들 구성 요소들의 임의의 수가 상기 시스템(600)에 포함될 수 있다.

상기 헤드셋(605)은 사용자에게 컴퓨터 생성 구성 요소들(예를 들어, 2차원(2D) 또는 3차원(3D) 이미지, 2D 또는 3D 비디오, 음향, 등)을 갖는 물리적 현실 세계 환경의 증강된 뷰를 포함하는 콘텐츠를 제공한다. 상기 헤드셋(605)은 안경 디바이스 또는 헤드 장착형 디스플레이일 수 있다. 일부 실시예들에서, 상기 제공된 콘텐츠는 헤드셋(605), 콘솔(610), 또는 둘 모두로부터 오디오 정보(예를 들어, 오디오 신호)를 수신하고 상기 오디오 정보에 기초하여 오디오 콘텐츠를 제공하는 상기 오디오 시스템(400)을 통해 제공되는 오디오 콘텐츠를 포함한다. 상기 헤드셋(605)은 인공 현실 콘텐츠를 사용자에게 제공한다. 상기 헤드셋(605)은 오디오 시스템(400), 깊이 카메라 조립체(DCA)(630), 전자 디스플레이(635), 광학 블록(640), 하나 이상의 위치 센서(645), 및 관성 측정 유닛(IMU)(650)을 포함한다. 일부 실시예들에 있어서, 상기 헤드셋(605)은 여기에 설명된 것과는 다른 구성 요소들을 포함한다. 또한, 다양한 구성 요소들의 기능은 여기에 설명된 것과는 다르게 분포될 수 있다.

상기 오디오 시스템(400)은 상기 헤드셋(605)의 사용자에게 오디오 콘텐츠를 제공한다. 도 1 내지 도 5와 관련하여, 상술된 바와 같이, 상기 오디오 시스템(400)은 상기 변환기 어레이(410)를 통해 오디오 콘텐츠를 제공하고, 상기 센서 어레이(420)를 통해 상기 제공된 오디오 콘텐츠에 대한 데이터를 캡처한다. 상기 오디오 시스템(400)은 조직 전도에 의해 생성된 누화를 완화하는 방식으로 오디오 콘텐츠를 조정하는 사운드 필터들을 결정한다.

상기 DCA(630)는 상기 헤드셋(605)의 일부 또는 전부를 둘러싸는 국부적 환경의 깊이 정보를 설명하는 데이터를 캡처한다. 상기 DCA(630)는 광 발생기(예를 들어, 구조화 광 및/또는 비행 시간용 플래시), 하나 이상의 이미징 디바이스, DCA 제어기, 또는 이들의 일부 조합을 포함할 수 있다. 상기 광 발생기는 예를 들어 상기 DCA 제어기에 의해 생성된 방출 명령들에 따라 조명 광으로 국부적 영역을 조명한다. 상기 DCA 제어기는, 방출 명령에 기초하여, 예를 들어 국부적 영역을 조명하는 조명 광의 강도 및 패턴을 조정하기 위해 상기 광 발생기의 특정 구성 요소들의 작동을 제어하도록 구성된다. 일부 실시예들에 있어서, 상기 조명 광은 구조화된 광 패턴, 예를 들어, 점 패턴, 라인 패턴 등을 포함할 수 있다. 일부 실시예들에 있어서, 상기 조명 광은 2 이상의 이미징 디바이스들을 통한 능동 스테레오 이미징을 위한 추가 텍스처를 제공하기 위해 사용될 수 있다.

상기 하나 이상의 이미징 디바이스는 상기 국부적 영역에서 하나 이상의 물체의 하나 이상의 이미지를 캡처한다. 일부 실시예들에 있어서는, 복수의 이미징 디바이스가 존재하고 또한 깊이가 스테레오로 결정된다. 일부 실시예들에 있어서는, 상기 하나 이상의 물체는 조명 광으로 조명된다. 이와 같은 경우들에 있어서, 상기 DCA 제어기는 예를 들어 구조화된 광 깊이 처리 기술, ToF 깊이 처리 기술, 능동 스테레오 깊이 처리 기술, 스테레오 깊이 처리 기술, 또는 이들의 일부 조합을 사용하여 깊이 정보를 결정할 수 있다. 상기 DCA(630)는 상기 깊이 정보를 콘솔(610)과 같은 다른 디바이스로 전송할 수 있다. 일부 실시예들에 있어서, 상기 DCA(630)는 상기 캡처된 이미지들을 상기 콘솔(610)에 제공할 수 있고, 상기 콘솔(610)은 상기 깊이 정보를 결정한다.

상기 전자 디스플레이(635)는 상기 콘솔(610)로부터 수신된 데이터에 따라 사용자에게 2D 또는 3D 이미지들을 디스플레이한다. 다양한 실시예들에 있어서, 상기 전자 디스플레이(635)는 단일 전자 디스플레이 또는 다중 전자 디스플레이(예를 들어, 각각의 사용자 눈에 대한 디스플레이)를 포함한다. 상기 전자 디스플레이(635)의 예로서는: 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이, 능동 매트릭스 유기 발광 다이오드 디스플레이(AMOLED), 도파관 디스플레이, 일부 다른 디스플레이, 또는 이들의 일부 조합을 포함한다.

일부 실시예들에 있어서, 상기 광학 블록(640)은 전자 디스플레이(635)로부터 수신된 이미지 광을 확대하고, 상기 이미지 광과 관련된 광학적 오류를 수정하고, 상기 수정된 이미지 광을 상기 헤드셋(605)의 사용자에게 제공한다. 다양한 실시예들에 있어서, 상기 광학 블록(640)은 하나 이상의 광학 요소들을 포함한다. 상기 광학 블록(640)에 포함된 예시적인 광학 요소들로는: 도파관, 조리개, 프레넬 렌즈, 볼록 렌즈, 오목 렌즈, 필터, 반사 표면, 또는 이미지 광에 영향을 미치는 임의의 다른 적절한 광학 요소를 포함한다. 게다가, 상기 광학 블록(640)은 상이한 광학 요소들의 조합을 포함할 수 있다. 일부 실시예들에 있어서, 상기 광학 블록(640)의 광학 요소들 중 하나 이상은 부분 반사 또는 반사 방지 코팅과 같은 하나 이상의 코팅부를 가질 수 있다.

상기 광학 블록(640)에 의한 이미지 광의 확대 및 포커싱은 상기 전자 디스플레이(635)가 물리적으로 더 작고, 더 가볍고, 더 큰 디스플레이보다도 더 적은 전력을 소비하도록 한다. 추가적으로, 배율은 상기 전자 디스플레이(635)에 의해 제공된 콘텐츠의 시야를 증가시킬 수 있다. 예를 들어, 디스플레이된 콘텐츠의 시야는 상기 디스플레이된 콘텐츠가 거의 모든 시야(예를 들어, 대략 110도 대각선)를 사용하여, 그리고 어떤 경우에는 사용자의 모든 시야를 사용하여 제공되도록 한다. 추가적으로, 일부 실시예들에 있어서, 상기 배율의 양은 광학 요소들을 추가하거나 제거함으로써 조정될 수 있다.

일부 실시예들에 있어서, 상기 광학 블록(640)은 하나 이상의 유형의 광학 오류를 수정하도록 설계될 수 있다. 광학 오류의 예로서는 배럴 또는 핀쿠션 왜곡, 세로 색 수차 또는 가로 색 수차를 포함한다. 다른 유형의 광학 오류로는 구면 수차, 색 수차, 또는 렌즈 필드 곡률로 인한 오류, 비점 수차 또는 기타 유형의 광학 오류를 추가로 포함할 수 있다. 일부 실시예들에 있어서, 디스플레이를 위해 상기 전자 디스플레이(635)에 제공된 콘텐츠는 사전 왜곡되고, 상기 광학 블록(640)은 상기 콘텐츠에 기초하여 생성된 상기 전자 디스플레이(635)로부터 이미지 광을 수신할 때 상기 왜곡을 보정한다.

상기 IMU(650)는 하나 이상의 위치 센서(645)로부터 수신된 측정 신호들에 기초하여 상기 헤드셋(605)의 위치를 나타내는 데이터를 생성하는 전자 디바이스이다. 위치 센서(645)는 상기 헤드셋(605)의 움직임에 반응하여 하나 이상의 측정 신호를 생성한다. 위치 센서(645)의 예로서는: 하나 이상의 가속도계, 하나 이상의 자이로스코프, 하나 이상의 자력계, 움직임을 감지하는 다른 적절한 유형의 센서, 상기 IMU(650)의 오류 수정에 사용되는 유형의 센서 또는 이들의 일부 조합을 포함한다. 상기 위치 센서들(645)은 상기 IMU(650) 외부에, 상기 IMU(650) 내부에, 또는 이들의 일부 조합에 위치될 수 있다. 하나 이상의 실시예에 있어서, 상기 IMU(650) 및/또는 상기 위치 센서(645)는 오디오 콘텐츠(400)에 의해 제공되는 오디오 콘텐츠에 대한 데이터를 캡처하도록 구성된, 상기 센서 어레이(420)의 센서들일 수 있다.

하나 이상의 위치 센서(645)로부터의 하나 이상의 측정 신호에 기초하여, 상기 MlU(650)는 상기 헤드셋(605)의 초기 위치에 대한 상기 헤드셋(605)의 추정된 현재 위치를 나타내는 데이터를 생성한다. 예를 들어, 상기 위치 센서(645)는 병진 운동(전/후, 상/하, 좌/우)을 측정하기 위한 다중 가속도계와 회전 운동(예를 들면, 피치, 요, 롤)을 측정하기 위한 다중 자이로스코프를 포함한다. 일부 실시예들에 있어서, 상기 IMU(650)는 상기 측정 신호들을 신속하게 샘플링하고 또한 상기 샘플링된 데이터로부터 상기 헤드셋(605)의 추정된 현재 위치를 계산한다. 예를 들어, 상기 IMU(650)는 시간 경과에 따라 상기 가속도계로부터 수신된 측정 신호들을 통합하여 속도 벡터를 추정하고 또한 시간 경과에 따라 상기 속도 벡터를 통합하여 상기 헤드셋(605)상의 기준점의 추정된 현재 위치를 결정한다. 대안적으로, 상기 IMU(650)는 오류를 감소시키기 위해 상기 데이터를 해석하는 상기 콘솔(610)에 상기 샘플링된 측정 신호들을 제공한다. 상기 기준점은 상기 헤드셋(605)의 위치를 설명하기 위해 사용될 수 있는 지점이다. 상기 기준점은 일반적으로 공간상의 지점 또는 안경 장치의 헤드셋(605)의 배향 및 위치와 관련된 위치로 한정될 수 있다.

상기 I/O 인터페이스(655)는 사용자가 상기 콘솔(610)로부터 작업 요청을 보내고 응답을 수신할 수 있게 하는 디바이스이다. 작업 요청은 특정 작업을 수행하기 위한 요청이다. 예를 들어, 작업 요청은 이미지 또는 비디오 데이터의 캡처를 시작 또는 종료하라는 명령, 또는 애플리케이션 내에서 특정 작업을 수행하라는 명령일 수 있다. 상기 I/O 인터페이스(655)는 하나 이상의 입력 장치를 포함할 수 있다. 예시적인 입력 장치로는: 키보드, 마우스, 핸드 제어기, 또는 작업 요청을 수신하고 상기 작업 요청을 콘솔(610)에 전달하기 위한 임의의 다른 적절한 장치를 포함한다. 상기 I/O 인터페이스(655)에 의해 수신된 작업 요청은 상기 작업 요청에 대응하는 작업을 수행하는 상기 콘솔(610)로 전달된다. 일부 실시예들에 있어서, 상기 I/O 인터페이스(515)는 상기 I/O 인터페이스(655)의 초기 위치에 대한 상기 I/O 인터페이스(655)의 추정된 위치를 나타내는 교정 데이터를 캡처하는, 위에서 추가로 설명된 바와 같은 IMU(650)를 포함한다. 일부 실시예들에 있어서, 상기 I/O 인터페이스(655)는 상기 콘솔(610)로부터 수신된 명령에 따라 사용자에게 햅틱 피드백을 제공할 수 있다. 예를 들어, 햅틱 피드백은 작업 요청이 수신될 때 제공되거나 또는 상기 콘솔(610)은 상기 콘솔(610)이 작업을 수행할 때 상기 I/O 인터페이스(655)가 햅틱 피드백을 생성하게 하는 명령어들을 상기 I/O 인터페이스(655)에 전달한다. 상기 I/O 인터페이스(655)는 오디오 콘텐츠의 인지된 원천 방향 및/또는 인지된 원천 위치를 결정하는데 사용하기 위해 사용자로부터의 하나 이상의 입력 응답을 모니터링할 수 있다.

상기 콘솔(610)은 상기 헤드셋(605) 및 상기 I/O 인터페이스(655) 중 하나 이상으로부터 수신된 정보에 따라 처리하기 위해 상기 헤드셋(605)에 콘텐츠를 제공한다. 도 6에 도시된 예에 있어서, 상기 콘솔(610)은 애플리케이션 스토어(620), 추적 모듈(625) 및 엔진(615)을 포함한다. 상기 콘솔(610)의 일부 실시예들은 도 6과 관련하여 설명된 것과는 상이한 모듈 또는 구성 요소들을 갖는다. 유사하게도, 아래에서 추가로 설명되는 기능들은 도 6과 관련하여 설명된 것과는 상이한 방식으로 상기 콘솔(610)의 구성 요소들 사이에 분포될 수 있다.

상기 애플리케이션 스토어(620)는 상기 콘솔(610)에 의한 실행을 위한 하나 이상의 애플리케이션을 저장한다. 애플리케이션은, 프로세서에 의해 실행될 때, 사용자에게 제공하기 위한 콘텐츠를 생성하는 명령어들의 그룹이다. 애플리케이션에 의해 생성된 콘텐츠는 상기 헤드셋(605) 또는 상기 I/O 인터페이스(655)의 움직임을 통해 사용자로부터 수신된 입력들에 응답할 수 있다. 애플리케이션의 예로서는: 게임 애플리케이션, 회의 애플리케이션, 비디오 재생 애플리케이션, 또는 기타 적절한 애플리케이션을 포함한다.

상기 추적 모듈(625)은 하나 이상의 보정 매개변수를 사용하여 시스템 환경(600)을 보정하고 또한 상기 헤드셋(605) 또는 상기 I/O 인터페이스(655)의 위치 결정에서의 오류를 감소시키기 위해 하나 이상의 보정 매개변수를 조정할 수 있다. 상기 추적 모듈(625)에 의해 수행된 보정은 또한 상기 헤드셋(605)의 IMU(650) 및/또는 상기 I/O 인터페이스(655)에 포함된 IMU(650)로부터 수신된 정보를 고려한다. 추가적으로, 상기 헤드셋(605)의 추적이 손실되면, 상기 추적 모듈(625)은 상기 시스템 환경(600)의 일부 또는 전부를 재보정한다.

상기 추적 모듈(625)은 상기 하나 이상의 위치 센서(645), 상기 IMU(650), 상기 DCA(630), 또는 이들의 일부 조합으로부터의 정보를 사용하여 상기 헤드셋(605) 또는 상기 I/O 인터페이스(655)의 움직임을 추적한다. 예를 들어, 상기 추적 모듈(625)은 상기 헤드셋(605)으로부터의 정보에 기초하여 국부적 영역의 매핑에서 상기 헤드셋(605)의 기준점의 위치를 결정한다. 상기 추적 모듈(625)은 또한 각각 상기 IMU(650)로부터의 상기 헤드셋(605)의 위치를 나타내는 데이터 또는 상기 I/O 인터페이스(655)에 포함된 IMU(650)로부터의 상기 I/O 인터페이스(655)의 위치를 나타내는 데이터를 이용하여 상기 헤드셋(605)의 기준점 또는 상기 I/O 인터페이스(655)의 기준점의 위치들을 결정할 수 있다. 추가적으로, 일부 실시예들에 있어서, 상기 추적 모듈(625)은 상기 헤드셋(605)의 미래 위치를 예측하기 위해 상기 IMU(650)로부터의 위치 또는 헤드셋(605)을 나타내는 데이터의 일부를 사용할 수 있다. 상기 추적 모듈(625)은 상기 헤드셋(605) 또는 상기 I/O 인터페이스(655)의 추정된 또는 예측된 미래 위치를 상기 엔진(615)에 제공한다. 일부 실시예들에 있어서, 상기 추적 모듈(625)은 상기 사운드 필터들을 생성하는데 사용하기 위해 상기 오디오 시스템(400)에 추적 정보를 제공할 수 있다.

상기 엔진(615)은 또한 상기 시스템 환경(600) 내에서 애플리케이션을 실행하고 또한 상기 추적 모듈(625)로부터 상기 헤드셋(605)의 위치 정보, 가속도 정보, 속도 정보, 예측된 미래 위치, 또는 이들의 일부 조합을 수신한다. 상기 수신된 정보에 기초하여, 상기 엔진(615)은 사용자에게 제공하기 위해 상기 헤드셋(605)에 제공할 콘텐츠를 결정한다. 예를 들어, 만약 상기 수신된 정보가 사용자가 좌측을 보았다는 것을 나타내는 경우, 상기 엔진(615)은 가상 환경에서 또는 추가 콘텐츠로 국부적 영역을 증강하는 환경에서 사용자의 움직임을 미러링하는 상기 헤드셋(605)에 대한 콘텐츠를 생성한다. 추가적으로, 상기 엔진(615)은 상기 I/O 인터페이스(655)로부터 수신된 작업 요청에 응답하여 상기 콘솔(610)상에서 실행되는 애플리케이션 내에서 작업을 수행하고 또한 상기 작업이 수행되었다는 피드백을 사용자에게 제공한다. 상기 제공된 피드백은 상기 헤드셋(605)을 통한 시각적 또는 청각적 피드백 또는 상기 I/O 인터페이스(655)를 통한 햅틱 피드백일 수 있다.

추가 구성 정보

본 발명의 실시예들에 대한 상술한 설명은 예시의 목적으로 제공되었다; 이는 공개된 정확한 형태로 그 개시 내용을 철저하게 제한하도록 의도하지 않는다. 관련 기술분야의 통상의 기술자라면 상기 개시 내용에 비추어 많은 수정 및 변형이 가능함을 인식할 수 있을 것이다.

본 설명의 일부 부분은 정보에 대한 연산의 알고리즘 및 상징적 표현의 관점에서 본 발명의 실시예들을 설명한다. 이와 같은 알고리즘 설명 및 표현은 일반적으로 데이터 처리 기술 분야의 숙련자가 자신의 작업의 내용을 해당 기술 분야의 다른 숙련자에게 효과적으로 전달하기 위해 사용된다. 이와 같은 작업은 기능적으로, 계산적으로 또는 논리적으로 설명되지만, 제조 공정과 관련하여 컴퓨터 프로그램 또는 등가 전기 회로, 마이크로코드 등에 의해 구현되는 것으로 이해된다. 또한, 일반성을 잃지 않으면서, 이와 같은 작업 배열을 모듈로서 참조하는 것이 때때로 편리하다는 사실이 입증되었다. 설명된 작업 및 관련 모듈은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합으로 구현될 수 있다.

본원에 설명된 임의의 단계들, 작업들 또는 공정들은 단독으로 또는 다른 디바이스들과 조합하여 하나 이상의 하드웨어 또는 소프트웨어 모듈로 수행되거나 구현될 수 있다. 일 실시예에 있어서, 소프트웨어 모듈은 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품으로 구현되며, 이는 (예를 들면, 제조 공정과 관련하여) 설명된 단계들, 작업들 또는 공정들 중 일부 또는 전부를 수행하기 위해 컴퓨터 프로세서에 의해 실행될 수 있다.

본 발명의 실시예들은 또한 본원의 작업들을 수행하기 위한 장치와 관련될 수 있다. 이와 같은 장치는 요구되는 목적을 위해 특별히 구성될 수 있고 그리고/또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 장치를 포함할 수 있다. 그와 같은 컴퓨터 프로그램은 컴퓨터 시스템 버스에 연결될 수 있는 비일시적 유형의 컴퓨터 판독가능 저장 매체, 또는 전자 명령어들을 저장하기에 적합한 임의의 유형의 매체에 저장될 수 있다. 또한, 본 명세서에서 언급된 임의의 컴퓨팅 시스템은 단일 프로세서를 포함할 수 있거나 또는 증가된 컴퓨팅 능력을 위한 다중 프로세서 설계를 사용하는 아키텍처일 수 있다.

마지막으로, 본 명세서에 사용된 언어는 주로 가독성 및 교육 목적을 위해 선택되었으며, 본 발명의 주제를 묘사하거나 제한하기 위해 선택되지 않았을 수도 있다. 따라서, 본 발명의 범위는 이와 같은 상세한 설명에 의해 제한되지 않으며, 오히려 이에 기초한 응용 프로그램에 대해 제기되는 임의의 청구범위에 의해 제한되는 것으로 의도된다. 따라서, 실시예들의 발명의 개시는 예시적인 것으로 의도되지만, 다음의 청구범위에 기재된 본 발명의 범위를 제한하는 것은 아니다.

Claims (15)

1. 방법에 있어서,
   조직 전도를 통해 사용자의 제1 귀의 내이(inner ear)에 오디오 콘텐츠를 제공하는 변환기 어레이를 통해 오디오 콘텐츠를 제공하는 단계;
   헤드셋상의 하나 이상의 센서들을 통해, 상기 제공된 오디오 콘텐츠에 대한 데이터를 모니터링하는 단계로서, 상기 하나 이상의 센서들은 상기 사용자의 제2 귀에서 상기 제공된 오디오 콘텐츠에 대한 데이터를 캡처하도록 구성되는 적어도 하나의 센서를 포함하는, 상기 모니터링하는 단계;
   상기 데이터와 관련된 어레이 전달 함수(ATF)들을 추정하는 단계;
   상기 추정된 ATF들을 사용하여 상기 변환기 어레이에 대한 사운드 필터들을 생성하는 단계; 및
   상기 변환기 어레이를 통해, 부분적으로 상기 사운드 필터들에 기초하여, 조정된 오디오 콘텐츠를 제공하는 단계로서, 상기 조정된 오디오 콘텐츠는 상기 제1 귀에서 상기 조정된 오디오 콘텐츠의 진폭이 상기 제2 귀에서보다 큰 진폭을 갖도록 상기 제2 귀에서 감쇠 영역을 갖는, 상기 조정된 오디오 콘텐츠를 제공하는 단계를 포함하는, 방법.
2. 제1 항에 있어서, 상기 조직 전도는 연골 전도 및 골 전도 중 적어도 하나를 포함하는, 방법.
3. 제1 항 또는 제2 항에 있어서, 상기 변환기 어레이는 제1 그룹의 변환기들 및 제2 그룹의 변환기들을 포함하고, 상기 제1 그룹의 변환기들은 상기 제1 귀에 근접하고, 상기 제2 그룹의 변환기들은 상기 제2 귀에 근접하는, 방법.
4. 제1 항, 제2 항 또는 제3 항에 있어서, 상기 하나 이상의 센서들은 제1 그룹의 센서들 및 제2 그룹의 센서들을 포함하고, 상기 제1 그룹의 센서들은 상기 제1 귀에 근접하고, 상기 제2 그룹의 센서들은 상기 제2 귀에 근접하고 상기 적어도 하나의 센서를 포함하며; 바람직하게도, 상기 헤드셋상의 하나 이상의 센서들을 통해 상기 제공된 오디오 콘텐츠에 대한 데이터를 모니터링하는 단계는:
   상기 제1 그룹의 센서들 및 상기 제2 그룹의 센서들 중 적어도 하나를 사용하여 상기 제공된 오디오 콘텐츠에 대한 데이터를 모니터링하는 단계를 포함하는, 방법.
5. 제1 항 내지 제4 항 중 어느 한 항에 있어서, 상기 추정된 ATF들을 사용하여 상기 변환기 어레이에 대한 사운드 필터들을 생성하는 단계는:
   상기 사운드 필터들을 생성하기 위해 상기 추정된 ATF들에 최적화 알고리즘을 적용시키는 단계로서, 상기 최적화 알고리즘은 하나 이상의 제약 조건들을 따르는, 상기 적용시키는 단계를 포함하며; 바람직하게도, 상기 하나 이상의 제약 조건들은 상기 제1 귀가 밝은 구역으로 지정되고 상기 제2 귀가 조용한 구역으로 지정되는 것을 포함하는, 방법.
6. 제1 항 내지 제5 항 중 어느 한 항에 있어서,
   조직 전도를 통해 제2 오디오 콘텐츠를 제2 귀의 내이에 제공하는 상기 변환기 어레이를 통해 상기 제2 오디오 콘텐츠를 제공하는 단계;
   상기 헤드셋상의 적어도 하나의 센서를 통해, 상기 제공된 제2 오디오 콘텐츠에 대한 제2 데이터를 모니터링하는 단계로서, 상기 적어도 하나의 센서는 상기 제2 귀에서 상기 제공된 제2 오디오 콘텐츠에 대한 제2 데이터를 캡처하도록 구성되는 적어도 하나의 센서를 포함하는, 상기 제2 데이터를 모니터링하는 단계;
   상기 제2 데이터와 관련된 제2 어레이 전달 함수(ATF)들을 추정하는 단계;
   상기 추정된 제2 ATF들을 사용하여 상기 변환기 어레이에 대한 제2 사운드 필터들을 생성하는 단계; 및
   상기 변환기 어레이를 통해, 부분적으로 상기 제2 사운드 필터들에 기초하여, 조정된 제2 오디오 콘텐츠를 제공하는 단계로서, 상기 조정된 오디오 콘텐츠는 상기 제1 귀에서 상기 조정된 오디오 콘텐츠의 진폭이 상기 제2 귀에서보다 큰 진폭을 갖도록 상기 제1 귀에서 감쇠 영역을 가지며; 바람직하게도, 조정된 오디오 콘텐츠를 제공하는 단계 및 조정된 제2 오디오 콘텐츠를 제공하는 단계는 서로 상이한 시간 기간들에 걸쳐 발생하는, 상기 조정된 제2 오디오 콘텐츠를 제공하는 단계를 더 포함하는, 방법.
7. 오디오 시스템에 있어서,
   조직 전도를 통해 사용자의 제1 귀의 내이에 오디오 콘텐츠를 제공하도록 구성되는 변환기 어레이;
   상기 제공된 오디오 콘텐츠에 대한 데이터를 모니터링하도록 구성되는 헤드셋상의 하나 이상의 센서들로서, 상기 하나 이상의 센서들은 제2 귀에서 상기 제공된 오디오 콘텐츠에 대한 데이터를 캡처하도록 구성되는 적어도 하나의 센서를 포함하는, 상기 하나 이상의 센서들; 및
   제어기로서:
   상기 데이터와 관련된 어레이 전달 함수(ATF)들을 추정하고,
   상기 추정된 ATF들을 사용하여 상기 변환기 어레이에 대한 사운드 필터들을 생성하고,
   부분적으로 상기 사운드 필터들에 기초하여, 조정된 오디오 콘텐츠를 제공하도록 상기 변환기 어레이에게 명령하도록 구성되고, 상기 조정된 오디오 콘텐츠는 상기 제1 귀에서 상기 오디오 콘텐츠의 진폭이 상기 제2 귀에서보다 큰 진폭을 갖도록 상기 제2 귀에서 감쇠 영역을 갖는, 상기 제어기를 포함하는, 오디오 시스템.
8. 제7 항에 있어서, 상기 조직 전도는 연골 전도 및 골 전도 중 적어도 하나를 포함하는, 오디오 시스템.
9. 제8 항에 있어서, 상기 변환기 어레이는 제1 그룹의 변환기들 및 제 2 그룹의 변환기들을 포함하고, 상기 제1 그룹의 변환기들은 상기 제1 귀에 근접하고, 상기 제2 그룹의 변환기들은 상기 제2 귀에 근접하는, 오디오 시스템.
10. 제8 항 또는 제9 항에 있어서, 상기 하나 이상의 센서들은 제1 그룹의 센서들 및 제2 그룹의 센서들을 포함하고, 상기 제1 그룹의 센서들은 상기 제1 귀에 근접하고, 상기 제2 그룹의 센서들은 상기 제2 귀에 근접하고 상기 적어도 하나의 센서를 포함하는, 오디오 시스템.
11. 제8 항, 제9 항 또는 제10 항에 있어서, 상기 제어기는:
    상기 사운드 필터들을 생성하기 위해 상기 추정된 ATF들에 최적화 알고리즘을 적용시키도록 추가로 구성되며, 상기 최적화 알고리즘은 하나 이상의 제약 조건들을 따르며,
    바람직하게도 상기 하나 이상의 제약 조건들은 상기 제1 귀가 밝은 구역으로 지정되고 상기 제2 귀가 조용한 구역으로 지정되는 것을 포함하는, 오디오 시스템.
12. 제7 항 내지 제11 항 중 어느 한 항에 있어서,
    조직 전도를 통해 사용자의 제2 귀의 내이에 제2 오디오 콘텐츠를 제공하도록 구성되는 변환기 어레이;
    상기 제공된 오디오 콘텐츠에 대한 제2 데이터를 모니터링하도록 구성되는 헤드셋상의 하나 이상의 센서들로서, 상기 하나 이상의 센서들은 상기 제2 귀에서 상기 제공된 오디오 콘텐츠에 대한 제2 데이터를 캡처하도록 구성되는 적어도 하나의 센서를 포함하는, 상기 하나 이상의 센서들; 및
    제어기로서:
    상기 제2 데이터와 관련된 제2 어레이 전달 함수(ATF)들을 추정하고,
    상기 추정된 제2 ATF들을 사용하여 상기 변환기 어레이에 대한 제2 사운드 필터들을 생성하고,
    부분적으로 상기 제2 사운드 필터들에 기초하여, 조정된 제2 오디오 콘텐츠를 제공하도록 상기 변환기 어레이에게 명령하도록 구성되고, 상기 조정된 오디오 콘텐츠는 상기 제2 귀에서 상기 조정된 오디오 콘텐츠의 진폭이 상기 제1 귀에서보다 큰 진폭을 갖도록 상기 제1 귀에서 감쇠 영역을 가지며, 바람직하게도 조정된 오디오 콘텐츠를 제공하는 것 및 조정된 제2 오디오 콘텐츠를 제공하는 것은 서로 상이한 시간 기간들에 걸쳐 발생하는, 오디오 시스템.
13. 프로그램 코드 명령어들을 저장하도록 구성된 비일시적 컴퓨터 판독가능 매체에 있어서,
    상기 프로그램 코드 명령어들은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    조직 전도를 통해 사용자의 제1 귀의 내이에 오디오 콘텐츠를 제공하는 변환기 어레이를 통해 오디오 콘텐츠를 제공하는 단계;
    헤드셋상의 하나 이상의 센서들을 통해, 상기 제공된 오디오 콘텐츠에 대한 데이터를 모니터링하는 단계로서, 상기 하나 이상의 센서들은 상기 사용자의 제2 귀에서 상기 제공된 오디오 콘텐츠에 대한 데이터를 캡처하도록 구성되는 적어도 하나의 센서를 포함하는, 상기 모니터링하는 단계;
    상기 데이터와 관련된 어레이 전달 함수(ATF)들을 추정하는 단계;
    상기 추정된 ATF들을 사용하여 상기 변환기 어레이에 대한 사운드 필터들을 생성하는 단계; 및
    상기 변환기 어레이를 통해, 부분적으로 상기 사운드 필터들에 기초하여, 조정된 오디오 콘텐츠를 제공하는 단계로서, 상기 조정된 오디오 콘텐츠는 상기 제1 귀에서 상기 조정된 오디오 콘텐츠의 진폭이 상기 제2 귀에서보다 큰 진폭을 갖도록 상기 제2 귀에서 감쇠 영역을 갖는, 상기 조정된 오디오 콘텐츠를 제공하는 단계를 실행하게 하는, 비일시적 컴퓨터 판독가능 매체.
14. 제13 항에 있어서,
    조직 전도를 통해 제2 오디오 콘텐츠를 제2 귀의 내이에 제공하는 상기 변환기 어레이를 통해 상기 제2 오디오 콘텐츠를 제공하고;
    상기 헤드셋상의 적어도 하나의 센서를 통해, 상기 제공된 제2 오디오 콘텐츠에 대한 제2 데이터를 모니터링하는 것으로서, 상기 적어도 하나의 센서는 상기 제2 귀에서 상기 제공된 제2 오디오 콘텐츠에 대한 제2 데이터를 캡처하도록 구성되는 적어도 하나의 센서를 포함하는, 상기 제공된 제2 오디오 콘텐츠에 대한 제2 데이터를 모니터링하고;
    상기 제2 데이터와 관련된 제2 어레이 전달 함수(ATF)들을 추정하고;
    상기 추정된 제2 ATF들을 사용하여 상기 변환기 어레이에 대한 제2 사운드 필터들을 생성하고;
    상기 변환기 어레이를 통해, 부분적으로 상기 제2 사운드 필터들에 기초하여, 조정된 제2 오디오 콘텐츠를 제공하는 것으로서, 상기 조정된 오디오 콘텐츠는 상기 제1 귀에서 상기 조정된 오디오 콘텐츠의 진폭이 상기 제2 귀에서보다 더 큰 진폭을 갖도록 상기 제1 귀에서 감쇠 영역을 갖는, 상기 조정된 제2 오디오 콘텐츠를 제공하도록 추가로 구성되는, 비일시적 컴퓨터 판독가능 매체.
15. 제13 항 또는 제14 항에 있어서, 상기 조직 전도는 연골 전도 및 골 전도 중 적어도 하나를 포함하는, 비일시적 컴퓨터 판독가능 매체.

Images