KR20210110690A - 오디오 시스템을 위한 수정된 오디오 경험을 생성 - Google Patents

오디오 시스템을 위한 수정된 오디오 경험을 생성 Download PDF

Info

Publication number
KR20210110690A
KR20210110690A KR1020217024638A KR20217024638A KR20210110690A KR 20210110690 A KR20210110690 A KR 20210110690A KR 1020217024638 A KR1020217024638 A KR 1020217024638A KR 20217024638 A KR20217024638 A KR 20217024638A KR 20210110690 A KR20210110690 A KR 20210110690A
Authority
KR
South Korea
Prior art keywords
audio
user
sound waves
experience
wearable device
Prior art date
Application number
KR1020217024638A
Other languages
English (en)
Other versions
KR102622499B1 (ko
Inventor
피터 하티 도즈
테츠로 오이시
필립 로빈슨
Original Assignee
페이스북 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북 테크놀로지스, 엘엘씨 filed Critical 페이스북 테크놀로지스, 엘엘씨
Publication of KR20210110690A publication Critical patent/KR20210110690A/ko
Application granted granted Critical
Publication of KR102622499B1 publication Critical patent/KR102622499B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17813—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17823—Reference signals, e.g. ambient acoustic environment
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17827—Desired external signals, e.g. pass-through audio such as music or speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17873—General system configurations using a reference signal without an error signal, e.g. pure feedforward
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3044—Phase shift, e.g. complex envelope processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

오디오 시스템은 오디오 시스템에 의해 사용자에게 제시되는 목표 오디오 경험의 저하를 감소시키는 수정된 오디오 경험을 제시하도록 구성된다. 오디오 시스템은 음향 센서 어레이, 제어기 및 재생 디바이스 어레이를 포함한다. 수정된 오디오 경험을 생성하기 위해, 음향 센서 어레이는 저하를 야기하는 음파들을 하나 이상의 비-목표 오디오 소스(들)로부터 수신하고, 오디오 소스(들)를 식별하고, 오디오 소스(들)의 공간적 위치를 결정하고, 오디오 소스(들)의 유형을 결정하고 재생 디바이스 어레이에 의해 실행될 때, 수정된 오디오 경험을 사용자에게 제시하는 오디오 명령들을 생성한다. 수정된 오디오 경험은 비-목표 오디오 소스들로부터 수신된 음파들을 보상하기 위해 능동 잡음 제거, 주변 사운드 마스킹 및/또는 중립 사운드 마스킹을 수행할 수 있다. 오디오 시스템은 인공 현실 환경을 생성할 수 있는 헤드셋의 부분일 수 있다.

Description

오디오 시스템을 위한 수정된 오디오 경험을 생성
본 개시내용은 일반적으로 오디오 경험을 생성하는 것에 관한 것이고, 구체적으로 눈에 띄는 오디오 소스들에 의해 생성된 음파를 보상하는 오디오 경험을 생성하는 것에 관한 것이다.
기존의 오디오 시스템들은 헤드폰들을 사용하여 복수의 오디오 콘텐츠를 포함하는 목표 오디오 경험을 제시할 수 있다. 기존 시스템들이 헤드폰들을 사용하기 때문에, 목표 오디오 경험은 오디오 시스템의 로컬 영역에 있는 다른 오디오 소스들에 의해 비교적 영향을 받지 않는다. 그러나, 헤드폰들을 포함하는 오디오 시스템들은 외이도를 막고 일부 인공 현실 환경들(예를 들어, 증강 현실)에 바람직하지 않다. 로컬 영역 내 사용자를 위해 공기를 통해 목표 오디오 경험을 생성하는 것과 동시에, 해당 오디오 콘텐츠에 대한 로컬 영역의 다른 사용자 노출을 최소화하는 것은 원거리 방출 사운드에 대한 제어 부족으로 인해 어렵다. 기존 시스템들은 목표 오디오 경험을 저하시키는 것으로 사용자에 의해 인식될 수 있는 음파들을 보상하는 오디오 콘텐츠를 동적으로 제시할 수 없다.
오디오 시스템에 의해 사용자에게 제시되는 목표 오디오 경험의 저하를 감소시키는 수정된 오디오 경험을 생성하기 위한 방법. 저하 또는 충격은 오디오 시스템의 로컬 영역에서 비-목표 오디오 소스들에 의해 생성된 음파들을 사용자가 인식함으로써 유발될 수 있다. 방법은 비-목표 오디오 소스에 의해 생성된 음파들을 보상하는 수정된 오디오 콘텐츠를 제시함으로써 저하, 또는 충격을 감소시킨다. 일부 실시예들에서, 수정된 오디오 경험은 비-목표 오디오 소스들에 의해 생성된 음파들의 존재에도 불구하고 목표 오디오 경험과 유사하다.
방법은 헤드셋의 음향 센서 어레이를 통해, 헤드셋의 로컬 영역에 있는 하나 이상의 오디오 소스들로부터의 음파들을 결정한다. 헤드셋의 제어기는 음파들과 연관된 어레이 전달 함수(ATF: Array Transfer Function)들을 결정하고 오디오 소스들의 공간적 위치 및/또는 유형을 결정한다. 제어기는 재생 디바이스 어레이에 의해 실행될 때 수정된 오디오 경험을 사용자에게 제시하는 오디오 명령들을 생성한다. 수정된 오디오 경험은 비-목표 오디오 소스들로부터 수신된 음파들을 보상하기 위해 능동 잡음 제거, 주변 사운드 마스킹 및/또는 중립 사운드 마스킹(neutral sound masking)을 수행할 수 있다.
방법은 오디오 시스템에 의해 수행될 수 있다. 예를 들어, 헤드셋의 일부인 오디오 시스템(예를 들어, 근안 디스플레이, 머리-장착 디스플레이). 오디오 시스템은 음향 센서 어레이, 제어기 및 재생 디바이스 어레이를 포함한다. 오디오 시스템은 오디오 소스를 검출한 후 또는 사용자의 입력에 대한 응답으로 수정된 오디오를 자동으로 제시할 수 있다.
본 발명에 따른 실시예들은 특히 방법, 저장 매체, 및 웨어러블 디바이스에 관한 첨부된 청구범위들에 개시되고, 여기서 하나의 청구범위 카테고리, 예를 들어 방법에서 언급된 임의의 특징은 또한 다른 청구범위 카테고리, 예를 들어 저장 매체, 웨어러블 디바이스, 시스템 및 컴퓨터 프로그램 제품들에서 청구될 수 있다. 첨부된 청구범위들의 종속성들 또는 인용들은 형식적인 이유로만 선택된다. 그러나 임의의 이전 청구범위들(특히 다중 종속성)에 대한 고의적인 인용으로 인해 발생하는 모든 청구 대상이 또한 청구될 수 있으므로, 청구범위들 및 그 특징들의 임의의 조합은 개시되고 첨부된 청구범위들에서 선택된 종속성들에 무관하게 청구될 수 있다. 청구될 수 있는 청구 대상은 첨부된 청구범위들에 제시된 특징들의 조합들뿐만 아니라 청구범위들의 특징들의 임의의 다른 조합을 포함하고, 여기서 청구범위들에 언급된 각각의 특징은 청구범위들의 임의의 다른 특징 또는 다른 특징들의 조합과 결합될 수 있다. 또한, 본원에 설명되거나 묘사된 실시예들 및 특징들 중 임의의 것은 별도의 청구범위 및/또는 본원에 설명되거나 묘사된 임의의 실시예 또는 특징 또는 첨부된 청구범위들의 임의의 특징들과의 조합으로 청구될 수 있다.
실시예에서, 방법은:
웨어러블 디바이스의 복수의 음향 센서들에서, 공간적 위치에 위치된 비-목표 오디오 소스로부터 음파들의 세트를 수신하는 단계로서, 음파들은 웨어러블 디바이스에 의해 사용자에게 제시되는 목표 오디오 경험에 영향을 미치고, 오디오 경험은 사용자가 사용자의 청각 필드(auditory field)의 공간적 위치에 있는 비-목표 오디오 소스의 음파들을 인식함으로써 영향을 받는, 상기 음파들의 세트를 수신하는 단계;
수신된 음파들의 세트에 기반하여 비-목표 오디오 소스의 공간적 위치를 결정하는 단계;
결정된 공간적 위치 및 수신된 음파들의 세트에 기반하여 감소 오디오 명령들의 세트를 생성하는 단계로서, 감소 오디오 명령들은 웨어러블 디바이스에 의해 사용자에게 제시될 때 사용자의 청각 필드 내의 비-목표 오디오 소스를 보상함으로써 오디오 경험에 대한 영향을 감소시키는, 상기 감소 오디오 명령들의 세트를 생성하는 단계;
감소 오디오 명령들의 세트를 사용하여 수정된 오디오 경험을 제시하는 단계로서, 수정된 오디오 경험은, 웨어러블 디바이스에 의해 사용자에게 제시될 때, 사용자의 청각 필드 내의 공간적 위치에 있는 비-목표 오디오 소스의 인식을 감소시키는, 상기 수정된 오디오 경험을 제시하는 단계를 포함할 수 있다.
웨어러블 디바이스에 의해 사용자에게 오디오 경험을 제시하는 단계는:
복수의 오디오 콘텐츠 요소들을 나타내는 복수의 오디오 명령들을 수신하는 단계; 및
웨어러블 디바이스의 오디오 어셈블리를 사용하여 사용자에게 오디오 콘텐츠 요소들 중 하나 이상을 제시하는 단계로서, 오디오 어셈블리는 사용자의 청각 필드에 오디오 콘텐츠 요소들을 제시하도록 구성되는, 상기 오디오 콘텐츠 요소들 중 하나 이상을 제시하는 단계를 포함할 수 있다.
오디오 어셈블리는 웨어러블 디바이스의 프레임 주위에 포지셔닝된 복수의 오디오 재생 디바이스들을 포함할 수 있고 오디오 콘텐츠 요소들은 복수의 오디오 재생 디바이스들로부터 제시될 수 있다.
감소 오디오 명령들의 세트는:
웨어러블 디바이스에 의해 제시가능한 오디오 명령들을 포함할 수 있고, 웨어러블 디바이스는, 오디오 명령들을 제시할 때, 사용자의 청각 필드 내의 공간적 위치에 있는 비-목표 오디오 소스의 인식을 감소시키기 위해 능동 잡음 제거를 수행한다.
공간적 위치 및 수신된 음파들에 기반하여 감소 오디오 명령들의 세트를 생성하는 단계는:
음파들의 파형을 결정하기 위해 음파들을 분석하는 단계;
파형에 기반하여 반-파형(anti-waveform)을 결정하는 단계로서, 반-파형은 파형과 상쇄 간섭하는, 상기 반-파형을 결정하는 단계; 및
웨어러블 디바이스에 의해 제시될 때, 사용자에게 반-파형을 제시하는 감소 오디오 명령들을 생성하는 단계로서, 반-파형은 사용자가 사용자의 청각 필드 내의 공간적 위치에 있는 오디오 소스의 감소된 인식을 갖도록 음파들과 상쇄 간섭하는, 상기 감소 오디오 명령들을 생성하는 단계를 포함할 수 있다.
감소 오디오 명령들의 세트는:
웨어러블 디바이스에 의해 제시가능한 오디오 명령들을 포함할 수 있고, 웨어러블 디바이스는, 오디오 명령들을 제시할 때, 사용자의 청각 필드 내의 공간적 위치에 있는 비-목표 오디오 소스의 인식을 감소시키기 위해 중립 사운드 마스킹을 수행한다.
공간적 위치 및 수신된 음파들에 기반하여 감소 오디오 명령들의 세트를 생성하는 단계는:
음파들의 음향 특징의 세트를 결정하기 위해 음파들을 분석하는 단계;
음파들의 오디오 특징을 중립 사운드 마스킹하는 중립 음향 신호를 결정하는 단계;
안경류의 오디오 어셈블리에 의해 실행될 때, 사용자가 사용자의 청각 필드 내의 공간적 위치에 있는 오디오 소스의 감소된 인식을 갖도록 음파들을 중립 사운드 마스킹하는 중립 음향 신호를 제시하는 감소 오디오 명령들을 생성하는 단계를 포함할 수 있다.
중립 음향 신호는 백색 잡음, 핑크 잡음, 형상화된 백색 잡음 중 임의의 것일 수 있다.
감소 오디오 명령들의 세트는, 웨어러블 디바이스에 의해 실행될 때, 사용자의 청각 필드 내의 공간적 위치에 있는 비-목표 오디오 소스의 인식을 감소시키기 위해 주변 사운드 마스킹을 수행하는 오디오 콘텐츠를 제시할 수 있다.
공간적 위치 및 수신된 음파들에 기반하여 감소 오디오 명령들의 세트를 생성하는 단계는:
음파들의 오디오 특징의 세트를 결정하기 위해 음파들을 분석하는 단계;
수신된 음파들의 세트 중 하나 이상의 오디오 특징을 사운드 마스킹하는 주변 음향 신호를 결정하는 단계로서, 주변 음향 신호는 비-목표 오디오 소스로부터 수신된 음파들의 오디오 특징을 포함하는, 주변 음향 신호를 결정하는 단계; 및
웨어러블 디바이스에 의해 사용자에게 제시될 때, 사용자가 사용자의 청각 필드 내의 공간적 위치에 있는 오디오 소스의 감소된 인식을 갖도록 음파들을 주변 사운드 마스킹하는 주변 음향 신호를 제시하는 감소 오디오 명령들을 생성하는 단계를 포함할 수 있다.
실시예에서, 방법은:
사용자의 청각 필드 내의 주변 배경을 나타내는 음파들의 오디오 특징의 세트를 결정하는 단계를 포함할 수 있고,
결정된 음향 신호는 사용자의 청각 필드 내의 주변 배경을 나타내는 오디오 특징을 포함한다.
공간적 위치 및 수신된 음파들에 기반하여 감소 오디오 명령들의 세트를 생성하는 단계는:
웨어러블 디바이스의 배향을 결정하는 단계;
웨어러블 디바이스의 배향과 비-목표 오디오 소스의 공간적 위치 사이의 상대적 배향을 결정하는 단계;
결정된 상대적 배향에 기반하여 머리 관련 전달 함수를 결정하는 단계로서, 머리 관련 전달 함수는 공간적 위치에서 비-목표 오디오 소스를 보상하기 위해 목표 오디오 경험을 수정하기 위한 것인, 상기 머리 관련 전달 함수를 결정하는 단계; 및
액세스된 머리 관련 전달 함수를 사용하여 감소 오디오 명령들을 생성하는 단계를 포함할 수 있다.
실시예에서, 방법은:
웨어러블 디바이스의 배향 변화를 결정하는 것에 대한 응답으로,
웨어러블 디바이스의 변화된 배향과 비-목표 오디오 소스의 공간적 위치 사이의 새로운 상대적 배향을 결정하는 단계;
결정된 새로운 상대적 배향에 기반하여 수정된 머리 관련 전달 함수를 결정하는 단계로서, 수정된 머리 관련 전달 함수는 새로운 상대적 배향에서 비-목표 오디오 소스를 보상하기 위해 의도된 오디오 경험을 수정하기 위한 것인, 상기 수정된 머리 관련 전달 함수를 결정하는 단계; 및
수정된 머리 관련 전달 함수를 사용하여 감소 오디오 명령들을 생성하는 단계를 포함할 수 있다.
실시예에서, 방법은:
수신된 음파들이 비-목표 오디오 소스로부터 발생하는 것을 결정하는 단계를 포함할 수 있다.
수신된 음파들이 비-목표 오디오 소스로부터 발생하는 것을 결정하는 단계는:
수신된 음파들의 오디오 특징의 세트를 결정하는 단계; 및
오디오 특징의 세트가 비-목표 오디오 소스를 나타내는 것을 결정하는 단계를 포함할 수 있다.
감소 오디오 명령들을 생성하는 단계는 수신된 음파들이 비-목표 오디오 소스로부터 발생하는 것을 결정하는 것에 대해 응답할 수 있다.
실시예에서, 방법은:
사용자로부터, 감소 오디오 명령들을 생성하기 위한 입력을 수신하는 단계를 포함할 수 있다.
실시예에서, 방법은:
사용자에게 제시된 목표 오디오 경험의 유형을 결정하는 단계를 포함할 수 있고;
감소 오디오 명령들을 생성하는 단계는 의도된 오디오 경험의 결정된 유형에 기반한다.
실시예에서, 비-일시적 컴퓨터-판독가능 저장 매체는 프로세서에 의해 실행될 때, 프로세서로 하여금 상기 실시예들 중 임의의 실시예의 단계들 또는 다음 단계들을 달성하게 할 수 있는 인코딩된 명령들을 저장하고, 다음 단계들은:
사용자에 의해 착용된 웨어러블 디바이스의 복수의 음향 센서들에서, 공간적 위치에 위치된 비-목표 오디오 소스로부터 음파들의 세트를 수신하는 단계로서, 음파들은 웨어러블 디바이스에 의해 사용자에게 제시되는 목표 오디오 경험에 영향을 미치고, 오디오 경험은 사용자가 음파들을 사용자의 청각 필드 내의 공간적 위치에 있는 비-목표 오디오 소스로서 인식함으로써 영향을 받는, 상기 음파들의 세트를 수신하는 단계;
수신된 음파들의 세트에 기반하여 비-목표 오디오 소스의 공간적 위치를 결정하는 단계;
결정된 공간적 위치 및 수신된 음파들의 세트에 기반하여 감소 오디오 명령들의 세트를 생성하는 단계로서, 감소 오디오 명령들은 웨어러블 디바이스에 의해 사용자에게 제시될 때 사용자의 청각 필드 내의 비-목표 오디오 소스를 보상함으로써 오디오 경험에 대한 영향을 감소시키는, 상기 감소 오디오 명령들의 세트를 생성하는 단계;
감소 오디오 명령들의 세트를 사용하여 수정된 오디오 경험을 제시하는 단계로서, 수정된 오디오 경험은, 웨어러블 디바이스에 의해 사용자에게 제시될 때, 사용자의 청각 필드 내의 공간적 위치에 있는 비-목표 오디오 소스의 인식을 감소시키는, 상기 수정된 오디오 경험을 제시하는 단계를 포함할 수 있다.
실시예에서, 웨어러블 디바이스는:
음파들을 수신하도록 구성된 복수의 음향 센서들;
웨어러블 디바이스의 사용자에게 오디오 경험을 생성하도록 구성된 오디오 어셈블리;
상기 실시예들 중 임의의 실시예에 따른 방법을 수행하거나:
사용자에 의해 착용된 웨어러블 디바이스의 복수의 음향 센서들에서, 공간적 위치에 있는 비-목표 오디오 소스로부터 음파들의 세트를 수신하는 것으로서, 음파들은 웨어러블 디바이스에 의해 사용자를 위해 생성된 목표 오디오 경험에 영향을 미치고, 오디오 경험은 사용자가 음파들을 사용자의 청각 필드 내의 비-목표 오디오 소스로서 인식함으로써 영향을 받는, 상기 음파들의 세트를 수신하고;
수신된 음파들의 세트에 기반하여 비-목표 오디오 소스의 공간적 위치를 결정하고;
결정된 공간적 위치 및 수신된 음파들의 세트에 기반하여 보상 오디오 신호를 생성하는 것으로서, 보상 오디오 신호는 사용자의 청각 필드 내의 비-목표 오디오 소스를 보상함으로써 오디오 경험에 대한 영향을 감소시키는, 상기 보상 오디오 신호를 생성하고;
오디오 어셈블리를 사용하여, 보상 오디오 신호를 사용하여 수정된 오디오 경험을 제시하는 것으로서, 수정된 오디오 경험은 사용자의 오디오 필드 내의 비-목표 오디오 소스의 인식을 감소시키는, 수정된 오디오 경험을 제시하도록 구성된 제어기를 포함할 수 있다.
실시예에서, 하나 이상의 컴퓨터-판독가능 비-일시적 저장 매체들은 방법 또는 위에서 언급된 실시예들 중 임의의 실시예를 수행하기 위해 실행될 때 동작가능한 소프트웨어를 구현할 수 있다.
실시예에서, 시스템은: 하나 이상의 프로세서들; 및 프로세서들에 결합되고 프로세서들에 의해 실행가능한 명령들을 포함하는 적어도 하나의 메모리를 포함할 수 있고, 프로세서들은 방법 또는 위에서 언급된 실시예들 중 임의의 실시예를 수행하기 위한 명령들을 실행할 때 동작가능하다.
실시예에서, 바람직하게 컴퓨터-판독가능 비-일시적 저장 매체들을 포함하는 컴퓨터 프로그램 제품은 방법 또는 위에서 언급된 실시예들 중 임의의 실시예를 수행하기 위해 데이터 프로세싱 시스템에서 실행될 때 동작가능할 수 있다.
도 1은 하나 이상의 실시예들에 따른 오디오 시스템을 포함하는 헤드셋의 다이어그램이다.
도 2는 하나 이상의 실시예들에 따른, 청각 필드 내의 비-목표 오디오 소스를 인식하는 사용자에 의해 착용된 헤드셋의 로컬 영역을 예시한다.
도 3은 하나 이상의 실시예들에 따른 예시적인 오디오 시스템의 블록도이다.
도 4는 하나 이상의 실시예들에 따른 목표 오디오 경험의 저하를 보상하는 수정된 오디오 경험을 생성하기 위한 프로세스이다.
도 5는 하나 이상의 실시예에 따른 예시적인 인공 현실 시스템의 블록도이다.
도면들 및 다음 설명은 단지 예시를 위한 다양한 실시예들에 관한 것이다. 다음 논의로부터, 본원에 개시된 구조들 및 방법들의 대안적인 실시예들이 청구된 원리들로부터 벗어나지 않고 이용될 수 있는 실행가능한 대안들로서 쉽게 인식될 것임이 주목되어야 한다.
오디오 시스템은 사용자의 청각 필드 내의 오디오 소스의 인식을 감소시키는 오디오 경험(예를 들어, 방해)을 생성한다. 오디오 시스템은 헤드셋의 일부(예를 들어, 근안 디스플레이, 머리-장착 디스플레이)일 수 있다. 오디오 시스템은 음향 센서 어레이, 제어기 및 재생 디바이스 어레이를 포함한다. 음향 센서 어레이는 헤드셋의 로컬 영역에 있는 하나 이상의 오디오 소스들로부터의 사운드들을 검출한다. 재생 디바이스 어레이는 사용자의 청각 필드에 오디오 콘텐츠를 표시함으로써 사용자를 위한 오디오 경험을 생성한다. 사용자의 청각 필드는 헤드셋 사용자가 오디오 소스를 인식할 수 있는 공간적 위치들을 포함한다.
제어기는 재생 디바이스 어레이에 의해 실행가능한 오디오 명령들을 생성한다. 오디오 명령들은 재생 디바이스 어레이에 의해 실행될 때 사용자에게 목표 오디오 경험을 제시할 수 있다. 목표 오디오 경험은 헤드셋의 동작 동안 사용자가 자신의 청각 필드에서 인식하도록 목표된, 사용자에게 제시되는 오디오 콘텐츠를 포함한다. 예를 들어, 헤드셋을 동작시키는 사용자에게 제시되는 목표 오디오 경험의 오디오 콘텐츠 요소들은 영화의 사운드트랙, 게임의 사운드 효과들, 음악 재생 리스트 등을 포함할 수 있다.
일부 실시예들에서, 재생 디바이스 어레이는 외이도를 방해하는 재생 디바이스들(예를 들어, 이어버드 또는 헤드폰)을 포함하지 않는다. 이것은 사용자가 재생 디바이스 어레이에 의해 제시되는 오디오 콘텐츠와 동시에 로컬 영역의 오디오 소스들로부터의 음파들을 인식하게 한다. 그러므로, 일부 경우들에서, 로컬 영역의 하나 이상의 오디오 소스들은 오디오 시스템에 의해 사용자에게 제시되는 목표 오디오 경험("비-목표 오디오 소스")을 저하시킬 수 있다. 비-목표 오디오 소스들은 오디오 시스템에 의해 제시되는 오디오 경험을 방해하고 목표 오디오 경험을 방해하는 것으로 인식될 수 있는 음파들을 생성함으로써 목표 오디오 경험을 저하시킵니다. 예를 들어, 비-목표 오디오 소스는 목표 오디오 경험의 사용자 몰입을 방해하는 음파들을 생성함으로써 목표 오디오 경험을 저하시키고, 사용자의 청각 필드에 방해를 제공하고, 오디오 시스템에 의해 제시되는 오디오 콘텐츠를 마스킹하는 등을 할 수 있다. 보다 일반적으로, 비-목표 오디오 소스는 부정적인 방식으로 사용자에게 제시되는 목표 오디오 경험에 영향을 미친다.
제어기는 재생 디바이스 어레이에 의해 실행될 때 목표 오디오 경험의 저하("경험 저하")를 감소시키는 오디오 명령들을 생성할 수 있다. 이를 위해, 제어기는 비-목표 오디오 소스들에서 수신된 음파들의 전달 함수들, 비-목표 오디오 소스(들)의 공간적 위치(들), 비-목표 오디오 소스(들)의 유형을 결정한다. 이어서, 제어기는 실행될 때 목표 오디오 경험을 저하시키는 음파들을 보상(즉, 제거, 마스크 등)하는 오디오 명령들을 생성한다. 보다 일반적으로, 제어기는 재생 디바이스 어레이에 의해 실행될 때 오디오 경험에 대한 의도되지 않은 음파들의 영향을 감소시키는 오디오 명령들을 생성한다.
제어기는 오디오 소스에서 수신된 음파들에 기반한 전달 함수들을 결정한다. 전달 함수는 다수의 음향 센서들(예를 들어, 음향 센서 어레이)에서 수신된 음파들을 제어기에 의해 분석될 수 있는 오디오 신호들로 매핑하는 함수이다. 제어기는 수신된 음파들의 오디오 특징 및/또는 결정된 전달 함수들에 기반하여 비-목표 오디오 소스의 공간적 위치(예를 들어, 좌표)를 결정할 수 있다. 제어기는 또한 수신된 음파들의 오디오 특징 및/또는 결정된 전달 함수들에 기반하여 비-목표 오디오 소스들 유형을 분류할 수 있다. 오디오 특징은 음파의 속성들을 설명하는 임의의 속성이다. 오디오 특징의 일부 예들은 예를 들어 진폭, 방향, 주파수, 속력, 일부 다른 음파 속성, 또는 이들의 일부 조합을 포함할 수 있다. 예를 들어, 제어기는 소스들에 의해 생성된 음파들의 오디오 특징(예를 들어, 주파수 및 진폭)에 기반하여 비-목표 오디오 소스를 방해가 되지 않는 소스(예를 들어, 팬, 폭풍우, 교통, 에어컨 유닛 등) 또는 방해가 되는 소스(예를 들어, 사람이 말하는 소리, 사이렌, 문을 쾅 닫는 소리 등)로 분류할 수 있다.
제어기는 수신된 음파들의 오디오 특징, 비-목표 오디오 소스의 결정된 공간적 위치, 및/또는 결정된 비-목표 오디오 소스의 유형에 기반하여 경험 저하를 감소시키는 오디오 명령들을 생성한다. 일 예에서, 제어기는 머리 관련 전달 함수들을 적용하여 오디오 명령들을 생성한다.
재생 디바이스에 의해 실행될 때 제어기에 의해 생성되는 생성된 오디오 명령들은 수정된 오디오 경험을 사용자에게 제시한다. 수정된 오디오 경험은 목표 오디오 경험의 오디오 콘텐츠를 포함하지만, 또한 비-목표 오디오 소스들로부터 수신된 음파들을 보상하는 오디오 콘텐츠를 포함한다. 즉, 수정된 오디오 경험은 비-목표 오디오 소스들에 의해 야기되는 경험 저하를 감소시키는 오디오 콘텐츠를 포함한다. 따라서, 수정된 오디오 경험은 비-목표 오디오 소스에 의해 생성된 음파들의 존재에도 불구하고 목표 오디오 경험과 매우 유사할 수 있다. 예를 들어, 수정된 오디오 경험은 비-목표 오디오 소스들의 능동 잡음 제거, 주변 사운드 마스킹, 및/또는 중립 사운드 마스킹을 수행하는 오디오 콘텐츠를 포함할 수 있다. 정규화 오디오 콘텐츠로 인해, 사용자는 영역 내의 오디오 소스들에 의해 생성된 음파들을 인식할 수 없거나, 감소된 인식을 가질 수 있다.
다양한 실시예들은 인공 현실 시스템을 포함하거나 이와 함께 구현될 수 있다. 인공 현실은 예를 들어, 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실, 또는 이들의 일부 조합 및/또는 파생물들을 포함할 수 있는, 사용자에게 제시 전에 일부 방식으로 조정된 현실 형태이다. 인공 현실 콘텐츠는 완전히 생성된 콘텐츠 또는 캡처된(예를 들어, 현실-세계) 콘텐츠와 결합된 생성된 콘텐츠를 포함할 수 있다. 인공 현실 콘텐츠는 비디오, 오디오, 햅틱 피드백, 또는 이의 일부 조합을 포함할 수 있고, 이들 중 임의의 것은 단일 채널 또는 다중 채널들(이를테면 뷰어에게 3-차원 효과를 생성하는 스테레오 비디오)로 제시될 수 있다. 또한, 일부 실시예들에서, 인공 현실은 또한 예를 들어 인공 현실의 콘텐츠를 생성하는 데 사용되고/되거나 그렇지 않으면 인공 현실에 사용되는(예를 들어, 인공 현실의 활동들을 수행하는) 애플리케이션들, 제품들, 액세서리들, 서비스들, 또는 이들의 일부 조합과 연관될 수 있다. 인공 현실 콘텐츠를 제공하는 인공 현실 시스템은 호스트 컴퓨터 시스템, 독립형 헤드셋, 모바일 디바이스 또는 컴퓨팅 시스템에 연결된 헤드셋(예를 들어, 머리-착용 디바이스 또는 근안 디스플레이), 또는 인공 현실 콘텐츠를 하나 이상의 뷰어들에게 제공할 수 있는 임의의 다른 하드웨어 플랫폼을 포함하여 다양한 플랫폼들에서 구현될 수 있다.
머리 웨어러블 디바이스
도 1은 하나 이상의 실시예들에 따른 오디오 시스템을 포함하는 헤드셋(100)의 다이어그램이다. 헤드셋(100)은 매체들을 사용자에게 제시한다. 일 실시예에서, 헤드셋(100)은 근안 디스플레이(NED)일 수 있다. 다른 실시예에서, 헤드셋(100)은 머리-장착 디스플레이(HMD)일 수 있다. 일반적으로, 헤드셋은 사용자의 얼굴에 착용되어 시각적 콘텐츠(예를 들어, 시각적 매체들)는 헤드셋의 하나 또는 양쪽 렌즈(110)를 사용하여 제시된다. 그러나, 헤드셋(100)은 또한 매체들 콘텐츠가 상이한 방식으로 사용자에게 제시되도록 사용될 수 있다. 헤드셋(100)에 의해 제시되는 매체들 콘텐츠의 예들은 하나 이상의 이미지들, 비디오, 오디오, 또는 이들의 일부 조합을 포함한다. 매체들은 또한 사용자에게 제시될 수 있는 오디오 경험의 오디오 콘텐츠를 포함할 수 있다.
헤드셋(100)은 오디오 시스템을 포함하고, 다른 컴포넌트들 중에서 프레임(112), 렌즈(110), 센서 디바이스(114), 및 제어기(116)를 포함할 수 있다. 도 1이 헤드셋(100) 상의 예시적인 위치들에 있는 헤드셋(100)의 컴포넌트들을 예시하지만, 컴포넌트들은 헤드셋(100), 헤드셋(100)과 페어링된(paired) 주변 디바이스, 또는 이들의 일부 조합의 다른 곳에 위치될 수 있다. 유사하게, 컴포넌트들의 일부 또는 모두는 헤드셋 내에 내장되거나 부분적으로 내장될 수 있고 사용자에게 보이지 않을 수 있다.
헤드셋(100)은 사용자의 시력을 정정하거나 향상시키거나, 사용자의 눈을 보호하거나, 사용자에게 이미지들을 제공할 수 있다. 헤드셋(100)은 사용자의 시력의 결함들을 정정하는 안경일 수 있다. 헤드셋(100)은 사용자의 눈을 태양으로부터 보호하는 선글라스일 수 있다. 헤드셋(100)은 사용자의 눈을 충격으로부터 보호하는 보안경일 수 있다. 헤드셋(100)은 야간에 사용자의 시력을 향상시키기 위한 야간 투시 디바이스 또는 적외선 고글일 수 있다. 헤드셋(100)은 사용자를 위한 인공 현실 콘텐츠를 생성하는 근안 디스플레이일 수 있다. 대안적으로, 헤드셋(100)은 렌즈(110)를 포함하지 않을 수 있고, 오디오 콘텐츠(예를 들어, 음악, 라디오, 팟캐스트)를 사용자에게 제공하는 오디오 시스템을 갖는 프레임(112)일 수 있다.
렌즈(110)는 헤드셋(100)을 착용한 사용자에게 광을 제공하거나 투과시킨다. 렌즈(110)는 사용자 시력의 결함들을 정정하는 것을 돕기 위한 처방 렌즈(예를 들어, 단초점, 이중초점 및 삼중초점, 또는 누진)일 수 있다. 처방 렌즈(110)는 헤드셋(100)을 착용한 사용자에게 주변 광을 투과시킨다. 투과된 주변 광은 사용자 시력의 결함을 교정하기 위해 처방 렌즈에 의해 변경될 수 있다. 렌즈(110)는 사용자의 눈들을 태양으로부터 보호하기 위한 편광 렌즈 또는 착색 렌즈일 수 있다. 렌즈(110)는 이미지 광이 도파관의 단부 또는 에지를 통해 사용자의 눈에 결합되는 도파관 디스플레이의 일부로서의 하나 이상의 도파관들일 수 있다. 렌즈(110)는 이미지 광을 제공하는 전자 디스플레이를 포함할 수 있고, 또한 전자 디스플레이로부터의 이미지 광을 확대하기 위한 광학 블록을 포함할 수 있다. 렌즈(110)에 관한 추가 세부사항은 도 5에 관련하여 논의된다.
일부 실시예들에서, 헤드셋(100)은 헤드셋(100)을 둘러싸는 로컬 영역에 대한 깊이 정보를 설명하는 데이터를 캡처하는 깊이 카메라 어셈블리(DCA)(도시되지 않음)를 포함할 수 있다. 일부 실시예들에서, DCA는 광 투사기(예를 들어, 비행 시간을 위한 구조화된 광 및/또는 플래시 조명), 이미징 디바이스, 및 제어기를 포함할 수 있다. 캡처된 데이터는 광 투사기에 의해 로컬 영역에 투사된 광의 이미징 디바이스에 의해 캡처된 이미지들일 수 있다. 일 실시예에서, DCA는 로컬 영역의 부분들을 스테레오로 캡처하도록 배향되는 2개 이상의 카메라들 및 제어기를 포함할 수 있다. 캡처된 데이터는 로컬 영역의 2 개 이상의 카메라들에 의해 스테레오로 캡처된 이미지들일 수 있다. 제어기는 캡처된 데이터 및 깊이 결정 기법들(예를 들어, 구조화된 광, 비행 시간, 스테레오 이미징 등)을 사용하여 로컬 영역의 깊이 정보를 계산한다. 깊이 정보에 기반하여, 제어기는 로컬 영역 내에서 헤드셋(100)의 절대 포지션 정보를 결정한다. DCA는 헤드셋(100)과 통합되거나 헤드셋(100) 외부의 로컬 영역 내에 포지셔닝될 수 있다. 후자의 실시예에서, DCA의 제어기는 깊이 정보를 헤드셋(100)의 제어기(116)로 송신할 수 있다. 또한, 센서 디바이스(114)는 헤드셋(100)의 움직임에 대한 응답으로 하나 이상의 측정 신호들을 생성한다. 센서 디바이스(114)는 헤드셋(100)의 프레임(112)의 일부에 위치할 수 있다. 깊이 어레이 카메라에 관한 추가 세부사항은 도 5와 관련하여 논의된다.
센서 디바이스(114)는 포지션 센서, 관성 측정 유닛(IMU), 또는 둘 모두를 포함할 수 있다. 헤드셋(100)의 일부 실시예들은 센서 디바이스(114)를 포함하거나 포함하지 않을 수 있거나 하나 초과의 센서 디바이스(114)를 포함할 수 있다. 센서 디바이스(114)가 IMU를 포함하는 실시예들에서, IMU는 센서 디바이스(114)로부터의 측정 신호들에 기반하여 IMU 데이터를 생성한다. 센서 디바이스들(114)의 예들은: 하나 이상의 가속도계, 하나 이상의 자이로스코프들, 하나 이상의 자력계들, 움직임을 검출하는 다른 적합한 유형의 센서, IMU의 오류 정정에 사용되는 유형의 센서, 또는 이들의 일부 조합을 포함한다. 센서 디바이스(114)는 IMU 외부, IMU 내부, 또는 이들의 일부 조합에 위치될 수 있다.
하나 이상의 측정 신호들에 기반하여, 센서 디바이스(114)는 헤드셋(100)의 초기 포지션에 관련한 헤드셋(100)의 현재 포지션을 추정한다. 초기 포지션은 헤드셋(100)이 로컬 영역에서 초기화될 때 헤드셋(100)의 포지션일 수 있다. 추정된 포지션은 헤드셋(100)의 위치 및/또는 헤드셋(100)의 배향 또는 헤드셋(100)을 착용한 사용자의 머리, 또는 이들의 일부 조합을 포함할 수 있다. 배향은 기준점에 대한 각각 귀의 포지션에 해당할 수 있다. 일부 실시예들에서, 센서 디바이스(114)는 헤드셋(100)의 현재 포지션을 추정하기 위해 DCA로부터의 깊이 정보 및/또는 절대 포지션 정보를 사용한다. 센서 디바이스(114)는 병진 움직임(예를 들어, 앞으로/뒤로, 위/아래, 좌측/우측)을 측정하기 위한 다중 가속도계들 및 회전 움직임(예를 들어, 피치, 요(yaw), 롤(roll))을 측정하기 위한 다중 자이로스코프들을 포함할 수 있다. 일부 실시예들에서, IMU는 측정 신호들을 신속하게 샘플링하고 샘플링된 데이터로부터 헤드셋(100)의 추정된 포지션을 계산한다. 예를 들어, IMU는 시간 경과에 따라 가속도계들로부터 수신된 측정 신호들을 통합하여 속도 벡터를 추정하고, 시간 경과에 따른 속도 벡터를 통합하여 헤드셋(100) 상의 기준점의 추정 포지션을 결정한다. 기준점은 헤드셋(100)의 포지션을 설명하는데 사용될 수 있는 지점이다. 기준점이 일반적으로 공간 내의 한 지점으로 정의될 수 있지만, 실제로 기준점은 헤드셋(100) 내의 한 지점으로 정의된다.
이전에 설명된 바와 같이, 오디오 시스템은 비-목표 오디오 소스들에 의해 수신된 음파들을 보상함으로써 목표 오디오 경험의 저하를 감소시키는 수정된 오디오 경험을 생성한다. 예시된 예에서, 오디오 시스템은 음향 센서 어레이, 제어기(116), 및 재생 디바이스 어레이를 포함한다. 그러나, 다른 실시예들에서, 오디오 시스템은 상이한 및/또는 추가 컴포넌트들을 포함할 수 있다. 유사하게, 일부 경우들에서, 오디오 시스템의 컴포넌트들을 참조하여 설명된 기능은 본원에 설명된 것과 상이한 방식으로 컴포넌트들 사이에 분배될 수 있다. 예를 들어, 제어기(116)의 기능들 중 일부 또는 모두는 원격 서버에 의해 수행될 수 있다.
음향 센서 어레이들은 헤드셋(100)의 로컬 영역 내의 음파들을 기록한다. 로컬 영역은 헤드셋(100)을 둘러싸는 환경이다. 예를 들어, 로컬 영역은 헤드셋(100)을 착용한 사용자가 내측에 있는 방일 수 있거나, 헤드셋(100)을 착용한 사용자가 외측에 있을 수 있는 방일 수 있고, 로컬 영역은 음향 센서 어레이가 음파들을 검출할 수 있는 외측 영역이다. 음향 센서 어레이는 헤드셋(100) 상의 음향 검출 위치들에 포지셔닝된 복수의 음향 센서들을 포함한다. 음향 센서는 로컬 영역(예를 들어, 방)의 하나 이상의 오디오 소스들로부터 방출되는 음파들을 캡처한다. 각각의 음향 센서는 음파들을 검출하고 검출된 음파들을 전자 형식(아날로그 또는 디지털)으로 변환하도록 구성된다. 음향 센서들은 음향 파 센서들, 마이크들, 음향 변환기들, 또는 사운드들을 검출하는 데 적합한 유사한 센서들일 수 있다. 일부 실시예들에서, 음향 검출 위치에 포트가 포함될 수 있다. 포트는 헤드셋(100)의 프레임(112)에 있는 애퍼처(aperture)이다. 각각의 포트는 음파들을 헤드셋(10)의 프레임(112) 내부의 음향 센서로 안내하는, 로컬 영역으로부터 음향 도파관으로의 음파들에 대한 인커플링 지점을 제공한다.
예시된 구성에서, 음향 센서 어레이는 헤드셋(100) 상의 복수의 음향 센서들, 예를 들어 음향 센서들(120A, 120B, 120C, 120D, 120E, 및 120F)을 포함한다. 음향 센서들은 헤드셋(100)의 외부 표면에 배치되거나, 헤드셋(100)의 내부 표면에 배치되거나(포트를 통해 활성화됨), 헤드셋(100)과 별개(예를 들어, 일부 다른 디바이스의 일부), 또는 이들의 일부 조합일 수 있다. 일부 실시예들에서, 음향 센서들(120A-F) 중 하나 이상은 또한 각각의 귀의 외이도에 배치될 수 있다.
음향 센서 어레이의 음향 센서들의 구성은 도 1을 참조하여 설명된 구성과 다를 수 있다. 음향 센서들의 수 및/또는 위치들은 도 1에 도시된 것과 다를 수 있다. 예를 들어, 음향 센서들의 수는 수집된 오디오 정보의 양과 정보의 감도 및/또는 정확도를 증가시키기 위해 증가될 수 있다. 음향 센서들은 음향 센서 어레이가 헤드셋(100)을 착용한 사용자 주변의 다양한 방향들의 음파들을 검출할 수 있도록 배향될 수 있다. 검출된 음파들은 주파수, 진폭, 위상, 시간, 지속기간 또는 이들의 일부 조합과 연관될 수 있다.
제어기(116)는 음파들과 연관된 어레이 전달 함수(ATF)들을 결정한다. 일부 실시예들에서, 제어기(116)는 또한 ATF들에 기반하여 음파들을 생성하는 오디오 소스를 식별할 수 있다. 제어기(116)는 수신된 음파들에 기반하여 결정된 오디오 소스의 공간적 위치를 결정할 수 있다. 예를 들어, 제어기는 헤드셋(100)에 관련하여 비-목표 오디오 소스에 대한 좌표를 결정할 수 있다. 또한, 제어기(116)는 수신된 음파들의 오디오 특징에 기반하여 결정된 오디오 소스의 유형을 결정할 수 있다. 예를 들어, 제어기는 비-목표 오디오 소스가 방해가 되지 않는 오디오 소스인지 또는 방해가 되는 오디오 소스인지 결정할 수 있다. 제어기는 수신된 음파들의 오디오 특징, 비-목표 오디오 소스들의 결정된 공간적 위치들, 또는 결정된 비-목표 오디오 소스의 유형에 기반하여 식별된 오디오 소스로부터 수신된 음파들을 보상하는 오디오 명령들을 생성한다. 제어기의 동작은 도 3을 참조하여 이하에서 상세히 설명된다.
재생 디바이스 어레이는 제어기(116)에 의해 생성된 오디오 명령들을 사용하여 오디오 콘텐츠를 제시한다. 재생 디바이스 어레이는 헤드셋(100)의 음향 방출 위치들에 있는 복수의 재생 디바이스들을 포함한다. 일반적으로, 음향 방출 위치는 헤드셋(100)의 프레임(112)에서 재생 디바이스의 위치이다. 일부 예들에서, 음향 방출 위치는 포트를 포함한다. 포트는 포트로부터 재생 디바이스 어레이의 재생 디바이스를 분리하는, 음향 도파관으로부터의 사운드의 아웃커플링 지점을 제공한다. 재생 디바이스로부터 방출된 사운드는 음향 도파관을 통과한 다음 포트에 의해 로컬 영역으로 방출된다.
예시된 실시예에서, 재생 디바이스 어레이는 재생 디바이스들(130A, 130B, 130C, 130D, 130E, 및 130F)을 포함한다. 다른 실시예들에서, 재생 디바이스 어레이는 상이한 수(더 많거나 더 적은)의 디바이스들을 포함할 수 있고 상기 디바이스들은 프레임(112) 상의 상이한 위치들에 배치될 수 있다. 예를 들어, 재생 디바이스 어레이는 사용자의 귀들을 덮는 재생 디바이스들(예를 들어, 헤드폰들 또는 이어버드들)을 포함할 수 있다. 예시된 실시예에서, 재생 디바이스들(130A-130F)은 프레임(112)의 외부 표면(즉, 사용자를 향하지 않는 표면)에 배치된다. 대안적인 실시예들에서, 재생 디바이스들의 일부 또는 모두는 프레임(112)의 내부 표면(사용자를 향하는 표면)에 배치될 수 있다. 오디오 재생 디바이스들의 수를 증가시키는 것은 헤드셋(100)에 의해 제시되는 오디오 경험의 정확도(예를 들어, 오디오 콘텐츠가 제공되는 곳) 및/또는 해상도(예를 들어, 가상 오디오 소스의 크기 및/또는 모양)를 향상시킬 수 있다.
일부 실시예들에서, 각각의 재생 디바이스는 실질적으로 음향 센서와 함께 배치된다. 즉, 각각의 음향 검출 위치는 음향 방출 위치에 해당한다. 실질적으로 함께 배치된다는 것은 음향 센서가 재생 디바이스에 대한 대응하는 음향 방출 위치로부터 1/4 파장 미만인 음향 검출 위치를 지칭한다. 음향 검출 위치들 및 대응하는 음향 방출 위치들의 수 및/또는 위치들은 도 1에 도시된 것과 상이할 수 있다. 예를 들어, 음향 검출 위치들 및 대응하는 음향 방출 위치들의 수는 생성된 음장(sound field)에 대한 제어 및/또는 정확도를 증가시키기 위해 증가될 수 있다.
예시된 구성에서, 오디오 시스템은 사용자에 의해 착용된 NED에 내장되어 있다. 대안적인 실시예들에서, 오디오 시스템은 사용자에 의해 착용된 머리-장착 디스플레이(HMD)에 내장될 수 있다. 위의 설명이 사용자에 의해 착용된 헤드셋들에 내장된 오디오 어셈블리들을 논의하지만, 오디오 어셈블리들이 사용자에 의해 다른 곳에 착용되거나 착용되지 않고 사용자에 의해 동작될 수 있는 상이한 헤드셋들에 내장될 수 있다는 것이 통상의 기술자들에게 명백할 것이다.
예시적인 청각 환경
도 2는 일 실시예에 따른 사용자의 청각 필드에서 비-목표 청각 소스들을 인식하는 사용자에 의해 착용된 헤드셋의 로컬 영역을 예시한다. 일 예에서, 헤드셋(210)은 도 1에 관하여 설명된 오디오 시스템을 포함하는 헤드셋(100)이지만, 다른 헤드셋들을 포함할 수 있다.
로컬 영역(200)은 파선으로 경계가 지어지고 복수의 공간적 위치들을 나타낸다. 예시된 예에서, 로컬 영역(200)은 집의 방을 나타내지만, 임의의 다른 로컬 영역일 수 있다. 로컬 영역(200) 내의 공간적 위치들은 예를 들어 사용자(210) 및/또는 헤드셋(212)에 관련하여 3차원 좌표(예를 들어, x, y, z 좌표)로서 정의될 수 있다. 공간적 위치들은 다른 좌표계를 사용하여 정의될 수 있다.
도 2는 또한 사용자(210)의 청각 필드(202)를 예시한다. 청각 필드(202)는 사용자(210)가 오디오 소스로부터 음파들을 인식할 수 있는 로컬 영역(210) 내의 공간적 위치들을 포함한다. 예시된 바와 같이, 이해의 용이함을 위해, 로컬 영역(200)과 청각 필드(202)는 유사하고, 그러므로 청각 필드(202)는 로컬 영역(200) 내의 공간적 위치들을 포함한다. 다른 실시예들에서, 로컬 영역(200) 및 청각 필드(202)는 다를 수 있다. 예를 들어, 청각 필드는 로컬 영역(200)보다 더 클 수 있고, 이는 사용자가 로컬 영역(200) 외측에 있는 것처럼 사용자가 오디오 소스들을 인식하게 한다.
헤드셋(212)은 사용자(210)가 헤드셋(212)을 동작시킴에 따라 사용자(210)에게 목표 오디오 경험을 제시한다. 예시된 예에서, 목표 오디오 경험은 사용자(210)가 슈퍼히어로 테마의 AR 비디오 게임을 플레이할 때 헤드셋(212)의 재생 디바이스들에 의해 재생되는 복수의 오디오 콘텐츠를 포함한다. 예를 들어, 목표 오디오 경험은 사용자(210)가 자신의 손을 움직이는 것에 대한 응답으로 "펑"과 같은 펀칭 사운드들을 나타내는 오디오 콘텐츠, "새야 봐"와 같은 게임 내 사람들의 시뮬레이팅된 외침들, 행성의 폭발과 같은 환경 잡음들, 등을 포함할 수 있다. 헤드셋(212)은 사용자(210)가 자신의 청각 필드(202) 내의 공간적 위치들에 있는 오디오 콘텐츠를 인식하도록 목표 오디오 경험을 제시한다. 예를 들어, 폭발하는 식물의 오디오 콘텐츠는 폭발하는 행성이 사용자(210) 뒤에서 발생하는 것으로 인식되도록 자신의 청각 필드(202) 내에서 사용자(210)에게 제시될 수 있다.
도 2에서, 로컬 영역(200)은 사용자의 청각 필드(202) 내에 있는 다수의 오디오 소스들(예를 들어, 오디오 소스들(220A, 220B, 및 220C))을 포함한다. 도 2는 또한 로컬 영역(200) 외측의 오디오 소스(예를 들어, 220D)를 예시한다. 오디오 소스의 각각은 사용자(210)를 향하는 음파들(예를 들어, 음파들(222A, 222B, 222C, 및 222D))을 생성할 수 있다. 편의를 위해, 본원에서, 오디오 소스들 및 음파들은 각각 전체적으로 오디오 소스들(220) 및 음파들(222)로서 지칭될 수 있다. 음파들(222)은 오디오 소스(220)와 사용자(210) 사이의 채워진 영역으로 예시된다. 오디오 소스(예를 들어, 오디오 소스(220D))가 로컬 영역(200) 외측에 있는 경우, 오디오 소스에 의해 생성된 음파들(예를 들어, 음파(222D))은 로컬 영역(200) 내의 표면(230)에 의해 사용자(210) 쪽으로 재지향될 수 있다. 반사 때문에, 표면(230)은 음파들에 대한 중간 오디오 소스로 간주될 수 있다. 로컬 영역(200) 내의 오디오 소스 각각은 공간적 위치에 위치된다. 공간적 위치들은 사용자(210), 헤드셋(212) 또는 로컬 영역(200)을 참조하여 정의될 수 있다.
오디오 소스들(220)에 의해 생성된 음파들(222)은 헤드셋(212)에 의해 제시되는 목표 오디오 경험을 저하시킬 수 있다. 즉, 음파들(222)은 헤드셋(212)을 동작시키는 동안 목표 오디오 경험을 저하시키는 오디오 콘텐츠로서 사용자(210)에 의해 인식될 수 있다. 예를 들어, 사용자(210)가 AR 게임을 플레이하는 동안 사용자의 동생들(예를 들어 오디오 소스(220C))은 로컬 영역(200)에 존재한다. 동생들은 놀고 대화를 나누고 있다. 대화로부터의 일부 음파들(예를 들어, 음파(222C))은 사용자(210)를 향해 지향되고 사용자(210)는 그녀의 청각 필드(202)에서 대화의 음파들을 인식한다. 즉, 사용자는 게임을 플레이하는 동안 동생들의 대화 중 일부를 듣게 된다. 대화를 듣는 것은 그녀가 게임을 플레이하는 동안 대화가 그녀의 청각 필드(202) 내에서 방해로서 작용하기 때문에 사용자에게 제시되는 목표 오디오 경험을 저하시킨다.
다른 오디오 소스들은 또한 사용자의 목표 오디오 경험을 저하시킬 수 있다. 예시된 바와 같이, 오디오 소스들은 예를 들어, 다수의 팬들(즉, 오디오 소스(220A)), 말하는 사람(즉, 오디오 소스(220B)), 및 달에서 짖는 세 마리의 늑대들(즉, 오디오 소스(220D))를 포함하지만, 다른 공간적 위치들에 있는 다른 많은 오디오 소스들을 포함할 수 있다. 오디오 소스들은 사용자에 의해 상이한 방식들로 인식될 수 있는 음파들을 각각 생성할 수 있다. 예를 들어, 팬들은 사용자에 의해 주변 배경으로 인식되는 음파들을 생성할 수 있다. 주변 잡음의 다른 많은 예들이 가능하다. 말하는 사람은 대인 통신으로 인식될 수 있는, 사용자(210)를 향해 직접 지향되는 음파들을 생성할 수 있다. 늑대들은 사용자(210)에 의해 방해 잡음으로 인식되는 음파들을 생성할 수 있다. 헤드셋은 이러한 오디오 소스들 각각의 유형을 결정하고 수신된 음파들을 보상하는 수정된 오디오 경험을 생성할 수 있다.
헤드셋(212)은 오디오 소스들(220) 각각의 공간적 위치를 결정하도록 구성된다. 일 구성에서, 헤드셋(212)의 음향 센서들은 음파들(222)을 수신하고 청각이 음파들을 수신할 때에 기반하여 음파들을 생성하는 오디오 소스의 포지션을 결정할 수 있다. 예를 들어, 동생들 대화의 음파들은 상이한 시간들에서 헤드셋(212)의 제 1 음향 센서와 제 2 음향 센서에 의해 수신된다. 헤드셋(212)은 수신된 음파들의 시간 차분과 헤드셋의 배향을 사용하여 로컬 영역 내의 동생들의 공간적 위치를 결정한다. 공간적 위치들을 결정하는 것은 도 3과 관련하여 더 상세히 설명된다.
헤드셋(212)은 음파들을 생성하는 오디오 소스의 유형을 결정하도록 구성된다. 일 구성에서, 헤드셋의 제어기는 오디오 소스의 음파들의 음향 특징의 세트를 결정한다. 결정된 음향 특징에 기반하여, 제어기는 헤드셋에 의해 수신되는 음파들의 유형을 결정할 수 있다. 예를 들어, 제어기는 동생들의 대화로부터의 음파들의 주파수 및 진폭들의 패턴이 사람의 대화를 나타내는 것으로 결정한다. 응답으로, 제어기는 동생들을 방해되는 오디오 소스로 분류한다.
헤드셋(212)은 헤드셋(212)에 의해 재생될 때 오디오 소스들(220)에 의해 야기되는 경험 저하를 감소시키는 오디오 명령들을 생성하도록 구성된다. 예를 들어, 헤드셋(212)은 동생들의 대화의 사용자 인식을 감소시키는 마스킹 잡음으로 재생되는 오디오 명령들을 생성할 수 있다. 헤드셋(212)은 동생들의 결정된 공간적 위치에 마스킹 잡음을 제시한다. 따라서, 사용자(210)는 게임을 플레이하면서 동생들의 대화보다 마스킹 잡음을 인식하고, 이에 의해 경험 저하를 감소시킨다. 대안적으로 또는 추가적으로, 헤드셋(212)은 재생될 때 동생들의 대화의 음파들의 능동 잡음 제거를 수행하는 오디오 명령들을 생성할 수 있다. 따라서, 대화의 음파들은 감소되고, 사용자(210)는 게임을 플레이하면서 대화의 감소된 인식을 갖고, 이에 의해 경험 저하가 감소된다.
다른 예에서, 사용자(210)는 헤드셋(212)을 사용하여 로큰롤 앨범을 듣고 있다. 사용자의 아버지(예를 들어, 오디오 소스(220A))는 로컬 영역(200)에서 텔레비전에 고함을 지르고 있다. 사용자(210)는 그녀의 청각 필드(202)에서 고함(예를 들어, 음파(222B))을 목표 오디오 경험을 저하시키는 방해로서 인식한다. 헤드셋(212)은 사용자 아버지의 공간적 위치를 결정하고 고함이 경험 저하를 야기한다고 결정한다. 응답으로, 헤드셋(212)은 고함 및/또는 능동 잡음을 마스킹하기 위해 재생되는 오디오 명령들을 생성하여, 고함 음파들을 제거시킨다. 따라서, 헤드셋은 앨범을 들을 때 경험 저하를 감소시킨다.
다른 예에서, 사용자(210)는 헤드셋(212)을 사용하여 교과서를 읽고 있다. 목표 오디오 경험은 사용자(210)를 위해 재생되는 백색 잡음 트랙이다. 이 예에서, 3 마리의 늑대들은 로컬 영역(200) 외측의 달(예를 들어, 오디오 소스 220D)에서 짖고 있다. 그러나, 로컬 영역(200)의 표면(230)은 사용자(210)를 향해 음파들(예를 들어, 음파(222D))을 반사한다. 사용자는 그녀의 청각 필드(202)에서 늑대들 울부짐을 목표 오디오 경험을 저하시키는 방해로서 인식한다. 헤드셋(212)은 반사 표면(230)의 공간적 위치를 결정하고 짖음이 경험 저하를 야기한다고 결정한다. 응답으로, 헤드셋(212)은 짖음 및/또는 능동 잡음을 마스킹하기 위해 재생되는 오디오 명령들을 생성하여, 짖음 음파들을 제거시킨다. 따라서, 헤드셋(212)은 교과서를 읽을 때 경험 저하를 감소시킨다. 유사한 예에서, 백색 잡음 트랙이 아니라, 목표 오디오 경험은 사용자에게 "무음"일 수 있다. 응답으로, 헤드셋(212)은 능동 잡음으로 재생되는 오디오 명령들을 생성하여, 짖음 음파들을 제거시킨다. 즉, 다양한 실시예들에서, 헤드셋은 목표 오디오 경험이 무음 또는 조용할 때 잡음 마스킹 및/또는 능동 잡음 제거를 수행할 수 있다.
경험 저하를 감소시키기 위해 오디오 콘텐츠를 생성하는 추가 예들이 본원에 설명된다.
오디오 시스템
도 3은 하나 이상의 실시예들에 따른 오디오 시스템(300)의 블록도이다. 오디오 시스템(300)은 오디오 콘텐츠를 사용자에게 제공하는 헤드셋의 컴포넌트일 수 있다. 도 1 및 도 2의 오디오 시스템은 오디오 시스템(300)의 일 실시예일 수 있다. 오디오 시스템(300)은 음향 센서 어레이(310), 재생 디바이스 어레이(320) 및 제어기(330)를 포함한다. 오디오 시스템(300)의 일부 실시예들은 본원에 설명된 것들과 상이한 컴포넌트들을 갖는다. 유사하게, 기능들은 본원에 설명된 것과 상이한 방식으로 컴포넌트들 간에 분배될 수 있다. 그리고 일부 실시예들에서, 오디오 시스템의 기능들 중 일부는 상이한 컴포넌트들의 일부일 수 있다(예를 들어, 일부는 헤드셋의 일부일 수 있고 일부는 콘솔 및/또는 서버의 일부일 수 있음).
음향 센서 어레이(310)는 로컬 영역(예를 들어, 로컬 영역(200)) 내의 하나 이상의 오디오 소스들로부터의 음파들을 검출한다. 음향 센서 어레이(310)는 헤드셋(예를 들어, 헤드셋(100) 및 헤드셋(212))의 일부이다. 음향 센서 어레이(310)는 복수의 음향 센서들을 포함한다. 음향 센서는 음향 감지 위치에 위치되고 포트를 포함할 수 있다. 포트는 헤드셋의 프레임에 있는 애퍼처이다. 포트는 사운드들을 음향 센서로 안내하는, 로컬 영역으로부터 음향 도파관으로의 음파들에 대한 인커플링 지점을 제공한다. 복수의 음향 센서들은 헤드셋 상에 위치되고, 로컬 영역 내의 하나 이상의 오디오 소스들로부터 방출된 음파들을 캡처하도록 구성된다. 복수의 음향 센서들은 사용자에 관련하여 모든 방향들의 사운드 소스들을 검출하도록 헤드셋 상에 포지셔닝될 수 있다. 일부 실시예들에서, 복수의 음향 센서들은 다른 방향들에 관련하여 소정의 방향들의 향상된 커버리지를 제공하도록 포지셔닝될 수 있다. 음향 센서 어레이를 포함하는 음향 센서들의 수를 증가시키는 것은 음향 센서 어레이로부터 로컬 영역 내의 하나 이상의 오디오 소스들로의 방향 정보의 정확도를 향상시킬 수 있다. 음향 센서들은 음파에 의해 야기된 기압 변동들을 검출한다. 각각의 음향 센서는 음파들을 검출하고 검출된 음파들을 전자 형식(아날로그 또는 디지털)으로 변환하도록 구성된다. 음향 센서들은 음향 파 센서들, 마이크들, 음향 변환기들, 또는 사운드들을 검출하는 데 적합한 유사한 센서들일 수 있다.
재생 디바이스 어레이(320)는 오디오 콘텐츠를 포함하는 오디오 경험을 제시한다. 제시된 오디오 콘텐츠는 오디오 소스들로부터 수신된 음파들, 이러한 음파들에 대해 결정된 공간적 위치들, 및/또는 오디오 소스들의 결정된 유형에 부분적으로 기반한다. 제시된 오디오 콘텐츠는 오디오 시스템(300)에 의해 제시되는 목표 오디오 경험의 저하를 감소시키기 위해 오디오 소스들로부터 수신된 음파들을 보상할 수 있다.
재생 디바이스 어레이(320)는 헤드셋상의 음향 방출 위치들에 위치된 복수의 재생 디바이스들을 포함한다. 음향 방출은 또한 헤드셋의 프레임의 포트를 포함할 수 있다. 포트는 포트로부터 재생 디바이스 어레이의 스피커를 분리하는, 음향 도파관으로부터의 사운드의 아웃커플링 지점을 제공한다. 스피커로부터 방출된 사운드는 음향 도파관을 통과한 다음 포트에 의해 로컬 영역으로 방출된다.
재생 디바이스는 예를 들어 이동 코일 변환기, 압전 변환기, 전기 신호를 사용하여 음압파를 생성하는 일부 다른 디바이스, 또는 이들의 일부 조합일 수 있다. 일부 실시예들에서, 재생 디바이스 어레이(320)는 또한 각각의 귀를 커버하는 재생 디바이스들(예를 들어, 헤드폰들, 이어버드들 등)을 포함한다. 다른 실시예들에서, 재생 디바이스 어레이(320)는 사용자의 귀들을 막는 재생 디바이스들을 포함하지 않는다.
각각의 음향 센서는 실질적으로 재생 디바이스와 함께 배치될 수 있다. 여기서, 실질적으로 함께 배치된다는 것은 각각의 음향 센서가 대응하는 재생 디바이스로부터 1/4 파장 미만인 것을 지칭하고, 예를 들어 가장 작은 파장은 오디오 시스템(300)에 의해 구별가능한 가장 높은 주파수로부터 온다. 상호성 정리는, 자유 필드 그린 함수(Green's function)는 해당 쌍이 설명되는 순서가 아니라 소스/수신기 쌍 사이의 거리에 의존하므로, 함께 배치(collocation)는 이러한 접근법에 따라 최적이다. 이것은 음향 센서 어레이(310) 상의 다중-채널 기록들이 로컬 영역으로 다시 나오는 등가 음향 재생 디바이스 어레이(320) 재생 경로를 나타내게 한다. 다른 실시예들에서, 음향 센서 및 대응하는 음향 방출 위치는 실질적으로 함께 배치되지 않을 수 있지만; 위치들의 쌍이 실질적으로 함께 배치되지 않거나 적어도 1/4 파장 내에 있으면 성능이 저하될 수 있다.
제어기(330)는 오디오 시스템(300)의 동작을 제어한다. 제어기(330)는 데이터 저장소(340), 오디오 소스 검출 모듈(350), 및 방해 감소 모듈(360)을 포함할 수 있다. 오디오 소스 검출 모듈은 위치 모듈(352) 및 분류 모듈(354)을 포함할 수 있다. 제어기(330)의 일부 실시예들은 본원에 설명된 것들과 상이한 컴포넌트들을 갖는다. 유사하게, 기능들은 본원에 설명된 것과 상이한 방식으로 컴포넌트들 간에 분배될 수 있다. 그리고 일부 실시예들에서, 제어기(330)의 기능들 중 일부는 상이한 컴포넌트들의 일부일 수 있다(예를 들어, 일부는 헤드셋에서 수행될 수 있고 일부는 콘솔 및/또는 서버에서 수행될 수 있음).
데이터 저장소(340)는 오디오 시스템(300)에서 사용하기 위한 데이터를 저장한다. 데이터 저장소(340)의 데이터는 오디오 콘텐츠, 하나 이상의 HRTF들, 오디오 콘텐츠를 생성하기 위한 다른 전달 함수들, 또는 오디오 시스템(300)에 의한 사용과 관련된 다른 데이터 등의 임의의 조합을 포함할 수 있다. 오디오 콘텐츠는, 보다 구체적으로, 오디오 시스템에 의해 실행될 때 오디오 경험의 일부로서 오디오 콘텐츠를 사용자에게 제시하는 복수의 오디오 명령들을 포함할 수 있다.
데이터저장소(340)에 저장되거나 오디오 시스템(300)에 의해 생성된 오디오 콘텐츠는 사용자의 청각 필드 내의 오디오 콘텐츠에 대한 목표 제시 방향 및/또는 목표 제시 위치를 지정할 수 있다. 오디오 콘텐츠는 오디오 시스템(300)에 의해 목표 제시 방향 및/또는 목표 제시 위치의 오디오 소스로서 제시될 수 있다. 오디오 콘텐츠는 사용자가 오디오 콘텐츠를 자신의 청각 필드 내의 목표 제시 위치 및/또는 목표 제시 방향의 오디오 소스로 인식하도록 제시된다. 여기서, 목표 제시 위치는 오디오 시스템(300)에 의해 제시되는 오디오 콘텐츠가 발생한 것으로 보이는 공간적 위치이다. 유사하게, 목표 제시 방향은 오디오 시스템(300)에 의해 제시되는 오디오 콘텐츠가 발생한 것으로 인식되는 벡터(또는 일부 다른 방향성 표시자)이다. 예를 들어, 오디오 콘텐츠는 목표 제시 방향 및/또는 사용자 뒤의 위치에서 발생하는 폭발을 포함한다. 오디오 시스템은 사용자가 목표 제시 방향 및/또는 사용자 뒤의 위치에서 폭발을 인식하도록 목표 제시 방향 및/또는 위치에 오디오 콘텐츠를 제시한다.
일부 실시예들에서, 목표 제시 방향 및/또는 위치는 구면 좌표계의 원점에서 사용자와 함께 구면 좌표계로 준비될 수 있다. 이 시스템에서, 목표 제시 방향은 수평 평면으로부터의 양각과 수평 평면에서의 방위각으로 나타내진다. 유사하게, 구면 좌표계에서, 목표 제시 위치는 수평 평면으로부터의 양각, 수평 평면상의 방위각 및 원점으로부터의 거리를 포함한다. 다른 좌표계들이 또한 가능하다.
오디오 경험의 오디오 콘텐츠는 데이터저장소(340)에 저장된 HRTF들의 세트에 따라 생성될 수 있다. HRTF는 오디오 콘텐츠가 목표 제시 방향 및/또는 위치의 사용자에게 제시되게 하는 함수이다. HRTF들의 세트는 하나 이상의 일반 HRTF, 하나 이상의 맞춤형 HRTF, 또는 이들의 일부 조합을 포함할 수 있다. 예를 들어, 오디오 콘텐츠가 구면 좌표계에 따라 자신의 청각 필드 내의 목표 제시 위치에서 사용자에게 제시되게 하는 HRTF들의 예시 세트를 고려하라. 오디오 시스템(300)은 오디오 시스템(예를 들어, 헤드셋)의 시스템 배향, 및 목표 제시 방향 및/또는 위치와 시스템 배향 사이의 상대적 배향을 결정한다. 오디오 시스템은 시스템 배향 및 상대적 배향에 기반하여 오디오 콘텐츠가 사용자의 청각 필드 내의 적절한 공간적 위치에 제시되게 하는 HRTF들의 세트를 결정한다. 오디오 시스템은 HRTF들의 세트를 적용하여 오디오 콘텐츠에 대한 오디오 명령들을 생성한다. HRTF들로 인해, 오디오 콘텐츠는 구면 좌표계에서 목표 제시 위치를 나타내는 양각, 방위각 및 방사상 거리에서 인식될 것이다. 예를 들어, 예를 계속 들면, 오디오 시스템은 구형 HRTF들의 세트로부터 생성된 바이노럴 음향 신호(binaural acoustic signal)들을 포함하는 오디오 콘텐츠를 사용자의 귀들에 제시한다. 사용자의 청력 인식으로 인해, 사용자는 양각, 방위각 및 방사상 거리를 사용하여 오디오 콘텐츠를 목표 제시 위치의 오디오 소스에서 발생하는 것으로 인식한다. 다른 HRTF들의 세트가 또한 가능하다.
많은 경우들에서, 오디오 시스템(300)을 동작시키는 사용자는 정지되어 있지 않다. 따라서, 오디오 시스템(300)의 시스템 배향은 변경될 수 있고, 그러므로 시스템 배향과 목표 제시 위치 및/또는 방향 사이의 상대적 배향은 변화할 수 있다. 이러한 상황들에서, 오디오 시스템(300)은 새로운 상대적 배향들 및 새로운 시스템 배향들을 연속적으로 결정할 수 있다. 오디오 시스템(300)은 오디오 콘텐츠가 새로운 시스템 배향 및/또는 새로운 상대적 배향들에 기반하여 정확한 목표 제시 방향들 및/또는 위치들에 제시되게 하는 HRTF들을 추가로 수정(또는 선택)할 수 있다. 이러한 방식으로, 오디오 시스템(300)은 오디오 시스템의 배향이 변경됨에 따라 목표 공간적 위치 및/또는 방향에서 오디오 콘텐츠를 연속적으로 제시할 수 있다.
오디오 소스 검출("ASD") 모듈(350)은 헤드셋의 로컬 영역에서 오디오 소스들(예를 들어, 비-목표 오디오 소스들)을 검출한다. 이를 위해, ASD 모듈(350)은 헤드셋의 로컬 영역의 오디오 소스들로부터 음향 센서 어레이(310)에서 수신된 음파들을 사용하여 전달 함수들을 추정한다. ASD 모듈(350)은 음향 센서 어레이(310)에 의해 캡처된 음파들에 기반하여 오디오 소스가 존재하는 것을 결정한다. 일부 실시예들에서, ASD 모듈(350)은 소정 사운드들이 임계값, 예를 들어 주변 사운드 레벨을 초과하는 것을 결정함으로써 오디오 소스들을 식별한다. 다른 실시예들에서, ASD 모듈(350)은 기계 학습 알고리즘으로 오디오 소스들을 식별하고, 예를 들어, 단일 채널 사전-훈련된 기계 학습 기반 분류기는 오디오 소스들의 유형들을 분류하도록 구현될 수 있다. ASD 모듈(350)은, 예를 들어, 로컬 영역에 대한 베이스라인 값보다 더 큰 진폭을 갖는 특정 범위의 주파수들로서 오디오 소스를 식별할 수 있다.
일부 예들에서, ASD 모듈(350)은 사용자로부터 입력을 수신한 후 오디오 소스를 결정한다. 예를 들어, 사용자는 "그 소리가 방해가 된다"라고 언급할 수 있고 ASD 모듈(350)은 방해를 야기할 수 있는 로컬 영역의 오디오 소스를 식별한다. 일부 경우들에서, 사용자는 훨씬 더 구체적일 수 있다. 예를 들어, 사용자는 "새가 방해가 된다"라고 언급할 수 있고 ASD 모듈(350)은 새를 나타내는 음파들을 생성하는 오디오 소스를 식별한다. 다른 사용자 입력들이 또한 가능하다. 예를 들어, 사용자는 오디오 소스를 결정하기 위해 ASD 모듈(350)에 표시하기 위해 손 제스처를 하거나, 입력 디바이스를 특정 방식으로 활용하거나, 특정 방향을 바라보거나, 또는 일부 다른 조치를 할 수 있다.
각각의 식별된 오디오 소스에 대해, ASD 모듈(350)은 음향 센서 각각에 대한 전달 함수를 결정할 수 있다. 전달 함수는 로컬 영역의 공간적 위치에서 음파들을 수신하는 음향 센서를 특징으로 한다. 특히, 전달 함수는 소스 위치(즉, 음파들을 방출하는 오디오 소스의 위치)에서의 음파들의 파라미터들과 음향 센서가 음파들을 검출한 파라미터들 간의 관계를 정의한다. 음파들과 연관된 파라미터들은 주파수, 진폭, 시간, 위상, 지속기간, 도달 방향(DoA) 추정 등을 포함할 수 있다. 로컬 영역의 주어진 오디오 소스에 대해, 음향 센서 어레이(310)의 모든 음향 센서들에 대한 전달 함수들의 집합은 ATF로 지칭된다. ATF는 음향 센서 어레이(310)가 오디오 소스로부터 음파들을 수신하는 방법을 특성화하고, 오디오 소스의 공간적 위치에서 음파들의 파라미터들과 음향 센서 어레이(310)가 음파들을 검출하는 파라미터들 간의 관계를 정의한다. 즉, ATF는 각각의 오디오 소스에서 각각의 음향 센서로의 음파들의 전파, 및 각각의 음향 센서에서 공간의 몇몇 다른 지점으로의 음파들의 전파를 설명한다. 따라서, 복수의 오디오 소스들이 있는 경우, ASD 모듈(350)은 각각의 개별 오디오 소스에 대한 ATF를 결정한다.
위치 모듈(352)은 식별된 오디오 소스들의 공간적 위치를 결정한다. 일 예에서, 위치 모듈(352)은 식별된 오디오 소스 및/또는 음향 센서 어레이(310)에 의해 수신된 음파들과 연관된 결정된 ATF를 분석함으로써 오디오 소스의 공간적 위치를 결정한다. 예를 들어, 위치 모듈(352)은 그 공간적 위치를 결정하기 위해 식별된 오디오 소스에 대한 ATF의 파라미터들을 분석할 수 있다. 예를 들어, 헤드셋을 착용한 사용자에게 지향되는 음파들을 생성하는 오디오 소스를 고려하자. 음파들은 사용자에 의해 착용된 헤드셋의 오디오 시스템(300)에 포함된 음향 센서 어레이(310)의 음향 센서들에서 수신된다. ASD 모듈(350)은 오디오 소스를 식별하고 본원에 설명된 오디오 소스에 대한 ATF를 결정한다. ATF의 파라미터들은 오디오 소스에 의해 생성된 음파들이 상이한 시간들에서 음향 센서 어레이(310)의 상이한 음향 센서들에 도달했음을 나타낸다. 또한, 파라미터들은 상이한 음향 센서들에서 수신된 음파들이 헤드셋 프레임의 각각의 음향 센서의 위치에 대응하는 상이한 주파수 응답들을 가짐을 나타낸다. 위치 모듈(352)은 음파 도달 시간들 및 주파수 응답들의 차이들을 사용하여 식별된 오디오 소스의 공간적 위치를 결정한다. 결정된 ATF들 및/또는 수신된 음파들에 기반하여 공간적 위치를 결정하는 다른 방법들이 또한 가능하다. 예를 들어, 위치 모듈(352)은 음향 센서 어레이의 다양한 음향 센서들에서 수신되는 시간 신호에 기반하여 위치를 삼각측량할 수 있다.
일부 실시예들에서, 분류 모듈(354)은 로컬 영역으로부터 검출된 사운드들을 사용하여 배경 사운드 레벨을 결정한다. 분류 모듈(354)은, 예를 들어, 일정 기간 동안 로컬 영역 내의 사운드들을 모니터링할 수 있다. 이어서, 분류 모듈(354)은 모니터링된 사운드들(예를 들어, 평균 진폭 레벨과 ~10% 초과 상이한 진폭을 갖는 사운드들)로부터 이상치들을 식별하고 제거하여 모니터링된 사운드의 조정된 범위를 결정할 수 있다. 이어서, 분류 모듈(354)은 배경 사운드 레벨을 모니터링된 사운드들의 조정된 범위의 평균 진폭 레벨로 설정할 수 있다.
일부 실시예들에서, 분류 모듈(354)은 미리 결정된 임계치를 사용하여 배경 사운드 레벨을 결정한다. 예를 들어, 분류 모듈(354)은 데이터저장소(340)에 저장된 음압 레벨(예를 들어, 45dB SPL)에 액세스할 수 있다. 분류 모듈(354)은, 예를 들어, 음향 센서 어레이를 사용하여 로컬 영역 내의 사운드들을 모니터링하고 모니터링된 사운드들에 대한 음압 레벨을 결정할 수 있다. 모니터링된 사운드들 중 임의의 사운드가 음압 레벨을 초과하면, 오디오 시스템(300)은 이러한 사운드들을 사운드 마스킹할 수 있다. 일부 실시예들에서, 음압 레벨은 상이한 환경들(예를 들어, 사무실, 실외 등) 또는 애플리케이션들(예를 들어, 공부, 게임 등)에 대해 상이할 수 있다.
또한, 일부 실시예들에서, 분류 모듈은 배경 사운드 레벨을 공간적으로 결정할 수 있다. 즉, 사용자의 청각 필드 내의 공간적 영역에 따라 배경 잡음 레벨이 상이할 수 있다. 예를 들어, 사용자 앞의 배경 레벨은 제 1 배경 레벨일 수 있고, 사용자 뒤의 배경 레벨은 제 2 배경 레벨일 수 있다.
분류 모듈(354)은 식별된 오디오 소스들의 유형을 결정한다. 분류 모듈(354)은 음향 센서 어레이(310)에 의해 캡처된 음파들로 오디오 소스가 존재하는 것을 식별한다. 일부 실시예들에서, 분류 모듈(354)은 소정 사운드들이 임계값, 예를 들어 배경 사운드 레벨을 초과하는 것을 결정함으로써 사운드 소스들을 식별한다. 다른 실시예들에서, 분류 모듈(354)은 기계 학습 알고리즘으로 사운드 소스들을 식별하고, 예를 들어, 단일 채널 사전-훈련된 기계 학습 기반 분류기는 상이한 유형들의 소스들 사이를 분류하도록 구현될 수 있다. 분류 모듈(354)은, 예를 들어, 로컬 영역에 대한 배경 사운드 레벨보다 더 큰 진폭을 갖는 특정 범위의 주파수들로서 사운드 소스를 식별할 수 있다.
분류 모듈(354)은 결정된 ATF들에 기반하여 식별된 오디오 소스의 유형을 방해가 되는 오디오 소스 또는 방해가 되지 않는 오디오 소스인 것으로 결정할 수 있다. 방해가 되지 않는 오디오 소스는 사용자에 의해 인식될 때 목표 오디오 경험을 저하시키지 않는 음파들을 생성하는 오디오 소스이다. 방해가 되지 않는 소스들은 예를 들어 팬, 에어컨 유닛, 사무실의 배경 잡음 또는 임의의 다른 방해가 되지 않는 오디오 소스를 포함할 수 있다. 방해가 되는 오디오 소스는 사용자에 의해 인식될 때 목표 오디오 경험을 저하시키는 음파들을 생성하는 오디오 소스이다. 방해가 되는 오디오 소스는 예를 들어 사람 또는 사람들이 말하는 소리, 문을 쾅 닫는 소리, 음악 재생, 새의 지저귐, 교통 잡음들 또는 임의의 다른 방해가 되는 오디오 소스를 포함할 수 있다. 특히, 방해가 되지 않는 소스와 방해가 되는 소스의 이러한 예들은 맥락을 위해 제공된다. 일부 상황에서, 방해가 되지 않는 오디오 소스들은 방해가 되는 오디오 소스들일 수 있고 그 반대 경우도 마찬가지이다. 방해가 되지 않는 오디오 소스 및/또는 방해가 되는 오디오 소스를 나타내는 것은 오디오 시스템(300)에 의해 결정되거나, 오디오 시스템의 사용자에 의해 정의되거나, 또는 오디오 시스템의 설계자에 의해 정의될 수 있다.
분류 모듈(354)은 식별된 오디오 소스 및/또는 음향 센서 어레이(310)에 의해 검출된 음파들에 대해 결정된 ATF를 분석함으로써 오디오 소스의 유형(예를 들어, 방해가 되는 또는 방해가 되지 않는)을 결정한다. 일부 실시예들에서, 분류 모듈(354)은 오디오 소스가 임계값(예를 들어, 배경 사운드 레벨)보다 큰 사운드 레벨을 갖는 경우 오디오 소스를 방해가 되는 것으로 분류하고, 임계값 이하인 경우 오디오 소스는 방해가 되지 않는 것으로 분류된다. 일부 실시예들에서, 분류 모듈(354)은 오디오 소스가 적어도 임계 시간 기간(예를 들어, 1 초 초과) 동안 임계값(예를 들어, 배경 사운드 레벨)보다 큰 사운드 레벨을 갖는 경우 오디오 소스를 방해가 되는 것으로 분류하고, 그렇지 않으면 오디오 소스는 방해가 되지 않는 것으로 분류된다. 결정된 ATF들 및/또는 수신된 음파들에 기반하여 오디오 소스를 분류하는 다른 방법들이 또한 가능하다. 예를 들어, 분류 모듈은 오디오 소스를 분류하기 위해 다양한 기계 학습 알고리즘들을 사용할 수 있다.
추가로 예를 들어, 예를 들어, 오디오 시스템(300)은 사무실인 로컬 영역 내에 있다. 사무실의 직원들 및/또는 장비는 사무실의 일반적인 배경 사운드 레벨을 나타내는 일부 음파들을 생성할 수 있다. 분류 모듈(354)은 사무실의 배경 사운드 레벨의 오디오 특징(예를 들어, 주파수, 진폭 등)을 측정하고 특성화할 수 있다. 분류 모듈(354)은 배경 사운드 레벨을 상당히 초과하는 오디오 특징을 갖는 음파들을 생성하는 오디오 소스들이 방해가 되는 오디오 소스들이고 배경 사운드 레벨 미만의 오디오 특징을 갖는 음파들을 생성하는 오디오 소스들이 방해가 되지 않는 오디오 소스들인 것을 결정한다. 예를 들어, 분류 모듈(354)은 사무실의 오디오 특징을 결정할 수 있다. 사무실의 직원은 논쟁 시 다른 사람에게 큰 소리로 말하기 시작한다. 오디오 소스 검출 모듈은 논쟁하는 직원들이 오디오 소스들인 것을 결정한다. 분류 모듈은 논쟁하는 직원들에 의해 생성된 음파들의 진폭이 배경 사운드 레벨을 초과하는 것을 결정한다. 따라서, 분류 모듈(354)은 논쟁하는 직원들을 방해가 되는 오디오 소스들로 분류한다.
다양한 실시예들에서, 분류 모듈은 추가 또는 더 적은 유형들의 오디오 소스들을 분류할 수 있다. 또한, 오디오 소스들은 오디오 소스들을 분류하기에 적합한 임의의 기준에 의해 분류될 수 있다. 예를 들어, 오디오 소스는 사람, 주변, 시끄러움, 약함, 불규칙, 고주파수, 낮은 볼륨 등으로 분류될 수 있다. 다른 많은 유형들이 가능하다.
방해 감소 모듈(360)은, 재생 디바이스 어레이(320)에 의해 실행될 때, 오디오 시스템(300)을 둘러싸는 로컬 영역에서 식별된 하나 이상의 오디오 소스들(예를 들어, 방해가 되는 오디오 소스)에 의해 야기되는 목표 오디오 경험의 저하를 감소시키는 오디오 경험을 생성하는 오디오 명령들을 생성한다. 편의상, 목표 오디오 경험의 저하를 감소시키는 오디오 명령들은 감소 명령들이라고 지칭될 것이고, 유사하게 감소 명령들을 실행할 때 제시되는 오디오 경험은 수정된 오디오 경험이라고 지칭될 수 있다. 방해 감소 모듈(360)은 이하에서 설명되는 바와 같이 다양한 방식들로 수정된 오디오 경험을 제시하는 감소 명령들을 생성한다.
예에서, 방해 감소 모듈(360)은 수정된 오디오 경험을 제시할 때 능동 잡음 제거를 수행하는 감소 명령들을 생성한다. 능동 잡음 제거는 오디오 소스로부터 수신된 오디오 콘텐츠를 상쇄 간섭하는 오디오 콘텐츠를 생성하고 제시한다. 예를 들어, 오디오 소스(예를 들어, 비-목표 오디오 소스)는 오디오 시스템(300)의 사용자에 의해 인식될 때 목표 오디오 경험을 저하시키는 음파들을 생성한다. ASD 모듈(350)은 헤드셋의 로컬 영역에서 오디오 소스를 결정한다. ASD 모듈(350)은 수신된 음파들을 분석하여 음파들의 파형을 결정한다. ASD 모듈(350)은 또한 식별된 오디오 소스에 대해 결정된 ATF의 파라미터들로부터 파형을 결정할 수 있다. 방해 감소 모듈(360)은 결정된 파형에 대한 반-파형을 결정한다. 방해 감소 모듈(360)은 재생 디바이스 어레이(310)에 의해 실행될 때 사용자에게 반-파형을 제시하는 감소 명령들을 생성한다. 재생 디바이스 어레이(310)가 수정된 오디오 경험을 제시할 때, 반-파형은 오디오 소스에 의해 생성된 음파들의 파형과 상쇄 간섭한다. 반-파형의 제시는 경험 저하를 감소시킨다.
예에서, 방해 감소 모듈(360)은 수정된 오디오 경험을 제시할 때 중립사운드 마스킹을 수행하는 감소 명령들을 생성한다. 중립 사운드 마스킹은 오디오 소스로부터 수신된 오디오 콘텐츠를 중립 사운드들로 사운드 마스킹하는 오디오 콘텐츠를 생성하고 제시한다. 예를 들어, 오디오 소스(예를 들어, 비-목표 오디오 소스)는 오디오 시스템(300)의 사용자에 의해 인식될 때 목표 오디오 경험을 저하시키는 음파들을 생성한다. ASD 모듈(350)은 헤드셋의 로컬 영역에서 오디오 소스를 결정한다. ASD 모듈(350)은 수신된 음파들을 분석하여 수신된 음파들의 음향 특징의 세트를 결정한다. 음향 특징은 주파수, 진폭, 위상, 지연, 이득 또는 임의의 다른 음향 특징을 포함할 수 있다. ASD 모듈(350)은 또한 식별된 오디오 소스에 대해 결정된 ATF의 파라미터들로부터 음향 특징을 결정할 수 있다. 방해 감소 모듈(360)은 수신된 음파들을 중립 사운드 마스킹하는 음향 신호("중성 음향 신호")를 결정한다. 다양한 실시예들에서, 중립 음향 신호는 백색 잡음, 핑크 잡음, 형상화된 백색 잡음, 오디오 특징에 기반한 잡음 스펙트럼, 또는 임의의 다른 중립 오디오 신호일 수 있다. 일부 경우에서, 중립 음향 신호는 데이터저장소(340)에 저장될 수 있다. 방해 감소 모듈(360)은 재생 디바이스 어레이(310)에 의해 실행될 때 중립 음향 신호를 수정된 오디오 경험의 부분으로서 사용자에게 제시하는 감소 명령들을 생성한다. 재생 디바이스 어레이(310)가 수정된 오디오 경험을 제시할 때, 중립 음향 신호 중립 사운드는 오디오 소스에 의해 생성된 음파들을 마스킹한다. 중립 음향 신호의 제시는 경험 저하를 감소시킨다.
유사한 예에서, 방해 감소 모듈(360)은 재생 디바이스 어레이(310)에 의해 실행될 때 식별된 오디오 소스에 대한 주변 사운드 마스킹을 수행하는 감소 명령들을 생성한다. 주변 사운드 마스킹은 주변 사운드 마스킹이 오디오 시스템(300)의 로컬 영역에서 식별된 다른 오디오 소스들을 사용하여 오디오 신호를 생성한다는 점에서 중립 사운드 마스킹과 상이하다. 예를 들어, 로컬 영역은 방해가 되는 오디오 소스와 방해가 되지 않는 오디오 소스가 둘 모두를 포함한다. 방해가 되는 오디오 소스는 목표 오디오 경험을 저하시키는 음파들을 생성하는 반면, 방해가 되지 않는 오디오 소스는 목표 오디오 경험을 저하시키지 않는 음파들을 생성한다. ASD 모듈(350)은 헤드셋의 로컬 영역에서 오디오 소스들을 결정하고 분류한다. ASD 모듈(350)은 수신된 음파들을 분석하여 방해가 되는 오디오 소스 및 방해가 되지 않는 오디오 소스에 대해 수신된 음파들의 음향 특징의 세트를 결정한다. 방해 감소 모듈(360)은 수신된 음파들을 주변 사운드 마스킹하는 음향 신호("주변 음향 신호")를 결정한다. 주변 음향 신호는 방해가 되지 않는 오디오 소스의 오디오 특징 중 하나 이상을 포함한다. 오디오 특징은 전체적으로 또는 개별적으로 주변 배경을 나타낼 수 있다. 예를 들어, 방해가 되지 않는 오디오 소스가 팬인 경우, 주변 음향 신호는 팬의 오디오 특징을 포함할 수 있다. 방해 감소 모듈(360)은 재생 디바이스 어레이(310)에 의해 실행될 때 사용자에게 수정된 오디오 경험의 일부로서 주변 음향 신호를 제시하는 감소 명령들을 생성한다. 재생 디바이스 어레이(310)에 의해 제시될 때, 주변 음향 신호 주변 사운드는 방해가 되지 않는 오디오 소스의 오디오 특징을 사용하여 방해가 되는 오디오 소스에 의해 생성된 음파들을 마스킹한다. 주변 음향 신호의 제시는 경험 저하를 감소시킨다.
다양한 실시예들에서, 방해 감소 모듈(360)은 오디오 소스의 식별된 공간 위치를 사용하여 감소 명령들을 생성한다. 예를 들어, 방해 감소 모듈(360)은 재생 디바이스 어레이(310)에 의해 실행될 때 목표 방향 및/또는 위치에서 제시되는 오디오 콘텐츠를 포함하는 수정된 오디오 경험을 제시하는 감소 명령들을 생성할 수 있다. 다양한 실시예들에서, 방해 감소 모듈(360)은 데이터저장소(340)에 저장된 HRTF들을 사용하여 감소 명령들을 생성하지만, 많은 다른 전달 함수들을 사용할 수 있다. 여기서, 목표 방향 및/또는 위치는 식별된 오디오 소스의 식별된 공간적 위치를 포함할 수 있다. 예를 들어, 특정 공간적 위치의 오디오 소스는 사용자에게 제시되는 목표 오디오 경험을 저하시키는 음파들을 생성한다. 위치 모듈(352)은 오디오 소스의 공간적 위치를 결정한다. 방해 감소 모듈(360)은 예를 들어, 수정된 오디오 경험의 일부로서 오디오 소스의 결정된 공간적 위치에서 중립 신호를 제시하는 감소 명령들을 생성한다. 이러한 방식으로, 사용자는 그 전체 청각 필드가 아니라 오디오 소스의 위치에서만 중립 신호를 인식한다. 본원에 설명된 다른 감소 명령들(예를 들어, 능동 잡음 제거, 주변 신호들 등)은 또한 목표 위치 및/또는 방향에서 제시될 수 있다.
다양한 실시예들에서, 방해 감소 모듈(360)은 결정된 오디오 소스(들)의 유형을 사용하여 감소 명령들을 생성한다. 예를 들어, 방해 감소 모듈(360)은 식별된 오디오 소스가 방해가 되지 않는 오디오 소스일 때 능동 잡음 제거를 위한 감소 명령들을 생성할 수 있다. 다른 예에서, 방해 감소 모듈(360)은 식별된 오디오 소스로부터 수신된 음파들의 오디오 특징이 특정 오디오 특징, 임계값 초과(또는 미만) 오디오 특징 등을 포함하는 경우 중립 사운드 마스킹에 대한 감소 명령들을 생성할 수 있다. 다른 예에서, ASD 모듈(350)이 오디오 시스템의 로컬 영역에서 방해가 되지 않는 오디오 소스를 식별하는 경우, 방해 감소 모듈(360)은 주변 사운드 마스킹을 위한 감소 명령들을 생성할 수 있다.
일부 예들에서, 방해 감소 모듈(350)은 사용자로부터 수신된 입력에 대한 응답으로 수정된 오디오 경험을 제시할 수 있다. 예를 들어, 사용자는 "청각 방해 음소거"를 언급할 수 있고, 응답으로, 오디오 시스템(300)은 수정된 오디오 경험을 제시하기 위해 본원에 설명된 단계들 중 임의의 단계를 취한다. 일부 경우들에서, 방해 감소 모듈은 특정 유형들의 오디오 소스에 의한 목표 오디오 경험의 저하를 감소시키는 수정된 오디오 경험을 제시할 수 있다. 예를 들어, 사용자는 "아빠 음소거"라고 언급할 수 있고 ASD 모듈(350)은 성인 남성에 대한 말투 패턴과 유사한 음파들을 생성하는 오디오 소스를 식별하고, 음파들에 대한 감소 명령들을 생성하고, 식별된 성인 남성으로부터 들려지는 말투를 보상하는 수정된 오디오 경험을 제시한다. 수정된 오디오 경험이 성인 남성으로부터 수신된 음파들만을 보상하기 때문에, 사용자는 여전히 다른 잡음들을 들을 수 있다. 예를 들어, 사용자는 근처의 성인 남성에 의해 생성된 음파들을 인식할 수 없으면서 근처의 셀룰러 디바이스로부터 알림 경고를 나타내는 음파들을 인식할 수 있다. 일부 예들에서, 방해 감소 모듈(350)은 본원에 설명된 원리들 중 임의의 원리에 기반하여 수정된 오디오 경험들을 사용자에게 자동으로 제시할 수 있다. 예를 들어, 오디오 시스템(300)은 방해가 되는 오디오 소스를 결정하고 방해가 되는 오디오 소스에 의해 생성된 음파들을 보상하는 수정된 오디오 경험을 자동으로 제시할 수 있다.
일부 예들에서, 방해 감소 모듈(360)은 사용자에게 제시된 목표 오디오 경험의 유형에 기반하여 수정된 오디오 경험을 제시할 수 있다. 목표 오디오 경험의 유형은 목표 오디오 경험에 대한 임의의 유형의 분류를 포함할 수 있다. 예를 들어, 유형은 영화, 게임, 소셜, 독서 등일 수 있다. 방해 감소 모듈(360)은 목표 오디오 경험의 유형을 결정할 수 있다. 방해 감소 모듈(360)은 목표 오디오 경험의 오디오 콘텐츠와 연관된 유형 디스크립터에 액세스하거나 목표 오디오 경험의 오디오 콘텐츠의 음파들을 분석함으로써 유형을 결정할 수 있다. 예를 들어, 사용자는 영화를 보기 위해 오디오 시스템(300)을 동작하고 있다. 영화는 영화로 분류되는 목표 오디오 경험을 위해 데이터저장소(340)에 저장된 오디오 콘텐츠를 갖는다. 다른 예에서, 방해 감소 모듈(360)은 영화의 음파들을 수신하고, 음파들을 분석하고, 오디오 콘텐츠가 영화 목표 오디오 경험과 연관되어 있다고 결정한다. 방해 감소 모듈(360)은 목표 오디오 경험의 결정된 유형에 기반하여 감소 명령들을 생성할 수 있다. 예를 들어, 유형이 영화인 경우, 사운드 마스킹 비-목표 오디오 소스들은 사용자의 청각 필드에서 방해로서 인식될 수 있다. 따라서, 방해 감소 모듈(360)은 활성 잡음 제거를 수행하지만 사운드 마스킹은 수행하지 않는 감소 명령들을 생성한다.
오디오 시스템(300)이 음향 센서 어레이(310)로부터 사운드들을 연속적으로 수신하고 헤드셋의 로컬 영역에서 오디오 소스를 식별하는 것을 주목하라. 따라서, 제어기(330)는 로컬 영역 내의 헤드셋과 오디오 소스들 사이의 상대적 위치들이 변화될 때 (예를 들어, 제어기(330) 내의 모듈들을 통해) 감소 명령을 동적으로 업데이트할 수 있다. 또한, 제어기(300)는 헤드셋이 필요할 때 수정된 오디오 경험을 제시하도록 감소 명령들을 계속 생성할 수 있다. 즉, 오디오 시스템은 끊임없이 변화하는 오디오 소스들을 사용하여 로컬 영역 내에 수정된 오디오 경험을 생성하도록 구성된다.
정규화된 오디오 경험 제공
도 4는 하나 이상의 실시예들에 따른 수정된 오디오 경험을 사용자에게 제시하기 위한 프로세스(400)를 예시하는 흐름도이다. 일 실시예에서, 도 4의 프로세스는 오디오 시스템(예를 들어, 오디오 시스템(300))의 컴포넌트들에 의해 수행된다. 다른 엔티티들은 다른 실시예들의 프로세스의 단계들 중 일부 또는 모두를 수행할 수 있다. 마찬가지로, 실시예들은 상이한 단계들 및/또는 추가 단계들을 포함할 수 있거나, 상이한 순서들로 단계들을 수행할 수 있다. 프로세스(400)는 도 2에 예시된 로컬 영역에서 오디오 시스템(예를 들어, 오디오 시스템(300))을 갖는 헤드셋을 동작시키는 사용자를 참조하여 설명될 것이다.
오디오 시스템은 로컬 영역 내의 하나 이상의 비-목표 오디오 소스들로부터 음파들을 수신한다(410). 음파들은 사용자의 청각 필드에서 오디오 시스템에 의해 제시되는 목표 오디오 경험을 저하시키는 방해 오디오 콘텐츠로서 인식된다. 예를 들어, 도 2를 참조하면, 여러 오디오 소스(220)는 사용자(210)를 향해 지향된 음파들(222)을 생성한다. 오디오 소스들 중 하나(예를 들어, 오디오 소스(220D))는 로컬 영역(200)에 위치되지 않지만 오디오 소스에 의해 생성된 음파들(예를 들어, 음파(222D))은 로컬 영역(200)의 표면(230)에서 반사되기 때문에 사용자의 오디오 필드(202)에서 발생하는 것으로 인식된다. 오디오 소스들(220)에 의해 생성된 임의의 음파들(222)은 헤드셋(212)에 의해 사용자(210)에게 제공되는 목표 오디오 경험을 저하시킬 수 있다.
도 4로 돌아가서, 오디오 시스템은 로컬 영역 내의 비-목표 오디오 소스(들)의 공간적 위치(들)를 결정한다(420). 오디오 시스템은 오디오 시스템에 의해 수신된 음파들에 기반하여 비-목표 오디오 소스들의 공간적 위치(들)를 결정할 수 있다. 예를 들어, 도 2를 참조하면, 사용자(210)에 의해 착용된 헤드셋(212)의 오디오 소스 검출 모듈(예를 들어, 오디오 소스 검출 모듈(350))은 사용자의 청각 필드(202) 내의 오디오 소스들(220)을 식별할 수 있다. 예를 들어, 오디오 소스 검출 모듈은 오디오 소스(220B)에 의해 생성된 음파들(222B)을 수신하고 수신된 음파들의 오디오 특징이 비-목표 오디오 소스를 나타내는 것을 식별한다. 헤드셋(212)의 위치 모듈(예를 들어, 위치 모듈(352))은 식별된 오디오 소스(220B)의 공간적 위치를 결정한다. 예를 들어, 위치 모듈은 구면 좌표들에서 로컬 영역(200)에서 사용자(210)에 관련한 오디오 소스(220B)의 좌표를 결정할 수 있다. 헤드셋(212)은 유사하게 다른 오디오 소스들(220)을 식별하고 로컬 영역(200)에서 그들의 공간적 위치를 결정할 수 있다. 오디오 소스가 로컬 영역(200) 외측에 있지만 여전히 사용자에 의해 청각 필드(202) 내에 있는 것으로 인식되는 경우에, 오디오 소스 검출 모듈은 음파들이 발생하는 물체(예를 들어, 표면(230))의 공간적 위치를 결정할 수 있다.
도 4로 돌아가서, 오디오 시스템은 비-목표 오디오 소스(들)의 유형을 결정한다(430). 오디오 시스템은 오디오 시스템에 의해 수신된 음파들에 기반하여 비-목표 오디오 소스의 유형을 결정할 수 있다. 예를 들어, 도 2를 참조하면, 헤드셋(212)의 분류 모듈(예를 들어, 분류 모듈(354))은 오디오 소스(220)로부터 수신된 음파들(222)에 기반하여 각각의 오디오 소스(220)에 대한 유형을 결정한다. 예를 들어, 분류 모듈은 오디오 소스들(220B, 220C, 220D)이 사용자에게 제시되는 목표 오디오 경험을 저하시키는 음파들을 생성하기 때문에 방해 오디오 소스들이라고 결정할 수 있다. 유사하게, 분류 모듈은 오디오 소스(220A)가 목표 오디오 경험을 저하시키는 음파들을 생성하지 않기 때문에 방해가 되지 않는 오디오 소스라고 결정할 수 있다.
도 4로 돌아가서, 오디오 시스템은 비-목표 오디오 소스(들)의 결정된 공간적 위치, 오디오 소스(들)의 결정된 유형, 및 비-목표 오디오 소스(들)로부터 수신된 음파들의 오디오 속성들 중 임의의 것에 기반하여 감소 오디오 명령들의 세트를 생성한다(440). 감소 오디오 명령들은 오디오 시스템에 의해 실행될 때 사용자의 청각 필드 내의 비-목표 오디오 소스(들)에 의한 경험 저하를 감소시키는 오디오 콘텐츠를 제시한다. 예를 들어, 도 2를 참조하면, 헤드셋의 방해 감소 모듈(예를 들어, 방해 감소 모듈(360))은 로컬 영역 내의 방해 오디오 소스들 각각에 대한 감소 오디오 명령들을 생성한다. 예를 들어, 방해 감소 모듈은 각각 방해 오디오 소스들(220B, 220C, 및 220D)에 대한 능동 잡음 제거, 주변 잡음 마스킹 및 중립 잡음 마스킹을 위한 감소 명령들을 생성한다. 방해 감소 모듈은 헤드셋의 데이터저장소(예를 들어, 데이터저장소(340))에 저장된 HRTF들을 사용하여 감소 명령들을 생성한다.
오디오 시스템은 감소 오디오 명령들을 실행하여 경험 저하를 감소시키는 오디오 콘텐츠를 사용자에게 제시한다. 즉, 오디오 시스템은 수정된 오디오 경험을 사용자에게 제시한다(450). 수정된 오디오 경험은 비-목표 오디오 소스(들)에 의해 생성된 음파들을 보상하는 오디오 콘텐츠를 포함한다. 오디오 콘텐츠는 비-목표 오디오 소스(들)의 결정된 공간적 위치들에 제시될 수 있다. 예를 들어, 도 2를 참조하면, 방해 감소 모듈은 생성된 감소 명령들을 사용하여 수정된 오디오 경험을 제시한다. 수정된 오디오 경험은 식별된 방해 오디오 소스들 각각으로부터 수신된 음파들을 보상하는 오디오 콘텐츠를 포함한다. 예를 들어, 수정된 오디오 경험은 오디오 소스(220B)로부터 수신된 음파들에 대한 능동 잡음 제거를 수행하는 오디오 콘텐츠를 제시한다. 오디오 콘텐츠는 오디오 소스(220B)의 공간적 위치의 방향으로 제시되어, 능동 잡음 제거는 오디오 소스(220B)의 공간적 위치로부터 발생하는 것으로 인식되는 음파들에서 수행된다. 유사하게, 오디오 시스템은 각각 오디오 소스(220C)의 공간적 위치들 및 표면(230)으로부터 발생하는 것으로 인식되는 음파들에 대해 각각 주변 사운드 마스킹 및 중립 사운드 마스킹을 수행하는 오디오 콘텐츠를 제시한다. 수정된 오디오 경험은 방해 오디오 소스들로부터 수신된 음파들을 보상하고 경험 저하를 감소시킨다.
프로세스(400)의 단계들은 헤드셋(212)의 동작 동안 언제라도 발생할 수 있다. 중요하게, 식별된 오디오 소스들이 사용자(210)의 청각 필드(202)를 통해 이동함에 따라, 헤드셋(212)의 오디오 시스템은 감소 명령들을 연속적으로 생성할 수 있다. 감소 명령들은 비-목표 오디오 소스들에 의해 생성된 음파들에 의해 야기되는 목표 오디오 경험의 저하를 감소시키는 수정된 오디오 경험을 연속적으로 제시하기 위해 오디오 시스템에 의해 실행될 수 있다. 더 간단히, 방해 오디오 소스들이 사용자의 청각 필드(202)를 통해 이동함에 따라, 오디오 시스템은 이러한 방해들을 보상하고 경험 저하를 감소시키는 오디오 경험을 연속적으로 생성한다.
인공 현실 시스템의 예
도 5는 하나 이상의 실시예들에 따른 도 3의 오디오 시스템(300)을 포함하는 헤드셋의 시스템 환경이다. 시스템(500)은 인공 현실 환경, 예를 들어, 가상 현실, 증강 현실, 혼합 현실 환경, 또는 이들의 일부 조합에서 동작할 수 있다. 도 5에 의해 도시된 시스템(500)은 헤드셋(505), 및 콘솔(510)에 결합된 입/출력(I/O) 인터페이스(515)를 포함한다. 헤드셋(505)은 헤드셋(200)의 일 실시예일 수 있다. 도 5가 하나의 헤드셋(505) 및 하나의 I/O 인터페이스(515)를 포함하는 예시적인 시스템(500)을 도시하지만, 다른 실시예들에서, 임의의 수의 이러한 컴포넌트들은 시스템(500)에 포함될 수 있다. 예를 들어, 연관된 I/O 인터페이스(515)를 각각 갖는 다수의 헤드셋들(505)이 있을 수 있고, 각각의 헤드셋(505) 및 I/O 인터페이스(515)는 콘솔(510)과 통신한다. 대안적인 구성들에서, 상이한 및/또는 추가 컴포넌트들은 시스템(500)에 포함될 수 있다. 또한, 도 5에 도시된 컴포넌트들 중 하나 이상과 함께 설명된 기능은 일부 실시예들에서 도 5와 함께 설명된 것과 상이한 방식으로 컴포넌트들 사이에 분배될 수 있다. 예를 들어, 콘솔(510)의 기능의 일부 또는 모두는 헤드셋(505)에 의해 제공된다.
헤드셋(505)은 컴퓨터-생성 요소들(예를 들어, 2차원(2D) 또는 3차원(3D) 이미지, 2D 또는 3D 비디오, 사운드 등)을 갖는 물리적 현실 세계 환경의 증강된 뷰들을 포함하는 콘텐츠를 사용자에게 제시한다. 헤드셋(505)은 안경 디바이스 또는 머리-장착 디스플레이일 수 있다. 일부 실시예들에서, 제시된 콘텐츠는 헤드셋(505), 콘솔(510), 또는 둘 모두로부터 오디오 정보(예를 들어, 오디오 신호)를 수신하고, 오디오 정보에 기반하여 오디오 콘텐츠를 제시하는 오디오 시스템(300)을 통해 제시되는 오디오 콘텐츠를 포함한다.
헤드셋(505)은 오디오 시스템(300), 깊이 카메라 어셈블리(DCA)(520), 전자 디스플레이(525), 광학 블록(530), 하나 이상의 위치 센서들(535), 및 관성 측정 유닛(IMU)(540)을 포함한다. 전자 디스플레이(525) 및 광학 블록(530)은 렌즈(110)의 일 실시예이다. 포지션 센서들(535) 및 IMU(540)는 센서 디바이스(114)의 일 실시예이다. 헤드셋(505)의 일부 실시예들은 도 5와 함께 설명된 것들과 상이한 컴포넌트들을 갖는다. 또한, 도 5와 함께 설명된 다양한 컴포넌트들에 의해 제공되는 기능은 다른 실시예들에서 헤드셋(505)의 컴포넌트들 사이에 상이하게 분포되거나, 헤드셋(505)에서 멀리 떨어진 별도의 어셈블리들에서 캡처될 수 있다.
오디오 시스템(300)은 사용자를 위한 목표 오디오 경험을 생성한다. 도 1 내지 도 4를 참조하여 추가로 설명된 바와 같이, 오디오 시스템(300)은 오디오 어셈블리(300)의 마이크로폰 어레이를 통해 헤드셋(505)의 로컬 영역 내의 하나 이상의 오디오 소스로부터의 음파들을 검출한다. 음파들은 사용자에 의해 인식될 수 있고 목표 오디오 경험을 저하시킬 수 있다. 오디오 어셈블리(300)는 음파들과 연관된 어레이 전달 함수(ATF)들을 추정하고, ATF들을 사용하여 헤드셋의 재생 디바이스 어레이에 대한 감소 오디오 명령들을 생성한다. 오디오 시스템(300)은 재생 디바이스 어레이를 통해, 부분적으로 감소 오디오 명령들에 기반하여 오디오 콘텐츠를 제시한다. 제시된 오디오 콘텐츠는 하나 이상의 오디오 소스들로부터 생성된 음파들에 의해 야기된 경험 저하를 감소시키는 수정된 오디오 경험을 사용자를 위해 생성한다.
DCA(520)는 헤드셋(505)의 일부 또는 모두를 둘러싸는 로컬 환경의 깊이 정보를 설명하는 데이터를 캡처한다. DCA(520)는 광 생성기(예를 들어, 구조화된 광 및/또는 비행 시간용 플래시), 이미징 디바이스, 및 광 생성기와 이미징 디바이스 둘 모두에 결합될 수 있는 DCA 제어기를 포함할 수 있다. 광 생성기는 예를 들어 DCA 제어기에 의해 생성된 방출 명령들에 따라 조명 광으로 로컬 영역을 조명한다. DCA 제어기는 방출 명령들에 기반하여, 예를 들어 로컬 영역을 조명하는 조명 광의 강도 및 패턴을 조정하기 위해 광 생성기의 소정 컴포넌트들의 동작을 제어하도록 구성된다. 일부 실시예들에서, 조명 광은 구조화된 광 패턴, 예를 들어, 도트 패턴, 라인 패턴 등을 포함할 수 있다. 이미징 디바이스는 조명 광으로 조명된 로컬 영역 내의 하나 이상의 물체들의 하나 이상의 이미지들을 캡처한다. DCA(520)는 이미징 디바이스에 의해 캡처된 데이터를 사용하여 깊이 정보를 계산할 수 있거나 DCA(520)는 이 정보를 DCA(520)로부터의 데이터를 사용하여 깊이 정보를 결정할 수 있는 콘솔(510)과 같은 다른 디바이스로 전송할 수 있다.
일부 실시예들에서, 오디오 시스템(300)은 하나 이상의 잠재적인 오디오 소스들의 방향들 또는 공간적 위치들, 하나 이상의 오디오 소스들의 깊이, 하나 이상의 오디오 소스들의 움직임, 하나 이상의 오디오 소스들 주변의 사운드 활동, 또는 이들의 임의의 조합을 식별하는 데 도움을 줄 수 있는 깊이 정보를 활용할 수 있다.
전자 디스플레이(525)는 콘솔(510)로부터 수신된 데이터에 따라 2D 또는 3D 이미지들을 사용자에게 디스플레이한다. 다양한 실시예들에서, 전자 디스플레이(525)는 단일 전자 디스플레이 또는 다중 전자 디스플레이들(예를 들어, 사용자의 각각의 눈에 대한 디스플레이)를 포함한다. 전자 디스플레이(525)의 예들은: 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이, 능동-매트릭스 유기 발광 다이오드 디스플레이(AMOLED), 도파관 디스플레이, 일부 다른 디스플레이, 또는 이들의 일부 조합을 포함한다.
일부 실시예들에서, 광학 블록(530)은 전자 디스플레이(525)로부터 수신된 이미지 광을 확대하고, 이미지 광과 연관된 광학 오류들을 정정하고, 정정된 이미지 광을 헤드셋(505)의 사용자에게 제시한다. 다양한 실시예들에서, 광학 블록(530)은 하나 이상의 광학 요소들을 포함한다. 광학 블록(530)에 포함된 예시적인 광학 요소들은: 도파관, 애퍼처, 프레넬 렌즈(Fresnel lens), 볼록 렌즈, 오목 렌즈, 필터, 반사면, 또는 이미지 광에 영향을 미치는 임의의 다른 적합한 광학 요소를 포함한다. 또한, 광학 블록(530)은 상이한 광학 요소들의 조합들을 포함할 수 있다. 일부 실시예들에서, 광학 블록(530)의 광학 요소들 중 하나 이상은 부분 반사 또는 반사-방지 코팅들과 같은 하나 이상의 코팅들을 가질 수 있다.
광학 블록(530)에 의한 이미지 광의 확대 및 포커싱은 전자 디스플레이(525)가 물리적으로 더 작고, 더 가볍고, 더 큰 디스플레이들보다 더 적은 전력을 소비하게 한다. 또한, 확대는 전자 디스플레이(525)에 의해 제시되는 콘텐츠의 시야각을 증가시킬 수 있다. 예를 들어, 디스플레이된 콘텐츠의 시야각은 디스플레이된 콘텐츠가 사용자의 시야각 거의 모두(예를 들어, 대각선 약 110 도), 및 일부 경우들에서 사용자의 시야각 모두를 사용하여 제시되도록 한다. 또한, 일부 실시예들에서, 배율의 양은 광학 요소들을 추가하거나 제거함으로써 조정될 수 있다.
일부 실시예들에서, 광학 블록(530)은 하나 이상의 유형들의 광학 오류를 정정하도록 설계될 수 있다. 광학 오류의 예들은 배럴(barrel) 또는 핀쿠션 왜곡(pincushion distortion), 세로방향 색 수차들 또는 가로방향 색 수차들을 포함한다. 다른 유형들의 광학 오류들은 구면 수차들, 색 수차들, 또는 렌즈 필드 곡률, 비점 수차들, 또는 임의의 다른 유형의 광학 오류로 인한 오류들을 더 포함할 수 있다. 일부 실시예들에서, 디스플레이를 위해 전자 디스플레이(525)에 제공된 콘텐츠는 사전-왜곡되고, 광학 블록(530)은 콘텐츠에 기반하여 생성된 전자 디스플레이(525)로부터 이미지 광을 수신할 때 왜곡을 정정한다.
IMU(540)는 하나 이상의 포지션 센서들(535)로부터 수신된 측정 신호들에 기반하여 헤드셋(505)의 포지션을 나타내는 데이터를 생성하는 전자 디바이스이다. 포지션 센서(535)는 헤드셋(505)의 움직임에 대한 응답으로 하나 이상의 측정 신호들을 생성한다. 포지션 센서들(535)의 예들은: 하나 이상의 가속도계들, 하나 이상의 자이로스코프들, 하나 이상의 자력계들, 움직임을 검출하는 다른 적합한 유형의 센서, IMU(540)의 오류 정정에 사용되는 유형의 센서, 또는 이들의 일부 조합을 포함한다. 포지션 센서들(535)은 IMU(540) 외부, IMU(540) 내부, 또는 이들의 일부 조합에 위치될 수 있다.
하나 이상의 포지션 센서들(535)로부터의 하나 이상의 측정 신호들에 기반하여, IMU(540)는 헤드셋(505)의 초기 포지션에 관련한 헤드셋(505)의 추정된 현재 포지션을 나타내는 데이터를 생성한다. 예를 들어 포지션 센서들(535)은 병진 움직임(예를 들어, 앞으로/뒤로, 위/아래, 좌측/우측)을 측정하기 위한 다중 가속도계들 및 회전 움직임(예를 들어, 피치, 요, 롤))을 측정하기 위한 다중 자이로스코프들을 포함한다. 일부 실시예들에서, IMU(540)는 측정 신호들을 신속하게 샘플링하고 샘플링된 데이터로부터 헤드셋(505)의 추정된 현재 포지션을 계산한다. 예를 들어, IMU(540)는 시간 경과에 따라 가속도계들로부터 수신된 측정 신호들을 통합하여 속도 벡터를 추정하고, 시간 경과에 따른 속도 벡터를 통합하여 헤드셋(505) 상의 기준점의 추정된 현재 포지션을 결정한다. 대안적으로, IMU(540)는 오류를 감소시키기 위해 데이터를 해석하는 콘솔(510)에 샘플링된 측정 신호들을 제공한다. 기준점은 헤드셋(505)의 포지션을 설명하는데 사용될 수 있는 지점이다. 기준점은 일반적으로 안경류 디바이스(505)의 배향 및 포지션에 관련된 공간 지점 또는 포지션으로서 정의될 수 있다.
I/O 인터페이스(515)는 사용자가 조치 요청들을 전송하게 하고 콘솔(510)로부터 응답들을 수신하게 하는 디바이스이다. 조치 요청은 특정 조치를 수행하기 위한 요청이다. 예를 들어, 조치 요청은 이미지 또는 비디오 데이터의 캡처를 시작 또는 종료시키는 명령, 애플리케이션 내의 특정 조치를 수행시키는 명령일 수 있다. I/O 인터페이스(515)는 하나 이상의 입력 디바이스들을 포함할 수 있다. 예시적인 입력 디바이스들은: 키보드, 마우스, 핸드 제어기, 또는 조치 요청들을 수신하고 조치 요청들을 콘솔(510)에 통신하기 위한 임의의 다른 적합한 디바이스를 포함한다. I/O 인터페이스(515)에 의해 수신된 조치 요청은 조치 요청에 대응하는 조치를 수행하는 콘솔(510)로 통신된다. 일부 실시예들에서, I/O 인터페이스(515)는 위에서 추가로 설명된 바와 같이, I/O 인터페이스(515)의 초기 포지션에 관련하여 I/O 인터페이스(515)의 추정된 포지션을 나타내는 교정 데이터를 캡처하는 IMU(540)를 포함한다. 일부 실시예들에서, I/O 인터페이스(515)는 콘솔(510)로부터 수신된 명령들에 따라 사용자에게 햅틱 피드백을 제공할 수 있다. 예를 들어, 조치 요청이 수신될 때 햅틱 피드백이 제공되거나, 콘솔(510)이 조치를 수행할 때 I/O 인터페이스(515)가 햅틱 피드백을 생성하게 하는 명령들을 콘솔(510)이 I/O 인터페이스(515)에 통신한다. I/O 인터페이스(515)는 오디오 콘텐츠의 인식된 출처 방향 및/또는 인식된 출처 위치를 결정하는데 사용하기 위해 사용자로부터의 하나 이상의 입력 응답들을 모니터링할 수 있다.
콘솔(510)은 헤드셋(505) 및 I/O 인터페이스(515) 중 하나 이상으로부터 수신된 정보에 따라 프로세싱하기 위한 콘텐츠를 헤드셋(505)에 제공한다. 도 5에 도시된 예에서, 콘솔(510)은 애플리케이션 저장소(550), 추적 모듈(555), 및 엔진(545)을 포함한다. 콘솔(510)의 일부 실시예들은 도 5와 함께 설명된 것들과 상이한 모듈들 또는 컴포넌트들을 갖는다. 유사하게, 아래에서 추가로 설명되는 기능은 도 5와 함께 설명된 것과 상이한 방식으로 콘솔(510)의 컴포넌트들 사이에 분배될 수 있다.
애플리케이션 저장소(550)는 콘솔(510)에 의한 실행을 위한 하나 이상의 애플리케이션들을 저장한다. 애플리케이션은 프로세서에 의해 실행될 때 사용자에게 제시하기 위한 콘텐츠를 생성하는 명령들의 그룹이다. 애플리케이션에 의해 생성된 콘텐츠는 헤드셋(505) 또는 I/O 인터페이스(515)의 움직임을 통해 사용자로부터 수신된 입력들에 응답할 수 있다. 애플리케이션들의 예들은: 게이밍 애플리케이션들, 회의 애플리케이션들, 비디오 재생 애플리케이션들, 또는 다른 적합한 애플리케이션들을 포함한다.
추적 모듈(555)은 하나 이상의 교정 파라미터들을 사용하여 시스템 환경(500)을 교정하고 헤드셋(505) 또는 I/O 인터페이스(515)의 포지션 결정 시 오류를 감소시키기 위해 하나 이상의 교정 파라미터들을 조정할 수 있다. 추적 모듈(555)에 의해 수행되는 보정은 또한 헤드셋(505)의 IMU(540) 및/또는 I/O 인터페이스(515)에 포함된 IMU(540)로부터 수신된 정보를 처리한다. 또한, 헤드셋(505)의 추적이 손실되면, 추적 모듈(555)은 시스템 환경(500)의 일부 또는 모두를 재교정할 수 있다.
추적 모듈(555)은 하나 이상의 포지션 센서들(535), IMU(540), DCA(520), 또는 이들의 일부 조합으로부터의 정보를 사용하여 헤드셋(505) 또는 I/O 인터페이스(515)의 움직임들을 추적한다. 예를 들어, 추적 모듈(555)은 헤드셋(505)으로부터의 정보에 기반하여 로컬 영역의 매핑 시 헤드셋(505)의 기준점의 포지션을 결정한다. 추적 모듈(555)은 또한 각각 IMU(540)로부터의 헤드셋(505)의 나타내는 데이터를 사용하거나 I/O 인터페이스(515)에 포함된 IMU(540)로부터의 I/O 인터페이스(515)의 포지션의 위치를 나타내는 데이터를 사용하여 헤드셋(505)의 기준점 또는 I/O 인터페이스(515)의 기준점의 포지션들을 결정할 수 있다. 또한, 일부 실시예들에서, 추적 모듈(555)은 헤드셋(505)의 미래 포지션을 예측하기 위해 IMU(540)로부터의 포지션 또는 헤드셋(505)을 나타내는 데이터의 부분들을 사용할 수 있다. 추적 모듈(555)은 헤드셋(505) 또는 I/O 인터페이스(515)의 추정 또는 예측된 미래 포지션을 엔진(545)에 제공한다. 일부 실시예들에서, 추적 모듈(555)은 음장 재생 필터들을 생성하는 데 사용하기 위해 추적 정보를 오디오 시스템(300)에 제공할 수 있다.
엔진(545)은 또한 시스템 환경(500) 내에서 애플리케이션들을 실행하고 추적 모듈(555)로부터 헤드셋(505)의 포지션 정보, 가속도 정보, 속도 정보, 예측된 미래 포지션들, 또는 이들의 일부 조합을 수신한다. 수신된 정보에 기반하여, 엔진(545)은 사용자에게 제시하기 위해 헤드셋(505)에 제공할 콘텐츠를 결정한다. 예를 들어, 수신된 정보가, 사용자가 좌측을 보았다는 것을 나타내면, 엔진(545)은 가상 환경 또는 추가 콘텐츠로 로컬 영역을 증강하는 환경에서 사용자의 움직임을 미러링하는 헤드셋(505)용 콘텐츠를 생성한다. 또한, 엔진(545)은 I/O 인터페이스(515)로부터 수신된 조치 요청에 대한 응답으로 콘솔(510) 상에서 실행되는 애플리케이션 내의 조치를 수행하고 조치가 수행되었다는 피드백을 사용자에게 제공한다. 제공된 피드백은 헤드셋(505)을 통한 시청가능하거나 가청가능한 피드백 또는 I/O 인터페이스(515)를 통한 햅틱 피드백일 수 있다.
추가 구성 정보
본 개시내용의 실시예들의 전술한 설명은 예시의 목적으로 제시되었고; 포괄적이거나 본 개시내용을 개시된 정확한 형태로 제한하도록 의도되지 않는다. 통상의 기술자들은 많은 수정들 및 변형들이 위의 개시내용을 고려하여 가능하다는 것을 인식할 수 있다.
본 설명의 일부 부분들은 정보에 대한 동작들의 심볼 표현들 및 알고리즘들의 측면에서 본 개시내용의 실시예들을 설명한다. 이러한 알고리즘 설명들 및 표현들은 일반적으로 데이터 프로세싱 기술들의 통상의 기술자들이 다른 통상의 기술자들에게 이 작업의 본질을 효과적으로 전달하는 데 사용된다. 이러한 동작들은 기능적으로, 계산적으로 또는 논리적으로 설명되지만 컴퓨터 프로그램들 또는 등가의 전기 회로들, 마이크로코드 등에 의해 구현되는 것으로 이해된다. 또한, 일반성을 손실하지 않고 이러한 동작들의 배열들을 모듈들로 지칭하는 것이 때때로 편리한 것으로 입증되었다. 설명된 동작들 및 이의 연관된 모듈들은 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합들로 구현될 수 있다.
본원에 설명된 단계들, 동작들, 또는 프로세스들 중 임의의 것이 단독으로 또는 다른 디바이스들과 결합하여, 하나 이상의 하드웨어 또는 소프트웨어 모듈들로 수행 또는 구현될 수 있다. 일 실시예들에서, 소프트웨어 모듈은 설명된 임의의 또는 모든 단계들, 동작들, 또는 프로세스들을 수행하기 위해 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터-판독가능 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.
본 개시내용의 실시예들은 또한 본원의 동작들을 수행하기 위한 장치에 관한 것일 수 있다. 이 장치는 특히 요구된 목적들을 위해 구성될 수 있고/있거나, 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화 또는 재구성되는 범용 컴퓨팅 디바이스를 포함할 수 있다. 그러한 컴퓨터 프로그램은 비-일시적, 유형의 컴퓨터 판독가능 저장 매체, 또는 컴퓨터 시스템 버스에 커플링될 수 있는 전자 명령들을 저장하기에 적합한 임의의 유형의 매체들에 저장될 수 있다. 또한, 본 명세서에 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나 증가된 컴퓨팅 성능을 위해 다수의 프로세서 설계들을 이용하는 아키텍처들일 수 있다.
본 개시내용의 실시예들은 또한 본원에 설명된 컴퓨팅 프로세스에 의해 생성되는 제품과 관련될 수 있다. 이러한 제품은 컴퓨팅 프로세스로부터 발생하는 정보를 포함할 수 있고, 여기서 정보는 비-일시적 유형의 컴퓨터 판독가능 저장 매체에 저장되고 컴퓨터 프로그램 제품 또는 본원에 설명된 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
마지막으로, 본 명세서에 사용된 언어는 주로 가독성 및 교육 목적들로 선택되었고, 본 발명의 주제를 설명하거나 제한하기 위해 선택되지 않았을 수 있다. 그러므로, 본 개시내용의 범위가 이 상세한 설명에 의해 제한되는 것이 아니라, 여기에 기반한 애플리케이션을 발행하는 임의의 청구항들에 의해 제한되는 것이 의도된다. 따라서, 실시예들의 개시내용은 이하의 청구항들에 설명된 본 개시내용의 범위를 제한하는 것이 아니라 예시적인 것으로 의도된다.

Claims (35)

  1. 방법으로서,
    웨어러블 디바이스의 복수의 음향 센서들에서, 공간적 위치에 위치된 비-목표 오디오 소스로부터 음파들의 세트를 수신하는 단계로서, 상기 음파들은 상기 웨어러블 디바이스에 의해 사용자에게 제시되는 목표 오디오 경험에 영향을 미치고, 상기 오디오 경험은 상기 사용자가 상기 사용자의 청각 필드(auditory field)의 상기 공간적 위치에 있는 상기 비-목표 오디오 소스의 상기 음파들을 인식함으로써 영향을 받는, 상기 음파들의 세트를 수신하는 단계;
    수신된 음파들의 세트에 기반하여 상기 비-목표 오디오 소스의 상기 공간적 위치를 결정하는 단계;
    결정된 공간적 위치 및 상기 수신된 음파들의 세트에 기반하여 감소 오디오 명령들의 세트를 생성하는 단계로서, 상기 감소 오디오 명령들은 상기 웨어러블 디바이스에 의해 상기 사용자에게 제시될 때 상기 사용자의 상기 청각 필드 내의 상기 비-목표 오디오 소스를 보상함으로써 상기 오디오 경험에 대한 영향을 감소시키는, 상기 감소 오디오 명령들의 세트를 생성하는 단계;
    상기 감소 오디오 명령들의 세트를 사용하여 수정된 오디오 경험을 제시하는 단계로서, 상기 수정된 오디오 경험은, 상기 웨어러블 디바이스에 의해 상기 사용자에게 제시될 때, 상기 사용자의 상기 청각 필드 내의 상기 공간적 위치에 있는 상기 비-목표 오디오 소스의 인식을 감소시키는, 상기 수정된 오디오 경험을 제시하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서, 상기 웨어러블 디바이스에 의해 상기 사용자에게 오디오 경험을 제시하는 것은:
    복수의 오디오 콘텐츠 요소들을 나타내는 복수의 오디오 명령들을 수신하는 단계; 및
    상기 웨어러블 디바이스의 오디오 어셈블리를 사용하여 상기 사용자에게 상기 오디오 콘텐츠 요소들 중 하나 이상을 제시하는 단계로서, 상기 오디오 어셈블리는 상기 사용자의 상기 청각 필드에 상기 오디오 콘텐츠 요소들을 제시하도록 구성되는, 상기 오디오 콘텐츠 요소들 중 하나 이상을 제시하는 단계를 포함하는, 방법.
  3. 제 2 항에 있어서, 상기 오디오 어셈블리는 상기 웨어러블 디바이스의 프레임 주위에 포지셔닝된 복수의 오디오 재생 디바이스들을 포함하고 상기 오디오 콘텐츠 요소들은 상기 복수의 오디오 재생 디바이스들로부터 제시되는, 방법.
  4. 제 1 항에 있어서, 상기 감소 오디오 명령들의 세트는:
    상기 웨어러블 디바이스에 의해 제시가능한 오디오 명령들을 포함하고, 상기 웨어러블 디바이스는, 상기 오디오 명령들을 제시할 때, 상기 사용자의 상기 청각 필드 내의 상기 공간적 위치에 있는 상기 비-목표 오디오 소스의 인식을 감소시키기 위해 능동 잡음 제거를 수행하는, 방법.
  5. 제 1 항에 있어서, 상기 공간적 위치 및 상기 수신된 음파들에 기반하여 상기 감소 오디오 명령들의 세트를 생성하는 단계는:
    상기 음파들의 파형을 결정하기 위해 상기 음파들을 분석하는 단계;
    상기 파형에 기반하여 반-파형(anti-waveform)을 결정하는 단계로서, 상기 반-파형은 상기 파형과 상쇄 간섭하는, 상기 반-파형을 결정하는 단계; 및
    상기 웨어러블 디바이스에 의해 제시될 때, 상기 사용자에게 상기 반-파형을 제시하는 감소 오디오 명령들을 생성하는 단계로서, 상기 반-파형은 상기 사용자가 상기 사용자의 상기 청각 필드 내의 상기 공간적 위치에 있는 상기 오디오 소스의 감소된 인식을 갖도록 상기 음파들과 상쇄 간섭하는, 상기 감소 오디오 명령들을 생성하는 단계를 더 포함하는, 방법.
  6. 제 1 항에 있어서, 상기 감소 오디오 명령들의 세트는:
    상기 웨어러블 디바이스에 의해 제시가능한 오디오 명령들을 포함하고, 상기 웨어러블 디바이스는, 상기 오디오 명령들을 제시할 때, 상기 사용자의 상기 청각 필드 내의 상기 공간적 위치에 있는 상기 비-목표 오디오 소스의 인식을 감소시키기 위해 중립 사운드 마스킹(neutral sound masking)을 수행하는, 방법.
  7. 제 1 항에 있어서, 상기 공간적 위치 및 상기 수신된 음파들에 기반하여 상기 감소 오디오 명령들의 세트를 생성하는 단계는:
    상기 음파들의 음향 특징의 세트를 결정하기 위해 상기 음파들을 분석하는 단계;
    상기 음파들의 상기 오디오 특징을 중립 사운드 마스킹하는 중립 음향 신호를 결정하는 단계;
    안경류의 오디오 어셈블리에 의해 실행될 때, 상기 사용자가 상기 사용자의 상기 청각 필드 내의 상기 공간적 위치에 있는 상기 오디오 소스의 감소된 인식을 갖도록 상기 음파들을 중립 사운드 마스킹하는 상기 중립 음향 신호를 제시하는 감소 오디오 명령들을 생성하는 단계를 더 포함하는, 방법.
  8. 제 7 항에 있어서, 상기 중립 음향 신호는 백색 잡음, 핑크 잡음(pink noise), 형상화된 백색 잡음 중 임의의 잡음인, 방법.
  9. 제 1 항에 있어서, 상기 감소 오디오 명령들의 세트는, 상기 웨어러블 디바이스에 의해 실행될 때, 상기 사용자의 상기 청각 필드 내의 상기 공간적 위치에 있는 상기 비-목표 오디오 소스의 인식을 감소시키기 위해 주변 사운드 마스킹을 수행하는 오디오 콘텐츠를 제시하는, 방법.
  10. 제 1 항에 있어서, 상기 공간적 위치 및 상기 수신된 음파들에 기반하여 상기 감소 오디오 명령들의 세트를 생성하는 단계는:
    상기 음파들의 오디오 특징의 세트를 결정하기 위해 상기 음파들을 분석하는 단계;
    상기 수신된 음파들의 세트 중 하나 이상의 상기 오디오 특징을 사운드 마스킹하는 주변 음향 신호를 결정하는 단계로서, 상기 주변 음향 신호는 상기 비-목표 오디오 소스로부터 수신된 상기 음파들의 오디오 특징을 포함하는, 상기 주변 음향 신호를 결정하는 단계; 및
    상기 웨어러블 디바이스에 의해 상기 사용자에게 제시될 때, 상기 사용자가 상기 사용자의 상기 청각 필드 내의 상기 공간적 위치에 있는 상기 오디오 소스의 감소된 인식을 갖도록 상기 음파들을 주변 사운드 마스킹하는 상기 주변 음향 신호를 제시하는 감소 오디오 명령들을 생성하는 단계를 더 포함하는, 방법.
  11. 제 10 항에 있어서,
    상기 사용자의 상기 청각 필드 내의 주변 배경을 나타내는 상기 음파들의 상기 오디오 특징의 세트를 결정하는 단계를 더 포함하고,
    상기 결정된 음향 신호는 상기 사용자의 상기 청각 필드 내의 상기 주변 배경을 나타내는 오디오 특징을 포함하는, 방법.
  12. 제 1 항에 있어서, 상기 공간적 위치 및 상기 수신된 음파들에 기반하여 상기 감소 오디오 명령들을 생성하는 단계는:
    상기 웨어러블 디바이스의 배향을 결정하는 단계;
    상기 웨어러블 디바이스의 상기 배향과 상기 비-목표 오디오 소스의 상기 공간적 위치 사이의 상대적 배향을 결정하는 단계;
    상기 결정된 상대적 배향에 기반하여 머리 관련 전달 함수를 결정하는 단계로서, 상기 머리 관련 전달 함수는 상기 공간적 위치에서 상기 비-목표 오디오 소스를 보상하기 위해 목표 오디오 경험을 수정하기 위한 것인, 상기 머리 관련 전달 함수를 결정하는 단계; 및
    액세스된 머리 관련 전달 함수를 사용하여 감소 오디오 명령들을 생성하는 단계를 더 포함하는, 방법.
  13. 제 12 항에 있어서,
    상기 웨어러블 디바이스의 배향 변화를 결정하는 것에 대한 응답으로,
    상기 웨어러블 디바이스의 상기 변화된 배향과 상기 비-목표 오디오 소스의 상기 공간적 위치 사이의 새로운 상대적 배향을 결정하는 단계;
    상기 결정된 새로운 상대적 배향에 기반하여 수정된 머리 관련 전달 함수를 결정하는 단계로서, 상기 수정된 머리 관련 전달 함수는 상기 새로운 상대적 배향에서 상기 비-목표 오디오 소스를 보상하기 위해 의도된 오디오 경험을 수정하기 위한 것인, 상기 수정된 머리 관련 전달 함수를 결정하는 단계; 및
    상기 수정된 머리 관련 전달 함수를 사용하여 감소 오디오 명령들을 생성하는 단계를 더 포함하는, 방법.
  14. 제 1 항에 있어서,
    상기 수신된 음파들이 상기 비-목표 오디오 소스로부터 발생하는 것을 결정하는 단계를 더 포함하는, 방법.
  15. 제 14 항에 있어서, 상기 수신된 음파들이 상기 비-목표 오디오 소스로부터 발생하는 것을 결정하는 단계는:
    상기 수신된 음파들의 오디오 특징의 세트를 결정하는 단계; 및
    상기 오디오 특징의 세트가 상기 비-목표 오디오 소스를 나타내는 것을 결정하는 단계를 더 포함하는, 방법.
  16. 제 14 항에 있어서, 상기 감소 오디오 명령들을 생성하는 단계는 상기 수신된 음파들이 상기 비-목표 오디오 소스로부터 발생하는 것을 결정하는 단계에 대해 응답하는, 방법.
  17. 제 1 항에 있어서,
    상기 사용자로부터, 감소 오디오 명령들을 생성하기 위한 입력을 수신하는 단계를 더 포함하는, 방법.
  18. 제 1 항에 있어서,
    상기 사용자에게 제시된 상기 목표 오디오 경험의 유형을 결정하는 단계를 더 포함하고;
    상기 감소 오디오 명령들을 생성하는 단계는 상기 의도된 오디오 경험의 상기 결정된 유형에 기반하는, 방법.
  19. 인코딩된 명령들을 저장하는 비-일시적 컴퓨터-판독가능 저장 매체로서,
    상기 인코딩된 명령들은, 프로세서에 의해 실행될 때, 프로세서로 하여금:
    사용자에 의해 착용된 웨어러블 디바이스의 복수의 음향 센서들에서, 공간적 위치에 위치된 비-목표 오디오 소스로부터 음파들의 세트를 수신하는 단계로서, 상기 음파들은 상기 웨어러블 디바이스에 의해 상기 사용자에게 제시되는 목표 오디오 경험에 영향을 미치고, 상기 오디오 경험은 상기 사용자가 상기 음파들을 상기 사용자의 청각 필드 내의 상기 공간적 위치에 있는 상기 비-목표 오디오 소스로서 인식함으로써 영향을 받는, 상기 음파들의 세트를 수신하는 단계;
    상기 수신된 음파들의 세트에 기반하여 상기 비-목표 오디오 소스의 상기 공간적 위치를 결정하는 단계;
    상기 결정된 공간적 위치 및 상기 수신된 음파들의 세트에 기반하여 감소 오디오 명령들의 세트를 생성하는 단계로서, 상기 감소 오디오 명령들은 상기 웨어러블 디바이스에 의해 상기 사용자에게 제시될 때 상기 사용자의 상기 청각 필드 내의 상기 비-목표 오디오 소스를 보상함으로써 상기 오디오 경험에 대한 영향을 감소시키는, 상기 감소 오디오 명령들의 세트를 생성하는 단계;
    상기 감소 오디오 명령들의 세트를 사용하여 수정된 오디오 경험을 제시하는 단계로서, 상기 수정된 오디오 경험은, 상기 웨어러블 디바이스에 의해 상기 사용자에게 제시될 때, 상기 사용자의 상기 청각 필드 내의 상기 공간적 위치에 있는 상기 비-목표 오디오 소스의 인식을 감소시키는, 상기 수정된 오디오 경험을 제시하는 단계를 달성하게 하는, 비-일시적 컴퓨터-판독가능 저장 매체.
  20. 웨어러블 디바이스로서,
    음파들을 수신하도록 구성된 복수의 음향 센서들;
    상기 웨어러블 디바이스의 사용자에게 오디오 경험을 생성하도록 구성된 오디오 어셈블리;
    제어기를 포함하고, 상기 제어기는:
    사용자에 의해 착용된 웨어러블 디바이스의 상기 복수의 음향 센서들에서, 공간적 위치에 있는 비-목표 오디오 소스로부터 음파들의 세트를 수신하는 것으로서, 상기 음파들은 상기 웨어러블 디바이스에 의해 상기 사용자를 위해 생성된 목표 오디오 경험에 영향을 미치고, 상기 오디오 경험은 상기 사용자가 상기 음파들을 상기 사용자의 청각 필드 내의 상기 비-목표 오디오 소스로서 인식함으로써 영향을 받는, 상기 음파들의 세트를 수신하고;
    상기 수신된 음파들의 세트에 기반하여 상기 비-목표 오디오 소스의 상기 공간적 위치를 결정하고;
    상기 결정된 공간적 위치 및 상기 수신된 음파들의 세트에 기반하여 보상 오디오 신호를 생성하는 것으로서, 상기 보상 오디오 신호는 상기 사용자의 상기 청각 필드 내의 상기 비-목표 오디오 소스를 보상함으로써 상기 오디오 경험에 대한 영향을 감소시키는, 상기 보상 오디오 신호를 생성하고;
    상기 오디오 어셈블리를 사용하여, 상기 보상 오디오 신호를 사용하여 수정된 오디오 경험을 제시하는 것으로서, 상기 수정된 오디오 경험은 상기 사용자의 상기 오디오 필드 내의 상기 비-목표 오디오 소스의 인식을 감소시키는, 상기 수정된 오디오 경험을 제시하도록 구성되는, 웨어러블 디바이스.
  21. 방법으로서,
    웨어러블 디바이스의 복수의 음향 센서들에서, 공간적 위치에 위치된 비-목표 오디오 소스로부터 음파들의 세트를 수신하는 단계로서, 상기 음파들은 상기 웨어러블 디바이스에 의해 사용자에게 제시되는 목표 오디오 경험에 영향을 미치고, 상기 오디오 경험은 상기 사용자가 상기 사용자의 청각 필드 내의 상기 공간적 위치에 있는 상기 비-목표 오디오 소스의 상기 음파들을 인식함으로써 영향을 받는, 상기 음파들의 세트를 수신하는 단계;
    상기 수신된 음파들의 세트에 기반하여 상기 비-목표 오디오 소스의 상기 공간적 위치를 결정하는 단계;
    상기 결정된 공간적 위치 및 상기 수신된 음파들의 세트에 기반하여 감소 오디오 명령들의 세트를 생성하는 단계로서, 상기 감소 오디오 명령들은 상기 웨어러블 디바이스에 의해 상기 사용자에게 제시될 때 상기 사용자의 상기 청각 필드 내의 상기 비-목표 오디오 소스를 보상함으로써 상기 오디오 경험에 대한 영향을 감소시키는, 상기 감소 오디오 명령들의 세트를 생성하는 단계;
    상기 감소 오디오 명령들의 세트를 사용하여 수정된 오디오 경험을 제시하는 단계로서, 상기 수정된 오디오 경험은, 상기 웨어러블 디바이스에 의해 상기 사용자에게 제시될 때, 상기 사용자의 상기 청각 필드 내의 상기 공간적 위치에 있는 상기 비-목표 오디오 소스의 인식을 감소시키는, 상기 수정된 오디오 경험을 제시하는 단계를 포함하는, 방법.
  22. 제 21 항에 있어서, 상기 웨어러블 디바이스에 의해 상기 사용자에게 오디오 경험을 제시하는 것은:
    복수의 오디오 콘텐츠 요소들을 나타내는 복수의 오디오 명령들을 수신하는 단계; 및
    상기 웨어러블 디바이스의 오디오 어셈블리를 사용하여 상기 사용자에게 상기 오디오 콘텐츠 요소들 중 하나 이상을 제시하는 단계로서, 상기 오디오 어셈블리는 상기 사용자의 상기 청각 필드에 상기 오디오 콘텐츠 요소들을 제시하도록 구성되는, 상기 오디오 콘텐츠 요소들 중 하나 이상을 제시하는 단계를 포함하고;
    선택적으로, 상기 오디오 어셈블리는 상기 웨어러블 디바이스의 프레임 주위에 포지셔닝된 복수의 오디오 재생 디바이스들을 포함하고 상기 오디오 콘텐츠 요소들은 상기 복수의 오디오 재생 디바이스들로부터 제시되는, 방법.
  23. 제 21 항 또는 제 22 항에 있어서, 상기 감소 오디오 명령들의 세트는:
    상기 웨어러블 디바이스에 의해 제시가능한 오디오 명령들을 포함하고, 상기 웨어러블 디바이스는, 상기 오디오 명령들을 제시할 때, 상기 사용자의 상기 청각 필드 내의 상기 공간적 위치에 있는 상기 비-목표 오디오 소스의 인식을 감소시키기 위해 능동 잡음 제거를 수행하는, 방법.
  24. 제 21 항 내지 제 23 항 중 어느 한 항에 있어서, 상기 공간적 위치 및 상기 수신된 음파들에 기반하여 상기 감소 오디오 명령들의 세트를 생성하는 단계는:
    상기 음파들의 파형을 결정하기 위해 상기 음파들을 분석하는 단계;
    상기 파형에 기반하여 반-파형을 결정하는 단계로서, 상기 반-파형은 상기 파형과 상쇄 간섭하는, 상기 반-파형을 결정하는 단계; 및
    상기 웨어러블 디바이스에 의해 제시될 때, 상기 사용자에게 상기 반-파형을 제시하는 감소 오디오 명령들을 생성하는 단계로서, 상기 반-파형은 상기 사용자가 상기 사용자의 상기 청각 필드 내의 상기 공간적 위치에 있는 상기 오디오 소스의 감소된 인식을 갖도록 상기 음파들과 상쇄 간섭하는, 상기 감소 오디오 명령들을 생성하는 단계를 더 포함하는, 방법.
  25. 제 21 항 내지 제 24 항 중 어느 한 항에 있어서, 상기 감소 오디오 명령들의 세트는:
    상기 웨어러블 디바이스에 의해 제시가능한 오디오 명령들을 포함하고, 상기 웨어러블 디바이스는, 상기 오디오 명령들을 제시할 때, 상기 사용자의 상기 청각 필드 내의 상기 공간적 위치에 있는 상기 비-목표 오디오 소스의 인식을 감소시키기 위해 중립 사운드 마스킹을 수행하는, 방법.
  26. 제 21 항 내지 제 25 항 중 어느 한 항에 있어서, 상기 공간적 위치 및 상기 수신된 음파들에 기반하여 상기 감소 오디오 명령들의 세트를 생성하는 단계는:
    상기 음파들의 음향 특징의 세트를 결정하기 위해 상기 음파들을 분석하는 단계;
    상기 음파들의 오디오 특징을 중립 사운드 마스킹하는 중립 음향 신호를 결정하는 단계;
    안경류의 오디오 어셈블리에 의해 실행될 때, 상기 사용자가 상기 사용자의 상기 청각 필드 내의 공간적 위치에 있는 상기 오디오 소스의 감소된 인식을 갖도록 상기 음파들을 중립 사운드 마스킹하는 상기 중립 음향 신호를 제시하는 감소 오디오 명령들을 생성하는 단계를 더 포함하고;
    선택적으로, 상기 중립 음향 신호는 백색 잡음, 핑크 잡음, 형상화된 백색 잡음 중 임의의 잡음인, 방법.
  27. 제 21 항 내지 제 26 항 중 어느 한 항에 있어서, 상기 감소 오디오 명령들의 세트는, 상기 웨어러블 디바이스에 의해 실행될 때, 상기 사용자의 상기 청각 필드 내의 상기 공간적 위치에 있는 상기 비-목표 오디오 소스의 인식을 감소시키기 위해 주변 사운드 마스킹을 수행하는 오디오 콘텐츠를 제시하는, 방법.
  28. 제 21 항 내지 제 27 항 중 어느 한 항에 있어서, 상기 공간적 위치 및 상기 수신된 음파들에 기반하여 상기 감소 오디오 명령들의 세트를 생성하는 단계는:
    상기 음파들의 오디오 특징의 세트를 결정하기 위해 상기 음파들을 분석하는 단계;
    상기 수신된 음파들의 세트 중 하나 이상의 오디오 특징을 사운드 마스킹하는 주변 음향 신호를 결정하는 단계로서, 상기 주변 음향 신호는 상기 비-목표 오디오 소스로부터 수신된 상기 음파들의 오디오 특징을 포함하는, 상기 주변 음향 신호를 결정하는 단계; 및
    상기 웨어러블 디바이스에 의해 상기 사용자에게 제시될 때, 상기 사용자가 상기 사용자의 상기 청각 필드 내의 상기 공간적 위치에 있는 상기 오디오 소스의 감소된 인식을 갖도록 상기 음파들을 주변 사운드 마스킹하는 주변 음향 신호를 제시하는 감소 오디오 명령들을 생성하는 단계를 더 포함하고;
    선택적으로:
    상기 사용자의 상기 청각 필드의 주변 배경을 나타내는 상기 음파들의 상기 오디오 특징의 세트를 결정하는 단계를 더 포함하고,
    상기 결정된 음향 신호는 상기 사용자의 상기 청각 필드의 상기 주변 배경을 나타내는 오디오 특징을 포함하는, 방법.
  29. 제 21 항 내지 제 28 항 중 어느 한 항에 있어서, 상기 공간적 위치 및 상기 수신된 음파들에 기반하여 상기 감소 오디오 명령들의 세트를 생성하는 단계는:
    상기 웨어러블 디바이스의 배향을 결정하는 단계;
    상기 웨어러블 디바이스의 상기 배향과 상기 비-목표 오디오 소스의 상기 공간적 위치 사이의 상대적 배향을 결정하는 단계;
    상기 결정된 상대적 배향에 기반하여 머리 관련 전달 함수를 결정하는 단계로서, 상기 머리 관련 전달 함수는 상기 공간적 위치에서 상기 비-목표 오디오 소스를 보상하기 위해 목표 오디오 경험을 수정하기 위한 것인, 상기 머리 관련 전달 함수를 결정하는 단계; 및
    액세스된 머리 관련 전달 함수를 사용하여 감소 오디오 명령들을 생성하는 단계를 더 포함하고;
    선택적으로:
    상기 웨어러블 디바이스의 배향 변화를 결정하는 것에 대한 응답으로,
    상기 웨어러블 디바이스의 상기 변화된 배향과 상기 비-목표 오디오 소스의 상기 공간적 위치 사이의 새로운 상대적 배향을 결정하는 단계;
    상기 결정된 새로운 상대적 배향에 기반하여 수정된 머리 관련 전달 함수를 결정하는 단계로서, 상기 수정된 머리 관련 전달 함수는 상기 새로운 상대적 배향에서 상기 비-목표 오디오 소스를 보상하기 위해 의도된 오디오 경험을 수정하기 위한 것인, 상기 수정된 머리 관련 전달 함수를 결정하는 단계; 및
    상기 수정된 머리 관련 전달 함수를 사용하여 감소 오디오 명령들을 생성하는 단계를 더 포함하는, 방법.
  30. 제 21 항 내지 제 29 항 중 어느 한 항에 있어서,
    상기 수신된 음파들이 상기 비-목표 오디오 소스로부터 발생하는 것을 결정하는 단계를 더 포함하는, 방법.
  31. 제 30 항에 있어서, 상기 수신된 음파들이 상기 비-목표 오디오 소스로부터 발생하는 것을 결정하는 단계는:
    상기 수신된 음파들의 오디오 특징의 세트를 결정하는 단계; 및
    상기 오디오 특징의 세트가 상기 비-목표 오디오 소스를 나타내는 것을 결정하는 단계를 더 포함하고; 및/또는
    상기 감소 오디오 명령들을 생성하는 단계는 상기 수신된 음파들이 상기 비-목표 오디오 소스로부터 발생하는 것을 결정하는 것에 대해 응답하는, 방법.
  32. 제 21 항 내지 제 31 항 중 어느 한 항에 있어서,
    상기 사용자로부터, 감소 오디오 명령들을 생성하기 위한 입력을 수신하는 단계를 더 포함하는, 방법.
  33. 제 21 항 내지 제 32 항 중 어느 한 항에 있어서,
    상기 사용자에게 제시된 상기 목표 오디오 경험의 유형을 결정하는 단계를 더 포함하고;
    상기 감소 오디오 명령들을 생성하는 단계는 상기 의도된 오디오 경험의 상기 결정된 유형에 기반하는, 방법.
  34. 인코딩된 명령들을 저장하는 비-일시적 컴퓨터-판독가능 저장 매체로서,
    상기 인코딩된 명령들은, 프로세서에 의해 실행될 때, 프로세서로 하여금 제 21 항 내지 제 33 항 중 어느 한 항에 따른 방법의 단계들 또는:
    사용자에 의해 착용된 웨어러블 디바이스의 복수의 음향 센서들에서, 공간적 위치에 위치된 비-목표 오디오 소스로부터 음파들의 세트를 수신하는 단계로서, 상기 음파들은 상기 웨어러블 디바이스에 의해 상기 사용자에게 제시되는 목표 오디오 경험에 영향을 미치고, 상기 오디오 경험은 상기 사용자가 상기 음파들을 상기 사용자의 상기 청각 필드 내의 상기 공간적 위치에 있는 상기 비-목표 오디오 소스로서 인식함으로써 영향을 받는, 상기 음파들의 세트를 수신하는 단계;
    상기 수신된 음파들의 세트에 기반하여 상기 비-목표 오디오 소스의 상기 공간적 위치를 결정하는 단계;
    상기 결정된 공간적 위치 및 상기 수신된 음파들의 세트에 기반하여 감소 오디오 명령들의 세트를 생성하는 단계로서, 상기 감소 오디오 명령들은 상기 웨어러블 디바이스에 의해 상기 사용자에게 제시될 때 상기 사용자의 상기 청각 필드 내의 상기 비-목표 오디오 소스를 보상함으로써 상기 오디오 경험에 대한 영향을 감소시키는, 상기 감소 오디오 명령들의 세트를 생성하는 단계;
    상기 감소 오디오 명령들의 세트를 사용하여 수정된 오디오 경험을 제시하는 단계로서, 상기 수정된 오디오 경험은, 상기 웨어러블 디바이스에 의해 상기 사용자에게 제시될 때, 상기 사용자의 상기 청각 필드 내의 상기 공간적 위치에 있는 상기 비-목표 오디오 소스의 인식을 감소시키는, 상기 수정된 오디오 경험을 제시하는 단계를 달성하게 하는, 비-일시적 컴퓨터-판독가능 저장 매체.
  35. 웨어러블 디바이스로서,
    음파들을 수신하도록 구성된 복수의 음향 센서들;
    상기 웨어러블 디바이스의 사용자에게 오디오 경험을 생성하도록 구성된 오디오 어셈블리;
    제어기를 포함하고, 상기 제어기는,
    제 21 항 내지 제 33 항 중 어느 한 항에 따른 방법을 수행하거나:
    사용자에 의해 착용된 웨어러블 디바이스의 상기 복수의 음향 센서들에서, 공간적 위치에 있는 비-목표 오디오 소스로부터 음파들의 세트를 수신하는 것으로서, 상기 음파들은 상기 웨어러블 디바이스에 의해 상기 사용자를 위해 생성된 목표 오디오 경험에 영향을 미치고, 상기 오디오 경험은 상기 사용자가 상기 음파들을 상기 사용자의 청각 필드 내의 상기 비-목표 오디오 소스로서 인식함으로써 영향을 받는, 상기 음파들의 세트를 수신하고;
    상기 수신된 음파들의 세트에 기반하여 상기 비-목표 오디오 소스의 상기 공간적 위치를 결정하고;
    상기 결정된 공간적 위치 및 상기 수신된 음파들의 세트에 기반하여 보상 오디오 신호를 생성하는 것으로서, 상기 보상 오디오 신호는 상기 사용자의 상기 청각 필드 내의 상기 비-목표 오디오 소스를 보상함으로써 상기 오디오 경험에 대한 영향을 감소시키는, 상기 보상 오디오 신호를 생성하고;
    상기 오디오 어셈블리를 사용하여, 상기 보상 오디오 신호를 사용하여 수정된 오디오 경험을 제시하는 것으로서, 상기 수정된 오디오 경험은 상기 사용자의 상기 오디오 필드 내의 상기 비-목표 오디오 소스의 인식을 감소시키는, 상기 수정된 오디오 경험을 제시하도록 구성되는, 웨어러블 디바이스.
KR1020217024638A 2019-01-29 2019-02-12 오디오 시스템을 위한 수정된 오디오 경험을 생성 KR102622499B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/261,298 2019-01-29
US16/261,298 US10638248B1 (en) 2019-01-29 2019-01-29 Generating a modified audio experience for an audio system
PCT/US2019/017655 WO2020159557A1 (en) 2019-01-29 2019-02-12 Generating a modified audio experience for an audio system

Publications (2)

Publication Number Publication Date
KR20210110690A true KR20210110690A (ko) 2021-09-08
KR102622499B1 KR102622499B1 (ko) 2024-01-10

Family

ID=70332520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217024638A KR102622499B1 (ko) 2019-01-29 2019-02-12 오디오 시스템을 위한 수정된 오디오 경험을 생성

Country Status (6)

Country Link
US (1) US10638248B1 (ko)
EP (1) EP3888380A4 (ko)
JP (1) JP7317115B2 (ko)
KR (1) KR102622499B1 (ko)
CN (1) CN113366864A (ko)
WO (1) WO2020159557A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368231B1 (en) * 2018-12-21 2022-06-21 Facebook Technologies, Llc Local auditory display using ultrasonic encoding and decoding

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019414B2 (en) * 2012-10-17 2021-05-25 Wave Sciences, LLC Wearable directional microphone array system and audio processing method
US11361676B2 (en) * 2019-06-14 2022-06-14 International Business Machines Corporation, Armonk, Ny Augmented reality techniques for simultaneously learning multiple languages
US11169264B2 (en) * 2019-08-29 2021-11-09 Bose Corporation Personal sonar system
US11485231B2 (en) * 2019-12-27 2022-11-01 Harman International Industries, Incorporated Systems and methods for providing nature sounds
US11450190B2 (en) * 2020-04-20 2022-09-20 The Boeing Company Proximity detection to avoid nearby subjects
US11234095B1 (en) * 2020-05-21 2022-01-25 Facebook Technologies, Llc Adjusting acoustic parameters based on headset position
WO2022038931A1 (ja) * 2020-08-20 2022-02-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、プログラム、及び、音響再生装置
EP4002088A1 (en) * 2020-11-20 2022-05-25 Nokia Technologies Oy Controlling an audio source device
CN115250646A (zh) * 2021-02-26 2022-10-28 华为技术有限公司 一种辅助聆听方法及装置
CN113299304B (zh) * 2021-05-11 2023-09-12 泰凌微电子(上海)股份有限公司 抑制麦克风啸叫的方法、装置和麦克风
US11470439B1 (en) * 2021-06-02 2022-10-11 Meta Platforms Technologies, Llc Adjustment of acoustic map and presented sound in artificial reality systems
EP4378173A1 (en) * 2021-07-27 2024-06-05 Qualcomm Incorporated Processing of audio signals from multiple microphones
US20230093585A1 (en) * 2021-09-21 2023-03-23 Facebook Technologies, Llc Audio system for spatializing virtual sound sources
US20230349690A1 (en) * 2022-04-29 2023-11-02 Inuitive Ltd. Portable Device Comprising an Optical Depth Sensor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008193420A (ja) * 2007-02-05 2008-08-21 Sony Corp ヘッドフォン装置、音声再生システム、音声再生方法
JP2009542038A (ja) * 2006-03-22 2009-11-26 ディヴィッド・ウェイスマン 骨伝導音伝播のための方法及びシステム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011135283A2 (en) * 2010-04-26 2011-11-03 Cambridge Mechatronics Limited Loudspeakers with position tracking
US9037458B2 (en) * 2011-02-23 2015-05-19 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for spatially selective audio augmentation
US9251779B2 (en) * 2012-01-25 2016-02-02 Panasonic Intellectual Property Management Co., Ltd. Noise reduction apparatus
WO2013179464A1 (ja) * 2012-05-31 2013-12-05 トヨタ自動車株式会社 音源検出装置、ノイズモデル生成装置、ノイズ抑圧装置、音源方位推定装置、接近車両検出装置及びノイズ抑圧方法
US9613610B2 (en) * 2012-07-24 2017-04-04 Koninklijke Philips N.V. Directional sound masking
US10306389B2 (en) * 2013-03-13 2019-05-28 Kopin Corporation Head wearable acoustic system with noise canceling microphone geometry apparatuses and methods
US20140268016A1 (en) * 2013-03-13 2014-09-18 Kopin Corporation Eyewear spectacle with audio speaker in the temple
US9727129B2 (en) * 2013-06-28 2017-08-08 Harman International Industries, Incorporated System and method for audio augmented reality
EP3067781B1 (en) * 2013-11-05 2023-03-08 Sony Group Corporation Information processing device, method of processing information, and program
US20160093282A1 (en) * 2014-09-29 2016-03-31 Sina MOSHKSAR Method and apparatus for active noise cancellation within an enclosed space
CN105530569A (zh) * 2014-09-30 2016-04-27 杜比实验室特许公司 耳机混合主动噪声消除和噪声补偿
US10609475B2 (en) * 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US10575117B2 (en) * 2014-12-08 2020-02-25 Harman International Industries, Incorporated Directional sound modification
US10231056B2 (en) * 2014-12-27 2019-03-12 Intel Corporation Binaural recording for processing audio signals to enable alerts
US9666175B2 (en) * 2015-07-01 2017-05-30 zPillow, Inc. Noise cancelation system and techniques
WO2017010999A1 (en) * 2015-07-14 2017-01-19 Harman International Industries, Incorporated Techniques for generating multiple auditory scenes via highly directional loudspeakers
KR102606286B1 (ko) * 2016-01-07 2023-11-24 삼성전자주식회사 전자 장치 및 전자 장치를 이용한 소음 제어 방법
US10157604B1 (en) * 2018-01-02 2018-12-18 Plantronics, Inc. Sound masking system with improved high-frequency spatial uniformity

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009542038A (ja) * 2006-03-22 2009-11-26 ディヴィッド・ウェイスマン 骨伝導音伝播のための方法及びシステム
JP2008193420A (ja) * 2007-02-05 2008-08-21 Sony Corp ヘッドフォン装置、音声再生システム、音声再生方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368231B1 (en) * 2018-12-21 2022-06-21 Facebook Technologies, Llc Local auditory display using ultrasonic encoding and decoding
US11616580B1 (en) 2018-12-21 2023-03-28 Meta Platforms Technologies, Llc Local auditory display using ultrasonic encoding and decoding

Also Published As

Publication number Publication date
EP3888380A4 (en) 2022-04-20
EP3888380A1 (en) 2021-10-06
JP2022518883A (ja) 2022-03-17
KR102622499B1 (ko) 2024-01-10
JP7317115B2 (ja) 2023-07-28
CN113366864A (zh) 2021-09-07
US10638248B1 (en) 2020-04-28
WO2020159557A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
KR102622499B1 (ko) 오디오 시스템을 위한 수정된 오디오 경험을 생성
US11361744B2 (en) Acoustic transfer function personalization using sound scene analysis and beamforming
KR102546006B1 (ko) 환경적 트리거들에 기초한 적응형 ａｎｃ
US10873825B2 (en) Audio spatialization and reinforcement between multiple headsets
US10897668B1 (en) Customized sound field for increased privacy
CN114258687A (zh) 从传统视听媒体中确定空间化虚拟声学场景
US10638252B1 (en) Dynamic adjustment of signal enhancement filters for a microphone array
CN113228029A (zh) Ar中的自然语言翻译
US12008700B1 (en) Spatial audio and avatar control at headset using audio signals
EP4236360A2 (en) Audio system using individualized sound profiles
US11290837B1 (en) Audio system using persistent sound source selection for audio enhancement
CN117981347A (zh) 用于对虚拟声源进行空间化的音频系统
CN115917353A (zh) 音频源定位

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right