KR20220066911A - 오디오 콘텐트를 제공할 때 촉각 콘텐트의 레벨을 조정하는 방법 및 시스템 - Google Patents

오디오 콘텐트를 제공할 때 촉각 콘텐트의 레벨을 조정하는 방법 및 시스템 Download PDF

Info

Publication number
KR20220066911A
KR20220066911A KR1020227012441A KR20227012441A KR20220066911A KR 20220066911 A KR20220066911 A KR 20220066911A KR 1020227012441 A KR1020227012441 A KR 1020227012441A KR 20227012441 A KR20227012441 A KR 20227012441A KR 20220066911 A KR20220066911 A KR 20220066911A
Authority
KR
South Korea
Prior art keywords
user
content
tactile
transducer
threshold level
Prior art date
Application number
KR1020227012441A
Other languages
English (en)
Inventor
모테자 칼레히메보디
부이 쉬
피터 고틀리브
스캇 포터
안토니오 존 밀러
Original Assignee
페이스북 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북 테크놀로지스, 엘엘씨 filed Critical 페이스북 테크놀로지스, 엘엘씨
Publication of KR20220066911A publication Critical patent/KR20220066911A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G5/00—Tone control or bandwidth control in amplifiers
    • H03G5/16—Automatic control
    • H03G5/165—Equalizers; Volume or gain control in limited frequency bands
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/005—Combinations of two or more types of control, e.g. gain control and tone control of digital or coded signals
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/02—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers
    • H03G9/12—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers having semiconductor devices
    • H03G9/18—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers having semiconductor devices for tone control and volume expansion or compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1058—Manufacture or assembly
    • H04R1/1075—Mountings of transducers in earphones or headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H04R29/002—Loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/24—Structural combinations of separate transducers or of two parts of the same transducer and responsive respectively to two or more frequency ranges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2400/00—Loudspeakers
    • H04R2400/03—Transducers capable of generating both sound as well as tactile vibration, e.g. as used in cellular phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13—Hearing devices using bone conduction transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Optics & Photonics (AREA)
  • Manufacturing & Machinery (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 명세서에 제시되는 오디오 시스템은 변환기 어레이, 센서 어레이, 및 오디오 컨트롤러를 포함한다. 변환기 어레이는 오디오 콘텐트를 사용자에게 제공한다. 컨트롤러는 오디오 콘텐트를 사용자에게 제공하는 동안 변환기 어레이의 적어도 하나의 변환기의 작동을 통해 사용자에게 전달되는 촉각 콘텐트의 레벨을 조정하기 위해 변환기 어레이를 제어한다. 오디오 시스템은 헤드셋의 일부일 수 있다.

Description

오디오 콘텐트를 제공할 때 촉각 콘텐트의 레벨을 조정하는 방법 및 시스템
본 개시는 일반적으로 인공 현실 시스템에 관한 것이며, 보다 구체적으로는 인공 현실 시스템들에서 오디오 콘텐트를 제공할 때 촉각 콘텐트의 레벨을 조정하도록 구성된 오디오 시스템에 관한 것이다.
인공 현실 시스템들에서의 헤드 마운트 디스플레이들은 종종, 헤드 마운트 디스플레들의 사용자들에게 오디오 콘텐트를 제공하기 위해 스피커 또는 개인용 오디오 디바이스들과 같은 기능들을 포함한다. 일부 경우들에서, 기존의 헤드 마운트 디스플레이는 오디오 콘텐트를 사용자에게 제공하기 위해 골전도(bone conduction) 및/또는 연골 전도(cartilage conduction)를 사용할 수 있다. 그러나, 오디오 콘텐트를 듣는 것 외에 특정 주파수들 및 진폭들에서, 오디오 콘텐트는 촉각 자극으로 사용자에 의해 (예를 들어, 조직들(tissues)에 내장된 기계수용기(mechanoreceptor)를 통해) 인지될 수 있다.
본 개시의 실시예들은 콘텐트를 사용자, 예를 들어 헤드셋의 착용자에게 제공하기 위한 오디오 시스템, 방법, 및 컴퓨터 판독 가능한 매체를 지원한다. 오디오 시스템은 콘텐트를 사용자에게 제공하도록 구성된 변환기 어레이를 포함한다. 오디오 시스템은 오디오 콘텐트를 사용자에게 제공하는 동안 변환기 어레이의 적어도 하나의 변환기의 작동을 통해 사용자에게 전달되는 촉각 콘텐트의 레벨을 조정하기 위해 변환기 어레이를 제어하도록 구성된 컨트롤러를 더 포함한다. 오디오 시스템은 헤드셋의 일부로 통합될 수 있다.
본 발명은 예를 들어 청구항 1에 따른 오디오 시스템, 청구항 10에 따른 방법, 및 청구항 15에 따른 컴퓨터 프로그램 제품에 관한 것이다. 유익한 실시예들은 종속 청구항들의 특징들을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 오디오 시스템은 오디오 콘텐트를 사용자에게 제공하도록 구성된 변환기 어레이; 및 오디오 콘텐트를 사용자에게 제공하는 동안 변환기 어레이의 적어도 하나의 변환기의 작동을 통해 사용자에게 전달되는 촉각 콘텐트의 레벨을 조정하기 위해 변환기 어레이를 제어하도록 구성된 컨트롤러를 포함한다.
일부 실시예들에서, 컨트롤러는 또한:
임계값 레벨 미만으로 주파수 대역에 대한 적어도 하나의 변환기의 작동 파라미터를 조정하도록 구성되고, 여기서 임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동의 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응한다.
일부 실시예들에서, 적어도 하나의 변환기의 작동 파라미터는 사용자에게 주파수 대역 내의 촉각 콘텐트의 부분을 제공하기 위해 적어도 하나의 변환기에 인가되는 전압이다.
일부 실시예들에서, 컨트롤러는 또한, 지각 모델(perception model)을 사용하여 촉각 콘텐트의 레벨을 조정하도록 구성된다.
일부 실시예들에서, 지각 모델은 사용자에 대해 고유하다.
일부 실시예들에서, 컨트롤러는 또한:
변환기 어레이를 교정함으로써 지각 모델을 생성하고;
지각 모델을 사용하여 촉각 콘텐트의 레벨을 조정하도록 구성된다.
일부 실시예들에서, 오디오 시스템은 변환기 어레이에 의해 생성된 사운드들을 검출하도록 구성된 센서 어레이를 더 포함하고; 컨트롤러는 또한, 주파수 대역 내에서 검출된 사운드들의 부분에 기초하여 주파수 대역에 대한 적어도 하나의 변환기의 작동 파라미터에 대한 임계값 레벨을 유도하고, 주파수 대역 내의 촉각 콘텐트의 부분을 제공하기 위해 적어도 하나의 변환기를 작동할 때 임계값 레벨 미만으로 작동 파라미터를 조정하도록 구성되며, 임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응한다.
일부 실시예들에서, 오디오 시스템은 변환기 어레이에 의해 생성된 사운드들을 검출하도록 구성된 센서 어레이를 더 포함하고; 컨트롤러는 또한, 임계 주파수 미만의 주파수 대역에서 검출된 사운드들의 부분에 기초하여 사용자에 대한 적어도 하나의 변환기의 감도 레벨을 추정하고, 추정된 감도 레벨에 기초하여 주파수 대역에 대한 적어도 하나의 변환기의 작동 파라미터에 대한 임계값 레벨을 유도하고, 임계값 레벨 미만으로 작동 파라미터를 조정하도록 구성되며, 임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응한다.
일부 실시예들에서, 오디오 시스템은 사용자의 조직(tissue) 내에서 촉각 감각(tactility sensation)을 검출하도록 구성된 센서 어레이를 더 포함하고; 컨트롤러는 또한, 검출된 촉각 감각의 부분에 기초하여 주파수 대역에 대한 적어도 하나의 변환기의 작동 파라미터에 대한 임계값 레벨을 유도하고, 임계값 레벨 미만으로 작동 파라미터를 조정하도록 구성되며, 임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응한다.
일부 실시예들에서, 오디오 시스템은 사용자에게 오디오 신호를 제공할 때 적어도 하나의 변환기에 의해 생성된 음압(sound pressure) 및 가속도 중 적어도 하나를 모니터링하도록 구성된 센서 어레이를 더 포함하며; 컨트롤러는 또한, 적어도 하나의 주파수에 대한 오디오 콘텐트의 적어도 하나의 진폭이 임계값 레벨 미만이 되도록 음압 및 가속도 중 적어도 하나에 기초하여 사용자에게 제공되는 오디오 콘텐트를 제어하도록 구성되며, 임계값 레벨 미만의 적어도 하나의 진폭의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 오디오 콘텐트에 대응하고 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 오디오 콘텐트에 대응한다.
일부 실시예들에서, 변환기 어레이는 하나 이상의 연골 전도 변환기들을 포함한다.
일부 실시예들에서, 변환기 어레이는 하나 이상의 공기 전도 변환기들, 하나 이상의 골전도 변환기들, 및 하나 이상의 연골 전도 변환기들 중 적어도 하나를 포함한다.
일부 실시예들에서, 오디오 시스템은 헤드셋의 일부이다. 일부 실시예들에서, 헤드셋은 본 명세서에 설명된 바와 같은 오디오 시스템을 포함한다.
본 발명의 일 실시예에 따른 방법은:
오디오 콘텐트를 사용자에게 제공하는 동안 변환기의 작동을 통해 사용자에게 전달되는 촉각 콘텐트의 레벨을 조정하는 단계; 및
오디오 콘텐트를 사용자에게 제공하도록 변환기에 지시하는 단계를 포함하고, 오디오 콘텐트는 촉각 콘텐트의 조정된 레벨을 포함한다.
일부 실시예들에서, 방법은 임계값 레벨 미만이 되도록 주파수 대역에 대한 변환기의 작동 파라미터를 조정하는 단계를 더 포함하며, 여기서 임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동의 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응한다.
일부 실시예들에서, 방법은 지각 모델을 사용하여 촉각 콘텐트의 레벨을 조정하는 단계를 더 포함한다.
일부 실시예들에서, 방법은 변환기에 의해 생성된 사운드들을 검출하는 단계; 주파수 대역 내에서 검출된 사운드들의 부분에 기초하여 주파수 대역에 대한 변환기의 작동 파라미터에 대한 임계값 레벨을 유도하는 단계; 및 주파수 대역 내의 촉각 콘텐트의 부분을 제공하기 위해 변환기를 작동할 때 임계값 레벨 미만이 되도록 작동 파라미터를 조정하는 단계를 더 포함하며, 임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응한다.
일부 실시예들에서, 방법은 변환기에 의해 생성된 사운드들을 검출하는 단계; 임계 주파수 미만의 주파수 대역에서 검출된 사운드들의 부분에 기초하여 사용자에 대한 변환기의 감도 레벨을 추정하는 단계; 추정된 감도 레벨에 기초하여 주파수 대역에 대한 변환기의 작동 파라미터에 대한 임계값 레벨을 유도하는 단계; 및 임계값 레벨 미만이 되도록 작동 파라미터를 조정하는 단계를 더 포함하며, 임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응한다.
일부 실시예들에서, 방법은 사용자에게 오디오 신호를 제공할 때 변환기에 의해 생성된 음압 및 가속도 중 적어도 하나를 모니터링하는 단계; 및 적어도 하나의 주파수에 대한 오디오 콘텐트의 적어도 하나의 진폭 레벨이 임계값 레벨 미만이 되도록 음압 및 가속도 중 적어도 하나에 기초하여 사용자에게 제공되는 오디오 콘텐트를 제어하는 단계를 더 포함하며, 임계값 레벨 미만의 적어도 하나의 진폭의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 오디오 콘텐트에 대응하고 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 오디오 콘텐트에 대응한다.
본 발명의 실시예에 따른 컴퓨터 프로그램 제품은 인코딩된 지시들을 갖는 비일시적 컴퓨터 판독 가능한 저장 매체를 포함하고, 상기 지시들은 하나 이상의 프로세서들에 의해 실행될 때 상기 하나 이상의 프로세서들로 하여금:
오디오 콘텐트를 사용자에게 제공하는 동안 변환기의 작동을 통해 사용자에게 전달되는 촉각 콘텐트의 레벨을 조정하게 하고;
오디오 콘텐트를 사용자에게 제공하도록 변환기에 지시하게 하며, 상기 오디오 콘텐트는 촉각 콘텐트의 조정된 레벨을 포함한다.
도 1a는 하나 이상의 실시예들에 따라, 아이웨어 디바이스로서 구현된 헤드셋의 사시도이다.
도 1b는 하나 이상의 실시예들에 따라 헤드 마운트 디스플레이로서 구현된 헤드셋의 사시도이다.
도 2a는 하나 이상의 실시예들에 따른 오디오 시스템의 블록도이다.
도 2b는 하나 이상의 실시예들에 따라 주파수의 함수로서 도 2a의 오디오 시스템에서 변환기의 작동에 대한 촉각 임계값 레벨을 예시하는 예시적인 그래프이다.
도 3은 하나 이상의 실시예들에 따라 오디오 콘텐트를 제공하는 동안 촉각 콘텐트의 레벨을 조정하기 위한 프로세스를 예시하는 흐름도이다.
도 4는 하나 이상의 실시예들에 따라 사용자에게 제공되는 촉각 콘텐트를 제어하기 위한 프로세스를 예시하는 흐름도이다.
도 5는 하나 이상의 실시예들에 따른 헤드셋을 포함하는 시스템이다.
도면들은 단지 예시의 목적들로 다양한 실시예들을 도시한다. 당업자는 다음의 논의로부터 본 명세서에서 예시된 구조들 및 방법들의 대안적인 실시예들이 본 명세서에서 기술된 원리들로부터 벗어나지 않고 채용될 수 있음을 쉽게 인식할 것이다.
외이(outer ear)에 근접하여 배치된 변환기는 (예를 들어, 특정 조직을 자극함으로써) 사운드들로 사람이 인지할 수 있는 외이도(ear-canal) 내부의 음향 압력파를 생성할 수 있다. 자극 레벨들이 증가할 때 특정 주파수들에서 사람은(예를 들어, 조직들에 내장된 기계수용기를 통해) 촉각 감각(즉, 접촉의 감각)을 감지하기 시작할 수 있다. 본 개시의 실시예들은 오디오 시스템의 사용자에게 제공되는 촉각 콘텐트의 레벨을 제어 및 조정하는 오디오 시스템에 관한 것이다.
제공되는 콘텐트의 양식(즉, 오디오 전용, 촉각 전용 또는 오디오/촉각의 조합)을 제어하기 위한 오디오 시스템이 여기에 포함된다. 오디오 시스템은 변환기 어레이, 센서 어레이, 및 오디오 컨트롤러를 포함한다. 변환기 어레이는 예를 들어 연골 전도, 골전도, 공기 전도, 또는 이들의 일부 조합을 통해 콘텐트를 사용자에게 제공한다. 센서 어레이는 변환기 어레이에 의해 생성된 사운드들을 검출한다. 센서 어레이는 적어도 하나의 음향 센서 및/또는 적어도 하나의 진동 센서(즉, 가속도계)를 포함할 수 있다. 오디오 컨트롤러는 검출된 사운드들에 기초해 변환기 어레이를 제어하여, 콘텐트를 제공하는 동안 변환기 어레이의 하나 이상의 변환기들의 작동을 통해 사용자에게 전달될 수 있는 촉각 피드백의 레벨을 조정할 수 있다. 일부 실시예들에서, 오디오 컨트롤러는 사용자가 임의의 촉각 콘텐트를 인지하지 않도록 촉각 피드백의 레벨을 조정한다. 오디오 컨트롤러는 예를 들어, 사용자에 고유할 수 있고 교정 프로세스를 통해 획득할 수 있는 지각 모델을 사용하여 촉각 피드백의 레벨을 조정할 수 있다. 일부 실시예들에서, 오디오 컨트롤러는 변환기 어레이에서 하나 이상의 변환기들의 작동을 통해 사용자에게 전달되는 촉각 콘텐트를 제어하기 위해 변환기 어레이를 제어한다. 하나 이상의 실시예들에서, 변환기 어레이의 적어도 하나의 변환기는 촉각 감각(예를 들어, 접촉)으로 느껴지기에 충분히 강한 조직 진동(tissue vibrations)(예를 들어, 피부 진동)을 유도하도록 구성된다. 사용자에 의해 인지되도록 의도적으로 제어되는 촉각 콘텐트는, 예를 들어, 사용자에게 내비게이션 지시들을 제공하고, 음성 명료도를 증가시키고, 근거리 효과를 제공하고, 이들의 일부 조합을 제공하는 등을 위해 활용될 수 있다.
여기에 제시된 오디오 시스템은 헤드셋의 일부일 수 있다. 헤드셋은 예를 들어 근안 디스플레이(NED), 헤드 마운트 디스플레이(HMD), 또는 일부 다른 유형의 헤드셋일 수 있다. 헤드셋은 인공 현실 시스템의 일부일 수 있다. 헤드셋은 디스플레이 및 광학 어셈블리를 더 포함한다. 헤드셋의 디스플레이는 이미지 광을 방출하도록 구성된다. 헤드셋의 광학 어셈블리는 사용자의 눈의 위치에 대응하는 헤드셋의 아이 박스로 이미지 광을 지향시키도록 구성된다. 일부 실시예들에서, 이미지 광은 헤드셋 주위의 로컬 영역에 대한 깊이 정보를 포함할 수 있다. 대안적으로 또는 추가적으로, 여기에 제시된 오디오 시스템은 연골 전도 액추에이터(들) 및/또는 골전도 액추에이터(들)를 갖는 스마트 헤드폰들의 세트와 함께 작동할 수 있다.
여기에 제시된 오디오 시스템은 오디오 시스템의 사용자에게 제공되는 촉각 콘텐트의 레벨을 제어 및 조정한다. 촉각 콘텐트는 종종 성가신 것으로 간주될 수 있다. 여기에 제시된 오디오 시스템은 촉각 콘텐트를 사용자에게 유용한 정보로 바꾸도록 구성된다. 본 명세서에 제시된 오디오 시스템은 또한 촉각 콘텐트가 사용자에 의해 인지되지 않도록 하기 위해 촉각 콘텐트를 완화하도록 구성될 수 있다.
본 발명의 실시예들은 인공 현실 시스템을 포함하거나 이와 관련하여 구현될 수 있다. 인공 현실은 사용자에게 제공 전에 일부 방식으로 조정된 현실의 형태이고, 이는 예를 들어 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실 또는 이들의 일부 조합 및/또는 유도물을 포함할 수 있다. 인공 현실 콘텐트는 완전하게 생성된 콘텐트 또는 캡처된 (예를 들어, 실세계(real-world)) 콘텐트와 결합되는 생성된 콘텐트를 포함할 수 있다. 인공 현실 컨텐트는 비디오, 오디오, 햅틱 피드백 또는 이들의 일부 조합을 포함할 수 있으며, 이들 중 임의의 것은 단일 채널 또는 다중 채널(예를 들어, 시청자에게 3차원 효과를 생성하는 입체 비디오)로 제공될 수 있다. 추가적으로, 일부 실시예들에서, 인공 현실은 또한 인공 현실에서 컨텐츠를 생성하고/하거나 인공 현실에서 달리 사용되는 애플리케이션들, 제품들, 액세서리들, 서비스들 또는 이들의 일부 조합과 관련될 수 있다. 인공 현실 컨텐츠를 제공하는 인공 현실 시스템은 호스트 컴퓨터 시스템에 연결된 웨어러블 디바이스(예를 들어, 헤드셋), 독립형 웨어러블 디바이스(예를 들어, 헤드셋), 모바일 디바이스 또는 컴퓨팅 시스템, 또는 인공 현실 컨텐츠를 하나 이상의 뷰어들에게 제공할 수 있는 임의의 다른 하드웨어 플랫폼를 포함하여 다양한 플랫폼에서 구현될 수 있다.
도 1a는 하나 이상의 실시예들에 따라 아이웨어 디바이스로서 구현된 헤드셋(100)의 사시도이다. 일부 실시예들에서, 아이웨어 디바이스는 NED이다. 일반적으로, 헤드셋(100)은 디스플레이 어셈블리 및/또는 오디오 시스템을 사용하여 콘텐트(예를 들어, 미디어 콘텐트)가 제공되도록 사용자의 얼굴에 착용될 수 있다. 그러나, 헤드셋(100)은 또한, 미디어 콘텐트가 다른 방식으로 사용자에게 제공되도록 사용될 수도 있다. 헤드셋(100)에 의해 제시되는 미디어 콘텐트의 예들은 하나 이상의 이미지들, 비디오, 오디오, 또는 이들의 일부 조합을 포함한다. 헤드셋(100)은 프레임을 포함하고, 다른 구성요소들 중에서도, 하나 이상의 디스플레이 요소들(120), 깊이 카메라 어셈블리(DCA), 오디오 시스템, 및 포지션 센서(190)를 포함하는 디스플레이 어셈블리를 포함할 수 있다. 도 1a는 헤드셋(100) 상의 예시적인 위치들에서 헤드셋(100)의 구성요소들을 도시하지만, 구성요소들은 헤드셋(100), 헤드셋(100)과 페어링된 주변 디바이스, 또는 이들의 일부 조합의 다른 곳에도 위치할 수 있다. 유사하게, 헤드셋(100)에는 도 1a에 도시된 것보다 더 많거나 더 적은 구성요소들이 있을 수 있다.
프레임(110)은 헤드셋(100)의 다른 구성요소들을 유지한다. 프레임(110)은 사용자의 머리에 부착하기 위한 엔드 피스들(예를 들어, 안경 다리들) 및 하나 이상의 디스플레이 요소들(120)을 유지하는 전방부를 포함한다. 프레임(110)의 전방부는 사용자의 코의 맨 위 부분에 걸친다. 상기 엔드 피스들의 길이는 다양한 사용자들에 맞게 조정 가능(예를 들어, 조정 가능한 안경 다리의 길이)할 수 있다. 상기 엔드 피스들은 또한 사용자의 귀 뒤에서(예를 들어, 안경 다리 끝, 이어 피스(ear piece)) 감기는 부분을 포함할 수 있다.
하나 이상의 디스플레이 요소들(120)은 헤드셋(100)을 착용한 사용자에게 광을 제공한다. 도 1a에 도시된 바와 같이, 헤드셋(100)은 사용자의 각각의 눈을 위한 디스플레이 요소(120)를 포함한다. 일부 실시예들에서, 디스플레이 요소(120)는 헤드셋(100)의 아이박스에 제공되는 이미지 광을 생성한다. 아이박스는 헤드셋(100)을 착용한 사용자의 눈이 차지하는 공간에서의 위치이다. 예를 들어, 디스플레이 요소(120)는 도파관 디스플레이일 수 있다. 도파관 디스플레이는 광원(예를 들어, 2차원 소스, 하나 이상의 라인 소스들, 하나 이상의 포인트 소스들 등) 및 하나 이상의 도파관들을 포함하다. 광원으로부터의 광은 헤드셋(100)의 아이박스에서 동공 복제가 존재하도록 하는 방식으로 광을 출력하는 하나 이상의 도파관들로 인커플링된다. 하나 이상의 도파관들로부터의 광의 인커플링 및/또는 아웃커플링은 하나 이상의 회절 격자들을 사용하여 수행될 수 있다. 일부 실시예들에서, 도파관 디스플레이는 하나 이상의 도파관들에 인커플링될 때 광원으로부터의 광을 스캔하는 스캐닝 요소(예를 들어, 도파관, 거울 등)를 포함한다. 일부 실시예들에서, 디스플레이 요소들(120) 중 하나 또는 둘 모두는 불투명하고 헤드셋(100) 주변의 로컬 영역으로부터의 광을 투과하지 않는다는 점에 유의해야 한다. 로컬 영역은 헤드셋(100) 주위의 지역이다. 예를 들어, 로컬 영역은 헤드셋(100)을 착용한 사용자가 내부에 있는 방일 수 있고, 또는 헤드셋(100)을 착용한 사용자가 외부에 있고 로컬 영역이 외부 지역일 수 있다. 이러한 상황에서, 헤드셋(100)은 VR 콘텐트를 생성한다. 대안적으로, 일부 실시예들에서, 디스플레이 요소들(120) 중 하나 또는 둘 모두는 적어도 부분적으로 투명하여, 로컬 영역으로부터의 광이 하나 이상의 디스플레이 요소들로부터의 광과 결합되어 AR 및/또는 MR 콘텐트를 생성할 수 있다.
일부 실시예들에서, 디스플레이 요소(120)는 이미지 광을 생성하지 않고, 대신에 로컬 영역으로부터의 광을 아이박스로 전송하는 렌즈이다. 예를 들어, 디스플레이 요소들(120) 중 하나 또는 둘 모두는 사용자 시력의 결함을 교정하는 데 도움이 되는 처방 렌즈(prescription lens)(예를 들어, 단초점, 이중 초점 및 삼중 초점 또는 누진) 또는 교정이 없는 렌즈(비처방)일 수 있다. 일부 실시예들에서, 디스플레이 요소(120)는 태양으로부터 사용자의 눈을 보호하기 위해 편광 및/또는 착색될 수 있다.
일부 실시예들에서, 디스플레이 요소(120)는 추가적인 광학 블록(도시되지 않음)을 포함할 수 있음을 유의해야 한다. 광학 블록은 디스플레이 요소(120)로부터의 광을 아이박스로 향하게 하는 하나 이상의 광학 요소들(예를 들어, 렌즈, 프레넬 렌즈 등)을 포함할 수 있다. 광학 블록은, 예를 들어, 이미지 콘텐트의 일부 또는 전부에서 수차(aberrations)를 보정하고, 이미지의 일부 또는 전부, 또는 이들의 일부 조합을 확대할 수 있다.
DCA는 헤드셋(100) 주위의 로컬 영역의 부분에 대한 깊이 정보를 결정한다. DCA는 하나 이상의 이미징 디바이스(130) 및 DCA 컨트롤러(도 1a에 도시되지 않음)를 포함하고, 또한 조명기(140)를 포함할 수 있다. 일부 실시예들에서, 조명기(140)는 로컬 영역의 부분을 광으로 조명한다. 광은 예를 들어 적외선(IR)의 구조화된 광(예를 들어, 도트 패턴(dot pattern), 바(bars) 등), 비행 시간을 위한 IR 플래시 등일 수 있다. 일부 실시예들에서, 하나 이상의 이미징 디바이스들(130)은 조명기(140)로부터의 광을 포함하는 로컬 영역의 부분의 이미지들을 캡처한다. 도시된 바와 같이, 도 1a는 단일 조명기(140) 및 2개의 이미징 디바이스들(130)을 도시한다. 대안적인 실시예들에서는, 조명기(140)가 없고 적어도 2 개의 이미징 디바이스들(130)이 있다.
DCA 컨트롤러는 캡처된 이미지들 및 하나 이상의 깊이 결정 기술들을 사용하여 로컬 영역의 부분에 대한 깊이 정보를 계산한다. 깊이 결정 기술들은 예를 들어, 직접 비행 시간(ToF: Time-of-Flight) 깊이 감지, 간접 ToF 깊이 감지, 구조화된 광, 수동 스테레오 분석, 능동 스테레오 분석(조명기(140)로부터의 광에 의해 장면에 추가된 텍스처 사용), 장면의 깊이를 결정하는 일부 다른 기술, 또는 이들의 일부 조합이 될 수 있다.
오디오 시스템은 오디오 콘텐트를 제공한다. 오디오 시스템은 변환기 어레이, 센서 어레이, 및 오디오 컨트롤러(150)를 포함한다. 그러나, 다른 실시예들에서, 오디오 시스템은 상이한 및/또는 추가적인 구성요소들을 포함할 수 있다. 유사하게, 일부 경우들에서, 오디오 시스템의 구성요소들을 참조하여 설명된 기능은 여기에 설명된 것과 상이한 방식으로 구성요소들 사이에 분포될 수 있다. 예를 들어, 오디오 컨트롤러(150)의 기능들 중 일부 또는 전부는 원격 서버에 의해 수행될 수 있다.
변환기 어레이는 사용자에게 사운드를 제공한다. 변환기 어레이는 복수의 변환기들을 포함한다. 변환기는 스피커(160) 또는 조직 변환기(tissue transducer)(170)(예를 들어, 골전도 변환기 또는 연골 전도 변환기)일 수 있다. 도 1a에 도시된 바와 같이, 스피커들(160)은 프로세서(110)에 내장될 수 있다. 일부 실시예들에서, 각각의 귀에 대한 개별 스피커들 대신에, 헤드셋(100)은 예를 들어 빔포밍 어레이 프로세싱을 사용하여, 제공된 오디오 콘텐트의 방향성(directionality)을 개선하기 위해 프레임(110)에 통합된 다중 스피커들을 포함하는 스피커 어레이를 포함한다. 조직 변환기(170)는 사용자의 머리에 결합되며, 사용자의 조직(예를 들어, 뼈 또는 연골)을 직접 진동시켜 사운드를 발생시킨다. 변환기들의 수 및/또는 위치들은 도 1a에 도시된 것과 다를 수 있다.
센서 어레이는 헤드셋(100)의 로컬 영역 내에서의 사운드들을 검출한다. 일부 실시예들에서, 센서 어레이는 복수의 음향 센서들(180)을 포함한다. 음향 센서(180)는 로컬 영역(예를 들어, 방)에서의 하나 이상의 사운드 소스들로부터 방출되는 사운드들을 캡처한다. 각각의 음향 센서는 사운드를 검출하고 검출된 사운드를 전자 포맷(예를 들어, 아날로그 또는 디지털)으로 변환하도록 구성된다. 음향 센서들(180)은 사운드들을 검출하는 데 적합한 음향파 센서들, 마이크로폰들, 사운드 변환기들, 또는 유사한 센서들일 수 있다.
일부 실시예들에서, 하나 이상의 음향 센서들(180)은 각각의 귀의 외이도에 배치될 수 있다(예를 들어, 바이노럴 마이크로폰으로 작용). 일부 실시예들에서, 음향 센서들(180)은 헤드셋(100)의 외부 표면에 배치되거나, 헤드셋(100)의 내부 표면에 배치되거나, 헤드셋(100)과 별개이거나(예를 들어, 어떤 다른 디바이스의 일부), 또는 이들의 일부 조합일 수 있다. 음향 센서들(180)의 수 및/또는 위치들은 도 1a에 도시된 것과 상이할 수 있다. 예를 들어, 음향 검출 위치들의 수는 수집된 오디오 정보의 양 및 정보의 감도 및/또는 정확도를 증가시키기 위해 증가될 수 있다. 음향 검출 위치들은 마이크로폰이 헤드셋(100)을 착용한 사용자 주변의 광범위한 방향들에서 사운드들을 검출할 수 있도록 배향될 수 있다.
일부 다른 실시예들에서, 센서 어레이는 복수의 진동 센서들, 예를 들어 가속도계들을 포함한다. 가속도계들은 사운드들 신호들의 진폭 레벨들을 제어 및/또는 조정하는 데 사용되는 진동 가속에 관한 정보를 캡처한다. 가속도계는 프레임(110)에 내장될 수 있다. 대안적으로, 가속도계는 변환기, 예를 들어 조직 변환기(170)와 근접하여 조직(tissue)과 접촉하도록 위치될 수 있다. 또한, 근접 센서는 또한, 조직 변환기(170)(예를 들어, 연골 전도 변환기)가 적절한 위치에 있는 것을 확실하게 하기 위해 사용될 수도 있다.
오디오 컨트롤러(150)는 센서 어레이에 의해 검출된 사운드들을 설명하는 센서 어레이로부터의 정보를 처리한다. 오디오 컨트롤러(150)는 프로세서 및 컴퓨터 판독 가능한 저장 매체를 포함할 수 있다. 오디오 컨트롤러(150)는 도달 방향(DOA) 추정치들을 생성하고, 음향 전달 함수들(예를 들어, 어레이 전달 함수들 및/또는 머리 관련 전달 함수들)을 생성하고, 사운드 소스들의 위치를 추적하고, 사운드 소스들의 방향으로 빔들을 형성하고, 사운드 소스들을 분류하고, 스피커들(160)에 대한 사운드 필터들을 생성하고, 또는 이들의 일부 조합으로 구성될 수 있다.
일부 실시예들에서, 오디오 컨트롤러(150)는 변환기 어레이를 제어하여, 예를 들어 사용자에게 오디오 콘텐트를 제공하는 동안 변환기들(예를 들어, 조직 변환기(170)) 중 적어도 하나의 작동을 통해 헤드셋(100)을 착용한 사용자에게 전달되는 촉각 콘텐트의 레벨을 조정한다. 촉각 콘텐트는 일반적으로 오디오 콘텐트의 부산물이며 오디오를 생성하는 동일한 변환기(들)도 촉각 콘텐트를 생성할 수 있다. 오디오 컨트롤러(150)는 사용자에게 제공하기 위한 상이한 양식의 콘텐트를 생성하도록 구성될 수 있다. 오디오 컨트롤러(150)는 오디오 전용, 촉각 전용, 또는 오디오와 촉각의 조합인 콘텐트를 생성하도록 구성될 수 있다. 추가적으로, 오디오 컨트롤러(150)는 오디오 콘텐트 및 촉각 콘텐트 모두를 완화하도록 구성될 수 있어, 콘텐트가 사용자에게 제공되지 않을 수 있다.
오디오 컨트롤러(150)는 변환기들 중 적어도 하나의 하나 이상의 작동 파라미터들을 조정함으로써 촉각 콘텐트를 조정할 수 있다. 변환기에 대한 작동 파라미터는 변환기를 작동시키는 데 사용되는 신호(예를 들어, 기계적 또는 전기적)일 수 있다. 작동 파라미터는 예를 들어 전압, 전류, 기계적 압력, 일부 다른 작동 신호, 또는 이들의 일부 조합일 수 있다. 오디오 컨트롤러(150)는 촉각 임계값 레벨과 관련한 주파수 대역에 대한 적어도 하나의 변환기의 작동 파라미터를 조정할 수 있다. 임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동의 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응한다. 음향 센서들(180)은 변환기 어레이, 예를 들어, 조직 변환기(170) 및/또는 스피커(160)에 의해 생성된 사운드들을 검출할 수 있다. 오디오 컨트롤러(150)는 주파수 대역 내에서 검출된 사운드들의 부분에 기초하여 주파수 대역에 대한 조직 변환기(170)의 작동 파라미터에 대한 촉각 임계값 레벨을 유도할 수 있다. 그 다음, 오디오 컨트롤러(150)는 주파수 대역 내의 촉각 콘텐트의 부분을 제공하기 위해 조직 변환기(170)를 작동시킬 때 촉각 임계값 레벨 미만이 되도록 작동 파라미터를 조정할 수 있다.
일부 실시예들에서, 오디오 컨트롤러(150)는 사용자에게 오디오 콘텐트를 제공하는 동안 변환기들(예를 들어, 조직 변환기(170)) 중 적어도 하나의 작동을 통해 헤드셋(100)을 착용한 사용자에게 전달되는 촉각 콘텐트를 조정하여, 제어된 촉각 콘텐트가 특정 시간들에 사용자에 의해 인지된다. 이러한 경우들에 있어서, 변환기 어레이는 오디오 콘텐트 및 제어된 촉각 콘텐트를 사용자에게 제공한다. 하나 이상의 실시예들에서, 오디오 컨트롤러(150)는 사용자에게 내비게이션 지시들을 제공하기 위해 제어된 촉각 콘텐트를 사용한다. 예를 들어, 오디오 컨트롤러(150)는 사용자의 해당하는 귀에 부착된 해당하는 조직 변환기(170)(예를 들어, 연골 전도 변환기)에 촉각 콘텐트를 적용하여 사용자에게 내비게이션 지시들을 제공한다. 다른 실시예들에서, 오디오 컨트롤러(150)는 사용자에게 제공되는 오디오 콘텐트에 대한 음성 명료도를 증가시키기 위해 촉각 콘텐트를 제어한다. 또 다른 실시예에서, 오디오 컨트롤러(150)는 정의된 레벨의 근거리 효과를 갖는 오디오 콘텐트를 생성하기 위해 촉각 콘텐트를 제어한다. 오디오 컨트롤러(150) 및 오디오 시스템의 다른 구성요소들의 동작들에 대한 추가 세부사항들은 도 2a, 도 3, 및 도 4와 관련하여 아래에 제공된다.
포지션 센서(190)는 헤드셋(100)의 움직임에 응답하여 하나 이상의 측정 신호들을 생성한다. 포지션 센서(190)는 헤드셋(100)의 프레임(110)의 일부분에 위치될 수 있다. 포지션 센서(190)는 관성 측정 유닛(IMU)을 포함할 수 있다. 포지션 센서(190)의 예들은 하나 이상의 가속도계, 하나 이상의 자이로스코프, 하나 이상의 자력계, 모션을 검출하는 다른 적합한 유형의 센서, IMU의 에러 정정에 사용되는 유형의 센서, 또는 이들의 일부 조합을 포함한다. 포지션 센서(190)는 IMU 외부, IMU 내부, 또는 이들의 일부 조합에 위치될 수 있다.
일부 실시예들에서, 헤드셋(100)은 헤드셋(100)의 포지션에 대한 SLAM(simultaneous localization and mapping) 및 로컬 영역 모델의 업데이트를 제공할 수 있다. 예를 들어, 헤드셋(100)은 컬러 이미지 데이터를 생성하는 PCA(Passive Camera Assembly)를 포함할 수 있다. PCA는 로컬 영역의 일부 또는 전체의 이미지들을 캡처하는 하나 이상의 RGB 카메라들을 포함할 수 있다. 일부 실시예들에서, DCA의 이미징 디바이스들(130)의 일부 또는 전부는 또한 PCA로서 기능할 수 있다. PCA에 의해 캡처된 이미지들 및 DCA에 의해 결정된 깊이 정보는 로컬 영역의 파라미터들을 결정하고, 로컬 영역의 모델을 생성하고, 로컬 영역의 모델을 업데이트하거나, 이들의 일부 조합에 사용될 수 있다. 또한, 포지션 센서(190)는 방 내에서 헤드셋(100)의 포지션(예를 들어, 위치 및 포즈)을 추적한다. 헤드셋(100)의 구성요소들에 관한 추가적인 세부사항들은 도 5와 관련하여 아래에서 논의된다.
도 1b는 하나 이상의 실시예들에 따라, HMD로서 구현된 헤드셋(105)의 사시도이다. AR 시스템 및/또는 MR 시스템을 설명하는 실시예들에서, HMD의 전방측의 부분들은 가시 대역(~380nm 내지 750nm)에서 적어도 부분적으로 투명하고, HMD의 전방측과 사용자의 눈 사이에 있는 HMD의 부분들은 적어도 부분적으로 투명하다(예를 들어, 부분적으로 투명한 전자 디스플레이). HMD는 전면 강체(115)와 밴드(175)를 포함한다. 헤드셋(105)은 도 1a를 참조하여 위에서 설명된 많은 동일한 구성요소들을 포함하지만 HMD 폼 팩터와 통합되도록 수정된다. 예를 들어, HMD는 디스플레이 어셈블리, DCA, 오디오 시스템, 및 포지션 센서(190)를 포함한다. 도 1b는 조명기(140), 복수의 스피커들(160), 복수의 이미징 디바이스들(130), 복수의 음향 센서들(180), 및 포지션 센서(190)를 도시한다.
도 2a는 하나 이상의 실시예들에 따른 오디오 시스템(200)의 블록도다. 도 1a 또는 도 1b의 오디오 시스템은 오디오 시스템(200)의 일 실시예가 될 수 있다. 오디오 시스템(200)은 사용자에 대한 하나 이상의 음향 전달 함수들을 생성한다. 그 다음, 오디오 시스템(200)은 사용자에 대한 오디오 콘텐트를 생성하기 위해 하나 이상의 음향 전달 함수들을 사용할 수 있다. 도 2a의 실시예에서, 오디오 시스템(200)은 변환기 어레이(210), 센서 어레이(220), 및 오디오 컨트롤러(230)를 포함한다. 오디오 시스템(200)의 일부 실시예들은 여기에 설명된 것과 상이한 구성요소들을 갖는다. 마찬가지로, 일부 경우들에서, 기능들은 여기에 설명된 것과는 상이한 방식으로 구성요소들 사이에서 분산될 수 있다.
변환기 어레이(210)는 콘텐트를 제공하도록 구성된다. 제공된 콘텐트는 오디오 콘텐트, 촉각 콘텐트, 또는 이들의 일부 조합일 수 있다. 변환기 어레이(210)는 복수의 변환기들을 포함한다. 변환기는 오디오 콘텐트, 촉각 콘텐트 또는 이들의 일부 조합과 같은 콘텐트를 제공하는 디바이스이다. 변환기는 예를 들어, 스피커(예를 들어, 스피커(160)), 조직 변환기(tissue transducer)(예를 들어, 조직 변환기(170)), 콘텐트를 제공하는 일부 다른 디바이스, 또는 이들의 일부 조합일 수 있다. 조직 변환기는 골전도 변환기 또는 연골 전도 변환기로 기능하도록 구성될 수 있다. 변환기 어레이(210)는 공기 전도를 통해(예를 들어, 하나 이상의 스피커들을 통해), 골전도를 통해(하나 이상의 골전도 변환기들을 통해), 연골 전도 오디오 시스템을 통해(하나 이상의 연골 전도 변환기들을 통해), 또는 이들의 일부 조합을 통해 콘텐트를 제공할 수 있다. 일부 실시예들에서, 변환기 어레이(210)는 주파수 범위의 상이한 부분들을 커버하기 위해 하나 이상의 변환기를 포함할 수 있다. 예를 들어, 압전 변환기는 주파수 범위의 제 1 부분을 커버하기 위해 사용될 수 있고, 이동 코일 변환기는 주파수 범위의 제 2 부분을 커버하기 위해 사용될 수 있다.
골전도 변환기는 사용자의 머리에 있는 뼈/조직을 진동시켜 음향 압력파들을 생성한다. 골전도 변환기는 헤드셋의 일부분에 결합될 수 있고, 사용자의 두개골의 일부분에 결합된 외이의 뒤에 위치하도록 구성될 수 있다. 골전도 변환기는 오디오 컨트롤러(230)로부터 진동 지시들을 수신하고, 수신된 지시들에 기초하여 사용자의 두개골의 일부분을 진동시킨다. 골전도 변환기의 진동들은 고막을 우회하여 사용자의 달팽이관 쪽으로 전파되는 조직 매개 음향 압력파(tissue borne acoustic pressure wave)를 생성한다.
연골 전도 변환기들은 사용자 귀의 귀 연골의 하나 이상의 부분들을 진동시킴으로써 음향 압력파를 생성한다. 연골 전도 변환기는 헤드셋의 일부분에 결합될 수 있고, 귀의 귀 연골의 하나 이상의 부분들에 결합되도록 구성될 수 있다. 예를 들어, 연골 전도 변환기는 사용자 귀의 외이(auricle) 뒤쪽에 결합될 수 있다. 연골 전도 변환기는 바깥쪽 주위의 귀 연골을 따라 어디든지 위치할 수 있다(예를 들어, 귓바퀴, 이주, 귀 연골의 어떤 다른 부분, 또는 이들의 일부 조합). 귀 연골의 하나 이상의 부분들을 진동시키는 것은: 외이도 외부의 공기 매개 음향 압력파(airborne acoustic pressure waves); 외이도의 일부의 부분들을 진동시켜 외이도 내에 공기 매개 음향 압력파를 생성하는 조직 매개 음향 압력파; 또는 이들의 일부 조합을 생성할 수 있다. 생성된 공기 매개 음향 압력파는 외이도를 따라 고막을 향해 전파된다.
변환기 어레이(210)는 오디오 컨트롤러(230)로부터의 지시들에 따라 콘텐트를 생성한다. 일부 실시예들에서, 콘텐트는 공간화된다. 공간화된 콘텐트는 특정 방향 및/또는 타겟 지역(예를 들어, 로컬 영역 내의 객체 및/또는 가상 객체)으로부터 비롯되는 것으로 보이는 콘텐트이다. 예를 들어, 공간화된 콘텐트는 사운드가 오디오 시스템(200)의 사용자로부터 방 건너편에 있는 가상 가수로부터 비롯된 것처럼 보이게 할 수 있다. 변환기 어레이(210)는 웨어러블 디바이스(예를 들어, 헤드셋(100) 또는 헤드셋(105))에 결합될 수 있다. 대안적인 실시예들에서, 변환기 어레이(210)는 웨어러블 디바이스로부터 분리된(예를 들어, 외부 콘솔에 결합된) 복수의 스피커들일 수 있다.
센서 어레이(220)는 센서 어레이(220) 주위의 로컬 영역 내에서 사운드들을 검출한다. 센서 어레이(220)는 음파(sound wave)의 공기 압력 변화를 각각 검출하고 검출된 사운드들을 전자 형식(아날로그 또는 디지털)으로 변환하는 복수의 음향 센서들을 포함할 수 있다. 복수의 음향 센서들은 헤드셋(예를 들어, 헤드셋(100) 및/또는 헤드셋(105)), 사용자(예를 들어, 사용자의 외이도), 넥밴드, 또는 이들의 일부 조합에 위치될 수 있다. 음향 센서는 예를 들어, 마이크로폰, 진동 센서, 가속도계, 또는 이들의 임의의 조합일 수 있다. 일부 실시예들에서, 센서 어레이(220)는 복수의 음향 센서들 중 적어도 일부를 사용하여 변환기 어레이(210)에 의해 생성된 오디오 콘텐트를 모니터링하도록 구성된다. 센서들의 수를 증가시키는 것은 변환기 어레이(210)에 의해 생성된 사운드 필드 및/또는 로컬 영역으로부터의 사운드를 기술하는 정보(예를 들어, 방향성)의 정확도를 향상시킬 수 있다. 일부 실시예들에서, 센서 어레이(220)의 적어도 하나의 센서는 기계수용기들이 활성일 때 뉴런들의 발화들(firings of neurons)을 감지하도록 구성된 사용자의 조직 내의 임플란트(implant) 또는 비침습성 전극(non-invasive electrode)으로서 구현될 수 있다. 센서 어레이(220)의 이러한 구현된 센서(들)는 사용자로부터의 어떠한 수동 피드백 없이도 사용자의 촉각 감각을 검출할 수 있다.
오디오 컨트롤러(230)는 오디오 시스템(200)의 동작을 제어한다. 도 2a의 실시예에서, 오디오 컨트롤러(230)는 데이터 저장소(235), DOA 추정 모듈(240), 전달 함수 모듈(250), 추적 모듈(260), 빔포밍 모듈(270), 사운드 필터 모듈(280), 및 촉각 제어 모듈(285)을 포함한다. 오디오 컨트롤러(230)는 일부 실시예들에서 헤드셋 내부에 위치할 수 있다. 오디오 컨트롤러(230)의 일부 실시예들은 여기에 설명된 것과 상이한 구성요소들을 갖는다. 마찬가지로, 기능들은 여기에 설명된 것과는 상이한 방식들로 구성요소 사이에서 분산될 수 있다. 예를 들어, 컨트롤러의 일부 기능들은 헤드셋 외부에서 수행될 수 있다.
데이터 저장소(235)는 오디오 시스템(200)에 의해 사용하기 위한 데이터를 저장한다. 데이터 저장소(235)의 데이터는 오디오 시스템(200)의 로컬 영역에 기록된 사운드들, 콘텐트(오디오 콘텐트, 촉각 콘텐트, 또는 이들의 조합), 머리 관련 전달 함수들(HRTFs), 하나 이상의 센서들에 대한 전달 함수들, 음향 센서들 중 하나 이상에 대한 어레이 전달 함수들(ATFs), 사운드 소스 위치들, 로컬 영역의 가상 모델, 도달 방향 추정치들, 사운드 필터들, 하나 이상의 지각 모델들, 작동 파라미터들, 및 오디오 시스템(200)에 의한 사용과 관련된 다른 데이터, 또는 이들의 임의의 조합을 포함할 수 있다.
데이터 저장소(235)에 저장된 지각 모델은 변환기 어레이(210)를 통해 사용자에게 콘텐트를 제공할 때 촉각 콘텐트의 레벨을 조정하기 위해, 예를 들어 촉각 제어 모듈(285)에 의해 사용될 수 있다. 지각 모델은 변환기 어레이(210)의 하나 이상의 변환기들을 작동시키기 위한 주파수(또는 주파수 대역)의 함수로서 적어도 하나의 작동 파라미터들(예를 들어, 입력 전압, 입력 전류 등)에 대한 촉각 임계값 레벨에 대한 정보를 포함할 수 있다. 주파수 대역에 대한 임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동의 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응한다. 데이터 저장소(235)의 각각의 지각 모델은 특정 사용자 및/또는 특정 음향 환경(예를 들어, 실내 환경, 실외 환경, 비어 있는 방, 점유되어 있는 방 등)에 대해 고유할 수 있다. 대안적으로, 데이터 저장소(235)의 단일 지각 모델은 다수의 사용자들 및/또는 다수의 음향 환경들에 대해 공통적일 수 있다. 일부 실시예들에서, 데이터 저장소(235)의 지각 모델은 예를 들어, 오디오 시스템(200)이 위치하고 있는 특정 사용자 및/또는 특정 음향 환경에 대한 변환기 어레이(210)의 교정을 수행함으로써 촉각 제어 모듈(285)에 의해 획득될 수 있다.
DOA 추정 모듈(240)은 센서 어레이(220)로부터의 정보에 부분적으로 기초하여 로컬 영역에서 사운드 소스들을 로컬화하도록 구성된다. 로컬화(localization)는 오디오 시스템(200)의 사용자에 대하여 사운드 소스가 어디에 위치되는지를 결정하는 프로세스이다. DOA 추정 모듈(240)은 DOA 분석을 수행하여 로컬 영역 내의 하나 이상의 사운드 소스들을 로컬화한다. DOA 분석은 센서 어레이(220)에서 각 사운드의 강도, 스펙트럼, 및/또는 도달 시간을 분석하여 사운드들이 비롯된 방향을 결정하는 것을 포함할 수 있다. 일부 경우들에서, DOA 분석은 오디오 시스템(200)이 위치한 주변 음향 환경을 분석하기 위한 임의의 적절한 알고리즘을 포함할 수 있다.
예를 들어, DOA 분석은 센서 어레이(220)로부터 입력 신호를 수신하고 디지털 신호 프로세싱 알고리즘을 입력 신호들에 적용하여 도달 방향을 추정하도록 설계될 수 있다. 이러한 알고리즘들은 예를 들어 입력 신호가 샘플링되는 지연 및 합산 알고리즘들을 포함할 수 있으며, 샘플링된 신호의 결과적인 가중 및 지연된 버전들이 함께 평균화되어 DOA를 결정한다. 최소 평균 제곱(LMS) 알고리즘이 또한 적응 필터(adaptive filter)를 생성하기 위해 구현될 수 있다. 이러한 적응 필터는 예를 들어, 신호 강도의 차이들 또는 도달 시간의 차이들을 식별하는 데 사용될 수 있다. 그리고, 이러한 차이들은 DOA를 추정하는 데 사용될 수 있다. 다른 실시예들에서, DOA는 입력 신호를 주파수 도메인으로 변환하고 처리할 시간-주파수(TF) 도메인 내의 특정 빈들(specific bins)을 선택함으로써 결정될 수 있다. 각각의 선택된 TF 빈은 그 빈이 직접 경로 오디오 신호를 갖는 오디오 스펙트럼의 부분을 포함하는지 여부를 결정하기 위해 처리될 수 있다. 직접 경로 신호의 부분을 갖는 이러한 빈은 센서 어레이(220)가 직접 경로 오디오 신호를 수신한 각도를 식별하기 위해 분석될 수 있다. 그리고, 결정된 각도는 수신된 입력 신호에 대한 DOA를 식별하는 데 사용될 수 있다. 위에 나열되지 않은 다른 알고리즘들도 또한 DOA를 결정하기 위해 단독으로 또는 위의 알고리즘들과 조합하여 사용될 수 있다.
일부 실시예들에서, DOA 추정 모듈(240)은 또한 로컬 영역 내의 오디오 시스템(200)의 절대 포지션에 대한 DOA를 결정할 수 있다. 센서 어레이(220)의 포지션은 외부 시스템(예를 들어, 헤드셋의 일부 다른 구성요소, 인공 현실 콘솔, 매핑 서버, 포지션 센서(예를 들어, 포지션 센서(190)) 등)로부터 수신될 수 있다. 외부 시스템은 로컬 영역의 가상 모델을 생성할 수 있으며, 여기서 센서 어레이(200)의 포지션과 로컬 영역이 매핑된다. 수신된 포지션 정보는 (예를 들어, 센서 어레이(220)의) 오디오 시스템(200)의 일부 또는 전부의 위치 및/또는 지향방향을 포함할 수 있다. DOA 추정 모듈(240)은 수신된 포지션 정보에 기초하여 추정된 DOA를 업데이트할 수 있다.
전달 함수 모듈(250)은 하나 이상의 음향 전달 함수들을 생성하도록 구성된다. 일반적으로, 전달 함수는 가능한 각 입력 값에 대해 대응하는 출력 값을 제공하는 수학 함수이다. 검출된 사운드들의 파라미터들에 기초하여, 전달 함수 모듈(250)은 오디오 시스템과 연관된 하나 이상의 음향 전달 함수를 생성한다. 음향 전달 함수는 어레이 전달 함수(ATF), 머리 관련 전달 함수(HRTF), 다른 유형의 음향 전달 함수, 또는 이들의 일부 조합일 수 있다. ATF는 마이크로폰이 공간의 한 지점으로부터 사운드를 수신하는 방식을 특징짓는다.
ATF는 사운드들과 센서 어레이(220)의 음향 센서들에 의해 수신된 대응하는 사운드 사이의 관계를 특징짓는 복수의 전달 함수들을 포함한다. 따라서, 사운드 소스에 대해, 센서 어레이(220)의 음향 센서들 각각에 대한 대응하는 전달 함수들가 존재한다. 그리고, 집합적으로 전달 함수들의 세트는 ATF라고 지칭된다. 사운드 소스는 예를 들어, 로컬 영역에서 사운드를 생성하는 사람 또는 어떤 것, 사용자, 또는 변환기 어레이(210)의 하나 이상의 변환기들일 수 있다는 점에 유의해야 한다. 센서 어레이(220)와 관련된 특정 사운드 소스 위치에 대한 ATF는 사람의 귀로 전달되는 사운드에 영향을 미치는 사람의 해부학적 구조(예를 들어, 귀 모양, 어깨 등)로 인해 사용자마다 다를 수 있다. 따라서, 센서 어레이(220)의 ATF들은 오디오 시스템(200)의 각 사용자에 대해 개인화된다.
일부 실시예들에서, 전달 함수 모듈(250)은 오디오 시스템(200)의 사용자에 대한 하나 이상의 HRTF들을 결정한다. HRTF는 귀가 공간의 한 지점으로부터 사운드를 수신하는 방식을 특징짓는다. 사람과 관련된 특정 소스 위치에 대한 HRTF는 사운드가 사람의 귀로 이동함에 따라 사운드에 영향을 미치는 사람의 해부학적 구조(예를 들어, 귀 모양, 어깨 등)로 인해 사람의 각각의 귀에 대해 고유하다(그리고 사람마다 고유하다). 일부 실시예들에서, 전달 함수 모듈(250)은 교정 프로세스를 사용하여 사용자에 대한 HRTF들을 결정할 수 있다. 일부 실시예들에서, 전달 함수 모듈(250)은 사용자에 대한 정보를 원격 시스템에 제공할 수 있다. 원격 시스템은 예를 들어 기계 학습을 사용하여 사용자에게 맞춤화된 HRTF들의 세트를 결정하고 맞춤화된 HRTF들의 세트를 오디오 시스템(200)에 제공한다.
추적 모듈(260)은 하나 이상의 사운드 소스들의 위치들을 추적하도록 구성된다. 추적 모듈(260)은 현재 DOA 추정치들을 비교하고 그것들을 이전 DOA 추정치들의 저장된 이력과 비교할 수 있다. 일부 실시예들에서, 오디오 시스템(200)은 초당 1회 또는 밀리초당 1회와 같은 주기적 스케줄에 따라 DOA 추정치들을 재계산할 수 있다. 추적 모듈은 현재 DOA 추정치들을 이전 DOA 추정치들과 비교할 수 있고, 사운드 소스에 대한 DOA 추정치들의 변화에 응답하여, 추적 모듈(260)은 사운드 소스가 이동했다고 결정할 수 있다. 일부 실시예들에서, 추적 모듈(260)은 헤드셋 또는 일부 다른 외부 소스로부터 수신된 시각 정보에 기초하여 위치의 변화를 검출할 수 있다. 추적 모듈(260)은 시간에 따른 하나 이상의 사운드 소스들의 움직임을 추적할 수 있다. 추적 모듈(260)은 사운드 소스들의 개수 및 각 시점에서의 각 사운드 소스의 위치에 대한 값들을 저장할 수 있다. 사운드 소스들의 개수 또는 위치들의 값의 변화에 응답하여, 추적 모듈(260)은 사운드 소스가 이동했다고 결정할 수 있다. 추적 모듈(260)은 로컬화 분산(localization variance)의 추정치를 계산할 수 있다. 로컬화 분산은 움직임의 변화의 각 결정에 대한 신뢰 레벨로 사용될 수 있다.
빔포밍 모듈(270)은 하나 이상의 ATF를 처리하여 특정 영역 내의 사운드 소스들로부터의 사운드들을 선택적으로 강조하고 다른 영역들로부터의 사운드를 덜 강조하도록 구성된다. 센서 어레이(220)에 의해 검출된 사운드들을 분석함에 있어, 빔포밍 모듈(270)은 상이한 음향 센서들의 정보를 결합하여 로컬 영역의 특정 지역에서 발생하는 사운드를 강조하면서, 그 지역 외부로부터의 사운드를 덜 강조할 수 있다. 빔포밍 모듈(270)은 예를 들어 DOA 추정 모듈(240) 및 추적 모듈(260)로부터의 상이한 DOA 추정들에 기초하여 로컬 영역의 다른 사운드 소스들로부터 특정 사운드 소스로부터의 사운드와 연관된 오디오 신호를 분리할 수 있다. 따라서 빔포밍 모듈(270)은 로컬 영역의 개별 사운드 소스들을 선택적으로 분석할 수 있다. 일부 실시예들에서, 빔포밍 모듈(270)은 사운드 소스로부터의 신호를 강화시킬 수 있다. 예를 들어, 빔포밍 모듈(270)은 특정 주파수들 사이, 위, 또는 아래의 신호들을 제거하는 사운드 필터들을 적용할 수 있다. 신호 강화(signal enhancement)는 센서 어레이(220)에 의해 검출된 다른 사운드들에 비해 주어진 식별된 사운드 소스와 연관된 사운드를 강화시키는 역할을 한다.
사운드 필터 모듈(280)은 변환기 어레이(210)에 대한 사운드 필터들을 결정한다. 일부 실시예들에서, 사운드 필터들은 오디오 콘텐트가 타겟 지역으로부터 비롯되는 것처럼 보이도록 오디오 콘텐트가 공간화되게 한다. 사운드 필터 모듈(280)은 사운드 필터들을 생성하기 위해 HRTF들 및/또는 음향 파라미터들을 사용할 수 있다. 음향 파라미터들은 로컬 영역의 음향 특성들을 설명한다. 음향 파라미터들은 예를 들어 잔향 시간, 잔향 레벨, 실내 임펄스 응답 등을 포함할 수 있다. 일부 실시예들에서, 사운드 필터 모듈(280)은 하나 이상의 음향 파라미터들을 계산한다. 일부 실시예들에서, 사운드 필터 모듈(280)은 (예를 들어, 도 5와 관련하여 아래에서 설명되는 바와 같이) 매핑 서버로부터 음향 파라미터들을 요청한다.
사운드 필터 모듈(280)은 트랜스듀서 어레이(210)에 사운드 필터들을 제공한다. 일부 실시예들에서, 사운드 필터들은 주파수의 함수로서 사운드들의 포지티브 또는 네거티브 증폭을 유발할 수 있다.
일부 실시예들에서, 촉각 제어 모듈(285)은 변환기 어레이(210)를 통해 사용자에게 콘텐트를 제공하는 동안 변환기 어레이(210) 내의 적어도 하나의 변환기(예를 들어, 연골 전도 변환기)의 작동을 통해 사용자에게 전달되는 촉각 콘텐트의 레벨을 조정하도록 변환기 어레이(210)를 제어한다. 콘텐트는 오디오 콘텐트만, 촉각 콘텐트만, 또는 오디오 콘텐트와 촉각 콘텐트의 조합을 포함할 수 있다. 오디오 콘텐트만을 전달하기 위해, 촉각 제어 모듈(285)은 주파수 대역에 대한 적어도 하나의 변환기의 작동 파라미터(예를 들어, 입력 신호 레벨)를 촉각 임계값 레벨 미만으로 조정하여 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 못하게 할 수 있다. 촉각 임계값 레벨 미만의 작동 파라미터들의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동의 범위들에 대응하고, 촉각 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응한다.
하나 이상의 실시예들에서, 촉각 제어 모듈(285)은 예를 들어 변환기 감도에 기초하여 고정된 작동 임계값 접근을 적용함으로써 촉각 콘텐트의 레벨을 조정한다. 변환기 감도는 변환기를 통해 사용자에게 전달되는 음향 압력파의 복수의 주파수 대역들에 대한 출력 음압과 작동 파라미터(즉, 입력 전압과 같은 작동 입력 신호의 레벨) 간의 전달 함수로 정의될 수 있다. 오디오만의 콘텐트에 대하여, 주파수 대역들은 인간이 인지할 수 있는 음향 스펙트럼(예를 들어, 약 20Hz~20,000Hz)을 커버하는 전형적인 주파수 대역들이다. 촉각만의 콘텐트에 대하여, 기계수용기가 예를 들어 500Hz 이하의 주파수들에 대해 주로 민감하기 때문에, 주파수 대역들은 예를 들어 대략 500Hz 미만의 주파수들과 같은 저주파들로 제한된다. 변환기 어레이(210) 내의 변환기의 감도가 시간에 걸쳐 그리고 다수의 사용자들에 걸쳐 일정하다면(예를 들어, 시간에 걸쳐 그리고 다수의 사용자들에 걸쳐), 촉각 제어 모듈(285)은 예를 들어 사람들에 의해 인지되는 음향 스펙트럼을 커버하는 복수의 주파수 대역들의 각각의 정의된 주파수 대역에서 작동 파라미터(예를 들어, 작동 신호)에 대한 고정된 촉각 임계값 레벨을 유도할 수 있다. 촉각 제어 모듈(285)은, 예를 들어, 변환기 어레이(210) 내의 적어도 하나의 변환기의 작동에 대한 작동 파라미터들의 레벨을 유도된 촉각 임계값 레벨 미만으로 하여 유도된 촉각 임계값 레벨과 연관된 특정 주파수 대역에 대한 촉각 감각을 피하도록 하는 것을 보장하기 위해 표준 동적 범위 압축 방식을 적용할 수 있다.
일부 실시예들에서, 센서 어레이(220)는 변환기 어레이(210) 내의 적어도 하나의 변환기가 주파수 대역들의 세트에 대한 초기 값들의 세트를 갖는 작동 파라미터들을 통해 작동될 때 변환기 어레이(210)에 의해 생성된 사운드(즉, 오디오/촉각을 포함하는 콘텐트)를 검출한다. 촉각 제어 모듈(285)은 주파수 대역 내에서 검출된 사운드들의 부분에 기초하여 세트 내의 각각의 주파수 대역에 대한 작동 파라미터에 대한 촉각 임계값 레벨을 유도할 수 있다. 주파수 대역 내에서 검출된 콘텐트의 부분은 (예를 들어, 사용자의 지각 및 주파수 대역에 대한 작동 파라미터들의 초기 값에 따라) 주파수 대역에 대해 사용자에 의해 인지되기에 충분한 촉각 콘텐트의 최소 레벨보다 크거나 작을 수 있는 특정 양의 촉각 콘텐트를 포함할 수 있다. 촉각 제어 모듈(285)은, 주파수 대역에 대한 변환기 어레이(210)에 의해 생성된 콘텐트의 부분이 예를 들어 주파수 대역에 대한 작동 파라미터들의 초기 값에 대한 작동 파라미터들의 레벨을 조정함으로써 대략 최소 레벨의 촉각 콘텐트를 포함하도록, 주파수 대역에 대한 작동 파라미터에 대한 촉각 임계값 레벨을 결정할 수 있다. 그리고, 촉각 제어 모듈(285)은 콘텐트(즉, 오디오만, 촉각만, 또는 오디오와 촉각의 조합)를 사용자에게 제공하는 동안 적어도 하나의 변환기를 작동할 때 촉각 임계값 레벨에 대한 작동 파라미터들을 조정할 수 있다. 작동 파라미터들가 촉각 임계값 레벨 이상일 때, 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지된다. 그렇지 않고, 작동 파라미터들가 촉각 임계값 레벨 미만이면, 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는다.
촉각 제어 모듈(285)은 데이터 저장소(235)로부터의 지각 모델을 사용하여 촉각 임계값 레벨에 대한 주파수 대역에 대한 적어도 하나의 변환기의 작동 파라미터들을 조정함으로써 촉각 콘텐트의 레벨을 조정할 수 있다. 지각 모델은 복수의 사용자들 및/또는 음향 환경들에 대해 공통적일 수 있다. 대안적으로, 데이터 저장소(235)의 각각의 지각 모델은 각각의 사용자 및/또는 음향 환경에 대해 고유할 수 있다. 대안적으로, 지각 모델은 특정 그룹의 사람들에 대해 고유할 수 있다. 예를 들어, 하나의 지각 모델은 어른들에게 적합할 수 있고, 다른 지각 모델은 젊은 사람들에게 적합할 수 있다. 촉각 제어 모듈(285)은 변환기 어레이(210) 내의 적어도 하나의 변환기를 교정함으로써 특정 사용자 및/또는 음향 환경에 대한 지각 모델을 생성할 수 있다. 교정하는 동안, 촉각 제어 모듈(285)은 주파수 대역들 각각에 대한 촉각 콘텐트의 인지된 레벨에 관한 사용자로부터의 피드백 응답들에 기초하여 복수의 주파수 대역들에 대한 촉각 임계값 레벨들을 결정한다. 예를 들어, 사용자는 지각 모델이 생성되는 특정 음향 환경에 위치할 수 있다. 하나 이상의 실시예들에서, 인지되는 촉각 콘텐트에 관한 사용자의 수동 피드백에 의존하는 대신에, 촉각 감각은 예를 들어, 사용자의 뉴런들의 발화를 감지할 수 있는 조직 내의 임플란트들 또는 비침습성 전극들로서 구현되는 센서 어레이(220)의 하나 이상의 센서들에 의해 자동으로 검출될 수 있다.
일부 실시예들에서, 촉각 제어 모듈(285)은 정의된 임계 주파수 미만의 주파수 대역 내에서 센서 어레이(220)에 의해 검출된 사운드들의 부분에 기초하여 사용자에 대한 변환기 어레이(210) 내의 적어도 하나의 변환기의 감도 레벨(level of sensitivity)을 추정한다. 그 다음으로 촉각 제어 모듈(285)은 주파수 대역에 대한 추정된 변환기 감도에 기초하여 주파수 대역에 대한 적어도 하나의 변환기의 작동 파라미터(예를 들어, 입력 전압 또는 일부 다른 작동 신호의 레벨)에 대한 촉각 임계값 레벨을 유도할 수 있다. 촉각 제어 모듈(285)은, 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않도록 작동 파라미터들을 조정, 예를 들어 촉각 임계값 레벨 미만으로 조정한다. 대안적으로, 촉각 제어 모듈(285)은, 주파수 대역에 대한 촉각 콘텐트의 특정 레벨이 사용자에 의해 인지되도록 촉각 임계값 레벨 이상으로 작동 파라미터들을 조정한다.
촉각 콘텐트의 레벨을 조정하기 위한 이러한 특정 접근법은 적응형 입력 전압 임계값 접근법으로 지칭될 수 있는데, 이는 입력 전압 임계값이 예를 들어 사용자마다 및/또는 시간에 따라 변할 수 있는 추정된 변환기 감도에 기초하여 조정되기 때문이다. 하나 이상의 실시예들에서, 변환기 어레이(210)의 적어도 하나의 변환기의 감도가 사용자마다 다르지만 시간이 지남에 따라서는 달라지지 않는 경우, 촉각 제어 모듈(285)은 예를 들어, 정의된 주파수 대역에 대한 변환기 감도, 즉 각각의 주파수 대역에 대한 출력 음압과 입력 전압 사이의 함수 관계를 측정하기 위해 인-이어 마이크로폰을 활용함으로써 각각의 사용자에 대해 1회 교정을 적용할 수 있다. 측정된 변환기 감도에 기초하여, 촉각 제어 모듈(285)은 그 다음으로 주파수 대역에 대한 촉각 콘텐트의 부분을 인지하거나 인지하지 않도록 적어도 하나의 변환기를 작동시키기 위한 작동 파라미터에 대한 촉각 임계값 레벨을 유도할 수 있다. 변환기 어레이(210) 내의 적어도 하나의 변환기의 감도가 시간이 지남에 따라 변하는 경우에도, 촉각 제어 모듈(285)은 특정 주파수 대역에 대해 촉각 임계값 레벨을 업데이트하기 위해 정의된 기간 동안 교정 프로세스를 특정 횟수만큼 반복하도록 구성될 수 있다.
하나 이상의 다른 실시예들에서, 인-이어 마이크로폰 대신에, 연골 전도 변환기들의 특정 고유 특성들이 예를 들어 도 1a의 프레임(110)에 장착된 음향 센서들(180)과 같이 안경 프레임에 있는 마이크로폰들을 사용하여 교정을 수행하는 데 활용될 수 있다. 예를 들어, 논의된 바와 같이, 변환기 어레이(210)의 하나 이상의 변환기들은 연골 전도 변환기들로서 구현될 수 있다. 촉각 감각은 일반적으로 저주파수 대역들에서 발생한다. 연골 전도 변환기가 예를 들어 사용자 귀의 귀 연골과 양호하게 접촉하면, 공기 중의 음향 압력파의 방사 패턴은 주로 방향성(directional)이 된다. 그러나 연골 전도 변환기와 귀 연골 사이에 직접적인 접촉이 없다면, 공기 중의 음향 압력파의 방사 패턴은 오히려 무지향성(omni-directional)일 수 있다. 따라서, 촉각 제어 모듈(285)은 변환기 어레이(210)의 연골 전도 변환기 양측에 있는 마이크로폰들(예를 들어, 음향 센서들(180))로부터의 신호들을 비교함으로써 저주파수 대역들에서의 변환기 감도를 추정할 수 있다.
일부 실시예들에서, 감도 기반 교정 대신에, 촉각 제어 모듈(285)은 상이한 입력 신호(예를 들어, 전압)에서의 촉각 감각에 대한 사용자의 피드백에 기초하여 주파수들의 범위에 대한 입력 신호 임계 곡선을 측정하도록 구성될 수 있다. 사용자의 수동 피드백 대신에, 촉각 감각은 예를 들어 사용자의 조직 내에서 임플란트들 또는 비침습성 전극들로서 구현되고 기계-수용기들이 활성일 때 뉴런들의 발화들을 감지하도록 구성된 센서 어레이(220)의 하나 이상의 센서들에 의해 검출될 수 있다. 촉각 제어 모듈(285)은 사용자에서 검출된 촉각 감각들에 기초하여 주파수들의 범위에 대한 변환기 어레이(210)의 적어도 하나의 변환기의 작동 파라미터에 대한 촉각 임계값 레벨을 유도할 수 있다. 촉각 제어 모듈(285)은 촉각 콘텐트의 적어도 일부가 사용자에 의해 인지되지 않도록 적어도 하나의 변환기에 대한 작동 파라미터들을 임계값 레벨 미만으로 조정할 수 있다.
일부 실시예들에서, 센서 어레이(220)의 적어도 하나의 센서(예를 들어, 마이크로폰 및/또는 가속도계)는 오디오 신호를 사용자에게 제공할 때 변환기 어레이(210)의 적어도 하나의 변환기에 의해 생성된 음압 및/또는 가속도를 모니터링한다. 그리고, 촉각 제어 모듈(285)은 특정 주파수에 대한 오디오 콘텐트의 진폭이 임계값 레벨 미만이 되도록 음압 및 가속도 중 적어도 하나 또는 둘 모두에 기초하여 사용자에게 제공되는 오디오 콘텐트를 제어할 수 있다. (촉각) 임계값 레벨 미만의 진폭 값들은 주파수에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 오디오 콘텐트에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 오디오 콘텐트에 대응한다. 따라서, 이러한 경우에, 촉각 제어 모듈(285)은 센서 어레이(220)와 함께 촉각이 없는 오디오 콘텐트를 달성하기 위해 변환기 어레이(210)의 능동 제어를 수행한다. 일 실시예에서, 주파수(또는 주파수 대역)에 대한 촉각 감각에 대한 임계값 레벨은, 예를 들어 대상 그룹에 대해 평균 촉각 임계값 곡선이 얻어지는 사용자 학습(user study)으로부터 얻어질 수 있다. 다른 실시예들에서, 주파수(또는 주파수 대역)에 대한 촉각 감각에 대한 임계값 레벨은, 예를 들어 듣기 및 청력계 애플리케이션들과 실질적으로 유사한, 사용자가 그 자신의 맞춤형 촉각 임계값 곡선을 생성할 수 있는 애플리케이션을 사용하여 획득될 수 있다.
본 개시내용의 특정 실시예들에 따르면, 오디오 시스템(200)의 하나의 목적은 촉각 자극을 통해 오디오 경험을 증강하는 것일 수 있다. 오디오 신호들을 전달하기 위해 귀의 귓바퀴에 하나 이상의 연골 전도 변환기들을 갖는 변환기 어레이(210)를 갖는 오디오 시스템(200)의 경우, 하나 이상의 연골 전도 변환기들은 또한 촉각 감각을 생성할 수 있다. 촉각 감각들은 오디오 전달의 부산물(by-product)일 수 있다. 대안적으로, 촉각 감각은, 예를 들어 정의된 임계값 미만의 진폭들을 갖는 신호들과 같은, 촉각만의 신호들로서 능동적으로 제어될 수 있다.
일부 실시예들에서, 촉각 제어 모듈(285)은 시각(vision)에 지장을 주거나 다른 오디오 콘텐트, 예를 들어 전화 통화를 방해하지 않고서 내비게이션 신호들을 전달하기 위해 변환기 어레이(210)의 적어도 하나의 변환기의 작동을 통해 사용자에게 전달되는 촉각 콘텐트를 제어한다. 내비게이션 정보가 포함된 제어된 촉각 콘텐트는 사용자에게 전달되는 콘텐트뿐일 수 있고, 오디오 콘텐트와 함께 전달될 수도 있다. 하나 이상의 실시예들에서, 드라이버의 해당하는 귀에 결합된 적어도 하나의 연골 전도에 적용되는 촉각 신호는 적절한 내비게이션 지시를 제공할 수 있다. 예를 들어, 오른쪽 귀에서의 버즈(buzz)는 우회전 지시를 전달할 수 있고, 왼쪽 귀에서의 버즈는 좌회전 지시를 전달할 수 있으며, 양쪽 귀에서의 버즈는 "직진" 지시를 전달할 수 있다. 버즈는 간헐적이거나 지속적일 수 있다. 일 실시예에서, 버즈는 사용자가 회전해야 하는 교차로에 더 가까이 이동함에 따라 약하게 시작해서 더 강하게 될 수 있다. 해당하는 귀에 적용되는 간헐적인 버즈(intermitted buzz)(예를 들어, 시간이 지남에 따라 약해짐)는 사용자가 회전을 놓쳤다는 정보를 전달할 수 있다. 촉각 제어 모듈(285)은 예를 들어, 사용자의 모바일 디바이스에서 이용 가능한 제3자 내비게이션 앱들으로부터 사용자 위치 및 이동 방향에 관한 정보를 가질 수 있다. 대안적으로, 촉각 제어 모듈(285)은 매핑 서버로부터 위치 및 맵을 활용할 수 있고, 매핑 서버는 촉각 콘텐트를 적절하게 제어하는 내비게이션 지시들을 생성하고 촉각 제어 모듈(285)에 제공할 수 있다.
일부 다른 실시예들에서, 촉각 제어 모듈(285)은 예를 들어 오디오 콘텐트와 함께 사용자에게 제공된 촉각 콘텐트를 제어함으로써 음성 명료도를 강화시킨다. 예를 들어, 촉각 자극은 'b' 및 'p'와 같은 비격음 음절(non-aspirated syllables)의 듣기를 향상시키도록 전달될 수 있다.　 그러한 경우에, 촉각 자극은 예를 들어 듣기를 증강시키기 위한 진동 촉각 인터페이스(vibrotactile interfaces)에 의해 전달될 수 있다.
일부 다른 실시예들에서, 능동적으로 제어되는 촉각 신호들은 근거리 효과를 생성하기 위해 사용될 수 있다. 촉각 제어 모듈(285)은 촉각 콘텐트를 제어함으로써 정의된 레벨의 근거리 효과를 갖는 오디오 콘텐트를 생성하도록 구성될 수 있다. 일 실시예에서, 촉각 제어 모듈(285)은 귀 주위에서의 가상 모스키토 버징(virtual mosquito buzzing)의 보다 현실적인 지각과 같은 근거리 효과를 생성하기 위해 촉각 콘텐트를 제어할 수 있다. 다른 실시예들에서, 촉각 제어 모듈(285)은 사용자의 귀에 가까이에서 속삭이는 사람, 예를 들어, 어떤 다른 사람 또는 가상 어시스턴트(virtual assistant)의 숨결과 같은 근거리장 효과를 생성하기 위해 촉각 콘텐트를 제어할 수 있다.
일반적으로, 오디션(즉, 듣기의 행위)은 음성 지각을 위한 접촉(touch)과 통합된다. 예를 들어, 'b'와 같은 비격음 음절은 목이나 손목의 공기 퍼프(air-puffs)와 동기화될 때 격음 'p'로 들릴 가능성이 더 크다.　 실생활의 시나리오에서, 촉각 자극은 공기 퍼프 대신에 진동 촉각 인터페이스를 통해 전달되어 듣기를 증강시킬 수 있다. 예를 들어, 시끄러운 환경에서, 주의하여 전달된 촉각 자극은 음성 지각을 개선하기 위해 사용될 수 있다. 따라서, 촉각 자극의 선호되는 레벨을 전달하기 위해, 촉각 제어 모듈(285)은 사용자가 주목하고 있는 음성 신호들을 디코딩하기 위해 자연어 처리(NLP: natural language processing)를 수행할 수 있다. 그러면, 촉각 제어 모듈(285)은 디코딩된 음성 신호들에 기초하여 촉각 자극을 적절하게 조정할 수 있다.
일부 실시예들에서, 촉각 자극은 또한 오디션을 위해 설계된 디바이스들에 의해 전달될 수 있다. 예를 들어, 변환기 어레이(210)의 연골 전도 및 골전도 변환기들은 촉각 감각을 유도하는 진동들(예를 들어, 특히 주파수 스펙트럼의 저단(low-end)에서)을 전달할 수 있다. 이러한 기생 신호들은 또한 음성 지각을 증강시키기 위해 이용될 수도 있다. 촉각 제어 모듈(285)은 촉각 감각의 강도를 증가 또는 감소하기 위해, 예를 들어 'p'를 더 이해하기 쉽게 하도록 스펙트럼의 저단을 증폭시키고 'b'에 대해서는 감소시키기 위해 특정 음향 신호들의 스펙트럼 콘텐트를 변경함으로써 사용자에게 제공하기 위한 촉각 콘텐트를 제어할 수 있다. 하나 이상의 실시예들에서, 촉각 제어 모듈(285)은 예를 들어, 데이터 저장소(235)에 저장되고 센서 어레이(220)에 의해 검출된 사운드들에 적어도 부분적으로 기초하여 생성된 지각 모델에 기초하여 스펙트럼 콘텐트의 변경을 수행한다.
하나 이상의 다른 실시예들에서, 촉각 제어 모듈(285)은 오디오 신호의 주파수 스펙트럼의 부분을 강화시킴으로써 사용자에게 제공하기 위한 촉각 콘텐트를 제어한다. 귀에 접촉 변환기들(예를 들어, 조직 변환기들(170))이 있는 머리 착용형 AR 안경의 경우, 마이크로폰 어레이(예를 들어, 음향 센서들(180)의 어레이)에 의해 캡처된 신호들은 음향 및 촉각 콘텐트의 정의된 조합으로 자연적인 사운드 소스들(예를 들어, 다른 화자)을 보강하기 위해 촉각 제어 모듈(285)에 의해 사용될 수 있다. 또는, 촉각 제어 모듈(285)은 자연적인 사운드 소스들을 보강하기 위해 하나의 양태(음향 또는 촉각)만을 통해 주파수 스펙트럼의 일부의 선택적 강화를 수행할 수 있다.
일부 실시예들에서, 촉각 제어 모듈(285)은 예를 들어 텔레프레즌스(telepresence)에서 촉각 콘텐트를 제어함으로써 사운드 소스를 강화시킨다. 예를 들어, 촉각 제어 모듈(285)은 (실제 속삭임이 촉각 감각을 유도하지 않을 수 있음에도 불구하고) 속삭이는 것을 지각적으로 더 몰입적이고 사실적으로 만들기 위해 촉각 콘텐트를 제어할 수 있다. 촉각 제어 모듈(285)에 의해 강화된 사운드 소스는 사용자로부터 멀리 떨어진 위치에 위치할 수 있다. 사운드 소스는 가상의 사운드 소스일 수 있으며, 예를 들어 사용자의 어깨에 있는 가상의 어시스턴트 또는 가상의 비행 곤충(virtual flying insect)일 수 있다. 대안적으로, 사운드 소스들은 사용자에게 방향 정보를 제공하기 위한 촉각 버징과 같이 추상적일 수 있다.
일부 실시예들에서, 촉각 제어 모듈(285)은 오디오 신호에 대한 촉각 강화를 수행하여 사용자에게 제공하기 위한 촉각 콘텐트를 갖는 오디오 콘텐트를 생성한다. 먼저, 음향 신호가 (예를 들어, 센서 어레이(220)에 의해) 기록되거나 (예를 들어, 촉각 제어 모듈(285)에 의해) 생성될 수 있다. 그 후, 촉각 제어 모듈(285)은 예를 들어, 음성 분할, 주파수 선택 필터링, 특징 추출, 일부 다른 프로세싱 기술, 또는 이들의 조합을 적용함으로써 촉각 강화를 위해 음향 신호를 처리할 수 있다. 그리고, 촉각 제어 모듈(285)은 처리된 음향 신호에 기초하여 촉각 자극을 생성할 수 있다. 대안적으로, 촉각 제어 모듈(285)은 오디오 콘텐트가 사용자에게 전달될 때 촉각 감각을 생성하기 위해 오디오 신호를 필터링할 수 있다. 음향 신호들과 함께 촉각 신호들은 귀 근처에 위치한 변환기 어레이(210)의 접촉 변환기들을 통해, 예를 들어, 이주 또는 귓바퀴에 결합된 연골 전도 변환기에 의해 또는 골전도 변환기에 의해 전달될 수 있다.
일부 실시예들에서, 센서 어레이(220)는 오디오 콘텐트를 사용자에게 제공할 때 변환기 어레이(210) 내의 적어도 하나의 변환기(예를 들어, 연골 전도 변환기)에 의해 생성된 사운드들을 검출한다. 촉각 제어 모듈(285)은 예를 들어 음향 압력파의 연골 전도로 인해 검출된 사운드들의 열화 레벨을 검출할 수 있다. 그 다음, 촉각 제어 모듈(285)은 검출된 열화 레벨에 기초하여 오디오 신호의 음향 콘텐트의 열화를 완화하기 위해 오디오 신호를 처리할 수 있다. 일부 실시예들에서, 촉각 제어 모듈(285)은 검출된 사운드들에 대해 기계 학습을 수행하여 분류기(classifier)를 트레이닝한다. 촉각 제어 모듈(285)은 검출된 사운드들의 유형들 및 특징들에 기초하여 검출된 사운드들을 상이한 클래스들(즉, 상이한 열화 유형들)로 분류하기 위해 트레이닝된 분류기를 적용할 수 있다. 촉각 제어 모듈(285)은 또한 특정 열화 유형이 임계값 레벨을 초과하는 경우 사용자에게 경고할 수 있다.
도 2b는 하나 이상의 실시예들에 따라, 주파수의 함수로서, 예를 들어 오디오 시스템(200)의 변환기 어레이(210)의 변환기에 대한 평균 촉각 임계값 레벨을 나타내는 예시적인 그래프(290)이다. 도 2b에 도시된 곡선(295)은 촉각 콘텐트의 주파수의 함수로서 평균 촉각 임계값 레벨(예를 들어, 음압 레벨(SPL)로 표시됨)을 나타낸다. 그래프(290)는 제공된 콘텐트의 가청도 및 촉각 감각 모두에 대한 임계값 레벨들을 나타낸다. 곡선(295) 아래의 SPL 값들은 특정 주파수에 대한 촉각 콘텐트의 부분이 '평균 사용자'에 의해 인지되지 않는 경우에 대응한다. 곡선(295) 이상의 SPL 값들은 촉각 콘텐트의 부분이 "평균 사용자"에 의해 인지되는 경우에 대응한다. 예를 들어, 그래프(290)는 200Hz에서 연골 전도 변환기에 의해 생성된 SPL이 약 80dB 이상이면 "평균 사용자"가 오디오와 촉각을 동시에 인지한다는 것을 보여준다. 즉, 사용자는 들을 수 있을 뿐만 아니라 감각을 느낄 수 있다.
촉각 임계값 곡선(295)은 사용자 그룹에 대한 촉각 임계값들을 평균화함으로써 사용자 그룹에 대해 수집된 촉각 임계값 데이터에 기초한다. 예시된 실시예들에서, SPL의 dB 레벨로 표현되는 촉각 임계값 데이터는 각 사용자의 귀의 동일한 위치에 배치된 특정(예를 들어, 맞춤형) 연골 전도 변환기를 사용하여 획득된다. 그리고 연골 전도 변환기에 대한 여기 레벨(excitation level)은 인지된 오디오가 바이모달(bi-modal), 즉 오디오 콘텐트 및 촉각 콘텐트를 포함하는 바이모달이 될 때까지 점진적으로 증가된다. 예를 들어, 각 사용자의 피부와 공기로 전달되는 에너지의 양에 기초하여 상이한 연골 전도 변환기들을 사용함으로써 도 2b의 것과는 상이한 촉각 임계값 곡선들이 생성될 수 있다는 점에 유의해야 한다. 또한, SPL과 촉각 감각 사이의 관계는 SPL이 상이한 변환기 디바이스들을 사용하여 측정될 때 다를 수 있다.
도 2b의 촉각 임계값 곡선(295)은 더 낮은 주파수에서 더 높은 주파수에 대한 것보다 촉각 영역에 있을 확률이 더 높다는 것을 보여준다. 그래프(290)에 도시된 촉각 임계값 데이터는 예를 들어 외이도 입구에 배치된 마이크로폰을 사용하여 획득된다. 귓바퀴와 접촉하는 가속도계를 사용하면 유사한 임계값 곡선이 얻어질 수 있다. 그러한 경우, 촉각 임계값 데이터는 콘텐트가 들려질 수 있게 되고 느낄질 수 있게 되는 경우에 대한 가속 임계값을 나타낸다. 가속 임계값은 속도에 관한 정보로 변환되거나(예를 들어, 통합에 의해) 또는 조직 변위(tissue displacement)에 관한 정보로 변환될 수 있다(예를 들어, 이중 통합에 의해). 다른 실시예들(도 2b에 도시되지 않음)에서, 골전도 및 공기 전도에 대해 유사한 곡선들이 얻어질 수 있다.
도 3은 하나 이상의 실시예들에 따라 오디오 콘텐트를 제공하는 동안 촉각 콘텐트의 레벨을 조정하기 위한 방법(300)의 흐름도이다. 도 3에 도시된 프로세스는 오디오 시스템(예를 들어, 오디오 시스템(200))의 구성요소들에 의해 수행될 수 있다. 다른 엔티티들은 다른 실시예들에서 도 3의 단계들의 일부 또는 전부를 수행할 수 있다. 실시예들은 상이한 및/또는 추가 단계들을 포함하거나 상이한 순서들로 그 단계들을 수행할 수 있다. 오디오 시스템은 헤드셋의 일부일 수 있다.
오디오 시스템은 변환기 어레이의 변환기에 의해 생성된 사운드들을 (예를 들어, 센서 어레이(220)를 통해) 검출한다(310). 오디오 시스템은 예를 들어 조직에 결합되거나 조직에 위치된 하나 이상의 센서들을 통해 사용자의 조직 내의 촉각 감각을 검출할 수 있다. 대안적으로 또는 추가적으로, 오디오 시스템은 사용자에게 오디오를 제공할 때 변환기에 의해 생성된 음압 및/또는 가속도를 모니터링할 수 있다. 오디오 시스템은 정의된 주파수에 대한 오디오 콘텐트의 진폭이 촉각 임계값 레벨 미만이 되도록 모니터링된 음압 및/또는 가속도에 기초하여 사용자에게 제공되는 오디오를 제어할 수 있다. 임계값 레벨 미만의 진폭 값들은 주파수에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 오디오에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 오디오에 대응한다.
오디오 시스템은 주파수 대역 내에서 검출된 사운드들의 부분에 기초하여 주파수 대역에 대한 변환기의 작동 파라미터에 대한 촉각 임계값 레벨을 유도한다(320). 촉각 임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동의 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응한다. 일부 실시예들에서, 오디오 시스템은 정의된 임계 주파수 미만의 주파수 대역에서 검출된 사운드의 부분에 기초하여 사용자에 대한 변환기의 감도 레벨을 추정한다. 오디오 시스템은 추정된 감도 레벨에 기초하여 작동 파라미터들에 대한 임계값 레벨을 유도한다. 일부 다른 실시예들에서, 오디오 시스템은 예를 들어 사용자의 조직 내에 위치된 센서 어레이(220)의 하나 이상의 센서들에 의해 검출된 촉각 감각에 기초하여 작동 파라미터에 대한 임계값 레벨을 유도한다.
일부 실시예들에서, 전달된 촉각 콘텐트의 복수의 주파수 대역들에 대한 음향 환경 및/또는 특정 사용자에 대한 검출된 촉각 감각에 기초하여, 오디오 시스템은 지각 모델을 생성하도록 교정된다. 지각 모델은 변환기를 작동시키기 위한 주파수 대역(또는 주파수들)의 함수로서 작동 파라미터(예를 들어, 입력 전압)에 대한 촉각 임계값 레벨에 관한 정보를 포함할 수 있다. 지각 모델은 복수의 사용자들 및/또는 복수의 음향 환경들에 대해 일치할 수 있다. 대안적으로, 지각 모델은 특정 사용자 및/또는 특정 음향 환경에 대해 고유할 수 있다.
오디오 시스템은 오디오 콘텐트를 사용자에게 제공하는 동안 변환기 어레이의 변환기의 작동을 통해 사용자에게 전달되는 촉각 콘텐트의 레벨을 (예를 들어, 촉각 제어 모듈(285)을 통해) 조정한다(330). 오디오 시스템은 특정 주파수 대역에 대한 촉각 임계값 레벨에 대한 변환기의 작동 파라미터(즉, 전압 또는 전류와 같은 작동 신호의 레벨)를 조정함으로써 촉각 콘텐트의 레벨을 조정할 수 있다. 일부 실시예들에서, 오디오 시스템은 특정 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않도록 변환기를 작동할 때 작동 파라미터를 촉각 임계값 레벨 미만이 되도록 조정한다. 오디오 시스템은 지각 모델에 기초하여 촉각 콘텐트의 레벨을 조정할 수 있다.
오디오 시스템은 오디오 콘텐트를 사용자에게 제공하도록 변환기에 지시하고, 여기서 오디오 콘텐트는 촉각 콘텐트의 조정된 레벨을 포함한다(340). 오디오 시스템(예를 들어, 촉각 제어 모듈(285))은 변환기의 액츄에이터에 주파수 대역에 대한 촉각 임계값 레벨 미만인 주파수 대역에 대한 작동 파라미터 레벨(예를 들어, 입력 전압 레벨)을 적용하여, 상기 주파수 대역에 대한 어떠한 촉각 감각도 사용자에 의해 인지되지 않도록 할 수 있다.
도 4는 하나 이상의 실시예들에 따라 사용자에게 제공되는 촉각 콘텐트를 제어하기 위한 방법(400)의 흐름도이다. 도 4에 도시된 프로세스는 오디오 시스템(예를 들어, 오디오 시스템(200))의 구성요소들에 의해 수행될 수 있다. 다른 엔티티들은 다른 실시예들에서 도 4의 단계들의 일부 또는 전부를 수행할 수 있다. 실시예들은 상이한 및/또는 추가 단계들을 포함하거나 상이한 순서들로 그 단계들을 수행할 수 있다. 오디오 시스템은 헤드셋의 일부일 수 있다.
오디오 시스템은 오디오 콘텐트를 사용자에게 제공하는 동안 변환기 어레이의 적어도 하나의 변환기의 작동을 통해 사용자에게 전달되는 촉각 콘텐트의 양을 (예를 들어, 촉각 제어 모듈(285)을 통해) 제어한다(410). 오디오 시스템은 제어된 촉각 콘텐트를 사용함으로써 내비게이션 정보를 제공할 수 있다. 또한, 오디오 시스템은 제공된 오디오 콘텐트 내의 촉각 콘텐트의 양을 제어함으로써 사용자에게 제공된 오디오 콘텐트에 대한 음성 명료도를 증가시킬 수 있다. 대안적으로 또는 추가적으로, 오디오 시스템은 제공된 오디오 콘텐트 내의 촉각 콘텐트의 양을 제어함으로써 정의된 레벨의 근거리 효과를 갖는 오디오 콘텐트를 생성할 수 있다.
일부 실시예들에서, 오디오 시스템은 (예를 들어, 데이터 저장소(235)에 저장된) 지각 모델에 기초하여 입력 오디오 신호의 스펙트럼 콘텐트를 변경함으로써 오디오 콘텐트를 생성할 때 촉각 콘텐트의 양을 제어한다. 오디오 시스템은 변환기 어레이에 의해 생성된 사운드들을 (예를 들어, 센서 어레이를 통해) 검출할 수 있다. 오디오 시스템은 검출된 사운드들에 관한 정보를 지각 모델에 입력하여 촉각 콘텐트의 레벨을 조정할 수 있다. 일부 다른 실시예들에서, 오디오 시스템은 사용자에게 제공하기 위한 오디오 콘텐트를 생성할 때 오디오 신호의 주파수 스펙트럼의 부분을 강화함으로써 촉각 콘텐트를 제어한다. 또 다른 일부 실시예들에서, 오디오 시스템은 촉각 콘텐트를 제어함으로써 사운드 소스를 강화시키며, 여기서 사운드 소스(예를 들어, 가상 사운드 소스)는 사용자로부터 멀리 떨어진 위치에 위치된다.
일부 실시예들에서, 오디오 컨트롤러는 입력 오디오 신호에 대해 촉각 강화를 수행하여 사용자에게 제공하기 위한 촉각 콘텐트를 갖는 오디오 콘텐트를 생성한다. 일부 다른 실시예들에서, 오디오 시스템은 적어도 하나의 연골 전도 변환기를 포함하는 변환기 어레이에 의해 생성된 사운드들을 (예를 들어, 센서 어레이를 통해) 검출한다. 오디오 시스템은 예를 들어 음향 압력파의 연골 전도로 인해 검출된 사운드들의 열화 레벨을 검출할 수 있다. 오디오 시스템은 검출된 열화 레벨에 기초하여 사용자에게 제공하기 위한 오디오 콘텐트의 음향 콘텐트의 열화를 완화하기 위해 오디오 신호를 처리할 수 있다.
오디오 시스템은 오디오 콘텐트를 사용자에게 제공하도록 변환기 어레이에 지시하고, 여기서 오디오 콘텐트는 촉각 콘텐트를 포함한다(420). 일부 실시예들에서, 오디오 시스템은 촉각 콘텐트를 사용하여 사용자에게 내비게이션 지시들을 제공한다. 변환기 어레이는 복수의 연골 전도 변환기들을 포함할 수 있고, 연골 전도 변환기들 중 적어도 하나는 사용자의 해당하는 귀에 부착된다. 오디오 시스템은 예를 들어 사용자에게 내비게이션 지시들을 제공하기 위해 적어도 하나의 연골 전도 변환기를 통해 해당하는 귀에 촉각 콘텐트를 적용한다.
시스템 환경
도 5는 하나 이상의 실시예들에 따라, 헤드셋(505)을 포함하는 시스템(500)이다. 일부 실시예들에서, 헤드셋(505)은 도 1a의 헤드셋(100) 또는 도 1b의 헤드셋(105)일 수 있다. 시스템(500)은 인공 현실 환경(예를 들어, 가상 현실 환경, 증강 현실 환경, 혼합 현실 환경, 또는 이들의 일부 조합)에서 동작할 수 있다. 도 5에 도시된 시스템(500)은 헤드셋(505), 콘솔(515)에 결합된 입력/출력(I/O) 인터페이스(510), 네트워크(520), 및 매핑 서버(525)를 포함한다. 도 5는 하나의 헤드셋(505) 및 하나의 I/O 인터페이스(510)를 포함하는 예시적인 시스템(500)을 도시하지만, 다른 실시예들에서는, 임의의 수의 이러한 구성요소들이 시스템(500)에 포함될 수 있다. 예를 들어, 다수의 헤드셋들이 있을 수 있으며, 이들 각각은 연관된 I/O 인터페이스(510)를 갖고, 각각의 헤드셋 및 I/O 인터페이스(510)는 콘솔(515)과 통신한다. 대안적인 구성들에서, 상이한 및/또는 추가의 구성요소들이 시스템(500)에 포함될 수 있다. 추가적으로, 도 5에 도시된 하나 이상의 구성요소와 관련하여 기술된 기능은 일부 실시예들에서 도 5와 관련하여 기술된 것과 다른 방식으로 구성요소들 사이에 분산될 수 있다. 예를 들어, 콘솔(515)의 기능의 일부 또는 전부는 헤드셋(505)에 의해 제공될 수 있다.
헤드셋(505)은 디스플레이 어셈블리(530), 광학 블록(535), 하나 이상의 포지션 센서들(540), 및 DCA(545)를 포함한다. 헤드셋(505)의 일부 실시예들은 도 5와 관련하여 설명된 것들과 상이한 구성 요소들을 갖는다. 추가로, 도 5와 관련하여 기술된 다양한 구성 요소들에 의해 제공되는 기능은 다른 실시예들에서 헤드셋(505)의 구성요소들 사이에서 상이하게 분포될 수 있거나, 또는 헤드셋(505)로부터 멀리 떨어진 별도의 어셈블리들에서 캡처될 수 있다.
디스플레이 어셈블리(530)는 콘솔(515)로부터 수신된 데이터에 따라 사용자에게 콘텐츠를 디스플레이한다. 디스플레이 어셈블리(530)는 하나 이상의 디스플레이 요소들(예를 들어, 디스플레이 요소들(120))을 사용하여 콘텐트를 디스플레이한다. 디스플레이 요소는 예를 들어 전자 디스플레이일 수 있다. 다양한 실시예들에서, 디스플레이 어셈블리(530)는 단일 디스플레이 요소 또는 다중 디스플레이 요소들(예를 들어, 사용자의 각각의 눈에 대한 디스플레이)을 포함한다. 전자 디스플레이의 예들은 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이, 액티브 매트릭스 유기 발광 다이오드 디스플레이(AMOLED), 도파관 디스플레이, 일부 다른 디스플레이, 또는 이들의 일부 조합을 포함한다. 일부 실시예들에서, 디스플레이 요소(120)는 또한 광학 블록(535)의 기능의 일부 또는 전부를 포함할 수 있음에 유의해야 한다.
광학 블록(535)은 전자 디스플레이로부터 수신된 이미지 광을 확대하고, 이미지 광과 연관된 광학 에러들을 수정하고, 수정된 이미지 광을 헤드셋(505)의 한쪽 또는 양쪽 아이박스에 제공할 수 있다. 다양한 실시예들에서, 광학 블록(535)은 하나 이상의 광학 요소들을 포함한다. 광학 블록(535)에 포함된 예시적인 광학 요소들은: 조리개, 프레넬 렌즈(Fresnel lens), 볼록 렌즈, 오목 렌즈, 필터, 반사면, 또는 이미지 광에 영향을 주는 임의의 다른 적절한 광학 요소를 포함한다. 더욱이, 광학 블록(535)은 상이한 광학 소자들의 조합을 포함할 수 있다. 일부 실시예들에서, 광학 블록(535)의 광학 소자들 중 하나 이상은 부분 반사 또는 반사 방지 코팅들과 같은 하나 이상의 코팅을 가질 수 있다.
광학 블록(535)에 의한 이미지 광의 확대 및 포커싱은 전자 디스플레이가 물리적으로 더 작게 되도록 하고, 더 가볍게 되도록 하고, 더 큰 디스플레이보다 더 적은 전력을 소비하게 한다. 추가적으로, 확대는 전자 디스플레이에 의해 제공된 콘텐츠의 시야를 증가시킬 수 있다. 예를 들어, 디스플레이된 콘텐츠의 시야는 디스플레이된 콘텐츠가 사용자 시야의 거의 모두(예를 들어, 약 110도 대각선)를 사용하여 제공되고, 일부 경우들에서는 사용자 시야의 모두를 사용하여 제공되도록 된다. 추가적으로, 일부 실시예들에서, 확대는 광학 요소들을 추가하거나 제거함으로써 조정될 수 있다.
일부 실시예들에서, 광학 블록(535)은 하나 이상의 광학 에러 유형을 수정하도록 설계될 수 있다. 광학 에러의 예들은 배럴 또는 핀쿠션 왜곡(barrel or pincushion distortion), 세로 색수차 또는 가로 색수차를 포함한다. 광학 에러의 다른 유형들은 구면 수차, 색수차, 또는 렌즈 상면 만곡(lens field curvature), 난시 또는 광학 에러의 기타 유형으로 인한 에러들을 더 포함할 수 있다. 일부 실시예들에서, 디스플레이를 위해 전자 디스플레이에 제공된 콘텐트는 사전 왜곡되고(pre-distorted), 광학 블록(535)은 콘텐트에 기초하여 발생된 전자 디스플레이로부터의 이미지 광을 수신할 때 왜곡을 수정한다.
포지션 센서(540)는 헤드셋(505)의 포지션을 나타내는 데이터를 생성하는 전자 디바이스이다. 포지션 센서(540)는 헤드셋(505)의 움직임에 응답하여 하나 이상의 측정 신호들을 생성한다. 포지션 센서(190)는 포지션 센서(540)의 실시예이다. 포지션 센서(540)의 예들은 하나 이상의 IMU, 하나 이상의 가속도계, 하나 이상의 자이로스코프, 하나 이상의 자력계, 움직임을 검출하는 다른 적합한 유형의 센서, 또는 이들의 일부 조합을 포함한다. 포지션 센서(540)는 병진 운동(전진/후퇴, 상/하, 좌/우)을 측정하기 위한 다중 가속도계들 및 회전 운동(예를 들어, 피치(pitch), 요(yaw), 및 롤(roll))을 측정하기 위한 다중 자이로스코프들을 포함한다. 일부 실시예들에서, IMU는 측정 신호들을 빠르게 샘플링하고, 샘플링된 데이터로부터 헤드셋(505)의 추정된 포지션을 계산한다. 예를 들어, IMU는 속도 벡터를 추정하기 위해 시간에 걸쳐 가속도계들로부터 수신된 측정 신호들을 통합하고, 헤드셋(505) 상의 기준 지점의 추정된 포지션을 결정하기 위해 시간에 걸쳐 속도 벡터를 통합한다. 기준 지점은 헤드셋(505)의 포지션을 나타내는 데 사용될 수 있는 지점이다. 기준 지점은 일반적으로 공간의 한 지점으로 정의될 수 있지만, 실제로 기준 지점은 헤드셋(505) 내의 지점으로서 정의된다.
DCA(545)는 로컬 영역의 일부에 대한 깊이 정보를 생성한다. DCA는 하나 이상의 이미징 디바이스 및 DCA 컨트롤러를 포함한다. DCA(545)는 또한 조명기를 포함할 수 있다. DCA(545)의 동작 및 구조는 도 1a와 관련하여 위에서 설명되었다.
오디오 시스템(550)은 헤드셋(505)의 사용자에게 오디오 콘텐트를 제공한다. 오디오 시스템(550)은 위에서 설명된 오디오 시스템(200)과 실질적으로 동일하다. 오디오 시스템(550)은 하나 이상의 음향 센서, 하나 이상의 변환기, 및 오디오 컨트롤러를 포함할 수 있다. 오디오 시스템(550)은 공간화된 오디오 콘텐트를 사용자에게 제공할 수 있다. 일부 실시예들에서, 오디오 시스템(550)은 네트워크(520)를 통해 매핑 서버(525)로부터 음향 파라미터들을 요청할 수 있다. 음향 파라미터들은 로컬 영역의 하나 이상의 음향 속성(예를 들어, 실내 충격 응답, 잔향 시간, 잔향 레벨 등)을 설명한다. 오디오 시스템(550)은 또한 매핑 서버(525)로부터 내비게이션 지시들을 요청할 수 있다. 예를 들어, 헤드셋(505)을 착용한 사용자는 목적지 정보를 제공할 수 있고, 매핑 서버(525)는 사용자의 위치, 제공되는 목적지, 및 지역의 모델을 이용하여 내비게이션 지시들을 생성할 수 있다. 오디오 시스템(550)은 예를 들어 DCA(545)로부터 로컬 영역의 적어도 일부를 설명하는 정보 및/또는 포지션 센서(540)로부터 헤드셋(505)에 대한 위치 정보를 제공할 수 있다. 오디오 시스템(550)은 매핑 서버(525)로부터 수신된 하나 이상의 음향 파라미터를 사용하여 하나 이상의 사운드 필터를 생성할 수 있고, 사용자에게 오디오 콘텐트를 제공하기 위해 사운드 필터들을 사용할 수 있다.
일부 실시예들에서, 오디오 시스템(550)은, 예를 들어, 오디오 콘텐트를 사용자에게 제공하는 동안, 하나 이상의 변환기들의 작동을 통해 사용자에게 전달되는 촉각 콘텐트의 레벨을 조정하기 위해 하나 이상의 변환기들을 제어한다. 오디오 시스템(550)은 임계값 레벨에 대한 주파수 대역에 대한 하나 이상의 변환기들의 작동 파라미터를 조정함으로써 촉각 콘텐트의 레벨을 조정할 수 있다. 임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동의 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응한다.
일부 다른 실시예들에서, 오디오 시스템(550)은 변환기 어레이의 적어도 하나의 변환기의 작동을 통해 사용자에게 전달되는 촉각 콘텐트를 제어한다. 오디오 시스템(550)은 예를 들어 하나 이상의 변환기들을 통해 제어된 촉각 콘텐트를 사용자에게 제공한다. 오디오 시스템(550)은 예를 들어, 귀에 부착된 적어도 하나의 연골 전도 변환기를 통해 사용자의 해당하는 귀에 촉각 콘텐트를 적용함으로써 촉각 콘텐트를 사용하여 사용자에게 내비게이션 지시들을 제공할 수 있다. 오디오 시스템(550)은 또한 촉각 콘텐트를 제어함으로써 사용자에게 제공되는 오디오 콘텐트에 대한 음성 명료도를 증가시킬 수 있다. 대안적으로 또는 추가적으로, 오디오 시스템(550)은 촉각 콘텐트를 제어함으로써 정의된 레벨의 근거리 전계 효과를 갖는 오디오 콘텐트를 생성할 수 있다.
I/O 인터페이스(510)는 사용자가 동작 요청들(action requests)을 보내고 콘솔(515)로부터 응답들을 수신하도록 허용하는 디바이스이다. 동작 요청은 특정 동작을 수행하기 위한 요청이다. 예를 들어, 동작 요청은 이미지 또는 비디오 데이터의 시작 또는 종료를 위한 지시, 또는 애플리케이션 내에서의 특정 동작을 수행하기 위한 지시일 수 있다. I/O 인터페이스(510)는 하나 이상의 입력 디바이스를 포함할 수 있다. 예시적인 입력 디바이스들은: 키보드, 마우스, 게임 컨트롤러, 또는 동작 요청들을 수신하고 동작 요청들을 콘솔(515)에 전달하기 위한 임의의 다른 적절한 디바이스를 포함한다. I/O 인터페이스(510)에 의해 수신된 동작 요청은 그 동작 요청에 대응하는 동작을 수행하는 콘솔(515)로 전달된다. 일부 실시예들에서, I/O 인터페이스(510)는 I/O 인터페이스(510)의 초기 포지션에 대한 I/O 인터페이스(510)의 추정된 포지션을 나타내는 교정 데이터를 캡처하는 IMU를 포함한다. 일부 실시예들에서, I/O 인터페이스(510)는 콘솔(515)로부터 수신된 지시들에 따라 사용자에게 햅틱 피드백을 제공할 수 있다. 예를 들어, 동작 요청이 수신될 때 햅틱 피드백이 제공되거나, 콘솔(515)이 동작을 수행할 때 I/O 인터페이스(510)가 햅틱 피드백을 발생시키게 하는 지시들을 콘솔(515)이 I/O 인터페이스(510)에 전달한다.
콘솔(515)은 DCA(545), 헤드셋(505), 및 I/O 인터페이스(510) 중 하나 이상으로부터 수신된 정보에 따라 처리하기 위해 콘텐츠를 헤드셋(505)에 제공한다. 도 5에 도시된 예에서, 콘솔(515)은 애플리케이션 저장소(555), 추적 모듈(560), 및 엔진(565)을 포함한다. 콘솔(515)의 일부 실시예들은 도 5와 관련하여 기술된 것들과는 다른 모듈들 또는 구성요소들을 갖는다. 유사하게, 아래에서 추가로 설명되는 기능들은 도 5와 관련하여 기술된 것과 다른 방식으로 콘솔(515)의 구성요소들 사이에 분산될 수 있다. 일부 실시예들에서, 콘솔(515)과 관련하여 본 명세서에서 논의된 기능은 헤드셋(505) 또는 원격 시스템에서 구현될 수 있다.
애플리케이션 저장소(555)는 콘솔(515)에 의해 실행하기 위한 하나 이상의 애플리케이션을 저장한다. 애플리케이션은 프로세서에 의해 실행될 때 사용자에 제공하기 위한 콘텐트를 생성하는 지시들의 그룹이다. 애플리케이션에 의해 발생된 콘텐트는 헤드셋(505) 또는 I/O 인터페이스(510)의 움직임을 통해 사용자로부터 수신된 입력들에 응답할 수 있다. 애플리케이션들의 예들은: 게임 애플리케이션들, 회의 애플리케이션들, 비디오 재생 애플리케이션들, 또는 다른 적절한 애플리케이션들을 포함한다.
추적 모듈(560)은 DCA(545), 하나 이상의 포지션 센서(540), 또는 이들의 일부 조합으로부터의 정보를 사용하여 헤드셋(505) 또는 I/O 인터페이스(510)의 움직임을 추적한다. 예를 들어, 추적 모듈(560)은 헤드셋(505)으로부터의 정보에 기초하여 로컬 영역의 매핑에서 헤드셋(505)의 기준 지점의 포지션을 결정한다. 추적 모듈(560)은 또한 물체 또는 가상 물체의 포지션들을 결정할 수 있다. 추가적으로, 일부 실시예들에서, 추적 모듈(560)은 헤드셋(505)의 미래 위치를 예측하기 위해 DCA(545)로부터의 로컬 영역의 표현뿐만 아니라 포지션 센서(540)로부터의 헤드셋(505)의 포지션을 나타내는 데이터의 부분들을 사용할 수 있다. 추적 모듈(560)은 헤드셋(505) 또는 I/O 인터페이스(510)의 추정된 또는 예측된 미래 포지션을 엔진(565)에 제공한다.
엔진(565)은 또한 애플리케이션들을 실행하고, 추적 모듈(560)로부터 헤드셋(505)의 포지션 정보, 가속도 정보, 속도 정보, 예측된 미래 포지션들, 또는 이들의 일부 조합을 수신한다. 수신된 정보에 기초하여, 엔진(565)은 사용자에게 제공하기 위해 헤드셋(505)에 제공할 콘텐트를 결정한다. 예를 들어, 수신된 정보가 사용자가 왼쪽을 봤다는 것을 나타내면, 엔진(565)은 가상 로컬 영역에서 또는 추가 콘텐트로 로컬 영역을 증강하는 로컬 영역에서 사용자의 움직임을 미러링하는 헤드셋(505)에 대한 콘텐트를 발생시킨다. 추가적으로, 엔진(565)은 I/O 인터페이스(510)로부터 수신된 동작 요청에 응답하여 콘솔(515) 상에서 실행되는 애플리케이션 내에서 동작을 수행하고, 동작이 수행되었다는 피드백을 사용자에게 제공한다. 제공된 피드백은 헤드셋(505)를 통한 시각적 또는 청각적 피드백이거나 또는 I/O 인터페이스(510)를 통한 햅틱 피드백일 수 있다.
네트워크(520)는 헤드셋(505) 및/또는 콘솔(515)을 매핑 서버(525)에 결합한다. 네트워크(520)는 무선 및/또는 유선 통신 시스템들 모두를 사용하여 로컬 영역 및/또는 광역 네트워크들의 임의의 조합을 포함할 수 있다. 예를 들어, 네트워크(520)는 모바일 전화 네트워크들뿐만 아니라 인터넷을 포함할 수 있다. 한 실시예에서, 네트워크(520)는 표준 통신 기술 및/또는 프로토콜들을 사용한다. 따라서, 네트워크(520)는 이더넷, 802.11, 마이크로웨이브 액세스를 위한 전세계 상호 운용성(WiMAX: worldwide interoperability for microwave access), 2G/3G/4G 모바일 통신 프로토콜, 디지털 가입자 회선(DSL), 비동기 전송 모드(ATM), 인피니밴드(InfiniBand), PCI 익스프레스 어드밴스드 스위칭 등과 같은 기술들을 사용하는 링크들을 포함할 수 있다. 유사하게, 네트워크(520)에서 사용되는 네트워킹 프로토콜들은 다중 프로토콜 레이블 스위칭(MPLS), 전송 제어 프로토콜/인터넷 프로토콜(TCP/IP), 사용자 데이터그램 프로토콜(UDP), 하이퍼텍스트 전송 프로토콜(HTTP), 단순 메일 전송 프로토콜(SMTP), 파일 전송 프로토콜(FTP) 등을 포함할 수 있다. 네트워크(520)을 통해 교환되는 데이터는 이진 형식의 이미지 데이터를 포함하는 기술들 및/또는 포맷들(예를 들어, 포터블 네트워크 그래픽(Portable Network Graphics)(PNG)), HTML(Hypertext Markup Language), XML(Extensible Markup Language) 등을 사용하여 표현될 수 있다. 또한, 링크들의 모두 또는 일부는 보안 소켓 계층(SSL), 전송 계층 보안(TLS), 가상 사설망(VPN), 인터넷 프로토콜 보안(IPsec) 등과 같은 통상의 암호화 기술들을 사용하여 암호화될 수 있다.
매핑 서버(525)는 복수의 공간들을 설명하는 가상 모델을 저장하는 데이터베이스를 포함할 수 있으며, 가상 모델 내의 하나의 위치는 헤드셋(505)의 로컬 영역의 현재 구성에 대응한다. 매핑 서버(525)는 네트워크(520)를 통해 헤드셋(505)으로부터 로컬 영역의 적어도 일부를 설명하는 정보 및/또는 로컬 영역에 대한 위치 정보를 수신한다. 매핑 서버(525)는 수신된 정보 및/또는 위치 정보에 기초하여 헤드셋(505)의 로컬 영역과 연관된 가상 모델의 위치를 결정한다. 매핑 서버(525)는 가상 모델의 결정된 위치 및 결정된 위치와 연관된 임의의 음향 파라미터들에 부분적으로 기초하여 로컬 영역과 연관된 하나 이상의 음향 파라미터를 결정(예를 들어, 검색)한다. 매핑 서버(525)는 로컬 영역의 위치 및 로컬 영역과 연관된 음향 파라미터들의 임의의 값들을 헤드셋(505)으로 전송할 수 있다. 매핑 서버(525)는 오디오 시스템(550)에 내비게이션 지시들을 제공할 수 있다. 매핑 서버(525)는 사용자의 위치, 사용자에 의해 제공된 목적지, 및 지역의 모델을 사용하여 내비게이션 지시들을 생성할 수 있다.
추가 구성 정보
본 실시예들에 대한 상술한 설명은 예시의 목적으로 제공되었다; 이러한 것은 포괄적인 것으로 의도되지 않았으며, 본 특허 권리를 개시된 정확한 형태들로 제한하려 의도되지 않았다. 당업자들는 위의 개시내용을 고려하여 많은 수정들 및 변형들이 가능하다는 것을 인식할 수 있다.
본 설명의 일부 부분들은 정보에 대한 동작들의 알고리즘들 및 상징적 표현들의 관점에서 본 실시예들을 기술한다. 이러한 알고리즘적 설명들 및 표현들은 데이터 처리 분야의 당업자들에 의해 그의 작업의 내용을 다른 당업자들에게 효과적으로 전달하기 위해 일반적으로 사용된다. 이들 동작들은 기능적으로, 계산적으로 또는 논리적으로 설명되었지만, 컴퓨터 프로그램들 또는 등가의 전기 회로들, 마이크로코드, 등에 의해 구현되는 것으로 이해된다. 더욱이, 이러한 동작들의 배열들을 일반성 손실 없이 모듈들로 지칭하는 것이 때때로 편리한 것으로 입증되었다. 기술된 동작들 및 관련 모듈들은 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합으로 구현될 수 있다.
본 명세서에서 기술된 단계들, 동작들 또는 프로세스들의 어떠한 것도 하나 이상의 하드웨어 또는 소프트웨어 모듈들로 단독으로 또는 다른 디바이스와 조합하여 수행되거나 구현될 수 있다. 일 실시예에서, 소프트웨어 모듈은 컴퓨터 프로그램 코드를 포함하는 컴퓨터-판독가능 매체를 포함하는 컴퓨터 프로그램 제품으로 구현되며, 컴퓨터 프로그램 코드는 컴퓨터 프로세서에 의해 실행되어 설명된 단계들, 동작들 또는 프로세스들 중 임의의 것 또는 모두를 수행할 수 있다.
실시예들은 또한 본 명세서의 동작들을 수행하기 위한 장치에 관한 것일 수 있다. 이러한 장치는 필요한 목적들을 위해 특별히 구성될 수 있고/있거나, 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 디바이스를 포함할 수 있다. 이러한 컴퓨터 프로그램은 비일시적인, 유형의 컴퓨터 판독 가능한 저장 매체, 또는 전자 지시들을 저장하기에 적합한 임의의 유형의 매체에 저장될 수 있고, 이러한 매체는 컴퓨터 시스템 버스에 결합될 수 있다. 또한, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나 증가된 컴퓨팅 능력을 위해 다중 프로세서 설계들을 채용하는 아키텍처일 수 있다.
본 실시예들은 또한 본 명세서에 기술된 컴퓨팅 프로세스에 의해 생성되는 제품에 관한 것일 수 있다. 이러한 제품은 컴퓨팅 프로세스로부터 초래된 정보를 포함할 수 있으며, 여기서 정보는 비일시적, 유형의 컴퓨터 판독 가능한 저장 매체에 저장되며, 여기에 설명된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예들을 포함할 수 있다.
본 명세서에서 사용된 언어는 원칙적으로 가독성 및 교육 목적으로 선택되었으며, 본 특허 권리를 정확하게 기술하거나 제한하기 위해 선택되지 않았을 수 있다. 그러므로, 본 특허 권리의 범주는 이러한 상세한 설명에 의해 제한되는 것이 아니라, 여기에 기초한 본 출원에 대해 주장하는 청구범위에 의해 제한되는 것으로 의도된다. 따라서, 실시예들의 개시내용은 다음의 청구범위에 제시된 본 특허 권리의 범주를 예시하기 위한 것이지 제한하기 위한 것은 아니다.

Claims (15)

  1. 오디오 시스템에 있어서:
    오디오 콘텐트를 사용자에게 제공하도록 구성된 변환기 어레이; 및
    오디오 콘텐트를 사용자에게 제공하는 동안 변환기 어레이의 적어도 하나의 변환기의 작동을 통해 사용자에게 전달되는 촉각 콘텐트의 레벨을 조정하기 위해 변환기 어레이를 제어하도록 구성된 컨트롤러를 포함하는, 오디오 시스템.
  2. 제1항에 있어서, 상기 컨트롤러는 또한:
    임계값 레벨 미만으로 주파수 대역에 대한 적어도 하나의 변환기의 작동 파라미터를 조정하도록 구성되고,
    임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동의 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응하며,
    선택적으로, 적어도 하나의 변환기의 작동 파라미터는 사용자에게 주파수 대역 내의 촉각 콘텐트의 부분을 제공하기 위해 적어도 하나의 변환기에 인가되는 전압인, 오디오 시스템.
  3. 제1항에 있어서, 상기 컨트롤러는 또한, 지각 모델(perception model)을 사용하여 촉각 콘텐트의 레벨을 조정하도록 구성되고, 선택적으로, 상기 지각 모델은 사용자에 대해 고유하며;
    상기 컨트롤러는 또한 선택적으로:
    변환기 어레이를 교정함으로써 지각 모델을 생성하고;
    상기 지각 모델을 사용하여 촉각 콘텐트의 레벨을 조정하도록 구성되는, 오디오 시스템.
  4. 제1항에 있어서,
    변환기 어레이에 의해 생성된 사운드들을 검출하도록 구성된 센서 어레이를 더 포함하고;
    상기 컨트롤러는 또한:
    주파수 대역 내에서 검출된 사운드들의 부분에 기초하여 주파수 대역에 대한 적어도 하나의 변환기의 작동 파라미터에 대한 임계값 레벨을 유도하고,
    주파수 대역 내의 촉각 콘텐트의 부분을 제공하기 위해 적어도 하나의 변환기를 작동할 때 임계값 레벨 미만으로 상기 작동 파라미터를 조정하도록 구성되며,
    임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응하는, 오디오 시스템.
  5. 제1항에 있어서,
    변환기 어레이에 의해 생성된 사운드들을 검출하도록 구성된 센서 어레이를 더 포함하고;
    상기 컨트롤러는 또한,
    임계 주파수 미만의 주파수 대역에서 검출된 사운드들의 부분에 기초하여 사용자에 대한 적어도 하나의 변환기의 감도 레벨을 추정하고,
    추정된 감도 레벨에 기초하여 주파수 대역에 대한 적어도 하나의 변환기의 작동 파라미터에 대한 임계값 레벨을 유도하고,
    임계값 레벨 미만으로 작동 파라미터를 조정하도록 구성되며,
    임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응하는, 오디오 시스템.
  6. 제1항에 있어서,
    사용자의 조직(tissue) 내에서 촉각 감각(tactility sensation)을 검출하도록 구성된 센서 어레이를 더 포함하고;
    상기 컨트롤러는 또한,
    검출된 촉각 감각의 부분에 기초하여 주파수 대역에 대한 적어도 하나의 변환기의 작동 파라미터에 대한 임계값 레벨을 유도하고,
    임계값 레벨 미만으로 작동 파라미터를 조정하도록 구성되며,
    임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응하는, 오디오 시스템.
  7. 제1항에 있어서,
    사용자에게 오디오 신호를 제공할 때 적어도 하나의 변환기에 의해 생성된 음압(sound pressure) 및 가속도 중 적어도 하나를 모니터링하도록 구성된 센서 어레이를 더 포함하며;
    상기 컨트롤러는 또한, 적어도 하나의 주파수에 대한 오디오 콘텐트의 적어도 하나의 진폭이 임계값 레벨 미만이 되도록 음압 및 가속도 중 적어도 하나에 기초하여 사용자에게 제공되는 오디오 콘텐트를 제어하도록 구성되고,
    임계값 레벨 미만의 적어도 하나의 진폭의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 오디오 콘텐트에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 오디오 콘텐트에 대응하는, 오디오 시스템.
  8. 제1항에 있어서, 상기 변환기 어레이는 하나 이상의 공기 전도 변환기들, 하나 이상의 골전도 변환기들, 및 하나 이상의 연골 전도 변환기들 중 적어도 하나를 포함하는, 오디오 시스템.
  9. 제1항에 있어서, 상기 오디오 시스템은 헤드셋의 일부인, 오디오 시스템.
  10. 방법에 있어서:
    오디오 콘텐트를 사용자에게 제공하는 동안 변환기의 작동을 통해 사용자에게 전달되는 촉각 콘텐트의 레벨을 조정하는 단계; 및
    오디오 콘텐트를 사용자에게 제공하도록 상기 변환기에 지시하는 단계를 포함하고,
    상기 오디오 콘텐트는 촉각 콘텐트의 조정된 레벨을 포함하는, 방법.
  11. 제10항에 있어서,
    임계값 레벨 미만이 되도록 주파수 대역에 대한 변환기의 작동 파라미터를 조정하는 단계를 더 포함하며,
    임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동의 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응하며,
    및/또는,
    상기 방법은 지각 모델을 사용하여 촉각 콘텐트의 레벨을 조정하는 단계를 더 포함하는, 방법.
  12. 제10항에 있어서,
    변환기에 의해 생성된 사운드들을 검출하는 단계;
    주파수 대역 내에서 검출된 사운드들의 부분에 기초하여 주파수 대역에 대한 변환기의 작동 파라미터에 대한 임계값 레벨을 유도하는 단계; 및
    주파수 대역 내의 촉각 콘텐트의 부분을 제공하기 위해 변환기를 작동할 때 임계값 레벨 미만이 되도록 작동 파라미터를 조정하는 단계를 더 포함하며,
    임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응하는, 방법.
  13. 제10항에 있어서,
    변환기에 의해 생성된 사운드들을 검출하는 단계;
    임계 주파수 미만의 주파수 대역에서 검출된 사운드들의 부분에 기초하여 사용자에 대한 변환기의 감도 레벨을 추정하는 단계;
    추정된 감도 레벨에 기초하여 주파수 대역에 대한 변환기의 작동 파라미터에 대한 임계값 레벨을 유도하는 단계; 및
    임계값 레벨 미만이 되도록 작동 파라미터를 조정하는 단계를 더 포함하며,
    임계값 레벨 미만의 작동 파라미터의 값들은 주파수 대역에 대한 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 작동 범위들에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 범위들에 대응하는, 방법.
  14. 제10항에 있어서,
    사용자에게 오디오 신호를 제공할 때 변환기에 의해 생성된 음압 및 가속도 중 적어도 하나를 모니터링하는 단계; 및
    적어도 하나의 주파수에 대한 오디오 콘텐트의 적어도 하나의 진폭 레벨이 임계값 레벨 미만이 되도록 음압 및 가속도 중 적어도 하나에 기초하여 사용자에게 제공되는 오디오 콘텐트를 제어하는 단계를 더 포함하며,
    임계값 레벨 미만의 적어도 하나의 진폭의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되지 않는 오디오 콘텐트에 대응하고, 임계값 레벨 이상의 값들은 촉각 콘텐트의 부분이 사용자에 의해 인지되는 오디오 콘텐트에 대응하는, 방법.
  15. 인코딩된 지시들을 갖는 비일시적 컴퓨터 판독 가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품에 있어서, 상기 지시들은 하나 이상의 프로세서들에 의해 실행될 때 상기 하나 이상의 프로세서들로 하여금:
    오디오 콘텐트를 사용자에게 제공하는 동안 변환기의 작동을 통해 사용자에게 전달되는 촉각 콘텐트의 레벨을 조정하게 하고;
    오디오 콘텐트를 사용자에게 제공하도록 변환기에 지시하게 하며,
    상기 오디오 콘텐트는 촉각 콘텐트의 조정된 레벨을 포함하는, 컴퓨터 프로그램 제품.
KR1020227012441A 2019-09-24 2020-09-06 오디오 콘텐트를 제공할 때 촉각 콘텐트의 레벨을 조정하는 방법 및 시스템 KR20220066911A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/580,528 2019-09-24
US16/580,528 US10824390B1 (en) 2019-09-24 2019-09-24 Methods and system for adjusting level of tactile content when presenting audio content
PCT/US2020/049603 WO2021061382A1 (en) 2019-09-24 2020-09-06 Methods and system for adjusting level of tactile content when presenting audio content

Publications (1)

Publication Number Publication Date
KR20220066911A true KR20220066911A (ko) 2022-05-24

Family

ID=72562010

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227012441A KR20220066911A (ko) 2019-09-24 2020-09-06 오디오 콘텐트를 제공할 때 촉각 콘텐트의 레벨을 조정하는 방법 및 시스템

Country Status (6)

Country Link
US (2) US10824390B1 (ko)
EP (1) EP4035419A1 (ko)
JP (1) JP2022549548A (ko)
KR (1) KR20220066911A (ko)
CN (1) CN114430818A (ko)
WO (1) WO2021061382A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10824390B1 (en) * 2019-09-24 2020-11-03 Facebook Technologies, Llc Methods and system for adjusting level of tactile content when presenting audio content
US10970036B1 (en) 2019-09-24 2021-04-06 Facebook Technologies, Llc Methods and system for controlling tactile content
WO2021059422A1 (ja) * 2019-09-26 2021-04-01 日本電信電話株式会社 振動呈示システム
GB2619955A (en) * 2022-06-23 2023-12-27 Sony Interactive Entertainment Inc Haptic system and method

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7822215B2 (en) * 2005-07-07 2010-10-26 Face International Corp Bone-conduction hearing-aid transducer having improved frequency response
US8971551B2 (en) * 2009-09-18 2015-03-03 Dolby International Ab Virtual bass synthesis using harmonic transposition
WO2012106838A1 (en) * 2011-02-10 2012-08-16 Empire Technology Development Llc Quality-of-experience measurement for voice services
US8948892B2 (en) * 2011-03-23 2015-02-03 Audible, Inc. Managing playback of synchronized content
JP2012249097A (ja) 2011-05-27 2012-12-13 Kyocera Corp 音声出力装置
US9854196B2 (en) * 2012-11-28 2017-12-26 Beijing Lenovo Software Ltd. Head-mounted electronic device and audio processing method
US20140363002A1 (en) * 2013-06-09 2014-12-11 DSP Group Indication of quality for placement of bone conduction transducers
US9596534B2 (en) 2013-06-11 2017-03-14 Dsp Group Ltd. Equalization and power control of bone conduction elements
KR101973486B1 (ko) 2014-12-18 2019-04-29 파인웰 씨오., 엘티디 전자형 진동 유닛을 사용한 연골 전도 청취 장치 및 전자형 진동 유닛
EP3098690B1 (en) * 2015-05-28 2020-01-08 Nokia Technologies Oy Rendering of a notification on a head mounted display
WO2017004039A1 (en) * 2015-07-02 2017-01-05 K-Rain Manufacturing Corporation External ear insert for hearing enhancement
US10573139B2 (en) * 2015-09-16 2020-02-25 Taction Technology, Inc. Tactile transducer with digital signal processing for improved fidelity
US10014137B2 (en) 2015-10-03 2018-07-03 At&T Intellectual Property I, L.P. Acoustical electrical switch
US9722562B1 (en) * 2015-12-16 2017-08-01 Google Inc. Signal enhancements for audio
US9998829B2 (en) 2016-06-27 2018-06-12 Google Llc Bone conduction transducer with increased low frequency performance
US10104471B2 (en) 2016-11-30 2018-10-16 Google Llc Tactile bass response
US10231053B1 (en) * 2016-12-13 2019-03-12 Facebook Technologies, Llc Bone-conduction headset with crosstalk cancelation function
WO2018199701A1 (en) * 2017-04-28 2018-11-01 Samsung Electronics Co., Ltd. Method for providing content and apparatus therefor
EP3445066B1 (en) 2017-08-18 2021-06-16 Facebook Technologies, LLC Cartilage conduction audio system for eyewear devices
US10070224B1 (en) * 2017-08-24 2018-09-04 Oculus Vr, Llc Crosstalk cancellation for bone conduction transducers
EP3752120A1 (en) * 2018-02-12 2020-12-23 Otolith Sound, Inc. Systems, devices, and methods for treating vestibular conditions
US10194259B1 (en) 2018-02-28 2019-01-29 Bose Corporation Directional audio selection
US11095947B2 (en) 2018-06-12 2021-08-17 Number 9, LLC System for sharing user-generated content
US10645520B1 (en) 2019-06-24 2020-05-05 Facebook Technologies, Llc Audio system for artificial reality environment
US10824390B1 (en) * 2019-09-24 2020-11-03 Facebook Technologies, Llc Methods and system for adjusting level of tactile content when presenting audio content

Also Published As

Publication number Publication date
CN114430818A (zh) 2022-05-03
US10824390B1 (en) 2020-11-03
WO2021061382A1 (en) 2021-04-01
EP4035419A1 (en) 2022-08-03
JP2022549548A (ja) 2022-11-28
US11561757B2 (en) 2023-01-24
US20210089266A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
US11561757B2 (en) Methods and system for adjusting level of tactile content when presenting audio content
JP2022534833A (ja) 個人化されたオーディオ拡張のためのオーディオプロファイル
US11670321B2 (en) Audio visual correspondence based signal augmentation
US11843926B2 (en) Audio system using individualized sound profiles
US11843922B1 (en) Calibrating an audio system using a user's auditory steady state response
KR20220069044A (ko) 오디오 콘텐트를 제공하기 위한 머리 관련 전달 함수의 동적 맞춤화
KR20220050215A (ko) 개별화된 공간 오디오 생성을 위한 빔포밍을 통한 귓바퀴 정보 추론
US11290837B1 (en) Audio system using persistent sound source selection for audio enhancement
US11681492B2 (en) Methods and system for controlling tactile content
US20230093585A1 (en) Audio system for spatializing virtual sound sources
US11496825B1 (en) Ear-plug device with in-ear cartilage conduction transducer
US11171621B2 (en) Personalized equalization of audio output based on ambient noise detection
KR20230041755A (ko) 외이의 변위에 기초한 가상 마이크 교정
US20220180885A1 (en) Audio system including for near field and far field enhancement that uses a contact transducer