KR20230043729A - 귀 특성들을 측정하고 추적하기 위한 방법 및 시스템 - Google Patents
귀 특성들을 측정하고 추적하기 위한 방법 및 시스템 Download PDFInfo
- Publication number
- KR20230043729A KR20230043729A KR1020220117983A KR20220117983A KR20230043729A KR 20230043729 A KR20230043729 A KR 20230043729A KR 1020220117983 A KR1020220117983 A KR 1020220117983A KR 20220117983 A KR20220117983 A KR 20220117983A KR 20230043729 A KR20230043729 A KR 20230043729A
- Authority
- KR
- South Korea
- Prior art keywords
- ear
- user
- sound
- microphone
- parameter
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 210000000613 ear canal Anatomy 0.000 claims abstract description 160
- 230000005236 sound signal Effects 0.000 claims abstract description 76
- 238000005259 measurement Methods 0.000 claims abstract description 32
- 230000006870 function Effects 0.000 claims description 57
- 238000012546 transfer Methods 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 31
- 230000003595 spectral effect Effects 0.000 claims description 30
- 230000004044 response Effects 0.000 claims description 25
- 210000000959 ear middle Anatomy 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 210000000883 ear external Anatomy 0.000 claims description 7
- 210000005069 ears Anatomy 0.000 abstract description 14
- 238000012545 processing Methods 0.000 description 16
- 210000003454 tympanic membrane Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000036541 health Effects 0.000 description 11
- 230000009471 action Effects 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 239000003990 capacitor Substances 0.000 description 5
- 210000003027 ear inner Anatomy 0.000 description 5
- 210000001050 stape Anatomy 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 210000002939 cerumen Anatomy 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000002847 impedance measurement Methods 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 208000024891 symptom Diseases 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000872 buffer Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000004984 smart glass Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010050337 Cerumen impaction Diseases 0.000 description 2
- 206010014020 Ear pain Diseases 0.000 description 2
- 230000035508 accumulation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011088 calibration curve Methods 0.000 description 2
- 210000003477 cochlea Anatomy 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000009223 counseling Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 2
- 230000005520 electrodynamics Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010048865 Hypoacusis Diseases 0.000 description 1
- 241000878128 Malleus Species 0.000 description 1
- 241001605702 Mylothris Species 0.000 description 1
- 238000012356 Product development Methods 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 230000010370 hearing loss Effects 0.000 description 1
- 231100000888 hearing loss Toxicity 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 238000012074 hearing test Methods 0.000 description 1
- 210000001785 incus Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000002331 malleus Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002483 medication Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/12—Audiometering
- A61B5/121—Audiometering evaluating hearing capacity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/12—Audiometering
- A61B5/121—Audiometering evaluating hearing capacity
- A61B5/123—Audiometering evaluating hearing capacity subjective methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/6815—Ear
- A61B5/6817—Ear canal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
- G10K11/17813—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms
- G10K11/17817—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms between the output signals and the error signals, i.e. secondary path
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1783—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
- G10K11/17833—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions by using a self-diagnostic function or a malfunction prevention function, e.g. detecting abnormal output levels
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1785—Methods, e.g. algorithms; Devices
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1787—General system configurations
- G10K11/17875—General system configurations using an error signal without a reference signal, e.g. pure feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1016—Earpieces of the intra-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/30—Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/30—Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
- H04R25/305—Self-monitoring or self-testing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0204—Acoustic sensors
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/10—Applications
- G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
- G10K2210/1081—Earphones, e.g. for telephones, ear protectors or headsets
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/30—Means
- G10K2210/301—Computational
- G10K2210/3025—Determination of spectrum characteristics, e.g. FFT
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/50—Miscellaneous
- G10K2210/504—Calibration
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/50—Miscellaneous
- G10K2210/505—Echo cancellation, e.g. multipath-, ghost- or reverberation-cancellation
Abstract
스피커 및 인-이어 마이크로폰을 포함하는 헤드셋에 의해 수행되는 방법으로서, 상기 방법은, 기준 측정을 획득하기 위해 헤드셋에 대해 교정을 수행하는 단계; 사용자가 헤드셋을 착용하고 있는 동안, 사용자의 귀의 이도 내로 사운드를 투사하도록 배열된 스피커를 구동하기 위해 오디오 신호를 사용하는 단계; 사용자의 귀의 이도 내부로부터의 사운드를 헤드셋의 인-이어 마이크로폰으로부터의 마이크로폰 신호로서 캡처하는 단계; 적어도 캡처된 마이크로폰 신호 및 기준 측정에 기초하여 사용자의 귀와 연관된 파라미터를 결정하는 단계; 및 파라미터에 기초하여 사용자의 귀의 하나 이상의 청각 요소들의 하나 이상의 특성들과 관련된 통지를 송신하는 단계를 포함한다.
Description
본 출원은 2021년 09월 24일자로 출원된 미국 가특허 출원 번호 제63/248,353호에 대한 이익을 주장하며, 이러한 출원은 본 명세서에 참조로서 포함된다.
기술분야
본 개시내용의 일 측면은, 사용자의 귀의 하나 이상의 청각 요소들의 귀 특성들을 측정하고 추적하는 시스템에 관한 것이다. 다른 측면들이 또한 설명된다.
청각학자들은 사람의 귀에 대한 문제들을 식별하고, 진단하며, 치료하기 위해 특수 기구들을 사용한다. 예를 들어, 의사들은, 사용자의 이도(ear canal) 내의 기압(air pressure)의 변화로 인한 사람의 중이의 이동성을 테스트하는 고실측정(tympanometry) 디바이스들을 사용할 수 있다. 이러한 디바이스들은 라우드스피커(loudspeaker)를 갖는 프로브, 마이크로폰, 및 공기 펌프를 포함한다. 프로브가 사용자의 귀 내에 삽입되면, 공기 펌프가 사용자의 귀 내의 기압을 조정하는 동안 마이크로폰은 라우드스피커에 의해 생성되는 사운드들을 측정한다. 마이크로폰에서의 입력은 고실도(tympanogram)를 형성하기 위해 사용되며, 그로부터 의사들은 사용자의 귀에 대한 다양한 문제들을 결정할 수 있다.
본 개시내용의 일 측면은, 사용자에 의해 (예를 들어, 사용자의 머리에) 착용되도록 배열되며 스피커 및 인-이어(in-ear)(또는 에러(error)) 마이크로폰을 포함하는, 인-이어 헤드폰들(예를 들어, 이어버드(earbud)들), 오버-디-이어(over-the-ear) 헤드폰들, 또는 온-디-이어(on-the-ear) 헤드폰들의 쌍과 같은 헤드셋에 의해 수행되는 방법이다. 헤드셋은 기준(baseline) 측정을 획득하기 위해 헤드셋에 대해 교정을 수행한다. 예를 들어, 교정은, 사용자가 헤드셋을 착용하고 있지 않은 동안에(예를 들어, 사용자가 헤드셋을 착용하기 이전에) 헤드셋이 헤드셋을 하우징하도록 배열된 홀딩 케이스와 같은 제어된 환경에 있는 동안 수행될 수 있다. 헤드셋은, 사용자가 헤드셋을 착용하고 있는 동안, 사운드를 사용자의 귀의 이도(canal) 내로 투사하도록 배열된 스피커를 구동하기 위해 오디오 신호(예를 들어, 음악과 같은 사용자가 희망하는 오디오 콘텐츠를 포함할 수 있고/있거나 하나 이상의 테스트 사운드들을 포함할 수 있음)를 사용한다. 헤드셋은, 사용자의 귀의 이도 내부로부터의 사운드를 헤드셋의 인-이어 마이크로폰으로부터 마이크로폰 신호로서 캡처한다. 헤드셋은 적어도 캡처된 마이크로폰 신호 및 기준 측정에 기초하여 사용자의 귀와 연관된 파라미터를 결정한다. 헤드셋은 파라미터에 기초하여 사용자의 귀의 청각 요소들의 하나 이상의 특성들과 관련된 통지를 송신한다.
일 측면에서, 헤드셋은, (2개의 구성요소들 모두가 사용자의 이도 내부에 삽입되어 있는 동안) 인-이어 마이크로폰과 스피커 사이의 응답을 나타내는 2차 경로(또는 S-경로) 전달 함수를 결정하기 위해 마이크로폰 신호를 사용하며, 여기서 파라미터는 S-경로 전달 함수에 기초할 수 있다. 일부 측면들에서, 전달 함수는, 스피커를 구동하기 위한 잡음-방지 신호를 생성하기 위해 헤드셋에 의해 수행되는 능동-잡음 제거(active-noise cancellation; ANC) 프로세스의 부분으로서 결정될 수 있다. 그러나, 다른 측면에서, 헤드셋은 ANC 프로세스를 수행하도록 구성되지 않을 수 있으며(예를 들어, ANC 기능을 갖지 않을 수 있으며), 이러한 경우에, S-경로 전달 함수는 ANC 프로세스의 부분으로서 결정되지 않을 수 있다(또는 ANC 프로세스와는 별개로 결정될 수 있다).
일 측면에서, 파라미터는, S-경로 전달 함수를 사용하여, 기준 측정에 대해 사용자의 이도의 음향 입력 임피던스를 측정하고, 적어도 사용자의 중이 및 외이와 같은 사용자의 귀의 청각 요소들의 등가 음향-기계적 모델의 부분인 파라미터를 결정하기 위해 음향 임피던스를 사용함으로써 결정된다. 다른 측면에서, 헤드셋은 파라미터를 미리 정의된 등가 음향-기계적 모델의 대응하는 파라미터와 비교하고, 파라미터와 미리 정의된 모델의 대응하는 파라미터 사이의 차이에 기초하여 하나 이상의 특성들을 식별한다. 일부 측면들에서, 음향 입력 임피던스는 시간 기간에 걸쳐 측정되며, 헤드셋은 시간 기간에 걸친 파라미터와 대응하는 파라미터 사이의 변화에 기초하여 하나 이상의 특성들을 결정한다. 다른 측면에서, 파라미터는, 음향 임피던스에 기초하여 결정된 사용자의 귀의 이도의 반사 마스크일 수 있다. 이러한 경우에, 헤드셋은, 특성의 심각도 레벨을 결정하기 위해 사용되는 하나 이상의 필터링된 신호들을 생성하기 위해 반사 마스크를 사용하여 하나 이상의 마이크로폰 신호들을 필터링할 수 있다.
일부 측면들에서, 교정을 수행하는 것은 임피던스 모델에 대한 하나 이상의 임피던스 교정 파라미터들을 결정하는 것을 포함하며, 여기서 음향 입력 임피던스를 측정하는 것은, 결정된 하나 이상의 임피던스 교정 파라미터들 및 S-전달 함수를 임피던스 모델에 적용함으로써 임피던스를 추정하는 것을 포함한다. 다른 측면에서, 하나 이상의 임피던스 교정 파라미터들은, 제어된 환경에서 오프라인으로 미리 정의된 파라미터들이다.
다른 측면에서, 사용자의 귀와 연관된 파라미터를 결정하는 것은, S-경로 전달 함수를 사용하여, 파라미터로서 기준 측정에 대한 사용자의 이도의 음향 입력 임피던스를 측정하는 것을 포함하며, 파라미터에 기초하여 사용자의 귀의 청각 요소들의 하나 이상의 특성들을 결정하는 것은, 사용자의 귀의 이도 내에 폐색(blockage)이 있다는 것을 결정하고 폐색의 심각도 레벨을 결정하기 위해 음향 임피던스를 사용하는 것을 포함한다.
일 측면에서, 오디오 신호는 사용자가 희망하는 오디오 콘텐츠를 포함한다. 다른 측면에서, 오디오 신호는 (예를 들어, 미리 정의된) 테스트 사운드를 포함한다. 일부 측면들에서, 스피커를 구동하기 위해 오디오 신호를 사용하기 이전에 그리고 사용자의 이도 내부로부터의 사운드를 캡처하기 이전에 교정이 헤드셋에 대해 수행된다. 일 측면에서, 사용자가 헤드셋을 착용하기 이전에 교정이 헤드셋에 대해 수행된다. 일부 측면들에서, 헤드셋이 제어된 환경에 있는 동안 헤드셋에 대해 교정이 수행된다. 일 측면에서, 교정은, 사용자가 헤드셋을 착용하고 있지 않는 동안에 헤드셋이 헤드셋을 하우징하도록 배열된 홀딩 케이스 내에 있는 동안 수행된다. 다른 측면에서, 하나 이상의 특성들은, 파라미터에 기초하는 입력을 갖는 기계 학습 모델을 사용하여 결정된다.
본 개시내용의 다른 측면에 따르면, 헤드셋에 의해 수행되는 방법은 사용자의 귀의 청각 요소의 특성을 결정하기 위해 하나 이상의 마이크로폰 신호들을 사용할 수 있다. 예를 들어, 헤드셋은, 사용자가 헤드셋을 착용하고 있는 동안, 사용자의 귀의 이도 내로 제1 사운드를 투사하도록 스피커를 구동하고, 인-이어 마이크로폰들의 세트로부터 마이크로폰 신호들의 제1 세트를 수신할 수 있으며, 마이크로폰 신호들의 제1 세트는 마이크로폰들에 의해 캡처되는 제1 사운드(예를 들어, 스피커로부터의 직접 사운드로서) 및 제1 사운드의 반사들(예를 들어, 사용자의 이도, 고막, 등으로부터의 반사들)을 포함한다. 헤드셋은 마이크로폰 신호들의 제1 세트에 기초하여 사용자의 귀의 이도의 적어도 하나의 반사 파라미터를 생성한다. 헤드셋은 사용자의 귀의 이도 내로 제2 사운드를 투사하도록 스피커를 구동하며, 제2 사운드 및 제2 사운드의 반사들을 포함하는 마이크로폰 신호들의 제2 세트를 수신한다. 헤드셋은 마이크로폰 신호들의 제2 세트 및 적어도 하나의 반사 파라미터에 기초하여 출력 신호들의 세트를 생성하며, 여기서 출력 신호들은 제2 사운드의 반사들만을 포함한다. 헤드셋은 출력 신호들의 세트에 기초하여 사용자의 귀의 청각 요소의 특성과 관련된 통지를 송신한다.
일 측면에서, 적어도 하나의 반사 파라미터를 생성하는 것은, 제1 마이크로폰 신호들의 세트의 비교에 기초하여 마이크로폰 신호들의 제1 세트의 복수의 주파수 대역들의 주파수 대역에 걸친 스펙트럼 콘텐츠가 주로 스피커로부터의 직접 사운드로서 제1 사운드를 포함하는지 또는 제1 사운드의 반사들을 포함하는지 여부를 결정하는 것을 포함하며, 여기서 적어도 하나의 반사 파라미터는 제1 사운드의 반사들을 포함하는 스펙트럼 콘텐츠에 응답하여 생성된다. 다른 측면에서, 스펙트럼 콘텐츠가 주로 스피커로부터의 직접 사운드로서 제1 사운드를 포함하는지 또는 제1 사운드들의 반사들을 포함하는지 여부를 결정하는 것은, 시간 기간에 걸쳐, 마이크로폰 신호들의 제1 세트의 주파수 대역에 걸친 스펙트럼 콘텐츠가 임계 수의 제1 사운드의 반사들을 포함하는지 여부를 결정하는 것을 포함한다.
일부 측면들에서, 적어도 하나의 반사 파라미터의 각각은 복수의 주파수 대역들의 개별적인 주파수 대역과 연관되며, 여기서 출력 신호들의 세트를 생성하는 것은, 적어도 하나의 반사 파라미터를 사용하여, 하나 이상의 주파수 대역들에 걸쳐 적어도 하나의 반사 파라미터와 연관되지 않은 스펙트럼 컨텐츠를 제거함으로써 마이크로폰 신호들의 제2 세트로부터 제2 사운드를 필터링하는 것을 포함한다. 다른 측면에서, 헤드셋은, 사용자의 귀의 이도를 향해 그리고 헤드셋으로부터 멀어지도록 지향된 지향성 빔 패턴을 생성하기 위해 마이크로폰 신호들의 제1 세트를 사용하며, 여기서 스펙트럼 콘텐츠는 지향성 빔 패턴이다.
일 측면에서, 헤드셋은 제1 사운드의 오디오 콘텐츠에 기초하여 제1 사운드가 신뢰도 임계치를 초과하는지 여부를 결정하며; 그리고 제1 사운드가 신뢰도 임계치를 초과하는 것에 응답하여, 청각 요소의 특성과 관련된 통지가 송신된다. 일부 측면들에서, 제1 사운드가 신뢰도 임계치를 초과하는지 여부를 결정하는 것은, 오디오 콘텐츠가 감쇠(decay) 및 일시정지 중 적어도 하나를 포함하는지 여부를 결정하는 것을 포함한다.
일부 측면들에서, 특성은 사용자의 귀의 이도 내의 폐색이며, 귀 기하구조는 이도의 기하구조이고, 헤드셋은, 출력 신호들의 세트를 사용하여, 이도 내의 폐색의 기하구조를 추정하며, 심각도 레벨은 이도의 기하구조와 이도 내의 폐색의 기하구조 사이의 하나 이상의 차이들에 기초한다.
이상의 발명의 내용은 본 개시내용의 모든 측면들의 총망라한 목록을 포함하지는 않는다. 본 개시내용이 앞서 요약된 다양한 측면들의 모든 적합한 조합들로부터 실시될 수 있는 모든 시스템들 및 방법들은 물론, 아래의 발명을 실시하기 위한 구체적인 내용에서 개시되고 청구범위에서 특히 지적된 것들을 포함한다는 것이 고려된다. 이러한 조합들은 이상의 발명의 내용에서 구체적으로 언급되지 않은 특정의 장점들을 가질 수 있다.
측면들은 첨부 도면의 도면들에 제한으로서가 아니라 예로서 예시되며, 첨부 도면에서 유사한 도면 부호들은 유사한 요소들을 나타낸다. 본 개시내용의 "일" 또는 "하나의" 측면에 대한 언급들이 반드시 동일한 측면에 대한 것은 아니며, 이들이 적어도 하나를 의미한다는 것에 유의해야 한다. 또한, 간결함을 위해 그리고 도면들의 총수를 감소시키기 위해, 주어진 도면은 하나 초과의 측면의 특징들을 예시하는데 사용될 수 있으며, 주어진 측면에 대해 도면에서의 모든 요소들이 요구되지는 않을 수 있다.
도 1은 일 측면에 따른 출력 디바이스를 포함하는 시스템을 도시한다.
도 2는, 일 측면에 따른 사용자의 귀의 하나 이상의 특성들을 결정하도록 구성되며 사용자의 귀 내로 삽입되는 출력 디바이스의 블록도를 도시한다.
도 3은 사용자의 귀의 특성들을 결정하기 위한 프로세스의 일 측면의 흐름도이다.
도 4는, 일 측면에 따른 하나 이상의 마이크로폰 신호들로부터의 사용자의 이도의 하나 이상의 반사 파라미터들에 기초하여 사용자의 귀의 특성을 결정하도록 구성된 출력 디바이스의 다른 블록도를 도시한다.
도 5는 사용자의 이도의 하나 이상의 추정된 반사 파라미터들에 기초하여 사용자의 귀의 하나 이상의 특성들을 결정하기 위한 프로세스의 일 측면의 흐름도이다.
도 6은, 일 측면에 따른 음향 입력 임피던스 측정에 기초하여 사용자의 귀의 특성을 결정하도록 구성된 출력 디바이스의 다른 블록도를 도시한다.
도 1은 일 측면에 따른 출력 디바이스를 포함하는 시스템을 도시한다.
도 2는, 일 측면에 따른 사용자의 귀의 하나 이상의 특성들을 결정하도록 구성되며 사용자의 귀 내로 삽입되는 출력 디바이스의 블록도를 도시한다.
도 3은 사용자의 귀의 특성들을 결정하기 위한 프로세스의 일 측면의 흐름도이다.
도 4는, 일 측면에 따른 하나 이상의 마이크로폰 신호들로부터의 사용자의 이도의 하나 이상의 반사 파라미터들에 기초하여 사용자의 귀의 특성을 결정하도록 구성된 출력 디바이스의 다른 블록도를 도시한다.
도 5는 사용자의 이도의 하나 이상의 추정된 반사 파라미터들에 기초하여 사용자의 귀의 하나 이상의 특성들을 결정하기 위한 프로세스의 일 측면의 흐름도이다.
도 6은, 일 측면에 따른 음향 입력 임피던스 측정에 기초하여 사용자의 귀의 특성을 결정하도록 구성된 출력 디바이스의 다른 블록도를 도시한다.
본 개시내용의 몇몇 측면들이 이제 첨부 도면들을 참조하여 설명된다. 주어진 측면에서 설명된 부분들의 형상들, 상대 위치들 및 다른 측면들이 명확히 정의되지 않을 때마다,본 명세서에서 개시내용의 범위는 단지 예시의 목적을 위해 의도되는 도시된 부분들로만 한정되지는 않는다. 또한, 수많은 세부사항들이 기재되지만, 일부 측면들이 이 세부사항들 없이 실시될 수 있다는 것이 이해된다. 다른 예들에서, 본 설명의 이해를 모호하게 하지 않기 위해, 잘 알려진 회로들, 구조들, 및 기술들은 상세히 나타내어져 있지 않다. 더욱이, 의미가 명백히 반대로 되지 않는 한, 본 명세서에 기재된 모든 범위들은 각각의 범위의 종점들을 포함하는 것으로 간주된다.
도 1은 일 측면에 따른 소스 디바이스(2) 및 출력 디바이스(3)를 포함하는 시스템(1)을 도시한다. 일 측면에서, 시스템은, 소스 디바이스, 오디오 디바이스, 또는 디바이스들 둘 모두에 통신가능하게 결합될 수 있는 원격 전자 서버(미도시)와 같은 다른 디바이스들을 포함할 수 있으며, 본 명세서에서 설명되는 바와 같은 하나 이상의 동작들을 수행하도록 구성될 수 있다. 일 측면에서, 소스 디바이스(2) 및/또는 출력 디바이스(3)는 본 명세서에서 설명되는 동작들 중 적어도 일부를 수행할 수 있다. 다른 측면에서, 시스템은, 출력 디바이스(3)만을 갖는 것과 같이 더 적은 디바이스들을 포함할 수 있다. 이러한 경우에, 출력 디바이스는 본 명세서에서 설명되는 동작들 중 적어도 일부를 수행할 수 있다.
일 측면에서, 소스 디바이스(2)는, 오디오 신호 프로세싱 동작들 및/또는 네트워킹 동작들을 수행할 수 있는 임의의 전자 디바이스(예를 들어, 하나 이상의 프로세서들, 메모리, 등을 포함함)일 수 있다. 소스 디바이스들의 예들은 데스크탑 컴퓨터, 스마트 스피커, 홈 시어터 시스템, 또는 차량 내에 통합된 정보 시스템, 등을 포함할 수 있다. 일부 측면들에서, 소스 디바이스는 태블릿 컴퓨터, 스마트폰, 등과 같은 무선 전자 디바이스일 수 있다. 다른 측면에서, 소스 디바이스는 스마트 워치와 같은 착용형 디바이스일 수 있고/있거나 스마트 안경 등과 같은 머리-착용 디바이스(head-mounted device; HMD)일 수 있다.
예시된 바와 같이, 출력 디바이스(3)는, 사용자의 귀(5) 옆에(귀에 맞닿아(against) 또는 귀 내부에) 위치되는 헤드셋(예를 들어, 인-이어 헤드폰들 또는 이어버드들의 쌍)이다. 특히, 디바이스는, 사용자의 우측 귀와 맞닿아 있고(또는 우측 귀 상에 위치되거나) 및/또는 사용자의 이도 내부로 적어도 부분적으로 삽입된 우측 이어버드인 것으로 예시된다. 일 측면에서, 헤드셋은, 사용자의 좌측 귀와 맞닿아 위치되는 다른 이어버드(예를 들어, 좌측 이어버드)를 포함할 수 있다. 이러한 경우에, 출력 디바이스는 이어버드들 중 적어도 하나(또는 둘 모두) 내에서 하나 이상의 오디오 신호 프로세싱 동작들을 수행할 수 있다. 하나의 이어버드가 본 명세서에서 설명되는 동작들 중 적어도 일부를 수행하는 경우에, 이어버드는 하나 이상의 드라이버(driver) 신호들을 생성하고, 적어도 하나의 드라이버 신호를 다른 이어버드로 송신할 수 있어서 이어버드들 둘 모두가 하나 이상의 개별적인 스피커들을 구동할 수 있다. 다른 측면에서, 이어버드들 둘 모두는 개별적인 드라이버 신호들을 생성하기 위해 하나 이상의 (예를 들어, 유사한) 동작들을 수행할 수 있다.
일 측면에서, 일단 헤드셋(또는 인-이어 헤드폰)이 사용자의 귀와 맞닿아 위치되면, 헤드셋은 사용자의 귀(이도)를 주변 환경으로부터 음향적으로 밀봉하여 이로써 사용자의 귀(및/또는 이도) 내로의(그리고 이의 밖으로의) 사운드 누설을 방지할(또는 감소시킬) 수 있다. 특히, 헤드셋의 하우징은 사용자의 귀(이도) 내로의(그리고 이의 밖으로의) 사운드 누설을 방지하기(또는 감소시키기) 위해 사용자의 귀 상에, 주위에, 및/또는 내에 위치될 수 있다. 예를 들어, 헤드셋이 인-이어 헤드폰들인 경우, 헤드폰들은, 헤드폰들의 하우징이 사용자의 귀들의 각각에 대한 이어 팁(ear tip)과 같은 부분을 포함하는 밀봉형 헤드폰들일 수 있으며, 여기서 이어 팁들의 각각은 사용자의 귀들 중 하나 내에 삽입될 때 사용자의 이도 내에 밀봉을 생성하도록(또는 밀봉하도록) 배열된다.
일부 측면들에서, 출력 디바이스(3)는 온-이어 또는 오버-디-이어 헤드폰들과 같은 임의의 유형의 헤드폰들일 수 있다. 오버-디-이어 헤드폰들의 경우에, 출력 디바이스는, 주변 환경으로부터 귀(및 이도)를 (적어도 부분적으로) 밀봉하기 위해 사용자의 귀들의 적어도 일 부분을 커버하도록 배열된 헤드폰 하우징의 부분일 수 있다. 다른 측면에서, 출력 디바이스는, 보청기와 같은, 사운드 출력을 위해 사용자의 귀들 상에(또는 내부에) 위치되도록 배열된 임의의 유형의 전자 디바이스일 수 있다. 일부 측면들에서, 출력 디바이스는 스마트 안경과 같은 임의의 HMD(또는 임의의 HMD의 부분)일 수 있다. 예를 들어, 오디오 출력 디바이스는, 사용자의 귀들 내에 또는 그들 상에 위치될 수 있는 스마트 안경의 구성요소(예를 들어, 프레임)의 부분일 수 있다. 다른 측면에서, 출력 디바이스는, 사용자의 귀들(또는 이도들)을 (적어도 부분적으로) 커버하지 않고 이로써 사용자의 귀들을 주변 환경에 노출된 채로 남겨두는 HMD일 수 있다.
일 측면에서, 출력 디바이스(3)는, 본 명세서에서 설명되는 바와 같이, 사운드를 출력하거나, 네트워킹 동작들을 수행하거나, 및/또는 오디오 신호 프로세싱 동작들을 수행하도록 구성된 임의의 전자 디바이스일 수 있다. 예를 들어, 출력 디바이스는 (예를 들어, 소스 디바이스로부터) 하나 이상의 오디오 신호들을 수신하도록 구성될 수 있으며, 사용자의 귀들 및/또는 이도들을 향해 지향된 사운드를 출력하도록 하나 이상의 스피커들을 구동하기 위해 하나 이상의 오디오 신호들을 사용하도록 구성될 수 있다. 스피커들을 구동하는 것에 관한 더 많은 내용이 본 명세서에서 설명된다. 일 측면에서, 오디오 출력 디바이스는, 사용자의 귀들 옆에(또는 귀들과 맞닿아) 위치되도록 설계되지 않은 디바이스일 수 있다. 예를 들어, 출력 디바이스는 (예를 들어, 독립형) 라우드스피커, 스마트 스피커, 홈 시어터 시스템의 부분, 차량 내에 통합된 정보 시스템의 부분, 등일 수 있다. 일부 측면들에서, 출력 디바이스는, 랩탑, 데스크탑, 또는 멀티미디어 디바이스와 같은 다른 전자 디바이스의 부분일 수 있다. 다른 측면에서, 출력 디바이스 및 소스 디바이스는 동일한 디바이스들일 수 있다.
일 측면에서, 출력 디바이스(3)는 하나 이상의 다른 전자 디바이스들(예를 들어, 소스 디바이스(2))에(또는 이들과) 무선으로 통신가능하게 결합되도록 구성될 수 있어서 디바이스들 둘 모두가 서로 통신하도록 구성된다. 예를 들어, 출력 디바이스(3)는 무선 연결(4)을 통해 소스 디바이스와 통신가능하게 결합된다. 예를 들어, 무선 헤드셋 또는 무선 이어폰들의 쌍과 같은 무선 출력 디바이스는, 오디오 소스 디바이스로부터 오디오 스트림을 수신하기 위해, 소스 디바이스에 무선 개인 영역 네트워크(Wireless Personal Area Network; WPAN) 연결을 통해 연결될 수 있다. 다른 측면에서, WPAN 연결은 블루투스 통신 프로토콜의 고급 오디오 배포 프로파일(Advanced Audio Distribution Profile; A2DP) 연결 또는 다른 오디오 프로파일 연결을 통하는 것일 수 있다. 고품질 오디오 데이터를 스트리밍하기 위해, 소스 디바이스는 오디오 프로파일에 따라 오디오 데이터를 패킷화하며(예를 들어, 오디오 데이터를 송신을 위한 유닛들로 분할하며) 오디오 데이터의 패킷들을 송신 버퍼들에 저장한다. 그런 다음, 패킷들은 (예를 들어, 오버-디-에어(over-the-air)(또는 무선) 무선 주파수(radio frequency; RF) 신호를 사용하여) 블루투스를 통해 무선 출력 디바이스로 송신된다. 수신된 패킷들은, (예를 들어, 송신 간섭 동안) 장래의 패킷들이 드롭되는 상황들에서 연속적인 오디오 재생을 제공하기 위해 출력 디바이스의 롱 버퍼(long buffer)들에 저장된다. 버퍼들 내의 오디오 데이터는 적어도 하나의 스피커를 통한 오디오 출력을 위해 디-패킷화(de-packetize)되고 프로세싱된다. 이러한 프로세스는, 오디오 출력이 오디오 출력 디바이스에서 희망되는 동안 반복된다.
다른 측면에서, 출력 디바이스와 소스 디바이스 사이의 무선 연결(4)은 하나 이상의 다른 무선 컴퓨터 네트워크들을 통하는 것일 수 있다. 예를 들어, 출력 디바이스는, 디지털(예를 들어, 오디오) 데이터를 교환하기 위해 무선 근거리 네트워크(wirelessly local area network; WLAN), 광역 네트워크(wide area network; WAN), 셀룰러 네트워크, 등과 같은 임의의 네트워크를 통해 소스 디바이스와 통신가능하게 결합될 수 있다. 셀룰러 네트워크와 관련하여, 출력 디바이스는 무선(예를 들어, 셀룰러) 호(call)출을 설정하도록 구성될 수 있으며, 여기서 셀룰러 네트워크는, 모바일 디바이스들(예를 들어, 스마트폰들)과 같은 전자 디바이스들에 대한 데이터 송신(및/또는 음성 호출들)을 지원하는 통신 네트워크(예를 들어, 4G 롱 텀 에볼루션(Long Term Evolution; LTE) 네트워크)의 부분일 수 있는 하나 이상의 셀 타워들을 포함할 수 있다.
다른 측면에서, 출력 디바이스(3)는 다른 방법들을 통해 소스 디바이스(2)와 통신가능하게 결합될 수 있다. 예를 들어, 디바이스들 둘 모두는 유선 연결을 통해 결합될 수 있다. 이러한 경우에, 유선 연결의 하나의 말단은 출력 디바이스에 (예를 들어, 고정적으로) 연결될 수 있으며, 반면 다른 말단은, 소스 디바이스의 소켓 내로 플러그되는 미디어 잭 또는 범용 직렬 버스(universal serial bus; USB) 커넥터와 같은 커넥터를 가질 수 있다. 일단 연결되면, 출력 디바이스는 유선 연결을 통해 하나 이상의 오디오 신호들로 출력 디바이스의 하나 이상의 스피커들을 구동하도록 구성될 수 있다. 예를 들어, 소스 디바이스는 오디오 신호들을 디지털 오디오(예를 들어, PCM 디지털 오디오)로서 송신할 수 있다. 다른 측면에서, 오디오는 아날로그 포맷으로 송신될 수 있다.
일부 측면들에서, 출력 디바이스(3) 및 소스 디바이스(2)는, 본 명세서에 도시된 것과는 구별된(별개의) 전자 디바이스들일 수 있다. 다른 측면에서, 출력 디바이스는 소스 디바이스의 부분일 수 있다(또는 이와 통합될 수 있다). 예를 들어, 본 명세서에서 설명되는 바와 같이, (제어기와 같은) 출력 디바이스의 구성요소들 중 적어도 일부는 소스 디바이스의 부분일 수 있거나, 및/또는 소스의 구성요소들 중 적어도 일부는 출력 디바이스의 부분일 수 있다. 이러한 경우에, 디바이스들의 각각은 디바이스 내의 하나 이상의 인쇄 회로 보드(printed circuit board; PCB)들의 부분인 트레이스들을 통해 통신가능하게 결합될 수 있다.
도 2는 일 측면에 따른, 사용자의 귀(5) 내로 삽입되며 사용자의 귀의 하나 이상의 청각 요소들의 하나 이상의 특성들을 결정하도록 구성되는 출력 디바이스(3)의 블록도를 도시한다. 특히, 도시된 바와 같이, 출력 디바이스의 적어도 일 부분은 사용자의 귀(5)의 이도(6) 내로 삽입된다. 본 명세서에서 설명되는 바와 같이, 귀 내로 삽입될 때, 출력 디바이스는 (예를 들어, 이도 외부의) 주변 환경과 이도(6) 사이의 공기 이동(예를 들어, 누설)을 방지하기 위해 이도 내에 밀봉을 생성할 수 있다. 예를 들어, 출력 디바이스는, 본 명세서에서 설명되는 바와 같이, (예를 들어, 이도의 내부 벽과 접촉하는 상태가 됨으로써) 이도 내에 밀봉을 생성하도록 배열된 이어 팁(예를 들어, 이어버드의 하우징에 결합됨)을 갖는 이어버드일 수 있다. 다른 측면에서, 출력 디바이스(3)는, 본 명세서에서 설명된 바와 같이, 온-이어(또는 오버-디-이어) 헤드폰들과 같이 사용자의 귀(5) 상에 놓일 수 있다.
본 명세서에서 설명되는 바와 같이, 출력 디바이스는 사용자의 귀의 청각 요소들의 하나 이상의 특성들을 결정하고 이를 송신(예를 들어, 출력)하도록 구성된다. 특히, 출력 디바이스는, 사용자의 사운드를 듣는 능력에 부정적인 영향을 줄 수 있는 청각 요소들에 대한 특성들(예를 들어, 이슈들, 우려들, 문제들, 등)을 결정(검출 또는 식별)하기 위한 동작들을 수행할 수 있다. 일 측면에서, 검출된 특성은 사용자의 귀의 청각 요소에 대한 특정 유형들의 이슈들(예를 들어, 임상 질환들)일 수 있다. 그러나, 다른 측면에서, 본 명세서에서 설명되는 바와 같은 특성들은, 특정한 임상적으로 정의된 이슈가 아니라, 하나 이상의 청각 요소들에 대한 문제 또는 이슈의 일반적인 표시일 수 있다. 본 명세서에서 설명되는 바와 같이, 청각 요소들은 추골(malleus), 침골(incus), 및/또는 등골(stapes)과 같은 사용자의 중이(예를 들어, 고실(tympanic cavity))의 부분들을 포함할 수 있거나, 및/또는 달팽이관과 같은 사용자의 내이의 부분들을 포함할 수 있다. 다른 예로서, 청각 요소는 외이(예를 들어, 이도(auditory canal) 또는 이도(ear canal)) 또는 고막(tympanic membrane)(또는 고막(ear drum))을 포함할 수 있다. 다른 측면에서, 청각 요소는 사용자의 귀의 하나의(또는 임의의) 물리적 부분을 나타낼 수 있다.
일 측면에서, 청각 요소에 대한 특성은 자연 발생의 결과일 수 있거나, 또는 (예를 들어, 하나 이상의 청각 요소들의 (청각적) 성능의 손상 또는 감소를 야기하는) 외부 힘의 결과일 수 있다. 예를 들어, 외부 힘은, 사용자의 이도 내의 폐색과 같은, 청각 요소와 상호작용하는(또는 접촉하는 상태가 되는) 물체일 수 있다. 사용자의 귀(예를 들어, 이도) 내의 폐색은, 사용자의 이도를 통한 사운드의 통과가 적어도 부분적으로 차단되는 것으로 인해 적어도 부분적인 청각 손실을 야기할 수 있다. 폐색들에 관한 더 많은 내용이 본 명세서에서 설명된다. 다른 측면에서, 특성은 특정 청각 요소에 대한 질환(또는 특정 이슈)일 수 있다.
통상적으로, 사용자의 청각(또는 귀들)과 연관된 증상들이 발생할 때, 사람은 의료 전문가(예를 들어, 의사)와 상담을 위한 약속을 잡기 위해 대기할 수 있다. 예를 들어, 일단 사람의 청각 및/또는 귀에 대한 증상들(예를 들어, 청각 손실, 귀 통증, 현기증, 두통, 등)이 발생하면 사람은 청각학자와 접촉할 수 있다. 일단, 약속 시간에, 청각학자는 청각 테스트들을 수행하기 위해 전문화된 도구들을 사용할 수 있다. 예를 들어, 사람의 귀에 대한 상태를 식별하기 위해, 청각학자는, 고실측정 프로브가 사용자의 이도 내로 삽입되고 프로브가 기압의 변화들을 측정하는 고실측정 테스트들을 수행할 수 있다. 청각학자가 문제를 진단하게 하는 것이 가능할 수 있지만, 사람은 상담을 받기까지 너무 오래 기다림으로써 부주의하게 상태를 악화시킬 수 있으며, 그럼으로써 장기간에 걸쳐 불필요하게 증상들을 경험할 수 있다.
이러한 결점들을 극복하기 위해, 본 개시내용은, 사용자의 귀의 하나 이상의 청각 요소들에 대한 특성들을 검출하고 추적하도록 구성된 출력 디바이스를 설명한다. 특히, 출력 디바이스는, 스피커 및 인-이어 마이크로폰(또는 에러 마이크로폰)을 포함하는 인-이어 헤드폰(예를 들어, 이어버드들)과 같은 헤드셋일 수 있다. 출력 디바이스는, 사용자가 출력 디바이스를 착용하고 있는 동안(예를 들어, 디바이스가 사용자의 이도 내로 삽입되어 있는 동안 또는 이도 상에 있는 동안), 이도 내로 사운드를 투사하도록 스피커를 구동하기 위해 오디오 신호를 사용할 수 있으며, 이도 내부로부터의 사운드를 포함하는 마이크로폰 신호를 캡처할 수 있다. 출력 디바이스는 적어도 캡처된 마이크로폰 신호에 기초하여 사용자의 귀와 연관된 파라미터를 결정할 수 있다. 파라미터에 기초하여, 출력 디바이스는 사용자의 귀의 청각 요소들의 하나 이상의 특성들을 결정할 수 있다. 또한, 출력 디바이스는, 특성이 검출되었다는 것을 표시하는 통지(예를 들어, 청각적 및/또는 시각적일 수 있음)를 사용자에게 송신(제시 또는 출력)할 수 있다. 따라서, 본 개시내용은, 전문화된 의료 도구와는 대조적으로, 사용자의 귀에 대한 하나 이상의 검출된 특성들을 사용자에게 통지할 수 있는 인-이어 헤드폰과 같은 출력 디바이스를 제공한다. 사용자는, 통지에 응답하여, 의료 진단을 받기 위해 의료 전문가와의 상담을 스케줄링하는 것이 가능할 수 있다. 결과적으로, 사용자는 특성이 달리 통지되지 않은 경우보다 더 빠르게 상담을 받는 것이 가능할 수 있으며, 이는 그 사람이 증상들을 경험해야 하는 시간의 양을 감소시킬 수 있다.
도 2로 돌아가면, 출력 디바이스(3)는 제어기(20), 스피커(22), 및 인-이어(또는 에러) 마이크로폰(21)을 포함한다. 일 측면에서, 출력 디바이스는 더 많은(또는 더 적은) 요소들(또는 구성요소들)을 포함할 수 있다. 예를 들어, 출력 디바이스는 하나 이상의 스피커들, 마이크로폰들, 등을 포함할 수 있다. 다른 측면에서, 출력 디바이스는, 기준 마이크로폰, 하나 이상의 디스플레이 스크린들, 및 하나 이상의 센서들(예를 들어, 가속도계, 관성 측정 유닛(inertial measurement unit; IMU), 카메라, 등)과 같은 다른 구성요소들(미도시)을 포함할 수 있다.
제어기(20)는 주문형 집적 회로(application-specific integrated circuit; ASIC), 범용 마이크로프로세서, 필드 프로그래밍가능 게이트 어레이(field-programmable gate array; FPGA), 디지털 신호 제어기, 또는 하드웨어 로직 구조들(예를 들어, 필터들, 산술 로직 유닛들, 및 전용 상태 머신들)의 세트와 같은 특수 목적 프로세서일 수 있다. 제어기는 오디오 신호 프로세싱 동작들 및/또는 네트워킹 동작들을 수행하도록 구성된다. 예를 들어, 제어기(20)는, 본 명세서에서 설명되는 바와 같이, 귀 특성 추적 및 결정 수행(decision making) 동작들을 수행하도록 구성될 수 있다. 다른 측면에서, 제어기는 다른 오디오 신호 프로세싱 동작들을 수행하도록 구성될 수 있다. 제어기(20)에 의해 수행되는 동작들에 대한 더 많은 내용이 본 명세서에서 설명된다.
인-이어(또는 에러) 마이크로폰(21)은 음향 환경에서 전파되는 음파에 의해 야기되는 음향 에너지를 입력 마이크로폰 신호로 변환하도록 구성된 임의의 유형의 마이크로폰(예를 들어, 차동 압력 구배 마이크로-전자-기계적 시스템(micro-electro-mechanical system; MEMS) 마이크로폰)일 수 있다. 본 명세서에서 설명되는 바와 같이, 마이크로폰은 인-이어 마이크로폰이어서, 사용자가 출력 디바이스를 (예를 들어, 머리 위에) 착용할 때, 마이크로폰은 사용자의 이도 내에서(또는 그 근처에서) 사운드(예를 들어, 기압의 차이들)를 감지하도록 위치(또는 배열)될 수 있다. 이러한 도면에 도시된 바와 같이, 마이크로폰은 사용자의 이도(6) 내에 삽입된 출력 디바이스의 말단에 있다. 따라서, 인-이어 마이크로폰은 사용자의 귀 내부 또는 근처로부터 사운드를 캡처하기 위해 이도(6)의 내부 또는 입구에 위치될 수 있다.
스피커(22)는, 예를 들어, 우퍼(woofer), 트위터(tweeter), 또는 미드레인지(midrange) 드라이버와 같은, 특정 주파수 대역들에서의 사운드 출력을 위해 특별히 설계될 수 있는 전기역학적 드라이버(electrodynamic driver)일 수 있다. 일 측면에서, 스피커(22)는 가능한 한 많은 가청 주파수 범위를 재현하는 "전체 범위(full-range)"(또는 "전체 대역(full-band)") 전기역학적 드라이버일 수 있다. 일 측면에서, 출력 디바이스가 하나 이상의 스피커들을 포함할 때, 스피커들의 각각은 동일한 유형(예를 들어, 각각 전체-범위 드라이버임)일 수 있거나, 또는 상이한 유형들일 수 있다. 예를 들어, 출력 디바이스가 2개의 스피커들을 포함할 때, 하나는 미드레인지 드라이버일 수 있으며, 반면 다른 하나는 우퍼이다.
이러한 도면에 도시된 바와 같이, 스피커(22)는, 사용자가 출력 디바이스를 사용하고(또는 착용하고) 있는 동안 사용자의 이도 내로(또는 이를 향해) 사운드를 투사하도록 구성된 "내부" 스피커이다. 따라서, 마이크로폰(21)과 유사하게, 스피커는 이도를 향해 안쪽으로 사운드를 투사하기 위해 사용자의 귀(5)의 이도(6) 내부에(또는 이에 대한 입구에) 위치될 수 있다. 다른 측면에서, 스피커는, 주변 환경 내로 사운드를 출력하도록 배열된 "귀-외부(extra-aural)" 스피커일 수 있다. 유사하게, 출력 디바이스는, 주변 환경내로부터의 사운드를 감지하도록 각각 배열된 하나 이상의 "기준" 마이크로폰들을 포함할 수 있다. 다른 측면에서, 출력 디바이스는 이러한 스피커들/마이크로폰들의 각각(또는 일부) 중 하나 이상을 포함할 수 있다. 예를 들어, 출력 디바이스는 하나 이상의 내부 스피커들(예를 들어, 스피커(22))을 포함하고 하나 이상의 귀-외부 스피커들을 포함할 수 있다.
일 측면에서, 출력 디바이스(3)의 구성요소들의 각각(또는 적어도 일부)은 출력 디바이스(예를 들어, 출력 디바이스의 하우징) 내에 통합될 수 있어 구성요소들이 디바이스의 일부분이다. 다른 측면에서, 구성요소들 중 하나 이상은 출력 디바이스와 통신가능하게 결합된 별개의 전자 디바이스들의 부분일 수 있다. 예를 들어, 하나 이상의 기준 마이크로폰들은, 기준 마이크로폰들로 주변 사운드를 캡처하도록 구성되고 마이크로폰들에 의해 캡처된 마이크로폰 신호들을 (예를 들어, 오디오 신호 프로세싱 동작들을 위해) 출력 디바이스로 송신하도록 구성될 수 있는 소스 디바이스(2)의 부분일 수 있다.
본 명세서에서 설명되는 바와 같이, 제어기(20)는 귀 특성 추적 및 결정 수행 동작들을 수행하도록 구성된다. 특히, 제어기는 이러한 동작들 중 이러한 하나 이상을 수행하기 위한 하나 이상의 동작 블록들을 포함한다. 도시된 바와 같이, 제어기는 (예를 들어, 2차 경로 또는 S-경로) 전달 함수 추정기(23), 임피던스 추정기(24), 임피던스 교정기(25)(점선 경계를 갖는 것에 의해 예시된 바와 같이, 선택적임), 모델 파라미터 추정기(26), 귀 특성 추적 및 결정 수행 시스템(27), 및 임피던스 교정 파라미터들(28)을 포함한다. 일 측면에서, 제어기는 더 많거나 또는 더 적은 동작 블록들을 가질 수 있다. 예를 들어, 제어기는 선택적인 임피던스 교정기를 포함하지 않을 수 있다.
일 측면에서, 동작 블록들 중 하나 이상에 의해 수행되는 동작들 중 적어도 일부는, 출력 디바이스(예를 들어, 출력 디바이스의 제어기(20))가 하나 이상의 오디오 신호 프로세싱 동작들을 수행하고 있는 동안 발생할 수 있다. 예를 들어, 제어기는 (예를 들어, 아날로그 또는 디지털 오디오 신호로서) 입력 오디오 신호를 수신하고 있으며, 사용자의 이도(6) 내로 오디오 신호의 사운드를 투사하도록 배열된 스피커(22)를 구동하기 위해 오디오 신호를 사용하고 있을 수 있다. 따라서, 제어기는, 출력 디바이스(3)가 사용자에 의해 착용되고(예를 들어, 사용자의 이도 내로 적어도 부분적으로 삽입되고) 있는 동안 스피커를 구동하고 있을 수 있다.
일 측면에서, 입력 오디오 신호는 미디어 콘텐츠 또는 사용자가 희망하는 오디오 콘텐츠, 예컨대 음악 작품, 팟캐스트, 영화 사운드트랙, 등을 포함할 수 있다. 다른 측면에서, 입력 오디오 신호는, 제어된 환경(예를 들어, 실험실)에서 정의되었을 수 있으며 사용자의 귀의 하나 이상의 특성들을 결정하는 것을 수행하기 위해 사용될 수 있는 미리 정의된 테스트 사운드(예를 들어, 사인 스위프(sine sweep))를 포함할 수 있다. 일 측면에서, 제어기는 로컬 메모리로부터 입력 오디오 신호를 수신(또는 획득)하고 있을 수 있다. 다른 측면에서, 제어기는 소스 디바이스(2)와 같은 원격 디바이스로부터 오디오 신호를 수신하고 있을 수 있다. 이러한 경우에, 출력 디바이스는 출력 디바이스에 의한 재생을 위해 입력 오디오 신호를 (예를 들어, 무선 연결(4)을 통해) 스트리밍할 수 있다.
일 측면에서, 오디오 신호는, 오디오 출력 디바이스(예를 들어, 오디오 출력 디바이스의 제어기(20))에 의해 실행되고 있는 하나 이상의 소프트웨어 애플리케이션들로부터의 사운드들을 포함할 수 있다. 예를 들어, 오디오 신호는, 전화통신 애플리케이션(출력 디바이스 및/또는 소스 디바이스에 의해 실행되고 있음)에 의해 수행되고 있는 전화 통화의 부분인 다운링크 신호일 수 있다. 이러한 경우에, 전화통신 애플리케이션은, 출력 디바이스가 통화를 수행하고 있는 다른 디바이스와 통신 네트워크를 통해 오디오 데이터를 (예를 들어, 소스 디바이스를 통해) 교환하도록 구성될 수 있다. 다른 측면에서, 오디오 신호는, 가상 개인 비서 애플리케이션과 연관된 청각적 경고를 갖는 것과 같이, 다른 소프트웨어 애플리케이션들의 다른 사운드들을 포함할 수 있다. 일 측면에서, 이러한 애플리케이션들은, 소프트웨어 애플리케이션의 사운드들이 재생을 위해 출력 디바이스로 (무선 연결(4)을 통해) 송신되고 있는 동안 소스 디바이스에 의해 실행될 수 있다.
일 측면에서, 입력 오디오 신호는 단일 오디오 신호(예를 들어, 모노 오디오 신호)일 수 있다. 다른 측면에서, 제어기는, 2개 이상의 스피커들을 통한 출력을 위해 2개의 오디오 채널들(예를 들어, 스테레오 신호)을 획득하는 것과 같이 2개 이상의 입력 오디오 신호들을 획득할 수 있다. 이러한 경우에, 출력 디바이스는, 출력 디바이스가 사용자에 의해(또는 사용자 상에) 착용되어 있는 동안 사용자의 이도 내로 사운드를 투사하도록 배열된 2개 이상의 내부 스피커들(예를 들어, 스피커(22)와 같은 스피커들)을 갖는 것과 같이 2개 이상의 스피커들을 포함할 수 있다. 다른 측면에서, 오디오 신호들 중 적어도 일부는 하나 이상의 귀-외부 스피커들을 구동하기 위한 것일 수 있다. 제어기에 의해 수행될 수 있는 다른 오디오 신호 프로세싱 동작들에 대한 더 많은 내용이 본 명세서에서 설명된다.
전달 함수 추정기(23)는, 인-이어 마이크로폰(21)에 의해 캡처되는 이도(6) 내부로부터의 사운드를 포함하는 마이크로폰 신호 및 스피커(22)를 구동하기 위해 사용되고 있는(또는 사용될) 입력 오디오 신호를 수신하도록 구성되며, 입력 오디오 신호 및 마이크로폰 신호를 사용하여, 스피커(22)와 인-이어 마이크로폰 사이의 이동 경로(또는 응답)를 나타내는 전달 함수를 추정(측정 또는 결정)하도록 구성된다. 따라서, 전달 함수는 인-이어 마이크로폰에 의해 측정된 기압으로부터 추정된다. 다른 측면에서, 전달 함수는, 스피커의 하나 이상의 특성들(예를 들어, 스피커의 체적 속도) 및 인-이어 마이크로폰에서의 압력으로부터 이도 임피던스를 측정함으로써 추정된다. 일 측면에서, 본 명세서에서 사용되는 바와 같은 응답, 및 임펄스 응답은 서로 등가물들이다. 일부 측면들에서, 임펄스 응답은 시간 영역에서의 인-이어 마이크로폰 신호의 응답이다. 다른 측면에서, 전달 함수는 임펄스 응답의 주파수 응답이며, 주파수 영역에 있다.
일 측면에서, 전달 함수는, 스피커(22)를 구동하기 위한 잡음-방지 신호를 생성하기 위해 출력 디바이스의 제어기(20)에 의해 수행되는 능동-잡음 제거(ANC) 프로세스(또는 함수)의 부분으로서 결정될 수 있다. 예를 들어, 제어기는, ANC 프로세스가 잡음-방지 신호를 생성하기 위해 사용되는 적응적 디지털 필터를 조정하기 위해 사용하는, (이러한 도면에 도시된 바와 같이) 마이크로폰(21) 및 스피커(22)로부터의 이동(또는 음향) 경로를 나타내는 2차 경로(또는 S-경로) 전달 함수(S(z))의 추정에 따라 ANC 필터(예를 들어, W(z))를 적응시키기 위해 적응적 피드백 ANC를 수행하도록 구성될 수 있다. 일 측면에서, S-경로 전달 함수는, 마이크로폰 출력 신호가 스피커에 대한 임펄스 입력에 어떻게 응답하는지를 정의한다. 일부 측면들에서, S-경로 전달 함수는 고정된 전달 함수에 의해 추정될 수 있거나, 또는 S-경로 전달 함수는, 사용자가 디바이스(예를 들어, 헤드폰)을 착용하고 있는 동안 적응적 필터 알고리즘에 의해 온라인으로 적응적으로 계산될 수 있다. 일 측면에서, S-경로 전달 함수는, ANC 함수가 활성화된 동안 (예를 들어, 출력 디바이스에 의해 수신된 사용자 입력에 기초하여) 추정될 수 있다.
따라서, 지금까지 설명된 바와 같이, 제어기는 피드백 ANC를 수행하도록 구성될 수 있다. 다른 측면에서, 피드백 동작들을 수행하는 것에 더하여(또는 그 대신에), 제어기는 피드포워드 ANC 함수를 수행할 수 있으며, 여기서 주변 사운드(및 에러 마이크로폰 신호)를 캡처하도록 배열된 기준 마이크로폰(미도시)에 의해 캡처된 기준 마이크로폰 신호가 다른 잡음-방지 신호를 생성하기 위해 S-경로 전달 함수에 따라 ANC 필터를 적응시키기 위해 사용된다.
다른 측면에서, 전달 함수 추정기(23)는 ANC 프로세스와는 별개의(또는 ANC 프로세스의 부분으로서 결정되지 않는) S-경로 전달 함수를 추정할 수 있다. 예를 들어, 출력 디바이스는 ANC 프로세스를 수행하도록 구성되지 않을 수 있지만(예를 들어, 제어기는 프로세스를 수행하도록 구성되지 않음), 여전히 S-경로를 추정하도록 구성될 수 있다. 다른 측면에서, S-경로 전달 함수는, ANC 프로세스가 잡음-방지 신호를 생성하고 있지 않는 동안 ANC 프로세스의 부분으로서 추정될 수 있다. 예를 들어, 제어기는 (예를 들어, 오직) 전달 함수를 추정하기 위해 ANC 프로세스를 실행하고 있을 수 있다.
임피던스 추정기(24)는 전달 함수 추정기(23)로부터 (예를 들어, S-경로) 전달 함수를 수신하도록 구성되며, S-경로 전달 함수를 사용하여 이도(6)의 음향 입력 임피던스를 측정(또는 추정)하도록 구성된다. 예를 들어, 임피던스 추정기는 음향 입력(예를 들어, 고막) 임피던스(예를 들어, 그리고 이도를 개별적으로) 모델링하기 위해 전달 함수를 사용할 수 있다. 특히, 임피던스 추정기는, 임피던스 교정 파라미터들(또는 계수들)(28)(예를 들어, 제어기의 메모리에 저장될 수 있음)을 수신하고, 음향 입력 임피던스를 생성(또는 추정)하기 위해 (예를 들어, 메모리 내에 저장된) 임피던스 모델에 대해 파라미터들 및 S-경로 전달 함수를 적용하도록 구성될 수 있다. 특히, 계수들은 S-경로 전달 함수를 (예를 들어, 임피던스 모델에 따라) 음향 입력 임피던스로 변환하기 위해 사용될 수 있다. 일부 측면들에서, 임피던스 교정 파라미터들은 교정 커브(예를 들어, 주파수에 대한 계수들의 하나 이상의 커브들을 포함할 수 있음)를 정의할 수 있다. 이러한 경우에, 일단 임피던스 추정기는 사용자의 이도 내로의 사운드의 음향 입력 임피던스를 추정하기 위해 (S-경로 전달 함수에 대해) 교정 커브를 사용할 수 있다. 일 측면에서, 임피던스 교정 파라미터들(하나 이상의 주파수 의존 파라미터들일 수 있음)은, 파워-업 사이클에서, 제품 개발 동안과 같이, 제어된 환경에서 오프라인으로 수행되는 임피던스 교정 동작(또는 측정)을 통해 결정(또는 측정)될 수 있다.
일 측면에서, 임피던스 교정기(25)는 기준(또는 교정) 측정을 획득하기 위해 출력 디바이스의 교정을 수행하도록 구성될 수 있다. 예를 들어, 임피던스 교정기는 임피던스 교정 파라미터들을 결정하기 위해 오프라인 임피던스 교정 동작을 수행하도록 구성될 수 있다. 다른 측면에서, 저장된 파라미터들은 교정을 수행하는 다른 전자 디바이스로부터 수신될 수 있다. 다른 측면에서, 임피던스 교정기는, 시간에 걸친 하나 이상의 음향 구성요소들 사이의(예를 들어, 스피커들 및/또는 마이크로폰들 사이의) 드리프트(drift)(또는 변동)를 고려하기 위해 (예를 들어, 온-라인) 임피던스 교정을 수행하도록 구성된다. 일 측면에서, 변동들은 시간에 걸친 구성요소들의 자연적인 품질저하로 인해 발생할 수 있거나 및/또는 시간에 걸쳐 구성요소들 상에 또는 그 근처에 모이는 물체들 또는 오염물질들(예를 들어, 스피커 포트들에 모이는 먼지)과 같은 환경적 조건들에 대한 변화들에 기초할 수 있다. 예를 들어, 임피던스 교정기는 입력 오디오 신호 및 인-이어 마이크로폰으로부터의 마이크로폰 신호를 수신하도록 구성될 수 있으며, 인-이어 마이크로폰의 위치에서의 스피커(22)의 출력 사운드의 임펄스 응답 측정(예를 들어, 전달 함수)일 수 있는 기준 측정을 수행하도록 구성될 수 있다. 일 측면에서, 기준 측정은, 사용자가 출력 디바이스를 착용하기 이전에(또는 이후에) 수행될 수 있다. 특히, 이러한 측정은, 사용자가 출력 디바이스를 사용하고 있지 않은 동안에 출력 디바이스를 하우징하도록 설계된(또는 배열된) 컨테이너 내와 같은 제어된 환경에 출력 디바이스(또는 스피커 및 마이크로폰을 포함하는 출력 디바이스의 적어도 일 부분)가 있는 동안 수행될 수 있다. 예를 들어, 출력 디바이스가 헤드셋(예를 들어, 이어버드들의 쌍)일 때, 컨테이너는, 사용자가 헤드셋을 착용하고 있지 않는 동안 헤드셋을 하우징하도록 설계된 홀딩 케이스일 수 있다. 따라서, 출력 디바이스는 드리프트를 고려하기 위해 케이스 내부에 있는 동안 임피던스 교정을 수행할 수 있다. 일 측면에서, 이러한 임피던스 교정은, S-경로 전달 함수를 추정하는 것, 및 임피던스 교정 파라미터들(28) 중 하나 이상이 (예를 들어, 오프라인으로 결정되었던 파라미터들로부터) 변화되었는지 여부를 결정하는 것을 수반할 수 있다. 예를 들어, 추정된 S-경로 전달 함수는 케이스의 체적과 연관된 미리 정의된 음향 입력 임피던스와 연관될 수 있다. (케이스 내에 있는 동안에 취해진) 최근에 결정된 음향 입력 임피던스와 미리 정의된 임피던스 사이의 변화들은 드리프트의 결과일 수 있으며, 결과적으로, 임피던스 교정기는 드리프트에 기초하여 파라미터들(28) 중 하나 이상을 조정할 수 있다. 다른 측면에서, 파라미터들을 조정하는 것에 더하여(또는 그 대신에), 임피던스 교정기는 음향 구성요소들에 대한 변화들을 고려하기 위해 (예를 들어, 장래의) 추정된 전달 함수를 조정하기 위해 교정을 사용하도록 구성될 수 있다.
일 측면에서, 임피던스 교정기는 하나 이상의 기준 측정들(예를 들어, 임피던스 재교정들)을 주기적으로 획득(또는 수행)하도록 구성될 수 있다. 예를 들어, 교정기는 최적 임피던스 추정을 유지하기 위해 임피던스 교정을 주기적으로(예를 들어, 하루에 한 번, 일 주일에 한번, 한 달에 한 번, 등) 수행할 수 있다. 다른 측면에서, 교정기는, (예를 들어, 본 명세서에서 설명되는 바와 같이, 출력 디바이스가 홀딩 케이스에 위치되었음을 나타내는, 출력 디바이스의 하나 이상의 센서들에 의해 캡처된 센서 데이터에 기초하여) 출력 디바이스가 제어된 환경에 있다고 결정할 때 측정을 수행할 수 있다. 다른 측면에서, 교정 측정은 사용자 입력에 기초하여(예를 들어, 출력 디바이스에 의해 수신된 사용자 명령에 기초하여) 수행될 수 있다.
다른 측면에서, 임피던스 교정기는, 사용자가 출력 디바이스를 사용하고 있는(예를 들어, 착용하고 있는) 동안 기준 측정을 수행하도록 구성될 수 있다. 특히, 임피던스 교정기는 (예를 들어, 사용자가 출력 디바이스를 새로 구입한 때로부터 현재 시점까지의) 시간에 걸친 임피던스의 변화들을 추적하기 위해 이러한 측정을 주기적으로 수행할 수 있다.
일 측면에서, 임피던스 추정기는 기준 측정(예를 들어, 임피던스 교정기의 임피던스 교정)을 수신하도록 구성될 수 있으며, 기준 측정에 대해 그리고 전달 함수를 사용하여 사용자의 이도의 음향 입력 임피던스를 측정(또는 추정)하도록 구성될 수 있다. 예를 들어, 임피던스 추정기는, 임피던스 교정에 기초하여 추정된 S-경로 전달 함수 및/또는 임피던스 교정 파라미터들(28)을 조정(또는 보상)함으로써 (예를 들어, 본 명세서에서 설명된 바와 같이, 변동에 기초하여) 임피던스의 변화들을 보상하도록 구성될 수 있다. 따라서, 임피던스 추정기는, 사용자의 이도의 음향 입력 임피던스를 추정할 때 변동을 고려하기 위해 (예를 들어, 하나 이상의) 기준 측정(들)을 사용할 수 있다.
일 측면에서, 물리적 귀의 하나 이상의 청각 요소들은 등가 음향-기계적 모델로서 모델링(또는 추정)될 수 있다. 예를 들어, 등가 모델은 RLC 회로(또는 네트워크)일 수 있으며, 여기서 물리적 귀의 청각 요소들은 RLC 네트워크의 하나 이상의 파라미터들(또는 구성요소들)로서 모델링된다. 특히, 외이, 고막, 중이, 및/또는 내이와 같은 청각 요소들은 RLC 네트워크의 하나 이상의 전기적 및/또는 기계적 구성요소들(예를 들어, 저항기, 커패시터, 인덕터, 댐퍼, 등)로서 모델링될 수 있다. 일 측면에서, 인간의 귀의 이러한 4개의 부분들 중 하나 이상은 모델을 구성하는 하나 이상의 구성요소들로 구성될 수 있다. 예를 들어, 외이의 이도는 댐퍼로서 모델링될 수 있으며, 반면 내이의 달팽이관은 인덕터로서 모델링될 수 있다. 일 측면에서, 모델링된 청각 요소들은 또한 요소들 중 하나 이상의 요소들의 특성들을 포함할 수 있다. 예를 들어, RLC 회로는 중이의 등골의 특성을 모델링할 수 있다(예를 들어, 여기서 등골의 강도는 커패시터에 의해 표현될 수 있다). 다른 측면에서, 등가 모델은 임의의 유형의 전기적 구성요소 및/또는 기계적 구성요소로 구성될 수 있다.
모델 파라미터 추정기(26)는 임피던스 추정기(24)로부터 추정된 음향 입력 임피던스를 수신하도록 구성되며, 사용자의 귀의 등가 음향-기계적 모델(예를 들어, 이의 적어도 일 부분)을 결정하기 위해 음향 입력 임피던스를 사용하도록 구성된다. 예를 들어, 음향 입력 임피던스는, 사용자의 귀의 등가 모델(예를 들어, 이의 하나 이상의 파라미터들)을 결정하기 위해 비-선형 최소-자승 파라미터 피팅(fit)과 같은 수치 최적화 방법을 수행하기 위한 입력 데이터로서 사용될 수 있다. 일 측면에서, 모델 파라미터 추정기는, 예를 들어, 본 명세서에서 설명되는 수치 최적화 방법을 사용하여, 측정된 음향 입력 임피던스와 등가 음향-기계적 모델(예를 들어, 이들의 파라미터들이 변경됨)로부터 기인하는 임피던스 사이의 차이를 최소화할 수 있다. 다른 측면에서, 추정기는, 임피던스에 기초하여 하나 이상의 파라미터들을 생성하도록 구성된 파라미터 모델에 음향 임피던스를 적용할 수 있다. 다른 측면에서, 추정기는, 등가 모델의 하나 이상의 파라미터들을 하나 이상의 측정된 음향 임피던스들에 연관시키는 데이터 구조(예를 들어, 제어기(20)의 메모리 내에 저장됨)에 대한 테이블 조회를 수행하기 위해 임피던스를 사용할 수 있다. 따라서, 추정기는 데이터 구조 내에서 측정된 임피던스들을 비교하고, 사용자의 귀의 추정된 임피던스와 매칭되는 측정된 음향 임피던스와 연관되는 파라미터들을 선택할 수 있다. 일 측면에서, 결정된 파라미터들은 등가 모델 내의 구성요소들의 특성들(예를 들어, 값들)(예를 들어, 저항기 값, 커패시터 값, 등)일 수 있다.
다른 측면에서, 모델 파라미터 추정기(26)는 하나 이상의 다른 파라미터들을 결정(또는 추정)하도록 구성될 수 있다. 예를 들어, 추정기는, 출력 디바이스가 사용자의 귀 내로(또는 귀 상에) 삽입되는 동안 출력 디바이스에 의해 생성되는 음향 밀봉과 연관된 파라미터를 결정할 수 있다. 특히, 파라미터는 (예를 들어, 음향 누설 방지에서의) 밀봉의 효율성을 (예를 들어, 0과 1 사이의 수치 값으로서) 나타낼 수 있다.
귀 특성 추적 및 결정 수행 시스템(27)은 모델 추정기(26)로부터 하나 이상의 추정된 파라미터들(예를 들어, 모델 구성요소 값들)을 수신하도록 구성되며, 수신된 파라미터(들)에 기초하여 사용자의 귀의 하나 이상의 청각 요소들이 하나 이상의 특성들을 갖는지 여부를 결정하도록 구성된다. 특히, 시스템은 모델 추정기(26)로부터 사용자의 귀의(예를 들어, 이에 대해 특정한) 등가 음향-기계적 모델을 수신할 수 있으며, 사용자의 귀의 하나 이상의 특성들을 결정하기 위해 모델을 사용할 수 있다. 예를 들어, 시스템은 수신된 등가 모델을 미리 정의된 등가 모델(메모리에 저장될 수 있음)과 비교할 수 있다. 일 측면에서, 미리 정의된 모델은, 이에 의해 사람의 귀가 건강한 귀(예를 들어, 사람의 귀의 청각 요소들과 연관된 특성들을 갖지 않음(또는 임계치 미만의 특성들을 가짐))가 되는 사용자의 귀의 "정상" 모델일 수 있다. 다시 말해서, 정상 모델의 파라미터들은, 청각 요소들과 연관된 임의의(예를 들어, 알려진) 특성들을 갖지 않는 청각 요소들과 연관된다. 일 측면에서, 미리 정의된 모델은 일반 모델(예를 들어, 하나 이상의 다른 모델들에 걸쳐 평균화된 모델)일 수 있다. 다른 측면에서, 미리 정의된 모델은, (예를 들어, 디바이스가 사용자의 귀 내에(또는 귀 상에) 삽입되어 있던 동안 그리고 출력 디바이스의 제1 파워 업 사이클 시에 한 번 결정되었을 수 있는) 사용자의 귀의 (예를 들어, 미리 결정된) 모델일 수 있다. 시스템은, 사용자의 귀가 임의의 특성들 또는 이슈들을 갖는지 여부를 식별하기 위해 추정된 등가 모델과 미리 정의된 모델 사이에 임의의 차이들이 있는지 여부를 결정한다. 예를 들어, 시스템은 등가 모델의 하나 이상의 특정 파라미터들과 미리 정의된 모델의 대응하는 파라미터들을 비교할 수 있으며, 파라미터들 사이의 차이들에 기초하여 하나 이상의 청각 요소들에 대한 하나 이상의 특성들(예를 들어, 파라미터들과 연관될 수 있음)을 식별할 수 있다. 예를 들어, 본 명세서에서 설명되는 바와 같이, 등골의 강도와 연관된 등가 모델의 파라미터는 (적어도) 커패시터일 수 있다. 따라서, 시스템은 정상 모델로부터의 미리 정의된 용량성 값에 대해 등가 모델의 커패시터의 용량성 값을 비교할 수 있다. 용량성 값이 미리 정의된 값과는 상이한 경우(예를 들어, 미리 정의된 임계치보다 크거나 또는 작은 경우), 시스템은, (적어도) 사용자의 중이(예를 들이, 이의 등골)에 대해 (특성으로서) 이슈가 있을 수 있음을 결정할 수 있다.
일 측면에서, 시스템은, 추정된 모델(또는 하나 이상의 추정된 파라미터들)이 시간 기간에 걸쳐 드리프트되었는지 여부에 기초하여 하나 이상의 특성들을 결정할 수 있다. 특히, 시스템은, 파라미터가 시간 기간에 걸쳐 (예를 들어, 특정 레이트(rate)로) 증가하였는지 여부를 결정하기 위해 추정된 파라미터를 추적할 수 있다. 그러한 경우, 시스템은, 그러한 드리프트와 연관된 청각 요소의 특성이 있다는 것을 결정할 수 있다.
일 측면에서, 시스템은, 사용자의 귀의 하나 이상의 청각 요소들에 대해 하나 이상의 특성들이 있다는 것을 결정할 때 하나 이상의 동작들을 수행할 수 있다. 특히, 시스템은, 사용자의 귀에 대해 가능한 이슈가 있을 수 있음을 나타내는 통지를 사용자에게 송신할 수 있다. 예를 들어, 출력 디바이스는, 사용자에게 통지하기 위해 스피커(22)를 구동하기 위한 통지를 포함하는 통지 오디오 신호를 사용할 수 있다. 다른 측면에서, 시스템은, 소스 디바이스(2)의 디스플레이 스크린과 같은 출력 디바이스와 통신가능하게 결합된 디스플레이 스크린 상에 (예를 들어, 팝-업) 통지를 나타낼 수 있다. 일 측면에서, 검출된 특성을 사용자에게 통지하는 것에 더하여(또는 그 대신에), 통지는, 의학적 진단을 제공하기 위해 사용자의 귀를 검사할 수 있는 의료 제공자(예를 들어, 청각학자)를 방문하라는 제안을 사용자에게 제공할 수 있다. 다른 측면에서, 시스템은, 결정된 하나 이상의 특성들을 제시(또는 계속해서 추적)할 수 있는 다른 전자 디바이스로 통지를 송신할 수 있다. 일부 측면들에서, 시스템은, 특성들을 계속해서 추적할 수 있고/또는 이에 관한 경고를 출력할 수 있는 (예를 들어, 출력 디바이스 상의) 하나 이상의 전자 디바이스들에 의해 실행되고 있는 하나 이상의 애플리케이션 프로그램들에 통지를 송신할 수 있다. 따라서, 시스템은 사용자가 의료 제공자로부터 진단을 받을 수 있도록 의료 제공자를 찾기 위한 통지를 사용자에게 제공하는 것이 가능하며, 이는 사용자의 청각 건강을 개선할 수 있다.
일 측면에서, 시스템은 시간 기간에 걸쳐 청각 요소들의 결정된 특성들을 추적할 수 있으며, 특성들에 대한 변화들에 기초하여 사용자에게 통지를 제공하도록 구성될 수 있다. 예를 들어, 시스템은 시간 기간에 걸쳐 특성이 지속되는지 여부(예를 들어, 결정된 특성이 시간 기간에 걸쳐 임계양으로 검출되는지)를 결정할 수 있으며, 그러한 경우, 시스템은 특성이 지속된다는 것을 나타내는 통지를 제공할 수 있다.
일부 측면들에서, 시스템(27)은, 제어기(20)에 의해 수행되는 기계 학습(machine learning; ML) 알고리즘에 기초하여 귀 특성들을 결정하고 추적할 수 있다. 예를 들어, 시스템은, 출력으로서 사용자들의 하나 이상의 청각 요소들의 하나 이상의 특성들을 결정하기 위해, 알고리즘에 대한 입력으로서 하나 이상의 추정된 모델 파라미터들을 갖는 ML 알고리즘을 사용할 수 있다. 일부 측면들에서, 시스템은 이러한 결정을 수행하기 위해 임의의 유형의 ML 알고리즘(예를 들어, 심층 신경망(deep neural network; DNN), 등)을 사용할 수 있다.
다른 측면에서, 특성들을 추적하기 위해, 시스템은 하나 이상의 파라미터들의 변화들을 추적할 수 있다. 예를 들어, 파라미터들은 시간 기간에 걸쳐 입력 임피던스에 대한 변화들에 기초하여 변화할 수 있다. 본 명세서에서 설명되는 바와 같이, 결정된 특성은, 추정된 파라미터가 미리 정의된 모델의 미리 정의된 파라미터를 임계치만큼 초과하는지(또는 아래로 떨어지는지) 여부에 기초할 수 있다. 시스템은, 시간 기간 동안 추정된 파라미터들과 미리 정의된 파라미터들 사이의 차이들을 추적할 수 있다. 예를 들어, 시스템은, 시간 기간에 걸쳐, 미리 정의된 파라미터에 대해 (예를 들어, 입력 임피던스에 대한 변화들에 기초하여) 파라미터가 변화하는 레이트를 추적할 수 있다. 변화의 레이트가 임계치를 초과한다고 결정할 때, 시스템은 사용자에게 통지할 수 있다.
다른 측면에서, 시스템은 변화의 레이트에 기초하여(및/또는 하나 이상의 추정된 파라미터들과 미리 정의된 파라미터들 사이의 차이들에 기초하여) 결정된 특성의 심각도 레벨(또는 값)을 사용자에게 통지할 수 있다. 예를 들어, 파라미터가 특정한 변화의 레이트를 갖는다고 결정할 때, 시스템은 특성 및 특성의 심각도 레벨(예를 들어, 낮음, 중간, 높음)을 사용자에게 통지할 수 있다. 특히, 시스템은, 결정된 변화의 레이트가 제1(예를 들어, 낮음) 임계치보다 큰지 여부 및/또는 결정된 변화의 레이트가 제2(예를 들어, 높음) 임계치(제1 임계치보다 큼)보다 큰지 여부를 결정할 수 있다. 제1 임계치 미만인 경우, 심각도 레벨은 낮음일 수 있으며, 제1 임계치 이상이지만 제2 임계치 미만인 경우, 심각도 레벨은 중간일 수 있고, 제2 임계치 이상인 경우, 심각도 레벨은 높음일 수 있다. 심각도 레벨들에 관한 더 많은 내용이 본 명세서에서 설명된다.
도 3은 사용자의 귀의 특성들을 결정하기 위한 프로세스(30)의 일 측면의 흐름도이다. 일 측면에서, 프로세스(30)는 출력 디바이스(예를 들어, 헤드셋)(3)에 의해(예를 들어, 이의 제어기(20)에 의해) 수행될 수 있다. 특히, 본 명세서에서 설명되는 동작들 중 적어도 일부는 도 2에서 설명된 동작 블록들 중 적어도 일부에 의해 수행될 수 있다. 일 측면에서, 프로세스(30)는, 출력 디바이스가 (예를 들어, 스피커(22)를 구동하기 위한 입력 오디오 신호를 사용함으로써) 오디오 콘텐츠를 재생하고 있는 동안 수행될 수 있다.
프로세스(30)는, (블록(31)에서) 기준 측정을 획득하기 위해 헤드셋의 교정을 수행하는 제어기(20)에 의해 시작된다. 특히, 제어기는 임피던스 모델에 대한 하나 이상의 임피던스 교정 파라미터들을 결정할 수 있다. 예를 들어, 제어기는, 본 명세서에서 설명된 바와 같이, (예를 들어, 제어된 환경에서) 오프-라인 임피던스 교정에 의해 이전에 결정되었을 수 있는 하나 이상의 임피던스 교정 파라미터들(28)을 수신할 수 있다. 다른 측면에서, 획득된 파라미터들은 온-라인 임피던스 교정에 기초할 수 있으며, 여기서 임피던스 교정기(25)는 출력 디바이스의 홀딩 케이스에서 임피던스 측정을 수행할 수 있고, 측정에 기초하여 파라미터들을 결정할 수 있다. 제어기(20)는 (블록(32)에서), 사용자가 출력 디바이스를 착용하고 있는 동안, 사용자의 이도 내로 사운드를 투사하도록 배열된 스피커를 구동하기 위해 오디오 신호를 사용한다. 제어기는 (블록(33)에서), 사용자의 이도 내부로부터의 사운드를 출력 디바이스의 인-이어 마이크로폰(21)으로부터의 마이크로폰 신호로서 캡처한다. 제어기는 (블록(34)에서) 적어도 캡처된 마이크로폰 신호 및 기준 측정에 기초하여 사용자의 귀와 연관된 파라미터를 결정한다. 특히, 파라미터는, 사용자의 물리적 귀와 등가인 등가 음향-기계적 모델의 파라미터일 수 있다. 예를 들어, 제어기는, 스피커와 인-이어 마이크로폰 사이의 응답을 나타내는(예를 들어, S-경로) 전달 함수를 결정하기 위해 마이크로폰 신호를 사용할 수 있으며, 여기서 결정된 파라미터는 S-경로 전달 함수에 기초한다. 특히, 제어기는, S-경로 전달 함수를 사용하여, 기준 측정(예를 들어, 임피던스 교정 파라미터들(28))에 대해 사용자의 이도의 음향 입력 임피던스를 추정(또는 측정)할 수 있다. 특히, 음향 입력 임피던스는, (본 명세서에서 설명된 바와 같이) 결정된 하나 이상의 임피던스 교정 파라미터들 및 S-경로 전달 함수를 임피던스 모델에 적용함으로써 추정될 수 있다. 일 측면에서, 추정된 임피던스는 사용자의 귀와 연관된 (하나 이상의) 파라미터들을 결정하기 위해 사용될 수 있다.
제어기(20)는 (블록(35)에서) 결정된 파라미터에 기초하여 사용자의 귀의 청각 요소들의 하나 이상의 특성들을 결정한다. 특히, 본 명세서에서 설명되는 바와 같이, 시스템(27)은 결정된 파라미터와 미리 정의된 파라미터들을 비교할 수 있으며, 파라미터들 사이의 차이들(또는 변화들)에 기초하여 사용자의 귀의 청각 요소들(예를 들어, 중이, 내이, 등)에 대한 하나 이상의 특성들을 식별할 수 있다. 일 측면에서, 제어기는 파라미터에 기초하여 사용자의 귀의 하나 이상의 청각 요소들의 하나 이상의 특성들과 관련된 통지를 송신한다. 특히, 제어기는, 본 명세서에서 설명되는 바와 같이, 파라미터에 기초하여 하나 이상의 특성들을 결정하고, 특성의 표시를 포함할 수 있는 통지를 송신한다. 본 명세서에서 설명되는 바와 같이, 통지는 청각적 통지 및/또는 시각적 통지일 수 있다. 일부 측면들에서, 통지는, 본 명세서에서 설명되는 바와 같이, 하나 이상의 특성들의 결정 시에 송신될 수 있다.
일부 측면들은 프로세스(30)의 변형들을 수행한다. 예를 들어, 프로세스들의 적어도 일부의 특정 동작들은 도시되고 설명된 정확한 순서로 수행되지 않을 수 있다. 상이한 측면들에서 특정 동작들이 하나의 연속적인 일련의 동작들로 수행되지 않을 수 있고 상이한 특정 동작들이 수행될 수 있다. 예를 들어, 제어기는, 프로세스(30)의 동작들의 나머지가 수행되기 이전에 교정을 수행할 수 있다. 특히, 출력 디바이스는, 블록들(32-25)에서 동작들을 수행하기 이전에 교정을 수행할 수 있다. 다른 측면에서, 교정은, 본 명세서에서 설명되는 바와 같이, 디바이스가 제어된 환경에 있는 동안 수행될 수 있다. 이러한 경우에, 제어기는, 스피커를 구동하고 스피커에 의해 생성된 사운드를 포함하는 인-이어 마이크로폰으로부터의 마이크로폰 신호를 캡처하기 위해 (예를 들어, 블록(32)에서 스피커를 구동하기 위해 사용되는 입력 신호와는 별개의) 신호를 사용할 수 있다. 제어기는, 본 명세서에서 설명되는 바와 같이, 파라미터를 결정하기 위해 사용될 수 있는 기준 측정으로서 인-이어 마이크로폰에서의 응답을 추정하기 위해 신호들을 사용할 수 있다.
다른 측면에서, 제어기(20)는 하나 이상의 추정된 임피던스들에 기초하여 하나 이상의 파라미터들을 결정할 수 있다. 본 명세서에서 설명되는 바와 같이, 제어기는 사용자의 이도 내로 사운드를 투사하도록 스피커를 구동하기 위해 오디오 신호를 사용할 수 있다. 일 측면에서, 사운드는 라우드니스(loudness) 레벨로 출력될 수 있다. 예를 들어, 라우드니스 레벨은 사용자 정의될 수 있거나 및/또는 미리 정의된 레벨일 수 있다. 일 측면에서, 제어기는 다수의 임피던스들을 결정할 수 있으며, 여기서 각각의 임피던스는 오디오 출력 디바이스가 상이한 라우드니스 레벨에 있는 동안(예를 들어, 동일한 또는 상이한 오디오 신호로 스피커를 구동함) 결정된다. 예를 들어, 제어기는 제1 라우드니스 레벨로 출력되는 제1 오디오 신호에 기초하여 제1 임피던스를 결정할 수 있으며, 제2(예를 들어, 상이한) 라우드니스 레벨로 출력되는 제2 오디오 신호에 기초하여 제2 임피던스를 결정할 수 있다. 따라서, 제어기는 상이한 라우드니스 레벨들에서 추정된 임피던스의 변화들을 관찰할 수 있으며, 임피던스 변화에 기초하여 하나 이상의 파라미터들을 결정할 수 있다. 따라서, 제어기는 사용자의 귀(예를 들어, 중이 및/또는 내이)의 비-선형 응답을 검출하기 위해 2개 이상의 상이한 사운드 레벨들에서 음향 임피던스를 측정하도록 구성된다.
일 측면에서, 귀 특성들을 측정하고 추적하기 위한 동작들은, 사용자의 하나 이상의 귀들에 삽입된(또는 이들을 커버하는) 출력 디바이스에 의해 수행될 수 있다. 특히, 이러한 동작들은, 오디오 신호 프로세싱 동작들 및/또는 사용자에게 재생하기 위해 오디오 콘텐츠를 스트리밍하기 위한 네트워킹 동작들을 수행하도록 구성된 헤드셋 디바이스에 의해 수행될 수 있다. 일 측면에서, 이러한 동작들은, 주변 환경으로부터 사용자의 귀(이도)를 밀봉할 수 있는 헤드셋에 의해 수행될 수 있다. 예를 들어, 헤드셋은, 삽입될 때 사용자의 이도의 적어도 일 부분 내에 밀봉을 생성하기 위해 사용되는 이어 팁들을 포함하는 인-이어 헤드폰들일 수 있다. 일 측면에서, 이러한 동작들은, 사용자의 이도 내로의(그리고 이의 밖으로의) 공기 누설을 방지하는 밀봉형 디바이스에 의해 최적으로 수행될 수 있다. 따라서, 귀 특성들을 측정하고 추적하기 위한 동작들은, 전문화된 측정 도구가 아니라, 임의의(예를 들어, 소비자) 전자 머리-착용 디바이스에 의해 수행될 수 있다.
일 측면에서, 제어기(20)는, 제어기에 결합된 요소들에 기초하여 하나 이상의 오디오 신호 프로세싱 동작들을 수행하도록 구성될 수 있다. 예를 들어, 제어기(20)는, 하나 이상의 사운드 소스 위치들에 더 민감하도록 특정 방향들로 공간적으로 선택적인 사운드 픽업(pickup)을 위한 (하나 이상의 오디오 신호들로서) 지향성 빔 패턴들을 형성하기 위해 출력 디바이스의 2개 이상의 외부(및/또는 2개 이상의 인-이어) 마이크로폰들이 생성하는 오디오(또는 마이크로폰) 신호들을 프로세싱하도록 구성될 수 있는 사운드-픽업 빔포머(beamformer)를 포함할 수 있다. 일부 측면들에서, 제어기는, 지향성 빔 패턴들을 포함하는 오디오 신호들에 대해 오디오 프로세싱 동작들을 수행할 수 있다(예를 들어, 스펙트럼적으로(spectrally) 성형을 수행할 수 있다).
일 측면에서, 제어기는 선택적으로 추가적인 DSP 동작들을 수행할 수 있다. 예를 들어, 제어기는 입력 오디오 신호에 하나 이상의 스칼라 이득들을 적용할 수 있거나 및/또는 하나 이상의 필터들(예를 들어, 저역-통과 필터, 대역-통과 필터, 고역-통과 필터, 등)을 적용함으로써 신호를 스펙트럼적으로 성형할 수 있다. 다른 측면에서, 제어기는, 본 명세서에서 설명되는 바와 같이, 하나 이상의 스피커들(예를 들어, 좌측 스피커 및 우측 스피커)을 구동하기 위한 양이(binaural) 오디오 신호들을 생성하기 위해 머리-관련 전달 함수(head-related transfer function; HRTF)들과 같은 공간 필터들을 적용함으로써, 신호들 중 하나 이상에 대해 공간적으로 렌더링 동작들을 수행할 수 있다(및/또는 이들을 믹스할 수 있다). 다른 예로서, 출력 디바이스가 하나 이상의 라우드스피커들을 포함할 때, 제어기는, (예를 들어, 미리 정의된 라우드스피커 구성에 기초하여) 하나 이상의 라우드스피커 드라이버 신호들을 생성하기 위해 다운링크 신호 및 오디오 신호(들)의 HOA 표현을 렌더링할 수 있다.
일 측면에서, 제어기들에 의해 수행되는 동작들은 본 명세서에서 설명된 바와 같이 소프트웨어로(예를 들어, 메모리에 저장되고 제어기 중 하나에 의해 실행되는 명령어들로서) 구현될 수 있거나 및/또는 하드웨어 로직 구조들에 의해 구현될 수 있다.
본 명세서에서 설명되는 바와 같이, 제어기(20)는 사용자의 귀의 하나 이상의 청각 요소들의 귀 특성들을 측정하고 추적하도록 구성될 수 있다. 일 측면에서, 특성은 사용자의 이도 내의 차단(obstruction) 또는 폐색(blockage)을 포함할 수 있다. 이러한 폐색은 이물질의 결과일 수 있거나, 또는 귀들을 보호하기 위해 사람의 신체에 의해 생성되는 귀지(cerumen)(또는 귀지(earwax))의 자연적인 축적의 결과일 수 있다. 작은 폐색은 사람에게 눈에 띄지 않을 수 있지만, 큰 폐색(예를 들어, 귀지의 큰 축적물)은 사람의 청각에 부정적인 영향을 미칠 수 있을 뿐만 아니라, 다른 건강 이슈들(예를 들어, 귀 통증, 현기증, 등)을 초래할 수 있다. 이러한 이슈들을 검출하고 추적하는 것은 (예를 들어, 사람이 의료 제공자와의 상담을 스케줄링하도록 하기 위해 특성들을 사용자에게 통지함으로써) 사람이 이도 폐색들과 같은 특성들을 효과적으로 관리하는 것을 도울 수 있어서 사람의 전체적인 귀 건강을 개선할 수 있다.
본 개시내용은, 귀 특성들을 식별할 뿐만 아니라 시간 기간에 걸쳐 그러한 특성들을 추적하도록 구성된 귀 특성 추적 및 결정 수행 시스템을 제공한다. 특히, 폐색들과 같은 특성들을 검출하고 추적하기 위해, 제어기는, 하나 이상의 스피커들에 의해 생성된 사운드 및 (예를 들어, 사용자의 이도, 고막 등으로부터의) 사운드의 반사들을 포함하는 하나 이상의 마이크로폰 신호들을 사용하여, 사용자의 이도의 하나 이상의 반사 파라미터들의 세트를 생성하도록 구성된다. 반사 파라미터들은, 청각적 자극들에 응답하는, 사용자의 이도의 반사 패턴을 표시할 수 있다(또는 나타낼 수 있다). 예를 들어, 스피커 출력이 이도를 통해 고막까지 이동할 때, 스피커 출력은 도중에 공진들 및 반사들을 생성한다. 사운드 에너지의 대부분은, 더 많은(또는 더 심각한) 폐색들을 포함하는 이도보다 더 적은(또는 거의 없는) 폐색들(또는 물체들)을 갖는 이도를 통해 고막으로 더 전파될 수 있다. 결과적으로, 폐색들이 거의 없는 이도는 하나 이상의 마이크로폰들에 의해 캡처되는 특정 반사 패턴을 생성할 수 있으며, 반면 더 많은(또는 더 심각한) 폐색들을 갖는 이도는 상이한 반사 패턴을 생성할 수 있다. 반사 파라미터들을 사용하여, 제어기는 마이크로폰 신호들을 필터링할 수 있으며, 폐색이 발생했는지 여부를 결정하기 위해 및/또는 시간 기간에 걸쳐 폐색의 심각도 레벨을 결정하기 위해 필터링된(또는 출력) 신호들을 사용할 수 있다. 따라서, 시스템은 특성들의 심각도의 진행의 통지들을 사용자에게 제공하기 위해 식별된 특성의 심각도 레벨을 추적할 수 있다. 특정 특성의 심각도를 아는 것은, 의료 제공자(예를 들어, 청각학자)로부터 조언을 구해야 하는지 여부를 결정함에 있어서 사용자를 돕기 위해 사용자에 의해 사용될 수 있는 추가적인 정보를 제공할 수 있다.
도 4는, 일 측면에 따른 하나 이상의 마이크로폰 신호들로부터의 사용자의 이도의 반사 파라미터들에 기초하여 사용자의 귀의 특성을 결정하도록 구성된 출력 디바이스의 다른 블록도를 도시한다. 다른 측면에서, 출력 디바이스는 또한, 본 명세서에서 설명되는 바와 같이, 결정된 특성의 심각도를 결정하도록 구성될 수 있다. 도시된 바와 같이, 출력 디바이스는 제어기(20), 스피커(22), 및 하나 이상의 인-이어 마이크로폰들(21)을 포함한다. 일 측면에서, 출력 디바이스는 더 많은 또는 더 적은 요소들을 포함할 수 있다. 예를 들어, 출력 디바이스는, 제어기(20)가 이로부터 2개 이상의(또는 N개의) 마이크로폰 신호들을 수신할 수 있는 2개 이상의 인-이어 마이크로폰들을 포함하는 인-이어 마이크로폰들의 어레이를 포함할 수 있다.
도시된 바와 같이, 제어기(20)는, 반사 파라미터 추정기(42), 반사 필터(45), 귀 기하구조 추정기(41), 마이크로폰 교정기(46), 및 귀 특성 추적 및 결정 수행 시스템(또는 시스템)(27)과 같은 몇몇 동작 블록들을 포함한다. 일 측면에서, 제어기는, (점선 경계들을 갖는 것으로 예시된) 마이크로폰 교정기 및 귀 기하구조 추정기와 같은 하나 이상의 동작 블록들을 갖는 것과 같이, 더 많거나 또는 더 적은 동작 블록들을 포함할 수 있다.
본 명세서에서 설명되는 바와 같이, 제어기는, 출력 디바이스가 사용자에 의해 사용되고 있는 동안 하나 이상의 오디오 신호 프로세싱 동작들을 수행할 수 있다. 특히, 출력 디바이스는, 본 명세서에서 설명되는 바와 같이, 제어기가 하나 이상의 동작들을 수행하고 있는 동안 사용자에 의해(또는 사용자 상에) 착용될 수 있다. 예를 들어, 도 2와 유사하게, 출력 디바이스는, 디바이스가 동작하고 있는 동안 사용자의 귀(5)의 이도(6) 내로 삽입되는 이어버드와 같은 헤드셋일 수 있다. 다른 측면에서, 제어기는, 사용자가 출력 디바이스를 착용하고 있는 동안 스피커(22)를 구동하기 위해 입력 오디오 신호를 사용하고 있을 수 있다. 이에 더하여, N개의 인-이어 마이크로폰(들)(21)(여기서 N은 출력 디바이스의 인-이어 마이크로폰들의 수임)은 (각각) 사용자의 귀의 이도 내부로부터의 사운드를 캡처하고 있을 수 있다. 따라서, 제어기(20)는, 각각의 마이크로폰으로부터 적어도 하나씩, 각각 캡처된 사운드를 포함하는 N개의 마이크로폰 신호(들)를 획득하도록 구성될 수 있다.
반사 파라미터 추정기(42)는 인-이어 마이크로폰들에 의해 캡처된 N개의 마이크로폰 신호들을 수신하도록 구성되며, 사용자의 이도의 하나 이상의 반사 파라미터들의 세트를 추정(또는 생성)하기 위해 신호들을 사용하도록 구성된다. 일 측면에서, 반사 파라미터들은 마이크로폰 신호들 중 하나 이상 내의 스펙트럼 콘텐츠의 주파수 대역(예를 들어, 서브-대역) 분석에 기초할 수 있다. 특히, 반사 추정기는, 주파수 범위(예를 들어, 사람이 들을 수 있는 주파수 범위)에 걸쳐 있는 몇몇 주파수 대역들의 각각의 주파수 대역에 대해, 스펙트럼 콘텐츠가 스피커에 의해 생성된 신호의 반사들을 포함하는지 여부를 결정하기 위해 마이크로폰 신호들의 스펙트럼 콘텐츠를 비교할 수 있다. 이러한 반사들은, 사용자의 귀의 청각 요소들로부터 반사되는 사운드(예를 들어, 사용자의 이도, 고막, 등으로부터 반사되는 사운드)일 수 있다. 다른 측면에서, 추정기는, 각각의 주파수 대역이 주로 스피커에 의해 생성된 사운드(예를 들어, 스피커로부터의 직접 사운드)를 포함하는지 또는 청각 요소들로부터의 반사들을 포함하는지 여부를 결정하고 있다. 일 측면에서, 추정기는, 시간 기간(예를 들어, 1초, 1분, 1시간, 등)에 걸쳐, 주파수 대역에 걸친 스펙트럼 콘텐트가 스피커에 의해 생성된 사운드의 임계 수의 반사들을 포함하는지 여부를 결정한다. 그러한 경우, 주파수 대역이 주로 반사들을 포함한다고 결정될 수 있다. 따라서, 해당 대역 내에서 검출된 반사들의 수에 기초하여 주파수 대역에 걸친 스펙트럼 콘텐트가 주로 반사들을 포함한다고 결정될 수 있다. 다른 측면에서, 스펙트럼 콘텐츠는 또한 스피커에 의해 생성된 직접 사운드를 포함(또는 적어도 부분적으로 포함)할 수 있다.
일 측면에서, 반사 파라미터들은 하나 이상의 마이크로폰 신호들 사이의 공간 상관 매트릭스를 계산함으로써 생성될 수 있으며, 여기서 임계치 이상의 스펙트럼 콘텐츠를 갖는(예를 들어, 에너지 임계 레벨 이상의 에너지 레벨을 갖는) 마이크로폰 신호들의 사이의 주파수 대역들(또는 서브-대역들)이 해당 주파수 대역에서의 반사를 나타내기 위해 결정될 수 있다. 일 측면에서, 주파수 대역 내의 반사들의 수는, 시간 기간에 걸쳐 대역 내의 스펙트럼 콘텐츠를 추적함으로써(예를 들어, 시간 기간에 걸쳐 서브-대역 내의 스펙트럼 콘텐츠가 얼마나 많은 횟수로 임계치를 초과하는지를 추적함으로써) 식별될 수 있다. 일 측면에서, 높은 수(예를 들어, 임계치 이상, 평균 이상, 등)의 반사들 및/또는 높은 에너지 레벨을 갖는 것은 이도 이외의 위치로부터 오는 반사들(예를 들어, 사용자의 이도 내로 삽입된(또는 이도 상에 위치된) 출력 디바이스의 적어도 일 부분으로부터 반사되는 사운드에 기인하는 반사들)을 나타낼 수 있다.
일 측면에서, 반사 파라미터는, (예를 들어, 사용자의 귀에 대한 특성이 있는지 여부를 결정할 때) 마이크로폰 신호의 적어도 일 부분이 필터링될지(예를 들어, 제거될지) 여부를 나타낼 수 있다. 예를 들어, 반사 파라미터는, 개별적인 주파수 대역에 걸친 스펙트럼 콘텐츠가 사용자의 이도의 반사들을 갖는지(또는 갖는 것으로 결정되었는지) 여부를 나타내는 2진 값일 수 있다. 예를 들어, 파라미터가 높은 값("1")일 때, 스펙트럼 콘텐츠는 (예를 들어, 주로) 반사들과 연관될 수 있으며, 반면, 파라미터가 낮은 값(예를 들어, "0")일 때, 스펙트럼 콘텐츠는 주로 반사들을 갖지 않는다(또는 임계치 미만인 반사들을 포함할 수 있다).
일 측면에서, 반사 파라미터 추정기는 반사 패턴(예를 들어, 주파수 대역 반사 맵)을 생성하기 위해 추정된 반사 파라미터들을 사용할 수 있다. 특히, 추정기는 하나 이상의 주파수 대역들 내의 반사들(또는 반사 파라미터들)의 유효 랭크 추정에 기초하여 반사 패턴을 결정할 수 있다. 따라서, 패턴은, 하나 이상의 주파수 대역들이 (예를 들어, 주파수 범위에 걸쳐) 높은 수(예를 들어, 반사들 이상)의 반사들을 포함하는지 여부(또는 이들 중 어떤 것이)를 나타낼 수 있다.
일 측면에서, 하나이상의 반사 파라미터들은, 본 명세서에서 설명되는 바와 같이, 유사한 방식으로 하나의 마이크로폰 신호를 조사함으로써 생성될 수 있다. 예를 들어, 반사 추정기는, 하나의 마이크로폰 신호를 사용하여 하나 이상의 주파수 대역들에 걸쳐 반사 파라미터를 결정할 수 있다(예를 들어, 임계치 이상인 해당 대역 내의 스펙트럼 콘텐츠에 기초하여 반사가 주파수 대역에 존재한다는 것을 결정한다).
일 측면에서, 반사 추정기(42)는 MLML 알고리즘에 기초하여 반사 파라미터들(및/또는 반사 패턴)을 추정할 수 있다. 특히, 추정기는, 입력으로서 하나 이상의 인-이어 마이크로폰 신호들을 수신하며 하나 이상의 마이크로폰 신호들과 연관된 (서브-대역) 반사들의 수를 생성(또는 예측)할 수 있는 ML 알고리즘을 포함할 수 있다. 수에 기초하여, 반사 추정기는 하나 이상의 반사 파라미터들을 생성할 수 있다. 일 측면에서, 반사 추정기는 주파수 범위(예를 들어, 사람에 대한 가청 주파수 범위)에 걸쳐 있는 몇몇 주파수 대역들의 각각의 주파수 대역에 대한 파라미터를 추정할 수 있다. 다른 측면에서, 하나 이상의 마이크로폰 신호들에 기초하여 사용자의 이도의 반사 파라미터들을 결정하기 위해 임의의 방법이 사용될 수 있다.
일 측면에서, 반사들이 하나 이상의 마이크로폰 신호들에서 수신(또는 검출)되고 있는지 여부를 결정하는 것에 더하여(또는 그 대신에), 반사 파라미터 추정기는 수신된 반사들의 도달 방향(direction of arrival; DOA)을 결정하도록(또는 추정하도록) 구성될 수 있다. 특히, 추정기는, (예를 들어, 라우드스피커가 이도 내로 사운드를 투사할 때 라우드스피커에 의해 생성되는 직접 에너지 경로에 기초하여) 다른 곳에서 발생할 수 있는 직접 사운드(또는 다른 반사들)와 같은 이도 내부로부터 발원하지 않는 반사들과는 대조적으로, 사용자의 귀 내의 특정 영역으로부터 발원하는 반사들(예를 들어, 이도 내부에서 또는 이로부터 발생하는 반사들)을 추적하도록 구성될 수 있다. 일 측면에서, 이러한 다른 반사들은, 사용자의 귀 내로 삽입되고 밀봉을 생성하는 헤드셋의 이어 팁으로부터 반사되는 것과 같은, 헤드셋의 일 부분(예를 들어, 전면 부분)으로부터 반사되는 사운드의 결과로서 생성될 수 있다. 따라서, 반사 파라미터 추정기는, 사용자의 귀의 이도 내로(또는 이를 향해) 그리고 출력 디바이스로부터 멀어지도록 지향되는 지향성 빔 패턴을 생성하기 위해 하나 이상의 마이크로폰 신호들을 사용하도록 구성될 수 있다. 특히, 추정기는, (예를 들어, 다른 주파수 대역들의 스펙트럼 콘텐츠에 비해 가장 높은 스펙트럼 콘텐츠를 갖는) 가장 강한 신호를 포함하는 하나 이상의 주파수 대역들을 분석함으로써 주파수 대역 도달 방향(DOA) 파라미터를 추정할 수 있다. 일 측면에서, (예를 들어, 가장 강한 신호를 갖는) 이러한 주파수 대역들은 라우드스피커와 하나 이상의 마이크로폰들 사이의 직접 신호 경로를 나타낼 수 있다. 따라서, 추정기는 이도 내부(예를 들어, 빔 패턴이 특정 영역 내부를 향해 지향된 그 특정 영역 내부)로부터의 반사들과 연관된 각각의 주파수 대역에 대한 DOA 파라미터를 추정할 수 있다. 일 측면에서, 파라미터 추정기는, 반사들이 이도 내부로부터 발원하는 주파수 대역의 각각(예를 들어, 각각에 대한 DOA 파라미터들)을 포함하는 DOA 마스크를 생성할 수 있다(예를 들어, 그럼으로써, 스피커와 마이크로폰(들) 사이의 직접 경로와 연관된 주파수 대역들 및 관심 영역으로부터 발원하지 않은 다른 반사들을 필터링할 수 있다).
일 측면에서, 반사 파라미터 추정기(42)는 반사 파라미터들에 DOA 파라미터들을 결합(또는 추가)하도록 구성된다. 일 측면에서, 파라미터들은 주파수 영역에서 파라미터들을 곱함으로써 결합될 수 있다. 다른 측면에서, 파라미터 추정기는 반사 마스크를 생성하기 위해 하나 이상의 DOA 파라미터들의 DOA 마스크 및 하나 이상의 반사 패턴들의 반사 패턴을 결합할 수 있다. 일 측면에서, 하나 이상의 추정된 반사 파라미터들은 반사 마스크를 정의할 수 있다. 신호들을 필터링하는 것에 관한 더 많은 내용이 본 명세서에서 설명된다.
일 측면에서, 반사 필터(45)는 반사 파라미터 추정기(42)로부터 추정된 반사 파라미터들을 수신하고 N개의 마이크로폰 신호들을 수신(또는 획득)하도록 구성되며, 하나 이상의 출력 신호들을 생성하기 위해 반사 파라미터들로 N개의 마이크로폰 신호들을 필터링하도록 구성된다. 특히, 반사 필터는, 반사 파라미터들과 연관되지 않은 마이크로폰 신호들의 스펙트럼 콘텐츠를 (예를 들어, 주파수 영역에서) 필터링하기 위해 하나 이상의 추정된 반사 파라미터들을 사용하여 정의(또는 생성)될 수 있다. 특히, 반사 필터는, 낮은 값을 가진 반사 파라미터들과 연관된 스펙트럼 콘텐츠를 제거할 수 있어 스펙트럼 콘텐츠가 (예를 들어, 주로) 반사들을 포함하지 않는다는 것을 나타낸다. 일 측면에서, 반사 필터는, 마스크를 사용하여 프로세싱될 때 (예를 들어, 출력 신호들로서) 마이크로폰 신호들의 반사들이 필터링될 수 있는 2진 마스크일 수 있는 생성된 반사 마스크를 사용하여 정의된다. 예를 들어, 출력(필터링된) 신호들은, 이도의 내부로부터 다시 반사되었으며 인-이어 마이크로폰(들)에 의해 수신된 스피커 사운드 출력의 반사들로부터 오는 에너지만을 포함할 수 있다. 이도 이외의 영역들로부터 발원할 수 있는 반사들 및/또는 스피커로부터 발원하는 직접 사운드 에너지는 반사 마스크에 의해 필터링될 수 있다. 일 측면에서, 반사 필터(45)는, 마이크로폰 신호들의 수와 동일한 수의 필터링된 신호들(N개의 신호들)을 생성할 수 있다.
일 측면에서, 반사 필터에 의해 필터링되는 마이크로폰 신호들은, 하나 이상의 반사 파라미터들을 생성하기 위해 사용된 마이크로폰 신호들 이후에 획득될 수 있다. 예를 들어, 반사 파라미터들은 시간 기간(예를 들어, 1시간, 1일, 등)에 걸쳐 추정될 수 있다. 일단 추정되면, 반사 필터(45)는 반사 파라미터들을 수신할 수 있으며, 후속 마이크로폰 신호들을 필터링하기 위해 시간 기간 이후에 획득되는 마이크로폰 신호들을 획득할 수 있다.
일 측면에서, 반사 필터(45)는 사용자의 이도 내의 반사들에 대한 변화들에 기초하여 동적으로 업데이트(또는 변화)될 수 있다. 예를 들어, 반사 파라미터 추정기는 하나 이상의 마이크로폰 신호들 내의 캡처된 스펙트럼 콘텐츠에 대한 변화들에 기초하여 반사 파라미터들을 조정하도록 구성될 수 있다. 예를 들어, 반사 파라미터 추정기는, 본 명세서에서 설명되는 바와 같이, 이러한 대역들 내의 반사들이 임계치를 초과하는지 여부를 결정하기 위해 하나 이상의 주파수 대역들을 모니터링할 수 있다. 주파수 대역에 대한 반사들의 수가 (예를 들어, 반사 파라미터가 추정되었던 이전의 시간으로부터) 감소하였다는 것을 결정할 때, 파라미터 추정기는 (예를 들어, 높은 값으로부터 낮은 값으로) 파라미터를 조정할 수 있다. 결과적으로, 반사 필터는 변화하는 반사 파라미터들에 따라 동적으로 업데이트될 수 있다.
일 측면에서, 귀 기하구조 추정기(41)는 사용자의 귀(예를 들어, 이도)의 기하구조(예를 들어, 크기, 형상, 길이, 등)을 추정하도록 구성된다. 일 측면에서, 기하구조 추정기는 반사 파라미터 추정기(42)에 의해 추정된 하나 이상의 반사 파라미터들(예를 들어, 또는 반사 마스크)를 수신하도록 구성될 수 있으며, 파라미터들에 기초하여 귀 기하구조를 추정하도록 구성될 수 있다. 예를 들어, 기하구조 추정기는, 하나 이상의 귀 기하구조들을 하나 이상의 (예를 들어, 미리 정의된) 반사 파라미터들(또는 마스크들)과 연관시키는 (예를 들어, 출력 디바이스(3)의 제어기(20) 내에 저장된) 데이터 구조에 대해 테이블 조회를 수행하도록 구성될 수 있다.
일 측면에서, 귀 기하구조는 다른 수단을 통해 추정될 수 있다. 예를 들어, 기하구조 추정기는 N개의 마이크로폰 신호들을 수신하고 스피커를 구동하기 위해 사용되는 입력 오디오 신호를 수신하도록 구성될 수 있으며, 신호들에 기초하여 기하구조를 결정하도록 구성될 수 있다. 예를 들어, 기하구조는 하나 이상의 마이크로폰들에서의 (예를 들어, 임펄스) 응답을 결정하기 위해 신호들을 사용할 수 있으며, 응답에 기초하여 기하구조를 결정할 수 있다. 다른 측면에서, 기하구조 추정기는 (예를 들어, 입력 오디오 신호 없이) 마이크로폰 신호들만에 기초하여 기하구조를 결정할 수 있다.
다른 측면에서, 귀 기하구조는 사용자 입력 및/또는 센서 입력을 수신할 수 있으며, 입력에 기초하여 귀 기하구조를 결정할 수 있다. 본 명세서에서 설명되는 바와 같이, 출력 디바이스는 이어버드들의 쌍일 수 있으며, 여기서 각각의 이어버드는, 이어버드들이 사용자의 귀 내로 삽입될 때 사용자의 이도 내에 밀봉을 생성하기 위해 사용되는 이어 팁을 갖는다. 일 측면에서, 출력 디바이스에는 하나 이상의 상이한 유형들 또는 크기들의 이어 팁들이 장착될 수 있다. 예를 들어, 사용자는, 사용자의 이도 내에 밀봉을 생성하도록 크기가 결정된 특정 이어 팁(예를 들어, 다른 이어 팁들에 비해 더 작은 직경을 갖는 이어 팁)을 출력 디바이스에 결합할 수 있다. 예를 들어, 사용자는, 더 작은 크기의 이어 팁이 밀봉을 생성하기에 충분히 크지 않을 때(예를 들어, 충분히 큰 직경을 갖지 않을 때) 출력 디바이스에 큰 크기의 이어 팁을 장착할 수 있으며, 이는 사용자의 이도의 크기에 기인할 수 있다. 일 측면에서, 귀 기하구조 추정기는, 출력 디바이스에 결합되는 이어 팁의 유형(예를 들어, 작음, 중간, 또는 큼과 같은 크기)을 나타내는 사용자 입력을 수신할 수 있다. 유형으로부터, 귀 기하구조는 이도의 기하구조(예를 들어, 크기)를 결정할 수 있다. 이전의 예로 돌아가면, 사용자가 큰 크기의 이어 팁들이 출력 디바이스에 결합되었다는 것을 나타낼 때, 기하구조 추정기는 이도가 크다는 것(예를 들어, 평균보다 크다는 것)을 결정할 수 있다. 다른 측면에서, 귀 기하구조 추정기는 하나 이상의 센서들로부터의 센서 입력에 기초하여 사용자의 귀의 기하구조를 결정할 수 있다. 예를 들어, 귀 기하구조 추정기는, 제어기와 통신가능하게 결합된 하나 이상의 카메라들에 의해 캡처된 이미지 데이터를 수신할 수 있다. 사용자의 귀(및/또는 이도)의 이미지를 포함할 수 있는 이미지 데이터로부터, 추정기(41)는 사용자의 귀의 기하구조를 결정할 수 있다. 다른 측면에서, 추정기(41)는 사용자의 귀의 기하구조를 결정하기 위해 임의의 방법을 사용할 수 있다. 다른 측면에서, 귀 기하구조 추정기는 기하구조를 결정하기 위해 본 명세서에서 설명되는 하나 이상의 방법들의 조합을 사용할 수 있다.
특성 심각도 예측기(43)는 반사 필터(45)로부터 출력(또는 필터링된) 신호들을 수신하도록 구성되며, 출력 신호들에 기초하여 청각 요소의 하나 이상의 특성들을 결정(예를 들어, 이도 내에 폐색이 있는지 여부를 결정)하도록 구성된다. 일 측면에서, 예측기는, 입력으로서 필터링된 신호들을 취하고 하나 이상의 청각 요소들이 하나 이상의 특성들을 갖는지 여부를 결정하도록 구성된 ML 알고리즘(예를 들어, 심층 신경망(DNN))일 수 있다. 예를 들어, DNN은 필터링된 신호에 기초하여 이도 내에 폐색이 있다는 표시를 출력하도록 구성될 수 있다. 일 측면에서, 예측기는 폐색의 하나 이상의 물리적 특성들을 결정하도록 구성될 수 있다. 예를 들어, 예측기는 폐색의 양(예를 들어, 크기, 형상, 길이, 등) 및/또는 폐색의 유형(예를 들어, 폐색이 귀지인지 여부, 폐색이 유체인지 여부, 등)을 결정할 수 있다.
일 측면에서, 예측기는 귀 기하구조의 추정을 수신하도록 구성될 수 있으며, 귀 기하구조에 기초하여 특성을 결정하도록 구성될 수 있다. 예를 들어, 예측기는 귀 기하구조와 필터링된 신호들 사이의(및/또는 추정된 귀 기하구조와 예측된 폐색의 결정된 물리적 특성들 사이의) 비교에 기초하여 이도 내에 폐색이 있는지 여부를 결정할 수 있다. 특히, 예측기는, 예측된 폐색(또는 폐색의 적어도 일 부분)이 실제로 사용자의 이도의 자연스러운 형상, 크기, 등의 부분인지 여부를 결정할 수 있다. 예를 들어, 이도의 특성들은 사람들 사이에서 상이할 수 있으며, 예컨대 한 사람은 좁은 이도를 가질 수 있고, 반면 다른 사람은 더 넓은 이도를 가질 수 있다. 이러한 경우에, 예측기는, 사용자의 추정된 귀 기하구조와 예측된 폐색의 물리적 특성들 사이의 차이들에 기초하여 폐색이 있는지 여부를 결정할 수 있다. 예를 들어, 귀 기하구조는, 사용자의 이도(이의 적어도 일 부분)가 튜브형 형상이며 특정 직경을 갖는다는 것을 나타낼 수 있다. 그러나, 예측된 폐색은 동일한 부분을 따라 유사하게 형상을 갖출 수 있지만, 더 좁은 직경을 가질 수 있다. 폐색은, 공기(및 사운드)가 이도를 통해 사용자의 고막으로 이동할 수 있는 직경을 감소시키는 그 이도 내의 물체로 인해 더 좁은 직경을 가질 수 있다. 결과적으로, 예측기는, 폐색의 더 작은 직경과 사용자의 (자연스러운) 귀 기하구조의 더 큰 직경 사이의 차이에 기초하여 폐색이 크기가 결정된다는 것을 결정할 수 있다.
다른 측면에서, 예측기(43)는 마이크로폰 교정기(46)로부터 인-이어 마이크로폰들(21)의 교정을 수신하도록 구성될 수 있으며, 교정 및 필터링된 신호들에 기초하여 하나 이상의 특성들을 예측하도록 구성될 수 있다. 일 측면에서, 교정기는 입력 오디오 신호 및 인-이어 마이크로폰으로부터의 마이크로폰 신호를 수신하도록 구성될 수 있으며, (예를 들어, 마이크로폰의 위치에서의 스피커의 출력 사운드의 임펄스 응답 측정에 기초하여) 마이크로폰의 교정을 수행하도록 구성될 수 있다. 일 측면에서, 교정 동작은, 사용자가 출력 디바이스를 착용하기 이전에(또는 이후에) 수행될 수 있다. 예를 들어, 예측기(43)는 (예를 들어, 연식(age), 등과 같은) 마이크로폰들의 특성들을 고려하기 위해 교정을 사용할 수 있으며, 마이크로폰 특성들을 보상하기 위해 교정 프로세스로부터의 필터링된 신호들을 사용할 수 있다. 다른 측면에서, 교정기에 의해 수행되는 교정 동작들은 임피던스 교정기(25)에 의해 수행되는 임피던스 교정과 동일(또는 유사)할 수 있다. 다른 측면에서, 마이크로폰 교정기는 마이크로폰 특성들을 보상하기 위해 임의의 교정 방법을 사용할 수 있다.
일 측면에서, 귀 기하구조 추정기(41) 및 마이크로폰 교정기(46)의 동작들은 (점선들인 이러한 박스들에 의해 표시되는 바와 같이) 선택적이다. 예를 들어, 특성 심각도 예측기는 필터링된 신호들에 기초하여 특성이 있는지 여부를 예측할 수 있다. 다른 측면에서, 예측기는 제어기에 통신가능하게 결합된 구성요소들에 기초하여 이러한 블록들 중 하나 또는 둘 모두로부터 데이터를 수신할 수 있다. 본 명세서에서 설명되는 바와 같이, 출력 디바이스는 N개의 인-이어 마이크로폰들(21)을 포함할 수 있으며, 여기서 제어기는 N개의 마이크로폰 신호들을 수신한다. 일 측면에서, 예측기는, 출력 디바이스가 하나의 마이크로폰만을 포함할 때 마이크로폰 교정기로부터 교정을 획득할 수 있다. 또는 더 구체적으로, 예측기는, 하나의 마이크로폰 신호만이 획득될(예를 들어, 그리고 반사 파라미터들을 추정하기 위해 사용되며, 파라미터들을 사용하여 필터링될) 때, 본 명세서에서 설명된 동작들이 수행될 때 교정을 사용할 수 있다. 다른 측면에서, 예측기(43)는 N개의 마이크로폰 신호들이 출력 디바이스의 N개의 인-이어 마이크로폰들에 의해 획득되는 2개 이상의 마이크로폰 신호들을 포함할 때 교정을 획득하지 않을 수 있다(예를 들어, 그리고 마이크로폰 교정기의 동작들은 수행되지 않을 수 있으며).
일 측면에서, 특성 심각도 예측기(43)는 예측된 특성의 심각도 레벨을 결정하도록 구성된다. 특히, 심각도 레벨은 수치 값(예를 들어, 0 -1 사이)일 수 있으며, 여기서 낮은 값(예를 들어, 0.1)은 낮은 심각도를 나타내고, 반면 높은 값(예를 들어, 1)은 낮은 심각도보다 더 높은 심각도를 나타낸다. 예를 들어, 폐색에 대해, 심각도 레벨은 크기, 형상, 길이, 등과 같은 폐색의 하나 이상의 특성들을 나타낼 수 있으며, 여기서 낮은 심각도 레벨은 폐색이 (예를 들어, 이도의 크기에 비해) 작다는 것을 나타낸다. 그러나, 높은 심각도 레벨은, 폐색이 더 낮은 심각도 레벨보다 더 심각하다는 것(예를 들어, 폐색이 이도에 비해 더 크다는 것)을 나타낼 수 있다. 일 측면에서, 심각도 레벨은 이도 내의 개방 공간의 양에 대응할 수 있다. 예를 들어, 낮은 심각도 레벨을 갖는 폐색은, 이도 내의 개방 공간의 직경이 임계치 이상인 폐색을 나타낼 수 있다. 반대로, 이도 내의 개방 공간의 직경이 임계치 미만일 때 폐색은 높은 심각도 레벨을 가질 수 있다.
일 측면에서, 예측기는, 본 명세서에서 설명되는 바와 같이, 심각도 레벨을 결정하기 위해 귀 기하구조의 추정을 사용할 수 있다. 예를 들어, 예측기는, 귀 기하구조와 필터링된 신호들(및/또는 필터링된 신호들에 기초하여 예측기에 의해 결정된 이도의 특성들)의 비교에 기초하여 폐색의 심각도 레벨을 결정할 수 있다. 일 예로서, 귀 기하구조는 이도가 특정 직경이라는 것을 나타낼 수 있으며, 필터링된 신호들은 직경을 감소시키는 폐색을 나타낼 수 있다. 따라서, 예측기는 폐색에 의해 야기된 직경의 감소(또는 차이)에 기초하여 심각도를 결정할 수 있다.
다른 측면에서, 예측기는 하나 이상의 임계치들과 심각도 값의 비교에 기초하여 심각도를 결정할 수 있다. 예를 들어, 예측기는 필터링된 신호들에 기초하여 심각도 값을 결정할 수 있다. 본 명세서에서 설명되는 바와 같이, 심각도 값은 0과 1 사이의 값일 수 있다. 심각도 값을 사용하여, 예측기는, 심각도 값이 하나 이상의 임계치들 미만인지 여부에 기초하여 폐색의 심각도 레벨을 결정할 수 있다. 본 명세서에서 설명되는 바와 같이, 하나 이상의 임계치들은 낮음, 중간, 및/또는 높음과 같은 심각도 레벨을 나타낼 수 있다. 이러한 경우에, 심각도 레벨이 낮음 임계치 및 높음 임계치(낮음 임계치보다 더 높음) 미만일 때, 심각도 레벨은 낮음일 수 있다. 심각도 값이 낮음 임계치보다 더 높지만 높음 임계치보다 더 낮은 경우, 심각도 레벨은 중간일 수 있다. 그리고, 심각도 값이 높음 임계치 이상일 때, 심각도 레벨은 높음일 수 있다.
결정 로직(44)은 결정된 특성 및/또는 특성의 예측된 심각도 레벨을 수신하도록 구성되며, 예측기의 평가가 정확한지 여부를 결정하도록 구성된다. 특히, 결정 로직은, 예측기에 의해 이루어진 예측들의 신뢰도 점수를 결정하고 신뢰도 점수가 임계치를 초과하는지 여부를 결정하도록 구성된다. 예를 들어, 결정 로직은 스피커(22)를 구동하기 위해 사용되는 입력 오디오 신호를 수신하도록 구성되며, 입력 오디오 신호 내에 포함된 오디오 콘텐츠에 기초하여 신뢰도 점수를 결정하도록 구성된다. 일 측면에서, 결정된 신뢰도 점수는 입력 오디오 신호 내의 오디오 콘텐츠의 유형에 기초할 수 있다. 예를 들어, 신뢰도 점수는, 오디오 신호가 (주로) 스피치(speech)를 포함할 때 낮을 수 있다. 반대로, 신뢰도 점수는, 오디오 신호가 음악 작품을 포함할 때 높을 수 있다(또는 임계치보다 더 높을 수 있다). 일 측면에서, 신뢰도 점수는 오디오 콘텐츠의 특성들, 예컨대, 오디오 콘텐츠가 전환(transition)들 또는 감쇠들을 포함하는지 여부에 기초할 수 있다. 예를 들어, 오디오 콘텐츠가 하나 이상의 감쇠들(예를 들어, 사운드가 하나의 강도로부터 다른 강도로(예를 들어, 묵음으로) 페이드(fade)될 때의 전환)을 포함할 때, 결정 로직은 높은 신뢰도 점수를 결정할 수 있다. 다른 예로서, 오디오 콘텐츠가 감쇠들을 포함하지 않을 때(또는 임계치 미만의 감쇠들을 수를 포함할 때), 예컨대 오디오 콘텐츠가 일정할 때(예를 들어, 일정한 신호 레벨, 또는 임계치 미만으로 내려가지 않는 신호 레벨을 가질 때), 신뢰도 점수는 낮을 수 있다. 다른 측면에서, 신뢰도 점수는 입력 오디오 신호의 재생 레벨에 기초할 수 있다(예를 들어, 재생 레벨이 임계치 이상일 때, 신뢰도 점수는 낮을 수 있다). 다른 측면에서, 신뢰도 점수는 입력 오디오 신호의 다른 특성들에 기초할 수 있다.
결정 로직은, 결정된 신뢰도 점수가 (예를 들어, 미리 정의된) 임계치를 초과하는지 여부를 결정하도록 구성된다. 그러한 경우, 결정 로직은 결정된 특성에 관한 통지를 출력하도록 구성될 수 있다. 예를 들어, 로직은, 이도 내에 폐색이 있다는 것을 나타내는 (예를 들어, 청각적) 통지를 출력할 수 있거나 및/또는 폐색의 심각도를 나타낼 수 있다. 이러한 경우에, 심각도 레벨이 낮음일 때, 통지는, 사용자가 이도 내에 작은 폐색을 가질 수 있음을 나타낼 수 있다. 다른 측면에서, 통지는, 사용자가 결정된 특성과 관련하여 의학적 견해를 구하라는 제안을 제공할 수 있다.
본 명세서에서 설명되는 바와 같이, 귀 특성 추적 및 결정 수행 시스템(27)은 사용자의 귀의 하나 이상의 청각 요소들의 하나 이상의 특성들을 추적하도록 구성될 수 있다. 일 측면에서, 시스템은 사용자의 이도 내의 예측된 폐색들을 추적할 수 있다. 예를 들어, 폐색이 있다고 결정할 때, 시스템은 시간의 기간(예를 들어, 1일, 1주일, 1달) 동안 폐색을 추적할 수 있다. 특히, 시스템은, 시간의 기간에 걸쳐 한 번 이상 폐색이 존재하는지 여부 및 그 폐색의 심각도를 예측하기 위해 본 명세서에서 설명된 동작들 중 하나 이상을 수행할 수 있다. 일 측면에서, 시스템은, 폐색의 심각도 레벨이 증가하고 있다는 것(예를 들어, 미리 정의된 레이트로 증가하는 심각도 값)을 결정하는 것에 응답하여 통지를 출력할 수 있다.
일 측면에서, 제어기(20)는 하나 이상의 추가적인 오디오 신호 프로세싱 동작들을 수행할 수 있다. 예를 들어, 제어기는, 스피커로부터 인-이어 마이크로폰(들)로 직접적으로 들어오는 스피커 신호의 전부(또는 대부분)를 제거하기 위해 에코 제거 동작들을 수행할 수 있다. 예를 들어, 제어기는 인-이어 마이크로폰(들)과 스피커 사이의 송신 경로에 기초하여 하나 이상의 선형 필터들을 결정하고, 인-이어 마이크로폰(들)에 의해 캡처되는 N개의 마이크로폰 신호들로부터 감산(subtract)되는 에코의 추정을 생성하기 위해 입력 오디오 신호에 필터를 적용할 수 있다. 다른 측면에서, 제어기는 에코 제거의 임의의 방법을 사용할 수 있다.
도 5는 사용자의 이도의 추정된 반사 파라미터들에 기초하여 사용자의 귀의 하나 이상의 특성들을 결정하기 위한 프로세스(60)의 일 측면의 흐름도이다. 일 측면에서, 프로세스(60)는 출력 디바이스(3)에 의해(예를 들어, 이의 제어기(20)에 의해) 수행될 수 있다.
프로세스(60)는 (블록(61)에서), 사용자가 출력 디바이스를 착용하고 있는 동안, 사용자의 귀의 이도 내로 제1 사운드를 투사하도록 스피커(22)를 구동하는 제어기(20)에 의해 시작된다. 특히, 제어기는, 사용자의 귀의 이도 내로 사운드를 투사하도록 배열된 스피커(22)를 구동하기 위해 (예를 들어, 입력) 오디오 신호를 사용할 수 있다. 본 명세서에서 설명되는 바와 같이, 오디오 신호는, 음악 작품, 팟캐스트, 또는 영화 사운드 트랙과 같은 사용자가 희망하는 오디오 콘텐츠 중의 부분일 수 있다. 제어기는 (블록(62)에서) 인-이어 마이크로폰들(21)의 세트로부터 마이크로폰 신호들의 제1 세트를 획득하며, 마이크로폰 신호들의 제1 세트는 마이크로폰들에 의해 캡처되는 제1 사운드 및 제1 사운드의 반사들을 포함한다. 본 명세서에서 설명되는 바와 같이, 제어기는 출력 디바이스의 하나 이상의 마이크로폰들로부터 하나 이상의(예를 들어, N개의) 마이크로폰 신호들을 획득할 수 있다. 마이크로폰 신호들은, 스피커에 의해 생성된 사운드(예를 들어, 스피커와 마이크로폰(들) 사이의 직접 사운드 경로) 및 사용자의 이도 내부로부터의 사운드의 반사들(예를 들어, 이도의 내부 벽들로부터 반사되는, 고막으로부터 반사되는, 등의 사운드)을 포함할 수 있다. 제어기는 (블록(63)에서) 마이크로폰 신호들의 제1 세트에 기초하여 사용자의 귀의 이도의 적어도 하나의 반사 파라미터를 생성한다. 특히, 반사 파라미터 추정기(42)는, 각각이 하나 이상의 주파수 대역들에서 마이크로폰들에 의해 수신되는 반사들의 수를 나타내는, 하나 이상의 반사 파라미터들을 생성할 수 있다. 또한, 추정기는, 사용자의 귀의 이도를 향해 그리고 출력 디바이스로부터 멀어지도록 지향된 마이크로폰 신호들의 제1 세트 중 하나 이상에 의해 생성된 지향성 빔 패턴에 기초하여 DOA 파라미터들을 추정할 수 있다. 본 명세서에서 설명되는 바와 같이, 이러한 파라미터들은 (예를 들어, 반사 마스크를 생성하기 위해) 결합될 수 있다.
제어기(20)는 (블록(64)에서) 사용자의 귀의 이도 내로 제2 사운드를 투사하도록 스피커를 구동한다. 예를 들어, 제2 사운드는, 제1 사운드를 투사하도록 스피커를 구동하기 위해 사용되었던 입력 오디오 신호의 부분일 수 있다. 그러나, 제2 사운드는, 제1 사운드와 연관된 신호의 일 부분 이후에 있는 신호의 일 부분과 연관될 수 있다(예를 들어, 제2 사운드는 제1 사운드 이후에 재생된다). 다른 측면에서, 제2 사운드는, 제1 사운드를 투사할 때 스피커를 구동하기 위해 사용되었던 입력 오디오 신호와는 상이한 오디오 신호와 연관될 수 있다. 제어기는 (블록(65)에서) 인-이어 마이크로폰들의 세트로부터 마이크로폰 신호들의 제2 세트를 획득하며, 마이크로폰 신호들의 제2 세트는 마이크로폰들에 의해 캡처되는 제2 사운드 및 제2 사운드의 반사들을 포함한다. 일 측면에서, 마이크로폰 신호들의 제2 세트는 마이크로폰들의 제1 세트 이후에 캡처될 수 있다. 예를 들어, 일단 반사 파라미터들이 추정되면, 제어기는 마이크로폰 신호들의 제2 세트를 획득할 수 있다. 일부 측면들에서, 마이크로폰 신호들의 제2 세트는, 반사 파라미터들이 추정된 때로부터 시간 기간(예를 들어, 1분, 1시간, 1일, 등) 이후에 획득될 수 있다.
제어기(20)는 (블록(66)에서) 마이크로폰 신호들의 제2 세트 및 적어도 하나의 반사 파라미터에 기초하여 출력(예를 들어, 필터링된) 신호들의 세트를 생성하며, 여기서 출력 신호들의 세트는 마이크로폰들에 의해 캡처되는 제2 사운드의 반사들만을 포함한다. 특히, 반사 필터(45)는, 사용자의 귀의 이도의(또는 이로부터의) 반사들과 연관되지 않은 스펙트럼 콘텐츠를 마이크로폰 신호들의 제2 세트로부터 필터링하기 위해 하나 이상의 반사 파라미터들(또는 반사 마스크)을 사용한다. 예를 들어, 반사 필터는, 적어도 하나의 반사 파라미터와 연관되지 않은 주파수 콘텐츠를 하나 이상의 주파수 대역들에 걸쳐 제거함으로써 마이크로폰 신호들의 제2 세트로부터 제2 사운드를 필터링하기 위해 반사 파라미터들을 사용한다.
제어기(20)는 (블록(67)에서) 출력 신호들의 세트에 기초하여 사용자의 귀의 하나 이상의 청각 요소들의 하나 이상의 특성들을 결정한다. 특히, 특성 심각도 예측기(43)는 출력 신호들을 수신하고, DNN의 출력으로서 하나 이상의 특성들을 결정하는, DNN(또는 특성 심각도 모델)으로의 입력으로서 출력 신호들을 적용하도록 구성된다. 예를 들어, 예측기는, 출력 신호들에 기초하여 사용자의 이도 내에 폐색이 있다는 것을 결정할 수 있다. 다른 측면에서, 예측기는, 본 명세서에서 설명되는 바와 같이, 폐색의 크기, 형상 등과 같은 폐색의 (예를 들어, 물리적) 특성들을 결정할 수 있다.
일 측면에서, 특성의 결정 시에, 제어기는 사용자에게 통지를 제시하여 사용자에게 특성을 경고할 수 있다. 특히, 결정 로직은 특성이 검출되었다는 것을 사용자에게 경고하는 통지(예를 들어, 스피커(22)를 통한 청각적 통지, 디스플레이 스크린을 통한 시각적(팝업) 통지, 등), 및/또는 특성 설명 및/또는 특성의 심각도와 같은 특성에 관한 추가적인 정보를 출력할 수 있다. 예를 들어, 특성이 이도 내의 폐색일 때, 통지는, 낮은 심각도를 갖는 폐색이 있다는 것을 나타낼 수 있다. 이러한 정보를 통해, 사용자는, 예를 들어, 청각학자에 의한 의학적 진단을 위해 의료 전문가를 찾을 수 있다.
일 측면에서, 통지는, 제1 사운드(예를 들어, 제1 사운드를 생성하도록 스피커를 구동하기 위해 사용된 제1 오디오 신호)의 오디오 콘텐츠와 연관된 신뢰도 점수가 신뢰도 임계치를 초과하는지 여부에 기초할 수 있다. 본 명세서에서 설명되는 바와 같이, 신뢰도 점수는 제1 사운드의 오디오 콘텐츠의 특성들(예를 들어, 사운드가 임계 수의 전환들, 감쇠들, 및/또는 일시정지들을 포함하는지 여부)에 기초할 수 있다. 제1 사운드의 신뢰도 점수가 신뢰도 임계치를 초과하는 것에 응답하여, 출력 디바이스는 청각 요소의 결정된 특성에 관한 통지를 출력(제시)할 수 있다.
일부 측면들은 프로세스(30)의 변형들을 수행한다. 예를 들어, 프로세스들의 적어도 일부의 특정 동작들은 도시되고 설명된 정확한 순서로 수행되지 않을 수 있다. 상이한 측면들에서 특정 동작들이 하나의 연속적인 일련의 동작들로 수행되지 않을 수 있고 상이한 특정 동작들이 수행될 수 있다. 예를 들어, 심각도 예측기는, 본 명세서에서 설명된 바와 같이, 특성의 심각도를 결정할 수 있다.
도 6은, 일 측면에 따른 음향 입력 임피던스에 기초하여 사용자의 귀의 특성을 결정하도록 구성된 출력 디바이스의 다른 블록도를 도시한다. 일 측면에서, 이러한 도면은, 제어기(20)가, 본 명세서에서 설명된 바와 같이, 귀 특성 추적 및 결정 수행 동작들을 수행할 수 있는 도 2 및 도 4로부터의 몇몇 동작 블록들을 포함한다는 것을 도시한다. 일 측면에서, 제어기는 도 2 및 도 4에 도시된 바와 같은 추가적인 동작 블록들을 갖는 것과 같이 더 많은 또는 더 적은 동작 블록들을 포함할 수 있다.
본 명세서에서 설명되는 바와 같이, 이러한 도면은, 제어기가 음향 입력 임피던스 측정에 기초하여 특성을 결정하도록 구성되는 도면을 도시한다. 특히, 이러한 도면은, 하나의 인-이어 마이크로폰을 사용하여 음향 입력 임피던스 측정에 기초하여 특성들을 결정하거나 및/또는 특성 심각도(예를 들어, 특성의 심각도 레벨)을 예측(결정)하도록 구성된 제어기를 예시한다. 예를 들어, 제어기는, 도 2에서 설명된 임피던스 분석을 사용하여, 사용자의 이도가 하나 이상의 폐색들을 포함하는지 여부를 결정하도록 구성될 수 있다. 따라서, 폐색들과 같은 특성이 2개 이상의 마이크로폰 신호들일 수 있는 N개의 마이크로폰 신호들에 기초하여 예측될 수 있는 도 4의 제어기와 달리, 이러한 도면은, 이러한 예측들이 하나의 마이크로폰 신호에 기초할 수 있다는 것을 예시한다.
본 명세서에서 설명되는 바와 같이, 모델 파라미터 추정기(26)는 임피던스 추정기(24)로부터 추정된 음향 입력 임피던스를 수신하도록 구성되며, 사용자의 귀의 등가 음향-기계적 모델을 결정하기 위해 음향 전가(impute) 임피던스를 사용하도록 구성된다. 일 측면에서, 파라미터들 중 하나는 사용자의 이도에 대응할(또는 이와 등가일) 수 있다. 이러한 파라미터는, 형상, 크기, 길이, 일관성(consistency), 등과 같은 이도의 특성들을 나타낼 수 있다.
특성 심각도 예측기(43)는, 사용자의 이도와 등가인 파라미터와 같은 추정된 파라미터들을 수신하고, 사용자의 귀에 대한 특성이 있는지 여부를 결정하도록 구성된다. 특히, 특성 심각도 예측기는, 사용자의 이도와 연관된 파라미터에 기초하여 사용자의 이도 내에 폐색이 있는지 여부를 결정하도록 구성될 수 있다. 예를 들어, 파라미터는, 이도가 평균적인 사람의 이도보다 더 짧다는 것을 나타낼 수 있고 이는 이도 내의 물체 또는 폐색의 결과일 수 있다. 다른 예로서, 예측기는, 이도 파라미터들을 폐색들과 연관시키는 데이터 구조에 대한 테이블 조회를 수행할 수 있으며, 추정된 파라미터와 연관된 데이터 구조 내의 파라미터를 식별할 때, 예측기는 폐색이 있다는 것을 결정할 수 있다.
다른 측면에서, 예측기는, 이도 파라미터를 모니터링하는 것에 기초하여 폐색이 있는지 여부를 결정할 수 있다. 본 명세서에서 설명되는 바와 같이, 파라미터는 이도의 특성들을 나타낼 수 있다. 예를 들어, 예측기는 파라미터에 기초하여 특성들을 결정할 수 있다. 특히, 예측기는, 사용자의 이도의 하나 이상의 특성들을 추정된 파라미터와 연관시키는 데이터 구조에 대해 테이블 조회를 수행할 수 있다. 다른 측면에서, 특성들은 파라미터(또는 이의 부분)와 연관될 수 있다. 일 측면에서, 예측기는 시간에 걸쳐 이러한 특성들을 모니터링할 수 있다. 특히, 모델 파라미터 추정기(26)는, 예측기(43)가 특성들을 축적하기 위해 사용할 수 있는 해당 시간 기간에 걸쳐 하나 이상의 파라미터들을 추정할 수 있다. 이러한 특성들로, 예측기는, 이도의 길이가 시간에 걸쳐 감소하는지 여부와 같은, 이도에 대한 변화들이 있는지 여부를 결정할 수 있다. 이러한 변화들은 이도가 폐색을 갖는지 여부를 결정하기 위해 예측기에 의해 사용될 수 있다.
또한, 예측기는 특성들의 모니터링에 기초하여 폐색의 심각도를 결정할 수 있다. 특히, 예측기가 폐색을 모니터링함에 따라, 폐색의 특성들은 하나 이상의 임계치들과 비교될 수 있다. 예를 들어, (예를 들어, 이도의 크기에 대한) 폐색의 크기는, 크기가 해당 임계치를 초과할 때 폐색의 심각도 레벨이 높음일 수 있는 임계치와 비교될 수 있다(예를 들어, 이는, 폐색이 고막과 외이 사이의 공기의 통과를 부정적으로 제한하는 크기임을 나타낸다). 본 명세서에서 설명되는 바와 같이, 심각도 레벨은 폐색에 대해 결정될 수 있지만, 심각도 레벨은 또한 하나 이상의 청각 요소들의 임의의 결정된 특성에 대해 결정될 수 있다.
지금까지 설명된 바와 같이, 모델 파라미터 추정기(26)는 사용자의 이도와 연관된 파라미터를 추정하도록 구성될 수 있다. 다른 측면에서, 파라미터 추정기는 하나 이상의 청각 요소들의 특정 특성에 대한 파라미터를 추정하도록 구성될 수 있다. 예를 들어, 파라미터 추정기는 사용자의 귀(예를 들어, 이도) 내의 폐색(또는 물체)과 연관된 파라미터를 추정할 수 있다. 일 측면에서, 귀 특성 추적 및 결정 수행 시스템(27)은, 본 명세서에서 설명되는 바와 같이, 폐색의 하나 이상의 특성들을 결정하기 위해 파라미터를 사용할 수 있다.
특성 및/또는 특성의 심각도 레벨의 결정 시에, 결정 로직은, 본 명세서에서 설명되는 바와 같이, 입력 오디오 신호와 연관된 신뢰도 점수가 임계치 이상인지 여부를 결정하도록 구성된다. 그러한 경우, 결정 로직은 하나 이상의 통지들을 제시하여, 사용자에게 특성 및/또는 특성과 연관된 심각도 레벨을 경고할 수 있다.
이상에서 설명된 바와 같이, 귀 특성 추적 및 결정 수행 동작들을 수행하기 위해, 본 기술의 일 측면은 합법적이고 특정한 소스들로부터 이용가능한 데이터를 수집하고 사용하는 것을 고려한다. 일부 경우들에서, 수집되는 데이터는, 개인에 대해 고유할 수 있으며 따라서 특정 사람을 식별하기 위해 사용될 수 있는 정보 또는 데이터를 포함할 수 있다는 것이 고려된다. 예를 들어, 데이터는 위치-기반 데이터, 집 주소, 온라인 식별자들, 인구통계학적 데이터, 이메일 주소, 전화 번호들, 생년월일, 사용자의 체력 레벨 또는 건강 상태들에 관한 다른 유형들의 정보(예를 들어, 바이탈(vital)들의 측정들, 약물들에 관한 정보, 운동에 관한 정보), 또는 다른 개인 데이터(예를 들어, 생체 측정 식별자들)을 포함할 수 있다.
개인 데이터는 본 기술에서 사용자들에게 유익할 수 있다는 것이 고려된다. 예를 들어, 사용자의 귀의 하나 이상의 청각 요소들이 특성들을 갖는지 여부를 결정하기 위해 사용자의 동의에 기초하여, 건강 정보가 사용될 수 있다.
개인 데이터를 수집하거나, 분석하거나, 개시하거나, 전송하거나, 저장하거나, 또는 이의 기타 사용을 수행하는 엔티티들에 대해 잘-확립된 프라이버시 관행들 및/또는 프라이버시 정책들의 준수가 요구될 것임이 고려된다. 예를 들어, 사용자들의 프라이버시를 유지하기 위한 산업 또는 정부 요건들이 존재함에 따라, 이러한 엔티티들은, 일반적으로 이러한 요건들을 충족시키는 것 또는 초과하는 것으로 인식되는 프라이버시에서의 관행들을 일관되게 적용하고 구현할 것으로 예상된다.
개인 데이터 사용에 관한 임의의 정보는 눈에 띄게 제공되어야 하며, 사용자들은 이러한 정보에 쉽게 액세스할 수 있어야 한다. 데이터가 수집되거나 또는 사용되는 방식에 대해 변화들이 있을 때 정보에 대한 업데이트들이 이루어져야 한다. 사용자들의 개인 정보의 수집은 합법적인 목적들로만 제한되어야 한다. 추가적으로, 적용가능한 법령에 지정된 다른 합법적인 근거가 존재하지 않는 한, 사용자로부터의 동의는 수집/공유가 일어나기 전에 수신되어야 한다. 개인 데이터를 보호하고 개인 데이터에 대한 액세스를 갖는 사람들이 그들의 프라이버시 정책들 및 절차들을 준수하는 것을 보장하는 것을 돕기 위해 보호(safeguarding) 및 보안(securing) 액세스를 위한 단계들이 필요하다. 엔티티들이 널리 용인되는 프라이버시 정책들 및 관행들을 준수하고 있음을 인증하기 위해 제3자 평가가 이루어질 수 있음이 고려된다. 또한, 기초하는 정책들 및 관행들의 적응성은 수집되거나 및/또는 액세스되는 개인 데이터의 유형들 및, 예를 들어, 더 엄격한 관할-특정 고려사항들과 같은 적용가능한 법률들 및 표준들 모두에 기초한다. 예를 들어, 미국에서, 연방법 및/또는 주법(예를 들어, HIPAA(Health Insurance Portability and Accountability Act))이 특정 건강 데이터의 수집 또는 이에 대한 액세스를 관리한다. 다른 국가들에서, 건강 데이터는 상이한 규정들 및 정책들의 대상이며, 그에 따라 처리되어야 한다.
사용자들이 개인 데이터의 특정 사용, 또는 이에 대한 액세스를 선택적으로 차단할 수 있다는 것이 또한 고려된다. 이러한 경우들에서, 하드웨어 및/또는 소프트웨어 구성요소들이 이러한 개인 데이터에 대한 액세스를 차단하거나 또는 방지하기 위해 이용될 수 있다. 예를 들어, 귀 특성 추적 및 결정 수행의 경우에서와 같이, 본 기술은, 귀의 특성들이 출력 디바이스에 의해 검출되고 추적되는 동안 또는 그 이후의 임의의 시점에 사용자가 개인 정보의 수집의 참여에 대해 "동의(opt in)" 또는 "동의하지 않음(opt out)"을 선택하는 것을 허용하도록 구성될 수 있다. 다른 예에서, 사용자는 이러한 동작들을 수행하기 위해 오디오 데이터가 사용되지 않는 것을 선택할 수 있다. 특히, 사용자는, 귀 특성들을 추적하기 위해 캡처되고 사용되는 오디오 데이터의 양(및 시간의 길이)(또는 데이터의 임의의 유형)을 제한할 것을 선택할 수 있다. "동의" 및 "동의하지 않음" 옵션들을 제공하는 것에 부가하여, 본 개시내용은 개인 정보의 액세스 또는 사용에 관한 통지들을 제공하는 것을 고려한다. 예를 들어, 사용자는, 출력 디바이스가, 본 명세서에서 설명되는 바와 같이, 사용자의 귀의 청각 요소들이 폐색들과 같은 특성들을 갖는지 여부를 결정하기 위해 출력 디바이스가 마이크로폰 신호들을 획득할 때 통지를 받을 수 있다. 또한, 사용자는, 개인 정보 데이터가 출력 디바이스에 의해 액세스되기 직전에 다시 리마인드될 수 있다.
비의도적인 또는 비인가된 액세스 또는 사용의 위험성들을 최소화하는 것은 개인 데이터가 관리되고 처리되는 방식에 영향을 줄 것임이 고려된다. 예를 들어, 위험을 최소화하는 하나의 방식은 데이터 수집의 범위를 제한하고, 데이터가 더 이상 필요하지 않을 때 데이터를 삭제하는 것이다. 다른 예로서, (예를 들어, 특정 건강 애플리케이션들에 대해) 가능할 때, 본 개시내용은 사용자의 프라이버시를 보호하기 위해 데이터에서 개인정보를 제거(de-identify)할 수 있다. 개인정보를 제거하기 위한 다양한 방법들은, 가능할 때, 예를 들어, 라벨들 및 이름들을 제거하는 것, 저장될 데이터의 양을 제어하는 것, 또는 저장되는 데이터의 세분성을 제어하는 것(예를 들어, 위치는 주소 레벨이 아니라 국가 레벨로 수집될 수 있거나, 또는 데이터는 사용자들에 걸쳐 집성될 수 있음)에 의해 사용될 수 있거나, 및/또는 다른 방법들(예를 들어, 차등 프라이버시)이 사용될 수 있다.
마지막으로, 개인 데이터가 다양한 개시된 실시예들을 구현하기 위해 사용될 수 있음이 고려되지만, 다양한 측면들이 이러한 개인 데이터를 액세스할 필요 없이 구현될 수 있음이 또한 고려된다. 다시 말해서, 본 개시내용의 다양한 측면들은, 개인 데이터의 일부 또는 전부의 손실로 인해 동작불능이 되지 않는다. 일 예에서, 각각의 사용자에게 특정하지 않은 또는 최소 양의 개인 데이터만을 포함하는 집성된 데이터에 기초하여 콘텐츠가 사용자들에게 제공될 수 있다. 최소 양의 개인 데이터만을 포함하는 경우에, 사용자들은 사용자들의 디바이스들에서 프로세싱되는 콘텐츠 또는 사용자들에게 개인적이지 않은 다른 정보만을 수신할 수 있다.
이전에 설명된 바와 같이, 본 개시내용의 일 측면은 명령어들을 저장하고 있는 (마이크로전자 메모리와 같은) 비-일시적 기계-판독가능 매체일 수 있으며, 이러한 명령어들은 본 명세서에서 설명되는 바와 같은 네트워크 동작들 및 오디오 신호 프로세싱 동작들을 수행하도록 하나 이상의 데이터 프로세싱 구성요소(본 명세서에서 총칭하여 "프로세서"라고 지칭됨)를 프로그래밍한다. 다른 측면들에서, 이러한 동작들 중 일부는 하드와이어드 로직(hardwired logic)을 포함하는 특정 하드웨어 구성요소들에 의해 수행될 수 있다. 그 동작들은, 대안적으로, 프로그래밍된 데이터 프로세싱 구성요소들과 고정된 하드와이어드 회로 구성요소들의 임의의 조합에 의해 수행될 수 있다.
특정 측면들이 설명되고 첨부 도면들에 도시되었지만, 그러한 측면들이 광범위한 개시내용을 제한하는 것이 아니라 단지 예시하는 것이며, 다양한 다른 수정들이 본 기술분야의 통상의 기술자에게 안출될 수 있기 때문에, 본 개시내용이 도시되고 설명된 특정 구성들 및 배열들로 제한되지 않는다는 것이 이해되어야 한다. 따라서, 본 설명은 한정하는 것이 아니라 예시적인 것으로 간주되어야 한다.
일부 측면들에서, 본 개시내용은 문언(language), 예를 들어 "[요소 A] 및 [요소 B] 중 적어도 하나"를 포함할 수 있다. 이 문언은 요소들 중 하나 이상을 지칭할 수 있다. 예를 들어, "A 및 B 중 적어도 하나"는 "A", "B", 또는 "A 및 B"를 지칭할 수 있다. 구체적으로는, "A 및 B 중 적어도 하나"는 "A 중 적어도 하나 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 어느 하나"를 지칭할 수 있다. 일부 측면들에서, 본 개시내용은 문언, 예를 들어 "[요소 A], [요소 B], 및/또는 [요소 C]"를 포함할 수 있다. 이 문언은 요소들 중 어느 하나 또는 이들의 임의의 조합을 지칭할 수 있다. 예를 들어, "A, B, 및/또는 C"는 "A", "B", "C", "A 및 B", "A 및 C", "B 및 C", 또는 "A, B, 및 C"를 지칭할 수 있다.
Claims (24)
- 스피커 및 인-이어 마이크로폰을 포함하는 헤드셋에 의해 수행되는 방법으로서,
기준 측정을 획득하기 위해 상기 헤드셋에 대해 교정을 수행하는 단계;
사용자가 상기 헤드셋을 착용하고 있는 동안, 사용자의 귀의 이도(canal) 내로 사운드를 투사하도록 상기 스피커를 구동하기 위해 오디오 신호를 사용하는 단계;
상기 사용자의 귀의 이도 내부로부터의 사운드를 상기 인-이어 마이크로폰으로부터의 마이크로폰 신호로서 캡처하는 단계;
상기 캡처된 마이크로폰 신호 및 상기 기준 측정에 적어도 기초하여 상기 사용자의 귀와 연관된 파라미터를 결정하는 단계; 및
상기 파라미터에 기초하여 상기 사용자의 귀의 하나 이상의 청각 요소들의 하나 이상의 특성들과 관련된 통지를 송신하는 단계를 포함하는, 방법. - 제1항에 있어서, 상기 방법은, 상기 스피커와 상기 인-이어 마이크로폰 사이의 응답을 나타내는 2차 경로("S-경로") 전달 함수를 결정하기 위해 상기 마이크로폰 신호를 사용하는 단계를 더 포함하며, 상기 결정된 파라미터는 상기 S-경로 전달 함수에 기초하는, 방법.
- 제2항에 있어서, 상기 S-경로 전달 함수는, 상기 스피커를 구동하기 위한 잡음-방지 신호를 생성하기 위해 상기 헤드셋에 의해 수행되는 능동-잡음 제거 프로세스의 부분으로서 결정되는, 방법.
- 제2항에 있어서, 상기 사용자의 귀와 연관된 상기 파라미터를 결정하는 단계는,
상기 S-경로 전달 함수를 사용하여, 상기 기준 측정에 대한 상기 사용자의 이도(ear canal)의 음향 입력 임피던스를 측정하는 단계; 및
적어도 상기 사용자의 중이 및 외이와 등가인 음향-기계적 모델의 부분인 상기 파라미터를 결정하기 위해 상기 음향 입력 임피던스를 사용하는 단계를 포함하는, 방법. - 제4항에 있어서, 상기 교정을 수행하는 단계는 임피던스 모델에 대한 하나 이상의 임피던스 교정 파라미터들을 결정하는 단계를 포함하며, 상기 음향 입력 임피던스를 측정하는 단계는, 상기 결정된 하나 이상의 임피던스 교정 파라미터들 및 상기 S-전달 함수를 상기 임피던스 모델에 적용함으로써 상기 음향 입력 임피던스를 추정하는 단계를 포함하는, 방법.
- 제4항에 있어서, 상기 음향 입력 임피던스는 시간 기간에 걸쳐 측정되며, 상기 방법은, 상기 시간 기간에 걸친 상기 파라미터와 상기 음향-기계적 모델의 대응하는 파라미터 사이의 변화에 기초하여 상기 하나 이상의 특성들을 결정하는 단계를 더 포함하는, 방법.
- 제1항에 있어서, 상기 방법은,
상기 파라미터를 음향-기계적 모델의 대응하는 파라미터와 비교하는 단계; 및
상기 대응하는 파라미터에 대한 상기 파라미터의 비교에 기초하여 상기 하나 이상의 특성들을 식별하는 단계를 더 포함하는, 방법. - 제1항에 있어서, 상기 교정은, 상기 사용자가 상기 헤드셋을 착용하고 있지 않는 동안에 상기 헤드셋이 상기 헤드셋을 하우징하도록 배열된 홀딩 케이스 내에 있는 동안 수행되는, 방법.
- 헤드셋으로서,
스피커;
마이크로폰;
프로세서; 및
저장된 명령어들을 갖는 메모리를 포함하며, 상기 명령어들은 상기 프로세서에 의해 실행될 때 상기 헤드셋이,
기준 측정을 획득하기 위해 상기 헤드셋에 대해 교정을 수행하게 하고,
사용자가 상기 헤드셋을 착용하고 있는 동안, 사용자의 귀의 이도 내로 사운드를 투사하도록 상기 스피커를 구동하기 위해 오디오 신호를 사용하게 하며,
상기 사용자의 귀의 이도 내부로부터의 사운드를 상기 마이크로폰으로부터의 마이크로폰 신호로서 캡처하게 하고,
상기 마이크로폰 신호 및 상기 기준 측정에 적어도 기초하여 상기 사용자의 귀와 연관된 파라미터를 결정하게 하며, 그리고
상기 파라미터에 기초하여 상기 사용자의 귀의 하나 이상의 청각 요소들의 하나 이상의 특성들과 관련된 통지를 송신하게 하는, 헤드셋. - 제9항에 있어서, 상기 메모리는, 상기 스피커와 상기 마이크로폰 사이의 응답을 나타내는 2차 경로("S-경로") 전달 함수를 결정하기 위해 상기 마이크로폰 신호를 사용하기 위한 명령어들을 더 가지며, 상기 파라미터는 상기 S-경로 전달 함수에 기초하는, 헤드셋.
- 제10항에 있어서, 상기 S-경로 전달 함수는, 상기 스피커를 구동하기 위한 잡음-방지 신호를 생성하기 위해 상기 헤드셋에 의해 수행되는 능동-잡음 제거 프로세스의 부분으로서 결정되는, 헤드셋.
- 제10항에 있어서, 상기 사용자의 귀와 연관된 상기 파라미터를 결정하는 것은,
상기 S-경로 전달 함수를 사용하여, 상기 기준 측정에 대한 상기 사용자의 이도의 음향 입력 임피던스를 측정하는 것; 및
적어도 상기 사용자의 중이 및 외이와 등가인 음향-기계적 모델의 부분인 상기 파라미터를 결정하기 위해 상기 음향 입력 임피던스를 사용하는 것을 포함하는, 헤드셋. - 제12항에 있어서, 상기 교정을 수행하는 것은 임피던스 모델에 대한 하나 이상의 임피던스 교정 파라미터들을 결정하는 것을 포함하며, 상기 음향 입력 임피던스를 측정하는 것은, 상기 결정된 하나 이상의 임피던스 교정 파라미터들 및 상기 S-전달 함수를 상기 임피던스 모델에 적용함으로써 상기 음향 입력 임피던스를 추정하는 것을 포함하는, 헤드셋.
- 제12항에 있어서, 상기 음향 입력 임피던스는 시간 기간에 걸쳐 측정되며, 상기 메모리는, 상기 시간 기간에 걸친 상기 파라미터와 상기 음향-기계적 모델의 대응하는 파라미터 사이의 변화에 기초하여 상기 하나 이상의 특성들을 결정하기 위한 명령어들을 더 갖는, 헤드셋.
- 제9항에 있어서, 상기 메모리는,
상기 파라미터를 미리 정의된 음향-기계적 모델의 대응하는 파라미터와 비교하고; 그리고
상기 대응하는 파라미터에 대한 상기 파라미터의 비교에 기초하여 상기 하나 이상의 특성들을 식별하기 위한 명령어들을 더 갖는, 헤드셋. - 제9항에 있어서, 상기 교정은, 상기 사용자가 상기 헤드셋을 착용하고 있지 않는 동안에 상기 헤드셋이 상기 헤드셋을 하우징하도록 배열된 홀딩 케이스 내에 있는 동안 수행되는, 헤드셋.
- 스피커 및 인-이어 마이크로폰들의 세트를 포함하는 헤드셋에 의해 수행되는 방법으로서,
사용자가 상기 헤드셋을 착용하고 있는 동안, 사용자의 귀의 이도 내로 제1 사운드를 투사하도록 상기 스피커를 구동하는 단계;
상기 인-이어 마이크로폰들의 세트로부터 마이크로폰 신호들의 제1 세트를 수신하는 단계 - 상기 마이크로폰 신호들의 제1 세트는 상기 제1 사운드 및 상기 제1 사운드의 반사들을 포함함 -;
상기 마이크로폰 신호들의 제1 세트에 기초하여 상기 사용자의 귀의 이도의 적어도 하나의 반사 파라미터를 생성하는 단계;
상기 사용자의 귀의 이도 내로 제2 사운드를 투사하기 위해 상기 스피커를 구동하는 단계;
상기 인-이어 마이크로폰들의 세트로부터 마이크로폰 신호들의 제2 세트를 수신하는 단계 - 상기 마이크로폰 신호들의 제2 세트는 상기 제2 사운드 및 상기 제2 사운드의 반사들을 포함함 -;
상기 마이크로폰 신호들의 제2 세트 및 상기 적어도 하나의 반사 파라미터에 기초하여 출력 신호들의 세트를 생성하는 단계; 및
상기 출력 신호들의 세트에 기초하여 상기 사용자의 귀의 청각 요소의 특성과 관련된 통지를 송신하는 단계를 포함하는, 방법. - 제17항에 있어서, 상기 적어도 하나의 반사 파라미터를 생성하는 단계는, 상기 마이크로폰 신호들의 제1 세트의 비교에 기초하여 상기 마이크로폰 신호들의 제1 세트의 복수의 주파수 대역들의 주파수 대역에 걸친 스펙트럼 콘텐츠가 주로 상기 스피커로부터의 직접 사운드로서 상기 제1 사운드를 포함하는지 또는 상기 제1 사운드들의 상기 반사들을 포함하는지 여부를 결정하는 단계를 포함하며, 상기 적어도 하나의 반사 파라미터는 상기 제1 사운드의 상기 반사들을 포함하는 상기 스펙트럼 콘텐츠에 응답하여 생성되는, 방법.
- 제18항에 있어서, 상기 스펙트럼 콘텐츠가 주로 상기 스피커로부터의 직접 사운드로서 상기 제1 사운드를 포함하는지 또는 상기 제1 사운드들의 상기 반사들을 포함하는지 여부를 결정하는 단계는, 시간 기간에 걸쳐, 상기 마이크로폰 신호들의 제1 세트의 상기 주파수 대역에 걸친 상기 스펙트럼 콘텐츠가 임계 수의 상기 제1 사운드의 반사들을 포함하는지 여부를 결정하는 단계를 포함하는, 방법.
- 제17항에 있어서, 상기 방법은,
상기 제1 사운드의 오디오 콘텐츠에 기초하여 상기 제1 사운드가 신뢰도 임계치를 초과하는지 여부를 결정하는 단계;
상기 제1 사운드가 상기 신뢰도 임계치를 초과하는 것에 응답하여, 상기 청각 요소의 상기 특성과 관련된 상기 통지가 송신되는 단계를 더 포함하는, 방법. - 제20항에 있어서, 상기 제1 사운드가 상기 신뢰도 임계치를 초과하는지 여부를 결정하는 단계는, 상기 오디오 콘텐츠가 감쇠(decay) 및 일시정지 중 적어도 하나를 포함하는지 여부를 결정하는 단계를 포함하는, 방법.
- 제17항에 있어서, 상기 방법은,
상기 출력 신호들의 세트에 기초하여 상기 특성의 심각도 값을 결정하는 단계; 및
상기 심각도 값과 하나 이상의 임계치들 사이의 비교에 기초하여 상기 특성의 심각도 레벨을 결정하는 단계를 더 포함하는, 방법. - 제17항에 있어서, 상기 방법은, 사용자 입력, 센서 입력, 및 상기 마이크로폰 신호들의 제1 세트 중 적어도 하나에 기초하여 상기 사용자의 귀의 귀 기하구조를 추정하는 단계를 더 포함하며, 상기 청각 요소의 상기 특성은 상기 사용자의 귀의 상기 추정된 귀 기하구조에 기초하는, 방법.
- 제23항에 있어서, 상기 방법은, 상기 귀 기하구조와 상기 출력 신호들의 생성된 세트의 비교에 기초하여 상기 특성의 심각도 레벨을 결정하는 단계를 더 포함하는, 방법.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163248353P | 2021-09-24 | 2021-09-24 | |
| US63/248,353 | 2021-09-24 | ||
| US17/822,064 US20230096953A1 (en) | 2021-09-24 | 2022-08-24 | Method and system for measuring and tracking ear characteristics |
| US17/822,064 | 2022-08-24 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230043729A true KR20230043729A (ko) | 2023-03-31 |
Family
ID=83398348
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220117983A KR20230043729A (ko) | 2021-09-24 | 2022-09-19 | 귀 특성들을 측정하고 추적하기 위한 방법 및 시스템 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20230096953A1 (ko) |
| EP (1) | EP4156720A1 (ko) |
| KR (1) | KR20230043729A (ko) |
| CN (1) | CN115866470A (ko) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107996028A (zh) * | 2015-03-10 | 2018-05-04 | Ossic公司 | 校准听音装置 |
| US10708680B2 (en) * | 2015-08-31 | 2020-07-07 | Nura Holdings Pty Ltd | Personalization of auditory stimulus |
| US9497530B1 (en) * | 2015-08-31 | 2016-11-15 | Nura Holdings Pty Ltd | Personalization of auditory stimulus |
| US10586521B2 (en) * | 2016-10-31 | 2020-03-10 | Cirrus Logic, Inc. | Ear interface detection |
| US11864886B2 (en) * | 2019-04-30 | 2024-01-09 | Analog Devices, Inc. | Hearing diagnostic system |
| GB2604496B (en) * | 2019-11-04 | 2023-09-06 | Cirrus Logic Int Semiconductor Ltd | Methods, apparatus and systems for biometric processes |
-
2022
- 2022-08-24 US US17/822,064 patent/US20230096953A1/en active Pending
- 2022-09-19 KR KR1020220117983A patent/KR20230043729A/ko unknown
- 2022-09-20 EP EP22196545.2A patent/EP4156720A1/en active Pending
- 2022-09-23 CN CN202211163354.9A patent/CN115866470A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4156720A1 (en) | 2023-03-29 |
| CN115866470A (zh) | 2023-03-28 |
| US20230096953A1 (en) | 2023-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11277700B2 (en) | Earguard monitoring system | |
| US8170228B2 (en) | Methods and devices for hearing damage notification and intervention II | |
| US7817803B2 (en) | Methods and devices for hearing damage notification and intervention | |
| TWI575964B (zh) | 用於智慧音量曝露且整合揚聲器之聲壓感測器 | |
| EP2640095B1 (en) | Method for fitting a hearing aid device with active occlusion control to a user | |
| US20210266684A1 (en) | Auditory device assembly | |
| EP3310075B1 (en) | Audio system with concealed space detection or calibration | |
| US11470413B2 (en) | Acoustic detection of in-ear headphone fit | |
| US11722809B2 (en) | Acoustic detection of in-ear headphone fit | |
| US11405723B2 (en) | Method and apparatus for processing an audio signal based on equalization filter | |
| US11523231B2 (en) | Methods and systems for assessing insertion position of hearing instrument | |
| US11456006B2 (en) | System and method for determining audio output device type | |
| CN113316055A (zh) | 用于音频信号评估和调整的系统和方法 | |
| US11206003B2 (en) | Personalized headphone equalization | |
| US20230096953A1 (en) | Method and system for measuring and tracking ear characteristics | |
| US11853642B2 (en) | Method and system for adaptive volume control | |
| US11706555B2 (en) | Setup management for ear tip selection fitting process | |
| WO2023160286A1 (zh) | 降噪参数适配方法和装置 | |
| US20230370765A1 (en) | Method and system for estimating environmental noise attenuation | |
| CN115175046A (zh) | 耳机降噪方法、装置、电子设备及计算机可读取存储介质 |