KR102472574B1 - 다수의 마이크로폰을 이용한 자동 노이즈 캔슬링 - Google Patents

다수의 마이크로폰을 이용한 자동 노이즈 캔슬링 Download PDF

Info

Publication number
KR102472574B1
KR102472574B1 KR1020197014854A KR20197014854A KR102472574B1 KR 102472574 B1 KR102472574 B1 KR 102472574B1 KR 1020197014854 A KR1020197014854 A KR 1020197014854A KR 20197014854 A KR20197014854 A KR 20197014854A KR 102472574 B1 KR102472574 B1 KR 102472574B1
Authority
KR
South Korea
Prior art keywords
earphone
signal
voice
microphone
headset
Prior art date
Application number
KR1020197014854A
Other languages
English (en)
Other versions
KR20190087438A (ko
Inventor
제임스 스캔랜
Original Assignee
아브네라 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아브네라 코포레이션 filed Critical 아브네라 코포레이션
Priority to KR1020227041531A priority Critical patent/KR102508844B1/ko
Publication of KR20190087438A publication Critical patent/KR20190087438A/ko
Application granted granted Critical
Publication of KR102472574B1 publication Critical patent/KR102472574B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17813—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms
    • G10K11/17815—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms between the reference signals and the error signals, i.e. primary path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17879—General system configurations using both a reference signal and an error signal
    • G10K11/17881—General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008—Earpieces of the supra-aural or circum-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • G10K11/17833—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions by using a self-diagnostic function or a malfunction prevention function, e.g. detecting abnormal output levels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081—Earphones, e.g. for telephones, ear protectors or headsets
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/111—Directivity control or beam pattern
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3026—Feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3027—Feedforward
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3046—Multiple acoustic inputs, multiple acoustic outputs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/50—Miscellaneous
    • G10K2210/503—Diagnostics; Stability; Alarms; Failsafe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/05—Noise reduction with a separate noise microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Headphones And Earphones (AREA)

Abstract

본 개시 내용은 하나 이상의 감지 컴포넌트들을 구비한 하나 이상의 이어폰들을 포함하는 헤드셋을 포함한다. 헤드셋은 또한 음성 전송을 위한 음성 신호를 레코딩하는 하나 이상의 음성 마이크로폰들을 포함한다. 헤드셋은 또한 이어폰들 및 음성 마이크로폰들에 결합된 신호 프로세서를 포함한다. 신호 프로세서는 감지 컴포넌트들을 사용하여 헤드셋의 착용 위치를 결정하도록 구성된다. 신호 프로세서는 그 후 노이즈 캔슬링을 위한 신호 모델을 선택한다. 신호 모델은 결정된 착용 위치에 기초하여 복수의 신호 모델들로부터 선택된다. 신호 프로세서는 또한 선택된 신호 모델을 적용하여 음성 전송 이전에 음성 신호로부터 노이즈를 경감시킨다.

Description

다수의 마이크로폰을 이용한 자동 노이즈 캔슬링
능동 노이즈 캔슬링(Active Noise Cancellation)(ANC) 헤드셋들은 일반적으로 각 귀에 마이크로폰을 사용하도록 설계되어 있다. 마이크로폰들에 의해 포착된 신호들은 헤드셋 착용자를 위해 주변 노이즈를 감소시키는 보상 알고리즘과 함께 사용된다. 전화를 걸 때 ANC 헤드셋들이 또한 사용될 수 있다. 전화 통화에 사용되는 ANC 헤드셋은 귀에서 로컬 노이즈를 줄일 수 있지만, 그 환경에서의 주변 노이즈는 수정되지 않은 채 원격 수신기에 전송된다. 이러한 상황은 원격 수신기의 사용자가 겪게 되는 통화 품질의 저하를 초래할 수 있다.
본 개시 내용의 실시예들의 양태들, 특징들 및 이점들은 아래의 첨부 도면들을 참조하는 실시예들에 대한 후속 설명에서 명백해질 것이다.
도 1은 업링크 전송 동안의 노이즈 캔슬링을 위한 예시적인 헤드셋의 개략도이다.
도 2는 노이즈 캔슬링을 수행하기 위한 예시적인 듀얼 이어폰 결합(dual earphone engagement) 모델의 개략도이다.
도 3은 노이즈 캔슬링을 수행하기 위한 예시적인 우측 이어폰 결합 모델의 개략도이다.
도 4는 노이즈 캔슬링을 수행하기 위한 예시적인 좌측 이어폰 결합 모델의 개략도이다.
도 5는 노이즈 캔슬링을 수행하기 위한 예시적인 널 이어폰 결합(null earphone engagement) 모델의 개략도이다.
도 6은 업링크 전송 동안 노이즈 캔슬링을 수행하기 위한 예시적인 방법의 흐름도이다.
업링크 노이즈 캔슬링은 전송된 주변 노이즈를 경감시키기 위해 사용될 수 있다. 그러나, 헤드셋들 상에서 작동하는 업링크 노이즈 캔슬링 프로세스들은 몇 가지 문제점들에 직면하게 된다. 예를 들어, 전화기를 사용하는 사용자는 자신의 입 근처에 전송 마이크로폰을 유지하고 귀 근처에 스피커를 유지하고 있는 것으로 가정할 수 있다. 빔 포밍(beamforming)과 같은 공간 필터링 프로세스를 사용하는 노이즈 캔슬링 알고리즘들은 그 후 사용자의 입 근처에서 레코딩된 신호로부터 노이즈를 필터링하는 데 사용될 수 있다. 이에 반해, 헤드셋은 다수의 구성으로 착용될 수 있다. 이와 같이, 헤드셋 신호 프로세서는 음성 마이크로폰에 대한 사용자의 입의 상대적인 방향을 결정할 수 없다. 따라서, 헤드셋 신호 프로세서는 노이즈를 제거하는 데 사용하기 위해 어떤 공간 노이즈 보상 알고리즘들을 사용할지를 결정할 수 없다. 주목해야 할 것은 잘못된 보상 알고리즘을 선택하면 사용자의 음성을 감쇠시키고 노이즈 신호를 증폭시킬 수도 있다는 것이다.
본 출원에 개시되는 것은, 착용 위치를 결정하고, 착용 위치에 기초하여 음성 전송 동안의 업링크 노이즈 캔슬링을 위한 신호 모델을 선택하도록 구성된 헤드셋이라는 것이다. 예를 들어, 사용자는 좌측 귀에 좌측 이어폰을 그리고 우측 귀에 우측 이어폰을 가진 헤드셋을 착용할 수 있다. 이러한 경우에, 헤드셋은 다양한 음성 활동 검출(voice activity detection)(VAD) 기술을 사용할 수 있다. 예를 들어, 좌측 이어폰에서의 피드 포워드(feed forward)(FF) 마이크로폰 및 우측 이어폰에서의 FF 마이크로폰은 사용자의 좌측 및 사용자의 우측으로부터의 노이즈를 감쇠시키는 브로드사이드 빔포머(broadside beamformer)로서 사용될 수 있다. 또한, 라펠 마이크로폰(lapel microphone)은 사용자의 음성을 주변 노이즈로부터 추가로 분리시키기 위한 수직의 엔드파이어 빔포머(endfire beamformer)로서 사용될 수 있다. 또한, FF 마이크로폰들에 의해 레코딩되는 사용자들의 귀 외부의 신호들은 사용자들의 귀 내부에 위치한 피드백(FB) 마이크로폰들에서 비교되어 오디오 신호들로부터 노이즈를 격리시킬 수 있다. 이에 반해, 사용자가 단일 귀에 이어폰을 사용하는 경우, 브로드사이드 빔포머는 턴 오프될 수 있다. 또한, 엔드파이어 빔포머는, 하나의 이어폰이 결합 해제된 경우, 예상되는 라펠 마이크로폰의 위치에 따라 사용자들의 입을 향해 지향될 수 있다. 또한, 결합 해제된 이어폰의 FF 및 FB 마이크로폰들은 ANC 목적을 위해 외면 및/또는 무시될 수 있다. 마지막으로, 양쪽 이어폰이 결합 해제되면 ANC가 결합 해제될 수 있다. 착용 위치는 선택적인 감지 컴포넌트들을 사용하고 및/또는 각 귀에 대한 FF 및 FB 신호들을 비교함으로써 결정될 수 있다.
도 1은 업링크 전송 동안의 노이즈 캔슬링을 위한 예시적인 헤드셋(100)의 개략도이다. 헤드셋(100)은 우측 이어폰(110), 좌측 이어폰(120), 및 라펠 유닛(lapel unit)(130)을 포함한다. 그러나, 주목해야 할 것은, 본원에 개시된 소정의 메커니즘이 단일 이어폰을 포함하는 예시적인 헤드셋 및/또는 라펠 유닛(130)이 없는 예에 사용될 수 있다는 것이다. 헤드셋(100)은, 예를 들어, 라펠 유닛(130)이 음악 파일들을 재생하는 디바이스에 결합되는 경우 로컬 ANC를 수행하도록 구성될 수 있다. 헤드셋(100)은 또한, 예를 들어, 라펠 유닛(130)이 전화 통화를 할 수 있는 디바이스(예를 들어, 스마트폰)에 결합되는 경우, 업링크 노이즈 캔슬링을 수행할 수 있다.
우측 이어폰(110)은 원격 호출자로부터 음악 및/또는 음성과 같은 오디오 데이터를 재생할 수 있는 디바이스이다. 우측 이어폰(110)은 사용자의 (예를 들어, 귀 상의) 외이도(ear canal)에 인접하게 위치될 수 있는 헤드폰으로 제작될 수 있다. 우측 이어폰(110)은 또한 이어버드(earbud)로 제작될 수 있으며, 이 경우 우측 이어폰(110)의 적어도 일부는 사용자의 (예를 들어, 귀 내부의) 외이도 내에 위치될 수 있다. 우측 이어폰(110)은 적어도 스피커(115) 및 FF 마이크로폰(111)을 포함한다. 우측 이어폰(110)은 또한 FB 마이크로폰(113) 및/또는 센서들(117)를 포함할 수 있다. 스피커(115)는 음성 신호들, 오디오 신호들, 및/또는 ANC 신호들을 사용자의 외이도로 향해 통신하기 위한 음파들로 변환할 수 있는 임의의 트랜스듀서이다.
ANC 신호는 주변 노이즈를 전달하는 파형들을 파괴적으로 방해하도록 생성된 오디오 파형이며, 이로 인해 사용자의 배경으로부터의 노이즈가 캔슬링된다. ANC 신호는 FF 마이크로폰(111) 및/또는 FB 마이크로폰(113)에 의해 레코딩된 데이터에 기초하여 생성될 수 있다. FB 마이크로폰(113)과 스피커(115)는 우측 이어폰(110)의 근접 벽에 함께 위치한다. 예에 따라, FB 마이크로폰(113) 및 스피커(115)는 (예를 들어, 이어버드 용으로) 결합시 사용자의 외이도 내부에 위치되거나, 또는 (예를 들어, 이어폰 용으로) 결합시 음향적으로 밀봉된 챔버 내에서 사용자의 외이도에 인접하여 위치된다. FB 마이크로폰(113)은 사용자의 외이도에 들어오는 음파들을 레코딩하도록 구성된다. 따라서, FB 마이크로폰(113)은 사용자에 의해 인지되는 주변 노이즈, 오디오 신호들, 원격의 음성 신호들, ANC 신호, 및/또는 측대역 신호로 지칭될 수 있는 사용자의 음성을 검출한다. FB 마이크로폰(113)은 사용자에 의해 인지되는 주변 노이즈 및 파괴적인 방해들로 인해 파괴되지 않은 ANC 신호의 일부 모두를 검출하므로, FB 마이크로폰(113) 신호는 피드백 정보를 포함할 수 있다. FB 마이크로폰(113) 신호는 ANC 신호를 조정하는 데 사용되어 변화하는 조건에 적응하고 주변 노이즈를 보다 양호하게 캔슬링할 수 있다.
FF 마이크로폰(111)은 이어폰의 원위 벽 상에 위치되고, 예에 따라 사용자의 외이도 및/또는 음향 밀봉 챔버의 외부에 유지된다. FF 마이크로폰(111)은, 우측 이어폰이 결합되는 경우, ANC 신호로부터 음향적으로 격리되며 일반적으로 원격의 음성 신호들 및 오디오 신호들로부터 격리된다. FF 마이크로폰(111)은 주변 노이즈를 사용자 음성/측대역으로서 레코딩한다. 따라서, FF 마이크로폰(111) 신호는 ANC 신호를 생성하는 데 사용될 수 있다. FF 마이크로폰(111) 신호는 FB 마이크로폰(113) 신호보다 고주파 노이즈들에 더 잘 적응할 수 있다. 그러나, FF 마이크로폰(111)은 ANC 신호의 결과들을 검출할 수 없으므로, 우측 이어폰(110)과 귀 사이의 열악한 음향 밀봉과 같은 비 이상적 상황에 적응할 수 없다. 이와 같이, FF 마이크로폰(111) 및 FB 마이크로폰(113)은 효과적인 ANC 신호를 생성하기 위해 함께 사용될 수 있다.
우측 이어폰(110)은 또한 오프 이어 검출(off ear detection)(OED)을 지원하는 감지 컴포넌트들일 수 있다. 예를 들어, ANC에 대한 신호 처리는 우측 이어폰(110) (및 좌측 이어폰(230))이 적절하게 결합된 것으로 가정한다. 사용자가 하나 이상의 이어폰들을 제거할 때 일부 ANC 프로세스들은 예상대로 작동하지 않을 수 있다. 따라서, 헤드셋(100)은 이어폰이 적절하게 결합되지 않았음을 결정하기 위해 감지 컴포넌트들을 사용한다. 일부 예들에서, FB 마이크로폰(113) 및 FF 마이크로폰(111)은 감지 컴포넌트들로서 사용된다. 이 경우, 이어폰들 사이의 음향 격리 때문에 우측 이어폰(110)이 결합될 경우 FB 마이크로폰(113) 신호와 FF 마이크로폰(111) 신호는 서로 다르다. FB 마이크로폰(113) 신호와 FF 마이크로폰(111) 신호가 유사한 경우, 헤드셋(100)은 대응하는 이어폰(110)이 결합되어 있지 않다고 결정할 수 있다. 다른 예들에서, 센서들(117)은 OED를 지원하기 위한 감지 컴포넌트들로서 사용될 수 있다. 예를 들어, 센서들(117)은 우측 이어폰(110)이 결합될 경우 낮은 광 레벨을 나타내고 우측 이어폰(110)이 결합되어 있지 않을 경우 보다 높은 광 레벨을 나타내는 광학 센서를 포함할 수 있다. 다른 예들에서, 센서들(117)은 압력 및/또는 전기/자기 전류들 및/또는 필드들을 사용하여 우측 이어폰(110)이 결합 또는 결합 해제되어 있는 경우를 결정할 수 있다. 즉, 센서들(117)은 용량성 센서들, 적외선 센서들, 시각적 광의 광학 센서들 등을 포함할 수 있다.
좌측 이어폰(120)은 우측 이어폰(110)과 실질적으로 유사하지만, 사용자의 좌측 귀와 결합하도록 구성된다. 구체적으로, 좌측 이어폰(120)은, 센서들(117), 스피커(115), FB 마이크로폰(113), 및 FF 마이크로폰(121)과 실질적으로 유사한 센서들(127), 스피커(125), FB 마이크로폰(123), 및 FF 마이크로폰(121)을 포함할 수 있다. 좌측 이어폰(120)은 또한 전술한 바와 같이 우측 이어폰(110)과 실질적으로 동일한 방식으로 동작할 수 있다.
좌측 이어폰(120) 및 우측 이어폰(110)은 각각 좌측 케이블(142) 및 우측 케이블(141)을 통해 라펠 유닛(130)에 결합될 수 있다. 좌측 케이블(142) 및 우측 케이블(141)은 제각기 라펠 유닛으로부터 좌측 이어폰(120) 및 우측 이어폰(110)으로 오디오 신호들, 원격의 음성 신호들 및/또는 ANC 신호들을 전달할 수 있는 임의의 케이블이다.
라펠 유닛(130)은 일부의 예들에서 선택적인 컴포넌트이다. 라펠 유닛(130)은 하나 이상의 음성 마이크로폰들(131) 및 신호 프로세서(135)를 포함한다. 음성 마이크로폰들(131)은, 예를 들어, 전화 통화 중에, 업링크 음성 전송을 위해 사용자의 음성 신호를 레코딩하도록 구성된 임의의 마이크로폰일 수 있다. 일부 예들에서, 빔포밍 기술들을 지원하는 데 다수의 마이크로폰들이 사용될 수 있다. 빔포밍은 다수의 물리적 위치들로부터 동일한 파(wave)를 레코딩하기 위해 다수의 수신기를 사용하는 공간 신호 처리 기술이다. 그 후 레코딩의 가중 평균이 레코딩된 신호로서 사용될 수 있다. 상이한 마이크로폰들에 상이한 가중치들을 적용함으로써, 음성 마이크로폰들(131)은 음질을 증가시키고 및/또는 주변 노이즈를 필터링하여 제거하기 위해 특정 방향으로 가상으로 지향될 수 있다. 주목해야 하는 것은 음성 마이크로폰들(131)이 일부 예들에서 다른 위치들에 위치될 수도 있다는 것이다. 예를 들어, 음성 마이크로폰들(131)은 제각기 우측 이어폰(110) 또는 좌측 이어폰(120) 아래의 케이블들(141 또는 142)로부터 매달려 있을 수 있다. 본원에 개시된 빔포밍 기술들은 사소한 기하학적 변형들을 갖는 그러한 시나리오에도 동일하게 적용 가능하다.
신호 프로세서(135)는 케이블들(142 및 141)을 통해 좌측 이어폰(120) 및 우측 이어폰(110)에 결합되고, 그리고 음성 마이크로폰들(131)에 결합된다. 신호 프로세서(135)는 ANC 신호를 생성하고, 디지털 및/또는 아날로그 신호 처리 기능들을 수행하며, 및/또는 헤드셋(100)의 동작을 제어할 수 있는 임의의 프로세서이다. 신호 프로세서(135)는 메모리를 포함할 수 있고 및/또는 메모리에 접속될 수 있으며, 따라서 특정 기능을 위해 프로그래밍될 수 있다. 신호 프로세서(135)는 또한 아날로그 신호들을 처리를 위한 디지털 도메인으로 변환 및/또는 디지털 신호들을 스피커들(115 및 125)에 의한 재생을 위한 아날로그 도메인으로 다시 변환하도록 구성될 수 있다. 신호 프로세서(135)는 범용 프로세서, 주문형 집적 회로(application specific integrated circuit)(ASIC), 디지털 신호 프로세서(digital signal processor)(DSP), 필드 프로그래머블 게이트 어레이(field programmable gate array)(FPGA) 또는 이들의 조합들로 구현될 수 있다.
신호 프로세서(135)는 센서들(117 및 127), FB 마이크로폰들(113 및 123), FF 마이크로폰들(111 및 121) 및/또는 음성 마이크로폰들(131)에 의해 레코딩된 신호들에 기초하여 OED 및 VAD를 수행하도록 구성될 수 있다. 구체적으로, 신호 프로세서(135)는 헤드셋(100)의 착용 위치를 결정하기 위해 다양한 감지 컴포넌트들을 사용한다. 즉, 신호 프로세서(135)는 우측 이어폰(110)과 좌측 이어폰(120)의 결합 여부를 결정할 수 있다. 일단 착용 위치가 결정되면, 신호 프로세서(135)는 VAD 및 대응하는 노이즈 캔슬링을 위한 적절한 신호 모델을 선택할 수 있다. 신호 모델은 결정된 착용 위치에 기초하여 복수의 신호 모델들로부터 선택될 수 있다. 그 후, 신호 프로세서(135)는 선택된 신호 모델을 적용하여 VAD를 수행하고 업링크 음성 전송 이전에 음성 신호로부터 노이즈를 경감시킨다.
예를 들어, 신호 프로세서(135)는 FF 마이크로폰들(111,121) 및 FB 마이크로폰들(113, 123)을 감지 컴포넌트들로서 사용하여 OED를 수행할 수 있다. 그 후 헤드셋(100)의 착용 위치가 FF 마이크로폰들(111 및 121) 신호들과 FB 마이크로폰들(113 및 123) 신호들 간의 차이에 기초하여 결정될 수 있다. 주목해야 할 것은, 차이는 감산 뿐만 아니라 전송 함수 등을 통한 스펙트럼 비들의 비교와 같이 신호들을 비교하는 임의의 다른 신호 처리 기술을 포함한다는 것이다. 즉, FF 마이크로폰(111) 신호가 FB 마이크로폰(113) 신호와 실질적으로 유사할 경우, 우측 이어폰(110)은 결합 해제된다. FF 마이크로폰(111) 신호가 FB 마이크로폰(113) 신호와 다른 경우(예를 들어, 특정 주파수 대역에서 다양한 파들을 포함하는 경우), 우측 이어폰(110)이 결합된다. 좌측 이어폰(120)의 결합 또는 결합 해제는 FF 마이크로폰(121) 및 FB 마이크로폰(123)을 사용함으로써 실질적으로 동일한 방식으로 결정될 수 있다. 다른 예에서, 감지 컴포넌트들은 광학 센서(117 및 127)를 포함할 수 있다. 이 경우, 헤드셋의 착용 위치는 광학 센서(117 및 127)에 의해 검출된 광 레벨에 기초하여 결정된다.
착용 위치가 신호 프로세서(135)에 의해 수행되는 OED 프로세스에 의해 결정되면, 신호 프로세서는 추가 처리를 위해 적절한 신호 모델을 선택할 수 있다. 일부 예들에서, 신호 모델들은 좌측 이어폰 결합 모델, 우측 이어폰 결합 모델, 듀얼 이어폰 결합 모델, 및 널 이어폰 결합 모델을 포함한다. 좌측 이어폰 결합 모델은 좌측 이어폰(120)이 결합되고 우측 이어폰(110)이 결합되어 있지 않은 경우에 사용된다. 우측 이어폰 결합 모델은 우측 이어폰(110)이 결합되고 좌측 이어폰(120)이 결합되어 있지 않은 경우에 사용된다. 듀얼 이어폰 결합 모델은 이어폰들(110 및 120) 모두가 결합된 경우에 사용된다. 널 이어폰 결합 모델은 이어폰들(110 및 120) 모두가 결합 해제되어 있는 경우에 사용된다. 모델들은 각각 아래의 도면들과 관련하여 더 상세히 설명된다.
도 2는 노이즈 캔슬링을 수행하기 위한 예시적인 듀얼 이어폰 결합 모델(200)의 개략도이다. 듀얼 이어폰 결합 모델(200)은 OED 프로세스가 이어폰들(110 및 120) 모두가 적절히 결합되어 있음을 결정하는 경우에 사용된다. 이 시나리오는 실제 구성을 나타낸다. 주목해야 하는 것은 도시된 컴포넌트들이 축척대로 도시되지 않을 수 있다는 것이다. 그러나, 또한 주목해야 하는 것은 이 시나리오는 라펠 유닛(130)이 이어폰들(110 및 120)로부터 케이블들(141 및 142)을 통해 매달려 있으며 음성 마이크로폰들(131)이 일반적으로 사용자의 입을 향해 지향되는 구성을 초래한다는 것이다. 또한, 이어폰들(110 및 120)은 이어폰들(110 및 120) 간의 평면에 대해 수직인 평면 상에 놓이는 사용자의 입으로부터 대략 등거리에 있다. 이러한 구성에서, 다수의 프로세스들은 사용자의 음성을 검출 및 레코딩하고, 따라서 그러한 레코딩으로부터 주변 노이즈를 제거하는 데 사용될 수 있다.
구체적으로, VAD는 이어폰들(110 및 120)로부터 FF 마이크로폰들(111 및 121) 상에서 수신된 오디오 신호들 간의 상호 상관을 검토할 뿐만 아니라 빔포밍 기술들을 사용함으로써 도출될 수 있다. 예를 들어, FF 마이크로폰들(111 및 121) 사이에서 상관된 신호들은 양 귀로부터 등거리인 일반적인 평면에서 발생할 가능성이 높고, 따라서, 헤드셋 사용자의 스피치를 포함할 가능성이 높거나 또는 적어도 이 사용자의 스피치에서 발생할 가능성이 높다. 이 위치에서 발생하는 이러한 파형들은 바이노럴(binaural) VAD라고 지칭될 수 있다. 다시 말해서, 듀얼 이어폰 결합 모델(200)은, 좌측 이어폰(120) 및 우측 이어폰(110)이 결합되어 있는 경우, 음성 신호로부터 노이즈 신호를 격리시키기 위해 좌측 이어폰(120) FF 마이크로폰(121) 신호 및 우측 이어폰(110) FF 마이크로폰(111) 신호를 상관시킴으로써 적용될 수 있다.
다른 예로서, 브로드사이드 빔포머(112)는 로컬 스피치 전송 향상을 위해 생성될 수 있는데, 이는 양 귀가 입으로부터 일반적으로 등거리에 있기 때문이다. 다시 말해서, 듀얼 이어폰 결합 모델(200)은, 좌측 이어폰(120) 및 우측 이어폰(110)이 결합되어 있는 경우, 음성 신호로부터 노이즈 신호를 격리시키기 위한 브로드사이드 빔포머(112)로서 좌측 이어폰(120) FF 마이크로폰(121) 및 우측 이어폰(110) FF 마이크로폰(111)을 사용함으로써 적용될 수 있다. 구체적으로, 브로드사이드 빔포머(112)는 임의의 빔포머로서, 여기서, 측정된 파(예를 들어, 스피치(speech))는 브로드사이드(broadside)에서 측정 엘리먼트들의 어레이(예를 들어, FF 마이크로폰들(111 및 121))에 입사하게 되고, 그에 따라 측정 엘리먼트들 사이에서 약 180 도의 위상차가 측정된다. 브로드사이드 빔포머(112)는, FF 마이크로폰들(111 및 121)로부터의 신호를 적절히 가중화함으로써, 사용자들 귀 사이에서 발생하지 않는 주변 노이즈(예를 들어, 사용자들의 좌측으로부터 또는 사용자들의 우측으로부터의 노이즈)로부터 음성 신호를 격리시킬 수 있다. 일단 노이즈 신호가 격리되면, 주변 노이즈는 전화 통화를 통해 원격 사용자에게 업링크 전송되기 전에 필터링 아웃될 수 있다.
요약하면, 이어폰들(110 및 120)이 잘 피팅되어 있는 경우, 이어폰들(110 및 120) 외부의 귀 내(in-ear) FB 마이크로폰들(113 및 123) 및 FF 마이크로폰들(111 및 121)의 신호는 두 개의 신호, 즉 사용자의 로컬 스피치 및 주변 노이즈로 분리될 수 있다. 주변 노이즈는 또한, 우측 및 좌측 이어폰들(110 및 120) 사이에서는 비상관된(non-correlated) 것이다. 따라서, 신호 프로세서(135)에 의해 동작되는 OED 알고리즘은 FB 마이크로폰들(113 및 123) 및 FF 마이크로폰들(111 및 121)의 상관 관계와 더불어, 우측 및 좌측 이어폰들(110 및 120) 간의 상관 관계를 사용하여, 로컬 스피치를 VAD로 식별할 수 있게 된다. 또한, 이 프로세스는 블라인드-소스 분리 알고리즘(blind-source separation algorithm)을 통해 실행될 경우 로컬 스피치에 의해 오염되지 않은 노이즈 신호를 제공할 수 있다.
로컬 스피치 추정치들(local speech estimates)은 수직 엔드파이어 빔포머(132)로서 라펠 유닛(130)으로부터의 입력을 사용하여 더 정제될 수 있다. 엔드파이어 빔포머(132)는 임의의 빔포머로서, 여기서, 측정된 파(예를 들어, 스피치)는 측정 엘리먼트들(예를 들어, 음성 마이크로폰들(131))의 어레이에 직접 입사하게 되고, 그에 따라 측정 엘리먼트들 사이에서 작은 정도(예를 들어, 10 도 미만)의 위상차가 측정된다. 엔드파이어 빔포머(132)는 두 개 이상의 음성 마이크로폰들(131)을 사용하여 생성될 수 있다. 그 후 음성 마이크로폰들(131)은, 이어폰들(110 및 120)이 결합되어 있는 경우, 수직 엔드파이어 빔포머(132) 바로 위에 있는 사용자들 입으로 수직으로 향해 수직 엔드파이어 빔포머(132)를 가상으로 지향시키도록 가중화될 수 있다. 즉, 음성 마이크로폰들(131)은 좌측 이어폰(120) 및 우측 이어폰(110)에 접속된 라펠 유닛(130) 내에 위치할 수 있다. 그러므로, 듀얼 이어폰 결합 모델(200)이 적용될 경우, 음성 마이크로폰들(131)은, 좌측 이어폰(120) 및 우측 이어폰(110)이 결합되어 있는 경우, 음성 신호로부터 노이즈 신호를 격리시키기 위한 수직 엔드파이어 빔포머(132)로서 사용될 수 있다.
주목해야 하는 것은, 단일 이어폰이 귀에 삽입되지 않은 경우 위에서 설명한 많은 방법이 제대로 작동하지 않으며, 이는 사용자가 로컬 환경에 대한 인식을 유지하면서 음성 통화를 행하는 경우에 발생할 수 있다는 것이다. 이와 같이, OED에 따라 이어폰들(110 및 120)이 귀에 잘 피팅되어 있지 않은 경우를 검출하는 것이 바람직하다. 그러므로, OED 메커니즘은, 예를 들어, 이어폰이 결합되어 있지 않은 경우에 허위 결과들을 제거하고, 후술하는 바와 같이 브로드사이드 빔포머(112)를 턴 오프함으로써, 바이노럴 VAD를 향상시키는 데 사용될 수 있다.
도 3은 노이즈 캔슬링을 수행하기 위한 예시적인 우측 이어폰 결합 모델(300)의 개략도이다. 우측 이어폰 결합 모델(300)은 OED 프로세스가 우측 이어폰(110)이 결합되고 있고 좌측 이어폰(120)이 결합 해제되어 있음을 결정하는 경우에 사용된다. 이 시나리오는 도시된 바와 같이 케이블(142)을 통해 라펠 유닛(130)으로부터 매달려 있는 좌측 이어폰(120)을 포함하는 물리적 구성을 초래할 수 있다. 도시된 바와 같이, FF 마이크로폰들(111 및 121)은 더 이상 사용자의 입 위에서 등거리에 있지 않다. 따라서, 브로드사이드 빔포머(112)로서 FF 마이크로폰들(111 및 121)을 결합시키려는 임의의 시도는 잘못된 데이터를 초래할 것이다. 예를 들어, 이러한 사용은 실제로 음성 신호를 감쇠시키고 노이즈를 증폭시킬 수 있다. 따라서, 브로드사이드 빔포머(112)는 우측 이어폰 결합 모델(300)에서 턴 오프된다.
또한, 좌측 이어폰(120)은 더 이상 결합되어 있지 않으며, 따라서, 마이크로폰들이 더 이상 음향적으로 격리되지 않기 때문에, FF 마이크로폰(121) 및 FB 마이크로폰(123)을 비교하게 되면 또한 잘못된 데이터를 초래할 수 있다. 즉, FF 마이크로폰(121) 및 FB 마이크로폰(123)의 신호들은 이 구성에서 실질적으로 유사하고, 주변 노이즈와 사용자 음성을 더 이상 정확하게 구별하지 않는다. 이와 같이, 우측 이어폰 결합 모델(300)은, 우측 이어폰(110)이 결합되고 좌측 이어폰(120)이 결합되지 않은 경우, 우측 이어폰(110) FF 마이크로폰(111) 및 우측 이어폰(110) FB 마이크로폰(113)을 사용함으로써 좌측 이어폰(120) 마이크로폰들을 고려하지 않고 음성 신호로부터 노이즈 신호를 격리시키도록 적용된다.
또한, 라펠 유닛(130)은 케이블(141)을 통해 결합된 우측 이어폰(110)으로부터 매달려 있는 경우 직선형 수직 구성(straight vertical configuration)의 좌측으로 경사질 수 있다. 이와 같이, 빔포머는 정확한 음성 격리를 지원하기 위해 사용자의 입으로 지향하도록 조정될 수 있다. 상기 방식으로 조정될 경우, 상기 빔포머는 우측 방향성 엔드파이어 빔포머(133)로 지칭될 수 있으며, 여기서 우측 방향성은 수직 빔포머(132)의 우측으로의 시프트를 나타낸다. 우측 방향성 엔드파이어 빔포머(133)는 음성 마이크로폰(131) 가중치들을 조정함으로써 최우측 음성 마이크로폰(131)에 의해 레코딩된 음성 신호를 강조하도록 생성될 수 있다. 그러므로, 우측 이어폰 결합 모델(300)은, 우측 이어폰(110)이 결합되고 좌측 이어폰(120)이 결합되어 있지 않은 경우, 음성 신호로부터 노이즈 신호를 격리시키기 위한 우측 방향성 엔드파이어 빔포머(133)로서 음성 마이크로폰들(131)을 사용함으로써 적용될 수 있다.
도 4는 노이즈 캔슬링을 수행하기 위한 예시적인 좌측 이어폰 결합 모델(400)의 개략도이다. 좌측 이어폰 결합 모델(400)은 OED 프로세스가 좌측 이어폰(120)이 결합되어 있고 우측 이어폰(110)이 결합 해제되어 있음을 결정하는 경우에 사용된다. 이것은 우측 이어폰(110)이 케이블(110)을 통해 라펠 유닛(130)으로부터 매달려 있고 라펠 유닛(130)이 케이블(142)을 통해 좌측 이어폰(120)으로부터 매달려 있게 한다. 좌측 이어폰 결합 모델(400)은 모든 방향성 처리가 역전된 우측 이어폰 결합 모델(300)과 실질적으로 유사하다. 즉, 브로드사이드 빔포머(112)는 턴 오프된다. 또한, 좌측 이어폰 결합 모델(400)은 좌측 이어폰(120) FF 마이크로폰(121) 및 좌측 이어폰(120) FB 마이크로폰(123)을 사용함으로써 음성 신호로부터 노이즈 신호를 격리시키도록 적용된다. 그러나, 좌측 이어폰(120)이 결합되고 우측 이어폰(110)이 결합되어 있지 않은 경우에 우측 이어폰(110) 마이크로폰들은 고려되지 않는다.
또한, 라펠 유닛(130)의 음성 마이크로폰들(131)은 좌측 이어폰 결합 모델(400)의 수직 위치의 우측으로 지향된다. 이와 같이, 빔포머는 정확한 음성 격리를 지원하기 위해 사용자의 입으로 지향하도록 조정될 수 있다. 상기 방식으로 조정될 경우, 상기 빔포머는 좌측 방향성 엔드파이어 빔포머(134)로 지칭될 수 있으며, 여기서 좌측 방향성은 수직 빔포머(132)의 좌측으로의 시프트를 나타낸다. 좌측 방향성 엔드파이어 빔포머(134)는 음성 마이크로폰(131) 가중치들 조정함으로써 최좌측 음성 마이크로폰(131)에 의해 레코딩된 음성 신호를 강조하도록 생성될 수 있다. 그러므로, 좌측 이어폰 결합 모델(400)은, 좌측 이어폰(120)이 결합되고 우측 이어폰(110)이 결합되어 있지 않은 경우, 음성 신호로부터 노이즈 신호를 격리시키기 위한 좌측 방향성 엔드파이어 빔포머(134)로서 음성 마이크로폰들(131)을 사용함으로써 적용된다.
도 5는 노이즈 캔슬링을 수행하기 위한 예시적인 널 이어폰 결합 모델(500)의 개략도이다. 널 결합 모델(500)에서, 어떠한 이어폰(110 및 120)도 적절하게 결합되어 있지 않다. 이러한 시나리오에서, ANC를 수행하려는 임의의 시도들은 잠재적으로 음성을 감쇠시키고 및/또는 노이즈를 증폭시킬 수 있다. 따라서, 널 이어폰 결합 모델(500)은 좌측 이어폰(120)과 우측 이어폰(110)이 모두 결합 해제되어 있는 경우 빔포머 사용을 중단함으로써 부가된 노이즈를 경감시키도록 적용된다. 또한, FB 마이크로폰들(113 및 123)과 FF 마이크로폰들(111 및 121)의 각각의 상관 관계는 또한 감쇠되는 음성 및/또는 증폭되는 노이즈의 가능성을 경감시키도록 중단될 수 있다.
요약하면, 신호 프로세서(135)는 착용 위치에 기초한 신호 처리 모델들(200, 300, 400, 및/또는 500)을 사용하여, 전화 통화 동안 업링크 전송 이전에 레코딩된 음성 신호에서 주변 노이즈의 경감을 지원할 수 있다. 이들 서브 시스템들은 VAD 모듈 및 OED 모듈과 같이, 신호 프로세서 내의 개별 모듈들로 구현될 수 있다. 이러한 모듈들은 음성 검출 및 노이즈 경감의 정확성을 높이기 위해 탠덤(tandem)으로 작동할 수 있다. 예를 들어, 이어폰(110 및 120) 마이크로폰들로부터 유도된 VAD는 전술한 바와 같이 전송 노이즈 감소를 개선하는 데 사용될 수 있다. 이것은 여러 가지 방법들로 수행될 수 있다. VAD는 마이크로폰 포드들/어레이들에서 빔포밍의 적응을 위한 지침으로 사용될 수 있다. 적응성 빔포머들은 스피치형 신호들에 대해 레코딩된 사운드를 분석하여 최종 빔 방향을 결정할 수 있다. 주목해야 하는 것은, 마이크로폰들로부터의 스피치 검출의 문제는 중대한 것으로, 위음성들(false-negative)과 위양성들(false-positive)에 의해 시달릴 수 있다는 것이다. (예를 들어, 헤드셋(100) 사용자가 말하고 있는 경우를 인식하는) 개선된 VAD는 증가된 방향 정확도에 의해 적응성 빔포머 성능을 개선시킨다. 또한, VAD는 헤드셋(100) 사용자가 말하고 있지 않을 때 전송 신호를 0으로 떨어뜨리는 스마트-뮤트 프로세스(smart-mute process)를 위한 입력으로서 사용될 수 있다. VAD는 또한 연속적 적응 ANC 시스템들의 입력으로 사용될 수 있다. 연속적 적응 ANC 시스템에서, FB 마이크로폰 신호는 다운링크 신호로서만 취급될 수 있고, 따라서 노이즈는 거의 존재하지 않는다. FB 마이크로폰은 결합시 또한 사용자로부터의 로컬 토크(local talk)의 컴포넌트를 기록할 수 있으며, 이는 신호 프로세서(135)가 헤드셋(100) 사용자가 말하고 있다고 확신할 경우 제거될 수 있다. 또한, 일반적으로 관측되는 것은, 적응 중에 헤드셋(100) 사용자가 말하고 있는 경우 FF 적응이 덜 정확하다는 것이다. 따라서, VAD는 사용자가 말하고 있는 경우 적응을 동결하는 데 사용될 수 있다.
OED 모듈은 이어폰들로부터 유도된 정보의 출력을 무시하기 위한 메커니즘으로서 기능할 수 있다. OED 검출은 정보의 유용성에 영향을 주지 않으면서 FF와 FB 신호 레벨들을 비교하는 것과 같은 다양한 메커니즘에 의해 수행될 수 있다. 이어폰 용으로 OED가 결정되는 경우, 이어폰 마이크로폰들 간의 상관 관계는 (예를 들어, 빔포밍, FF-좌측 및 FF-우측 신호들의 상관, 블라인드-소스 분리, 또는 다른 메커니즘들 등을 통해) 노이즈 감소 또는 VAD를 위한 로컬 스피치 추정치들을 획득하는 데 사용된다고 주목된다. 이와 같이, OED는 FF 및/또는 FB 마이크로폰 신호들을 사용하는 VAD 및 임의의 알고리즘의 입력이 된다. 또한, 전술한 바와 같이, FF 마이크로폰들을 사용하는 빔포밍은 이어폰 중 하나가 결합 해제되면 효과적이지 않다.
도 6은, 예를 들어, 모델들(200, 300, 400, 및/또는 500)에 따라 신호들을 처리하는 헤드셋(100)을 사용함으로써 업링크 전송 동안 노이즈 캔슬링을 수행하기 위한 예시적인 방법(600)의 흐름도이다. 일부 예들에서, 방법(600)은, 메모리에 저장되며 본원에 개시된 신호 프로세서(135) 및/또는 임의의 다른 하드웨어, 펌웨어, 또는 다른 프로세싱 시스템에 의해 실행되는 컴퓨터 프로그램 제품으로서 구현될 수 있다.
블록(601)에서, 헤드셋(100)의, FB 마이크로폰들(113 및 123), FF 마이크로폰들(111 및 121), 센서들(117 및 127), 및/또는 음성 마이크로폰들(131)과 같은 감지 컴포넌트들은 헤드셋의 착용 위치를 결정하는 데 사용된다. 착용 위치는 레코딩된 오디오 신호들을 상관시키는 것, 광학 및/또는 압력 센서들을 고려하는 것, 등과 같은 본원에 개시된 임의의 메커니즘에 의해 결정될 수 있다. 일단 착용 위치가 OED에 따라 결정되면, 블록(603)에서 노이즈 캔슬링을 위한 신호 모델이 선택된다. 신호 모델은 결정된 착용 위치에 기초하여 복수의 신호 모델들로부터 선택될 수 있다. 전술한 바와 같이, 복수의 신호 모델들은 좌측 이어폰 결합 모델(400), 우측 이어폰 결합 모델(300), 듀얼 이어폰 결합 모델(200), 및 널 이어폰 결합 모델(500)을 포함할 수 있다.
블록(605)에서, 음성 신호는 헤드셋에 접속된 음성 마이크로폰들(131)과 같은 하나 이상의 음성 마이크로폰들에 레코딩된다. 또한, 블록(607)에서, 선택된 모델은 음성 전송 이전에 음성 신호로부터 노이즈를 경감하는 데 적용된다. 주목해야 하는 것은 블록(607)이 블록(605) 이후 및/또는 블록(605)과 함께 적용될 수 있다는 것이다. 전술한 바와 같이, 듀얼 이어폰 결합 모델을 적용하는 것은, 좌측 이어폰 및 우측 이어폰이 결합되어 있는 경우, 음성 신호로부터 노이즈 신호를 격리시키기 위한 브로드사이드 빔포머로서 좌측 이어폰 FF 마이크로폰 및 우측 이어폰 FF 마이크로폰을 사용하는 것을 포함할 수 있다. 또한, 듀얼 이어폰 결합 모델을 적용하는 것은 또한, 좌측 이어폰 및 우측 이어폰이 결합되어 있는 경우, 음성 신호로부터 노이즈 신호를 격리시키기 위한 수직 엔드파이어 빔포머로서 음성 마이크로폰들을 사용하는 것을 포함할 수 있다. 일부 예들에서, 듀얼 이어폰 결합 모델을 적용하는 것은 또한, 좌측 이어폰 및 우측 이어폰이 결합되어 있는 경우, 음성 신호로부터 노이즈 신호를 격리시키기 위해 좌측 이어폰 피드 포워드(FF) 마이크로폰 신호 및 우측 이어폰 FF 마이크로폰 신호를 상관시키는 것을 포함할 수 있다. 또한, 블록(607)에서 널 이어폰 결합 모델을 적용하는 것은, 좌측 이어폰과 우측 이어폰이 모두 결합 해제되어 있는 경우, 부가된 노이즈를 경감시키기 위해 빔포머 사용을 중단하는 것을 포함한다.
또한, 블록(607)에서 우측 이어폰 결합 모델을 적용하는 것은, 우측 이어폰이 결합되고 좌측 이어폰이 결합되어 있지 않은 경우, 좌측 이어폰 마이크로폰들을 고려하지 않고 음성 신호로부터 노이즈 신호를 격리시키기 위해 우측 이어폰 FF 마이크로폰 및 우측 이어폰 FB 마이크로폰을 사용하는 것을 포함한다. 블록(607)에서 우측 이어폰 결합 모델을 적용하는 것은 또한, 우측 이어폰이 결합되고 좌측 이어폰이 결합되어 있지 않은 경우, 음성 신호로부터 노이즈 신호를 격리시키기 위한 우측 방향성 엔드파이어 빔포머로서 음성 마이크로폰들을 사용하는 것을 포함할 수 있다.
또한, 블록(607)에서 좌측 이어폰 결합 모델을 적용하는 것은, 좌측 이어폰이 결합되고 우측 이어폰이 결합되어 있지 않은 경우, 우측 이어폰 마이크로폰들을 고려하지 않고 음성 신호로부터 노이즈 신호를 격리시키기 위해 좌측 이어폰 FF 마이크로폰 및 좌측 이어폰 FB 마이크로폰을 사용하는 것을 포함한다. 최종적으로, 블록(607)에서 좌측 이어폰 결합 모델을 적용하는 것은 또한, 좌측 이어폰이 결합되고 우측 이어폰이 결합되어 있지 않은 경우, 음성 신호로부터 노이즈 신호를 격리시키기 위한 좌측 방향성 엔드파이어 빔포머로서 음성 마이크로폰들을 사용하는 것을 포함할 수 있다.
본 개시 내용의 예들은 특별히 생성된 하드웨어, 펌웨어, 디지털 신호 프로세서들, 또는 프로그램된 명령어들에 따라 동작하는 프로세서를 포함하는 특별히 프로그램된 범용 컴퓨터 상에서 동작할 수 있다. 본원에 사용된 "컨트롤러" 또는 "프로세서"라는 용어들은 마이크로프로세서들, 마이크로컴퓨터들, 주문형 집적 회로들(Application Specific Integrated Circuits)(ASICs), 및 전용 하드웨어 컨트롤러들을 포함하도록 의도된다. 본 개시 내용의 하나 이상의 양태들은 하나 이상의 프로세서들(모니터링 모듈들을 포함함) 또는 다른 디바이스들에 의해 실행되는 하나 이상의 프로그램 모듈들에서와 같이, 컴퓨터 사용 가능 데이터 및 컴퓨터 실행 가능 명령어들(예를 들어, 컴퓨터 프로그램 제품들)로 구현될 수 있다. 일반적으로, 프로그램 모듈들은 컴퓨터 또는 다른 디바이스의 프로세서에 의해 실행될 때 특정의 작업들을 수행하거나 특정의 추상 데이터 타입들을 구현하는 루틴들, 프로그램들, 객체들, 컴포넌트들, 데이터 구조들 등을 포함한다. 컴퓨터 실행 가능 명령어들은 랜덤 액세스 메모리(Random Access Memory)(RAM), 판독 전용 메모리(Read Only Memory)(ROM), 캐시, 전기적으로 소거 가능한 프로그래머블 판독 전용 메모리(Electrically Erasable Programmable Read-Only Memory)(EEPROM), 플래시 메모리 또는 다른 메모리 기술과 같은 비 일시적 컴퓨터 판독가능한 매체 상에 저장될 수 있고, 임의의 기술로 구현된 임의의 다른 휘발성 또는 비휘발성, 착탈식 또는 비 착탈식 매체 상에 저장될 수 있다. 컴퓨터 판독가능 매체는 신호들 그 자체 및 일시적인 신호 전송 형태들을 배제한다. 또한, 기능은 집적 회로들, 필드 프로그래머블 게이트 어레이들(field programmable gate arrays)(FPGA) 등과 같은 펌웨어 또는 하드웨어 등가물에서 전체적으로 또는 부분적으로 구현될 수 있다. 특정 데이터 구조들은 본 개시 내용의 하나 이상의 양태들을 보다 효과적으로 구현하는 데 사용될 수 있으며, 이러한 데이터 구조들은 본원에서 설명된 컴퓨터 실행 가능 명령어들 및 컴퓨터 사용 가능 데이터의 범위 내에서 고려된다.
본 개시 내용의 양태들은 다양한 수정들 및 대안적인 형태들로 동작한다. 특정 양태들이 도면들에서 예로서 도시되고 이하에서 상세히 설명된다. 그러나, 주목해야 할 것은, 본원에 개시된 예들은 설명의 명료성을 위해 제시된 것이며, 명시적으로 제한되지 않는 한, 개시된 일반적인 개념들의 범위를 본원에 기재된 특정 예들로 제한하려는 의도는 아니라는 것이다. 이와 같이, 본 개시 내용은 첨부된 도면들 및 청구 범위에 비추어 기재된 양태들의 모든 수정들, 등가물들, 및 대안들을 포함하도록 의도된다.
실시예, 양태, 예 등에 대한 명세서에서의 언급들은 설명된 항목이 특정의 특징, 구조 또는 특성을 포함할 수 있음을 나타낸다. 그러나, 개시된 모든 양태는 그 특정의 특징, 구조 또는 특성을 반드시 포함하거나 포함하지 않을 수 있다. 또한, 이러한 문구들은 특별히 언급되지 않는 한 반드시 동일한 양태를 지칭하는 것은 아니다. 또한, 특정한 특징, 구조 또는 특성이 특정한 양태와 함께 설명될 때, 그러한 특징, 구조 또는 특성은 그러한 특징이 다른 개시된 양태와 함께 명시적으로 기술되든 아니든 간에 다른 개시된 양태와 관련하여 사용될 수 있다.
예들
본원에 개시된 기술들의 예시적인 예들이 아래에 제공된다. 기술들의 실시예는 이하에 설명되는 예들 중 임의의 하나 이상의 예들 및 그 예들의 임의의 조합을 포함할 수 있다.
예 1은 헤드셋을 포함하며, 헤드셋은: 하나 이상의 감지 컴포넌트들을 포함하는 하나 이상의 이어폰들; 음성 전송을 위한 음성 신호를 레코딩하는 하나 이상의 음성 마이크로폰들; 및 상기 이어폰들 및 상기 음성 마이크로폰들에 결합된 신호 프로세서를 포함하며, 상기 신호 프로세서는 상기 감지 컴포넌트들을 사용하여 상기 헤드셋의 착용 위치를 결정하고, 상기 결정된 착용 위치에 기초하여 복수의 신호 모델들로부터 노이즈 캔슬링을 위한 신호 모델을 선택하고, 그리고 상기 선택된 신호 모델을 적용하여 음성 전송 이전에 상기 음성 신호로부터 노이즈를 경감시키도록 구성된다.
예 2는 예 1의 헤드셋을 포함하고, 상기 감지 컴포넌트들은 피드포워드(feedforward)(FF) 마이크로폰 및 피드백(FB) 마이크로폰을 포함하며, 상기 헤드셋의 착용 위치는 FF 마이크로폰 신호와 FB 마이크로폰 신호 사이의 차이에 기초하여 결정된다.
예 3은 예 1 또는 예 2 중 어느 하나의 헤드셋을 포함하고, 상기 감지 컴포넌트들은 광학 센서, 용량성 센서, 적외선 센서, 또는 이들의 조합들을 포함한다.
예 4는 예 1 내지 예 3 중 어느 하나의 헤드셋을 포함하고, 상기 하나 이상의 이어폰들은 좌측 이어폰 및 우측 이어폰을 포함하고, 상기 복수의 신호 모델들은 좌측 이어폰 결합 모델, 우측 이어폰 결합 모델, 듀얼 이어폰 결합 모델, 및 널 이어폰 결합 모델을 포함한다.
예 5는 예 1 내지 예 4 중 어느 하나의 헤드셋을 포함하고, 상기 듀얼 이어폰 결합 모델은, 상기 좌측 이어폰 및 상기 우측 이어폰이 결합될 때, 상기 음성 신호로부터 노이즈 신호를 격리시키기 위한 브로드사이드 빔포머로서 좌측 이어폰 피드포워드(FF) 마이크로폰 및 우측 이어폰 FF 마이크로폰을 사용함으로써 적용된다.
예 6은 예 1 내지 예 5 중 어느 하나의 헤드셋을 포함하고, 상기 음성 마이크로폰들은 상기 좌측 이어폰 및 상기 우측 이어폰에 접속된 라펠 유닛 내에 위치되고, 상기 듀얼 이어폰 결합 모델은, 상기 좌측 이어폰 및 상기 우측 이어폰이 결합될 때, 상기 음성 신호로부터 노이즈 신호를 격리시키기 위한 수직 엔드파이어 빔포머로서 상기 음성 마이크로폰들을 사용함으로써 적용된다.
예 7은 예 1 내지 예 6 중 어느 하나의 헤드셋을 포함하고, 상기 듀얼 이어폰 결합 모델은, 상기 좌측 이어폰 및 상기 우측 이어폰이 결합될 때, 상기 음성 신호로부터 노이즈 신호를 격리시키기 위해 좌측 이어폰 피드포워드(FF) 마이크로폰 신호 및 우측 이어폰 FF 마이크로폰 신호를 상관시킴으로써 적용된다.
예 8은 예 1 내지 예 7 중 어느 하나의 헤드셋을 포함하고, 상기 널 이어폰 결합 모델은, 상기 좌측 이어폰과 상기 우측 이어폰이 모두 결합 해제될 때, 부가된 노이즈를 경감시키기 위해 빔포머 사용을 중단시킴으로써 적용된다.
예 9는 예 1 내지 예 8 중 어느 하나의 헤드셋을 포함하고, 상기 좌측 이어폰 결합 모델은, 상기 좌측 이어폰이 결합되고 상기 우측 이어폰이 결합되지 않을 때 우측 이어폰 마이크로폰들을 고려하지 않고 상기 음성 신호로부터 노이즈 신호를 격리시키기 위해 좌측 이어폰 피드포워드(FF) 마이크로폰 및 좌측 이어폰 피드백(FB) 마이크로폰을 사용함으로써 적용된다.
예 10은 예 1 내지 예 9 중 어느 하나의 헤드셋을 포함하고, 상기 음성 마이크로폰들은 상기 좌측 이어폰 및 상기 우측 이어폰에 접속된 라펠 유닛 내에 위치되고, 상기 좌측 이어폰 결합 모델은, 상기 좌측 이어폰이 결합되고 상기 우측 이어폰이 결합되지 않을 때, 상기 음성 신호로부터 노이즈 신호를 격리시키기 위한 좌측 방향성 엔드파이어 빔포머로서 상기 음성 마이크로폰들을 사용함으로써 적용된다.
예 11은 예 1 내지 예 10 중 어느 하나의 헤드셋을 포함하고, 상기 우측 이어폰 결합 모델은, 상기 우측 이어폰이 결합되고 상기 좌측 이어폰이 결합되지 않을 때, 좌측 이어폰 마이크로폰들을 고려하지 않고 상기 음성 신호로부터 노이즈 신호를 격리시키기 위해 우측 이어폰 피드포워드(FF) 마이크로폰 및 우측 이어폰 피드백(FB) 마이크로폰을 사용함으로써 적용된다.
예 12는 예 1 내지 예 11 중 어느 하나의 헤드셋을 포함하고, 상기 음성 마이크로폰들은 상기 좌측 이어폰 및 상기 우측 이어폰에 접속된 라펠 유닛 내에 위치되고, 상기 우측 이어폰 결합 모델은, 상기 우측 이어폰이 결합되고, 상기 좌측 이어폰이 결합되지 않을 때, 상기 음성 신호로부터 노이즈 신호를 격리시키기 위한 우측 방향성 엔드파이어 빔포머로서 상기 음성 마이크로폰들을 사용함으로써 적용된다.
예 13은 방법을 포함하고, 상기 방법은: 헤드셋의 감지 컴포넌트들을 사용하여 상기 헤드셋의 착용 위치를 결정하는 단계; 상기 결정된 착용 위치에 기초하여 복수의 신호 모델들로부터 노이즈 캔슬링을 위한 신호 모델을 선택하는 단계; 상기 헤드셋에 접속된 하나 이상의 음성 마이크로폰들에 음성 신호를 레코딩하는 단계; 및 상기 선택된 신호 모델을 적용하여 음성 전송 전에 상기 음성 신호로부터 노이즈를 경감시키는 단계를 포함한다.
예 14는 예 13의 방법을 포함하고, 상기 헤드셋은 좌측 이어폰 및 우측 이어폰을 포함하고, 상기 복수의 신호 모델들은 좌측 이어폰 결합 모델, 우측 이어폰 결합 모델, 듀얼 이어폰 결합 모델, 및 널 이어폰 결합 모델을 포함한다.
예 15는 예 13 또는 예 14 중 어느 하나의 방법을 포함하고, 상기 듀얼 이어폰 결합 모델을 적용하는 것은, 상기 좌측 이어폰 및 상기 우측 이어폰이 결합될 때, 상기 음성 신호로부터 노이즈 신호를 격리시키기 위한 브로드사이드 빔포머로서 좌측 이어폰 피드포워드(FF) 마이크로폰 및 우측 이어폰 FF 마이크로폰을 사용하는 것을 포함한다.
예 16은 예 13 내지 예 15 중 어느 하나의 방법을 포함하고, 상기 음성 마이크로폰들은 상기 좌측 이어폰 및 상기 우측 이어폰에 접속된 라펠 유닛 내에 위치되고, 상기 듀얼 이어폰 결합 모델을 적용하는 것은, 상기 좌측 이어폰 및 상기 우측 이어폰이 결합될 때, 상기 음성 신호로부터 노이즈 신호를 격리시키기 위한 수직 엔드파이어 빔포머로서 상기 음성 마이크로폰들을 사용하는 것을 포함한다.
예 17은 예 13 내지 예 16 중 어느 하나의 방법을 포함하고, 상기 듀얼 이어폰 결합 모델을 적용하는 것은, 상기 좌측 이어폰 및 상기 우측 이어폰이 결합될 때, 상기 음성 신호로부터 노이즈 신호를 격리시키기 위해 좌측 이어폰 피드포워드(FF) 마이크로폰 신호 및 우측 이어폰 FF 마이크로폰 신호를 상관시키는 것을 포함한다.
예 18은 예 13 내지 예 17 중 어느 하나의 방법을 포함하고, 상기 널 이어폰 결합 모델을 적용하는 것은, 상기 좌측 이어폰과 상기 우측 이어폰이 모두 결합 해제될 때, 부가된 노이즈를 경감시키기 위해 빔포머 사용을 중단시키는 것을 포함한다.
예 19는 예 13 내지 예 18 중 어느 하나의 방법을 포함하고, 상기 우측 이어폰 결합 모델을 적용하는 것은, 상기 우측 이어폰이 결합되고 상기 좌측 이어폰이 결합되지 않을 때, 좌측 이어폰 마이크로폰들을 고려하지 않고 상기 음성 신호로부터 노이즈 신호를 격리시키기 위해 우측 이어폰 피드포워드(FF) 마이크로폰 및 우측 이어폰 피드백(FB) 마이크로폰을 사용하는 것을 포함한다.
예 20은 예 13 내지 예 19 중 어느 하나의 방법을 포함하고, 상기 음성 마이크로폰들은 상기 좌측 이어폰 및 상기 우측 이어폰에 접속된 라펠 유닛 내에 위치되고, 상기 좌측 이어폰 결합 모델을 적용하는 것은, 상기 좌측 이어폰이 결합되고 상기 우측 이어폰이 결합되지 않을 때, 상기 음성 신호로부터 노이즈 신호를 격리시키기 위한 좌측 방향성 엔드파이어 빔포머로서 상기 음성 마이크로폰들을 사용하는 것을 포함한다.
예 21은 신호 프로세서 상에서 실행될 때 헤드셋으로 하여금 예 13 내지 예 20 중 어느 하나에 따른 방법을 수행하게 하는 컴퓨터 프로그램 제품을 포함한다.
개시된 대상의 전술한 예들은 기술되었거나 통상의 기술자에게 명백할 많은 이점을 갖는다. 그렇더라도, 개시된 장치, 시스템, 또는 방법의 모든 버전들에서 이러한 이점들 또는 특징들의 모두가 요구되는 것은 아니다.
또한, 이러한 기재된 설명은 특정 기능들을 참조한다. 본 명세서의 개시 내용은 이러한 특정의 특징들의 모든 가능한 조합들을 포함한다는 것을 이해해야 한다. 특정의 특징이 특정의 양태 또는 예의 상황에서 개시되는 경우, 그 특징은 또한 다른 양태들 및 예들의 상황에서 가능한 정도로 사용될 수 있다.
또한, 본원에서 두 이상의 정의된 단계들 또는 동작들을 갖는 방법이 참조될 경우, 정의된 단계들 또는 동작들은 문맥상 가능성들이 배제되지 않는 한 임의의 순서로 또는 동시에 수행될 수 있다.
본 개시 내용의 특정 예들이 예시의 목적으로 도시되고 설명되었지만, 본 개시 내용의 사상 및 범위를 벗어나지 않고 다양한 변형들이 행해질 수 있음을 이해할 것이다. 따라서, 본 개시 내용은 첨부된 청구 범위에 의한 것을 제외하고는 제한되어서는 안된다.

Claims (20)

  1. 헤드셋으로서,
    하나 이상의 감지 컴포넌트들을 포함하는 이어폰들 - 상기 이어폰들은 피드포워드(feedforward) 마이크로폰 및 피드백 마이크로폰을 갖는 제1 이어폰 및 피드포워드 마이크로폰 및 피드백 마이크로폰을 갖는 제2 이어폰을 포함함 -;
    음성 전송을 위한 음성 신호를 레코딩하는 하나 이상의 음성 마이크로폰들; 및
    상기 이어폰들 및 상기 음성 마이크로폰들에 결합된 신호 프로세서
    를 포함하며, 상기 신호 프로세서는
    상기 감지 컴포넌트들을 사용하여 상기 헤드셋의 착용 위치를 결정하고 - 상기 헤드셋의 착용 위치는 단일 이어폰 결합(single earphone engagement) 및 듀얼 이어폰 결합을 포함함 -,
    상기 결정된 착용 위치에 기초하여 복수의 신호 모델들로부터 신호 모델을 선택하고 - 상기 복수의 신호 모델들은 단일 이어폰 결합 모델 및 듀얼 이어폰 결합 모델을 포함함 -,
    상기 선택된 신호 모델이 상기 듀얼 이어폰 결합 모델인 경우, 상기 음성 신호로부터 노이즈 신호를 격리시키기 위한 브로드사이드 빔포머로서 상기 제1 이어폰의 피드포워드 마이크로폰 및 상기 제2 이어폰의 피드포워드 마이크로폰을 사용하고,
    상기 선택된 신호 모델이 상기 단일 이어폰 결합 모델인 경우, 상기 브로드사이드 빔포머를 결합 해제하고, 상기 음성 신호로부터 상기 노이즈 신호를 격리시키기 위하여 제1 방향성 엔드파이어 빔포머(first directional endfire beamformer)로서 상기 하나 이상의 음성 마이크로폰들을 사용하고, 상기 제2 이어폰의 피드포워드 마이크로폰 및 피드백 마이크로폰을 고려하지 않고 상기 제1 이어폰의 피드포워드 마이크로폰 및 피드백 마이크로폰을 사용하도록 구성되는 헤드셋.
  2. 제1항에 있어서, 상기 감지 컴포넌트들은 상기 제1 이어폰 및 상기 제2 이어폰 각각의 피드포워드 마이크로폰 및 피드백 마이크로폰을 포함하며, 상기 헤드셋의 착용 위치는 피드포워드 마이크로폰 신호와 피드백 마이크로폰 신호 사이의 차이에 기초하여 결정되는 헤드셋.
  3. 제1항에 있어서, 상기 감지 컴포넌트들은 광학 센서, 용량성 센서, 적외선 센서, 또는 이들의 조합들을 포함하는 헤드셋.
  4. 제1항에 있어서, 상기 복수의 신호 모델들은 널 이어폰 결합 모델(null earphone engagement model)을 추가로 포함하는 헤드셋.
  5. 제1항에 있어서, 상기 음성 마이크로폰들은 상기 제1 이어폰 및 상기 제2 이어폰에 접속된 라펠 유닛(lapel unit) 내에 위치되고, 상기 듀얼 이어폰 결합 모델은, 상기 제1 이어폰 및 상기 제2 이어폰이 결합될 때, 상기 음성 신호로부터 상기 노이즈 신호를 격리시키기 위한 수직 엔드파이어 빔포머로서 상기 음성 마이크로폰들을 사용함으로써 적용되는 헤드셋.
  6. 제1항에 있어서, 상기 듀얼 이어폰 결합 모델은, 상기 제1 이어폰 및 상기 제2 이어폰이 결합될 때, 상기 음성 신호로부터 상기 노이즈 신호를 격리시키기 위해 상기 제1 이어폰의 피드포워드 마이크로폰 신호 및 상기 제2 이어폰의 피드포워드 마이크로폰 신호를 상관시킴으로써 적용되는 헤드셋.
  7. 제4항에 있어서, 상기 널 이어폰 결합 모델은, 상기 제1 이어폰과 상기 제2 이어폰이 모두 결합 해제될 때, 부가된 노이즈를 경감시키기 위해 빔포머 사용을 중단시킴으로써 적용되는 헤드셋.
  8. 제1항에 있어서, 상기 음성 마이크로폰들은 상기 제1 이어폰 및 상기 제2 이어폰에 접속된 라펠 유닛 내에 위치되는 헤드셋.
  9. 방법으로서,
    헤드셋의 감지 컴포넌트들을 사용하여 상기 헤드셋의 착용 위치를 결정하는 단계 - 상기 헤드셋의 착용 위치는 단일 이어폰 결합 및 듀얼 이어폰 결합을 포함함 -;
    상기 결정된 착용 위치에 기초하여 복수의 신호 모델들로부터 노이즈 캔슬링을 위한 신호 모델을 선택하는 단계 - 상기 복수의 신호 모델들은 단일 이어폰 결합 모델 및 듀얼 이어폰 결합 모델을 포함함 -;
    상기 선택된 신호 모델이 상기 듀얼 이어폰 결합 모델인 경우, 음성 신호를 검출하고 상기 음성 신호로부터 노이즈 신호를 격리시키기 위한 브로드사이드 빔포머로서 제1 이어폰의 피드포워드 마이크로폰 및 제2 이어폰의 피드포워드 마이크로폰을 사용하고 하나 이상의 음성 마이크로폰들에 상기 음성 신호를 레코딩하는 단계; 및
    상기 선택된 신호 모델이 상기 단일 이어폰 결합 모델인 경우, 상기 브로드사이드 빔포머를 결합 해제하고, 상기 음성 신호를 검출하고 상기 음성 신호로부터 상기 노이즈 신호를 격리시키기 위하여 제1 방향성 엔드파이어 빔포머로서 하나 이상의 음성 마이크로폰들을 사용하고, 상기 제2 이어폰의 제2 피드포워드 마이크로폰 및 상기 제2 이어폰의 피드백 마이크로폰을 고려하지 않고 상기 제1 이어폰의 피드포워드 마이크로폰 및 상기 제1 이어폰의 피드백 마이크로폰을 사용하는 단계
    를 포함하는 방법.
  10. 제9항에 있어서, 상기 복수의 신호 모델들은 널 이어폰 결합 모델을 추가로 포함하는 방법.
  11. 제10항에 있어서, 상기 음성 마이크로폰들은 상기 제1 이어폰 및 상기 제2 이어폰에 접속된 라펠 유닛 내에 위치되는 방법.
  12. 제10항에 있어서, 상기 널 이어폰 결합 모델을 적용하는 것은, 상기 제1 이어폰과 상기 제2 이어폰이 모두 결합 해제될 때, 부가된 노이즈를 경감시키기 위해 빔포머 사용을 중단시키는 것을 포함하는 방법.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020197014854A 2016-10-24 2017-10-24 다수의 마이크로폰을 이용한 자동 노이즈 캔슬링 KR102472574B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227041531A KR102508844B1 (ko) 2016-10-24 2017-10-24 다수의 마이크로폰을 이용한 자동 노이즈 캔슬링

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662412214P 2016-10-24 2016-10-24
US62/412,214 2016-10-24
PCT/US2017/058129 WO2018081155A1 (en) 2016-10-24 2017-10-24 Automatic noise cancellation using multiple microphones

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227041531A Division KR102508844B1 (ko) 2016-10-24 2017-10-24 다수의 마이크로폰을 이용한 자동 노이즈 캔슬링

Publications (2)

Publication Number Publication Date
KR20190087438A KR20190087438A (ko) 2019-07-24
KR102472574B1 true KR102472574B1 (ko) 2022-12-02

Family

ID=60269958

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197014854A KR102472574B1 (ko) 2016-10-24 2017-10-24 다수의 마이크로폰을 이용한 자동 노이즈 캔슬링
KR1020227041531A KR102508844B1 (ko) 2016-10-24 2017-10-24 다수의 마이크로폰을 이용한 자동 노이즈 캔슬링

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227041531A KR102508844B1 (ko) 2016-10-24 2017-10-24 다수의 마이크로폰을 이용한 자동 노이즈 캔슬링

Country Status (7)

Country Link
US (2) US10354639B2 (ko)
EP (1) EP3529801B1 (ko)
JP (1) JP7252127B2 (ko)
KR (2) KR102472574B1 (ko)
CN (1) CN110392912B (ko)
TW (2) TWI823334B (ko)
WO (1) WO2018081155A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11102567B2 (en) 2016-09-23 2021-08-24 Apple Inc. Foldable headphones
KR102535726B1 (ko) * 2016-11-30 2023-05-24 삼성전자주식회사 이어폰 오장착 검출 방법, 이를 위한 전자 장치 및 저장 매체
JP6874430B2 (ja) * 2017-03-09 2021-05-19 ティアック株式会社 音声レコーダ
EP3625718B1 (en) * 2017-05-19 2021-09-08 Plantronics, Inc. Headset for acoustic authentication of a user
KR102386280B1 (ko) * 2017-11-20 2022-04-14 애플 인크. 헤드폰
US11401568B2 (en) * 2018-01-30 2022-08-02 Jfe Steel Corporation Steel material for line pipes, method for producing the same, and method for producing line pipe
KR102414633B1 (ko) 2018-04-02 2022-06-30 애플 인크. 헤드폰
CN109195043B (zh) * 2018-07-16 2020-11-20 恒玄科技(上海)股份有限公司 一种无线双蓝牙耳机提高降噪量的方法
GB2575815B (en) * 2018-07-23 2020-12-09 Dyson Technology Ltd A wearable air purifier
CN110891226B (zh) * 2018-09-07 2022-06-24 中兴通讯股份有限公司 一种消噪方法、装置、设备和存储介质
US10681452B1 (en) 2019-02-26 2020-06-09 Qualcomm Incorporated Seamless listen-through for a wearable device
CN110300344A (zh) * 2019-03-25 2019-10-01 深圳市增长点科技有限公司 自适应降噪耳机
CN111800722B (zh) * 2019-04-28 2021-07-20 深圳市豪恩声学股份有限公司 前馈麦克风功能检测方法、装置、终端设备及存储介质
US11172298B2 (en) 2019-07-08 2021-11-09 Apple Inc. Systems, methods, and user interfaces for headphone fit adjustment and audio output control
US11043201B2 (en) 2019-09-13 2021-06-22 Bose Corporation Synchronization of instability mitigation in audio devices
CN111800687B (zh) * 2020-03-24 2022-04-12 深圳市豪恩声学股份有限公司 一种主动降噪方法、装置、电子设备及存储介质
US11722178B2 (en) 2020-06-01 2023-08-08 Apple Inc. Systems, methods, and graphical user interfaces for automatic audio routing
US11941319B2 (en) 2020-07-20 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for selecting audio output modes of wearable audio output devices
US11375314B2 (en) 2020-07-20 2022-06-28 Apple Inc. Systems, methods, and graphical user interfaces for selecting audio output modes of wearable audio output devices
CN113973249B (zh) * 2020-07-24 2023-04-07 华为技术有限公司 耳机通话方法及耳机
US11122350B1 (en) * 2020-08-18 2021-09-14 Cirrus Logic, Inc. Method and apparatus for on ear detect
US11523243B2 (en) 2020-09-25 2022-12-06 Apple Inc. Systems, methods, and graphical user interfaces for using spatialized audio during communication sessions
CN112242148B (zh) * 2020-11-12 2023-06-16 北京声加科技有限公司 一种基于头戴式耳机的风噪抑制方法及装置
US11875811B2 (en) * 2021-12-09 2024-01-16 Lenovo (United States) Inc. Input device activation noise suppression
US11997447B2 (en) * 2022-07-21 2024-05-28 Dell Products Lp Method and apparatus for earpiece audio feeback channel to detect ear tip sealing

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100246846A1 (en) 2009-03-30 2010-09-30 Burge Benjamin D Personal Acoustic Device Position Determination
US20110129097A1 (en) 2008-04-25 2011-06-02 Douglas Andrea System, Device, and Method Utilizing an Integrated Stereo Array Microphone
US20110222701A1 (en) 2009-09-18 2011-09-15 Aliphcom Multi-Modal Audio System With Automatic Usage Mode Detection and Configuration Capability
WO2014055312A1 (en) 2012-10-02 2014-04-10 Mh Acoustics, Llc Earphones having configurable microphone arrays
US20140146976A1 (en) 2012-11-29 2014-05-29 Apple Inc. Ear Presence Detection in Noise Cancelling Earphones
US20140307890A1 (en) 2013-04-16 2014-10-16 Cirrus Logic, Inc. Systems and methods for adaptive noise cancellation including secondary path estimate monitoring
US20160241974A1 (en) 2015-02-13 2016-08-18 Oticon A/S Hearing system comprising a separate microphone unit for picking up a users own voice

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099821B2 (en) * 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
US20140294193A1 (en) * 2011-02-25 2014-10-02 Nokia Corporation Transducer apparatus with in-ear microphone
CN102300140B (zh) * 2011-08-10 2013-12-18 歌尔声学股份有限公司 一种通信耳机的语音增强方法及降噪通信耳机
JP6069829B2 (ja) * 2011-12-08 2017-02-01 ソニー株式会社 耳孔装着型収音装置、信号処理装置、収音方法
US9300386B2 (en) * 2012-01-12 2016-03-29 Plantronics, Inc. Wearing position derived device operation
EP2819429B1 (en) * 2013-06-28 2016-06-22 GN Netcom A/S A headset having a microphone
US9190043B2 (en) * 2013-08-27 2015-11-17 Bose Corporation Assisting conversation in noisy environments
US9386391B2 (en) 2014-08-14 2016-07-05 Nxp B.V. Switching between binaural and monaural modes
US9905216B2 (en) 2015-03-13 2018-02-27 Bose Corporation Voice sensing using multiple microphones
US9401158B1 (en) * 2015-09-14 2016-07-26 Knowles Electronics, Llc Microphone signal fusion
US9967682B2 (en) * 2016-01-05 2018-05-08 Bose Corporation Binaural hearing assistance operation
CN105848054B (zh) * 2016-03-15 2020-04-10 歌尔股份有限公司 耳机及其降噪方法
KR102535726B1 (ko) * 2016-11-30 2023-05-24 삼성전자주식회사 이어폰 오장착 검출 방법, 이를 위한 전자 장치 및 저장 매체

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110129097A1 (en) 2008-04-25 2011-06-02 Douglas Andrea System, Device, and Method Utilizing an Integrated Stereo Array Microphone
US20100246846A1 (en) 2009-03-30 2010-09-30 Burge Benjamin D Personal Acoustic Device Position Determination
US20110222701A1 (en) 2009-09-18 2011-09-15 Aliphcom Multi-Modal Audio System With Automatic Usage Mode Detection and Configuration Capability
WO2014055312A1 (en) 2012-10-02 2014-04-10 Mh Acoustics, Llc Earphones having configurable microphone arrays
US20140146976A1 (en) 2012-11-29 2014-05-29 Apple Inc. Ear Presence Detection in Noise Cancelling Earphones
US20140307890A1 (en) 2013-04-16 2014-10-16 Cirrus Logic, Inc. Systems and methods for adaptive noise cancellation including secondary path estimate monitoring
US20160241974A1 (en) 2015-02-13 2016-08-18 Oticon A/S Hearing system comprising a separate microphone unit for picking up a users own voice

Also Published As

Publication number Publication date
JP7252127B2 (ja) 2023-04-04
US10354639B2 (en) 2019-07-16
US20190304430A1 (en) 2019-10-03
KR102508844B1 (ko) 2023-03-13
CN110392912B (zh) 2022-12-23
EP3529801A1 (en) 2019-08-28
US20180114518A1 (en) 2018-04-26
TW202232969A (zh) 2022-08-16
TWI823334B (zh) 2023-11-21
WO2018081155A1 (en) 2018-05-03
JP2019537398A (ja) 2019-12-19
KR20220162187A (ko) 2022-12-07
TW201820892A (zh) 2018-06-01
TWI763727B (zh) 2022-05-11
KR20190087438A (ko) 2019-07-24
US11056093B2 (en) 2021-07-06
EP3529801B1 (en) 2020-12-23
CN110392912A (zh) 2019-10-29

Similar Documents

Publication Publication Date Title
KR102472574B1 (ko) 다수의 마이크로폰을 이용한 자동 노이즈 캔슬링
US10319392B2 (en) Headset having a microphone
EP2680608B1 (en) Communication headset speech enhancement method and device, and noise reduction communication headset
US11373665B2 (en) Voice isolation system
KR102196012B1 (ko) 트랜스듀서 상태의 검출에 기초하여 오디오 트랜스듀서의 성능을 향상시키는 방법들 및 시스템들
US11330358B2 (en) Wearable audio device with inner microphone adaptive noise reduction
TWI720314B (zh) 基於相關性之近場偵測器
Nakagawa et al. Dual microphone solution for acoustic feedback cancellation for assistive listening
US10529358B2 (en) Method and system for reducing background sounds in a noisy environment
EP3840402B1 (en) Wearable electronic device with low frequency noise reduction
CN114450745A (zh) 用于耳戴式播放设备的音频系统和信号处理方法
US11533555B1 (en) Wearable audio device with enhanced voice pick-up

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right