KR20200070290A - 헤드셋 온 이어 상태 검출 - Google Patents

헤드셋 온 이어 상태 검출 Download PDF

Info

Publication number
KR20200070290A
KR20200070290A KR1020207012998A KR20207012998A KR20200070290A KR 20200070290 A KR20200070290 A KR 20200070290A KR 1020207012998 A KR1020207012998 A KR 1020207012998A KR 20207012998 A KR20207012998 A KR 20207012998A KR 20200070290 A KR20200070290 A KR 20200070290A
Authority
KR
South Korea
Prior art keywords
ear
headset
parameter
signal
microphone
Prior art date
Application number
KR1020207012998A
Other languages
English (en)
Other versions
KR102470977B1 (ko
Inventor
비탈리 사포즈니코브
토마스 이반 하베이
나피세 에르파니안사에디
로버트 루크
Original Assignee
시러스 로직 인터내셔널 세미컨덕터 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시러스 로직 인터내셔널 세미컨덕터 리미티드 filed Critical 시러스 로직 인터내셔널 세미컨덕터 리미티드
Publication of KR20200070290A publication Critical patent/KR20200070290A/ko
Application granted granted Critical
Publication of KR102470977B1 publication Critical patent/KR102470977B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008—Earpieces of the supra-aural or circum-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/03—Aspects of the reduction of energy consumption in hearing devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/15—Determination of the acoustic seal of ear moulds or ear tips of hearing devices

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Headphones And Earphones (AREA)

Abstract

헤드셋이 온 이어에 있는지를 검출하기 위한 방법 및 디바이스. 스피커(Si)로부터 음향 재생을 위한 프로브 신호(Vi)가 발성된다. 마이크로폰(Ei)으로부터의 마이크로폰 신호(XEi)가 수신되고, 마이크로폰 신호는 마이크로폰에서 수신된 프로브 신호의 적어도 일부를 포함한다. 마이크로폰 신호에 포함된 프로브 신호의 일부의 적어도 하나의 파라미터의 추정치(
Figure pct00033
)를 생성하기 위해, 마이크로폰 신호가 상태 추정기(350)로 전달된다. 헤드셋이 온 이어에 있는지를 결정하기 위해 적어도 하나의 파라미터의 추정치가 프로세싱된다.

Description

헤드셋 온 이어 상태 검출
본 발명은 헤드셋에 관한 것으로, 특히 헤드셋이 사용자의 귀 상에 또는 귀 내에서 제자리에 있는지 여부를 결정하도록 구성되는 헤드셋 및 이러한 결정을 행하기 위한 방법에 관한 것이다.
헤드셋들은 음악 또는 오디오 파일들 또는 전화 통화 신호들의 재생과 같이 사용자의 한쪽 귀 또는 양쪽 귀에 사운드를 전달하기 위한 대중적인 디바이스이다. 헤드셋들은 또한 통상적으로 음성 녹음 또는 전화 통화를 위한 사용자의 음성 또는 디바이스에 의한 신호 프로세싱을 강화시키는 데 사용되는 배경 노이즈 신호들과 같은 주변 환경으로부터의 사운드를 포착한다. 헤드셋들은 광범위한 신호 프로세싱 기능들을 제공할 수 있다.
예를 들어, 하나의 이러한 기능이 능동 노이즈 제거(Active Noise Cancellation)(ANC, 능동 노이즈 제어라고도 함)로서, 이는 노이즈 제거 신호를 재생 신호와 결합하고 스피커를 통해 결합된 신호를 출력하여, 노이즈 제거 신호 성분이 주변 노이즈를 음향적으로 제거하고 사용자는 단지 또는 주로 관심 있는 재생 신호만 들을 수 있게 한다. ANC 프로세싱은 통상적으로 기준(피드-포워드) 마이크로폰에 의해 제공되는 주변 노이즈 신호, 및 에러(피드-백) 마이크로폰에 의해 제공되는 재생 신호를 입력들로서 취한다. ANC 프로세싱은 헤드셋을 벗더라도 지속적으로 상당한 전력을 소비한다.
따라서, ANC에서, 그리고 유사하게는 헤드셋의 많은 다른 신호 프로세싱 기능들에서, 헤드셋이 임의의 특정 시간에 착용되고 있는지에 대한 지식을 갖는 것이 바람직하다. 예를 들어, 온-이어(on-ear) 헤드셋들이 사용자의 귓바퀴에 또는 그 위에 배치되는지, 및 이어 버드 헤드셋들이 사용자의 외이도(들) 또는 외이 내에 배치되었는지를 아는 것이 바람직하다. 이러한 사용 사례들은 둘 다 본 명세서에서 각각의 헤드셋이 "온 이어"에 있는 것으로 지칭된다. 헤드셋이 사용자의 목 주위로 운반되거나 완전히 제거될 때와 같이 사용되지 않는 상태는 본 명세서에서 "오프 이어(off ear)"에 있는 것으로 지칭된다.
온 이어 검출에 대한 이전의 접근법들은 용량성, 광학 또는 적외선 센서들과 같은 전용 센서들의 사용을 포함하며, 이들은 헤드셋을 귀로 가져가거나 귀에 가까이 가져갈 때를 검출할 수 있다. 그러나, 이러한 비-음향 센서들을 제공하면 하드웨어 비용이 추가되고, 전력 소비가 추가된다. 온 이어 검출에 대한 다른 이전의 접근법들은, 헤드셋이 온 이어에 있지 않을 때와 비교하여, 외이도 및/또는 귓바퀴 내부의 음향 잔향이 감지 마이크로폰 신호의 전력에서 검출 가능한 상승을 야기하는 것에 기초하여, 착용할 때 헤드셋 내부의 음향 사운드를 검출하도록 위치 결정되는 감지 마이크로폰을 제공하는 것이다. 그러나, 감지 마이크로폰 신호 전력은 바람 노이즈와 같은 노이즈 소스들에 의해 영향을 받을 수 있으므로, 이 접근법은 실제로는 헤드셋이 오프 이어에 있고 노이즈에 의해 영향을 받을 때 헤드셋이 온 이어에 있다는 긍정 오류를 출력할 수 있다. 온 이어 검출에 대한 이들 및 다른 접근법들은 또한 헤드셋이 사용자의 손에 쥐여져있거나 상자에 배치될 때 등에도 긍정 오류들을 출력할 수 있다.
본 명세서에 포함된 문헌들, 행위들, 재료들, 디바이스들, 제조물들 등에 대한 임의의 논의는 본 발명에 대한 맥락을 제공하기 위한 목적일 뿐이다. 이들 문제들 중 임의의 것 또는 전부는 이들이 본 출원의 각각의 청구항의 우선일 이전에 존재했던 것과 같이 종래 기술 근거의 일부를 형성하거나 또는 본 발명과 관련된 분야에서 공통된 일반적인 지식인 것에 대한 인정으로 취해지지 않아야 한다.
본 명세서 전반에 걸쳐, "포함하다(comprise)"라는 단어, 또는 "포함하다(comprises)" 또는 "포함하는(comprising)"과 같은 변형들은 언급된 엘리먼트, 정수 또는 단계, 또는 엘리먼트들, 정수들 또는 단계들의 그룹의 포함을 의미하지만, 임의의 다른 엘리먼트, 정수 또는 단계, 또는 엘리먼트들, 정수들 또는 단계들의 그룹의 배제를 의미하지 않는 것으로 이해될 것이다.
본 명세서에서, 엘리먼트가 옵션들의 리스트 "중 적어도 하나"일 수 있다는 진술은 엘리먼트가 열거된 옵션들 중 임의의 하나일 수도 있고, 또는 열거된 옵션들 중 2개 이상의 것의 임의의 결합일 수도 있다는 것이 이해될 것이다.
제1 양태에 따르면, 본 발명은 헤드셋에 대한 온 이어(on ear) 검출을 위한 신호 프로세싱 디바이스로서,
스피커로부터 음향 재생을 위한 프로브 신호를 발생시키도록 구성되는 프로브 신호 발생기;
마이크로폰으로부터 마이크로폰 신호를 수신하기 위한 입력부 - 마이크로폰 신호는 마이크로폰에서 수신된 프로브 신호의 적어도 일부를 포함함 -; 및
마이크로폰 신호에 포함된 프로브 신호의 일부의 적어도 하나의 파라미터의 추정치를 생성하기 위해 마이크로폰 신호에 상태 추정을 적용하도록 구성되는 프로세서 - 프로세서는 헤드셋이 온 이어에 있는지를 결정하기 위해 적어도 하나의 파라미터의 추정치를 프로세싱하도록 추가로 구성됨 -
를 포함하는 디바이스를 제공한다.
제2 양태에 따르면, 본 발명은 헤드셋에 대한 온 이어 검출을 위한 방법으로서,
스피커로부터 음향 재생을 위한 프로브 신호를 발생시키는 단계;
마이크로폰으로부터 마이크로폰 신호를 수신하는 단계 - 마이크로폰 신호는 마이크로폰에서 수신된 프로브 신호의 적어도 일부를 포함함 -;
마이크로폰 신호에 포함된 프로브 신호의 일부의 적어도 하나의 파라미터의 추정치를 생성하기 위해 마이크로폰 신호에 상태 추정을 적용하는 단계; 및
적어도 하나의 파라미터의 추정치로부터 헤드셋이 온 이어에 있는지를 결정하는 단계
를 포함하는 방법을 제공한다.
제3 양태에 따르면, 본 발명은 헤드셋에 대한 온 이어 검출을 위한 비-일시적 컴퓨터 판독 가능 매체로서,
비-일시적 컴퓨터 판독 가능 매체는 명령어들을 포함하고, 명령어들은, 하나 이상의 프로세서에 의해 실행될 때,
스피커로부터 음향 재생을 위한 프로브 신호를 발생시키는 단계;
마이크로폰으로부터 마이크로폰 신호를 수신하는 단계 - 마이크로폰 신호는 마이크로폰에서 수신된 프로브 신호의 적어도 일부를 포함함 -;
마이크로폰 신호에 포함된 프로브 신호의 일부의 적어도 하나의 파라미터의 추정치를 생성하기 위해 마이크로폰 신호에 상태 추정을 적용하는 단계; 및
적어도 하나의 파라미터의 추정치로부터 헤드셋이 온 이어에 있는지를 결정하는 단계
의 성능을 야기하게 하는 비-일시적 컴퓨터 판독 가능 매체를 제공한다.
제4 양태에 따르면, 본 발명은 헤드셋에 대한 온 이어 검출을 위한 시스템으로서,
프로세서 및 메모리
를 포함하고,
메모리는 프로세서에 의해 실행 가능한 명령어들을 포함하고,
시스템은,
스피커로부터 음향 재생을 위한 프로브 신호를 발생시키고,
마이크로폰으로부터 마이크로폰 신호를 수신하고 - 마이크로폰 신호는 마이크로폰에서 수신된 프로브 신호의 적어도 일부를 포함함 -,
마이크로폰 신호에 포함된 프로브 신호의 일부의 적어도 하나의 파라미터의 추정치를 생성하기 위해 마이크로폰 신호에 상태 추정을 적용하고,
적어도 하나의 파라미터의 추정치로부터 헤드셋이 온 이어에 있는지를 결정하도록
동작하는 시스템을 제공한다.
본 발명의 일부 실시예들에서, 프로세서는 추정된 파라미터를 임계값과 비교함으로써 헤드셋이 온 이어에 있는지를 결정하기 위해 적어도 하나의 파라미터의 추정치를 프로세싱하도록 구성된다.
본 발명의 일부 실시예들에서, 적어도 하나의 파라미터는 프로브 신호의 진폭이다. 진폭이 임계값을 초과할 때, 일부 실시예들에서, 프로세서는 헤드셋이 온 이어에 있음을 나타내도록 구성된다.
본 발명의 일부 실시예들에서, 프로브 신호는 단일 톤을 포함한다. 본 발명의 다른 실시예들에서, 프로브 신호는 가중화된 멀티 톤 신호를 포함한다. 본 발명의 일부 실시예들에서, 프로브 신호는 비가청 주파수 범위로 한정된다. 본 발명의 일부 실시예들에서, 프로브 신호는 통상적인 인간 청각 범위 미만의 임계 주파수보다 작은 주파수 범위로 한정된다. 본 발명의 일부 실시예들에서, 프로브 신호는 시간에 따라 변한다. 예를 들어, 프로브 신호는 프로브 신호의 주파수 범위에서 변경된 레벨의 주변 노이즈에 응답하여 변할 수 있다.
본 발명의 일부 실시예들은 상태 추정에 필요한 계산 부담을 감소시키기 위해 상태 추정 전에 마이크로폰 신호를 다운 컨버팅하도록 구성되는 다운 컨버터를 추가로 포함할 수 있다.
본 발명의 일부 실시예들에서, 칼만 필터는 상태 추정을 실시한다. 이러한 실시예들에서는, 프로브 신호 발생기에 의해 발생된 프로브 신호의 사본이 칼만 필터의 예측 모듈로 전달될 수 있다.
본 발명의 일부 실시예들에서, 헤드셋이 온 이어에 있을 제1 확률 및 헤드셋이 오프 이어(off ear)에 있을 제2 확률을 적어도 하나의 파라미터로부터 발생시키도록 구성되는 결정 디바이스 모듈을 포함하고, 프로세서는 제1 확률 및/또는 제2 확률을 사용하여 헤드셋이 온 이어에 있는지를 결정하도록 구성된다. 이러한 실시예들에서의 결정 디바이스 모듈은 제1 확률을 결정하기 위해 적어도 하나의 파라미터를 상위 임계값 레벨과 비교할 수 있다. 일부 실시예들에서, 상태 추정은 적어도 하나의 파라미터의 샘플 별 추정치들을 생성하고, 추정치들은 헤드셋이 온 이어에 있는지를 결정하기 위해 프레임 단위로 고려되고 - 각각의 프레임은 N개의 추정치를 포함함 -, 각각의 프레임에 대해, 제1 확률은 NON/N으로서 계산되며, 여기서 NON은 적어도 하나의 파라미터가 상위 임계값을 초과하는 해당 프레임 내의 샘플들의 수이다.
본 발명의 일부 실시예들에서, 결정 디바이스 모듈은 제2 확률을 결정하기 위해 적어도 하나의 파라미터를 하위 임계값 레벨과 비교할 수 있다. 일부 실시예들에서, 상태 추정은 적어도 하나의 파라미터의 샘플 별 추정치들을 생성하고, 추정치들은 헤드셋이 온 이어에 있는지를 결정하기 위해 프레임 단위로 고려되고 - 각각의 프레임은 N개의 추정치를 포함함 -, 각각의 프레임에 대해, 제2 확률은 NOFF/N으로서 계산되며, 여기서 NOFF는 적어도 하나의 파라미터가 하위 임계값보다 작은 해당 프레임 내의 샘플들의 수이다.
본 발명의 일부 실시예들에서, 결정 디바이스 모듈은 헤드셋이 온 이어에 있는지 또는 오프 이어에 있는지에 대한 불확실성을 반영하는 불확실성 확률을 적어도 하나의 파라미터로부터 발생시키도록 구성되고, 프로세서는 불확실성 확률을 사용하여 헤드셋이 온 이어에 있는지를 결정하도록 구성된다. 일부 실시예들에서, 상태 추정은 적어도 하나의 파라미터의 샘플 별 추정치들을 생성할 수 있고, 추정치들은 헤드셋이 온 이어에 있는지를 결정하기 위해 프레임 단위로 고려되고 - 각각의 프레임은 N개의 추정치를 포함함 -, 각각의 프레임에 대해, 불확실성 확률은 NUNC/N으로서 계산되며, 여기서 NUNC는 적어도 하나의 파라미터가 하위 임계값보다 크고 상위 임계값보다 작은 해당 프레임 내의 샘플들의 수이다. 일부 이러한 실시예들에서, 프로세서는, 불확실성 확률이 불확실성 임계값을 초과할 때, 헤드셋이 온 이어에 있는지에 대한 이전의 결정을 변경하지 않도록 구성될 수 있다.
본 발명의 일부 실시예들에서, 헤드셋이 온 이어에 있는지에 대한 결정의 변경들은 오프 이어로부터 온 이어로의 제1 결정 레이턴시로 이루어지고, 온 이어로부터 오프 이어로의 제2 결정 레이턴시로 이루어지고, 제1 결정 레이턴시는 결정을 온 이어 결정을 향해 편향시키도록 제2 결정 레이턴시보다 작다.
본 발명의 일부 실시예들에서는, 프로브 신호의 레벨이 다양한 헤드셋 폐색을 보상하기 위해 동적으로 변경될 수 있다. 이러한 실시예들은 외부 환경 사운드를 포착하는 헤드셋의 기준 마이크로폰으로부터 마이크로폰 신호를 수신하기 위한 입력부를 추가로 포함하고, 프로세서는 프로브 신호의 적어도 하나의 파라미터의 제2 추정치를 생성하기 위해 기준 마이크로폰 신호에 상태 추정을 적용하도록 추가로 구성되고, 프로세서는 주변 노이즈를 온 이어 폐색과 구별하기 위해 제2 추정치를 추정치와 비교하도록 추가로 구성된다.
본 발명의 일부 실시예들에서, 시스템은 이어 버드와 같은 헤드셋이다. 일부 실시예들에서는, 헤드셋이 착용될 때, 헤드셋과 사용자의 고막 사이의 공간 내에서 발생하는 사운드들을 감지하도록 헤드셋에 에러 마이크로폰이 장착된다. 일부 실시예들에서는, 헤드셋이 착용될 때, 헤드셋 외부에서 발생하는 사운드들을 감지하도록 헤드셋에 기준 마이크로폰이 장착된다. 본 발명의 일부 실시예들에서, 시스템은 스마트폰 또는 헤드셋과 상호 운용 가능한 다른 이러한 마스터 디바이스이다.
본 발명의 예는 이제 첨부 도면들을 참조하여 설명될 것이다.
도 1a 및 도 1b는 온 이어 검출이 구현되는 무선 이어 버드들 헤드셋을 포함하는 신호 프로세싱 시스템을 예시한다.
도 2는 제안된 온 이어 검출기를 장착한 ANC 헤드셋의 일반화된 개략도이다.
도 3은 본 발명의 상태 추적 온 이어 검출기를 예시하는 도 2의 ANC 헤드셋의 보다 상세한 블록도이다.
도 4는 도 2 및 도 3의 온 이어 검출기에 의해 구현되는 칼만 진폭 추적기(Kalman amplitude tracker)의 블록도이다.
도 5a 내지 도 5e는 온 이어 검출기 출력의 안정성을 향상시키기 위해 다수의 결정 임계값들 및 결정 확률들의 적용을 예시한다.
도 6은 프로빙 신호의 동적 제어를 구현하는 본 발명의 다른 실시예에 따른 온 이어 검출기의 블록도이다.
도 7은 도 6의 실시예에서 프로빙 신호의 동적 제어를 예시하는 흐름도이다.
대응하는 참조 부호들은 도면들 전반에 걸쳐 대응하는 컴포넌트들을 나타낸다.
도 1a 및 도 1b는 온 이어 검출이 구현되는 ANC 헤드셋(100)을 예시한다. 헤드셋(100)은 각각 2개의 마이크로폰(121, 122 및 151, 152)을 각각 포함하는 2개의 무선 이어 버드(120 및 150)를 포함한다. 도 1b는 이어 버드(120)의 시스템 개략도이다. 이어 버드(150)는 이어 버드(120)와 실질적으로 동일한 방식으로 구성되므로, 개별적으로 도시되거나 설명되지 않는다. 이어 버드(120)의 디지털 신호 프로세서(124)는 이어 버드 마이크로폰들(121 및 122)로부터 마이크로폰 신호들을 수신하도록 구성된다. 마이크로폰(121)은 기준 마이크로폰이며, 외이도 외부 및 이어 버드 외부로부터의 주변 노이즈를 감지하도록 위치 결정된다. 반대로, 마이크로폰(122)은 에러 마이크로폰이며, 사용 중에 스피커(128)의 출력을 포함하여 외이도 내의 음향 사운드를 감지하기 위해 외이도 내에 위치 결정된다. 이어 버드(120)가 외이도 내에 위치 결정될 때, 마이크로폰(122)은 외부 주변 음향 환경으로부터 어느 정도 폐색되지만, 스피커(128)의 출력에 양호하게 커플링된 상태로 유지되는 반면, 이러한 때에, 마이크로폰(121)은 스피커(128)의 출력으로부터 어느 정도 폐색되지만, 외부 주변 음향 환경에 양호하게 커플링된 상태로 유지된다. 헤드셋(100)은 사용자가 음악 또는 오디오를 듣고, 전화 통화들을 하고, 음성 커맨드들을 음성 인식 시스템 및 기타 이러한 오디오 프로세싱 기능들로 전달하도록 구성된다.
프로세서(124)는 하나 또는 양쪽 이어 버드들이 귀에 위치 결정되거나 또는 귀로부터 제거되는 것에 응답하여 이러한 오디오 프로세싱 기능들의 핸들링을 적응시키도록 추가로 구성된다. 이어 버드(120)는 실제로 단일 컴포넌트로서도 제공될 수 있고 또는 다수의 컴포넌트들로서도 제공될 수 있는 메모리(125)를 추가로 포함한다. 메모리(125)는 데이터 및 프로그램 명령어들을 저장하기 위해 제공된다. 이어 버드(120)는 이어 버드(120)가 이어 버드(150)를 포함하여 외부 디바이스들과 무선으로 통신할 수 있게 하도록 제공되는 트랜시버(126)를 추가로 포함한다. 이어 버드들 사이의 이러한 통신은 대안적인 실시예들에서 유선 통신을 포함할 수 있으며, 여기서 적절한 유선들은 오버헤드 대역 내와 같이 직접적으로 또는 스마트폰과 같은 중간 디바이스를 통해 헤드셋의 좌측과 우측 사이에 제공된다. 이어 버드(120)는 사용자의 외이도에 사운드를 전달하기 위한 스피커(128)를 추가로 포함한다. 이어 버드(120)는 배터리에 의해 전력을 공급받고, 다른 센서들(도시 생략)을 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 온 이어 검출에 대한 프로세스를 보다 상세하게 예시하는 ANC 헤드셋(100)의 일반화된 개략도이다. 이하에서, 좌측 기준 마이크로폰(121)은 또한 RL로 표시되고, 우측 기준 마이크로폰(151)은 또한 RR로 표시된다. 좌측 및 우측 기준 마이크로폰들은 각각 신호들 XRL 및 XRR을 발생시킨다. 좌측 에러 마이크로폰(122)은 또한 EL로 표시되고, 우측 에러 마이크로폰(152)은 또한 ER로 표시되며, 이들 2개의 에러 마이크로폰은 각각 신호들 XEL 및 XER을 발생시킨다. 좌측 이어 버드 스피커(128)는 또한 SL로 표시되고, 우측 이어 버드 스피커(158)는 또한 SR로 표시된다. 좌측 이어 버드 재생 오디오 신호는 UPBL로 표시되고, 우측 이어 버드 재생 오디오 신호는 UPBR로 표시된다.
본 발명의 본 실시예에 따르면, 이어 버드(120)의 프로세서(124)는 이어 버드(120)가 사용자의 귀 상에 또는 귀 내에 있는지를 음향적으로 검출하기 위해 온 이어 검출기(130) 또는 OEDL을 실행한다. 이어 버드(150)는 등가의 OEDR(160)을 실행한다. 본 실시예에서, 각각의 온 이어 검출기(130, 160)의 출력은 인에이블 또는 디스에이블 신호로서 각각의 음향 프로브 발생기 GENL, GENR로 전달된다. 음향 프로브 발생기는 인에이블될 때, 각각의 재생 오디오 신호와 합산되는 비가청 음향 프로브 신호 UIL, UIR를 생성한다. 각각의 온 이어 검출기(130, 160)의 출력은 또한 신호 DL, DR로서 결정 결합기(180)에 전달되어, 전체 온 이어 결정 DΣ를 생성한다.
이하에서, i는 L[좌측] 또는 R[우측]을 나타내는 데 사용되며, 본 발명의 다양한 실시예들에 따르면, 설명된 프로세스들은 하나의 헤드셋에서만, 두 헤드셋들에서 독립적으로, 또는 두 헤드셋들에서 상호 운용 가능하게 동작할 수 있다는 것이 이해될 것이다. 도 2에 도시된 바와 같이, 각각의 헤드폰에는 스피커 Si, 기준 마이크로폰 Ri 및 에러 마이크로폰 Ei가 장착되어 있다. 호스트 재생 디바이스로부터 신호 UPBi를 재생하기 위해, 제어 모듈로부터의 "인에이블" 플래그의 값: 1 - 프로브를 추가함 -; 0 - 프로브를 추가하지 않음 - 에 따라 비가청 프로브 신호 UIi가 추가될 수 있다. 비가청 프로브들 UIi는 대응하는 프로브 발생기들 GENi에 의해 발생된다. "인에이블" 플래그의 특정 값 0 또는 1은 디바이스의 동작 환경 조건들, 주변 노이즈 레벨, 재생의 존재, 헤드셋 설계 및 기타 이러한 팩터들과 같은 팩터들에 의존한다. 결과적인 신호는 반위상으로 특정량의 추정된 원치 않는 노이즈를 구성하는 신호를 추가하는 일반적인 ANC 기능을 제공하는 ANCi를 통과한다. 이를 위해, ANCi는 기준 마이크로폰 Ri 및 에러 마이크로폰 Ei로부터 입력들을 취한다. 그러면, ANCi의 출력은 사용자의 귀로 재생되도록 스피커 Si로 전달된다. 따라서, ANC는 마이크로폰들(121 및 122) 및 스피커(128)의 존재를 필요로 하고, 본 발명의 온 이어 검출 솔루션은 추가적인 마이크로폰들, 스피커들 또는 센서들을 필요로 하지 않는다. 스피커로부터의 출력은 제i 기준 마이크로폰에서 특정량의 보상되지 않은 노이즈를 포함하는 신호 XRi를 발생시키고, 마찬가지로, 제i 에러 마이크로폰에서 신호 XEi를 발생시킨다.
도 3은 본 발명의 일 실시예에 따른 온 이어 검출기를 포함하는 ANC 헤드셋(100)의 제i 헤드폰의 블록도이다. 각각의 헤드폰(120, 150)에는 스피커 Si, 기준 마이크로폰 Ri 및 에러 마이크로폰 Ei가 장착되어 있다. 호스트 재생 디바이스로부터의 재생 신호 Ui는 대응하는 프로브 발생기 GENi(320)에 의해 발생되는 비가청 프로브 신호 Vi와 합산된다. 재생 신호는 재생 컨텐츠 Ui와 프로브 Vi 사이의 스펙트럼 중첩을 방지하기 위해 고역-통과 필터 HPFi(310)에 의해 필터링될 수 있다. 합산으로부터의 결과적인 신호는 반위상으로 특정량의 추정된 원치 않는 노이즈를 추가하는 일반적인 ANC 기능을 제공하는 ANCi(330)로 전달된다. ANCi에 의해 생성된 신호 XSi는 신호를 음향적으로 재생하는 스피커 Si로 전달된다. 스피커 Si로부터의 출력은 기준 마이크로폰 Ri에서 특정량의 보상되지 않은 노이즈를 포함하는 신호 XRi를 발생시키고, 유사하게, 에러 마이크로폰 Ei에서 신호 XEi를 발생시킨다.
에러 마이크로폰 신호 XEi는 다운 컨버터
Figure pct00001
(340)에서 필요한 샘플링 레이트로 다운-컨버팅된 후, 상태 추적기(350)로 공급된다. 상태 추적기(350)는 다운 컨버팅된 에러 마이크로폰 신호
Figure pct00002
에 존재하는 프로브 신호의 선택된 파라미터 또는 파라미터들을 지속적으로 추정 또는 추적하기 위해 상태 추정을 수행한다. 예를 들어, 상태 추적기(350)는 다운 컨버팅된 에러 마이크로폰 신호
Figure pct00003
에 존재하는 프로브 신호의 진폭을 추적할 수 있다. 추정된 프로브 신호 파라미터(들)
Figure pct00004
는 결정 디바이스 DD(360)로 전달되고, 여기서 각각의 헤드폰이 온 이어에 있는지 여부에 대한 결정 Di가 생성된다. 좌측 및 우측 헤드폰 둘 다에서 이러한 방식으로 생성되는 개별 결정들 Di은 각각의 헤드셋이 온 이어에 있는지 또는 양쪽 헤드셋들이 온 이어에 있는지에 대한 전반적인 결정을 생성하기 위해 독립적으로 사용될 수도 있고, 또는 결합될 수도 있다(예를 들어, AND될 수도 있다).
프로브 신호는 본 실시예에서 공칭 인간 가청 임계값 미만에 위치되는 스펙트럼 컨텐츠 BIPS, 즉, BIPS≤20Hz를 갖는 것으로 제한됨으로써 본 실시예에서 비가청으로 된다. 다른 실시예들에서, 프로브 신호는 엄격하게 비가청 상태가 아니더라도 다소 더 높은 주파수 성분들을 점유할 수 있다.
중요하게는, 본 발명에 따르면, 프로브 신호는 재생 스피커로부터 마이크로폰으로의 프로브 신호의 음향 커플링을 추적하기 위해 상태 추정 또는 상태-공간 표현을 사용하여 추적될 수 있는 형태를 취해야 한다. 이것은 바람 노이즈와 같은 상당한 노이즈가 프로브 신호와 동일한 주파수에서 발생할 수 있기 때문에 중요하다. 그러나, 본 발명은 이러한 노이즈가 통상적으로 인코히어런트한 가변 위상을 가지므로, 공지된 코히어런트한 신호를 찾도록 조정되는 상태 공간 추정기를 손상시키거나 속이는 경향이 없을 것임을 인식한다. 이것은 프로브 신호에 의해 점유되는 대역의 전력을 단순히 모니터링하는 것과 대조적인데, 왜냐하면 이러한 전력 모니터링은 노이즈에 의해 손상될 수 있기 때문이다.
본 발명의 일 실시예에 따른 비가청 프로브 신호의 예는 다음과 같이 표현될 수 있으며,
[수학식 1]
Figure pct00005
[수학식 2]
Figure pct00006
여기서, N은 고조파 성분들의 수이고,
Figure pct00007
는 대응하는 성분의 가중치이고, An, f0n 및 fs는 각각 진폭, 기본 주파수 및 샘플링 주파수이다. 예를 들어, N=1이고 w1=1인 경우, 프로브 신호는 진폭 A 및 주파수 f0을 갖는 코사인파이다. 본 발명의 범위 내에서 다른 실시예들에서 사용하기 위해 많은 다른 적절한 프로브 신호들이 구상될 수 있다.
상태 추적기(350)에 의해 출력된 추정된 진폭들
Figure pct00008
(또는 그 합
Figure pct00009
)은 온 이어 검출 특징으로서 사용될 수 있다. 이것은 더 높은
Figure pct00010
값이 온 이어 상태에 대응하는 것으로 정의함으로써 실시될 수 있는데, 왜냐하면, 이 상태 동안, 외이도의 폐색 및 외이도 내의 스피커 출력의 제약으로 인해 더 많은 에너지의 프로브 신호가 에러 마이크로폰에 의해 포착되기 때문이다. 반대로, 더 낮은
Figure pct00011
값은 오프 이어 상태에 대응하는 것으로 정의될 수 있는데, 왜냐하면, 이 상태 동안, 스피커에 의해 출력된 더 많은 사운드 압력의 프로브 신호가 외이도의 제약 없이 자유 공간에서 빠져나가고, 이에 따라 더 적은 프로브 신호가 에러 마이크로폰에 의해 포착되기 때문이다.
이하에서는, 명확성을 위해 단일 컴포넌트 프로브가 논의되지만, 본 발명의 다른 실시예들은 본 발명의 범위 내에서 EQ1에 따라 가중화된 멀티 톤 프로브, 또는 상태-공간 모델에 의해 표현 가능한 임의의 다른 프로브를 동등하게 활용할 수 있다는 것이 이해될 것이다.
이제, 명확성을 위해 인덱스 i를 생략하고, 샘플들을 표시하기 위해 k를 도입하도록 한다. 주어진 제n 기본 주파수 f0에 대해, 프로브 Vk가 다음과 같이 재귀적으로 발생될 수 있다는 것에 유의하는 것이 중요하며,
[수학식 3]
Figure pct00012
여기서, V1,k는 시간 인스턴스 k에서의 동위상(in-phase)(코사인) 성분이고, V2,k는 시간 인스턴스 k에서의 직교(사인) 성분이고, V1,k -1은 시간 인스턴스 k-1에서의 동위상(코사인) 성분이고, V2,k -1은 시간 인스턴스 k-1에서의 직교(사인) 성분이고,
Figure pct00013
는 EQ2에 의해 정의된다.
발생된 프로브의 진폭은 초기 상태 벡터
Figure pct00014
Figure pct00015
에 의해 정의되고, 이하에 주어지는 바와 같이 계산될 수 있다.
[수학식 4]
Figure pct00016
매트릭스 형태에서, EQ3는 다음과 같이 쓰여질 수 있다.
[수학식 5]
Figure pct00017
Figure pct00018
EQ1의 각각의 제n 성분은 전용 재귀 발생기 매트릭스 Φn을 갖는다.
다른 타입들의 재귀 구적 발생기(recursive quadrature generator)들도 가능하다. EQ3에 의해 기술된 구적 발생기는 단지 예로서 주어진다.
본 실시예에서, HPF(310)는 재생 컨텐츠와 프로브 사이의 스펙트럼 중첩을 방지하기 위해 입력 오디오를 필터링한다. 예를 들어, 프로브가 주파수가 f0=20Hz인 코사인파(EQ1, N=1)인 경우, f0가 HPF 정지-대역 감쇠의 영향을 받지 않도록 HPF의 컷오프 주파수가 선택되어야 한다. 다시 말하자면, 본 발명의 범위 내의 대안적인 실시예들은 의도된 사용에 의해 허용되는 더 높은 컷오프 주파수를 활용할 수 있고, 그러한 필터링이 바람직하지 않을 수 있는 관심 있는 재생 신호의 저주파 성분들을 제거할 것임을 나타낼 수 있다.
프로브 발생기 GEN(320)은 비가청 프로브 신호를 발생시키며, 이것의 스펙트럼 컨텐츠는 공칭 인간 가청도 임계값 미만에 위치된다. 여기서 고려되는 한 가지 예는 프로브 신호가 EQ1(N=1, w1=1)에 의해 주어진 진폭 A 및 기본 주파수 f0의 코사인파라는 것이다.
비가청 프로브는 연속적인 정지 신호일 수 있고 또는 그것의 파라미터들이 시간에 따라 변할 수 있지만, 본 발명의 범위 내에서 적절한 신호를 유지한다. 프로브 신호의 특성들(예를 들어, 성분들의 수 N, 주파수 f0n, 진폭 An, 스펙트럼 형상 wn)은 미리 구성되는 시퀀스에 따라 또는 다른 센서들에 대한 신호들에 응답하여 변할 수 있다. 예를 들어, 프로브와 동일한 주파수들에서 다량의 주변 노이즈가 발생하는 경우, 프로브 신호는 이러한 주변 노이즈의 존재시에도 프로브 신호를 깨끗하게 관찰할 수 있도록 유지하기 위해 프로브 주파수 또는 프로브 신호 파라미터들 중 임의의 것(진폭, 주파수, 스펙트럼 형상 등)을 변경하도록 GEN(320)에 의해 조정될 수 있다.
프로브 발생기 GEN(320)은 하드웨어 톤/멀티-톤 발생기, 재귀 소프트웨어 발생기, 룩-업 테이블 및 임의의 다른 적절한 신호 발생 수단으로서 구현될 수 있다.
다운 컨버터
Figure pct00019
(340)으로 다시 돌아가면, 가장 높은 f0n 이상의 에러 마이크로폰 신호의 스펙트럼 컨텐츠는 온-이어 검출에 불필요하며, 프로브 신호에 의해 점유되는 저주파 대역만을 고려해야 한다는 점에 유의하도록 한다. 따라서, 본 실시예에서, 에러 마이크로폰 신호 샘플링 레이트 fs는 온 이어 검출에 의해 추가된 계산 부담을 감소시키고 또한 온 이어 검출기의 전력 소비를 추가로 감소시키기 위해 다운 컨버터
Figure pct00020
(340)에 의해 우선 다운 컨버팅된다. 다운 컨버터
Figure pct00021
(340)은 저역-통과 필터(LPF) 이후에 다운-샘플러로서 구현될 수 있다. 예를 들어, 온 이어 검출기의 샘플링 주파수는 LPF 컷오프 주파수 및 이에 따라 선택된 다운-샘플링 비율에 따라 값
Figure pct00022
으로 감소될 수 있다. 당연히, 프로브 발생기(320)의 샘플링 레이트들과 다운 컨버터
Figure pct00023
(340)의 출력은 동일해야 한다. f0n=20Hz의 경우,
Figure pct00024
를 사용하는 것이 권고된다.
도 4는 상태 추적기(350)를 보다 상세하게 예시한다. 본 실시예에서, 온 이어 상태 추적기(350)는 진폭 추정기/추적기로서 사용된 칼만 필터에 기초한다. 다시 말하자면, 재생 오디오 신호는 310에서 고역-통과 필터링된 후, 프로브 발생기(320)에 의해 발생된 프로브 신호 V1,K와 합산된다. 결과적인 오디오 신호가 스피커 S(128)를 통해 재생된다. 비가청 프로브가 재귀 발생기 Φ(EQ5)에 의해 발생될 필요가 없다는 것이 강조되어야 한다. 이것은 단지 본 발명에 의해 채택된 접근법의 상태-공간 특성을 강조하기 위해 그와 같이 도시되어 있다. 실제로, 프로브 V1,K는 하드웨어 톤/멀티-톤 발생기, 재귀 소프트웨어 발생기, 룩업 테이블 또는 다른 적절한 수단에 의해 발생될 수 있다.
스피커 S(128)에 의해 음향적으로 출력된 오디오 신호는 에러 마이크로폰 E(122)에 의해 포착되고, 다운 컨버터
Figure pct00025
(340)에 의해 제공되는 레이트 감소 후에, 신호
Figure pct00026
가 상태 추적기(350)에 입력된다. 칼만 필터-기반 상태 추적기(350)는 "예측" 모듈(410) 및 "업데이트" 모듈(420)을 포함한다. "예측" 단계 동안, 대응하는 서브-모듈(410)은 프로브 신호 V1,K를 국부적으로 재발생시킨다. 여기서, 또한, 비가청 프로브는 재귀 발생기 Φ(EQ5)에 의해 발생될 필요는 없지만, 본 발명에 의해 채택된 접근법의 상태-공간 특성을 강조하기 위해 그와 같이 도시되어 있다. 본 발명의 범위 내의 다른 실시예들에서, 프로브는 하드웨어 톤/멀티-톤 발생기, 재귀 소프트웨어 발생기, 룩업 테이블 및 기타에 의해 모듈(410)에서 발생될 수 있다.
"업데이트" 모듈(420)은 다운-컨버팅된 에러 마이크로폰 신호
Figure pct00027
, 및 모듈(410)에 의해 제공되는 비가청 프로브 신호 V1,K의 국지적 사본을 취하고, 이 둘의 볼록 조합(convex combination)을 구현한다.
[수학식 6]
Figure pct00028
여기서, G는 칼만 이득이다. 칼만 이득 G는 칼만 필터 이론을 사용하여 "온 더 플라이(on the fly)"로 계산될 수 있으므로, 이에 따라 추가로 논의되지 않는다. 대안적으로, 칼만 이득 계산들이 실시간 데이터에 의존하지 않는 경우, 이득 G는 실시간 계산 부하를 감소시키기 위해 미리-계산될 수 있다.
예측/업데이트 단계들이 완료된 후, 프로브 신호의 진폭은 진폭 추정기(AE(430))에 의해 EQ4에 따라 추정된다.
도 3으로 돌아가서, 프로브 신호의 추정된 진폭
Figure pct00029
은 결정 디바이스 DD(360)로 공급되며, 여기서 이것은 현재 샘플링 레이트로부터 필요한 검출 시간 해상도로 통합될 수 있고(일례에서의 적절한 시간 해상도 값은 200ms임), 이진 결정 D를 생성하기 위해 미리-정의된 임계값 TD와 비교된다. 보다 상세하게, 이 단계는 다음과 같이 실시된다.
[수학식 7]
Figure pct00030
결정 디바이스(360)에는 칼만 진폭 추적기(350)로부터의 순간(샘플 별) 프로브 진폭 추정이 입력되고, tD에 의해 정의되는 시간 해상도에서 이진 온 이어 결정들을 생성한다.
본 실시예에서 DD(360)에 의해 이루어진 간단한 임계값 결정은 일부 애플리케이션들에서는 충분할 수 있지만, 이것은 일부 경우들에서 헤드셋이 온 이어에 있는지에 대한 더 높은 레이트의 긍정 오류 또는 부정 오류 지시들을 리턴할 수도 있고, 또는 온 이어 결정과 오프 이어 결정 사이에서 교대로 과도하게 변동될 수도 있다.
따라서, 본 발명의 다음 실시예는 또한 온 이어 검출 출력의 견고성 및 안정성을 향상시키기 위해 결정 디바이스(360)에 대한 보다 정교한 접근법을 제공하기 위해 제시된다. 이 솔루션의 도출은 도 5a 내지 도 5e의 신호 플롯들에 예시되어 있다.
도 5a 내지 도 5e의 데이터를 생성한 테스트 시나리오는 공개된 바 환경에서 사용자 자신의 음성으로 재생 오디오 없이 몰드를 갖는 LiSheng 헤드셋을 포함하였다. 사용된 프로브 신호는 66dB SPL을 생성하는 20Hz 톤을 포함하였다. ANC는 꺼져 있었고, 바람 노이즈는 존재하지 않았다. 도 5a는 추정치들이 기초가 되는 다운 컨버팅된 에러 마이크 신호를 도시하고, 도 5b는 추정된 톤 진폭인 칼만 추적기(350)의 출력을 도시한다. 도 5a 및 도 5b의 육안 검사는 아마도 이어 버드가 약 샘플 4000에서 제거되었고, 그 후 약 샘플 7500에서 귀로 리턴되었지만, 알 수 있는 바와 같이, 이어 버드를 핸들링하는 사용자의 프로세스는, 특히, 샘플들 7,000 내지 8,500 정도의 기간에서 이들 전환들을 불명확하게 하고 즉각적이지 않게 한다는 것을 나타낸다.
도 5c는 추적기(350)에 의해 생성된 미가공 톤 진폭 추정치의 플롯이다. 특히, 헤드셋이 온 이어에 있는지 오프 이어에 있는지에 대한 결정 지점으로서 임의의 하나의 임계값을 사용하는 것은 어려운데, 왜냐하면 도 5c의 데이터를 평가하기 위해 단 하나의 결정 임계값만이 활용되는 경우, 많은 긍정 오류들 및/또는 부정 오류들이 반드시 발생할 것이기 때문이다. 도 5c에 도시된 바와 같이, 본 실시예의 칼만 추적기 및 결정 모듈은 대신 하나의 검출 임계값이 아니라 2개의 임계값, 즉, 상위 임계값 TUpper 및 하위 임계값 TLower를 부과한다. 그러면, 본 실시예에서의 미가공 톤 진폭 추정치 AEST는 ND-샘플 프레임들로 분할되고, Tupper 및 TLower와 비교된다. 임계값들 Tupper 및 TLower가 설정되는 값들은 스피커 및 마이크 하드웨어, 헤드셋 폼 팩터 및 착용시 폐색 정도, 및 프로브 신호가 재생되는 전력에 따라 변할 수 있으므로, "온 이어" 진폭 미만 및 "오프 이어" 진폭 초과의 적절한 이러한 임계값들의 선택은 구현 단계가 될 것임에 유의하도록 한다.
도 5d는 이러한 2-임계값 결정 디바이스의 적용을 예시한다. 헤드셋이 오프 이어에 있을 확률(POFF), 헤드셋이 온 이어에 있을 확률(PON) 및 불확실성 확률(PUNC)에 대한 계산들이 이루어진다. PUNC가 불확실성 임계값 Tunc보다 작은 경우, POFF를 신뢰도 임계값 TConfidence와 비교함으로써 온 이어 검출 결정이 업데이트된다. PUNC가 불확실성 임계값 Tunc를 초과하는 경우, 임의의 새로운 결정을 하기에는 불확실성이 너무 크기 때문에, 이전의 상태가 유지된다. 도 5a 내지 도 5d에서 명백한 약 7,500개의 샘플 내지 8,500개의 샘플의 기간 전반에 걸친 불확실성에도 불구하고, 본 실시예의 기술된 접근법은 도 5e에 도시된 바와 같이 깨끗한 온 이어 또는 오프 이어 결정을 출력한다. 본 실시예의 추가적인 정교화는 최종 결정을 오프 이어 결정에 대해 반대쪽으로 온 이어 결정을 향해 편향시키는 것인데, 왜냐하면 대부분의 DSP 기능들은 디바이스가 온 이어에 있을 때에는 즉각적으로 인에이블되어야 하지만, 디바이스가 오프 이어로 갈 때에는 더 느리게 디스에이블될 수 있기 때문이다. 이를 위해, 도 5d의 신뢰도 임계값은 0.5보다 크다. 또한, 상태 결정은 단지 오프 이어 상태가 행에서 적어도 최소 횟수만큼 나타나는 경우에만 온 이어로부터 오프 이어로 변경된다는 규칙이 적용된다.
따라서, 도 5의 실시예에서, tD는 다수의 데이터 지점들의 윈도우에 걸쳐서 순간(샘플 별) 결정들과 연관된 변동성을 감소시키기 위해 증가되어, 사용자가 심지어 샘플링 레이트에 접근하는 레이트에서도 헤드셋의 포지션을 가능하게 교대할 수 없다는 것을 나타낸다. 또한, 온 이어 또는 오프 이어 결정들의 신뢰도를 향상시키고, 신뢰도가 낮을 때, 온 이어 상태 결정 변경들을 디스에이블하는 데 유용한 중간에 있는 "확실하지 않은" 상태를 생성하기 위해 2개의 임계값이 고려된다는 것에 유의하도록 한다. 즉, 신뢰도가 도입되어, 신뢰도들이 그와 같이 하기에 충분한 경우에만 출력 상태 지시가 변경되고, 시간이 지남에 따라 반복적으로 출력 지시에 일부 히스테리시스를 도입하여, 도 5e에서 명백한 바와 같이 출력의 변동성을 감소시킨다.
도 5에 예시된 프로세스를 실시하기 위해 적용되는 알고리즘은 다음과 같다. 먼저, 수신 추정 톤 진폭들 AEST은 조건부로 ND개의 샘플의 프레임들로 각각 세분화되어, ND=tD*FS이고, 여기서 Fs는 다운 컨버팅 후 샘플링 주파수이다(예를 들어, 125Hz). 그 후, ND개의 진폭 추정치 각각은 다음과 같이 2개의 미리-정의된 임계값 Tupper 및 TLower와 비교되어, 3개의 확률: pON, pOFF 및 pUNC(각각, 헤드폰이 온 이어에 있을 확률, 헤드폰이 오프 이어에 있을 확률, 및 불확실 상태에 있을 확률)을 생성하여,
a. AEST<TLower인 경우, 오프-이어 카운터 NOFF 증가
b. AEST>Tupper인 경우, 온-이어 카운터 NON 증가
c. AEST>=TLower AND AEST<=Tupper이 경우, 불확실성 카운터 NUNC 증가
d. 모든 ND개의 샘플이 프로세싱된 후, 확률들을 추정: POFF=NOFF/ND; PON=NON/ND; PUNC=NUNC/ND.
확률들은 ND개의 샘플(또는 동등하게, tD초)마다 업데이트된다.
불확실성 확률이 PUNC<TUNC와 같이 낮은 경우(미리 정의된 임계값 TUNC보다 낮은 경우), 온 이어 결정은 다음과 같이 업데이트되며, 여기서 낮은 PUNC는 신뢰할 수 있는 추정치들을 나타낸다.
a. POFF>=TConf인 경우, DECISION=OFF-EAR("1"), 여기서 TConf는 미리-정의된 신뢰도 레벨임
b. POFF<TConf인 경우, DECISION=ON-EAR("0")
불확실성 확률이 PUNC>=TUNC와 같이 높은 경우(미리 정의된 임계값 TUNC보다 높은 경우), 이전 결정 간격 tD에서 이루어진 온 이어 결정이 유지된다. 높은 PUNC는 신뢰할 수 없는 추정치들을 나타낸다(느슨한 맞춤으로 인한 낮은 SNR 또는 높은 레벨들의 저주파 노이즈로 인해 발생할 수 있기 때문).
생성된 온 이어 결정은 불확실한 경우에 온 이어에 있는 것을 향해 추가로 편향된다. 이를 위해, 단 하나의“긍정적인”결정(DECISION==ON-EAR)만으로 오프-이어로부터 인-이어(in-ear) 상태로 스위칭하기에 충분하다. 이것은 이 경우의 결정 레이턴시가 정확하게 tD초임을 의미한다. 그러나, 온 이어 상태로부터 오프 이어 상태로 전환하기 위해서는 M개의 연속적인 "긍정적인" 결정(예를 들어, 4개)이 필요하다. 이것은 이 경우의 레이턴시가 적어도 M*tD초임을 의미한다. 따라서, DECISION==ON-EAR인 경우, 이것을 검출기의 출력으로 그대로 전달한다. DECISION==OFF-EAR인 경우, 대응하는 카운터 COFF가 증가한다. M개의 결정 간격 동안, DECISION이 OFF-EAR와 같지 않은 경우, COFF가 재설정된다. COFF==M인 경우에만, DECISION==OFF-EAR이 출력으로 전달된다.
본 발명의 임의의 실시예에 따른 온 이어 검출은 각각의 귀에 대해 독립적으로 수행될 수 있다. 그 후, 생성된 결정들은 (예를 들어, 좌측 및 우측 채널들에 대해 이루어진 AND 결정들에 의해) 전반적인 결정으로 결합될 수 있다.
전술한 실시예들은, 높은 프로브-대-노이즈 비가 에러 마이크 신호에 존재하는 이러한 경우들에서와 같이, 특히, 외이도 내부로부터 외부 환경으로의 상당한 폐색이 존재하는 경우에, 온 이어 검출의 태스크에서 양호하게 수행되는 것으로 나타났다.
다른 한편으로, 본 발명의 다음의 실시예는, 예를 들어, 불량한 헤드셋 설계, 상이한 사용자 해부학적 구조, 부적절한 위치 결정, 이어 버드에서의 부적절한 팁의 사용으로 인해 발생할 수 있는 바와 같이 폐색이 불량한 헤드셋 폼 팩터들에 특히 적절할 수 있다. 이하의 실시예는 높은 레벨들의 저주파 노이즈가 존재할 때 추가적으로 또는 대안적으로 적절할 수 있다. 이러한 시나리오들은 감소된 SNR을 효과적으로 반영한다(이 맥락에서는, 프로브-대-노이즈 비율을 지칭한다). SNR은 검출기에 의해 더 적은 프로브 신호가 수신된다는 의미에서는 "위로부터" 감소할 수 있고/있거나, 높은 양의 저주파 노이즈가 SNR을 저하시킬 때에는 "아래로부터" 감소할 수 있다. 이하의 실시예는 폐쇄 루프 제어 시스템 내에서 칼만 상태 추적기를 구현함으로써 이러한 시나리오들을 다룬다.
도 6은 불량한 폐색 및/또는 높은 노이즈에 응답하여, 특히, 프로브 신호의 크기의 동적 제어를 허용하는 온 이어 검출기의 다른 실시예의 블록도이다. 구체적으로, 도 6의 온 이어 검출기는 불량한 폐색의 영향들을 보상하기 위해 프로브 신호의 레벨이 동적으로 변경되는 폐쇄-루프 제어 시스템을 포함한다.
도 6에서, 스피커 S(628)는 에러 마이크로폰(622)에서 공칭 사운드 레벨을 유지하기 위해 공칭(큰) 레벨의 프로브 신호를 방출한다. 프로브 신호는 발생기(620)에 의해 생성되고, 프로브 신호와 동일한 주파수 대역을 점유하는 (비가청) 주파수 컨텐츠를 제거하기 위해 HPF(610)에 의해 고역-통과 필터링된 재생 오디오와 혼합된다. 혼합은 재생 오디오의 샘플링 레이트로 수행된다는 것에 유의하도록 한다. 오디오 재생 컨텐츠와 혼합된 프로브 신호는 스피커(628)에 의해 재생되고, 에러 마이크로폰 E(622)에 의해 포착되어, 다운 컨버터
Figure pct00031
모듈(640)에서 더 낮은 샘플링 레이트로 다운 샘플링된다. 이것은 재생 컨텐츠가 에러 마이크로폰 신호로부터 크게 제거되는 효과를 갖는다. 에러 마이크로폰에서 발생된 프로빙 신호의 레벨은 "칼만 E" 진폭 추적기(650)에 의해 추정되고 추적된다.
폐색, 즉, 에러 마이크로폰(622) 신호 레벨의 증가를 검출하면, 발생기(620)로부터의 프로브 신호의 레벨은 이득 G를 적용함으로써 동적으로 감소된다. 이득 G는 계산되고, 이득 보간 모듈(680)에서 보간되고, 에러 마이크로폰 E(622)에서 원하는 레벨을 유지하기 위해 스피커 S(628)에서 프로브 신호의 레벨을 제어하는 데 사용된다. G는 또한 이어폰이 온 이어에 있는지 오프 이어에 있는지에 대한 결정을 행하는 데 도움이 되는 메트릭으로서 결정 디바이스 DD(690)에 의해 사용된다. 이득 G가 낮아지는 경우(큰 음수), 온 이어 상태가 나타나고/나타나거나 출력된다.
본 실시예는 에러 마이크로폰(622) 신호만이 검출에 사용되는 경우에 긍정 오류(실제로는 헤드폰이 오프 이어에 있을 때, 결정 디바이스(690)가 헤드폰이 온 이어에 있다고 나타내는 경우)가 지나치게 종종 발생할 가능성이 있음을 추가로 인식한다. 이것은 에러 마이크로폰(622) 신호 레벨이 (온 이어 상태를 나타내지 않는) 대역-내 주변 노이즈로 인해 증가할 때, (온 이어 상태를 나타내는) 폐색과 동일한 검출기에 대한 효과를 가질 수 있어, 긍정 오류를 야기할 수 있기 때문이다. 따라서, 도 6의 실시예에서, 이 문제는 에러 마이크로폰(622) 신호 레벨의 증가가 폐색으로 인한 것인지 여부를 결정할 목적으로 기준 마이크로폰(624)을 사용함으로써 해결된다.
대역-내 주변 노이즈가 있을 때, 기준 마이크로폰 R(624)은 에러 마이크로폰 E(622)와 동일한(또는 일부 범위 Δ 내의) 노이즈 레벨 증가를 겪을 것이다. 따라서, 추가적인 칼만 상태 추적기인 칼만 R(652)이 기준 마이크로폰(624) 신호 레벨을 추적하기 위해 제공된다. 그런 다음, 대역-내 노이즈를 보상하고 이에 따라 신뢰할 수 있는 검출에 필요한 범위 내에서 SNR을 유지하기 위해 프로브 신호를 (최대 레벨까지) 증폭시키도록 이득 G가 증가될 수 있다. 이것은 에러 마이크로폰 E(622) 및 기준 마이크로폰 R(624) 모두에서 프로브 신호 레벨들을 동시에 추적함으로써 구현된다. 차례로, 결정 디바이스(690)는, 스피커에서 프로브에 적용되는 이득 G가
Figure pct00032
를 제공할 때, 헤드폰이 온 이어에 있다고 보고하며, 여기서 PERR은 에러 마이크로폰(622)에서의 추적된 프로브 레벨이고, PREF는 기준 마이크로폰(624)에서의 추적된 프로브 레벨이며, Δ는 미리 정의된 상수이다. 이 조건이 충족되지 않고 스피커(628)가 그 최대치에 도달하는 경우, 결정 디바이스(690)는 헤드폰이 오프 이어에 있다고 보고한다.
도 7은 도 6의 실시예를 추가로 예시하는 흐름도이다. 도 7의 OED는 오프-이어 상태에서 단계(700)에서 시작하고, 단계(710)에서 이득 G를 GMAX로 설정하고 단계(720)에서 결정 상태를 오프 이어로 설정함으로써 공칭 레벨의 프로빙 신호를 방사하는 것에 대응한다. 그 후, 프로세스는 단계(730)로 계속되며, 여기서 기준 마이크로폰 신호(플러스 상수 오프셋 Δ)와 에러 마이크로폰 신호 사이의 차이를 포함하는 "CONTROL" 신호가 위에서 설명된 바와 같이 이득 G를 조정하는 데 사용된다. 단계(740)에서, G는 GMAX와 비교된다. 단계(730)에 의해 출력된 조정된 이득이 최대 이득 GMAX보다 작은 경우, 단계(750)에서, 헤드셋이 온 이어에 있음을 나타내도록 결정이 업데이트된다. 그렇지 않으면, 단계(720)에서, 헤드셋이 오프 이어에 있음을 나타내도록 결정이 업데이트된다.
도 6과 유사한 다른 실시예에서, 스피커에서의 프로브 신호의 레벨은 검출 메트릭으로서 기능할 수 있다. 이것은 스피커에서의 프로브 신호의 레벨이 낮을수록, 헤드폰이 온 이어에 있을 가능성이 더 높다는 관찰을 이용한다. 이에 따라, 본 발명의 이러한 다른 실시예들은 이를 위해 스피커 S에서의 프로빙 신호의 레벨을 추적하기 위해 추가적인 칼만 필터인 "칼만 S"를 제공할 수 있다.
본 발명의 또 다른 실시예들은 헤드셋이 온 이어에 있는지 또는 오프 이어에 있는지에 대한 결정을 변경하는 데에 평균화된 또는 평활화된 히스테리시스를 제공할 수 있다. 이것은 DD(360)와 같은 실시예들과 같은 단일 임계값 실시예들에 또는 도 5에 도시된 실시예와 같은 다수의 임계값 실시예들에 적용될 수 있다. 특히, 이러한 추가적인 실시예들에서, 히스테리시스는, 예를 들어, 결정 디바이스가 헤드셋이 1초보다 길게 온 이어에 있다고 나타낸 후만이 오프 이어로부터 온 이어로 변경된 상태 지시임을 제공함으로써 실시될 수 있다. 마찬가지로, 결정 디바이스가 헤드셋이 3초보다 길게 오프 이어에 있다고 나타낸 후만이 온 이어로부터 오프 이어로 변경된 상태 지시이다. 1초 및 3초의 시간 기간들은 여기서 단지 예시적인 목적으로 제공되며, 대신 본 발명의 범주 내의 임의의 다른 적절한 값을 취할 수 있다.
헤드셋이 5분(또는 임의의 적절한 비교 가능한 시간 기간)보다 길게 오프 이어에 있고 나면, 바람직한 실시예들은 또한 OED(130)의 자동 턴오프를 제공한다. 이것은 헤드셋들이 규칙적으로 사용되고 규칙적으로 귀에서 이동될 때 OED가 유용한 역할을 제공할 수 있게 할 뿐만 아니라, 오랜 기간 동안 오프 이어에 있을 때, 헤드셋이 전력을 절약하게 할 수 있으며, 이 이후에, OED(130)는 디바이스가 재생을 위해 다음에 전력이 들어오거나 활성화될 때 재활성화될 수 있다.
본 발명의 실시예들은 마스터 디바이스와의 데이터 연결을 실시하고 그로부터의 전력 공급을 실시하는 USB 케이블 연결을 갖는 USB 헤드셋을 포함할 수 있다. 본 발명은, 음향 마이크로폰(들) 및 음향 스피커(들)만을 요구하는 온 이어 검출을 제공함에 있어서, USB 이어 버드들이 통상적으로 매우 소형의 컴포넌트들을 필요로 하고 매우 낮은 가격 지점을 가져, 용량성 센서들, 적외선 센서들 또는 광학 센서들과 같은 비-음향 센서들을 생략하는 데 동기를 부여할 수 있기 때문에 이러한 실시예들에서 특히 유리할 수 있다. 비-음향 센서들을 생략하는 다른 이점은 그렇지 않은 경우에 이러한 비-음향 센서들에 전용되어야 하는 케이블 연결에 추가적인 데이터 및/또는 전력 유선들을 제공해야 하는 요구 사항을 피한다는 것이다. 이에 따라, 비-음향 컴포넌트들을 필요로 하지 않는 온-이어 검출을 위한 방법의 제공은 이 경우에 특히 유용하다.
본 발명의 다른 실시예들은 마스터 디바이스와의 무선 데이터 연결을 갖고 배터리와 같은 온보드 전력 공급기를 갖는 블루투스 헤드셋과 같은 무선 헤드셋을 포함할 수 있다. 본 발명은 또한 제한된 배터리 공급이 비-음향 온 이어 센서 컴포넌트들에 의해 소비될 필요가 없도록, 이러한 실시예들에서 특별한 이점들을 제공할 수도 있다.
따라서, 본 발명은 음향 수단에 의해서만, 즉, 헤드셋의 현존하는 스피커/드라이버, 에러 마이크로폰(들) 및 기준 마이크로폰(들)을 사용함으로써 온 이어 검출을 해결하고자 한다.
헤드셋이 온 이어에 있는지에 대한 지식은 간단한 경우에 헤드셋의 하나 이상의 신호 프로세싱 기능을 디스에이블 또는 인에이블하는 데 사용될 수 있다. 이것은 전력을 절약할 수 있다. 이것은 헤드셋이 예상되는 포지션에 없을 때, 온 이어에 있든 오프 이어에 있든 간에, 디바이스 성능에 악영향을 미치는 신호 프로세싱 기능의 바람직하지 않은 시나리오를 피할 수 있다. 다른 실시예들에서, 헤드셋이 온 이어에 있는지에 대한 지식은 헤드셋의 하나 이상의 신호 프로세싱 또는 재생 기능의 동작을 수정하는 데 사용되어, 이러한 기능들이 헤드셋이 온 이어에 있는지에 대해 적응적으로 응답하게 할 수 있다.
본 기술분야의 통상의 기술자라면, 광범위하게 설명된 본 발명의 사상 또는 범주로부터 벗어나지 않고 특정 실시예들에 도시된 본 발명에 다수의 변형들 및/또는 수정들이 이루어질 수 있다는 것이 이해될 것이다.
예를 들어, 설명된 실시예들에서 상태 추적기는 진폭 추정기/추적기로서 사용된 칼만 필터에 기초하지만, 본 발명의 범위 내의 다른 실시예들은 대안적으로 또는 추가적으로 H∞(H 무한대) 필터, 비선형 칼만 필터, 무향 칼만 필터 또는 입자 필터와 같이 스피커로부터 마이크로폰으로의 프로브 신호의 음향 커플링을 추정하기 위한 다른 상태 추정을 위한 기술들을 사용할 수 있다.
따라서, 본 실시예들은 모든 점에서 예시적이고 비제한적인 것으로 간주되어야 한다.
따라서, 통상의 기술자는 전술한 장치들 및 방법들의 일부 양태들, 예를 들어, 프로세서에 의해 수행되는 계산들이, 예를 들어, 디스크, CD- 또는 DVD-ROM과 같은 비-휘발성 캐리어 매체, 판독 전용 메모리(펌웨어)와 같은 프로그래밍된 메모리, 또는 광학 또는 전기 신호 캐리어와 같은 데이터 캐리어 상에서 프로세서 제어 코드로서 구체화될 수 있다는 것을 인식할 것이다. 많은 응용들에 있어서, 본 발명의 실시예들은 DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit) 또는 FPGA(Field Programmable Gate Array) 상에서 구현될 것이다. 따라서, 코드는 종래의 프로그램 코드 또는 마이크로코드 또는, 예를 들어, ASIC 또는 FPGA를 셋업 또는 제어하기 위한 코드를 포함할 수 있다. 코드는 또한 재-프로그래밍 가능 로직 게이트 어레이들과 같은 재-구성 가능 장치를 동적으로 구성하기 위한 코드를 포함할 수 있다. 유사하게, 코드는 Verilog TM 또는 VHDL(Very high speed integrated circuit Hardware Description Language)과 같은 하드웨어 기술 언어에 대한 코드를 포함할 수 있다. 통상의 기술자라면 이해하는 바와 같이, 코드는 서로 통신하는 복수의 커플링된 컴포넌트들 사이에 분산될 수 있다. 적절한 경우, 실시예들은 아날로그 하드웨어를 구성하기 위해 필드-재프로그래밍 가능 아날로그 어레이 또는 유사한 디바이스에서 실행되는 코드를 사용하여 구현될 수도 있다.
본 발명의 실시예들은 오디오 프로세싱 회로, 예를 들어, 호스트 디바이스에 제공될 수 있는 오디오 회로의 일부로서 배열될 수 있다. 본 발명의 실시예에 따른 회로는 집적 회로로서 구현될 수 있다.
실시예들은 호스트 디바이스, 특히, 휴대 전화, 오디오 플레이어, 비디오 플레이어, PDA, 랩탑 컴퓨터 또는 태블릿과 같은 모바일 컴퓨팅 플랫폼 및/또는 게임 디바이스와 같은 휴대용 및/또는 배터리 전력 공급형 호스트 디바이스에서 구현될 수 있다. 본 발명의 실시예들은 또한 호스트 디바이스에 부착될 수 있는 액세서리들, 예를 들어, 능동 스피커들 또는 헤드셋들 등에 전체적으로 또는 부분적으로 구현될 수 있다. 실시예들은 원격 제어기 디바이스, 장난감, 로봇과 같은 머신, 홈 자동화 제어기 등과 같은 다른 형태들의 디바이스로 구현될 수 있다.
전술한 실시예들은 본 발명을 제한하기보다는 예시하는 것이며, 본 기술분야의 통상의 기술자는 첨부된 청구 범위의 범주를 벗어나지 않고 많은 대안적인 실시예들을 설계할 수 있다는 점에 유의해야 한다. 본 명세서에서 "a" 또는 "an"의 사용은 복수를 배제하지 않으며, 단일 특징 또는 다른 유닛이 청구 범위에 기재된 여러 유닛들의 기능들을 수행할 수 있다. 청구 범위의 임의의 참조 부호들은 해당 범위를 제한하도록 해석되지 않아야 한다.

Claims (56)

  1. 헤드셋에 대한 온 이어(on ear) 검출을 위한 신호 프로세싱 디바이스로서,
    스피커로부터 음향 재생을 위한 프로브 신호를 발생시키도록 구성되는 프로브 신호 발생기;
    마이크로폰으로부터 마이크로폰 신호를 수신하기 위한 입력부 - 상기 마이크로폰 신호는 상기 마이크로폰에서 수신된 상기 프로브 신호의 적어도 일부를 포함함 -; 및
    상기 마이크로폰 신호에 포함된 상기 프로브 신호의 일부의 적어도 하나의 파라미터의 추정치를 생성하기 위해 상기 마이크로폰 신호에 상태 추정을 적용하도록 구성되는 프로세서 - 상기 프로세서는 상기 헤드셋이 온 이어에 있는지를 결정하기 위해 상기 적어도 하나의 파라미터의 추정치를 프로세싱하도록 추가로 구성됨 -
    를 포함하는 디바이스.
  2. 제1항에 있어서, 상기 프로세서는 상기 추정된 파라미터를 임계값과 비교함으로써 상기 헤드셋이 온 이어에 있는지를 결정하기 위해 상기 적어도 하나의 파라미터의 추정치를 프로세싱하도록 구성되는 디바이스.
  3. 제1항 또는 제2항에 있어서, 상기 적어도 하나의 파라미터는 상기 프로브 신호의 진폭인 디바이스.
  4. 제3항에 있어서, 상기 진폭이 임계값을 초과할 때, 상기 프로세서는 상기 헤드셋이 온 이어에 있음을 나타내도록 구성되는 디바이스.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 프로브 신호는 단일 톤을 포함하는 디바이스.
  6. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 프로브 신호는 가중화된 멀티 톤 신호를 포함하는 디바이스.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 프로브 신호는 비가청 주파수 범위로 한정되는 디바이스.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 프로브 신호는 통상적인 인간 청각 범위 미만의 임계 주파수보다 작은 주파수 범위로 한정되는 디바이스.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 프로브 신호는 시간에 따라 변하는 디바이스.
  10. 제9항에 있어서, 상기 프로브 신호는 상기 프로브 신호의 주파수 범위에서 변경된 레벨의 주변 노이즈에 응답하여 변하는 디바이스.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 상태 추정에 필요한 계산 부담을 감소시키기 위해 상기 상태 추정 전에 상기 마이크로폰 신호를 다운 컨버팅하도록 구성되는 다운 컨버터를 추가로 포함하는 디바이스.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 프로세서는 상기 상태 추정을 실시하기 위해 칼만 필터를 구현하도록 구성되는 디바이스.
  13. 제11항에 있어서, 상기 프로브 신호 발생기에 의해 발생된 상기 프로브 신호의 사본이 상기 칼만 필터의 예측 모듈로 전달되는 디바이스.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서, 상기 헤드셋이 온 이어에 있을 제1 확률 및 상기 헤드셋이 오프 이어(off ear)에 있을 제2 확률을 상기 적어도 하나의 파라미터로부터 발생시키도록 구성되는 결정 디바이스 모듈을 포함하고, 상기 프로세서는 상기 제1 확률 및/또는 상기 제2 확률을 사용하여 상기 헤드셋이 온 이어에 있는지를 결정하도록 구성되는 디바이스.
  15. 제14항에 있어서, 상기 결정 디바이스 모듈은 상기 제1 확률을 결정하기 위해 상기 적어도 하나의 파라미터를 상위 임계값 레벨과 비교하는 디바이스.
  16. 제15항에 있어서, 상기 상태 추정은 상기 적어도 하나의 파라미터의 샘플 별 추정치들(sample-by-sample estimates)을 생성하고, 상기 추정치들은 상기 헤드셋이 온 이어에 있는지를 결정하기 위해 프레임 단위로 고려되고 - 각각의 프레임은 N개의 추정치를 포함함 -, 각각의 프레임에 대해, 상기 제1 확률은 NON/N으로서 계산되며, NON은 상기 적어도 하나의 파라미터가 상기 상위 임계값을 초과하는 해당 프레임 내의 샘플들의 수인 디바이스.
  17. 제14항 내지 제16항 중 어느 한 항에 있어서, 상기 결정 디바이스 모듈은 상기 제2 확률을 결정하기 위해 상기 적어도 하나의 파라미터를 하위 임계값 레벨과 비교하는 디바이스.
  18. 제17항에 있어서, 상기 상태 추정은 상기 적어도 하나의 파라미터의 샘플 별 추정치들을 생성하고, 상기 추정치들은 상기 헤드셋이 온 이어에 있는지를 결정하기 위해 프레임 단위로 고려되고 - 각각의 프레임은 N개의 추정치를 포함함 -, 각각의 프레임에 대해, 상기 제2 확률은 NOFF/N으로서 계산되며, NOFF는 상기 적어도 하나의 파라미터가 상기 하위 임계값보다 작은 해당 프레임 내의 샘플들의 수인 디바이스.
  19. 제14항 내지 제18항 중 어느 한 항에 있어서, 상기 결정 디바이스 모듈은 상기 헤드셋이 온 이어에 있는지 또는 오프 이어에 있는지에 대한 불확실성을 반영하는 불확실성 확률을 상기 적어도 하나의 파라미터로부터 발생시키도록 구성되고, 상기 프로세서는 상기 불확실성 확률을 사용하여 상기 헤드셋이 온 이어에 있는지를 결정하도록 구성되는 디바이스.
  20. 제19항에 있어서, 상기 상태 추정은 상기 적어도 하나의 파라미터의 샘플 별 추정치들을 생성하고, 상기 추정치들은 상기 헤드셋이 온 이어에 있는지를 결정하기 위해 프레임 단위로 고려되고 - 각각의 프레임은 N개의 추정치를 포함함 -, 각각의 프레임에 대해, 상기 불확실성 확률은 NUNC/N으로서 계산되며, NUNC는 상기 적어도 하나의 파라미터가 상기 하위 임계값보다 크고 상기 상위 임계값보다 작은 해당 프레임 내의 샘플들의 수인 디바이스.
  21. 제19항 또는 제20항에 있어서, 상기 프로세서는, 상기 불확실성 확률이 불확실성 임계값을 초과할 때, 상기 헤드셋이 온 이어에 있는지에 대한 이전의 결정을 변경하지 않도록 구성되는 디바이스.
  22. 제1항 내지 제21항 중 어느 한 항에 있어서, 상기 헤드셋이 온 이어에 있는지에 대한 결정의 변경들은 오프 이어로부터 온 이어로의 제1 결정 레이턴시로 이루어지고, 온 이어로부터 오프 이어로의 제2 결정 레이턴시로 이루어지고, 상기 제1 결정 레이턴시는 상기 결정을 온 이어 결정을 향해 편향시키도록 상기 제2 결정 레이턴시보다 작은 디바이스.
  23. 제1항 내지 제22항 중 어느 한 항에 있어서, 상기 프로세서는 다양한 헤드셋 폐색을 보상하기 위해 상기 프로브 신호의 레벨이 동적으로 변경되게 하도록 구성되는 디바이스.
  24. 제23항에 있어서, 외부 환경 사운드를 포착하는 헤드셋의 기준 마이크로폰으로부터 마이크로폰 신호를 수신하기 위한 입력부를 추가로 포함하고, 상기 프로세서는 상기 프로브 신호의 적어도 하나의 파라미터의 제2 추정치를 생성하기 위해 상기 기준 마이크로폰 신호에 상태 추정을 적용하도록 추가로 구성되고, 상기 프로세서는 주변 노이즈를 온 이어 폐색과 구별하기 위해 상기 제2 추정치를 상기 추정치와 비교하도록 추가로 구성되는 디바이스.
  25. 헤드셋에 대한 온 이어 검출을 위한 방법으로서,
    스피커로부터 음향 재생을 위한 프로브 신호를 발생시키는 단계;
    마이크로폰으로부터 마이크로폰 신호를 수신하는 단계 - 상기 마이크로폰 신호는 상기 마이크로폰에서 수신된 상기 프로브 신호의 적어도 일부를 포함함 -;
    상기 마이크로폰 신호에 포함된 상기 프로브 신호의 일부의 적어도 하나의 파라미터의 추정치를 생성하기 위해 상기 마이크로폰 신호에 상태 추정을 적용하는 단계; 및
    상기 적어도 하나의 파라미터의 추정치로부터 상기 헤드셋이 온 이어에 있는지를 결정하는 단계
    를 포함하는 방법.
  26. 제25항에 있어서, 상기 헤드셋이 온 이어에 있는지를 결정하는 단계는 상기 추정된 파라미터를 임계값과 비교하는 단계를 포함하는 방법.
  27. 제25항 또는 제26항에 있어서, 상기 적어도 하나의 파라미터는 상기 프로브 신호의 진폭인 방법.
  28. 제27항에 있어서, 상기 진폭이 임계값을 초과할 때, 상기 헤드셋이 온 이어에 있음을 나타내는 단계를 포함하는 방법.
  29. 제25항 내지 제28항 중 어느 한 항에 있어서, 상기 프로브 신호는 단일 톤을 포함하는 방법.
  30. 제25항 내지 제28항 중 어느 한 항에 있어서, 상기 프로브 신호는 가중화된 멀티 톤 신호를 포함하는 방법.
  31. 제25항 내지 제30항 중 어느 한 항에 있어서, 상기 프로브 신호는 비가청 주파수 범위로 한정되는 방법.
  32. 제25항 내지 제31항 중 어느 한 항에 있어서, 상기 프로브 신호는 통상적인 인간 청각 범위 미만의 임계 주파수보다 작은 주파수 범위로 한정되는 방법.
  33. 제25항 내지 제32항 중 어느 한 항에 있어서, 상기 프로브 신호는 시간에 따라 변하는 방법.
  34. 제33항에 있어서, 상기 프로브 신호는 상기 프로브 신호의 주파수 범위에서 변경된 레벨의 주변 노이즈에 응답하여 변하는 방법.
  35. 제25항 내지 제34항 중 어느 한 항에 있어서, 상기 상태 추정에 필요한 계산 부담을 감소시키기 위해 상기 상태 추정 전에 상기 마이크로폰 신호를 다운 컨버팅하는 단계를 추가로 포함하는 방법.
  36. 제25항 내지 제35항 중 어느 한 항에 있어서, 상기 상태 추정을 적용하는 단계는 칼만 필터에 의해 실시되는 방법.
  37. 제35항에 있어서, 상기 프로브 신호의 사본이 상기 칼만 필터의 예측 모듈로 전달되는 방법.
  38. 제25항 내지 제37항 중 어느 한 항에 있어서, 상기 헤드셋이 온 이어에 있을 제1 확률 및 상기 헤드셋이 오프 이어에 있을 제2 확률을 상기 적어도 하나의 파라미터로부터 발생시키는 단계, 및 상기 제1 확률 및/또는 상기 제2 확률을 사용하여 상기 헤드셋이 온 이어에 있는지를 결정하는 단계를 포함하는 방법.
  39. 제38항에 있어서, 상기 제1 확률을 결정하기 위해 상기 적어도 하나의 파라미터를 상위 임계값 레벨과 비교하는 단계를 포함하는 방법.
  40. 제39항에 있어서, 상기 적어도 하나의 파라미터의 샘플 별 추정치들이 생성되고, 상기 추정치들은 상기 헤드셋이 온 이어에 있는지를 결정하기 위해 프레임 단위로 고려되고 - 각각의 프레임은 N개의 추정치를 포함함 -, 각각의 프레임에 대해, 상기 제1 확률은 NON/N으로서 계산되며, NON은 상기 적어도 하나의 파라미터가 상기 상위 임계값을 초과하는 해당 프레임 내의 샘플들의 수인 방법.
  41. 제38항 내지 제40항 중 어느 한 항에 있어서, 상기 제2 확률을 결정하기 위해 상기 적어도 하나의 파라미터를 하위 임계값 레벨과 비교하는 단계를 추가로 포함하는 방법.
  42. 제41항에 있어서, 상기 적어도 하나의 파라미터의 샘플 별 추정치들이 생성되고, 상기 추정치들은 상기 헤드셋이 온 이어에 있는지를 결정하기 위해 프레임 단위로 고려되고 - 각각의 프레임은 N개의 추정치를 포함함 -, 각각의 프레임에 대해, 상기 제2 확률은 NOFF/N으로서 계산되며, NOFF는 상기 적어도 하나의 파라미터가 상기 하위 임계값보다 작은 해당 프레임 내의 샘플들의 수인 방법.
  43. 제38항 내지 제42항 중 어느 한 항에 있어서, 상기 헤드셋이 온 이어에 있는지 또는 오프 이어에 있는지에 대한 불확실성을 반영하는 불확실성 확률을 상기 적어도 하나의 파라미터로부터 발생시키는 단계, 및 상기 불확실성 확률을 사용하여 상기 헤드셋이 온 이어에 있는지를 결정하는 단계를 추가로 포함하는 방법.
  44. 제43항에 있어서, 상기 상태 추정은 상기 적어도 하나의 파라미터의 샘플 별 추정치들을 생성하고, 상기 추정치들은 상기 헤드셋이 온 이어에 있는지를 결정하기 위해 프레임 단위로 고려되고 - 각각의 프레임은 N개의 추정치를 포함함 -, 각각의 프레임에 대해, 상기 불확실성 확률은 NUNC/N으로서 계산되며, NUNC는 상기 적어도 하나의 파라미터가 상기 하위 임계값보다 크고 상기 상위 임계값보다 작은 해당 프레임 내의 샘플들의 수인 방법.
  45. 제43항 또는 제44항에 있어서, 상기 불확실성 확률이 불확실성 임계값을 초과할 때, 상기 헤드셋이 온 이어에 있는지에 대한 이전의 결정에 변경이 이루어지지 않는 방법.
  46. 제25항 내지 제45항 중 어느 한 항에 있어서, 상기 헤드셋이 온 이어에 있는지에 대한 결정의 변경들은 오프 이어로부터 온 이어로의 제1 결정 레이턴시로 이루어지고, 온 이어로부터 오프 이어로의 제2 결정 레이턴시로 이루어지고, 상기 제1 결정 레이턴시는 상기 결정을 온 이어 결정을 향해 편향시키도록 상기 제2 결정 레이턴시보다 작은 방법.
  47. 제25항 내지 제46항 중 어느 한 항에 있어서, 다양한 헤드셋 폐색을 보상하기 위해 상기 프로브 신호의 레벨이 동적으로 변경되는 방법.
  48. 제47항에 있어서, 외부 환경 사운드를 포착하는 기준 마이크로폰으로부터 마이크로폰 신호를 수신하는 단계를 추가로 포함하고, 상기 프로브 신호의 적어도 하나의 파라미터의 제2 추정치를 생성하기 위해 상기 기준 마이크로폰 신호에 상태 추정을 적용하는 단계, 및 주변 노이즈를 온 이어 폐색과 구별하기 위해 상기 제2 추정치를 상기 추정치와 비교하는 단계를 추가로 포함하는 방법.
  49. 헤드셋에 대한 온 이어 검출을 위한 비-일시적 컴퓨터 판독 가능 매체로서,
    상기 비-일시적 컴퓨터 판독 가능 매체는 명령어들을 포함하고, 상기 명령어들은, 하나 이상의 프로세서에 의해 실행될 때,
    스피커로부터 음향 재생을 위한 프로브 신호를 발생시키는 단계;
    마이크로폰으로부터 마이크로폰 신호를 수신하는 단계 - 상기 마이크로폰 신호는 상기 마이크로폰에서 수신된 상기 프로브 신호의 적어도 일부를 포함함 -;
    상기 마이크로폰 신호에 포함된 상기 프로브 신호의 일부의 적어도 하나의 파라미터의 추정치를 생성하기 위해 상기 마이크로폰 신호에 상태 추정을 적용하는 단계; 및
    상기 적어도 하나의 파라미터의 추정치로부터 상기 헤드셋이 온 이어에 있는지를 결정하는 단계
    의 성능을 야기하게 하는 비-일시적 컴퓨터 판독 가능 매체.
  50. 제49항에 있어서, 제26항 내지 제48항 중 어느 한 항의 방법을 수행하도록 추가로 구성되는 비-일시적 컴퓨터 판독 가능 매체.
  51. 헤드셋에 대한 온 이어 검출을 위한 시스템으로서,
    프로세서 및 메모리
    를 포함하고,
    상기 메모리는 상기 프로세서에 의해 실행 가능한 명령어들을 포함하고,
    상기 시스템은,
    스피커로부터 음향 재생을 위한 프로브 신호를 발생시키고,
    마이크로폰으로부터 마이크로폰 신호를 수신하고 - 상기 마이크로폰 신호는 상기 마이크로폰에서 수신된 상기 프로브 신호의 적어도 일부를 포함함 -,
    상기 마이크로폰 신호에 포함된 상기 프로브 신호의 일부의 적어도 하나의 파라미터의 추정치를 생성하기 위해 상기 마이크로폰 신호에 상태 추정을 적용하고,
    상기 적어도 하나의 파라미터의 추정치로부터 상기 헤드셋이 온 이어에 있는지를 결정하도록
    동작하는 시스템.
  52. 제51항에 있어서, 상기 시스템은 헤드셋인 시스템.
  53. 제52항에 있어서, 상기 헤드셋은 이어 버드(earbud)인 시스템.
  54. 제51항에 있어서, 상기 시스템은 스마트폰인 시스템.
  55. 제52항 또는 제53항에 있어서, 상기 헤드셋이 착용될 때, 상기 헤드셋과 사용자의 고막 사이의 공간 내에서 발생하는 사운드들을 감지하도록 상기 헤드셋에 에러 마이크로폰이 장착되는 시스템.
  56. 제52항, 제53항 및 제55항 중 어느 한 항에 있어서, 상기 헤드셋이 착용될 때, 상기 헤드셋 외부에서 발생하는 사운드들을 감지하도록 상기 헤드셋에 기준 마이크로폰이 장착되는 시스템.
KR1020207012998A 2017-10-10 2018-06-29 헤드셋 온 이어 상태 검출 KR102470977B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762570374P 2017-10-10 2017-10-10
US62/570,374 2017-10-10
PCT/GB2018/051836 WO2019073191A1 (en) 2017-10-10 2018-06-29 DETECTION OF THE GOOD PLACEMENT OF A HELMET ON THE EARS

Publications (2)

Publication Number Publication Date
KR20200070290A true KR20200070290A (ko) 2020-06-17
KR102470977B1 KR102470977B1 (ko) 2022-11-25

Family

ID=62873496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207012998A KR102470977B1 (ko) 2017-10-10 2018-06-29 헤드셋 온 이어 상태 검출

Country Status (5)

Country Link
US (2) US10812889B2 (ko)
KR (1) KR102470977B1 (ko)
CN (2) CN111149369B (ko)
GB (2) GB2581596B (ko)
WO (1) WO2019073191A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022055319A1 (en) * 2020-09-11 2022-03-17 Samsung Electronics Co., Ltd. Electronic device for outputting sound and method for operating the same

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10856064B2 (en) * 2018-04-27 2020-12-01 Avnera Corporation Operation of a personal audio device during insertion detection
US11032631B2 (en) * 2018-07-09 2021-06-08 Avnera Corpor Ation Headphone off-ear detection
EP3900630A4 (en) * 2018-12-19 2021-12-22 NEC Corporation INFORMATION PROCESSING DEVICE, WEARABLE DEVICE, INFORMATION PROCESSING METHODS AND STORAGE MEDIUM
KR102607566B1 (ko) * 2019-04-01 2023-11-30 삼성전자주식회사 음향 장치의 착용 감지 방법 및 이를 지원하는 음향 장치
CN112653956B (zh) * 2019-10-11 2023-07-14 Oppo广东移动通信有限公司 耳机盒、耳机装置、移动终端及无线耳机的充电方法
US11064282B1 (en) * 2020-04-24 2021-07-13 Bose Corporation Wearable audio system use position detection
US11647352B2 (en) * 2020-06-20 2023-05-09 Apple Inc. Head to headset rotation transform estimation for head pose tracking in spatial audio applications
US11122350B1 (en) * 2020-08-18 2021-09-14 Cirrus Logic, Inc. Method and apparatus for on ear detect
CN113179475B (zh) * 2021-04-02 2022-03-25 歌尔股份有限公司 耳机佩戴状态的检测方法、装置、耳机及介质
CN115412824A (zh) * 2021-05-27 2022-11-29 Oppo广东移动通信有限公司 检测方法、装置、耳机和计算机可读存储介质
USD991904S1 (en) * 2021-06-08 2023-07-11 Bang & Olufsen A/S Headphones
TWI773382B (zh) * 2021-06-15 2022-08-01 台灣立訊精密有限公司 耳機及耳機狀態檢測方法
CN113453112A (zh) * 2021-06-15 2021-09-28 台湾立讯精密有限公司 耳机及耳机状态检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014033303A (ja) * 2012-08-02 2014-02-20 Sony Corp ヘッドホン装置、装着状態検出装置、装着状態検出方法
US20170013345A1 (en) * 2015-07-10 2017-01-12 Avnera Corporation Off-ear and on-ear headphone detection

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7406179B2 (en) * 2003-04-01 2008-07-29 Sound Design Technologies, Ltd. System and method for detecting the insertion or removal of a hearing instrument from the ear canal
WO2008061260A2 (en) * 2006-11-18 2008-05-22 Personics Holdings Inc. Method and device for personalized hearing
EP2206358B1 (en) * 2007-09-24 2014-07-30 Sound Innovations, LLC In-ear digital electronic noise cancelling and communication device
US8385559B2 (en) * 2009-12-30 2013-02-26 Robert Bosch Gmbh Adaptive digital noise canceller
US9264823B2 (en) * 2012-09-28 2016-02-16 Apple Inc. Audio headset with automatic equalization
CN103002373B (zh) * 2012-11-19 2015-05-27 青岛歌尔声学科技有限公司 一种耳机和一种检测耳机佩戴状态的方法
US20150124977A1 (en) * 2013-11-07 2015-05-07 Qualcomm Incorporated Headset in-use detector
KR102577901B1 (ko) * 2015-11-18 2023-09-14 가우디오랩 주식회사 오디오 신호 처리 장치 및 방법
EP3188507A1 (en) * 2015-12-30 2017-07-05 GN Resound A/S A head-wearable hearing device
JP7066705B2 (ja) * 2016-10-24 2022-05-13 アバネラ コーポレイション ヘッドフォンオフイヤー検知
US9894452B1 (en) * 2017-02-24 2018-02-13 Bose Corporation Off-head detection of in-ear headset

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014033303A (ja) * 2012-08-02 2014-02-20 Sony Corp ヘッドホン装置、装着状態検出装置、装着状態検出方法
US20170013345A1 (en) * 2015-07-10 2017-01-12 Avnera Corporation Off-ear and on-ear headphone detection

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022055319A1 (en) * 2020-09-11 2022-03-17 Samsung Electronics Co., Ltd. Electronic device for outputting sound and method for operating the same
US11849289B2 (en) 2020-09-11 2023-12-19 Samsung Electronics Co., Ltd. Electronic device for outputting sound and method for operating the same

Also Published As

Publication number Publication date
US10812889B2 (en) 2020-10-20
US20190110121A1 (en) 2019-04-11
GB202114555D0 (en) 2021-11-24
CN111149369B (zh) 2022-05-31
GB2581596B (en) 2021-12-01
GB2581596A (en) 2020-08-26
GB2596953B (en) 2022-09-07
US20200389717A1 (en) 2020-12-10
US11451898B2 (en) 2022-09-20
KR102470977B1 (ko) 2022-11-25
CN111149369A (zh) 2020-05-12
WO2019073191A1 (en) 2019-04-18
GB2596953A (en) 2022-01-12
GB202004483D0 (en) 2020-05-13
CN114466301A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
KR102470977B1 (ko) 헤드셋 온 이어 상태 검출
CN110326305B (zh) 入耳式耳机的离头检测
US10951972B2 (en) Dynamic on ear headset detection
US11614916B2 (en) User voice activity detection
US10848887B2 (en) Blocked microphone detection
KR102196012B1 (ko) 트랜스듀서 상태의 검출에 기초하여 오디오 트랜스듀서의 성능을 향상시키는 방법들 및 시스템들
KR102578147B1 (ko) 통신 어셈블리에서의 사용자 음성 액티비티 검출을 위한 방법, 그것의 통신 어셈블리
US11638094B2 (en) Techniques for howling detection
US11785382B2 (en) Gain-adaptive active noise reduction (ANR) device
EP3809601B1 (en) Echo suppression device, echo suppression method, and echo suppression program
CN113994423A (zh) 用于耳戴式播放设备的语音活动检测的音频系统和信号处理方法
CN118055350A (zh) 耳机自适应主动降噪的方法、装置、存储介质和耳机

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant