KR20230065298A - 이어폰 및 사용자 귀에 이어폰이 삽입되는지의 여부를 검출하는 방법 - Google Patents

이어폰 및 사용자 귀에 이어폰이 삽입되는지의 여부를 검출하는 방법 Download PDF

Info

Publication number
KR20230065298A
KR20230065298A KR1020237011675A KR20237011675A KR20230065298A KR 20230065298 A KR20230065298 A KR 20230065298A KR 1020237011675 A KR1020237011675 A KR 1020237011675A KR 20237011675 A KR20237011675 A KR 20237011675A KR 20230065298 A KR20230065298 A KR 20230065298A
Authority
KR
South Korea
Prior art keywords
earphone
signal
acceleration
movement
ear
Prior art date
Application number
KR1020237011675A
Other languages
English (en)
Inventor
루이 장
유어겐 굿
세르게이 샤이어만
Original Assignee
로베르트 보쉬 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로베르트 보쉬 게엠베하 filed Critical 로베르트 보쉬 게엠베하
Publication of KR20230065298A publication Critical patent/KR20230065298A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K17/00—Electronic switching or gating, i.e. not by contact-making and –breaking
    • H03K17/94—Electronic switching or gating, i.e. not by contact-making and –breaking characterised by the way in which the control signals are generated
    • H03K17/96—Touch switches
    • H03K17/9627—Optical touch switches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Telephone Function (AREA)
  • Headphones And Earphones (AREA)

Abstract

본 발명은 근접 센서, 가속도 센서 및 신호 분석 장치를 포함하는 이어폰에 관한 것이다. 근접 센서는 근접 센서 신호를 생성하도록 구성된다. 이를 위해, 가속도 센서는 가속도 센서 신호를 생성하도록 구성된다. 이를 위해, 신호 분석 장치는 근접 센서 신호를 이용하여 객체를 향해 접근하는 이어폰의 움직임을 검출하도록 구성된다. 또한, 신호 분석 장치는 접근하는 움직임이 사용자의 귀를 향한 이어폰의 움직임인지의 여부를 결정하고, 여기서 근접 센서 신호의 시간 프로파일의 변동이 분석되어 고려된다. 신호 분석 장치는 가속도 센서 신호의 필터링을 통해 고역통과 필터링된(high-pass filtered) 가속도 신호 및 저역통과 필터링된(low-pass filtered) 가속도 신호를 생성한다. 또한, 신호 분석 장치는 저역통과 필터링된 가속도 신호를 이용하여 가속도의 안정화를 토대로 접근 움직임의 종료 시점을 결정한다. 신호 분석 장치는, 상기 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화를 기반으로, 상기 접근 움직임이 사용자의 귀를 향한 이어폰의 움직임인지를 확인한다.

Description

이어폰 및 사용자 귀에 이어폰이 삽입되는지의 여부를 검출하는 방법
본 발명은 이어폰; 및 사용자 귀에 이어폰이 삽입되는지의 여부를 검출하는 방법;에 관한 것이다.
사용자 경험을 개선하기 위해, 히어러블 기기(Hearables), 즉, 부가 기능을 갖춘 이어폰에 점점 더 많은 센서가 장착된다. 중요한 기능 중 하나는 이어폰 착용 여부를 검출하는 것이다. 이는 예를 들어, 에너지를 절약하기 위해, 또는 더 나은 음악 경험을 제공하도록 모노/스테레오 조정을 수행하기 위해, 이어폰의 특정 구성 요소를 켜거나 끄는 데 유리하다.
WO 1 903 9894 A1, US 2017/244821 A, US 2016/198251 A, US 2015/382098 A, US 2015/281826 A, US 10 306 350 B 및 CN 110012376 A호로부터 공지된 바와 같이, 사용자의 귀에 이어폰이 꽂혀 있는지의 여부의 검출은 근접 센서의 데이터에 기반하여 수행될 수 있다.
이 경우, 근접 센서는 거리 측정 또는 광 강도의 측정을 통해 사용자의 귀에 대한 이어폰의 접근을 결정할 수 있다. 근접 센서에 기반한 검출은 다수의 참긍정(True Positive) 결과, 다수의 참부정(True Negative) 결과 및 소수의 거짓 부정(False Negative) 결과를 가능케 한다. 물론 근접 센서는 다수의 거짓 긍정(False Positive) 결과도 생성하며, 다시 말해 "인 이어(in-ear)" 상태와 관련하여 큰 오류율을 갖는다. 따라서, 예를 들어 낮은 광 강도 또는 짧은 거리를 토대로 이어폰이 귀에 꽂혀 있다고 추론할 수 있다. 이는, 이어폰이 바지 주머니, 휴대용 케이스 또는 손에 있을 수도 있기 때문에 문제가 된다.
따라서 US 2016/205475 A, US 2016/050474 A, US 2015/281421 A, US 2015/078573 A, US 2011/286615 A, CN 208971758 U 및 CN 108810788 A호로부터 공지된 바와 같이, 다른 센서, 특히 바이오 센서, 접촉 센서 또는 추가 근접 센서도 사용될 수 있다. 그러나 이러한 센서들의 에너지 소비는 상대적으로 높다. 그로 인해 이어폰의 작동 시간이 단축된다.
본 발명은 독립 청구항의 특징을 갖는 이어폰; 및 사용자 귀에 이어폰이 삽입되는지의 여부를 검출하는 방법;을 제공한다.
바람직한 실시예들은 각각의 종속항의 대상이다.
제1 양태에 따라, 본 발명은 근접 센서, 가속도 센서 및 신호 분석 장치를 포함하는 이어폰에 관한 것이다. 근접 센서는 근접 센서 신호를 생성하도록 구성된다. 이를 위해, 가속도 센서는 가속도 센서 신호를 생성하도록 구성된다. 이를 위해, 신호 분석 장치는 근접 센서 신호를 이용하여 객체를 향해 접근하는 이어폰의 움직임을 검출하도록 구성된다. 또한, 신호 분석 장치는 접근하는 움직임이 사용자의 귀를 향한 이어폰의 움직임인지의 여부를 결정하고, 여기서 근접 센서 신호의 시간 프로파일의 변동이 분석되어 고려된다. 신호 분석 장치는 가속도 센서 신호의 필터링을 통해 고역통과 필터링된(high-pass filtered) 가속도 신호 및 저역통과 필터링된(low-pass filtered) 가속도 신호를 생성한다. 또한, 신호 분석 장치는 저역통과 필터링된 가속도 신호를 이용하여 가속도의 안정화를 토대로 접근 움직임의 종료 시점을 결정한다. 신호 분석 장치는, 상기 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화를 기반으로, 상기 접근 움직임이 사용자의 귀를 향한 이어폰의 움직임인지를 확인한다.
제2 양태에 따라, 본 발명은 이어폰이 사용자 귀에 삽입되는지의 여부를 검출하는 방법에 관한 것이다. 객체를 향한 이어폰의 접근 움직임은 이어폰의 근접 센서의 근접 센서 신호를 이용하여 검출된다. 접근 움직임이 사용자의 귀를 향한 이어폰의 움직임인지의 여부가 결정되고, 여기서 근접 센서 신호의 시간 프로파일의 변동이 분석되어 고려된다. 고역통과 필터링된 가속도 신호와 저역통과 필터링된 가속도 신호를 생성하기 위해, 이어폰의 가속도 센서의 가속도 센서 신호가 필터링된다. 저역통과 필터링된 가속도 신호를 이용하여 가속도의 안정화를 토대로 접근 움직임의 종료 시점이 결정된다. 상기 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화를 기반으로, 접근 움직임이 사용자의 귀를 향한 이어폰의 움직임인지가 확인된다.
사용자의 귀에 이어폰이 꽂혀 있는지의 여부의 검출은 근접 센서와 가속도 센서를 모두 이용하여 수행된다. 이들 센서의 결합을 통해 특히 거짓 긍정 결과가 감소할 수 있다. 즉, 예를 들어 사용자가 이어폰을 주머니에 넣는 과정을 더 잘 검출하여 배제할 수 있다. 이 경우, 상기 과정이 더 이상 사용자의 귀에 이어폰을 삽입하는 과정으로 잘못 검출되지 않는다. 이는, 먼저 근접 센서에 기반하여 사용자의 귀를 향한 이어폰의 가능한 접근이 검출됨으로써 달성된다. 이 가설은 가속도 센서의 센서 데이터를 기반으로 확인되거나 기각된다. 따라서, 높은 비율의 참긍정 결과, 높은 비율의 참부정 결과 및 낮은 비율의 거짓 부정 결과가 유지되는 한편, 거짓 긍정 결과의 비율도 추가로 상당히 감소할 수 있다.
본 발명에 따라, 접근 움직임의 "종료 시점"은, 근접 센서 신호를 기반으로 이어폰이 귀에 꽂혀 있는 상태가 검출되고 그리고/또는 가속도 신호의 저역통과 필터링된 기여도(contribution)가 안정화하기 시작하는 시점에 상응할 수 있다.
가속도 센서를 사용하면 접촉 센서, 바이오 센서 등과 같은 다른 센서에 비해 에너지 소비가 훨씬 더 적다. 그로 인해 이어폰의 작동 지속시간이 크게 증가한다.
또한, 가속도 센서의 데이터를 기반으로 사용자의 현재 움직임 또는 활동도 모니터링될 수 있다. 이를 통해 예를 들어, 현재 움직임 또는 활동이 사용자 머리의 움직임에 의해 유발될 확률이 높은지 또는 낮은지의 여부가 결정될 수 있다.
나아가, 최근 이어폰에 이미 일반적으로, 예를 들어 활동 검출 기능, 보수계(pedometer) 기능, 자세 모니터링 등을 제공하기 위해, (3축) 가속도 센서가 장착되어 있는 점도 바람직하다. 이를 통해, 사용자의 귀를 향해 이어폰이 접근하는지의 여부의 분석과 관련한 기능을 제공하기 위한 부가 기능이 불필요하다. 또한, 이어폰에서 별도의 설치 공간도 불필요하다.
이어폰의 일 실시예에 따르면, 신호 분석 장치는 근접 센서의 근접 센서 신호의 프로파일의 변동을 분석하기 위해 근접 센서 신호의 시간 프로파일의 단조성(monotonicity)을 결정하여 고려하도록 구성된다. 이어폰이 사용자의 귀를 향해 움직일 경우, 근접 센서 신호는 일반적으로 단조롭고 평활한 프로파일을 갖는다. 이어폰이 사용자의 주머니 내로 움직이면, 주머니 내에서의 이어폰의 움직임으로 인해 근접 센서 신호의 변동이 더 커진다. 예를 들어, 근접 센서 신호의 시간 프로파일의 단조성에 대한 척도, 예컨대 확률이 계산될 수 있다. 상기 척도가 미리 결정된 임계값을 초과하고 근접 센서 신호의 프로파일이 충분히 단조롭다면, 사용자의 귀를 향한 이어폰의 움직임인 것으로 결정될 수 있다.
이어폰의 일 실시예에 따르면, 신호 분석 장치는, 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화에 대한 척도가 미리 결정된 제1 임계값을 초과하는 경우, 접근 움직임이 사용자의 귀를 향한 이어폰의 움직임임을 확인하도록 구성된다. 고역통과 필터링된 가속도 신호는, 이어폰이 사용자의 귀에 삽입된 후 최종 위치를 취할 때까지 이어폰이 사용자의 귀에서 여전히 조금씩 움직임으로써 유발되는 이어폰의 작은 가속도에 상응한다. 그 원인은, 예컨대 이어폰의 유연한 재질로 인해 사용자의 귀에 이어폰이 삽입된 후에도 여전히 이어폰의 위치가 약간 변경되는 데 있다. 진동이 줄어들거나, 귓속에서의 이어폰의 위치 또는 자세가 여전히 조금씩 변한다. 따라서 이러한 안정화 단계는 가속도 신호를 기반으로 검출될 수 있다.
이어폰의 일 실시예에 따르면, 신호 분석 장치는, 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화에 대한 척도가 미리 결정된 제2 임계값에 미달하는 경우, 접근 움직임이 사용자의 귀를 향한 이어폰의 움직임이 아님을 검출하도록 구성된다. 그럼으로써 예를 들어 사용자의 주머니에 이어폰을 넣는 과정이 배제될 수 있고, 이 경우 전술한 조정 과정이 실시되지 않는다.
이어폰의 일 실시예에 따르면, 신호 분석 장치는 근접 센서 신호를 기반으로 이어폰이 다시 사용자의 귀에서 제거되는지의 여부를 결정하도록 구성된다. 예를 들어 거리가 결정될 수 있고, 그 결정된 거리가 미리 정해진 임계값을 초과하면 사용자의 귀에서 이어폰이 제거되는 것으로 검출된다.
이어폰의 일 실시예에 따르면, 신호 분석 장치는, 가속도 센서 신호를 기반으로 움직임이 없는 상황을 검출하도록, 그리고 검출 시 이어폰을 "아웃 오브 이어(Out-of-Ear)" 작동 모드로 전환하도록 구성된다. 이어폰이 단단한 표면에 놓여서 움직이지 않는 상황에서는 이어폰이 자동으로 "아웃 오브 이어" 작동 모드로 전환된다. 상기 결정을 위해, 가속도 미분의 상위 차수가 0인지의 여부가 검출될 수 있다.
이어폰의 일 실시예에 따르면, 신호 분석 장치는, 가속도 센서 신호를 기반으로 그 강도로 보아 머리의 움직임에 의해 발생할 수 없는 이어폰의 움직임을 검출하도록, 그리고 검출 시 이어폰을 "아웃 오브 이어" 작동 모드로 전환하도록 구성된다.
이어폰의 일 실시예에 따르면, 이어폰이 사용자의 귀에 꽂힌 것으로 검출되고 사용자의 움직임(예컨대 달리기 또는 주기적인 움직임)이 검출되는 즉시, 이어폰이 계속 사용자의 귀에 꽂혀 있는지의 여부에 대한 결정이 근접 센서에 기반해서만 수행된다.
이어폰의 일 실시예에 따르면, 가속도 센서는 3축 가속도 센서이다.
이어폰의 일 실시예에 따르면, 신호 분석 장치는, 3개의 축을 따라 가속도의 최대값과 최소값을 계산하여, 접근 움직임이 사용자의 귀를 향한 이어폰의 움직임인지를 확인할 때 고려하도록 구성된다.
도 1은 본 발명의 실시예에 따른 이어폰의 개략적인 블록선도이다.
도 2a는 이어폰이 사용자의 귀를 향해 움직일 때 근접 센서의 근접 센서 신호의 프로파일을 나타낸 그래프이다.
도 2b는 이어폰이 사용자의 주머니 내로 움직일 때 근접 센서의 근접 센서 신호의 프로파일을 나타낸 그래프이다.
도 3a는 이어폰이 사용자의 귀를 향해 움직일 때 근접 센서의 근접 센서 신호의 프로파일을 나타낸 그래프이다.
도 3b는 이어폰이 사용자의 귀를 향해 움직일 때 가속도 신호의 저역통과 필터링된 기여도의 프로파일을 나타낸 그래프이다.
도 3c는 이어폰이 사용자의 귀를 향해 움직일 때 근접 센서의 가속도 신호의 고역통과 필터링된 기여도의 프로파일을 나타낸 그래프이다.
도 3d는 이어폰이 사용자의 귀를 향해 움직일 때 3축 가속도 센서의 가속도 신호의 최소값과 최대값의 프로파일을 나타낸 그래프이다.
도 3e는 이어폰이 사용자의 귀를 향해 움직일 때 가속도 신호의 저역통과 필터링된 기여도의 최소값과 최대값의 프로파일을 나타낸 그래프이다.
도 3f는 이어폰이 사용자의 귀를 향해 움직일 때 가속도 신호의 고역통과 필터링된 기여도의 최소값과 최대값의 프로파일을 나타낸 그래프이다.
도 4a는 이어폰이 사용자의 주머니 내로 움직일 때 근접 센서의 센서 신호의 프로파일을 나타낸 그래프이다.
도 4b는 이어폰이 사용자의 주머니 내로 움직일 때 가속도 신호의 저역통과 필터링된 기여도의 프로파일을 나타낸 그래프이다.
도 4c는 이어폰이 사용자의 주머니 내로 움직일 때 근접 센서의 가속도 신호의 고역통과 필터링된 기여도의 프로파일을 나타낸 그래프이다.
도 4d는 이어폰이 사용자의 주머니 내로 움직일 때 3축 가속도 센서의 가속도 신호의 최소값과 최대값의 프로파일을 나타낸 그래프이다.
도 4e는 이어폰이 사용자의 주머니 내로 움직일 때 가속도 신호의 저역통과 필터링된 기여도의 최소값과 최대값의 프로파일을 나타낸 그래프이다.
도 4f는 이어폰이 사용자의 주머니 내로 움직일 때 가속도 신호의 고역통과 필터링된 기여도의 최소값과 최대값의 프로파일을 나타낸 그래프이다.
도 5는 본 발명의 일 실시예에 따르면 이어폰이 사용자의 귀에 삽입되는지의 여부를 검출하는 방법의 흐름도이다.
방법 단계의 넘버링은 명확성을 위한 것이며, 일반적으로 특정 시간 순서를 의미하지는 않는다. 특히 복수의 방법 단계가 동시에 수행될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 이어폰(1)의 개략적인 블록선도를 도시한다. 이어폰(1)은, 예컨대 속도 측정 또는 밝기 측정에 기초하여, 객체로부터의 이어폰(1)의 거리에 상응하거나 객체로부터의 이어폰(1)의 거리와 적어도 상관관계가 있는 근접 센서 신호를 생성하는 근접 센서(2)를 포함한다.
또한, 이어폰(1)은 가속도 센서(3)를 포함하며, 이는 특히 3축 가속도 센서일 수 있다. 가속도 센서(3)는, 예컨대 3개의 축 각각을 따라 이어폰(1)의 가속도를 포함할 수 있는 가속도 센서 신호를 생성한다.
마지막으로, 이어폰(1)은 근접 센서(2) 및 가속도 센서(3)에 결합된 신호 분석 장치(4)를 포함한다. 신호 분석 장치(4)는 마이크로프로세서, 집적 회로 등과 같은 계산 장치를 포함한다. 신호 분석 장치(4)는, 이어폰(1)의 거리가 실질적으로 0으로 감소하는 경우, 근접 센서 신호를 이용하여 객체를 향해 접근하는 이어폰의 움직임을 검출한다.
또한, 신호 분석 장치(4)는 접근하는 움직임이 사용자의 귀를 향한 이어폰(1)의 움직임인지의 여부를 결정하고, 여기서 근접 센서 신호의 시간 프로파일의 변동을 분석하여 고려한다. 이를 위해 근접 센서 신호의 시간 프로파일에서 예컨대 단조성이 결정될 수 있다. 단조성이 충분하면, 신호 분석 장치(4)는 이어폰이 사용자의 귀를 향해 움직이고 있다는 가설을 세운다. 이 가설은 가속도 센서(3)의 가속도 신호를 기반으로 확인되거나 기각된다.
신호 분석 장치(4)는 가속도 센서 신호의 필터링을 통해 고역통과 필터링된 가속도 신호 및 저역통과 필터링된 가속도 신호를 생성한다. 저역통과 필터링된 가속도 신호는 이어폰(1)의 선형 가속도에 상응한다.
또한, 신호 분석 장치(4)는 저역통과 필터링된 가속도 신호를 이용하여 가속도의 안정화를 토대로 접근 움직임의 종료 시점을 결정한다. 예를 들어, 저역통과 필터링된 가속도 신호의 변동이 미리 결정된 임계값에 미달하면 종료 시점이 검출된다. 저역통과 필터링된 가속도 신호는 실질적으로 중력 가속도의 성분만 추가로 갖는다.
신호 분석 장치(4)는, 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화에 대한 척도가 미리 결정된 제1 임계값을 초과하는 경우, 접근 움직임이 사용자의 귀를 향한 이어폰(1)의 움직임임을 확인한다. 반면, 고역통과 필터링된 가속도 신호의 변화에 대한 척도가, 미리 결정된 제1 임계값보다 작거나 미리 결정된 제1 임계값과 같은 미리 정해진 제2 임계값에 미달하면, 신호 평가 장치(4)는 접근 움직임이 사용자의 귀를 향한 이어폰(1)의 움직임이라는 가설을 기각한다.
도 2a는 이어폰(1)이 사용자의 귀를 향해 움직일 때 근접 센서(2)의 근접 센서 신호(A)의 프로파일을 도시한다. 제1 시간 구간(B1)에서는 이어폰(1)이 사용자의 귀 밖에 있고 움직이지 않는다. 제2 시간 구간(B2)에서는 이어폰(1)이 사용자의 귀에 접근하고, 근접 센서 신호의 시간 프로파일이 단조성으로 변하며, 다시 말해 연속적으로 상승한다. 제3 시간 구간(B3)에서는 이어폰이 사용자의 귀 안에 있다.
도 2b는 이어폰(1)이 사용자의 주머니 내로 움직일 때 근접 센서(2)의 근접 센서 신호(A)의 프로파일을 도시한다. 여기서는 제2 시간 구간(B2)에서 훨씬 더 큰 변동이 발생하며, 다시 말해 근접 센서 신호(A)의 시간 프로파일이 더 이상 도 2a에서처럼 단조성이 아니다.
도 3a는 이어폰(1)이 사용자의 귀를 향해 움직일 때 근접 센서(2)의 근접 센서 신호(A)의 프로파일을 도시한다. 이 프로파일은 실질적으로 도 2a에 도시된 프로파일에 상응한다.
도 3b는, 이어폰(1)이 사용자의 귀를 향해 움직일 때 가속도 신호의 저역통과 필터링된 기여도(AccMagLP), 즉, 3개의 축 모두의 기여도를 결합하는 저역통과 필터링된 가속도 크기(acceleration magnitude)의 프로파일을 도시한다. 접근 움직임의 종료 시점(t_f)은 저역통과 필터링된 가속도 신호가 안정화되는 시점, 다시 말해 변동이 미리 결정된 임계값보다 작은 시점에 상응한다.
도 3c는, 이어폰(1)이 사용자의 귀를 향해 움직일 때 근접 센서의 가속도 신호의 고역통과 필터링된 기여도(AccMagHP), 즉, 3개의 축 모두의 기여도를 결합하는 고역통과 필터링된 가속도 크기의 프로파일을 도시한다. 제3 시간 구간(B3)에서는, 사용자의 귀에서 이어폰을 조정하는 움직임에서 비롯되는, 고역통과 필터링된 가속도 신호의 변동을 확인할 수 있다.
도 3d는 이어폰(1)이 사용자의 귀를 향해 움직일 때 3축 가속도 센서(3)의 각각의 축과 관련한 측정 신호에 대한 가속도 신호의 최소값 및 최대값(AccMinMax)의 프로파일을 도시한다. 제3 시간 구간(B3)에서 가속도 신호의 최소값 및 최대값에 도달하는 시점을 확인할 수 있다.
도 3e는, 이어폰(1)이 사용자의 귀를 향해 움직일 때 저역통과 필터링된 가속도 신호의 최소값 및 최대값(AccMinMaxLP), 즉, 3개의 축 모두의 기여도를 결합하는 저역통과 필터링된 가속도 크기의 프로파일을 도시한다.
도 3f는, 이어폰(1)이 사용자의 귀를 향해 움직일 때 고역통과 필터링된 가속도 신호의 최소값 및 최대값(AccMinMaxHP), 즉, 3개의 축 모두의 기여도를 결합하는 고역통과 필터링된 가속도 크기의 프로파일을 도시한다. 가속도 신호의 저역통과 필터링된 기여도가 안정화되면, 즉, 최소값과 최대값에 변화가 없으면, 가속도 신호의 고역통과 필터링된 기여도가 여전히 크게 변화함에 따라 최소값과 최대값의 큰 변동이 초래된다.
도 4a는 이어폰이 사용자의 주머니 내로 움직일 때 근접 센서의 센서 신호의 프로파일을 보여주며, 이 프로파일은 실질적으로 도 2b에 도시된 프로파일에 상응한다.
도 4b는, 이어폰이 사용자의 주머니 내로 움직일 때 저역통과 필터링된 가속도 신호, 즉, 3개의 축 모두의 기여도를 결합하는 저역통과 필터링된 가속도 크기의 프로파일을 도시한다.
도 4c는, 이어폰이 사용자의 주머니 내로 움직일 때 근접 센서의 고역통과 필터링된 가속도 신호, 즉, 3개의 축 모두의 기여도를 결합하는 고역통과 필터링된 가속도 크기의 프로파일을 도시한다. 도 3c와 달리, 고역통과 필터링된 가속도 신호의 프로파일의 변동은 실질적으로 제1 및 제2 시간 구간(B1, B2)에서만 발생한다. 이 변동은 종료 시점(t_f) 이전에 발생한다.
도 4d는 이어폰(1)이 사용자의 주머니 내로 움직일 때 3축 가속도 센서의 가속도 신호의 최소값과 최대값의 프로파일을 도시한다. 도 3d와 달리 최소값과 최대값이 종료 시점(t_f) 이후에는 거의 변하지 않는다.
도 4e는, 이어폰(1)이 사용자의 주머니 내로 움직일 때 저역통과 필터링된 가속도 신호의 최소값 및 최대값, 즉, 3개의 축 모두의 기여도를 결합하는 저역통과 필터링된 가속도 크기의 프로파일을 도시한다. 도 3e와 달리, 제1 및 제2 시간 구간(B1, B2)에서의 절대값이 제3 시간 구간(B3)보다 더 크다.
도 4f는, 이어폰이 사용자의 주머니 내로 움직일 때 고역통과 필터링된 가속도 신호의 최소값 및 최대값, 즉, 3개의 축 모두의 기여도를 결합하는 고역통과 필터링된 가속도 크기의 프로파일을 도시한다. 고역통과 필터링된 가속도 신호의 최소값 및 최대값은 종료 시점(t_f) 이후에, 다시 말해 가속도 신호의 저역통과 필터링된 기여도가 안정화된 이후에 더 이상 변하지 않는다.
도 3a 내지 도 3f 또는 도 4a 내지 도 4f에 도시된 모든 신호 프로파일은 수학적으로, 예를 들어 사용자의 귀를 향한 움직임일 확률의 계산을 통해 분석될 수 있다.
가속도 값의 저역통과 필터링된 기여도는 선형 가속도에 상응한다. 가속도 값의 고역통과 필터링된 기여도는 이어폰의 회전 및 위치 변화에 상응한다. 저역통과 필터링된 가속도 값의 최소값과 최대값은 선형 가속이 언제 발생하거나 종료되는지 그리고 변화가 얼마나 큰지를 나타낸다. 저역통과 필터링된 가속도 값의 최소값과 최대값 및 3개의 축은 회전 또는 위치 변화로 인한 가속이 언제 발생하거나 종료되는지 그리고 변화가 얼마나 큰지를 나타낸다.
선형 가속도는 움직임으로 인한 가속도에 상응하며, 주로 저역통과 필터링된 가속도 크기에 의해 반영된다. 선형 가속도는 저역통과 필터링된 가속도 크기에서 중력 기여도를 뺀 값에 상응한다. 선형 가속도의 값이 0에 가까우면 종료 시점이 검출된다. 종료 시점 이후에는 사용자의 귀를 향해 움직이거나 사용자의 주머니 내로 움직일 때 모두 선형 가속이 발생하지 않는다. 선형 가속도가 0인 경우에도 가속도 자체는 여전히 변할 수 있다. 이 경우,
Figure pct00001
는 중력 기여도와 같으며, 여기서
Figure pct00002
는 x 방향, y 방향 및 z 방향의 기여도이다. 이 관계는 이어폰이 회전할 때도 적용되므로,
Figure pct00003
가 변하더라도 선형 가속도가 발생하지 않는다. 이러한 움직임은 가속도 크기의 고역통과 필터링된 기여도에서 검출될 수 있다.
저역통과 필터링된 크기가 대략 중력 기여도에 상응하고 거의 선형 가속이 발생하지 않은 이후, 즉, 종료 시점 이후, 가속도 크기의 고역통과 필터링된 기여도가 변동하는지 또는 가속도의 최대값 및 최소값이 변동하는지의 여부가 검출된다. 변동한다면 귀를 향한 움직임이고, 그렇지 않다면 예를 들어 주머니 내로의 움직임이다.
도 5는 이어폰(1)이 사용자의 귀에 삽입되는지의 여부를 검출하는 방법의 흐름도를 도시한다. 이 방법을 위해 전술한 이어폰(1)이 사용될 수 있다.
제1 방법 단계(S1)에서, 가속도 센서(3)가 가속도 센서 신호를 생성한다.
방법 단계(S2)에서, 3개의 축 각각에 대해 3축 가속도 센서(3)를 사용할 때 가속도 센서 신호에 기반하여 가속도의 크기가 결정된다.
방법 단계(S3)에서는 고역통과 필터링된 가속도 신호를 생성하기 위해 가속도 센서 신호가 고역통과 필터로 필터링된다.
방법 단계(S4)에서는 저역통과 필터링된 가속도 신호를 생성하기 위해 가속도 센서 신호가 저역통과 필터로 필터링된다.
방법 단계(S5)에서는 근접 센서(2)에 의해 근접 센서 신호가 생성된다.
방법 단계(S6)에서는, 근접 센서 신호, 고역통과 필터링된 가속도 신호 및 저역통과 필터링 가속더 신호를 이용하여 가속도 데이터 분석이 수행된다.
또한, 방법 단계(S7)에서는 고역통과 필터링된 가속도 신호 및 저역통과 필터링 가속도 신호에 기반하여 사용자의 움직임 모니터링이 수행된다.
방법 단계(S8)에서는 근접 센서 신호의 데이터 분석이 수행된다.
방법 단계(S9)에서, 이어폰(1)이 사용자의 귀에 삽입되는지의 여부가 결정된다. 이 경우, 근접 센서 신호의 시간 프로파일을 기반으로 접근 움직임이 검출되고, 이것이 사용자의 귀를 향한 이어폰의 움직임인지의 여부가 결정된다. 이 가설은 저역통과 필터링된 가속도 신호 및 고역통과 필터링된 가속도 신호를 이용하여 확인되거나 기각된다. 이를 위해, 특히 접근 움직임의 종료 시점이 결정된다.
방법 단계(S10)에서, 상기 결정에 기초하여 이어폰의 작동 모드, 다시 말해, "아웃 오브 이어" 작동 모드 또는 "인 이어" 작동 모드가 선택된다.

Claims (10)

  1. 근접 센서 신호를 생성하도록 구성된 근접 센서(2);
    가속도 센서 신호를 생성하도록 구성된 가속도 센서(3); 및
    신호 분석 장치(4)를 포함하는 이어폰(1)이며,
    상기 신호 분석 장치는:
    a. 근접 센서 신호를 이용하여 객체를 향해 접근하는 이어폰(1)의 움직임을 검출하고;
    b. 상기 접근 움직임이 사용자의 귀를 향한 이어폰(1)의 움직임인지의 여부를 결정하고; -여기서, 근접 센서 신호의 시간 프로파일의 변동이 분석되어 고려됨-;
    c. 가속도 센서 신호의 필터링을 통해 고역통과 필터링된 가속도 신호 및 저역통과 필터링된 가속도 신호를 생성하고;
    d. 저역통과 필터링된 가속도 신호를 이용한 가속도의 안정화를 토대로 접근 움직임의 종료 시점을 결정하고;
    e. 상기 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화를 기반으로, 접근 움직임이 사용자의 귀를 향한 이어폰(1)의 움직임인지를 확인하도록; 구성되는, 이어폰(1).
  2. 제1항에 있어서, 신호 분석 장치(4)는 근접 센서(2)의 근접 센서 신호의 프로파일의 변동을 분석하기 위해 근접 센서 신호의 시간 프로파일의 단조성(monotonicity)을 결정하여 고려하도록 구성되는, 이어폰(1).
  3. 제1항 또는 제2항에 있어서, 신호 분석 장치(4)는, 상기 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화에 대한 척도가 미리 결정된 제1 임계값을 초과하는 경우, 상기 접근 움직임이 사용자의 귀를 향한 이어폰(1)의 움직임임을 확인하도록 구성되는, 이어폰(1).
  4. 제3항에 있어서, 신호 분석 장치(4)는, 상기 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화에 대한 척도가 미리 결정된 제2 임계값에 미달하는 경우, 상기 접근 움직임이 사용자의 귀를 향한 이어폰(1)의 움직임이 아님을 검출하도록 구성되는, 이어폰(1).
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 신호 분석 장치(4)는 근접 센서 신호를 기반으로 이어폰(1)이 다시 사용자의 귀에서 제거되는지의 여부를 결정하도록 구성되는, 이어폰(1).
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 신호 분석 장치(4)는 가속도 센서 신호를 기반으로 움직임이 없는 상황을 검출하도록, 그리고 검출 시 이어폰(1)을 "아웃 오브 이어(Out-of-Ear)" 작동 모드로 전환하도록 구성되는, 이어폰(1).
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 신호 분석 장치(4)는 가속도 센서 신호를 기반으로 그 강도로 보아 머리의 움직임에 의해 발생할 수 없는 이어폰(1)의 움직임을 검출하도록, 그리고 검출 시 이어폰(1)을 "아웃 오브 이어" 작동 모드로 전환하도록 구성되는, 이어폰(1).
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 가속도 센서(3)는 3축 가속도 센서(3)인, 이어폰(1).
  9. 제8항에 있어서, 신호 분석 장치(4)는, 3개의 축을 따라 가속도의 최대값과 최소값을 계산하여, 접근 움직임이 사용자의 귀를 향한 이어폰(1)의 움직임인지를 확인할 때 고려하도록 구성되는, 이어폰(1).
  10. 이어폰(1)이 사용자 귀에 삽입되는지의 여부를 검출하는 방법이며, 이 방법은:
    이어폰(1)의 근접 센서(2)의 근접 센서 신호를 이용하여 객체를 향한 이어폰(1)의 접근 움직임을 검출하는 단계;
    상기 접근 움직임이 사용자의 귀를 향한 이어폰(1)의 움직임인지의 여부를 결정하는 단계; -여기서, 근접 센서 신호의 시간 프로파일의 변동이 분석되고 고려됨-;
    고역통과 필터링된 가속도 신호와 저역통과 필터링된 가속도 신호를 생성하기 위해, 이어폰(1)의 가속도 센서(3)의 가속도 센서 신호를 필터링하는 단계;
    저역통과 필터링된 가속도 신호를 이용하여 가속도의 안정화를 토대로 접근 움직임의 종료 시점을 결정하는 단계; 및
    상기 결정된 접근 움직임 종료 시점 이후 고역통과 필터링된 가속도 신호의 변화를 기반으로, 접근 움직임이 사용자의 귀를 향한 이어폰(1)의 움직임인지를 확인하는 단계;를 포함하는, 이어폰이 사용자 귀에 삽입되는지의 여부를 검출하는 방법.
KR1020237011675A 2020-09-09 2021-07-22 이어폰 및 사용자 귀에 이어폰이 삽입되는지의 여부를 검출하는 방법 KR20230065298A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020211299.1A DE102020211299A1 (de) 2020-09-09 2020-09-09 Ohrhörer und Verfahren zum Erkennen, ob ein Ohrhörer in ein Ohr eines Benutzers eingebracht wird
DE102020211299.1 2020-09-09
PCT/EP2021/070478 WO2022053212A1 (de) 2020-09-09 2021-07-22 Ohrhörer und verfahren zum erkennen, ob ein ohrhörer in ein ohr eines benutzers eingebracht wird

Publications (1)

Publication Number Publication Date
KR20230065298A true KR20230065298A (ko) 2023-05-11

Family

ID=77155756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237011675A KR20230065298A (ko) 2020-09-09 2021-07-22 이어폰 및 사용자 귀에 이어폰이 삽입되는지의 여부를 검출하는 방법

Country Status (6)

Country Link
US (1) US20230232147A1 (ko)
JP (1) JP2023539932A (ko)
KR (1) KR20230065298A (ko)
CN (1) CN116114265A (ko)
DE (1) DE102020211299A1 (ko)
WO (1) WO2022053212A1 (ko)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090296951A1 (en) * 2008-05-30 2009-12-03 Sony Ericsson Mobile Communications Ab Tap volume control for buttonless headset
US20110286615A1 (en) 2010-05-18 2011-11-24 Robert Olodort Wireless stereo headsets and methods
CN102984615B (zh) 2012-11-19 2015-05-20 中兴通讯股份有限公司 通过光线感应耳机操控电子设备的方法和光线感应耳机
US9338540B2 (en) 2013-09-18 2016-05-10 Lenovo (Singapore) Pte. Ltd. Device control based on worn headphone detection
TWM482224U (zh) 2014-03-26 2014-07-11 Jetvox Acoustic Corp 紅外線耳機
US20150382098A1 (en) 2014-06-25 2015-12-31 James Aita Proximity ear buds for earphone listening
US9491880B2 (en) 2014-08-12 2016-11-08 Google Technology Holdings LLC Circuit assembly for compact acoustic device
TWI572215B (zh) 2015-01-05 2017-02-21 致伸科技股份有限公司 耳機結構
US9924270B2 (en) 2015-01-09 2018-03-20 Intel Corporation Techniques for channelization of stereo audio in headphones
JP2017147652A (ja) 2016-02-18 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 情報処理装置
US10257602B2 (en) * 2017-08-07 2019-04-09 Bose Corporation Earbud insertion sensing method with infrared technology
KR101828952B1 (ko) 2017-08-24 2018-02-13 (주)다보산업 불면증 및 우울증 치료를 위한 두뇌 자극 장치
CN110413134B (zh) * 2018-04-26 2023-03-14 Oppo广东移动通信有限公司 佩戴状态检测方法及相关设备
CN108810788B (zh) 2018-06-12 2021-09-03 歌尔科技有限公司 一种无线耳机的佩戴情况检测方法、装置及无线耳机
US10306350B1 (en) 2018-07-23 2019-05-28 Apple Inc. Electronic device having transreflective optical sensors
CN208971758U (zh) 2018-12-05 2019-06-11 歌尔科技有限公司 一种耳机以及电子设备
CN110012376A (zh) 2019-03-25 2019-07-12 歌尔科技有限公司 一种耳机声道的控制方法、耳机及存储介质

Also Published As

Publication number Publication date
WO2022053212A1 (de) 2022-03-17
DE102020211299A1 (de) 2022-03-10
JP2023539932A (ja) 2023-09-20
CN116114265A (zh) 2023-05-12
US20230232147A1 (en) 2023-07-20

Similar Documents

Publication Publication Date Title
US11647321B2 (en) Wireless ear buds
EP1770368B1 (en) Pedometer device and step detection method using an algorithm for self-adaptive computation of acceleration thresholds.
CN108712697B (zh) 无线耳机及其工作模式确定方法、装置、设备、存储介质
KR102141367B1 (ko) 사용자의 움직임 분류 및/또는 사용자의 걸음 카운트를 수행하는 장치 및 방법
US9433377B2 (en) Sleep state management device, sleep state management method, and sleep state management program
JP4885665B2 (ja) 歩数計
WO2017182456A1 (en) System and method for detecting when a sensor is worn
WO2015113915A1 (en) Improvements in the detection of walking in measurements of the movement of a user
JP2005309691A (ja) 電子歩数計
TWI502167B (zh) 計步方法及其電子裝置
CN108567432A (zh) 表征运动的设备和方法
KR20230065298A (ko) 이어폰 및 사용자 귀에 이어폰이 삽입되는지의 여부를 검출하는 방법
JP4405200B2 (ja) 歩行時間演算装置及びそれを用いた歩行距離演算装置
JP2017192563A (ja) 活動量計および運動量算出装置
BRPI1002209A2 (pt) sistema de antifurto e um processo para o mesmo
CN110620980A (zh) 用于运行听力设备系统的方法和听力设备系统
JP6511157B2 (ja) 歩数計測装置及び歩数計測プログラム
KR20120049072A (ko) 3축 가속도 센서를 이용한 실시간 걸음 수 검출장치 및 그 방법
CN112334067A (zh) 用于提供人员的步数的求取方法的方法
CN108710432A (zh) 一种动作捕捉设备的抗磁方法、姿态确定方法及装置
CN115024717B (zh) 一种跌倒检测方法、装置、设备及存储介质
CN108776358A (zh) 一种智能设备的佩戴状态检测方法及系统
US11917356B2 (en) Apparatus and method for identifying head gestures
CN113132840A (zh) 用于检测耳机的佩戴状态的方法和装置、以及无线耳机
JP2021191335A (ja) 呼吸事象検出システム

Legal Events

Date Code Title Description
A201 Request for examination