KR20180062270A - 이어폰 오장착 검출 방법, 이를 위한 전자 장치 및 저장 매체 - Google Patents

이어폰 오장착 검출 방법, 이를 위한 전자 장치 및 저장 매체 Download PDF

Info

Publication number
KR20180062270A
KR20180062270A KR1020160162338A KR20160162338A KR20180062270A KR 20180062270 A KR20180062270 A KR 20180062270A KR 1020160162338 A KR1020160162338 A KR 1020160162338A KR 20160162338 A KR20160162338 A KR 20160162338A KR 20180062270 A KR20180062270 A KR 20180062270A
Authority
KR
South Korea
Prior art keywords
earphone
microphone
audio signal
electronic device
signal
Prior art date
Application number
KR1020160162338A
Other languages
English (en)
Other versions
KR102535726B1 (ko
Inventor
이건우
안중열
금종모
김강열
김병준
김재현
이남일
이준수
최철민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160162338A priority Critical patent/KR102535726B1/ko
Priority to US15/808,010 priority patent/US10178485B2/en
Priority to PCT/KR2017/012673 priority patent/WO2018101639A1/en
Priority to EP17876841.2A priority patent/EP3520434B1/en
Publication of KR20180062270A publication Critical patent/KR20180062270A/ko
Priority to US16/196,155 priority patent/US10939218B2/en
Application granted granted Critical
Publication of KR102535726B1 publication Critical patent/KR102535726B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • G10K11/17833—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions by using a self-diagnostic function or a malfunction prevention function, e.g. detecting abnormal output levels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17873—General system configurations using a reference signal without an error signal, e.g. pure feedforward
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1058—Manufacture or assembly
    • H04R1/1075—Mountings of transducers in earphones or headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081—Earphones, e.g. for telephones, ear protectors or headsets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/107—Monophonic and stereophonic headphones with microphone for two-way hands free communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/15—Determination of the acoustic seal of ear moulds or ear tips of hearing devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H04R5/0335—Earpiece support, e.g. headbands or neckrests

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Manufacturing & Machinery (AREA)
  • Telephone Function (AREA)

Abstract

다양한 실시 예에 따르면, 전자 장치는 하우징의 제1 면의 제1 단에 위치하는 스피커; 및 상기 전자 장치에 기능적으로 연결되는 이어폰의 제1 몸체에 위치하는 적어도 하나의 제1마이크를 통해 입력되는 제1오디오 신호와 상기 이어폰의 제2 몸체에 위치하는 적어도 하나의 제2 마이크를 통해 입력되는 제2오디오 신호 간의 차이를 기반으로 상기 이어폰의 장착 상태를 판단하는 프로세서를 포함할 수 있다.

Description

이어폰 오장착 검출 방법, 이를 위한 전자 장치 및 저장 매체{METHOD FOR DETECTING EARPHONE POSITION, STORAGE MEDIUM AND ELECTRONIC DEVICE THEREFOR}
본 발명은 전자 장치에 삽입되는 이어폰의 오장착을 검출하는 방법 및 이를 위한 전자 장치에 관한 것이다.
최근 전자 장치(예: 스마트 폰(smart phone))의 성능이 향상됨에 따라 사용자는 시간과 공간의 제약 없이 동영상 및 음악과 같은 멀티미디어 서비스를 제공받을 수 있다. 이러한 멀티미디어 서비스 이용 시 사용자는 전자 장치로부터 출력되는 오디오 신호가 외부에 유출되지 않도록 하거나 보다 분명하게 듣기 위해 이어폰을 사용할 수 있다. 예를 들어, 이어폰, 헤드셋 등은 전자 장치에 연결되어 전자 장치에서 출력되는 오디오 신호를 양 귀에 전달하는 기기로, 스피커 및 마이크를 포함하는 구조로 이루어질 수 있다. 이어폰의 안쪽에 구비된 스피커를 통해 전자 장치로부터의 오디오 신호를 출력하며, 음성 통화 시에는 일측에 구비된 마이크를 통하여 전자 장치로 음성 신호를 전달할 수 있다.
하지만, 이어폰이나 헤드셋의 경우 사용자의 좌측 및 우측 귀에 각각 삽입되는 구조를 가지므로, 사용자의 좌측 귀에는 이어폰의 좌측 스피커가 삽입되어야 하며 사용자의 우측 귀에는 이어폰의 우측 스피커가 삽입되도록 착용해야 한다. 만일 사용자의 좌측 및 우측 귀에 각각 대응되는 스피커가 정확하게 착용되지 않은 상태인 경우, 사용자는 전자 장치로부터의 오디오 신호를 정확히 청취하지 못할 수 있다. 또한 이어폰에 장착된 마이크로 외부 상황을 녹음하는 경우, 이어폰이 정확히 착용되지 않으면 주변 상황이 정확히 녹음되지 않을 수 있다. 그리고, 사용자가 잡음이 있는 환경에서 음성 통화를 하는 경우 사용자의 음성 신호에서 배경 잡음을 분리하는 것이 바람직하나, 이어폰의 좌측 및 우측 스피커 중 어느 하나가 빠져있거나 바뀌어서 착용된 상태에서는 사용자의 음성 일부분이 잡음으로 간주되어 출력 신호에서 제거되거나 음악 또는 대화와 같은 배경 잡음의 일부분이 잡음이 아닌 것으로 간주되어 출력 신호에 포함될 수도 있다.
따라서 이어폰의 좌측 및 우측 스피커 중 어느 하나가 빠져있거나 바뀌어서 착용되는 등의 오장착 상태에서는 사용자에게 알림을 주거나 사용자가 인위적으로 이어폰 착용 상태를 변경하지 않고도 착용 상태에 대응하여 사용자의 좌측 및 우측 귀에 대응하는 오디오 신호가 출력되도록 하거나 레코딩 신호를 보정하거나 음성 신호에서 배경 잡음만을 효과적으로 제거할 필요가 있다.
다양한 실시 예에 따르면, 전자 장치는 하우징의 제1 단부에 위치하는 스피커; 및 상기 전자 장치에 기능적으로 연결되는 이어폰의 제1 몸체에 위치하는 적어도 하나의 제1마이크를 통해 입력되는 제1오디오 신호와 상기 이어폰의 제2 몸체에 위치하는 적어도 하나의 제2 마이크를 통해 입력되는 제2오디오 신호 간의 차이를 기반으로 상기 이어폰의 장착 상태를 판단하는 프로세서를 포함할 수 있다.
다양한 실시 예에 따르면, 전자 장치에 의한 이어폰 오장착 검출 방법은, 상기 전자 장치에 기능적으로 연결되는 이어폰의 제1 몸체에 위치하는 적어도 하나의 제1마이크를 통해 제1오디오 신호와, 상기 이어폰의 제2 몸체에 위치하는 적어도 하나의 제2 마이크를 통해 제2 오디오 신호를 입력받는 동작; 및 상기 제1오디오 신호와 상기 제2오디오 신호 간의 차이를 기반으로 상기 이어폰의 장착 상태를 판단하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 전자 장치에 기능적으로 연결되는 이어폰의 제1 몸체에 위치하는 적어도 하나의 제1마이크를 통해 제1오디오 신호와, 상기 이어폰의 제2 몸체에 위치하는 적어도 하나의 제2 마이크를 통해 제2 오디오 신호를 입력받는 동작; 및 상기 제1오디오 신호와 상기 제2오디오 신호 간의 차이를 기반으로 상기 이어폰의 장착 상태를 판단하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 이어폰의 좌측 및 우측 스피커 바뀌어서 착용된 상태일 지라도 사용자의 좌측 및 우측 귀에 대응하는 오디오 신호가 출력되도록 보정할 수 있어, 이어폰의 음질 변형을 방지할 수 있을 뿐만 아니라 사용자가 인위적으로 이어폰 착용 상태를 변경하지 않아도 되므로, 사용자 편의성이 증대되는 효과가 있다.
또한 본 발명의 다양한 실시 예에 따르면, 이어폰의 좌측 및 우측 스피커가 바뀌어서 착용된 상태일 지라도 사용자의 좌측 및 우측에 대응하는 마이크 신호가 입력되도록 보정할 수 있어, 주변 상황을 왜곡 없이 녹음할 수 있을 뿐만 아니라 사용자가 인위적으로 이어폰 착용 상태를 변경하지 않아도 되므로, 사용자 편의성이 증대되는 효과가 있다.
또한 본 발명의 다양한 실시 예에 따르면, 이어폰의 좌측 및 우측 스피커 중 어느 하나가 빠진 상태에서는 정상 착용된 측의 이어폰의 마이크로 유입되는 음성 신호에 대해서 잡음 제거를 수행함으로써, 주변 환경에 의해 발생되는 노출되는 노이즈를 효과적으로 줄일 수 있어, 사용자에게 보다 향상된 음질의 청취 환경을 제공할 수 있다.
또한 본 발명의 다양한 실시 예에 따르면, 전자 장치에서 이어폰의 오장착 여부를 판단할 수 있어, 오장착 상황을 사용자에게 알릴 수 있는 효과가 있다.
도 1은 다양한 실시예에 따른 네트워크 환경 내의 전자 장치를 나타낸다.
도 2는 다양한 실시예에 따른 전자 장치의 블록도이다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 블록도이다.
도 4a는 다양한 실시 예에 따른 전자 장치의 사시도를 나타낸 도면이다.
도 4b는 다양한 실시 예에 따른 전자 장치와 그 전자 장치에 접속되는 이어폰의 구성을 개략적으로 나타낸 도면이다.
도 4c는 다양한 실시 예에 따른 전자 장치와 그 전자 장치에 연결되는 헤드셋의 구성을 개략적으로 나타낸 도면이다.
도 5는 다양한 실시 예에 따른 이어폰의 구성을 나타낸 도면이다.
도 6a는 다양한 실시 예에 따른 이어폰의 착용 상태를 판단하기 위한 이어폰 및 전자 장치의 블록도이다.
도 6b는 다양한 실시 예에 따른 주변 잡음을 이용한 이어폰의 착용 상태를 판단하기 위한 이어폰 및 전자 장치의 블록도이다.
도 7a는 일 실시 예에 따른 동영상 녹화 모드에서 이어폰의 착용 상태를 판단하기 위한 전자 장치에서의 동작 흐름도이다.
도 7b는 다른 실시 예에 따른 이어폰의 착용 상태를 판단하기 위한 전자 장치에서의 동작 흐름도이다.
도 8은 다양한 실시 예에 따른 이어폰의 오장착 상태를 설명하기 위한 예시도이다.
도 9a는 다양한 실시 예에 따른 이어폰의 좌측 및 우측 마이크로의 입력되는 신호 간 지연을 설명하기 위한 도면이다.
도 9b는 다양한 실시 예에 따른 헤드셋의 좌측 및 우측 마이크로의 입력되는 신호 간 지연을 설명하기 위한 도면이다.
도 9c 및 도 9d는 다양한 실시 예에 따른 전자 장치의 위치와 사용자 위치 간의 관계를 설명하기 위한 도면이다.
도 10a는 다양한 실시 예에 따른 이어폰의 각 마이크 간의 지연 시간을 설명하기 위한 그래프이다.
도 10b는 다양한 실시 예에 따른 이어폰의 각 마이크에 대한 최대 임계 지연 시간 및 최소 임계 지연 시간을 구하는 방법을 설명하기 위한 도면이다.
도 10c는 다양한 실시 예에 따른 전자 장치의 마이크 신호와 이어폰의 각 마이크 신호 간의 상관도를 나타낸 그래프이다.
도 11은 다양한 실시 예에 따른 이어폰의 오장착을 알리는 화면예시도이다.
도 12는 일 실시 예에 따른 통화 모드에서 이어폰의 착용 상태를 판단하기 위한 전자 장치에서의 동작 흐름도이다.
도 13은 다양한 실시 예에 따른 이어폰에 장착된 마이크들로 음성이 입력되는 경우를 설명하기 위한 예시도이다.
도 14는 다양한 실시 예에 따른 음성 입력 시 이어폰에 장착된 마이크들의 위치에 따른 음성 신호의 출력 특성을 나타낸 그래프이다.
도 15는 다양한 실시 예에 따른 이어폰의 내부 및 외부 마이크를 이용한 이어폰 착용 상태를 판단하기 위한 전자 장치에서의 동작 흐름도이다.
도 16은 다양한 실시 예에 따른 이어폰 장착 상태에 대응하여 이어폰의 내부 및 외부 마이크로 유입되는 음성 신호를 보여주는 예시도이다.
도 17은 다양한 실시 예에 따른 이어폰 장착 상태에 따른 이어폰의 내부 및 외부 마이크로 유입되는 신호의 주파수 특성을 보여주는 그래프이다.
도 18은 다양한 실시 예에 따른 이어폰 장착 상태에 대응하여 이어폰의 내부 및 외부 마이크로 유입되는 주변 소음 신호를 보여주는 예시도이다.
이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다. 실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나" 또는 "A/B" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제1," "제2," "첫째," 또는 "둘째, "등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시 예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시 예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1을 참조하여, 다양한 실시 예에서의, 네트워크 환경(100) 내의 전자 장치(101)가 기재된다. 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 및 통신 인터페이스(170)를 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
버스(110)는 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다.
프로세서(120)는, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다.
한 실시 예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(API)(145), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(141), 미들웨어(143), 또는 API(145)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다.
커널(141)은, 예를 들면, 다른 프로그램들(예: 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(141)은 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147)에서 전자 장치(101)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(143)는, 예를 들면, API(145) 또는 어플리케이션 프로그램(147)이 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(143)는 어플리케이션 프로그램(147)으로부터 수신된 하나 이상의 작업 요청들을 우선순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(143)는 어플리케이션 프로그램(147) 중 적어도 하나에 전자 장치(101)의 시스템 리소스(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API(145)는 어플리케이션(147)이 커널(141) 또는 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다. 입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(101)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(160)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(160)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다.
통신 인터페이스(170)는, 예를 들면, 전자 장치(101)와 외부 장치(예: 제1 외부 전자 장치(102), 제2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치(예: 제2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다.
무선 통신은, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시 예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 한실시 예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(162)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
제1 및 제2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다.
다양한 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버(106)에서 실행될 수 있다.
한 실시 예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 발명의 다양한 실시 예에 따른, 전자 장치(101)의 바디는 외관을 이루는 하우징을 포함하며, 하우징 상에 플러그가 삽입될 수 있도록 형성되는 홀(예컨대, 접속 부재)이 배치될 수 있다. 홀은 플러그의 삽입이 용이하도록 전자 장치(101)의 하우징의 일면으로 노출되도록 형성되며, 플러그는 상기 홀에 삽입되어 전기적으로 연결될 수 있다.
도 2는 다양한 실시예에 따른 전자 장치(201)의 블록도이다. 전자 장치(201)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 전자 장치(201)는 하나 이상의 프로세서(예: AP)(210), 통신 모듈(220), 가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298)를 포함할 수 있다. 프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(210)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210)는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
통신 모듈(220)(예: 통신 인터페이스(170))은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227), NFC 모듈(228) 및 RF 모듈(229)를 포함할 수 있다. 셀룰러 모듈(221)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 가입자 식별 모듈(예: SIM 카드)(224)을 이용하여 통신 네트워크 내에서 전자 장치(201)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 프로세서(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(229)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(229)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈(224)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(230)(예: 메모리(130))는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등) 및 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD)) 중 적어도 하나를 포함할 수 있다. 외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치(201)와 기능적으로 또는 물리적으로 연결될 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 전자 장치(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예: RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(240)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(201)는 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널(252), (디지털) 펜 센서(254), 키(256), 또는 초음파 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(예: 마이크(288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 프로젝터(266), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나 이상의 모듈로 구성될 수 있다. 한 실시예에 따르면, 패널(262)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 압력 센서는 터치 패널(252)과 일체형으로 구현되거나, 또는 터치 패널(252)과는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(201)의 내부 또는 외부에 위치할 수 있다. 인터페이스(270)는, 예를 들면, HDMI(272), USB(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다. 인터페이스(270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(280)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(150)에 포함될 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 전력 관리 모듈(295)은, 예를 들면, 전자 장치(201)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(296)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다.
인디케이터(297)는 전자 장치(201) 또는 그 일부(예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(201)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치(예: 전자 장치(201))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 블록도이다. 한 실시예에 따르면, 프로그램 모듈(310)(예: 프로그램(140))은 전자 장치(예: 전자 장치(101))에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 도 3을 참조하면, 프로그램 모듈(310)은 커널(320)(예: 커널(141)), 미들웨어(330)(예: 미들웨어(143)), API(360)(예: API(145)), 및/또는 어플리케이션(370)(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 전자 장치 상에 프리로드되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버(106) 등)로부터 다운로드 가능하다.
커널(320)은, 예를 들면, 시스템 리소스 매니저(321) 및/또는 디바이스 드라이버(323)를 포함할 수 있다. 시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. 미들웨어(330)는, 예를 들면, 어플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 런타임 라이브러리(335), 어플리케이션 매니저(341), 윈도우 매니저(342), 멀티미디어 매니저(343), 리소스 매니저(344), 파워 매니저(345), 데이터베이스 매니저(346), 패키지 매니저(347), 커넥티비티 매니저(348), 노티피케이션 매니저(349), 로케이션 매니저(350), 그래픽 매니저(351), 또는 시큐리티 매니저(352) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(335)는, 예를 들면, 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(335)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다. 어플리케이션 매니저(341)는, 예를 들면, 어플리케이션(370)의 생명 주기를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(343)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(344)는 어플리케이션(370)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(345)는, 예를 들면, 배터리의 용량 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보를 제공할 수 있다. 한 실시예에 따르면, 파워 매니저(345)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다. 데이터베이스 매니저(346)는, 예를 들면, 어플리케이션(370)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다.
커넥티비티 매니저(348)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(349)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저(350)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 시큐리티 매니저(352)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. API(360)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(370)은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 와치(384), 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(210)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
도 4a는 다양한 실시 예에 따른 전자 장치의 사시도를 나타낸 도면이다.
도 4a를 참조하면, 전자 장치(101)의 전면에는 터치 스크린 형태의 디스플레이(160a)가 위치할 수 있다. 디스플레이(160a)는 전자 장치(101)의 전면 대부분을 차지하도록 크게 형성될 수 있다. 전자 장치(101)의 하우징의 제1면의 제1단에는 스피커(282a)가 위치할 수 있다. 한 실시 예에 따르면, 사용자가 전자 장치(101)를 귀에 갖다 댄 상태로 통화하는 경우 사용자가 상대방의 음성을 청취할 수 있도록 전자 장치(101)의 제1면(예: 전면)의 제1단(예: 상단)에 스피커(282a)가 위치할 수 있다.
또한, 도 4a에 도시된 바와 같이 전자 장치(101)의 하우징의 제1 단부에 스피커(282b)가 위치할 수 있다. 여기서, 스피커(282a)는 통화 시의 음성 신호를 가청음으로 변환하여 출력하는 리시버로써 동작하며, 통화 시의 음성을 제외한 모든 음원 예컨대, 음악, 동영상 등의 재생 시의 음원 등은 스피커(282b)를 통해 출력될 수 있다. 스피커(282b)는 도 4a에 도시된 바와 같이 하단 에지 영역(또는 하부 측면)에 위치할 수도 있고, 제1면의 스피커(282a)가 향하는 방향과 반대되는 방향을 향하여 음원이 출력되도록 전자 장치(101)의 하우징의 제2면(예: 후면)의 하단부에 스피커(도시하지 않음)가 위치할 수도 있다. 예를 들어, 도 4a에 도시된 바와 같이 전자 장치(101)의 후면 상단에는 후면 카메라(291b)와 플래시(291c)가 위치할 수 있으며, 후면 하단에 스피커가 위치할 수도 있다. 이와 같이, 스피커(282b)는 하우징의 제1 단부 즉, 전자 장치(101)의 중앙을 기준으로 어느 한 단부로 치우쳐진 위치에 배치될 수 있으며, 스피커의 수 및 배치 위치는 이에 한정되지 않을 수 있다.
또한 전자 장치(101)의 하우징의 제1단부에는 적어도 하나의 마이크(288a)가 위치할 수 있다. 한 실시 예에 따르면, 마이크(288a)는 하우징에 외부를 향하게 배치될 수 있으며, 사용자의 음성이 유입될 수 있도록 하측면의 에지 영역에 위치할 수 있다. 마이크(288a)는 사용자의 음성 또는 외부 소리를 입력 받을 수 있는 위치이면 이에 한정되지 않을 수 있으며, 도 4a에서는 스피커(282b)와 인접한 하부 측면에 마이크(288a)가 위치하는 경우를 예시하고 있으나, 마이크(288a)의 위치와는 반대되는 위치 예컨대, 상부 측면에 추가로 마이크(288b)가 배치될 수도 있다.
도 4b는 다양한 실시 예에 따른 전자 네 장치와 그 전자 장치에 접속되는 이어폰의 구성을 개략적으로 나타낸 도면이다.
도 4b를 참조하면, 전자 장치(101)는 이어폰(400)의 접속을 위한 접속 부재(420)를 포함하여 구성될 수 있다. 이러한 접속 부재(420)는 전자 장치(101)와 이어폰(400)이 서로 접속될 수 있는 인터페이스라고 칭할 수 있으며, 이어폰이나 헤드셋 접속을 위한 이어잭(earjack)으로 구현될 수 있다.
한편, 본 발명의 구체적인 실시 예를 설명함에 있어, 접속 부재로서 이어폰 플러그가 접속되는 이어잭을 예로 들어 설명하고 있지만, 전원 연결을 위한 플러그, HDMI 단자나 충전 단자와 같이 정보통신 기기에 설치되면서 외부 기기와의 접속을 제공하는 인터페이스 커넥터, 저장 매체가 삽입되는 소켓, 착탈식 안테나가 결합하는 안테나 소켓과 같은 접속 부재들 중, 어느 하나일 수 있다.
접속 부재(420)는 일측이 개방된 실린더 형태로 형성될 수 있으며, 몸체에 이어폰 플러그(410) 등이 삽입, 접속되는 홀이 형성되어 있다. 상기 홀은 상기 몸체의 길이 방향으로 연장될 수 있다.
이어폰(400)은 사용자의 양쪽 귀 중 어느 하나에 장착되거나 사용자의 양쪽 귀에 각각 장착되도록 소리가 출력되는 유닛이 구비될 수 있다. 이어폰(400)의 단부(401, 402)에는 사용자의 귀에 장착되어 소리가 출력되는 유닛이 한 쌍으로 구성될 수 있다. 각 단부(401, 402)에는 스피커 이외에 적어도 하나의 마이크(401L, 402R)가 구비될 수 있다. 여기서, 이어폰(400)이 사용자에게 착용될 시 사용자 양쪽 귀의 내부로 삽입되는 이어폰(400)의 구성 요소를 이어폰(400)의 단부(401, 402), 이어폰 유닛, 오디오 신호를 출력하는 한 쌍의 이어 스피커, 이어폰 채널 등으로 칭할 수 있으며, 예를 들어, 사용자 우측 귀에 삽입되는 이어폰의 구성 요소를 이어폰의 우측 이어 스피커 등으로 칭할 수 있다.
도 4c는 다양한 실시 예에 따른 전자 장치와 그 전자 장치에 연결되는 헤드셋의 구성을 개략적으로 나타낸 도면이다.
도 4c를 참조하면, 헤드셋(440)은 전선으로 바디(443)와 연결되는 이어폰 유닛(441R, 441L)을 포함할 수 있다. 이어폰 유닛(441R, 441L)은 사용자의 양쪽 귀에 각각 끼워질 수 있다. 바디(443)는 사용자 목에 걸 수 있도록 형성된 C 자 형상의 넥밴드를 포함할 수 있다. 헤드셋(440)은 전자 장치(101)와 통신 가능하게 연결될 수 있으며, 전자 장치(101)로부터 오디오 신호를 수신할 수 있다. 이어폰 유닛(441R, 441L)의 스피커는 전선을 통해 전자 장치(101)로부터의 오디오 신호를 받아 소리를 출력할 수 있다. 또한, 헤드셋(440)에 포함된 마이크로 사용자 음성이 유입되면, 전자 장치(101)로 전송할 수 있다.
상기한 바와 같이, 전자 장치(101)에 연결되는 이어폰(400)(또는 헤드셋(440))은 이어폰(400, 440)의 제1 몸체에 위치하는 적어도 하나의 제1마이크와 이어폰(400, 440)의 제2 몸체에 위치하는 적어도 하나의 제2 마이크를 통해 오디오 신호를 입력받을 수 있다. 이에 따라 이어폰(400, 440)의 제1 마이크와 제2 마이크를 통해 외부 예컨대, 전자 장치(101)로부터 출력되는 오디오 신호가 유입될 수 있다. 여기서, 제1몸체는 사용자 양이 중 어느 하나의 귀로 삽입되는 이어폰 유닛이며, 제2몸체는 상기 사용자의 다른 귀로 삽입되는 이어폰 유닛일 수 있다.
또한, 이어폰(400, 440)의 제1이어폰 유닛에는 오디오 신호를 출력하는 제1스피커가 상기 제1 몸체의 제1 위치에 위치할 수 있으며, 이에 따라 제1몸체의 제2위치에는 제1마이크가 위치할 수 있다. 또한, 복수의 마이크가 구비되는 이어폰(400, 440)의 경우 제1몸체의 제3위치에는 제3마이크가 위치할 수 있다. 반면, 제2이어폰 유닛에는 제2스피커가 상기 제2 몸체의 제1위치에 위치할 수 있으며, 이에 따라 제2 몸체의 제2 위치에 제2 마이크가 위치할 수 있다. 또한 복수의 마이크가 구비되는 이어폰(400, 440)의 경우 상기 제2몸체의 제3 위치에 제4마이크가 위치할 수 있다. 이때, 제1 스피커 및 제2 스피커는 상기 이어폰(400, 440)이 사용자에게 착용될 시 사용자 양쪽 귀의 내부로 각각 삽입되는 위치에 배치되며, 상기 제1 마이크 및 상기 제2 마이크는 상기 사용자 양쪽 귀의 외부로 각각 노출되며, 상기 제3 마이크 및 상기 제 4 마이크는 상기 사용자 양쪽 귀의 내부로 각각 삽입되는 위치에 배치될 수 있다.
상기와 같은 이어폰 유닛을 가지는 이어폰의 구성을 구체적으로 살펴보기 위해 도 5를 참조하기로 한다.
도 5는 다양한 실시 예에 따른 이어폰의 구성을 나타낸 도면이다.
이어폰의 각 이어폰 유닛은 스피커와 적어도 하나의 마이크를 포함할 수 있으며, 도 5에 도시된 바와 같이 사용자 귀(501)에 삽입되는 이어폰 유닛(522)은 사용자 귀의 외부로 노출되는 위치에 위치하는 이어 마이크(510)와, 사용자 귀 내부(502)로 삽입되는 위치에 위치하는 이어 스피커, 음향 노즐(521) 및 이어 팁(ear tip)(530)을 포함할 수 있다. 또한, 이어폰 유닛(522)은 상기 마이크(510)와 반대되는 위치 예컨대, 이어 스피커와 인접한 위치에 추가 마이크를 더 포함할 수 있다.
또한 이어폰 유닛(522)은 탄성 부재(elastomer part)를 가지는 이어 팁(530a, 530b)을 포함함으로써 사용자에게 편안한 착용감을 제공할 수 있다. 이어 팁(530a, 530b)은 음향 노즐(521)의 외주면에 고정될 수 있으며, 외이도 형상에 맞도록 유연하게 변형되어 사용자에게 편안한 착용감을 제공할 수 있다. 또한 이어 마이크(510a, 510b)는 통화 시 화자의 음성 신호를 수집하는 역할을 할 수도 있지만, 주변 소음이 존재하는 상황에서 잡음 제거를 위해 이어 스피커와 반대되는 방향에 부착될 수 있다.
도 6a는 다양한 실시 예에 따른 이어폰의 착용 상태를 판단하기 위한 이어폰 및 전자 장치의 블록도이다.
도 6a에서는 이어폰의 좌측 및 우측 스피커 중 어느 하나가 빠져있거나 바뀌어서 착용된 상태 등 이어폰의 오장착 상태를 판단하기 위한 구성부를 예시하고 있다.
도 6a를 참조하면, 무선 헤드셋 등의 이어폰(600)은 전자 장치(101)로부터 수신된 오디오 신호를 스피커(680, 690)로 출력하고, 마이크들(610, 620)로 입력된 오디오 신호를 전자 장치(101)로 출력되도록 하는 제1오디오 처리부(640)를 포함할 수 있다. 이어폰(600)이 무선으로 연결된 상태인 경우 이어폰(600)은 통신 인터페이스(미도시)를 포함할 수 있으며, 통신 인터페이스는 블루투스 등의 통신 방식을 이용하는 등의 기타 근거리에서 통신 채널을 형성하여 신호를 송수신할 수 있는 다양한 무선 통신 모듈의 적용이 가능할 수 있다.
제1마이크(610) 및 제2마이크(620)는 사용자의 양쪽 귀에 각각 삽입되는 이어폰 마이크로, 각 마이크(610, 620)를 통한 입력 예컨대, 전자 장치(101)에서 발생하는 신호음, 화자의 음성 및 주변 잡음 입력 등을 전기적인 신호로 변환한 제1오디오 신호 및 제2오디오 신호를 전자 장치(101)로 전달할 수 있다. 도 6a에서는 이어폰 유닛마다 이어 마이크가 하나씩인 경우에 대응하여 2개의 마이크의 구성을 도시하나, 이어폰 유닛마다 2개의 이어 마이크가 위치하는 경우에는 제3마이크 및 제4마이크가 추가로 도시될 수 있다.
제1오디오 처리부(640)는 전자 장치(101)에 기능적으로 연결되는 이어폰의 제1몸체에 위치하는 적어도 하나의 마이크(예: 제1마이크(610), 제3마이크 등)를 통해 입력되는 제1오디오 신호와 상기 이어폰의 제2몸체에 위치하는 적어도 하나의 마이크(예: 제2마이크(620), 제4마이크 등)를 통해 입력되는 제2오디오 신호를 디지털 데이터화하여 유선 또는 무선 통신을 통해 전자 장치(101)의 프로세서(650)로 출력할 수 있다.
이어폰(600)과 유선 또는 무선으로 연결되는 전자 장치(101)는 프로세서(650) 및 제2오디오 신호 처리부(665)를 포함할 수 있다.
제2오디오 처리부(665)는 음성 통화 기능, 오디오 파일 재생 기능, 동영상 녹화 기능 등을 수행함으로 인해 발생하는 스피커(685)를 통한 출력 오디오 신호 및 마이크(615)로의 입력 오디오 신호를 처리하는 제2오디오 처리부(665)를 포함할 수 있다. 이어폰(600)이 전자 장치(101)에 연결된 상태에서는 상기 출력 오디오 신호는 스피커(685)가 아닌 이어폰(600)의 스피커(680, 690)를 통해 출력될 수 있다.
프로세서(650)는 제1오디오 처리부(640)로부터 전달된 데이터를 기반으로, 제1오디오 신호와 제2오디오 신호를 분석하여, 제1오디오 신호와 제2오디오 신호 간의 차이를 기반으로 이어폰의 장착 상태를 판단할 수 있다. 한 실시 예에 따르면, 프로세서(650)는 두 오디오 신호에 대한 주파수 특성, 지연 시간, 레벨 차이 중 적어도 하나를 기반으로 제1오디오 신호와 제2오디오 신호 간의 차이를 비교할 수 있다. 프로세서(650)는 제1오디오 신호와 제2오디오 신호 간의 비교 결과를 기반으로 이어폰의 착용 상태를 판단할 수 있다. 이에 따라 프로세서(650)는 이어폰 유닛들의 장착 유무, 이어폰 유닛들의 좌우 뒤바뀜, 느슨하게 장착된 상태 등의 오장착 상태를 판단할 수 있다.
프로세서(650)는 전자 장치(101)의 스피커(685)로부터 오디오 신호의 출력 시 이어폰(600)의 제1마이크(610)를 통해 상기 오디오 신호에 대응하는 제1오디오 신호를 획득하며, 이어폰(600)의 제2마이크(620)를 통해 상기 오디오 신호에 대응하는 상기 제2오디오 신호를 획득할 수 있다. 한 실시 예에 따르면, 프로세서(650)는 전자 장치(101)의 스피커가 향하는 방향을 검출하는 데 이용되는 센싱 정보를 전자 장치(101)의 적어도 하나의 센서를 통해 획득할 수 있다. 그리고 프로세서(650)는 획득된 센싱 정보를 이용하여 제1오디오 신호와 제2오디오 신호 간의 지연 시간 및 레벨 차이를 산출하고, 지연 시간 및 레벨 차이 중 적어도 하나를 기반으로 이어폰의 장착 상태를 판단할 수 있다. 예를 들어, 프로세서(650)는 상기 센싱 정보를 이용한다면 전자 장치(101)의 자세를 알 수 있어, 전자 장치(101)의 어느 한 측면으로 치우쳐 배치된 스피커가 사용자가 오른쪽 방향 및 왼쪽 방향 중 어느 방향에 더 가까운지를 판단할 수 있다.
만일 전자 장치(101)의 스피커가 사용자의 오른쪽을 향하고 있을 때, 스피커를 통해 재생음이 출력되면 재생음에 따른 이어폰의 마이크를 향한 입력은 전자 장치와 이어폰 간의 거리(예: 사용자 팔 길이 등)를 고려했을 때 이어폰의 양쪽 마이크 간에는 지연 시간이 발생할 수 있다. 여기서, 지연 시간은 평균적인 사용자 팔 길이에 따른 것으로 약 수십 ㎑ 샘플일 수 있다. 또한, 전자 장치(101)의 스피커가 사용자의 오른쪽을 향하고 있을 때, 스피커로부터 출력되는 재생음은 사용자의 오른쪽 귀에 삽입된 이어폰의 마이크에 먼저 입력되고, 왼쪽 귀에 삽입된 이어폰의 마이크에는 얼굴 등에 의한 회절, 감쇄의 이유로 오른쪽의 이어폰의 마이크로의 입력 크기에 비해 상대적으로 레벨이 낮아진 재생음이 입력될 수 있다. 이와 같이 프로세서(650)는 오른쪽 이어폰의 마이크를 통한 제1오디오 신호와 왼쪽 이어폰의 마이크를 통한 제2오디오 신호 간의 지연 시간 및 레벨 차이를 산출할 때 센싱 정보를 이용할 수 있다. 이에 따라 프로세서(650)는 센싱 정보를 이용하여 지연 시간, 레벨 차이 등을 구한 후 그 지연 시간, 레벨 차이 등을 이용하여 이어폰의 장착 상태를 판단할 수 있다.
구체적으로, 프로세서(650)는 전자 장치(101)의 스피커(685)를 통해 출력되는 재생음과 양쪽 이어폰의 마이크(610, 620)를 통해 들어오는 신호를 분석함으로써 지연 시간을 산출할 수 있다. 또한 프로세서(650)는 전자 장치(101)의 마이크(615)를 통해 입력되는 신호와 양쪽 이어폰의 마이크(610, 620)를 통해 들어오는 신호들 간의 관계를 분석함으로써 레벨 차이를 산출할 수 있다. 프로세서(650)는 지연 시간, 레벨 차이 등을 산출함으로써 이어폰(600)의 장착 상태를 판단할 수 있을 뿐만 아니라, 장착 상태에 대응하여 사용자에게 현재 장착 상태를 알려주거나 출력 신호를 보정할 수 있다.
이어폰(600)이 전자 장치(101)에 기능적으로 연결된 상태에서 이어폰의 착용 상태에 따라 프로세서(650)는 재생하고자 하는 오디오 신호를 보정하여 이어폰(600)의 스피커(680, 690)을 통해 출력할 수 있다. 이에 따라 이어폰 정상 장착 시에는 재생 오디오 신호의 품질을 극대화할 수 있어, 사용자에게 보다 품질 좋은 청취 환경을 제공할 수 있다. 반면, 이어폰의 좌측 및 우측 스피커 바뀌어서 착용된 상태일 지라도 사용자의 좌측 및 우측 귀에 대응하는 오디오 신호가 출력되도록 보정함으로써, 이어폰의 음질 변형을 방지할 수 있을 뿐만 아니라 사용자가 인위적으로 이어폰 착용 상태를 변경하지 않아도 되므로, 사용자 편의성이 증대되는 효과가 있다.
만일 동영상 녹화 또는 오디오 녹음 중인 경우, 프로세서(650)는 녹음하고자 하는 마이크 신호를 보정하여 녹음할 수 있다. 즉, 이어폰의 좌측 및 우측 스피커가 바뀌어서 착용된 상태일 지라도 사용자의 좌측 및 우측에 대응하는 마이크 신호가 입력되도록 보정할 수 있어, 주변 상황을 왜곡 없이 녹음할 수 있다.
한편, 이어폰(600)의 각 마이크(610, 620)를 통한 전자 장치(101)에서 발생하는 신호음, 화자의 음성 이외에 주변 잡음이 입력되는 경우, 주변 잡음을 이용한 이어폰의 착용 상태를 판단하는 프로세서(650)에서의 동작을 구체적으로 설명하기 위해 도 6b를 참조하기로 한다.
도 6b는 다양한 실시 예에 따른 주변 잡음을 이용한 이어폰의 착용 상태를 판단하기 위한 이어폰 및 전자 장치의 블록도이다.
도 6b를 참조하면, 제1마이크(610) 및 제2마이크(620)의 동작은 도 6a에서와 동일하다. 도 6b에서는 VAD(630) 및 잡음 제거부(660)를 추가로 예시하나, VAD(630) 및 잡음 제거부(660)는 프로세서(650) 내에 구현될 수도 있다.
제1오디오 처리부(640)는 이어폰의 적어도 하나의 마이크(610, 620)로부터 입력되는 오디오 신호를 디지털 데이터화하여 프로세서(650)로 출력할 수 있다.
VAD(voice activity detection)(630)는 제1마이크(610) 및 제2마이크(620)로 유입되는 입력이 사람의 음성인지 주변 잡음인지를 판단할 수 있다. 한 실시 예에 따르면, 도 6b에서는 제1마이크(610) 및 제2마이크(620)로부터 제1오디오 처리부(640)를 통한 오디오 신호만이 VAD(630)로 입력되는 것으로 도시되어 있으나, 이어폰 유닛마다 2개의 이어 마이크가 위치하는 경우에는 제3마이크 및 제4마이크로부터의 오디오 신호도 제1마이크 및 제2마이크로부터의 오디오 신호와 함께 전달되는 등, 이어폰의 적어도 하나의 마이크로부터 입력되는 오디오 신호가 전달되는 것으로 이해되어야 할 것이다.
VAD(630)는 제1마이크(610) 및 제2마이크(620)로 유입되는 입력(또는 소리)이 사람의 음성이라고 판단하면, 프로세서(650)로 음성을 전기적인 신호로 변환한 제1오디오 신호 및 제2오디오 신호를 전달할 수 있다. 반면, VAD(630)는 이어폰(600)의 제1마이크(610) 및 제2마이크(620)로 유입되는 입력이 사람의 음성이 아니라고 판단되면, 주변 잡음 입력을 전기적인 신호로 변환한 제1오디오 신호 및 제2오디오 신호를 잡음 제거부(660)로 전달할 수 있다.
잡음 제거부(660)는 프로세서(650)의 제어 하에 제1오디오 신호 및 제2오디오 신호에 대한 잡음 제거 동작을 수행할 수 있다. 여기서, 잡음 제거 동작은 예를 들어, ANC(active noise control) 기술이 사용될 수 있으며, 제1오디오 신호 및 제2오디오 신호에 포함된 잡음을 제거하거나 감소시키는 동작일 수 있다. ANC 기술을 이용할 경우 외부 잡음 참조 신호를 픽업하기 위해 하나 이상의 마이크들이 사용될 수 있으며, 제1마이크 및 제2마이크는 화자의 음성을 픽업하는 데 사용될 수 있으며, 제3마이크 및 제4마이크는 외부 잡음 참조 신호를 픽업하기 위해 사용될 수 있다.
한 실시 예에 따르면, 프로세서(650)는 제1오디오 신호 및 제2오디오 신호 간의 차이를 비교할 수 있도록 주파수 대역으로 나타낼 수 있다. 프로세서(650)는 주파수 대역으로 나타낸 제1오디오 신호 및 제2오디오 신호를 기반으로 두 신호 간의 차이를 비교하여, 차이를 기반으로 이어폰의 오장착 여부를 판단할 수 있다. 구체적으로 프로세서(650)는 주파수 특성, 지연 시간, 레벨 차이 중 적어도 하나를 기반으로 제1오디오 신호 및 제2오디오 신호 간의 차이를 비교할 수 있으며, 비교 결과를 기반으로 이어폰의 오장착 여부를 판단할 수 있다.
예를 들어, 전자 장치(101)에 이어폰이 연결된 상태로 사용자가 동영상 녹화 모드의 시작을 누르게 되면, 전자 장치(101)의 화면으로는 '이어폰 마이크로 녹음합니다'라는 안내 메시지가 표시됨과 동시에 전자 장치의 스피커로부터 시작음(또는 오디오 신호, 신호음)이 출력될 수 있다. 이에 따라 이어폰(600)의 제1마이크(610)와 제2마이크(620)로 상기 시작음에 대응하는 제1오디오 신호 및 제2오디오 신호가 유입될 수 있으며, 전자 장치(101)의 프로세서(650)는 제1마이크(610)와 제2마이크(620)를 통해 상기 시작음에 대응하는 제1오디오 신호 및 제2오디오 신호를 획득할 수 있다. 프로세서(650)는 상기 제1오디오 신호와 상기 제2오디오 신호 간의 주파수 특성, 지연 시간 및 상기 제1오디오 신호와 상기 제2오디오 신호 간의 레벨 차이 중 적어도 하나를 이용하여 이어폰 유닛들의 장착 유무, 이어폰 유닛들의 좌우 뒤바뀜, 느슨하게 장착된 상태 등의 오장착 상태를 판단할 수 있다.
전자 장치(101)의 스피커는 도 4a에 도시된 바와 같이 디스플레이(160a)를 둘러싸는 베젤 영역 중 하단 영역 등에 배치되므로, 이어폰 유닛이 사용자의 양 귀에 정상적으로 착용된 상태에서는 이어폰(600)의 제1마이크(610) 및 제2마이크(620)로 유입되는 신호 간의 시간 지연이 발생할 수 있다. 예를 들어, 이어폰 마이크를 통해 약 48kHz의 주파수로 녹음이 되고 있는 상황일 경우 사용자의 평균적인 팔 길이를 고려했을 때 양쪽 이어 마이크 간에는 약 수십 샘플(예: 약 10-15 kHz 샘플)의 시간 지연이 발생할 수 있다.
한 실시 예에 따르면, 프로세서(650)는 이어폰의 제1마이크(610) 및 제2마이크(620)로 유입되는 신호 간의 지연 시간이 임계 범위를 벗어난다고 판단되면, 이어폰의 장착 상태가 탈거 상태라고 판단할 수 있다. 예를 들어, 제1마이크(610) 및 제2마이크(620)로 유입되는 신호 간의 지연 시간이 최소 임계 지연 시간보다 작을 경우에는 제1마이크(610) 및 제2마이크(620) 간의 거리가 최소 임계 거리보다 너무 가깝게 놓여진 상태를 의미할 수 있으므로, 양쪽 이어폰 유닛이 모두 탈거된 상태라고 판단할 수 있다. 또한 제1마이크(610) 및 제2마이크(620)로 유입되는 신호 간의 지연 시간이 최대 임계 지연 시간보다 클 경우 제1마이크(610) 및 제2마이크(620) 간의 거리가 최대 임계 거리보다 멀리 놓여진 상태를 의미할 수 있으므로, 양쪽 이어폰 유닛 중 적어도 하나가 탈거된 상태라고 판단할 수 있다. 여기서, 최대 임계 시간 및 최소 임계 시간에 대한 구체적인 설명은 후술하기로 한다.
또한 재생음을 출력하는 스피커가 전자 장치(101)의 정중앙에 위치한 게 아닌 한 측면에 배치된 상태로 사용자가 전자 장치(101)를 사용자 중심 위치에서 쥐고 있는 상태에서는 이어폰(600)의 제1마이크(610) 및 제2마이크(620)로 유입되는 입력(또는 소리)은 사용자 얼굴 등에 의해 회절이나 감쇄 등의 영향을 받을 수 있다. 따라서 전자 장치(101)의 스피커와 같은 방향의 이어 마이크로 유입되는 입력 신호에 비해 반대 방향의 이어 마이크로 유입되는 입력 신호의 레벨이 낮을 수 있다. 그러므로, 이어폰의 제1마이크(610) 및 제2마이크(620)로 유입되는 신호 간에는 레벨 차이도 발생할 수 있다.
한 실시 예에 따르면, 프로세서(650)는 이어폰(600)의 제1마이크(610) 및 제2마이크(620)로 유입되는 신호 간의 레벨 차이가 임계값보다 작을 경우 사용자 양쪽 귀의 내부에 각각 위치하도록 착용되는 이어폰의 좌측 스피커 및 우측 스피커(680, 690)가 상기 사용자에게 착용될 시 뒤바뀌어 착용된 오장착 상태라고 판단할 수 있다.
상기한 바와 같이 프로세서(650)는 제1오디오 신호 및 제2오디오 신호에 대한 지연 시간, 레벨 차이 중 적어도 하나를 기반으로 이어폰 장착 상태를 판단할 수 있다. 따라서 프로세서(650)는 상기 지연 시간 및 상기 레벨 차이가 각각 임계값 보다 작을 경우, 이어폰(600)의 좌측 스피커 및 우측 스피커(680, 690)가 상기 사용자에게 착용될 시 뒤바뀌어 착용된 오장착 상태라고 판단할 수 있다.
한 실시 예에 따르면, 프로세서(650)는 전자 장치(101)의 적어도 하나의 센서로부터의 센싱 정보를 기반으로 전자 장치(101)의 자세 예컨대, 전자 장치(101)의 스피커가 향하는 방향을 검출할 수 있다. 이에 따라 프로세서(650)는 제1오디오 신호 및 제2오디오 신호에 대한 지연 시간, 레벨 차이 중 적어도 하나를 산출함에 있어, 스피커(685)가 향하는 방향이 예컨대, 스피커(685)가 좌우 이어폰 유닛 중 어느 이어폰 유닛 방향과 일치하는지를 판단할 수 있다. 따라서 프로세서(650)는 센싱 정보를 이용하여 지연 시간 및 레벨 차이 중 적어도 하나를 산출하고, 이를 기반으로 이어폰의 장착 상태를 판단할 수 있다.
한 실시 예에 따르면, 프로세서(650)는 제1오디오 신호 및 제2오디오 신호에 대한 지연 시간, 레벨 차이뿐만 아니라 주파수 특성을 기반으로 이어폰 장착 상태를 판단할 수 있다. 이때, 제1오디오 신호 및 제2오디오 신호에 대한 주파수 특성은 저주파수 대역에서는 지연 시간에 따라 다르게 나타나는 주파수 특성을 가지며, 고주파수 대역에서는 제1오디오 신호 및 제2오디오 신호 각각의 레벨이 다르게 나타나는 주파수 특성을 가지므로, 프로세서(650)는 상기와 같은 주파수 특성을 기반으로 이어폰 장착 상태를 판단할 수 있다.
여기서, 이어폰 장착 상태는 이어폰 유닛들이 사용자의 양 귀에 각각 정상적으로 삽입된 상태, 좌우 중 어느 하나에 대응하는 이어폰 유닛의 탈거, 이어폰 유닛들이 모두 탈거된 상태, 이어폰 유닛들 중 적어도 하나가 느슨하게 삽입된 상태, 이어폰 유닛들이 서로 뒤바뀌어 삽입된 상태 중 적어도 하나를 포함할 수 있다. 또한 프로세서(650)는 이어폰의 오장착 상태에 대응하여 오장착 상태를 사용자에게 알려주거나 재생 또는 녹음에 따라 이어폰 유닛을 통해 출력되는 신호를 보정할 수 있다.
제1오디오 처리부(640)는 프로세서(650)로부터 전달되는 오디오 신호를 가청음으로 변환하여 이어폰(600)의 제1스피커 및 제2스피커(680, 690)를 통하여 출력할 수 있다. 만일 프로세서(650)에서 이어폰의 오장착 상태가 검출되면, 제1오디오 처리부(640)는 프로세서(650)의 제어 하에 이어폰의 제1스피커 및 제2스피커(680, 690)로 출력되어야 하는 신호를 서로 스위칭하여 출력할 수 있다.
예를 들어, 사용자의 좌측 귀에는 이어폰의 좌측 스피커(680)가 삽입되어야 하며 사용자의 우측 귀에는 이어폰의 우측 스피커(690)가 삽입되도록 착용해야 하지만 뒤바뀐 채로 착용되었다고 판단되면, 프로세서(650)는 좌우 채널을 변경할 수 있다. 이에 따라 좌측 스피커(680)로는 우측 스피커(690)로 출력되어야 할 신호가 출력되며, 우측 스피커(690)로는 좌측 스피커(680)로 출력되어야 할 신호가 출력될 수 있다. 즉, 프로세서(650)는 좌측 스피커(680)의 채널로는 우측 오디오 신호에 대응하는 신호로 보정하여 출력할 수 있다.
잡음 제거부(660)는 프로세서(650)의 제어 하에 멀티 마이크 잡음 제거를 수행할 경우 멀티 마이크 잡음 제거를 위한 파라미터 값들을 조절함으로써 제1오디오 신호 및 제2오디오 신호 중 적어도 하나에 포함된 잡음을 감소시킬 수 있다. 또한 잡음 제거부(660)는 프로세서(650)의 제어 하에 좌우 측 중 어느 하나의 이어폰 유닛이 탈거된 경우 탈거된 이어폰을 제외한 나머지 이어폰 유닛의 신호에 대한 단일 마이크 잡음 제거를 수행할 수 있다. 이에 따라 잡음 제거부(660)는 제1오디오 신호 및 제2오디오 신호 중 어느 하나의 오디오 신호에 대해서만 그 오디오 신호에 포함된 잡음을 제거하는 동작을 수행할 수 있다.
도 7a는 일 실시 예에 따른 동영상 녹화 모드에서 이어폰의 착용 상태를 판단하기 위한 전자 장치에서의 동작 흐름도이다. 한편, 본 발명의 구체적인 실시 예를 설명함에 있어, 이어폰을 예로 들어 설명하고 있는데 이어폰은 유선 이어폰, 무선 이어폰, 무선 헤드셋 중 어느 하나일 수 있다.
이하의 설명에서 이어폰의 착용 상태를 판단하기 위한 조건으로 동영상 녹화 모드를 예로 들어 설명하나, 전자 장치(101)에 이어폰이 접속된 상태에서 녹음을 하는 상황 등 이어폰에 장착된 외부 마이크를 통해 오디오 신호가 입력될 수 있는 상황이면 모두 가능할 수 있다.
도 7a를 참조하면, 전자 장치(101)는 700 동작에서와 같이 동영상 녹화 모드로 동작할 수 있다. 동영상 녹화 모드에서 동영상 녹화가 시작되면 전자 장치(101)에서는 동영상 녹화 모드의 시작을 알리는 시작음을 출력할 수 있다. 이때. 전자 장치(101)에 접속되는 이어폰에서는 이어폰에 구비된 외부 마이크를 통해 상기 시작음 출력에 대응하는 오디오 신호가 입력되며, 입력된 오디오 신호를 전자 장치(101)로 전달할 수 있다. 이와 같이 이어폰의 좌측 및 우측 스피커로부터 입력되는 신호를 기반으로 이어폰의 착용 여부, 좌측 및 우측의 뒤바뀜 등 이어폰의 착용 상태를 판단할 수 있다.
우선, 이어폰에 구비된 좌측 및 우측의 외부 마이크를 통해 상기 시작음 출력에 대응하는 오디오 신호를 수신하기에 앞서, 전자 장치(101)는 전자 장치(101)의 상기 시작음을 출력한 스피커가 이어폰의 좌측 및 우측 스피커 중 어느 스피커 쪽에 가까운지를 알아야 한다. 이를 위해 전자 장치(101)는 705 동작에서 전자 장치(101)의 스피커가 향하는 방향을 검출할 수 있다.
구체적으로, 전자 장치(101)는 전자 장치(101)의 센서 모듈을 통해 감지된 센싱 정보 예컨대, 전자 장치(101)의 자세 정보를 기반으로 스피커가 향하는 위치를 검출할 수 있다. 예를 들어, 사용자가 전자 장치(101)를 손에 쥔 채로 전자 장치(101)의 후면 카메라가 후방을 향하도록 한 상태에서 동영상 녹화를 시작하는 경우 전자 장치(101)의 스피커는 사용자 중심을 기준으로 좌측 또는 우측 중 어느 한 방향과 가까울 수 있다. 여기서, 후방은 전자 장치(101)의 후면과 대면하는 방향이고, 전방은 전자 장치(101)의 전면과 대면하는 방향이며, 전방은 일 방향을 나타내고, 후방은 일 방향에 반대인 방향을 나타낼 수 있다.
이어, 전자 장치(101)는 710 동작에서 이어폰의 제1마이크 및 제2마이크를 통해 제1신호 및 제2신호를 수신할 수 있다. 여기서, 제1신호 및 제2신호는 상기 시작음 출력에 대응하는 오디오 신호를 포함할 수 있다. 이때, 도 7a에서는 스피커가 향하는 방향을 검출하는 데 이용되는 센싱 정보를 획득하는 동작 이후에 이어폰의 제1마이크 및 제2마이크를 통해 제1신호 및 제2신호를 수신하는 동작을 수행하는 것으로 도시되어 있으나, 705 동작 및 710 동작은 동시에 수행될 수 있으므로 그 동작 순서는 이에 한정되지 않을 수 있다.
이어, 전자 장치(101)는 715 동작에서 제1신호 및 제2신호 간의 지연 시간을 기반으로 이어폰의 장착 상태를 판단할 수 있다. 한 실시 예에 따르면, 전자 장치(101)는 제1신호 및 제2신호 간의 지연 시간뿐만 아니라 제1신호 및 제2신호 간의 레벨 차이를 기반으로도 이어폰의 장착 상태를 판단할 수 있다. 여기서, 제1신호 및 제2신호 간의 지연 시간을 산출하는 동작 및 레벨 차이를 산출하는 동작은 하기에서 상세하게 후술하기로 한다.
전자 장치(101)는 720 동작에서 판단된 장착 상태가 비정상인지의 여부를 판단할 수 있다. 만일 판단된 장착 상태가 비정상일 경우 전자 장치(101)는 725 동작에서 이어폰 오장착을 알리면서 730 동작에서 이어폰 오장착 상태에 대응하여 출력 신호를 보정할 수 있다.
여기서, 이어폰의 오장착 상태에 따른 출력 신호의 보정 동작을 구체적으로 설명하기 위해 도 8을 참조하기로 한다. 도 8은 다양한 실시 예에 따른 이어폰의 오장착 상태를 설명하기 위한 예시도이다.
도 8(a)에서는 이어폰의 오장착 상태 중 사용자의 좌측 귀에 좌측 이어폰 유닛이 정상적으로 삽입되어 있으나, 우측 이어폰 유닛이 탈거된 상태를 예시하고 있다. 도 8(b)에서는 이어폰의 오장착 상태 중 이어폰 유닛들이 모두 탈거된 상태를 예시하고 있으며, 도 8(c)에서는 이어폰의 오장착 상태 중 사용자의 좌측 귀에는 우측 이어폰 유닛이 삽입되어 있으며 사용자의 우측 귀에는 좌측 이어폰 유닛이 삽입되어 있어, 좌측 및 우측 이어폰 유닛이 서로 각각 사용자의 반대 귀에 삽입된 상태를 예시하고 있다.
도 8에 도시된 바와 같은 이어폰 오장착 상태에 대응하여 전자 장치(101)는 각각의 오장착 상태에 대응하여 출력 신호를 다르게 보정할 수 있다.
전자 장치(101)는 도 8(a) 및 도 8(b)에서와 같은 좌우 중 적어도 하나에 대응하는 이어폰 유닛의 탈거 상태에서는 이어폰 유닛이 탈거된 상태임을 경고음 또는 경고 화면을 통해 사용자에게 알릴 수 있다. 또한 전자 장치(101)는 도 8(c)에서와 이어폰 유닛들이 서로 뒤바뀌어 삽입된 상태일 경우, 전자 장치(101)는 각 이어폰 유닛에 해당하는 좌우 채널을 서로 스위칭할 수 있다. 예를 들어, 사용자의 좌측 귀에는 우측 이어폰 유닛이 삽입되었으며 사용자의 우측 귀에는 좌측 이어폰 유닛이 삽입되도록 착용된 상태일 경우, 좌우 채널을 서로 스위칭함으로써 각 이어폰 유닛의 스피커로 출력되는 신호가 서로 바뀌어 출력되도록 제어할 수 있다.
도 7b는 다른 실시 예에 따른 이어폰의 착용 상태를 판단하기 위한 전자 장치에서의 동작 흐름도이다.
도 7b의 740 동작 내지 755 동작은 도 7a의 700 동작 내지 715 동작에 대응하는 것이며, 775 동작 내지 785 동작은 도 7a의 720 동작 내지 730 동작에 대응하는 것이므로, 이에 대한 구체적인 설명은 생략하기로 한다.
다만, 도 7b에서는 이어폰의 오장착 상태를 판단하는 데 있어, 전자 장치(101)에서 지연 시간 이외에 전자 장치의 마이크로 입력되는 신호를 이용하는 경우의 추가적인 동작을 나타내고 있다. 예를 들어, 동영상 녹화 중이거나 이어 마이크를 이용하여 녹음을 하는 도중에는 전자 장치의 적어도 하나의 마이크로도 화자의 음성, 주변 잡음 등의 소리가 입력될 수 있다.
따라서 전자 장치(101)는 760 동작에서 전자 장치의 마이크를 통해 주변 신호(또는 소리)가 입력되는지를 판단할 수 있다. 만일 주변 신호가 입력되지 않는 경우에는 770 동작에서 이어폰의 제1마이크 및 제2마이크로 유입되는 제1신호 및 제2신호 간의 지연 시간을 기반으로 이어폰의 장착 상태를 판단할 수 있다. 반면, 760 동작에서 전자 장치의 마이크를 통해 주변 신호(또는 소리)가 입력되는 경우, 전자 장치(101)는 765 동작에서 전자 장치의 마이크로 입력되는 주변 신호와 제1 신호 및 제2신호와의 상관도를 분석할 수 있다. 구체적으로, 전자 장치(101)는 전자 장치의 마이크로 입력되는 주변 신호와 제1 신호 및 제2신호에 대한 주파수 변환을 수행한 후, 주변 신호와 제1 신호 간의 상관도, 주변 신호와 제2신호 간의 상관도를 산출할 수 있다. 이어 전자 장치(101)는 770 동작에서 지연 시간 및 상관도 중 적어도 하나를 기반으로 이어폰의 장착 상태를 판단할 수 있다.
예를 들어, 도 4a에 도시된 전자 장치(101)의 양단에 위치하는 마이크(288a, 288b)는 각각의 방향에서 들어오는 주변 소리를 픽업할 수 있으며, 각 이어 마이크에서도 동시에 주변 소리를 픽업할 수 있다. 이에 따라 전자 장치(101)는 4개의 마이크로부터 입력되는 신호들 간의 상관 관계를 기반으로 이어폰의 위치를 판별할 수 있다. 예를 들어, 같은 방향의 전자 장치의 마이크 신호와 이어 마이크 신호 간의 상관도가 높게 나타나므로, 전자 장치(101)는 각 상관도를 비교한 결과를 기반으로 이어폰의 정상 장착 여부를 판단할 수 있다.
예를 들어, 전자 장치(101)는 같은 방향 신호 즉, 이어폰의 우측 마이크 신호와 전자 장치의 우측 마이크 신호의 상관도와, 다른 방향 신호 즉, 이어폰의 좌측 마이크 신호와 전자 장치의 우측 마이크 신호의 상관도를 산출할 수 있다. 이어폰의 우측 마이크 신호와 전자 장치의 우측 마이크 신호의 상관도는 방향이 같으므로, 상관도가 다른 방향의 상관도 보다 높게 나타날 수 있다. 하지만, 만일 이어폰의 좌측 마이크 신호와 전자 장치의 우측 마이크 신호의 상관도가 같은 방향 신호 즉, 이어폰의 우측 마이크 신호와 전자 장치의 우측 마이크 신호의 상관도 보다 높은 경우, 즉, 상관도가 서로 크로스된 값으로 산출되는 경우 이어폰의 오장착을 판단할 수 있다. 즉, 전자 장치(101)는 산출된 상관도 값들을 기반으로 이어폰 마이크의 좌우 위치가 바뀌었다고 판단할 수 있다.
이때, 지연 시간 및 상관도는 전자 장치(101)의 스피커 방향, 마이크 방향 중 적어도 하나에 따라 달라질 수 있으므로, 전자 장치(101)의 자세 정보를 이용하여 전자 장치(101)의 스피커 방향, 마이크 방향 중 적어도 하나의 방향을 보정할 수 있다. 이에 따라 전자 장치(101)는 보정된 스피커 방향, 마이크 방향 등을 지연 시간 및 상관도를 산출하는 데 이용할 수 있다.
이하, 지연 시간 및 상관도를 산출하는 방법을 구체적으로 설명하기로 한다.
도 9a는 다양한 실시 예에 따른 이어폰의 좌측 및 우측 마이크로의 입력되는 신호 간 지연 시간 및 레벨 차이를 설명하기 위한 도면이다.
도 9a를 참조하면, 사용자가 동영상 촬영 또는 이어 마이크를 이용한 녹음 시작 버튼을 누르게 되면, 전자 장치(101)의 마이크를 통해 시작음이 출력될 수 있다. 이어폰의 좌측 마이크(901L) 및 우측 마이크(910R)로는 상기 시작음에 대응하는 제1오디오 신호 및 제2오디오 신호가 획득될 수 있다. 상기 시작음에 대응하는 제1오디오 신호 및 제2오디오 신호는 이어폰 오장착 여부를 판단하는 데 기준이 되는 초기 신호일 수 있다. 이때, 이어폰 줄의 길이가 정해져 있기 때문에 전자 장치(101)에 연결된 상태의 이어폰과 전자 장치(101) 간의 최대 거리는 정해질 수 있다. 이어폰과 전자 장치(101) 간의 최대 거리를 'L-max'라고 할 경우 전자 장치(101)의 마이크를 통해 시작음이 출력되는 시간과 이어 마이크로 시작음에 대응하는 오디오 신호가 유입되는 시간 간에는 시차(또는 지연 시간)가 발생할 수 있다. 따라서 이러한 시차를 'Ts'라고 할 경우 Ts는 하기 수학식 1을 통해 산출될 수 있다.
Figure pat00001
상기 수학식 1에서, C는 음속을 나타내며, L-max는 이어폰과 전자 장치(101) 간의 최대 거리를 나타내므로, Ts는 전자 장치(101)와 이어폰의 최대 거리 및 음속을 고려한 시간 임계값을 나타낼 수 있다.
도 9a에 도시된 바와 같이 이어폰의 좌측 마이크(901L)로 시작음에 대응하는 오디오 신호가 유입되는 시간과, 우측 마이크(910R)로 시작음에 대응하는 오디오 신호가 유입되는 시간 간에도 지연 시간이 발생할 수 있다. 이어폰의 좌측 마이크(901L)과 우측 마이크(910R) 간의 지연 시간을 'Td'라고 할 경우, Td는 좌측 마이크(901L)의 신호(x_L)와 우측 마이크(910R)의 신호(x_R)의 상관도(cross-correlation)이 최대값을 갖는 지연 시간을 나타낼 수 있다. 여기서, 좌측 마이크(901L)의 신호(x_L)와 우측 마이크(910R)의 신호(x_R)의 상관도(cross-correlation)는 하기 수학식 2를 통해 산출될 수 있다.
Figure pat00002
상기 수학식 2에서, x_L은 좌측 마이크(901L)로 유입되는 신호를 나타낼 수 있으며, x_R은 우측 마이크(910R)로 유입되는 신호를 나타낼 수 있다. 이때, 지연 시간의 오차를 줄이기 위해 반사 또는 회절 등의 영향을 적게 받는 주파수 대역 신호에 대해서 지연 시간을 산출할 수 있다. 예를 들어, 저주파수 대역의 경우 오디오 신호가 이어 마이크로 유입될 때 반사 또는 회절 등의 영향을 적게 받으므로, 전자 장치(101)는 LPF(low pass filter)를 사용하여 저주파수 대역 신호에 대해 지연 시간을 산출할 수 있다.
한편, 도 9a에 도시된 바와 같이 유선 이어폰이 전자 장치(101)에 접속된 상태일 경우 전자 장치(101)에 연결된 상태의 이어폰과 전자 장치(101) 간의 최대 거리는 유선 이어폰의 길이에 따라 정해질 수 있으나, 무선 이어폰, 헤드셋 등의 이어폰이 전자 장치(101)와 무선으로 연결된 상태일 경우에는 다음과 같은 방식으로 정해질 수 있다.
도 9b는 다양한 실시 예에 따른 헤드셋의 좌측 및 우측 마이크로의 입력되는 신호 간 지연을 설명하기 위한 도면이다.
도 9b에 도시된 바와 같이 무선 이어폰, 헤드셋 등의 이어폰(440)을 착용한 사용자가 전자 장치(101)를 이용하여 녹화를 하는 경우 전자 장치(101)의 전면 디스플레이 상에 표시되는 전방 영상을 보면서 녹화를 할 수 있다. 이어폰(440)은 전자 장치(101)와 무선으로 연결된 상태이므로, 무선 연결된 상태에서는 그 이어폰과 전자 장치(101) 간의 최대 거리는 평균적인 사람 팔의 최대 길이 등에 따라 정해질 수 있다. 따라서, 도 9b에서 'L-max'는 평균적인 사람 팔의 최대 길이를 나타낼 수 있으며, 'Ts'는 상기 수학식 1을 통해 구할 수 있다. 도 9a에서와 마찬가지로, 도 9b에서의 'Td'는 이어폰의 좌측 마이크(441L)과 우측 마이크(441R) 간의 지연 시간을 나타낼 수 있다.
한편, 도 9a 및 도 9b에 도시된 바와 같이 이어폰의 좌측 마이크(901L, 441L) 및 우측 마이크(910R, 441R)의 입력되는 신호 간에는 시차가 발생할 수 있으며, 좌측 마이크(901L, 441L) 및 우측 마이크(910R, 441R)가 사용자가 양쪽 귀에 각각 착용된 상태에서는 각 신호 간의 레벨 차이도 발생할 수 있다.
예를 들어, 사용자가 도 9c에 도시된 바와 같이 전자 장치(101)를 양손으로 쥔 채로 녹화를 하는 경우 사용자는 일반적으로 기준축(예: y축)을 기준으로 전자 장치(101)와 일정한 거리(d)를 유지한 채로 녹화 또는 녹음을 할 수 있다. 또한 도 9d에 도시된 바와 같이 사용자를 위에서 바라봤을 때 전자 장치(101)를 A, B, C 위치로 움직이면서 촬영을 하더라도 이어폰 줄의 길이와 사용자 팔 길이 등을 고려한다면 사용자의 얼굴 중심 또는 몸통으로부터 일정 거리 예를 들어, 약 20Cm 정도 떨어진 상태가 유지되는 것으로 가정할 수 있다. 여기서, 도 9c 및 도 9d는 다양한 실시 예에 따른 전자 장치의 위치와 사용자 위치 간의 관계를 설명하기 위한 도면이다.
예를 들어, 사용자가 도 9c에 도시된 바와 같이 전자 장치(101)를 양손으로 쥔 채로 녹화를 하는 경우 전자 장치(101)의 스피커가 향하는 방향이 사용자의 우측 방향인 상태에서는 우측 마이크(910R)로 입력되는 신호는 얼굴에 의한 반사 또는 굴절 등으로 인한 감쇄 영향이 거의 없어 좌측 마이크(901L)로 입력되는 신호의 레벨보다 낮게 나타날 수 있다. 좌측 마이크(901L)의 신호(x_L)와 우측 마이크(910R)의 신호(x_R) 간의 레벨 차이를 'Ld'라고 할 경우, Ld는 좌측 마이크(901L)의 신호(x_L)와 우측 마이크(910R)의 신호(x_R) 간의 RMS(root mean square) 차이를 나타낼 수 있다. 즉, 좌측 마이크(901L)의 신호(x_L)와 우측 마이크(910R)의 신호(x_R) 간의 변화하는 값의 크기에 대한 통계적 척도를 나타낼 수 있다. 이때, 레벨 차이의 오차를 줄이기 위해 얼굴 등에 의한 감쇄 영향을 많이 받는 주파수 대역 신호에 대해 레벨 차이를 산출할 수 있다. 예를 들어, 고주파수 대역의 경우 좌우 오디오 신호의 레벨 간의 차이가 크게 나타나므로, 전자 장치(101)는 HPF(high pass filter)를 사용하여 고주파수 대역 신호에서는 레벨 차이를 산출할 수 있다.
한편, 전자 장치(101)의 마이크를 통해 입력되는 신호와, 각 이어 마이크를 통해 입력되는 신호들 간의 상관도를 기반으로 이어폰 오장착 여부를 판단할 수 있다.
같은 방향 신호 즉, 이어폰의 좌측 마이크 신호와 전자 장치의 좌측 마이크 신호의 상관도를 'C_LL'이라고 하고, 이어폰의 우측 마이크 신호와 전자 장치의 우측 마이크 신호의 상관도를 'C_RR'이라고 하고, 다른 방향 신호 즉, 이어폰의 좌측 마이크 신호와 전자 장치의 우측 마이크 신호의 상관도를 'C_LR'이라고 하고, 이어폰의 우측 마이크 신호와 전자 장치의 좌측 마이크 신호의 상관도를 'C_RL'이라고 할 경우, 각각의 상관도 'C_LL', 'C_RR', C_LR', 'C_RL'를 산출할 수 있다. 이때, 전자 장치(101)에 어느 한 측에 하나의 마이크가 구비되는 경우에도 상기와 같은 방법과 동일하게 상관도를 산출할 수 있다. 이와 같이 전자 장치(101)는 주파수 밴드별로 일관성(coherence)을 구할 수 있다.
상기와 같은 방법을 통해 지연 시간(Td), 레벨 차이(Ld), 이어폰과 전자 장치(101) 간의 상관도를 산출하게 되면, 전자 장치(101)는 적어도 하나를 이용하여 이어폰 장착 상태를 판단할 수 있다.
먼저, 지연 시간(Td)을 이용한 이어폰 장착 상태를 판단하는 방법을 설명하기 위해 도 10a를 참조하기로 한다.
도 10a는 다양한 실시 예에 따른 이어폰의 각 마이크 간의 지연 시간을 설명하기 위한 그래프이다.
도 10a에서는 이어폰의 좌측 및 우측 마이크 각각으로 유입되는 신호를 주파수 변환했을 때의 주파수 특성을 예시하고 있다. 도 10a에서 가로축은 시간을 나타내며, 세로축은 주파수를 나타내는 것이다. 도 10a에 도시된 바와 같이 이어폰의 좌측 마이크를 통해 들어온 오디오 신호(1000)와, 우측 마이크를 통해 들어온 오디오 신호(1010) 간에는 지연이 발생(1020)할 수 있다. 여기서, 지연 발생이 된 시점은 전자 장치(101)로부터 시작음이 출력되어 이어 마이크로 입력 되었을 때 즉, 시작음에 대응하는 오디오 신호가 최초 입력된 시점을 나타낼 수 있다.
만일 이어폰의 좌측 마이크를 통해 들어온 오디오 신호(1000)와 우측 마이크를 통해 들어온 오디오 신호(1010) 간에 지연이 발생했을 경우, 전자 장치(101)는 지연 시간(Td)이 최대 임계 지연 시간 및 최소 임계 지연 시간 사이인 임계 범위 이내인지를 판단할 수 있다. 여기서, 최대 임계 지연 시간은 양쪽 귀에 이어 마이크들이 각각 위치했을 경우의 지연 시간의 최대값이며, 최소 임계 지연 시간은 양쪽 귀에 이어 마이크들이 각각 위치했을 경우의 지연 시간의 최소값이다.
만일 임계 범위 내에서 지연이 발생한 경우에는 즉, 지연 시간(Td)이 임계 범위 이내인 경우 전자 장치(101)는 이어폰 마이크들이 둘 다 정상적으로 착용된 상태라고 판단할 수 있다. 하지만, 지연 시간이 상기 최대 임계 지연 시간 보다 크거나 상기 최소 임계 지연 시간 보다 작은 경우 전자 장치(101)는 이어폰의 장착 상태가 탈거 상태라고 판단할 수 있다. 또한, 상기 최소 임계 지연 시간 보다 지연 시간이 작은 경우 이어폰의 좌우가 바뀌었다고 판단할 수도 있다.
또한, 도 10a에 도시된 바와 같이 이어폰의 좌측 마이크를 통해 들어온 오디오 신호(1000)와 우측 마이크를 통해 들어온 오디오 신호(1010) 간에는 고주파수 대역에서는 레벨 차이가 크게 나타남을 알 수 있다. 따라서 고주파수 대역에서 우측 마이크를 통해 들어온 오디오 신호(1010)가 레벨이 감소(1030)한다는 것은 전자 장치(101)의 마이크로부터 더 멀게 위치한다는 것을 의미할 수 있다.
따라서 지연 시간(Td)이 0보다 크고, 레벨 차이(Ld)도 0보다 클 경우 이어폰의 각 마이크는 정상 착용 상태를 나타내지만, 지연 시간(Td)이 0보다 작고, 레벨 차이(Ld)도 0보다 작을 경우 이어폰의 각 마이크가 서로 뒤바뀌어 착용된 상태를 나타낼 수 있다.
도 10b는 다양한 실시 예에 따른 이어폰의 각 마이크에 대한 최대 임계 지연 시간 및 최소 임계 지연 시간을 구하는 방법을 설명하기 위한 도면이다.
도 10b에서는 헤드 사이즈를 'H', 헤드와 전자 장치(101) 간의 거리를 'd_H'라고 할 경우, 이어폰 유닛(R, L)이 각각 사용자 양쪽 귀에 정상적으로 삽입된 상태에서 전자 장치(101)의 스피커로부터의 시작음이 우측 이어폰 유닛(R)에 도달하는 시간을 'd_R'이라고 하고, 좌측 이어폰 유닛(L)에 도달하는 시간을 'd_L'이라고 예시하고 있다.
예를 들어, 일반적인 사람의 헤드 사이즈(H)를 약 25 ㎝이라고 하고, 헤드와 전자 장치(101) 간의 거리(d_H)를 약 30 ㎝이라고 가정했을 경우, 이어폰 유닛(R, L)이 각각 사용자 양쪽 귀에 정상적으로 삽입된 상태에서 약 48 ㎑로 레코딩하는 환경의 경우 양쪽 이어폰 유닛(R, L) 간의 지연 시간은 약 10-15 ㎑ 이내로 예컨대, 약 14 샘플 정도의 지연이 발생할 수 있다. 하지만, 이어폰 유닛의 좌, 우가 서로 바뀌어 삽입된 상태에서는 지연 시간은 마이너스 샘플 값을 가질 수 있다. 반면, 한쪽 이어폰 유닛이 빠져있거나 두 이어폰 유닛 간의 거리가 멀어지게 되면 지연 시간은 약 30 샘플 이상의 값을 가질 수 있다. 이에 따라 최대 임계 지연 시간을 30 샘플, 최소 임계 지연 시간을 5 샘플로 설정할 수 있으며, 전자 장치(101)는 최대 및 최소 임계 지연 시간을 기반으로 이어폰의 정상 장착 여부를 판별할 수 있다.
도 10c는 다양한 실시 예에 따른 전자 장치의 마이크 신호와 이어폰의 각 마이크 신호 간의 상관도를 나타낸 그래프이다.
도 10c에서는 같은 방향 신호 즉, 이어폰의 좌측 마이크 신호와 전자 장치의 좌측 마이크 신호의 상관도를'C_LL'이라고 하고, 이어폰의 우측 마이크 신호와 전자 장치의 좌측 마이크 신호의 상관도를'C_RL'이라고 할 경우, 'C_LL'(1050)과 'C_RL'(1060) 각각의 상관도를 예시하고 있다. 여기서, 전자 장치의 좌측 마이크 신호는 전자 장치(101)를 도 9c에 도시된 바와 같이 쥐고 있는 상태에서 전자 장치(101)의 한 측면(예: 사용자를 기준으로 한 좌측면)에 배치된 마이크를 통해 입력되는 신호를 나타낼 수 있다. 도 10c에 도시된 바와 같이, 같은 방향의 신호가 상관도가 높게 나타남을 알 수 있다. 따라서 같은 방향의 신호의 상관도가 다른 방향의 신호의 상관도 보다 높게 나타난 경우에는 이어폰이 정상 장착되었다고 판단할 수 있다. 예를 들어, 같은 방향 신호들에 상관도 'C_LL', 'C_RR'의 경우 상관도 임계값과 비교하여, 상관도 임계값보다 작을 경우 이어폰이 탈거된 상태라고 판단할 수 있다. 여기서, 상관도 임계값은 각 이어 마이크의 착용 위치에서의 이어 마이크들 간의 일관성 기준 최저값일 수 있다.
또한, 전자 장치(101)는 같은 방향의 신호의 상관도가 다른 방향의 신호의 상관도 보다 낮게 나타난 경우에는 이어폰 마이크가 서로 바뀌어져 착용되었다고 판단할 수 있다. 예를 들어,'C_LL'보다 'C_RL'이 작을 경우 좌우가 뒤바뀌었다고 판단할 수 있다. 같은 방향이 상관도가 더 높기 때문에 다른 방향의 상관도가 더 높게 나타나게 되면 좌우가 뒤바뀌었다는 것을 나타낼 수 있다.
상기와 같이 이어폰 오장착 상태 예컨대, 좌우 중 어느 하나에 대응하는 이어폰 유닛의 탈거, 이어폰 유닛들이 모두 탈거된 상태, 이어폰 유닛들이 서로 뒤바뀌어 삽입된 상태, 느슨하게 장착된 상태 중 적어도 하나의 경우가 발생하면 전자 장치(101)는 사용자에게 이를 알라거나 출력 신호에 대한 보정을 수행할 수 있다.
도 11은 다양한 실시 예에 따른 이어폰의 오장착을 알리는 화면예시도이다. 도 11에 도시된 바와 같이 녹화 모드 시작 시 이어폰 오장착이 검출되면 화면에는 오장착 알림(1100)이 출력될 수 있다. 이외에도 이어폰 오장착에 대해 전자 장치(101)는 화면, 경고음, 진동 등을 통해 사용자에게 알릴 수 있다.
도 12는 일 실시 예에 따른 통화 모드에서 이어폰의 착용 상태를 판단하기 위한 전자 장치에서의 동작 흐름도이다. 도 12에서는 통화 시 음성 신호를 이용한 이어폰의 오장착 판단 과정을 나타내고 있다.
도 12를 참조하면, 1200 동작에서 통화 모드가 시작되면, 전자 장치(101)는 1205 동작에서 이어폰의 제1및 제2마이크(예: 우측 이어폰의 마이크 및 좌측 이어폰의 마이크) 및 메인 마이크를 통해 입력되는 제1내지 제3신호를 수신할 수 있다. 이어, 전자 장치(101)는 1210 동작에서 제1 및 제 2 신호가 음성 신호인지를 판단할 수 있다. 예를 들어, 전자 장치(101)는 VAD 기술을 기반으로 제1및 제2마이크를 통해 입력된 신호가 실제 사람의 음성인지 주변 잡음 인지의 여부를 판단할 수 있다.
한편, 도 13은 다양한 실시 예에 따른 이어폰에 장착된 마이크들로 음성이 입력되는 경우를 설명하기 위한 예시도이다. 통화 시에는 도 13에 도시된 바와 같이 이어폰에 장착된 좌측 마이크, 우측 마이크 및 메인 마이크를 통해 사용자 음성이 입력될 수 있다. 도 13에서는 메인 마이크가 양쪽 이어 마이크를 연결하는 중심에 위치하는 것으로 예시되어 있으나, 무선 헤드셋, 무선 이어폰 등의 경우 메인 마이크는 전자 장치(101)의 마이크일 수 있다.
도 13(a)에 도시된 바와 같이 이어 마이크들이 양 귀에 정상 착용된 상태에서는 각 이어 마이크로는 사용자 음성이 들어갈 수 있다. 하지만, 도 13(b)에 도시된 바와 같이 어느 한쪽이 탈거된 상태에서는 탈거된 이어 마이크로는 사용자 음성 보다는 주변 잡음이 더 많이 들어갈 수 있다. 따라서 통화 중 적어도 하나의 이어 마이크가 탈거된 상태에서는 멀티마이크 잡음 제거의 파라미터값을 조절하거나 단일 마이크 잡음 제거 동작을 수행함으로써 통화 품질을 보장할 수 있다.
따라서 전자 장치(101)는 제1 및 제2신호가 음성 신호일 경우 1215 동작에서 분석 결과를 기반으로 이어폰의 장착 상태를 판단할 수 있다. 즉, 제1 마이크 및 제2 마이크로 음성 신호가 입력될 때 제1 마이크로 입력되는 음성 신호와 제2 마이크로 입력되는 음성 신호 간의 비교 결과를 기반으로 상기 이어폰의 장착 상태를 판단할 수 있다. 반면 1210 동작에서 제1및 제2신호가 음성 신호가 아니라고 판단되면, 전자 장치(101)는 통화 모드를 종료할 수 있다. 구체적으로, 제1 및 제2신호가 음성 신호일 경우, 두 음성 신호 간의 상관도를 비교할 수 있다. 도 13(a)에 도시된 바와 같이 두 귀와 입 사이의 거리는 동일하므로, 두 귀에 이어 마이크들이 정상적으로 착용된 상태에서는 이어 마이크들과 화자의 입 사이의 거리도 동일하기 때문에 두 이어 마이크들로 들어온 음성 신호들 간에는 임계 범위 이내의 지연 시간, 주파수 특성, 레벨 차이가 나타날 수 있다.
따라서 전자 장치(101)는 지연 시간, 주파수 특성, 레벨 차이 등을 기반으로 1220 동작에서 판단된 장착 상태가 비정상인지를 판단할 수 있다. 만일 임계 범위를 벗어난 지연 시간의 발생, 임계값 보다 작은 레벨 차이의 발생 등의 경우에는 오장착으로 판단할 수 있다. 따라서 1220 동작에서 장착 상태가 비정상 즉, 오장착된 경우에는 1225 동작에서 오장착된 마이크로 유입되는 신호를 제외한 나머지 마이크 신호를 이용한 잡음 제거 동작을 수행할 수 있다. 또는 잡음 제거 파라미터의 값을 조절하여 잡음 제거를 수행할 수 있다.
반면, 장착 상태가 정상인 경우 전자 장치(101)는 1230 동작에서 정상 잡음 제거 동작을 수행할 수 있다. 정상 장착인 경우 전자 장치(101)는 이어폰의 제1및 제2마이크 및 메인 마이크를 통해 입력되는 제1내지 제3신호를 모두 또는 적어도 두 신호를 조합하여 조합한 신호에 대해 멀티마이크 잡음 제거 동작을 수행할 수 있다. 즉, 입력된 음성 신호에 포함된 잡음을 제거하거나 감소시킬 수 있다.
도 14는 다양한 실시 예에 따른 음성 입력 시 이어폰에 장착된 마이크들의 위치에 따른 음성 신호의 출력 특성을 나타낸 그래프이다.
도 14(a)에서는 통화 시 정상 장착된 두 이어 마이크 간의 주파수 특성을 예시하며, 도 14(b)에서는 통화 시 오장착된 두 이어 마이크 간의 주파수 특성을 예시하고 있다. 도 14(a)에서와 같이 정상 장착된 두 이어 마이크의 신호는 주파수 특성이 일치하지만, 도 14(b)에서와 같이 오장착된 이어 마이크들의 경우 두 이어 마이크의 신호는 주파수 특성 간에 차이(1400)가 발생할 수 있다.
도 15는 다양한 실시 예에 따른 이어폰의 내부 및 외부 마이크를 이용한 이어폰 착용 상태를 판단하기 위한 전자 장치에서의 동작 흐름도이다. 도 15에서는 이어폰 유닛에 각각 2개의 마이크가 장착된 경우 각각의 마이크 즉, 4개의 마이크로 유입되는 신호를 이용하여 오장착 상태를 판단하는 동작을 나타내고 있다.
도 15를 참조하면, 전자 장치(101)는 1500동작에서 통화 시 각 이어폰 유닛의 내부(예: 우측 이어폰 유닛의 내부 마이크 및 좌측 이어폰 유닛의 내부 마이크) 및 외부 마이크(예: 우측 이어폰 유닛의 외부 마이크 및 좌측 이어폰 유닛의 외부 마이크)를 통해 입력되는 사용자 음성, 주변 잡음 등에 대응하는 내부 및 외부 신호를 분석할 수 있다. 전자 장치(101)는 1505 동작에서 내부 및 외부 신호 간의 분석 결과를 기반으로 이어폰의 장착 상태를 판단할 수 있다.
예를 들어, 좌/우측 이어폰 유닛의 외부 마이크는 사용자 양쪽 귀의 외부로 각각 노출되며, 좌/우측 이어폰 유닛의 내부 마이크는 사용자 양쪽 귀의 내부로 각각 삽입되는 형태를 가지는데, 전자 장치(101)는 각 마이크로 입력되는 신호들 간의 상관도를 이용하여 이어폰의 장착 상태를 판단할 수 있다. 구체적으로, 전자 장치(101)는 우측 이어폰 유닛의 외부 마이크와 우측 이어폰 유닛의 내부 마이크로 입력되는 신호 간의 상관도를 산출하고, 좌측 이어폰 유닛의 외부 마이크와 좌측 이어폰 유닛의 내부 마이크로 입력되는 신호 간의 상관도를 산출할 수 있다. 만일 상기 산출된 상관도들 중 적어도 하나의 상관도가 임계값보다 높을 경우 전자 장치(101)는 적어도 하나의 이어폰 유닛이 느슨하게 장착되거나 탈거된 상태 등의 오장착된 상태라고 판단할 수 있다.
따라서 전자 장치(101)는 1510 동작에서 장착 상태가 비정상인지를 판단하여 비정상 장착 상태일 경우에는 1515 동작에서 비정상 상태에 대응하는 잡음 제거 동작을 수행할 수 있다. 예를 들어, 전자 장치(101)는 상기 산출된 상관도들 중 적어도 하나의 상관도가 임계값보다 높을 경우 상기 임계값보다 높은 상관도를 가지는 마이크들로 입력되는 신호들을 제외한 나머지 마이크들로 입력되는 신호에 대한 잡음 제거를 수행할 수 있다. 반면, 전자 장치(101)는 1510 동작에서 정상 장착 상태일 경우에는 1520 동작에서 정상 잡음 제거 동작을 수행할 수 있다. 전술한 과정을 구체적으로 설명하기 위해 도 16 내지 도 18을 참조하기로 한다.
도 16은 다양한 실시 예에 따른 이어폰 장착 상태에 대응하여 이어폰의 내부 및 외부 마이크로 유입되는 음성 신호를 보여주는 예시도이다.
도 16(a)에 도시된 바와 같이 사용자가 통화 시 하나의 이어폰 유닛마다 2개의 마이크가 장착된 이어폰이 탈거된 상태에서는 2개의 마이크(MIC1, MIC2)로 사용자 음성이 모두 들어가게 되지만, 도 16(b)에 도시된 바와 같이 정상 장착된 상태일 경우에는 사용자 귀의 외부를 향하는 마이크로는 사용자 음성이 들어가지만 사용자 귀의 내부를 향하는 마이크로는 사용자 음성이 유입되지 않거나 저감되어 들어갈 수 있다.
예를 들어, 도 16(a)에 도시된 바와 같이 우측 이어폰 유닛이 탈거된 상태에서는 우측 이어폰 유닛의 외부 마이크(MIC1)와 우측 이어폰 유닛의 내부 마이크(MIC2)로 입력되는 신호 간의 상관도는 임계값보다 높게 나타날 수 있다. 사용자 음성이 우측 이어폰 유닛의 내부(MIC2) 및 외부 마이크(MIC1)로 들어갈 때 내부 및 외부 마이크(MIC1, MIC2) 간의 거리가 매우 가깝기 때문에 화자의 입으로부터의 두 마이크(MIC1, MIC2) 간의 거리는 같거나 유사할 수 있다. 따라서 내부 및 외부 마이크(MIC1, MIC2)에서의 신호들은 주파수 특성, 레벨, 지연 등에 있어 상관도가 매우 높은 신호 특성을 가질 수 있다.
따라서 우측 이어폰 유닛의 외부 마이크와 우측 이어폰 유닛의 내부 마이크로 입력되는 신호 간의 상관도와, 좌측 이어폰 유닛의 외부 마이크와 좌측 이어폰 유닛의 내부 마이크로 입력되는 신호 간의 상관도 중 임계값 보다 높은 상관도가 있을 경우 그 임계값 보다 높은 상관도를 가지는 측의 이어폰 유닛이 오장착 상태일 수 있다. 만일 양측 모두의 상관도가 임계값보다 높게 나올 경우에는 좌/우 이어폰 유닛이 모두 탈거되거나 느슨하게 삽입된 오장착 상태임을 나타낼 수 있다.
한편, 도 16(b)에 도시된 바와 같이 정상 장착된 상태에서는 사용자 음성이 우측 이어폰 유닛의 내부 및 외부 마이크(MIC1, MIC2)로 들어갈 때 우측 이어폰 유닛의 외부 마이크(MIC1)와 우측 이어폰 유닛의 내부 마이크(MIC2)로 입력되는 신호 간의 상관도는 낮게 나타날 수 있다. 정상 장착된 상태에서는 우측 이어폰 유닛의 외부 마이크(MIC1)로는 외부 대기를 통한 화자의 음성이 전달되지만 우측 이어폰 유닛의 내부 마이크(MIC2)로는 화자의 음성이 전달되지 않거나 귀속을 통과하여 유입되는 것이므로, 두 마이크(MIC1, MIC2) 간의 상관도는 매우 낮게 나타날 수 있다.
상기한 바와 같이 전자 장치(101)는 각 이어폰 유닛의 마이크 신호들 간의 상관도를 이용하여 이어폰의 장착 상태를 판단할 수 있다.
도 17은 다양한 실시 예에 따른 이어폰 장착 상태에 따른 이어폰의 내부 및 외부 마이크로 유입되는 신호의 주파수 특성을 보여주는 그래프이다.
도 17(a)에 도시된 바와 같이 오장착 시에는 2개의 마이크(MIC1, MIC2)로 유입되는 신호는 유사성을 갖게 나타날 수 있으며, 도 17(b)에 도시된 바와 같이 정상 장착 시에는 2개의 마이크(MIC1, MIC2)로 유입되는 신호 간에는 차이가 발생할 수 있다. 예를 들어, 귀 내부를 향하는 마이크(MIC2)로 유입되는 음성 신호는 2kHz 이상 대역의 신호가 없고 저역 신호가 강조되는 특징을 나타낼 수 있다. 따라서 사용자 귀 외부를 향하는 마이크(MIC1)로 유입되는 신호의 주파수 특성과 도 17(b)에 도시된 바와 같이 귀 내부를 향하는 마이크(MIC2)로 유입되는 음성 신호의 주파수 특성 간에는 차이가 발생하게 된다.
도 18은 다양한 실시 예에 따른 이어폰 장착 상태에 대응하여 이어폰의 내부 및 외부 마이크로 유입되는 주변 소음 신호를 보여주는 예시도이다.
도 18(a)에 도시된 바와 같이 주변 잡음 환경에서 동영상 녹화 또는 녹음을 하는 상황에서 2개의 마이크가 장착된 이어폰이 탈거된 상태에서는 2개의 마이크(MIC1, MIC2)로 주변 소음이 모두 들어가게 되지만, 도 18(b)에 도시된 바와 같이 정상 장착된 상태일 경우에는 사용자 귀의 외부를 향하는 마이크(MIC1)로는 주변 소음이 들어가지만 사용자 귀의 내부를 향하는 마이크(MIC2)로는 주변 소음이 유입되지 않거나 저감되어 들어갈 수 있다. 이와 같이 사용자 귀의 내부를 향하는 마이크(MIC2)의 경우 사용자 귀에 의해 차폐되어 외부 잡음 수준이 줄어드는 현상을 이용함으로써 오장착 여부를 판단할 수 있다.
구체적으로 전자 장치(101)는 이어폰의 내부 및 외부에 장착된 마이크를 통해 외부 소리가 입력되면, 입력된 신호에 대한 잡음을 분석하여, 이어폰의 내부 및 외부 마이크로 유입된 신호에서 예측된 잡음 수준이 동일한 경우 도 18(a)에 도시된 바와 같이 오장착(또는 탈거)라고 판단할 수 있다. 반면, 사용자 귀의 내부를 향하는 마이크(MIC2)의 신호 대비 외부를 향하는 마이크(MIC1)의 신호 크기가 클 경우, 도 18(b)에 도시된 바와 같이 정상 장착 상태라고 판단할 수 있다.
따라서 도 16(a) 및 도 18(a)에서와 같이 오장착된 상태에서는 전자 장치(101)는 멀티마이크 잡음 제거 파라미터의 값을 조절하거나 단일 마이크 잡음 제거 동작을 수행할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
다양한 실시예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 전자 장치에 연결되는 이어폰의 제1 몸체에 위치하는 적어도 하나의 제1마이크를 통해 제1오디오 신호와, 상기 이어폰의 제2 몸체에 위치하는 적어도 하나의 제2 마이크를 통해 제2 오디오 신호를 입력받는 동작 및 상기 제1오디오 신호와 상기 제2오디오 신호 간의 차이를 기반으로 상기 이어폰의 장착 상태를 판단하는 동작을 포함하는 저장 매체를 포함할 수 있다.
본 문서에 개시된 실시예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.

Claims (20)

  1. 전자 장치에 있어서,
    하우징의 제1 단부에 위치하는 스피커; 및
    상기 전자 장치에 기능적으로 연결되는 이어폰의 제1 몸체에 위치하는 적어도 하나의 제1마이크를 통해 입력되는 제1오디오 신호와 상기 이어폰의 제2 몸체에 위치하는 적어도 하나의 제2 마이크를 통해 입력되는 제2오디오 신호 간의 차이를 기반으로 상기 이어폰의 장착 상태를 판단하는 프로세서를 포함하는 전자 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 전자 장치의 스피커로부터 오디오 신호의 출력 시 상기 제1 마이크를 통해 상기 오디오 신호에 대응하는 제1오디오 신호를 획득하며, 상기 제2마이크를 통해 상기 오디오 신호에 대응하는 상기 제2오디오 신호를 획득하는 전자 장치.
  3. 제2항에 있어서,
    상기 스피커가 향하는 방향을 검출하는 데 이용되는 센싱 정보를 출력하는 적어도 하나의 센서를 더 포함하며,
    상기 프로세서는,
    상기 센싱 정보를 이용하여 상기 제1오디오 신호와 상기 제2오디오 신호 간의 지연 시간 및 상기 제1오디오 신호와 상기 제2오디오 신호 간의 레벨 차이를 산출하고, 상기 지연 시간 및 상기 레벨 차이 중 적어도 하나를 기반으로 상기 이어폰의 장착 상태를 판단하는 전자 장치.
  4. 제3항에 있어서, 상기 프로세서는,
    상기 지연 시간이 임계 범위를 벗어나는 경우, 상기 이어폰의 장착 상태가 탈거 상태라고 판단하고, 상기 이어폰의 탈거 상태를 알리는 전자 장치.
  5. 제3항에 있어서, 상기 프로세서는,
    상기 지연 시간 및 상기 레벨 차이가 각각 임계값 보다 작을 경우, 사용자 양쪽 귀의 내부에 각각 위치하도록 착용되는 상기 제1 스피커 및 제2 스피커가 상기 사용자에게 착용될 시 뒤바뀌어 착용된 오장착 상태라고 판단하는 전자 장치.
  6. 제5항에 있어서, 상기 프로세서는,
    상기 이어폰의 장착 상태가 오장착 상태일 경우, 상기 제1스피커 및 상기 제2스피커로 각각 출력되는 신호를 서로 스위칭하여 출력하는 전자 장치.
  7. 제1항에 있어서,
    상기 하우징의 제1단부에 위치하는 마이크를 더 포함하며,
    상기 프로세서는,
    상기 마이크로 입력되는 오디오 신호 및 상기 제1오디오 신호와, 상기 전자 장치의 마이크로 입력되는 오디오 신호 및 상기 제2오디오 신호 간의 상관도를 기반으로 상기 이어폰의 장착 상태를 판단하는 전자 장치.
  8. 제1항에 있어서, 상기 프로세서는,
    상기 제1 마이크 및 제2 마이크로 음성 신호가 입력될 때 상기 제1 마이크로 입력되는 음성 신호와 상기 제2 마이크로 입력되는 음성 신호 간의 비교 결과를 기반으로 상기 이어폰의 장착 상태를 판단하는 전자 장치.
  9. 제1항에 있어서, 상기 이어폰은,
    상기 제1 몸체의 제1 위치에 위치하는 제1 스피커, 상기 제1 몸체의 제2 위치에 위치하는 상기 제1 마이크 및 상기 제1몸체의 제3 위치에 위치하는 제3 마이크를 포함하며,
    상기 제2 몸체의 제1 위치에 위치하는 제2 스피커, 상기 제2 몸체의 제2 위치에 위치하는 상기 제2 마이크 및 상기 제2몸체의 제3 위치에 위치하는 제4 마이크를 포함하며,
    상기 제1 스피커 및 제2 스피커는 상기 이어폰이 사용자에게 착용될 시 사용자 양쪽 귀의 내부로 각각 삽입되며, 상기 제1 마이크 및 상기 제2 마이크는 상기 사용자 양쪽 귀의 외부로 각각 노출되며, 상기 제3 마이크 및 상기 제 4 마이크는 상기 사용자 양쪽 귀의 내부로 각각 삽입되는 전자 장치.
  10. 제9항에 있어서, 상기 프로세서는,
    상기 제1마이크와 상기 제3마이크로 입력되는 신호 간의 상관도 및 상기 제2마이크와 상기 제4마이크로 입력되는 신호 간의 상관도 중 적어도 하나의 상관도가 임계값보다 높을 경우 상기 이어폰의 장착 상태가 오장착된 상태라고 판단하는 전자 장치.
  11. 제10항에 있어서, 상기 프로세서는,
    상기 임계값보다 높은 상관도를 가지는 마이크들로 입력되는 신호들을 제외한 나머지 마이크들로 입력되는 신호에 대한 잡음 제거를 수행하는 전자 장치.
  12. 전자 장치에 의한 이어폰 오장착 검출 방법에 있어서,
    상기 전자 장치에 기능적으로 연결되는 이어폰의 제1 몸체에 위치하는 적어도 하나의 제1마이크를 통해 제1오디오 신호와, 상기 이어폰의 제2 몸체에 위치하는 적어도 하나의 제2 마이크를 통해 제2 오디오 신호를 입력받는 동작; 및
    상기 제1오디오 신호와 상기 제2오디오 신호 간의 차이를 기반으로 상기 이어폰의 장착 상태를 판단하는 동작을 포함하는 방법.
  13. 제12항에 있어서, 상기 제1오디오 신호 및 제2오디오 신호를 입력받는 동작은,
    상기 전자 장치의 하우징의 제1 단부에 위치하는 스피커로부터 오디오 신호의 출력 시 상기 제1 마이크를 통해 상기 오디오 신호에 대응하는 제1오디오 신호를 획득하며, 상기 제2마이크를 통해 상기 오디오 신호에 대응하는 상기 제2오디오 신호를 획득하는 동작을 포함하는 방법.
  14. 제13항에 있어서, 상기 이어폰의 장착 상태를 판단하는 동작은,
    상기 스피커가 향하는 방향을 검출하는 데 이용되는 상기 전자 장치의 센싱 정보를 획득하는 동작; 및
    상기 센싱 정보를 이용하여 상기 제1오디오 신호와 상기 제2오디오 신호 간의 지연 시간 및 상기 제1오디오 신호와 상기 제2오디오 신호 간의 레벨 차이를 산출하고, 상기 지연 시간 및 상기 레벨 차이 중 적어도 하나를 기반으로 상기 이어폰의 장착 상태를 판단하는 동작을 포함하는 방법.
  15. 제14항에 있어서,
    상기 지연 시간이 임계 범위를 벗어나는 경우, 상기 이어폰의 장착 상태가 탈거 상태라고 판단하는 동작; 및
    상기 이어폰의 탈거 상태를 알리는 동작을 더 포함하는 방법.
  16. 제14항에 있어서,
    상기 지연 시간 및 상기 레벨 차이가 각각 임계값 보다 작을 경우, 사용자 양쪽 귀의 내부에 각각 위치하도록 착용되는 상기 제1 스피커 및 제2 스피커가 상기 사용자에게 착용될 시 뒤바뀌어 착용된 오장착 상태라고 판단하는 동작; 및
    상기 이어폰의 장착 상태가 오장착 상태일 경우, 상기 제1스피커 및 상기 제2스피커로 각각 출력되는 신호를 서로 스위칭하여 출력하는 동작을 더 포함하는 방법.
  17. 제12항에 있어서, 상기 이어폰의 장착 상태를 판단하는 동작은,
    상기 마이크로 입력되는 오디오 신호 및 상기 제1오디오 신호와, 상기 전자 장치의 마이크로 입력되는 오디오 신호 및 상기 제2오디오 신호 간의 상관도를 기반으로 상기 이어폰의 장착 상태를 판단하는 동작을 포함하는 방법.
  18. 제12항에 있어서,
    상기 제1 마이크 및 제2 마이크로 음성 신호를 입력받는 동작; 및
    상기 제1 마이크로 입력되는 음성 신호와 상기 제2 마이크로 입력되는 음성 신호 간의 비교 결과를 기반으로 상기 이어폰의 장착 상태를 판단하는 동작을 더 포함하는 방법.
  19. 제12항에 있어서,
    상기 이어폰의 제1 몸체의 제1마이크와 반대 위치에 제3 마이크가 위치하며, 상기 이어폰의 제2 몸체의 제2 마이크와 반대 위치에 제4 마이크가 위치하는 경우,
    상기 제1마이크와 상기 제3마이크로 입력되는 신호 간의 상관도 및 상기 제2마이크와 상기 제4마이크로 입력되는 신호 간의 상관도 중 적어도 하나의 상관도를 임계값과 비교하는 동작;
    상기 적어도 하나의 상관도가 상기 임계값 보다 높을 경우 상기 이어폰의 장착 상태가 오장착된 상태라고 판단하는 동작; 및
    상기 임계값보다 높은 상관도를 가지는 마이크들로 입력되는 신호들을 제외한 나머지 마이크들로 입력되는 신호에 대한 잡음 제거를 수행하는 동작을 더 포함하는 방법.
  20. 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은,
    전자 장치에 기능적으로 연결되는 이어폰의 제1 몸체에 위치하는 적어도 하나의 제1마이크를 통해 제1오디오 신호와, 상기 이어폰의 제2 몸체에 위치하는 적어도 하나의 제2 마이크를 통해 제2 오디오 신호를 입력받는 동작; 및
    상기 제1오디오 신호와 상기 제2오디오 신호 간의 차이를 기반으로 상기 이어폰의 장착 상태를 판단하는 동작을 포함하는, 저장 매체.
KR1020160162338A 2016-11-30 2016-11-30 이어폰 오장착 검출 방법, 이를 위한 전자 장치 및 저장 매체 KR102535726B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020160162338A KR102535726B1 (ko) 2016-11-30 2016-11-30 이어폰 오장착 검출 방법, 이를 위한 전자 장치 및 저장 매체
US15/808,010 US10178485B2 (en) 2016-11-30 2017-11-09 Method for detecting wrong positioning of earphone, and electronic device and storage medium therefor
PCT/KR2017/012673 WO2018101639A1 (en) 2016-11-30 2017-11-09 Method for detecting wrong positioning of earphone, and electronic device and storage medium therefor
EP17876841.2A EP3520434B1 (en) 2016-11-30 2017-11-09 Method for detecting wrong positioning of earphone, and electronic device and storage medium therefor
US16/196,155 US10939218B2 (en) 2016-11-30 2018-11-20 Method for detecting wrong positioning of earphone, and electronic device and storage medium therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160162338A KR102535726B1 (ko) 2016-11-30 2016-11-30 이어폰 오장착 검출 방법, 이를 위한 전자 장치 및 저장 매체

Publications (2)

Publication Number Publication Date
KR20180062270A true KR20180062270A (ko) 2018-06-08
KR102535726B1 KR102535726B1 (ko) 2023-05-24

Family

ID=62192865

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160162338A KR102535726B1 (ko) 2016-11-30 2016-11-30 이어폰 오장착 검출 방법, 이를 위한 전자 장치 및 저장 매체

Country Status (4)

Country Link
US (2) US10178485B2 (ko)
EP (1) EP3520434B1 (ko)
KR (1) KR102535726B1 (ko)
WO (1) WO2018101639A1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020055048A1 (en) * 2018-09-13 2020-03-19 Samsung Electronics Co., Ltd. Method for determining earphone wearing state, method for controlling electronic apparatus, and electronic apparatus
KR20200139285A (ko) * 2019-06-03 2020-12-14 삼성전자주식회사 마이크로폰들을 이용하여 사용자의 음성을 분석하는 전자 장치 및 모바일 장치
CN112203204A (zh) * 2019-07-08 2021-01-08 苹果公司 入耳式头戴受话器适配性的声学检测
WO2022025452A1 (ko) * 2020-07-31 2022-02-03 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 방법
US11470413B2 (en) 2019-07-08 2022-10-11 Apple Inc. Acoustic detection of in-ear headphone fit
WO2022216077A1 (ko) * 2021-04-07 2022-10-13 삼성전자 주식회사 무선 이어폰 장치 및 그 제어 방법
WO2023068741A1 (ko) * 2021-10-18 2023-04-27 삼성전자 주식회사 웨어러블 장치 장착 가이드 방법
WO2023080401A1 (ko) * 2021-11-03 2023-05-11 삼성전자주식회사 이어폰을 이용한 전자 장치의 사운드 레코딩 방법 및 장치
US11706555B2 (en) 2019-07-08 2023-07-18 Apple Inc. Setup management for ear tip selection fitting process
WO2024063456A1 (ko) * 2022-09-19 2024-03-28 삼성전자주식회사 음향 신호를 출력하기 위한 전자 장치, 방법 및 비 일시적 저장 매체
WO2024106730A1 (ko) * 2022-11-17 2024-05-23 삼성전자 주식회사 전자 장치 및 상기 전자 장치를 이용하여 사운드 신호를 제어하는 방법

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102472574B1 (ko) * 2016-10-24 2022-12-02 아브네라 코포레이션 다수의 마이크로폰을 이용한 자동 노이즈 캔슬링
US10951994B2 (en) * 2018-04-04 2021-03-16 Staton Techiya, Llc Method to acquire preferred dynamic range function for speech enhancement
WO2020082391A1 (zh) * 2018-10-27 2020-04-30 深圳市欢太科技有限公司 无线耳机的控制方法及相关产品
JP2020136865A (ja) * 2019-02-18 2020-08-31 キヤノン株式会社 電子機器、その制御方法、およびそのプログラム
US10805709B1 (en) * 2019-04-10 2020-10-13 Staton Techiya, Llc Multi-mic earphone design and assembly
JP7404664B2 (ja) * 2019-06-07 2023-12-26 ヤマハ株式会社 音声処理装置及び音声処理方法
US11064297B2 (en) * 2019-08-20 2021-07-13 Lenovo (Singapore) Pte. Ltd. Microphone position notification
CN111372166B (zh) * 2020-02-21 2021-10-01 华为技术有限公司 左右耳智能识别方法及相关设备
CN113411446B (zh) * 2020-03-16 2023-07-21 维沃移动通信有限公司 一种声道切换方法及电子设备
CN111766548B (zh) * 2020-05-29 2023-03-24 维沃移动通信有限公司 信息提示方法、装置、电子设备及可读存储介质
US11134354B1 (en) 2020-06-15 2021-09-28 Cirrus Logic, Inc. Wear detection
US11219386B2 (en) 2020-06-15 2022-01-11 Cirrus Logic, Inc. Cough detection
WO2022031280A1 (en) * 2020-08-05 2022-02-10 Hewlett-Packard Development Company, L.P. Peripheral microphones
CN114697812B (zh) * 2020-12-29 2023-06-20 华为技术有限公司 声音采集方法、电子设备及系统
US11323664B1 (en) * 2021-01-08 2022-05-03 I Can See You Inc., The New Technology Wearable electronic device for providing audio output and capturing visual media
US11303998B1 (en) 2021-02-09 2022-04-12 Cisco Technology, Inc. Wearing position detection of boomless headset
EP4047946A1 (en) * 2021-02-17 2022-08-24 Nokia Technologies Oy Avoiding unintentional operation of touch sensors on earphones
US11617044B2 (en) * 2021-03-04 2023-03-28 Iyo Inc. Ear-mount able listening device with voice direction discovery for rotational correction of microphone array outputs
CN112948168B (zh) * 2021-04-06 2024-02-27 深圳市卓翼科技股份有限公司 识别耳机左右属性的方法、检测电子设备、耳机、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249854A1 (en) * 2010-04-08 2011-10-13 Sony Ericsson Mobile Communications Ab Method and Apparatus for Detecting a Position of a Pair of Ear Phones at a User
US20140172421A1 (en) * 2011-08-10 2014-06-19 Goertek Inc. Speech enhancing method, device for communication earphone and noise reducing communication earphone
US20160050509A1 (en) * 2014-08-14 2016-02-18 Nxp B.V. Switching between binaural and monaural modes

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7587053B1 (en) * 2003-10-28 2009-09-08 Nvidia Corporation Audio-based position tracking
US20110144779A1 (en) * 2006-03-24 2011-06-16 Koninklijke Philips Electronics N.V. Data processing for a wearable apparatus
US20100074460A1 (en) * 2008-09-25 2010-03-25 Lucent Technologies Inc. Self-steering directional hearing aid and method of operation thereof
US8098838B2 (en) 2008-11-24 2012-01-17 Apple Inc. Detecting the repositioning of an earphone using a microphone and associated action
US8199956B2 (en) * 2009-01-23 2012-06-12 Sony Ericsson Mobile Communications Acoustic in-ear detection for earpiece
US8243946B2 (en) * 2009-03-30 2012-08-14 Bose Corporation Personal acoustic device position determination
EP2288178B1 (en) * 2009-08-17 2012-06-06 Nxp B.V. A device for and a method of processing audio data
US8401200B2 (en) 2009-11-19 2013-03-19 Apple Inc. Electronic device and headset with speaker seal evaluation capabilities
US8855341B2 (en) * 2010-10-25 2014-10-07 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for head tracking based on recorded sound signals
US20120114154A1 (en) 2010-11-05 2012-05-10 Sony Ericsson Mobile Communications Ab Using accelerometers for left right detection of headset earpieces
JP6069829B2 (ja) 2011-12-08 2017-02-01 ソニー株式会社 耳孔装着型収音装置、信号処理装置、収音方法
US20130279724A1 (en) * 2012-04-19 2013-10-24 Sony Computer Entertainment Inc. Auto detection of headphone orientation
KR101936090B1 (ko) * 2012-08-29 2019-01-08 삼성전자주식회사 키 입력 제어 장치 및 방법
US9113246B2 (en) * 2012-09-20 2015-08-18 International Business Machines Corporation Automated left-right headphone earpiece identifier
US20140146982A1 (en) * 2012-11-29 2014-05-29 Apple Inc. Electronic Devices and Accessories with Media Streaming Control Features
US9049508B2 (en) 2012-11-29 2015-06-02 Apple Inc. Earphones with cable orientation sensors
US9681219B2 (en) * 2013-03-07 2017-06-13 Nokia Technologies Oy Orientation free handsfree device
KR101475265B1 (ko) 2013-07-09 2014-12-22 오성훈 기능성 이어폰 장치 및 그 운용방법
JP2015023499A (ja) * 2013-07-22 2015-02-02 船井電機株式会社 音声処理システム及び音声処理装置
US9613611B2 (en) * 2014-02-24 2017-04-04 Fatih Mehmet Ozluturk Method and apparatus for noise cancellation in a wireless mobile device using an external headset
KR101518352B1 (ko) 2014-03-21 2015-05-07 석상호 좌우 착용 인식이 가능한 이어폰
EP2953383B1 (en) * 2014-06-06 2019-08-07 Nxp B.V. Signal processing circuit
KR101609777B1 (ko) 2014-09-12 2016-04-06 주식회사 포워드벤처스 이어폰 탈착 판별 장치, 방법, 및 이어폰 탈착 판별 방법을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터 판독가능한 기록매체
CN104661153B (zh) * 2014-12-31 2018-02-02 歌尔股份有限公司 一种耳机音效补偿方法、装置及耳机
US20160330546A1 (en) * 2015-05-06 2016-11-10 Aliphcom Headset with leakage detection
US9967647B2 (en) * 2015-07-10 2018-05-08 Avnera Corporation Off-ear and on-ear headphone detection
KR102472574B1 (ko) * 2016-10-24 2022-12-02 아브네라 코포레이션 다수의 마이크로폰을 이용한 자동 노이즈 캔슬링
US10362270B2 (en) * 2016-12-12 2019-07-23 Dolby Laboratories Licensing Corporation Multimodal spatial registration of devices for congruent multimedia communications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249854A1 (en) * 2010-04-08 2011-10-13 Sony Ericsson Mobile Communications Ab Method and Apparatus for Detecting a Position of a Pair of Ear Phones at a User
US20140172421A1 (en) * 2011-08-10 2014-06-19 Goertek Inc. Speech enhancing method, device for communication earphone and noise reducing communication earphone
US20160050509A1 (en) * 2014-08-14 2016-02-18 Nxp B.V. Switching between binaural and monaural modes

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020055048A1 (en) * 2018-09-13 2020-03-19 Samsung Electronics Co., Ltd. Method for determining earphone wearing state, method for controlling electronic apparatus, and electronic apparatus
KR20200139285A (ko) * 2019-06-03 2020-12-14 삼성전자주식회사 마이크로폰들을 이용하여 사용자의 음성을 분석하는 전자 장치 및 모바일 장치
US11706555B2 (en) 2019-07-08 2023-07-18 Apple Inc. Setup management for ear tip selection fitting process
KR20210006303A (ko) * 2019-07-08 2021-01-18 애플 인크. 인-이어 헤드폰 피팅의 음향 검출
US11470413B2 (en) 2019-07-08 2022-10-11 Apple Inc. Acoustic detection of in-ear headphone fit
CN112203204A (zh) * 2019-07-08 2021-01-08 苹果公司 入耳式头戴受话器适配性的声学检测
US11722809B2 (en) 2019-07-08 2023-08-08 Apple Inc. Acoustic detection of in-ear headphone fit
WO2022025452A1 (ko) * 2020-07-31 2022-02-03 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 방법
WO2022216077A1 (ko) * 2021-04-07 2022-10-13 삼성전자 주식회사 무선 이어폰 장치 및 그 제어 방법
WO2023068741A1 (ko) * 2021-10-18 2023-04-27 삼성전자 주식회사 웨어러블 장치 장착 가이드 방법
WO2023080401A1 (ko) * 2021-11-03 2023-05-11 삼성전자주식회사 이어폰을 이용한 전자 장치의 사운드 레코딩 방법 및 장치
WO2024063456A1 (ko) * 2022-09-19 2024-03-28 삼성전자주식회사 음향 신호를 출력하기 위한 전자 장치, 방법 및 비 일시적 저장 매체
WO2024106730A1 (ko) * 2022-11-17 2024-05-23 삼성전자 주식회사 전자 장치 및 상기 전자 장치를 이용하여 사운드 신호를 제어하는 방법

Also Published As

Publication number Publication date
EP3520434A1 (en) 2019-08-07
US20180152795A1 (en) 2018-05-31
KR102535726B1 (ko) 2023-05-24
EP3520434A4 (en) 2019-10-16
EP3520434B1 (en) 2022-03-02
US10178485B2 (en) 2019-01-08
US10939218B2 (en) 2021-03-02
US20190090075A1 (en) 2019-03-21
WO2018101639A1 (en) 2018-06-07

Similar Documents

Publication Publication Date Title
KR102535726B1 (ko) 이어폰 오장착 검출 방법, 이를 위한 전자 장치 및 저장 매체
KR102538348B1 (ko) 전자 장치 및 전자 장치의 동작 제어 방법
US10425718B2 (en) Electronic device, storage medium, and method of processing audio signal by electronic device
CN108431764B (zh) 电子设备和用于控制电子设备操作的方法
US20170061953A1 (en) Electronic device and method for cancelling noise using plurality of microphones
CN108235753B (zh) 电子设备及用于控制电子设备的操作的方法
KR20170055893A (ko) 외부 객체의 근접에 따른 동작을 수행하는 전자 장치 및 그 방법
KR102561414B1 (ko) 전자 장치 및 전자 장치의 동작 제어 방법
KR20180062174A (ko) 햅틱 신호 생성 방법 및 이를 지원하는 전자 장치
CN114245256A (zh) 移动通信设备及其操作方法以及移动系统
KR102339798B1 (ko) 전자 장치의 음향 처리 방법 및 그 전자 장치
KR20170055329A (ko) 노이즈를 제거하는 방법 및 이를 위한 전자 장치
KR20170109297A (ko) 전방위 영상을 제공하는 전자 장치 및 방법
KR20160120492A (ko) 사운드 출력 제어 방법 및 전자 장치
KR20160026585A (ko) 복수의 마이크를 포함하는 전자 장치 및 이의 운용 방법
KR20170024315A (ko) 에코 제거 방법 및 그 전자 장치
KR20180123879A (ko) 이어폰의 타입에 따라 오디오 출력을 제어하기 위한 전자 장치 및 방법
KR20160143373A (ko) 알림 정보 제공 방법 및 그 전자 장치
KR20170069790A (ko) 가상 현실 서비스에서 오디오 신호를 처리하는 방법 및 이를 위한 전자 장치
KR20170062853A (ko) 전자 장치 및 그의 동작 방법
KR20180116843A (ko) 모션 감지 방법 및 이를 지원하는 전자 장치
KR20160092736A (ko) 이어잭 인식 방법 및 이를 지원하는 전자 장치
KR20170114468A (ko) 전자 장치 및 이의 음향 부품을 이용한 제어 방법
KR102627012B1 (ko) 전자 장치 및 전자 장치의 동작 제어 방법
KR20180068003A (ko) 전자 장치의 음향 신호 처리 방법 및 그 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right