KR20170058320A - 오디오 신호 처리 장치 및 방법 - Google Patents

오디오 신호 처리 장치 및 방법 Download PDF

Info

Publication number
KR20170058320A
KR20170058320A KR1020160154366A KR20160154366A KR20170058320A KR 20170058320 A KR20170058320 A KR 20170058320A KR 1020160154366 A KR1020160154366 A KR 1020160154366A KR 20160154366 A KR20160154366 A KR 20160154366A KR 20170058320 A KR20170058320 A KR 20170058320A
Authority
KR
South Korea
Prior art keywords
signal
audio
sound
output
guide
Prior art date
Application number
KR1020160154366A
Other languages
English (en)
Other versions
KR102577901B1 (ko
Inventor
오현오
이태규
최재성
백용현
Original Assignee
가우디오디오랩 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가우디오디오랩 주식회사 filed Critical 가우디오디오랩 주식회사
Publication of KR20170058320A publication Critical patent/KR20170058320A/ko
Application granted granted Critical
Publication of KR102577901B1 publication Critical patent/KR102577901B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/109—Arrangements to adapt hands free headphones for use on both ears
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 오디오 신호 처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 사용자가 음향 출력 장치를 착용 중인지 여부를 판별하는 오디오 신호 처리 방법 및 장치에 관한 것이다. 본 발명의 실시예에 따르면, 마이크 및 음향 출력 수단을 포함하는 외부 음향 출력 장치와 오디오 신호를 송수신하는 오디오 신호 처리 장치에서, 상기 외부 음향 출력 장치와 신호를 송수신하는 송수신 모듈 및 상기 송수신 모듈의 작동을 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 송수신 모듈을 통해 오디오 출력 신호를 상기 외부 음향 출력 장치로 전송하고, 상기 송수신 모듈을 통해, 상기 음향 출력 수단이 상기 오디오 출력 신호를 기초로 음향을 출력하는 동안 상기 마이크를 통해 수집된 외부 음향이 변환된 입력 신호를 수신하고, 상기 오디오 출력 신호 및 상기 입력 신호를 비교하여 사용자가 상기 외부 음향 출력 장치의 상기 음향 출력 수단을 착용했는지 여부를 판별하는 것을 특징으로 하는 오디오 신호 처리 장치가 제공될 수 있다.

Description

오디오 신호 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING AUDIO SIGNAL}
본 발명은 오디오 신호 처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 사용자가 음향 출력 장치를 착용 중인지 여부를 판별하는 오디오 신호 처리 방법 및 장치에 관한 것이다.
최근의 사용자 인터페이스(user interface) 기술은 사용자의 행동이나 의도를 감지/예측/해석하는 전기-전자적 처리 기법과 관련되어 있다. 다시 말해, 사용자 인터페이스 기술은 사용자의 모든 사소한 행위를 감지하고, 사용자의 행위에 내재된 의도를 유추하고, 상기 의도에 대응하는 전기-전자적 처리 방법을 구현함으로써 사용자의 디바이스를 보다 쉽게 다룰 수 있도록 돕는 기술이라고 할 수 있다. 스마트폰의 터치 스크린이 최근의 사용자 인터페이스의 대표적인 예시라고 할 수 있다. 예를 들어, 사용자가 터치 스크린에 두 손가락을 접촉시킨 후 두 손가락 사이의 거리를 증가시키는 경우, 스마트폰의 프로세서는 사용자의 의도가 터치 스크린을 통해 출력되는 이미지의 확대인 것으로 판별할 수 있다. 그리고, 프로세서는 상기 두 손가락의 움직임에 대응하는 이미지 처리 - 즉 확대를 수행할 수 있다. 이러한 사용자 인터페이스 기술은 사용자 편의성 증가 및 자동화 기술의 고도화를 달성하기 위한 핵심 기술이라고 할 수 있다.
사용자 인터페이스 기술은 모든 산업 분야에 적용될 수 있으며, 이에 따라 컨텐츠의 제작/감상/공유와 관련된 산업 영역에도 적용될 수 있다. 일반 사용자의 입장에서는 컨텐츠의 감상과 관련된 사용자 인터페이스가 유용하게 활용될 수 있다. 이때, 사용자 인터페이스의 관점에서, 사용자가 현재 음향 컨텐츠를 감상하고 있는지 여부는 중요한 컨텍스트(context) 정보로 취급될 수 있다.
아직까지는 사용자가 음향 컨텐츠를 감상하고 있는지 여부를 용이하게 판별할 수 있는 효과적인 기법이 존재하지 않는다. 특히, 신호 처리적 기법만으로 사용자가 음향 컨텐츠를 감상하고 있는지 여부를 확인할 수 있는 솔루션이 제시된 바 없기 때문에 이에 대한 연구가 필요한 실정이다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 사용자가 음향 컨텐츠를 감상하고 있는지 여부를 판별할 수 있는 사용자 인터페이스를 제공하고자 하는 목적을 가지고 있다.
특히, 본 발명은 사용자의 음향 출력 장치의 착용 여부를 판별할 수 있는 방법 및 장치를 제공하고자 하는 목적도 가지고 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 실시예에 따르면, 마이크 및 음향 출력 수단을 포함하는 외부 음향 출력 장치와 오디오 신호를 송수신하는 오디오 신호 처리 장치에서, 상기 외부 음향 출력 장치와 신호를 송수신하는 송수신 모듈; 및 상기 송수신 모듈의 작동을 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 송수신 모듈을 통해 오디오 출력 신호를 상기 외부 음향 출력 장치로 전송하고, 상기 송수신 모듈을 통해, 상기 음향 출력 수단이 상기 오디오 출력 신호를 기초로 음향을 출력하는 동안 상기 마이크를 통해 수집된 외부 음향이 변환된 입력 신호를 수신하고, 상기 오디오 출력 신호 및 상기 입력 신호를 비교하여 사용자가 상기 외부 음향 출력 장치의 상기 음향 출력 수단을 착용했는지 여부를 판별하는 것을 특징으로 하는 오디오 신호 처리 장치가 제공될 수 있다.
바람직하게는, 상기 음향 출력 수단은 복수의 출력 유닛을 포함하고, 상기 오디오 출력 신호는 복수의 개별 오디오 신호를 포함하며, 상기 복수의 개별 오디오 신호는 상기 각 출력 유닛에 의해 개별적으로 상기 음향으로 변환되며, 상기 프로세서는, 상기 복수의 개별 오디오 신호와 상기 입력 신호를 개별적으로 비교하여 상기 사용자가 상기 각 출력 유닛을 착용했는지 여부를 판별한다.
바람직하게는, 상기 복수의 개별 오디오는 서로 다른 신호 패턴인 가이드 신호(guide signal)를 개별적으로 포함하고, 상기 프로세서는 상기 각 가이드 신호와 상기 입력 신호를 개별적으로 비교하여 상기 각 출력 유닛을 착용했는지 여부를 판별한다.
바람직하게는, 상기 오디오 출력 신호는 기 설정된 신호 패턴인 가이드 신호를 포함하고, 상기 프로세서는, 상기 가이드 신호와 상기 입력 신호를 비교하여 상기 사용자가 상기 음향 출력 수단을 착용했는지 여부를 판별한다.
바람직하게는, 상기 오디오 출력 신호는 상기 음향 출력 수단의 착용 여부를 판단하기 위한 기 설정된 신호 패턴인 가이드 신호와 상기 가이드 신호가 아닌 논-가이드(non-guide) 신호로 구분되고, 상기 프로세서는, 상기 오디오 출력 신호에 상기 가이드 신호가 포함된 경우 상기 가이드 신호와 상기 입력 신호를 비교하고, 상기 오디오 출력 신호에 상기 논-가이드 신호만 포함되는 경우 상기 논-가이드 신호를 포함하는 상기 오디오 출력 신호와 상기 입력 신호를 비교하여 상기 사용자의 상기 음향 출력 수단의 착용 여부를 판별한다.
바람직하게는, 상기 프로세서는, 상기 오디오 출력 신호의 특성에 기초하여 상기 오디오 출력 신호에 상기 가이드 신호를 추가할지 여부를 결정한다.
바람직하게는, 상기 음향 출력 수단은 복수의 출력 유닛을 포함하고, 상기 오디오 출력 신호는 복수의 개별 오디오 신호를 포함하고, 상기 복수의 개별 오디오 신호는 상기 각 출력 유닛에 의해 개별적으로 상기 음향으로 변환되며, 상기 프로세서는, 상기 개별 오디오 신호 간의 상관도(correlation)에 기초하여 상기 가이드 신호의 추가 여부를 결정한다.
바람직하게는, 상기 프로세서는, 상기 개별 오디오 신호 간의 상관도가 기 설정된 기준 상관도보다 높은 경우 상기 오디오 출력 신호에 상기 가이드 신호를 추가하고, 상기 개별 오디오 신호 간의 상관도가 기 설정된 기준 상관도보다 낮은 경우 상기 오디오 출력 신호에서 상기 가이드 신호를 제외시킨다.
바람직하게는, 상기 프로세서는, 상기 오디오 출력 신호가 상기 입력 신호에 포함된 정도를 나타내는 검출 결과값을 산출하고, 상기 검출 결과값이 기 설정된 검출 한계값 이상인 경우 상기 사용자가 상기 음향 출력 수단을 착용하고 있는 것으로 판별하되, 상기 검출 한계값은 상기 음향 출력 수단과 상기 마이크 사이의 음향 전달 경로에 대한 임펄스 응답(impulse response)의 에너지 및 상기 오디오 출력 신호의 에너지의 조합에 기초하여 결정된다.
본 발명의 다른 실시예에 따르면, 음향 출력 장치에 있어서, 신호를 송수신하는 송수신 모듈; 음향을 출력하는 음향 출력 수단; 음향을 취득하는 마이크; 및 상기 음향 출력 장치의 작동을 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 송수신 모듈을 통해 외부 오디오 재생 장치로부터 오디오 출력 신호를 수신하고, 상기 음향 출력 수단을 통해 상기 오디오 출력 신호를 기초로 음향을 출력하는 동안, 상기 마이크를 통해 외부 음향을 수집하여 입력 신호로 변환하고, 상기 오디오 출력 신호 및 상기 입력 신호를 비교하여 사용자가 상기 음향 출력 수단을 착용했는지 여부를 판별한다.
바람직하게는, 상기 음향 출력 수단은 복수의 출력 유닛을 포함하고, 상기 오디오 출력 신호는 복수의 개별 오디오 신호를 포함하며, 상기 프로세서는, 상기 각 출력 유닛을 통해 상기 복수의 개별 오디오 신호를 상기 음향으로 개별적으로 변환하고, 상기 복수의 개별 오디오 신호와 상기 입력 신호를 개별적으로 비교하여 상기 사용자가 상기 각 출력 유닛을 착용했는지 여부를 판별한다.
바람직하게는, 상기 복수의 개별 오디오는 서로 다른 신호 패턴인 가이드 신호(guide signal)를 개별적으로 포함하고, 상기 프로세서는 상기 각 가이드 신호와 상기 입력 신호를 개별적으로 비교하여 상기 각 출력 유닛을 착용했는지 여부를 판별한다.
바람직하게는, 상기 오디오 출력 신호는 기 설정된 신호 패턴인 가이드 신호를 포함하고, 상기 프로세서는, 상기 가이드 신호와 상기 입력 신호를 비교하여 상기 사용자가 상기 음향 출력 수단을 착용했는지 여부를 판별한다.
바람직하게는, 상기 오디오 출력 신호는 상기 음향 출력 수단의 착용 여부를 판단하기 위한 기 설정된 신호 패턴인 가이드 신호 또는 상기 가이드 신호가 아닌 논-가이드(non-guide) 신호로 구분되고, 상기 프로세서는, 상기 오디오 출력 신호에 상기 가이드 신호가 포함된 경우 상기 가이드 신호와 상기 입력 신호를 비교하고, 상기 오디오 출력 신호에 상기 논-가이드 신호만 포함되는 경우 상기 논-가이드 신호를 포함하는 상기 오디오 출력 신호와 상기 입력 신호를 비교하여 상기 사용자의 상기 음향 출력 수단의 착용 여부를 판별한다.
바람직하게는, 상기 프로세서는, 상기 오디오 출력 신호의 특성에 기초하여 상기 오디오 출력 신호에 상기 가이드 신호를 추가할지 여부를 결정한다.
바람직하게는, 상기 음향 출력 수단은 복수의 출력 유닛을 포함하고, 상기 오디오 출력 신호는 복수의 개별 오디오 신호를 포함하고, 상기 프로세서는, 상기 각 출력 유닛을 통해 상기 복수의 개별 오디오 신호를 개별적으로 상기 음향으로 변환하며, 상기 개별 오디오 신호 간의 상관도(correlation)에 기초하여 상기 가이드 신호의 추가 여부를 결정한다.
바람직하게는, 상기 프로세서는, 상기 개별 오디오 신호 간의 상관도가 기 설정된 기준 상관도보다 높은 경우 상기 오디오 출력 신호에 상기 가이드 신호를 추가하고, 상기 개별 오디오 신호 간의 상관도가 기 설정된 기준 상관도보다 낮은 경우 상기 오디오 출력 신호에서 상기 가이드 신호를 제외시킨다.
바람직하게는, 상기 프로세서는, 상기 오디오 출력 신호가 상기 입력 신호에 포함된 정도를 나타내는 검출 결과값을 산출하고, 상기 검출 결과값이 기 설정된 검출 한계값 이상인 경우 상기 사용자가 상기 음향 출력 수단을 착용하고 있는 것으로 판별하되, 상기 검출 한계값은 상기 음향 출력 수단과 상기 마이크 사이의 음향 전달 경로에 대한 임펄스 응답(impulse response)의 에너지 및 상기 오디오 출력 신호의 에너지의 조합에 기초하여 결정된다.
본 발명의 또 다른 실시예에 따르면, 오디오 신호 처리 장치의 제어 방법에 있어서, 음향 출력 수단이 오디오 출력 신호를 음향으로 출력하도록 제어하는 단계; 상기 음향이 출력되는 동안 마이크를 통해 수집된 외부 음향이 변환된 입력 신호를 취득하는 단계; 상기 오디오 출력 신호 및 상기 입력 신호를 비교하여 사용자가 상기 음향 출력 수단을 착용했는지 여부를 판별하는 단계를 포함하는 것을 특징으로 하는 제어 방법이 제공될 수 있다.
바람직하게는, 상기 오디오 신호 처리 장치는 상기 음향 출력 수단 및 상기 마이크를 포함한다.
본 발명의 일 실시 예에 따르면, 음향 출력 수단의 착용 여부를 효율적으로 판단할 수 있다.
본 발명의 일 실시 예에 따르면, 추가적인 하드웨어가 없어도 신호 처리적인 방법으로 사용자의 음향 출력 수단의 착용 여부를 판별할 수 있다.
또한, 본 발명의 다른 실시예에 따르면 컨텐츠가 재생 중이지 않더라도 사용자의 음향 출력 수단의 착용 여부를 판별할 수 있다.
또한, 본 발명의 또 다른 실시예에 따르면 복수의 출력 유닛에 대하여 개별적으로 착용 여부를 판별할 수 있다.
도 1은 본 발명의 실시예에 따른 오디오 신호 처리 장치를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 음향 출력 장치를 나타낸 도면이다.
도 3은 음향 출력 수단의 종류에 따라 사용자의 음향 출력 수단의 착용 여부를 판별하는 방식을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 사용자의 음향 출력 장치의 착용 여부를 판별하는 방식을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 입력 신호 모델을 나타낸 도면이다.
도 6은 본 발명의 다른 실시예에 따라 사용자의 음향 출력 장치의 착용 여부를 판별하는 방식의 일 실시예를 나타낸 도면이다.
도 7은 본 발명의 다른 실시예에 따른 입력 신호 모델을 나타낸 도면이다.
도 8은 가이드 신호를 이용하여 사용자의 음향 출력 장치의 착용 여부를 판별하는 방식의 일 실시예를 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 가이드 신호를 나타낸 도면이다.
도 10은 가이드 신호를 이용하여 사용자의 음향 출력 장치의 착용 여부를 판별하는 방식의 다른 실시예를 나타낸 도면이다.
도 11은 가이드 신호를 이용하여 사용자의 음향 출력 장치의 착용 여부를 판별하는 방식의 또 다른 실시예를 나타낸 도면이다.
도 12는 본 발명의 실시예에 따른 오디오 신호 처리 장치 또는 음향 출력 장치의 작동 방식을 나타낸 도면이다.
도 13은 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치 또는 음향 출력 장치의 작동 방식을 나타낸 도면이다.
도 14는 본 발명의 실시예에 따른 오디오 신호 처리 장치 또는 음향 출력 장치의 활용 방안을 나타낸 도면이다.
도 15는 본 발명의 실시예에 따른 오디오 신호 처리 장치의 제어 방법을 나타낸 도면이다.
도 16은 본 발명의 실시예에 따른 음향 출력 장치의 제어 방법을 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 출원은 대한민국 특허 출원 제 10-2015-0162125호를 기초로 한 우선권을 주장하며, 우선권의 기초가 되는 상기 각 출원들에 서술된 실시예 및 기재 사항은 본 출원의 상세한 설명에 포함되는 것으로 한다.
본 발명의 실시예에 따른 오디오 신호 처리 장치 또는 음향 출력 장치는 추가적인 하드웨어 없이 마이크를 통해 수신된 신호를 분석함으로써 사용자가 음향 출력 수단을 착용했는지 여부를 감지할 수 있다. 본 발명의 실시예에 따르면, 상기 음향 출력 수단과 상기 마이크 사이에 음향 전달 경로, 즉, 피드백 경로(feedback path)가 형성될 수 있다. 그리고 사용자가 음향 출력 수단을 착용했는지 여부에 따라 상기 음향 출력 수단을 통해 출력되는 음향(소리)이 상기 마이크에 전달되는 정도가 결정될 수 있다. 예를 들어, 사용자가 음향 출력 수단을 귀에 착용한 경우 음향 출력 수단을 통해 출력되는 음향(소리)은 상기 사용자의 외이도(ear canal)로 유입될 수 있다. 이에 따라, 상기 음향 출력 수단과 상기 마이크 사이의 음향 전달 경로, 즉 피드백 경로는 차단될 수 있다. 반대로, 사용자가 음향 출력 수단을 착용하지 않는 경우, 상기 음향 출력 수단을 통해 출력되는 음향의 적어도 일부는 상기 피드백 경로를 통해 상기 마이크로 전달될 수 있다. 본 발명의 실시예에 따른 오디오 신호 처리 장치 또는 음향 출력 장치는 상기 피드백 경로를 통해 전달되는 음향을 감지하고, 상기 감지 결과에 기초하여 음향 출력 수단의 착용 여부를 판별할 수 있다. 사용자가 멀티미디어 컨텐츠를 즐기는 시나리오에서, 사용자의 음향 출력 수단의 착용 여부에 대한 감지 결과는 다양한 어플리케이션에서 이용될 수 있으며, 사용자의 태도나 컨텍스트(context)를 이해하는데 활용될 수도 있다.
도 1은 본 발명의 실시예에 따른 오디오 신호 처리 장치를 나타낸 도면이다.
도 1에 따르면, 오디오 신호 처리 장치(100)는 송수신 모듈(120) 및 프로세서(110)를 포함할 수 있다. 본 발명의 실시예에 따른 오디오 신호 처리 장치(100)는 PDA(personal digital assistant), PMP(portable media player), 스마트폰(smartphone), 태블릿(tablet), 패블릿(phablet), 랩탑(laptop), mp3 플레이어 및 기타 포터블 오디오 재생 디바이스일 수 있으나 이에 한정되지 않으며, PC 또는 기타 논-모바일(non-mobile) 오디오 재생 장치일 수도 있다.
송수신 모듈(120)은 외부 장치와 유선 신호 또는 무선 신호를 송수신할 수 있다. 본 발명의 바람직한 실시예에 따르면, 상기 외부 장치는 외부 음향 출력 장치일 수 있으며, 상기 유선 신호 또는 무선 신호는 음향 컨텐츠를 포함하는 오디오 신호일 수 있다. 송수신 모듈(120)은 무선 통신 모듈을 포함할 수 있으며, 상기 무선 통신 모듈을 통해 무선 신호를 송수신할 수 있다. 상기 무선 통신 모듈은 셀룰러 통신 모듈을 포함하거나 Wi-Fi 통신 모듈 또는 블루투스 통신 모듈 또는 지그비(ZigBee) 통신 모듈 등의 근거리 무선 통신 모듈을 포함할 수 있다. 하지만 상기 무선 통신 모듈의 종류는 이에 한정되지 않으며, 기타 다양한 무선 통신 방식을 이용하는 무선 통신 모듈이 송수신 모듈(120)에 포함될 수 있다. 송수신 모듈(120)은 복수의 서로 다른 통신 방식에 따른 무선 통신 모듈을 포함할 수 있다. 그리고, 송수신 모듈(120)은 무선 통신 모듈을 통해 복수의 외부 장치와 페어링(pairing) 되거나 복수의 외부 장치와 무선 신호를 송수신할 수 있다. 또한, 송수신 모듈(120)은 유선 통신 모듈을 포함할 수 있으며, 상기 유선 통신 모듈을 통해 유선 신호를 송수신 있다. 특히, 송수신 모듈(120)이 유선 통신 모듈을 포함하는 경우 전선 또는 회로를 통해 연결된 외부 장치와 유선 신호를 송수신할 수 있다. 송수신 모듈(120)이 유선 통신 모듈을 포함하는 경우, 외부 장치와의 연결을 위한 단자를 포함할 수 있다. 본 발명의 바람직한 실시예에 따르면, 상기 단자는 3.5 mm 오디오 인터페이스 또는 USB-C 또는 애플 라이트닝 인터페이스일 수 있으나 이에 한정되지 않는다. 송수신 모듈(120)은 무선 통신 모듈 및 유선 통신 모듈을 함께 포함할 수도 있다.
프로세서(110)는 오디오 신호 처리 장치(100)의 전반적인 작동을 제어한다. 프로세서(110)는 각종 데이터와 신호의 연산 및 처리를 수행하고 오디오 신호 처리 장치(100)의 각 구성 요소를 제어할 수 있다. 프로세서(110)는 반도체 칩 또는 전자 회로 형태의 하드웨어로 구현되거나 상기 하드웨어를 제어하는 소프트웨어로 구현될 수 있으며, 상기 하드웨어와 상기 소프트웨어가 결합된 형태로 구현될 수도 있다.
도 1에 따르면, 프로세서(110)는 송수신 모듈(120)을 통해 오디오 출력 신호 x(n)을 외부 장치로 전송할 수 있으며, 상기 송수신 모듈(120)을 통해 외부 장치로부터 입력 신호 m(n)을 수신할 수 있다. 프로세서(110)는 상기 입력 신호 m(n)에 대한 신호 처리를 수행하고, 상기 신호 처리 결과에 기초하여 상기 오디오 신호 처리 장치(100)의 작동 방식을 결정할 수 있다.
본 발명의 실시예에 따르면, 상기 외부 장치는 상기 오디오 출력 신호 x(n)을 음향으로 출력하는 외부의 음향 출력 장치일 수 있다. 상기 외부의 음향 출력 장치는 마이크 및 음향 출력 수단을 포함할 수 있다. 본 발명의 바람직한 실시예에 따르면, 상기 외부의 음향 출력 장치는 이어셋(earset), 헤드셋(headset) 또는 마이크를 포함하는 이어폰(earphone), 이어버드(earbud), 헤드폰(headphones)일 수 있으며, 상기 음향 출력 수단은 사용자의 귀 등에 착용되는 스피커 유닛(speaker unit)일 수 있으나 이에 한정되지 않는다. 상기 입력 신호 m(n)은 상기 외부 음향 출력 장치가 상기 음향 출력 수단을 통해 상기 오디오 출력 신호를 기초로 음향을 출력하는 동안, 상기 마이크를 통해 수집된 외부 음향이 변환된 것일 수 있다. 프로세서(110)는 상기 오디오 출력 신호 x(n)과 상기 입력 신호 m(n)을 비교하여 사용자가 상기 외부 음향 출력 장치(또는 상기 외부 음향 출력 장치의 음향 출력 수단, 예를 들어, 이어폰의 스피커 유닛)를 착용했는지 여부를 판별할 수 있다.
한편, 본 발명의 바람직한 실시예에 따르면 상기 음향 출력 장치는 음향의 출력을 위한 스피커 유닛을 포함할 수 있으며, 상기 스피커 유닛을 통해 전기적 신호인 오디오 신호를 공기의 떨림인 음향으로 변환할 수 있다. 이때, 상기 스피커 유닛은 AC(air-conduction) 스피커 유닛 또는 BC(bone-conduction) 스피커 유닛이거나 AC 스피커 유닛과 BC 스피커 유닛를 모두 포함할 수도 있다. 또한, 상기 음향 출력 장치의 마이크는 AC 마이크일 수 있으며, 본 발명을 실시하는 방식에 따라서 마이크는 BC 마이크일 수 있다. 또는, 상기 마이크는 상기 AC 마이크 및 BC 마이크를 모두 포함할 수도 있다.
도 2는 본 발명의 실시예에 따른 음향 출력 장치를 나타낸 도면이다.
도 2에 따르면, 음향 출력 장치(200)는 송수신 모듈(220), 음향 출력 수단(230), 마이크(240) 및 프로세서(210)를 포함할 수 있다. 본 발명의 실시예에 따른 음향 출력 장치(200)는 전술한 이어셋(earset), 헤드셋(headset) 또는 마이크를 포함하는 이어폰(earphone), 이어버드(earbud), 헤드폰(headphones)일 수 있고, 상기 음향 출력 수단은 사용자의 귀 등에 착용되는 스피커 유닛일 수 있으나 이에 한정되지 않는다.
송수신 모듈(220)은 외부 장치와 유선 신호 또는 무선 신호를 송수신할 수 있다. 본 발명의 바람직한 실시예에 따르면, 상기 외부 장치는 외부의 오디오 재생 장치일 수 있으며, 상기 유선 신호 또는 무선 신호는 음향 컨텐츠를 포함하는 오디오 신호일 수 있다. 송수신 모듈(220)은 무선 통신 모듈을 포함할 수 있으며, 상기 무선 통신 모듈을 통해 무선 신호를 송수신할 수 있다. 상기 무선 통신 모듈은 셀룰러 통신 모듈을 포함하거나 Wi-Fi 통신 모듈 또는 블루투스 통신 모듈 또는 지그비(ZigBee) 통신 모듈 등의 근거리 무선 통신 모듈을 포함할 수 있다. 하지만 상기 무선 통신 모듈의 종류는 이에 한정되지 않으며, 기타 다양한 무선 통신 방식을 이용하는 무선 통신 모듈이 송수신 모듈(220)에 포함될 수 있다. 송수신 모듈(220)은 복수의 서로 다른 통신 방식에 따른 무선 통신 모듈을 포함할 수 있다. 그리고, 송수신 모듈(220)은 무선 통신 모듈을 통해 복수의 외부 장치와 페어링(pairing) 되거나 복수의 외부 장치와 무선 신호를 송수신할 수 있다. 또한, 송수신 모듈(220)은 유선 통신 모듈을 포함할 수 있으며, 상기 유선 통신 모듈을 통해 유선 신호를 송수신 있다. 특히, 송수신 모듈(220)이 유선 통신 모듈을 포함하는 경우 전선 또는 회로를 통해 연결된 외부 장치와 유선 신호를 송수신할 수 있다. 송수신 모듈(220)이 유선 통신 모듈을 포함하는 경우, 외부 장치와의 연결을 위한 단자를 포함할 수 있다. 본 발명의 바람직한 실시예에 따르면, 상기 단자는 3.5 mm 오디오 인터페이스 또는 USB-C 또는 애플 라이트닝 인터페이스일 수 있으나 이에 한정되지 않는다. 송수신 모듈(220)은 무선 통신 모듈 및 유선 통신 모듈을 함께 포함할 수도 있다.
프로세서(210)는 음향 출력 장치(200)의 전반적인 작동을 제어한다. 프로세서(210)는 각종 데이터와 신호의 연산 및 처리를 수행하고 음향 출력 장치(200)의 각 구성 요소를 제어할 수 있다. 프로세서(210)는 반도체 칩 또는 전자 회로 형태의 하드웨어로 구현되거나 상기 하드웨어를 제어하는 소프트웨어로 구현될 수 있으며, 상기 하드웨어와 상기 소프트웨어가 결합된 형태로 구현될 수도 있다.
음향 출력 수단(230)은 음향을 출력한다. 음향 출력 수단(230)은 프로세서(220)의 제어에 의해 음향 컨텐츠를 포함하는 오디오 신호를 음향으로 변환할 수 있다. 본 발명의 바람직한 실시예에 따르면, 음향 출력 수단(230)은 음향의 출력을 위한 스피커 유닛을 포함할 수 있으며, 상기 스피커 유닛을 통해 전기적 신호인 오디오 신호를 공기의 떨림인 음향으로 변환할 수 있다. 이때, 상기 스피커 유닛은 AC(air-conduction) 스피커 유닛 또는 BC(bone-conduction) 스피커 유닛이거나, AC 스피커 유닛과 BC 스피커 유닛을 모두 포함할 수도 있다.
마이크(240)는 음향을 취득한다. 마이크(240)는 프로세서(220)의 제어에 의해 음향을 전기적 신호로 변환할 수 있다. 도 2의 마이크(240)는 AC 마이크일 수 있으며, 본 발명을 실시하는 방식에 따라서 마이크(240)는 BC 마이크일 수 있다. 또는, 도 2의 마이크(240)는 상기 AC 마이크 및 BC 마이크를 모두 포함할 수도 있다.
도 2에 따르면, 프로세서(210)는 송수신 모듈(220)을 통해 오디오 출력 신호 x(n)을 외부 장치로부터 수신할 수 있다. 그리고 프로세서(210)는 상기 음향 출력 수단(230)을 통해 오디오 출력 신호 x(n)을 기초로 음향을 출력할 수 있으며, 상기 음향 출력 수단(230)을 통해 오디오 출력 신호 x(n)를 출력하는 동안, 상기 마이크(240)를 통해 외부 음향을 수집하여 입력 신호 m(n)로 변환할 수 있다. 프로세서(210)는 상기 입력 신호 m(n)에 대한 신호 처리를 수행하고, 상기 신호 처리 결과에 기초하여 상기 음향 출력 장치(200)의 작동 방식을 결정할 수 있다. 또는 프로세서(210)는 상기 신호 처리 결과에 기초하여 상기 외부 장치의 작동을 제어하는 제어 신호를 생성할 수 있다. 프로세서(210)는 상기 송수신 모듈(220)을 통해 상기 입력 신호 m(n) 또는 상기 제어 신호를 상기 외부 장치로 전송할 수 있다.
본 발명의 실시예에 따르면, 상기 외부 장치는 음향 컨텐츠를 재생하는 오디오 신호 처리 장치 또는 외부 오디오 재생 장치일 수 있으며, 상기 음향 컨텐츠 재생에 따른 오디오 출력 신호 x(n)을 생성할 수 있다. 상기 오디오 신호 처리 장치 또는 상기 외부 오디오 재생 장치는 PDA(personal digital assistant), PMP(portable media player), 스마트폰(smartphone), 태블릿(tablet), 패블릿(phablet), 랩탑(laptop), mp3 플레이어 및 기타 포터블 오디오 재생 디바이스일 수 있으나 이에 한정되지 않으며, PC 또는 기타 논-모바일(non-mobile) 오디오 재생 장치일 수도 있다. 상기 프로세서(210)는 상기 오디오 출력 신호 x(n)과 상기 입력 신호 m(n)을 비교하여 사용자가 상기 음향 출력 수단(230)을 착용했는지 여부를 판별할 수 있다.
한편, 도 1 및 도 2의 오디오 출력 신호 x(n)은 복수의 개별 오디오 신호 포함할 수 있다. 본 발명의 실시예에 따르면, 상기 오디오 출력 신호는 멀티 채널 오디오 신호일 수 있고, 상기 각 개별 오디오 신호는 각 채널 신호에 대응하는 신호일 수 있다. 다만, 이에 한정되지 않는다. 또한, 도 1의 외부의 음향 출력 장치의 음향 출력 수단 및 도 2의 음향 출력 장치(200)의 음향 출력 수단(230)은 복수의 출력 유닛을 포함할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 상기 출력 유닛은 전술한 스피커 유닛에 대응될 수 있으며, 이에 따라 복수의 출력 유닛은 복수의 스피커 유닛을 의미하는 것일 수 있다. 그리고 상기 각 개별 오디오 신호는 상기 각 출력 유닛을 통해 음향으로 변환될 수 있으며, 특히 상기 각 개별 오디오 신호는 서로 다른 상기 출력 유닛을 통해 음향으로 변환될 수 있다. 본 발명의 바람직한 실시예에 따르면, 상기 오디오 출력 신호 x(n)은 2 채널 신호를 포함할 수 있고, 상기 음향 출력 수단은 2 개의 출력 유닛을 포함할 수 있다. 이에 따라, 각 채널 신호는 서로 다른 출력 유닛을 통해 개별적으로 출력될 수 있다.
사용자가 컨텐츠를 감상 중인지 여부를 판별하기 위한 하나의 예시로써, 다음의 방법들을 고려해볼 수 있다.
우선, 음향 출력 장치가 오디오 재생 장치의 단자(또는 오디오 인터페이스)에 연결되거나, 음향 출력 장치 및 오디오 재생 장치가 상호 무선으로 연결된 상황을 가정해볼 수 있다. 일 실시예에 따르면, 오디오 재생 장치는 상기 음향 출력 장치가 상기 단자로부터 분리되거나 상기 무선 연결이 해제되는 경우 사용자가 컨텐츠를 감상하지 않는 것으로 판별할 수 있다. 이에 따라, 오디오 재생 장치는 컨텐츠의 재생을 중단할 수 있다. 하지만 이 경우, 단순하게 음향 출력 장치가 오디오 재생 장치에 연결되어있다고 해서 사용자가 컨텐츠를 감상 중이라고 단정지을 수 없다는 문제가 있다. 한편, 통상적으로 사용자는 다양한 형태의 음향 출력 장치(이어셋, 이어폰, 이어버드, 헤드셋)를 통해 음향 컨텐츠를 감상하며, 음향 컨텐츠를 감상할 때 상기 음향 출력 장치를 자신의 신체(예를 들어, 귀)에 착용한다. 따라서, 사용자가 현재 음향 컨텐츠를 감상하고 있는지 여부는 사용자가 상기 음향 출력 장치를 착용하고 있는지 여부에 기초하여 판별될 수 있다.
사용자가 음향 출력 장치를 착용하고 있는지 여부를 감지하는 방식은 다양하게 마련될 수 있다. 다른 실시예에 따르면, 음향 출력 장치 또는 오디오 재생 장치에 추가적인 하드웨어를 포함시키고, 상기 추가적인 하드웨어를 통해 상기 음향 출력 장치와 사용자 사이의 거리를 감지하는 방법이 고려될 수 있다. 이 경우, 상기 하드웨어는 주변광 센서(ambient light sensor) 등의 독립적인 근접 센서일 수 있다. 하지만, 이 방식에 따르면 기존의 오디오 인터페이스 연결시 비호환성 문제 및 추가적인 하드웨어에 따른 제조 비용 상승이라는 문제가 유발될 수 있다.
이하의 내용에서는 추가적인 하드웨어 없이, 사용자가 음향 출력 장치를 작용하고 있는지 여부를 감지할 수 있는 기법에 대해서 서술한다.
도 3은 음향 출력 수단의 종류에 따라 사용자의 음향 출력 수단의 착용 여부를 판별하는 방식을 나타낸 도면이다. 본 발명의 실시예에 따른 음향 출력 장치(200)는 송수신 모듈(210)을 통해 외부 장치로부터 오디오 출력 신호를 수신하고, 음향 출력 수단(230)을 통해 상기 오디오 출력 신호를 음향으로 변환할 수 있다. 그리고 음향 출력 장치(200)는 상기 음향 출력 수단(230)이 음향을 출력하는 동안 마이크(230a, 230b)를 통해 외부 음향을 취득하여 입력 신호로 변환하고, 상기 송수신 모듈(230)을 통해 외부 장치로 상기 입력 신호를 전송할 수 있다. 도 3에서 점선 화살표는 음향 출력 수단(230)과 마이크(240a, 240b) 사이의 음향 전달 경로(acoustic path)를 나타내며, 도 3에서 음향 출력 장치(200)의 프로세서는 생략되었다.
도 3(a) 및 도 3(b)는 음향 출력 수단(230)이 AC 스피커 유닛을 포함하고 마이크(240a)가 AC 마이크인 경우를 나타낸다.
도 3(a) 및 도 3(b)의 음향 출력 장치(200)는 AC 스피커 및 AC 마이크를 포함하는 기존의 AC 이어셋(earset), 헤드셋(headset), 이어폰(earphone), 이어버드(earbud) 또는 헤드폰(headphones)일 수 있다. 즉, 도 3(a) 및 도 3(b)의 음향 출력 장치(200)는 본 발명을 위해 특별하게 제작된 것이 아닌 것으로 음향 컨텐츠 감상을 위한 통상의 이어셋 또는 헤드셋 등일 수 있다. 도 3(a)에 따르면, 음향 출력 장치(200)의 음향 출력 수단(230)을 통해 출력된 음향은 상기 음향 출력 장치(200)의 마이크(240a)에서 취득될 수 있다. 이때, 상기 음향 출력 수단(230)과 상기 마이크(240a) 사이에 존재하는 음향 전달 경로를 가정할 수 있으며, 상기 음향 전달 경로는 피드백 경로로 명명될 수 있다. 도 3(a) 및 도 3(b)와 같이 음향 출력 수단(230)이 AC 스피커 유닛을 포함하고 마이크(240a)가 AC 마이크인 경우, 상기 피드백 경로는 공기 전달 경로(AC path)로 명명될 수도 있다. 사용자가 음향 출력 수단(230)을 착용하지 않은 상태에서는, 상기 피드백 경로가 타 물체에 의해 가로막히지 않는 이상 상기 음향 출력 수단(230)에서 출력된 음향의 적어도 일부는 상기 마이크(240a)에서 취득될 수 있다(도 3(a)). 이와는 반대로, 사용자가 음향 출력 수단(230)을 착용하는 경우(예를 들어, 사용자가 이어폰을 자신의 귀에 착용하는 경우), 상기 피드백 경로가 사용자의 신체 등에 의해 차단되며, 그에 따라 음향 출력 수단(230)을 통해 출력된 음향의 대부분은 사용자에게 전달될 수 있다(예를 들어, 사용자의 외이도로 음향이 유입됨, 도 3(b)). 이에 따라, 마이크(240a)는 상기 음향 출력 수단(230)에서 출력된 음향을 취득하지 못하거나, 기 설정된 한계값(예를 들어, 배경 잡음 레벨) 미만의 음향을 취득할 뿐이다. 즉, 사용자가 음향 출력 수단(230)을 착용했는지 여부에 따라 상기 마이크에서 수집되는 음향이 달라질 수 있다. 결과적으로, 본 발명의 실시예에 따른 오디오 신호 처리 장치 또는 음향 출력 장치는 상기 음향 출력 수단(230)이 출력하는 음향과 상기 마이크(240a)가 취득하는 음향을 비교함으로써 사용자가 음향 출력 수단(230)을 착용 중인지 여부를 판별할 수 있다. 상기 음향 출력 수단(230)이 출력하는 음향은 상기 음향 출력 수단(230)에 전송된 오디오 출력 신호가 변환된 것이다. 그리고, 상기 마이크(240a)가 취득하는 음향은 상기 음향 출력 수단(230)이 상기 오디오 출력 신호에 기초하여 음향을 출력하는 동안 상기 마이크(240a)를 통해 수집된 것이며, 상기 마이크(240a)에 의해 입력 신호로 변환된다. 따라서, 상기 음향 출력 수단(230)이 출력하는 음향과 상기 마이크(240a)이 취득하는 음향의 비교는 상기 오디오 출력 신호와 상기 입력 신호의 비교를 통해 수행될 수 있다. 본 발명의 바람직한 실시예에 따르면, 오디오 신호 처리 장치 또는 음향 출력 장치는 상기 오디오 출력 신호와 상기 입력 신호의 상관도(correlation) 또는 상기 오디오 출력 신호를 기초로 한 정합 필터(march filter)에 상기 입력 신호를 적용했을 때의 출력값을 산출할 수 있다. 그리고, 오디오 신호 처리 장치 또는 음향 출력 장치는 상기 상관도 또는 상기 출력값이 기 설정된 한계값 이상인 경우 사용자가 상기 음향 출력 수단(230)을 착용하지 않은 것으로 판별할 수 있다. 하지만, 본 발명의 비교 방식은 이에 한정되지 않는다.
본 발명의 실시예는 음향 출력 수단(230) 및 마이크(240a)가 AC 방식인 경우에만 적용할 수 있는 것이 아니며, 상기 음향 출력 수단 및 마이크가 BC 방식인 경우에도 적용할 수 있다.
도 3(c) 및 도 3(d)는 음향 출력 수단(230)이 AC 스피커 유닛 또는 BC 스피커 유닛을 포함하고 마이크(240b)가 BC 마이크인 경우를 나타낸다. 도 3(c) 및 도 3(d)에서도 음향 출력 수단(230)과 상기 마이크(240b) 사이에 존재하는 음향 전달 경로(또는 피드백 경로)를 가정할 수 있다. 하지만, 도 3(a) 및 도 3(b)의 경우와는 다르게, 도 3(c) 및 도 3(d)에서는 사용자의 신체의 일부를 통해 음향이 전달된다. 상기 음향 전달 경로는 골전도 경로(BC path)로 명명될 수 있다. 사용자가 음향 출력 수단(230)을 착용하지 않는 경우, 상기 골전도 경로가 성립되지 않기 때문에 마이크(240b)는 음향 출력 수단(230)으로부터 출력된 음향을 취득하지 못하거나, 기 설정된 한계값(예를 들어, 배경 잡음 레벨) 미만의 음향을 취득할 뿐이다. 반대로, 사용자가 음향 출력 수단(230)을 착용하는 경우, 상기 골전도 경로가 성립될 수 있으며, 그에 따라 음향 출력 수단(230)으로부터 출력된 적어도 일부의 음향이 마이크(240b)에서 취득될 수 있다. 즉, 도 3(c) 및 도 3(d)에서도 사용자가 음향 출력 수단(230)을 착용했는지 여부에 따라 상기 마이크에서 수집되는 음향이 달라질 수 있다. 상기 음향 출력 수단(230)이 출력하는 음향과 상기 마이크(240b)이 취득하는 음향의 비교는 상기 오디오 출력 신호와 상기 입력 신호의 비교를 통해 수행될 수 있다. 다만, 도 3(c) 및 도 3(d)의 경우, 사용자의 음향 출력 수단(230)의 착용 여부에 따라 음향 출력 수단(230)에서 출력된 음향이 취득되는 양상이 도 3(a) 및 도 3(b)의 경우와 반대다. 따라서, 도 3(c) 및 도 3(d)의 경우 상기 음향 출력 수단(230)에서 출력된 음향이 마이크(240b)를 통해 취득되지 않거나 취득되는 양이 특정 한계값 미만인 경우, 사용자가 상기 음향 출력 수단(230)을 착용하지 않은 것으로 판별할 수 있다.
한편, 도 3(c) 및 도 3(d)의 마이크(240b)는 음향 출력 수단(230)의 출력 유닛이 AC 스피커 유닛인지 또는 BC 스피커 유닛인지 여부에 상관없이 상기 골전도 경로를 통한 음향을 취득할 수 있다.
이하의 설명에서는 음향 출력 수단의 출력 유닛이 AC 스피커 유닛이고, 마이크가 AC 마이크인 것으로 가정하나, 이것은 설명의 편의를 위한 가정일 뿐이며, 본 발명의 실시예에 따른 음향 출력 장치는 BC 스피커 유닛 또는 BC 마이크 유닛을 포함할 수도 있다.
도 4는 본 발명의 일 실시예에 따라 사용자의 음향 출력 장치의 착용 여부를 판별하는 방식을 나타낸 도면이다. 도 4에 따르면, 오디오 신호 처리 장치(100) 및 음향 출력 장치(200)는 송수신 모듈(120, 220)을 통해 음향 출력 신호 x(n) 또는 입력 신호 m(n)을 유선 또는 무선으로 송수신할 수 있다. 이때, 도 4의 오디오 신호 처리 장치(100)는 본 발명의 실시예에 따른 오디오 신호 처리 장치일 수 있으며, 음향 출력 장치(200)는 마이크를 포함하는 기존의 음향 출력 장치일 수 있다. 이 경우, 오디오 신호 처리 장치(100)가 사용자의 음향 출력 수단(230)의 착용 여부를 판별할 수 있다. 또는, 도 4의 오디오 신호 처리 장치(100)는 통상의 오디오 재생 장치일 수 있으며, 음향 출력 장치(200)는 본 발명의 실시예에 따른 음향 출력 장치일 수 있다. 이 경우, 음향 출력 장치(200)가 사용자의 음향 출력 수단(230)의 착용 여부를 판별할 수 있다. 도 3의 경우와 마찬가지로, 도 4에서 음향 출력 장치(200)의 프로세서는 생략되었다.
이하에서는 본 발명의 실시예에 따른 오디오 신호 처리 장치(100)가 사용자의 음향 출력 수단(230)의 착용 여부를 판별하는 방식에 대해서 서술한다.
도 4에 따르면, 오디오 신호 처리 장치(100)의 프로세서(110)는 컨텐츠 재생부(111) 및 검출부(112)를 포함할 수 있다. 컨텐츠 재생부(111)는 오디오 출력 신호 x(n)을 출력할 수 있다. 본 발명의 실시예에 따르면, 컨텐츠 재생부(111)는 오디오 신호 처리 장치(100)의 스토리지(미도시)에 저장된 컨텐츠(음향 컨텐츠 등) 또는 상기 오디오 신호 처리 장치(100)가 외부로부터 수신한 컨텐츠를 오디오 출력 신호 x(n)로 변환하고, 상기 변환된 오디오 출력 신호 x(n)를 송수신 모듈(120) 또는 검출부(112)로 전송할 수 있다. 검출부(112)는 외부로부터 수신한 신호에 검출 대상인 신호가 포함되어있는지 여부를 판별할 수 있다. 검출부(112)의 구체적 작동 방식에 대해서는 아래에서 설명하도록 한다.
도 4에 따르면, 프로세서(110)의 컨텐츠 재생부(111)는 오디오 출력 신호 x(n)을 송수신 모듈(120)로 전송할 수 있으며, 프로세서(110)는 오디오 신호 처리 장치(100)의 송수신 모듈(120)을 통해 음향 출력 장치(200)의 송수신 모듈(220)로 상기 오디오 출력 신호 x(n)을 전송할 수 있다. 음향 출력 장치(200)의 송수신 모듈(220)이 수신한 오디오 출력 신호 x(n)는 음향 출력 수단(230)으로 전송될 수 있으며, 상기 오디오 출력 신호 x(n)은 상기 음향 출력 수단(230)을 통해 음향으로 출력될 수 있다. 음향 출력 장치(200)의 마이크(240)는 상기 음향 출력 수단(230)이 상기 오디오 출력 신호 x(n)에 기초하여 음향을 출력하는 동안 외부 음향을 취득할 수 있으며, 취득된 외부 음향을 입력 신호 m(n)으로 변환할 수 있다. 여기서, 사용자가 음향 출력 수단(230)을 착용했는지 여부에 따라서, 상기 마이크가 취득하는 외부 음향에 상기 음향 출력 장치(200)가 출력하는 음향이 포함되는 정도가 결정될 수 있다.
도 4의 sig_model은 입력 신호 m(n)의 생성에 관여되는 요소들에 기초한 상기 입력 신호 m(n)의 신호 모델을 나타낸 것이다. 입력 신호의 생성에 관여되는 요소는 상기 오디오 출력 신호 x(n)을 음향으로 변환하는 음향 출력 수단(230), 상기 음향 출력 수단과 상기 마이크(240) 사이의 음향 전달 경로 및 상기 마이크(240)를 포함할 수 있다. 본 발명의 바람직한 실시예에 따르면 입력 신호 m(n)은 상기 입력 신호의 생성에 관여되는 각 요소들의 임펄스 응답(impulse response)에 기초하여 모델링될 수 있다.
도 5는 본 발명의 일 실시예에 따른 입력 신호 모델(sig_model)을 나타낸 도면이다. 특히, 도 5는 도 4의 오디오 출력 신호 x(n)과 입력 신호 모델(sig_model)에 포함되는 각 요소들의 임펄스 응답의 조합으로부터 입력 신호 m(n)을 도출하는 과정을 나타낸 블럭도이다. 도 5에서 tspk(n)은 음향 출력 수단의 임펄스 응답을 나타내고, tmic(n)은 마이크의 임펄스 응답를 나타내고, w(n)은 상기 입력 신호 m(n)이 생성되는 과정에서 유입될 수 있는 배경 잡음(ambient noise)을 나타낸다. a(n)은 상기 음향 출력 수단과 상기 마이크 사이의 음향 전달 경로에 대한 임펄스 응답을 나타내며, 대기에서의 음향의 흡수(또는 감쇄)와 관련된 특성 또는 공간 임펄스 응답(room impulse response)을 포함할 수 있다. b(n)은 음향 출력 수단의 착용 여부를 나타내는 이진값(binary value)으로, b(n) = 0은 사용자가 음향 출력 수단을 착용한 상태인 것을 나타내고 b(n) = 1은 사용자가 음향 출력 수단을 착용하지 않은 상태를 나타낸다. 다음의 수학식은 상기 입력 신호 모델에 따른 입력 신호를 나타낸 것이다.
[수학식 1]
Figure pat00001
위 수학식에서
Figure pat00002
는 콘볼루션(convolution) 연산을 의미한다. 이때, 필터링된 x(n)을 다음과 같이 나타낼 수 있다.
[수학식 2]
Figure pat00003
이에 따라, 입력 신호 m(n)은 다음과 같이 정리될 수 있다.
[수학식 3]
Figure pat00004
상기의 수학식 3은 음향 출력 장치의 음향 출력 수단이 AC 스피커 유닛 또는 BC 스피커 유닛을 포함하고, 마이크가 BC 마이크인 경우에도 동일하게 적용될 수 있으며, 임펄스 응답 a(n)은 음향의 골전도와 관련된 임펄스 응답으로 대체될 수 있다.
한편, 입력 신호 m(n)은 수학식 3과 같은 신호 모델을 가질 수 있다. 하지만, 본 발명의 실시예에 따른 오디오 신호 처리 장치(100) 또는 음향 출력 장치(200)를 구현할 때, 상기 입력 신호 m(n)은 마이크(240)에서 실제적으로 취득된 음향이 변환된 신호로 대체될 수 있다. 그리고 오디오 신호 처리 장치(100) 또는 음향 출력 장치(200)는 상기 실제적으로 취득된 음향에 기초한 입력 신호를 이용하여 후속 처리 과정을 진행할 수 있다.
다시 도 4로 돌아와서, 도 5의 과정을 통해 생성된 상기 입력 신호 m(n)은 음향 출력 장치(200)의 송수신 모듈(220)을 통해 오디오 신호 처리 장치(100)의 송수신 모듈(120)로 전송될 수 있다. 오디오 신호 처리 장치(100)는 수신된 상기 입력 신호 m(n)을 프로세서(110)의 검출부(112)로 전송할 수 있다. 검출부(112)는 상기 수신된 입력 신호 m(n)과 컨텐츠 재생부(111)로부터 수신한 오디오 출력 신호 x(n)을 비교하고, 상기 비교 결과에 기초하여 사용자의 상기 음향 출력 수단(230)의 착용 여부를 판별할 수 있다.
본 발명의 실시예에 따르면, 상기 비교는 상기 입력 신호 m(n)에 상기 오디오 출력 신호 x(n)이 포함된 정도를 판별하는 것일 수 있다. 또는, 상기 비교는 상기 입력 신호 m(n)과 상기 오디오 출력 신호 x(n)이 서로 매칭되는 정도를 판별하거나 두 신호 간의 유사도를 판별하는 것일 수 있다. 또는, 상기 비교는, 오디오 출력 신호 x(n)에 기초한 음향이 상기 음향 출력 수단(230)과 상기 마이크(240) 사이에 형성된 음향 전달 경로를 통해 상기 마이크(240)에 도달하여 입력 신호 m(n)으로 변환되는 정도를 판별하는 것일 수 있다. 그리고, 본 발명의 바람직한 실시예에 따르면, 정합 필터(matched filter) 또는 상관기(correlator)를 이용함으로써 상기 입력 신호 m(n)에 상기 오디오 출력 신호 x(n)이 포함되는 정도를 산출할 수 있다. 또는, 본 발명의 바람직한 실시예에 따르면, 검출부(112)는 상기 오디오 출력 신호 x(n)과 상기 입력 신호 m(n)이 매칭(matching)되는 정도를 산출할 수 있다. 정합 필터의 경우, 정합 필터의 출력 신호와 입력된 잡음 사이의 신호 대 잡음비(SNR)를 최적화시킬 수 있다. 만약 정합 필터가 이용되는 경우, 상기 정합 필터의 임펄스 응답 h(n)은 다음의 조건을 만족시켜야 한다.
[수학식 4]
Figure pat00005
상기 수학식에서, H(ω)는 h(n)의 파워 스펙트럼(power spectrum)이며, Xfilt(ω)는 xfilt(n)의 파워 스펙트럼, W(ω)는 w(n)의 파워 스펙트럼이다. 상기 정합 필터 h(n)에 입력되는 배경 잡음이 가우시안 백색 잡음 프로세스(Gaussian white noise process)인 것으로 가정하는 경우, W(ω)는 1에 근사한다. 그러므로, 상기 정합 필터 h(n)은 시간 영역에서 반전된 xfilt(n)으로 나타낼 수 있다.
[수학식 5]
Figure pat00006
여기서, N은 프레임 길이를 의미한다. 상기 수학식은 보다 단순하게 정리될 수 있다. 즉, a(n)이 백색 잡음 프로세스(white noise process)인 것으로 가정할 수 있는데, 이에 따라 음향 전달 경로 a(n)은 스펙트럴 컬러레이션(spectral coloration), 즉 신호의 주파수 영역에서의 에너지 분포의 왜곡을 일으키지 않을 수 있다. 그리고, 음향 출력 수단의 임펄스 응답 tspk(n) 및 마이크의 임펄스 응답 tmic(n)이 알려져 있는 경우, 상기 두 임펄스 응답은 이퀄라이즈(equalized)될 수 있기 때문에 상기 두 임펄스 응답 tspk(n) 및 tmic(n) 은 생략될 수 있다. 결과적으로, 정합 필터 h(n)은 다음과 같이 추정될 수 있다.
[수학식 6]
Figure pat00007
오디오 신호 처리 장치(100)의 검출부(112)는 상기 정합 필터 h(n)과 상기 입력 신호 m(n)을 콘볼루션함으로써 필터의 출력 z(n)을 구할 수 있다. 여기서, 상기 필터 출력 z(n)은 상기 오디오 출력 신호 x(n)이 상기 입력 신호 m(n)에 포함된 정도를 나타내는 검출 결과값일 수 있다. 또는, 상기 필터 출력 z(n)은 상기 입력 신호 m(n)으로부터 상기 오디오 출력 신호 x(n)이 검출되는 정도를 나타내는 검출 결과값일 수 있다.
[수학식 7]
Figure pat00008
본 발명의 바람직한 실시예에 따르면, 검출부(112)(또는 프로세서(110))는 상기 오디오 출력 신호 x(n)이 상기 입력 신호 m(n)에 포함된 정도를 나타내는 검출 결과값 z(n)을 산출할 수 있다. 이때, 검출부(112)는 상기 검출 결과값 z(n)이 기 설정된 검출 한계값 thr(n) 이상인 경우 상기 사용자가 상기 음향 출력 수단(230)을 착용하고 있는 것으로 판별할 수 있고, 상기 검출 결과값 z(n)이 상기 검출 한계값 thr(n) 미만인 경우 상기 사용자가 상기 음향 출력 수단(230)을 착용하고 있지 않은 것으로 판별할 수 있다. 이러한 검출부(112)의 이진 결정(binary decision) 방식을 나타낸 것이 아래의 수학식이다.
[수학식 8]
Figure pat00009
위의 수학식에 따르면, 검출 결과값 z(n)의 절대값이 검출 한계값 thr(n)과 비교될 수 있다. 여기서 검출 한계값 thr(n)은 상기 검출부(112)의 검출 민감도(sensitivity)를 나타내는 값이다. 그리고 b'(n)은 전술한 b(n)을 예측한 값으로, 상기 검출부(112)에서 생성되는 결과 값을 나타낸다. 상기 검출부(112)는 b'(n)이 1이면 상기 사용자가 상기 음향 출력 수단(230)을 착용하고 있는 것으로 판별하고, b'(n)이 0이면 상기 사용자가 상기 음향 출력 수단(230)을 착용하고 있지 않는 것으로 판별할 수 있다.
상기 b'(n)의 값은 상기 검출 한계값 thr(n) 값에 따라 변동될 수 있다. 상기 검출 한계값 thr(n)의 크기가 작으면, z(n)의 크기가 작아도(즉, 상기 입력 신호 m(n)으로부터 약간의 오디오 출력 신호 x(n)이 검출되는 경우) b'(n)은 1의 값을 가질 수 있다. 반대로, 상기 검출 한계값 thr(n)의 크기가 크면, z(n)의 크기가 크더라도(즉, 상기 입력 신호 m(n)으로부터 대량의 오디오 출력 신호 x(n)이 검출되는 경우) b'(n)은 0의 값을 가질 수 있다. 전술한 예에서 z(n)이 0.3이고 thr(n)이 0.4인 경우 b'(n)은 0이 되지만, thr(n)이 0.3 미만인 경우 b'(n)은 1이 된다. 따라서, 검출부(112)가 정확한 b'(n) 값을 구하기 위해서는 적절한 검출 한계값 thr(n)이 선택되어야 한다.
본 발명의 바람직한 실시예에 따르면, 상기 검출 한계값 thr(n)은 상기 검출 결과값 z(n)의 최대값에 기초하여 결정될 수 있다. 우선, 전술한 필터링된 x(n)인 xfilt(n)의 에너지를 Exfilt라고 정의할 수 있다. 이때, 상기 수학식 7에 따르면, 정합 필터의 특성상 상기 검출 결과값 z(n)은 n이 N(프레임 길이)일 때 최대값을 가질 수 있으며, 상기 최대값은 Exfilt가 된다. 이때, 상기 Exfilt는 오디오 출력 신호 x(n)의 세기와 a(n), tspk(n) 및 tmic(n)의 주파수 응답에 의해 좌우될 수 있다. 여기서, a(n), tspk(n) 및 tmic(n)의 주파수 응답이 각 주파수 대역에 대하여 일정한 값을 가지고(즉, 주파수 응답이 플랫(flat)함), 임펄스 응답(또는 필터) a(n), tspk(n) 및 tmic(n)의 에너지를 각각 Ea, Espk, Emic인 것으로 가정할 수 있다. 사용자가 동일한 음향 출력 장치를 이용하거나, 음향 출력 장치의 음향 출력 수단 및 마이크가 교체되지 않는다면 상기 Espk 및 Emic는 상수로 취급될 수 있다. 한편, Ea는 음향 출력 수단과 마이크 사이의 상대적 위치에 의해 결정될 수 있다. 예를 들어, 음향 출력 수단과 마이크 사이의 거리가 가까운 경우의 Ea는 음향 출력 수단과 마이크 사이의 거리가 먼 경우의 Ea에 비해 상대적으로 큰 값을 가질 수 있다. 이에 따라, 검출 한계값 thr(n)은 다음과 같이 유도될 수 있다.
[수학식 9]
Figure pat00010
위 수학식에서 Ex는 오디오 출력 신호 x(n)의 에너지를 나타내며, c는 1보다 작은 기 설정된 스케일 상수를 나타낸다. 전술한 바에 따르면, Espk, Emic는 상수로 취급될 수 있기 때문에 c와 함께 또 다른 상수 c'로 치환될 수 있다.
수학식 9에 따르면, 검출 한계값 thr(n)은 음향 출력 수단과 마이크 사이의 음향 전달 경로에 대한 임펄스 응답의 에너지 Ea 및 오디오 출력 신호의 에너지 Ex의 조합에 기초하여 결정될 수 있다. 여기서, 오디오 출력 신호 x(n), 즉 Ex는 알려진 값이며, Ea는 음향 출력 장치의 형상(formfactor) 및 공간 임펄스 응답에 기초하여 결정될 수 있다. 예를 들어, 음향 출력 장치의 형상은 음향 출력 수단의 스피커 유닛과 AC 마이크 사이를 연결하는 케이블의 길이와 관련된 값일 수 있다. 이러한 음향 출력 장치의 형상 역시 알려진 정보로 취급할 수 있으며, 간단한 상수로써 치환될 수 있다. Ea를 계산할 때 이용되는 공간 임펄스 응답은 기 설정된 특정 공간 임펄스 응답일 수 있다. 본 발명의 다른 실시예에 따르면, 오디오 신호 처리 장치(100)는 오디오 신호 처리 장치(100)의 위치를 판별할 수 있고, 상기 위치에 대응하는 공간 임펄스 응답을 선택할 수 있다. 예를 들어, 오디오 신호 처리 장치(100)는 GPS 좌표 또는 Wi-Fi 액세스 포인트의 MAC 주소 등에 기초하여 오디오 신호 처리 장치(100)의 위치를 판별할 수 있다(이 경우에도 추가적인 하드웨어는 필요하지 않음). 오디오 신호 처리 장치(100)는 오디오 신호 처리 장치(100)의 위치가 화장실인 것으로 판별되는 경우, 화장실에 대응한 공간 임펄스 응답을 선택할 수 있다. 이때, 오디오 신호 처리 장치(100)는 화장실의 공간 임펄스 응답에 기초하여 Ea를 산출할 수 있다. 하지만 Ea를 계산하는 방식은 이에 한정되지 않는다. 본 발명의 실시예에 따르면, 검출 한계값 thr(n)은 전술한 Ex 및 Ea에 기초하여 결정될 수 있기 때문에, 검출부(112)는 사용자의 음향 출력 수단(230)의 착용 여부를 보다 정확하게 판별될 수 있다.
한편, BC 마이크를 통해 외부 음향을 수집하는 경우처럼, a(n), tspk(n) 및 tmic(n)의 주파수 응답이 각 주파수 대역에 대하여 일정한 값을 가지지 않는 경우를 가정해볼 수 있다. 이 경우, a(n), tspk(n) 및 tmic(n)의 주파수 특성이 Exfilt에 영향을 미칠 수 있다. 이것을 반영하기 위해 오디오 출력 신호 x(n)에 대한 주파수 특성 분석(spectral analysis)이 활용될 수 있다. 예를 들어,
Figure pat00011
를 근사하는 임펄스 응답 f(n)이 정의될 수 있다. 이에 따라, 상기 수학식 9에서 Espk 및 Emic를 상수로 취급하는 대신 각 필터의 주파수 특성이 반영된 f(n)을 이용함으로써 보다 정확한 thr(n)이 산출될 수 있다. E[ㆍ]이 ㆍ의 에너지를 나타낸다고 했을 때,
Figure pat00012
로 정리될 수 있으며, 상기 수학식 9는 다음과 같이 유도될 수 있다.
[수학식 10]
Figure pat00013
상기 수학식에서 k는 1 보다 작은 기 설정된 스케일 상수이다.
검출부(112)는 사용자가 음향 출력 수단(230)을 착용한 것으로 판별한 경우(b'(n) = 0), 컨텐츠의 재생을 시작하거나 재개하는 제어 신호(ctrl)를 컨텐츠 재생부(111)로 전송할 수 있다. 또는, 검출부(112)는 사용자가 음향 출력 수단(230)을 착용하지 않은 것으로 판별한 경우(b'(n) = 1), 컨텐츠의 재생을 일시 중지(pause)하거나 중단(stop)하는 제어 신호(ctrl)를 컨텐츠 재생부(111)로 전송할 수 있다. 이 밖에도, 검출부(112)(또는 프로세서(100))는 사용자가 음향 출력 수단(230)을 착용했는지 여부에 기초하여 외부 장치의 작동을 제어하거나 다양한 방식으로 컨텐츠의 재생 상태를 제어할 수 있다.
전술한 실시예에서는 오디오 신호 처리 장치(100)가 사용자의 음향 출력 수단(230)의 착용 여부를 판별하는 것으로 서술하였다. 하지만, 본 발명의 실시예에 따르면, 음향 출력 장치(200)가 사용자의 음향 출력 수단(230)의 착용 여부를 판별할 수도 있다.
도 4의 음향 출력 장치(200)의 프로세서(미도시)는 송수신 모듈(220)을 통해 오디오 신호 처리 장치(100)로부터 오디오 출력 신호 x(n)을 수신할 수 있다. 그리고, 음향 출력 장치(200)의 프로세서는 음향 출력 수단(230)을 통해 상기 오디오 출력 신호 x(n)을 기초로 음향을 출력하는 동안, 마이크(240)를 통해 외부 음향을 수집하여 입력 신호 m(n)을 생성할 수 있다. 여기서, 상기 오디오 출력 신호 x(n)과 상기 입력 신호 m(n)의 관계는 도 5에서 다루었으므로 생략하도록 한다. 음향 출력 장치(200)의 프로세서도 상기 검출부(미도시)를 포함할 수 있다. 음향 출력 장치(200)의 검출부는 상기 오디오 출력 신호 x(n) 및 상기 입력 신호 m(n)을 비교하여 사용자가 상기 음향 출력 수단(230)을 착용했는지 여부를 판별할 수 있다.
이때, 음향 출력 장치(200)의 검출부는 상기 오디오 출력 신호 x(n)이 상기 입력 신호 m(n)에 포함된 정도를 나타내는 검출 결과값 z(n)을 산출하고, 상기 검출 결과값 z(n)이 기 설정된 검출 한계값 thr(n) 이상인 경우 상기 사용자가 상기 음향 출력 수단(230)을 착용하고 있는 것으로 판별할 수 있다. 여기서, 상기 검출 한계값 thr(n)은 상기 검출 결과값 z(n)의 최대값에 기초하여 결정될 수 있다. 또는, 상기 검출 한계값 thr(n)은 상기 검출 한계값은 상기 음향 출력 수단과 상기 마이크 사이의 음향 전달 경로에 대한 임펄스 응답의 에너지 및 상기 오디오 출력 신호의 에너지의 조합에 기초하여 결정될 수 있다. 음향 출력 장치(200)의 검출부의 x(n) 및 m(n)의 비교 방식 및 상기 비교와 관련된 b(n), b'(n), thr(n)에 관한 상세한 설명은 생략하도록 한다.
음향 출력 장치(200)의 검출부도 사용자가 음향 출력 수단(230)을 착용한 것으로 판별한 경우(b'(n) = 0), 컨텐츠의 재생의 시작을 요청하거나 재개를 요청하는 제어 신호(ctrl)를 오디오 신호 처리 장치(100) 또는 외부 오디오 재생 장치로 전송할 수 있다. 또는, 음향 출력 장치(200)의 검출부는 사용자가 음향 출력 수단(230)을 착용하지 않은 것으로 판별한 경우(b'(n) = 1), 컨텐츠의 재생의 일시 중지를 요청하거나 중단을 요청하는 제어 신호(ctrl)를 오디오 신호 처리 장치(100) 또는 외부 오디오 재생 장치로 전송할 수 있다. 이 밖에도, 음향 출력 장치(200)의 검출부(또는 프로세서)는 사용자가 음향 출력 수단(230)을 착용했는지 여부에 기초하여 외부 장치의 작동을 제어하거나 다양한 방식으로 컨텐츠의 재생 상태를 제어할 수 있다.
도 6은 본 발명의 다른 실시예에 따라 사용자의 음향 출력 장치의 착용 여부를 판별하는 방식의 일 실시예를 나타낸 도면이다. 그리고 도 7은 본 발명의 다른 실시예에 따른 입력 신호 모델(sig_model2)을 나타낸 도면으로, 복수의 개별 오디오 신호 x1(n) 내지 xN(n)와 입력 신호 m(n)의 관계를 나타낸 블록도이다.
도 6에 따르면, 음향 출력 수단은 복수의 출력 유닛을 포함하고, 오디오 출력 신호는 복수의 개별 오디오 신호를 포함하며, 상기 복수의 개별 오디오 신호는 상기 각 출력 유닛에 의해 개별적으로 상기 음향으로 변환되며, 프로세서는, 상기 복수의 개별 오디오 신호와 입력 신호를 개별적으로 비교하여 상기 사용자가 상기 각 출력 유닛을 착용했는지 여부를 판별할 수 있다. 보다 상세하게 살펴보면 다음과 같다.
도 6에 따르면, 오디오 신호 처리 장치(100) 및 음향 출력 장치(200)는 송수신 모듈(120, 220)을 통해 음향 출력 신호(또는 개별 오디오 신호) x1(n) 내지 xN(n) 또는 입력 신호 m(n)을 유선 또는 무선으로 송수신할 수 있다. 이때, 도 6의 오디오 신호 처리 장치(100)는 본 발명의 실시예에 따른 오디오 신호 처리 장치일 수 있으며, 음향 출력 장치(200)는 마이크를 포함하는 기존의 음향 출력 장치일 수 있다. 이 경우, 오디오 신호 처리 장치(100)가 사용자의 음향 출력 수단(230_1 내지 230_N)의 착용 여부를 판별할 수 있다. 또는, 도 6의 오디오 신호 처리 장치(100)는 통상의 오디오 재생 장치일 수 있으며, 음향 출력 장치(200)는 본 발명의 실시예에 따른 음향 출력 장치일 수 있다. 이 경우, 음향 출력 장치(200)가 사용자의 음향 출력 수단(230_1 내지 230_N)의 착용 여부를 판별할 수 있다. 도 4의 경우와 마찬가지로, 도 6에서 음향 출력 장치(200)의 프로세서는 생략되었다.
본 발명의 실시예에 따르면, 오디오 출력 신호는 복수의 개별 오디오 신호 x1(n) 내지 xN(n)을 포함할 수 있다(N은 2 이상 자연수). 예를 들어, 오디오 출력 신호는 멀티 채널 오디오 신호일 수 있으며, 상기 각 개별 오디오 신호 x1(n) 내지 xN(n)은 각 채널 신호에 해당될 수 있다. 한편, 음향 출력 장치(200)의 음향 출력 수단은 복수의 출력 유닛(230_1 내지 230_N)을 포함할 수 있으며, 상기 출력 유닛은 전술한 스피커 유닛에 대응될 수 있다. 이에 따라 상기 복수의 출력 유닛은 복수의 스피커 유닛을 의미할 수 있다. 상기 각 개별 오디오 신호 x1(n) 내지 xN(n)은 상기 각 출력 유닛을 통해 음향으로 변환될 수 있다. 특히, 상기 각 개별 오디오 신호 x1(n) 내지 xN(n)은 서로 다른 상기 출력 유닛을 통해 음향으로 변환될 수 있다.
도 6에서는 개별 오디오 신호의 개수와 출력 유닛의 개수가 N으로 동일하나, 본 발명은 이에 한정되지 않으며, 개별 오디오 신호의 개수와 출력 유닛의 개수가 서로 다를 수도 있다. 개별 오디오 신호의 개수와 출력 유닛의 개수가 다른 경우, 각 개별 오디오 신호는 기 설정된 출력 유닛을 통해 출력되거나 오디오 신호 처리 장치(100) 또는 음향 출력 장치(200)가 개별 오디오 신호를 음향으로 변환할 출력 유닛을 별도로 선택할 수 있다. 특히, 개별 오디오 신호의 개수가 출력 유닛의 개수보다 큰 경우 개별 오디오 신호는 별도의 믹싱 과정을 통해 보다 작은 개수의 믹싱된 오디오 신호로 변환되어 출력 유닛으로 전달될 수 있다.
음향 출력 수단이 복수의 출력 유닛(230_1 내지 230_N)을 포함하고, 오디오 출력 신호가 복수의 개별 오디오 신호 x1(n) 내지 xN(n)을 포함하는 경우, 본 발명의 실시예에 따른 오디오 신호 처리 장치(100) 또는 음향 출력 장치(200)는 상기 복수의 개별 오디오 신호 x1(n) 내지 xN(n)과 상기 입력 신호 m(n)을 개별적으로 비교할 수 있다. 그리고, 상기 오디오 신호 처리 장치(100) 또는 상기 음향 출력 장치(200)는 상기 비교 결과에 기초하여 사용자가 상기 각 출력 유닛(230_1 내지 230_N)을 착용했는지 여부를 판별할 수 있다.
본 발명의 일 실시예에 따르면, 오디오 출력 신호는 2 개의 개별 오디오 신호 xL(n) 및 xR(n)을 포함하고, 음향 출력 수단은 2 개의 출력 유닛 - 좌측 출력 유닛 230_L(미도시) 및 우측 출력 유닛 230_R(미도시)을 포함할 수 있다. 이에 따라, 개별 오디오 신호 xL(n)은 좌측 출력 유닛 230_L을 통해 음향으로 변환되고, 개별 오디오 신호 xR(n)은 우측 출력 유닛 230_R을 통해 음향으로 변환될 수 있다. 이하의 설명에서도 개별 오디오 신호 및 출력 유닛의 개수가 각각 2 개인 것을 가정한다. 본 발명의 바람직한 실시예에 따르면, 상기 xL(n) 및 xR(n)은 스테레오 오디오 신호의 각 채널 신호에 대응될 수 있다. 이 경우, 일반적으로 스테레오 오디오 신호의 각 채널 신호인 상기 xL(n) 및 xR(n)는 서로 다른 오디오 신호이다. 하지만, 본 발명은 이에 한정되지 않으며, 상기 스테레오 오디오 신호를 포함하는 컨텐츠에 따라서 상기 xL(n) 및 xR(n)이 동일할 수도 있다.
오디오 출력 신호가 2 개의 개별 오디오 신호 xL(n) 및 xR(n)을 포함하는 경우, 각 개별 오디오 신호는 상관도가 존재하는 요소(correlated component)인 xCL(n), xCR(n)과 상관도가 존재하지 않는 요소(uncorrelated component)인 xUL(n), xUR(n)로 구분될 수 있다.
[수학식 11]
Figure pat00014
상기 수학식에서 xUL(n)과 xRL(n)은 서로 상관도가 전혀 없다(fully uncorrelated). 이 경우, 입력 신호 m(n)은 다음과 같이 정리될 수 있다.
[수학식 12]
Figure pat00015
상기 수학식에서 각 출력 유닛의 임펄스 응답의 차이는 무시되며, 서로 동일한 임펄스 응답 tspk(n)을 가지는 것으로 가정한다. 그리고, 상기 수학식에서 aL(n)은 개별 오디오 신호 xL(n)에 대응되는 좌측 출력 유닛 230_L과 상기 마이크(240) 사이의 음향 전달 경로에 대한 임펄스 응답을 나타내고, aR(n)은 개별 오디오 신호 xR(n)에 대응되는 우측 출력 유닛 230_R과 상기 마이크(240) 사이의 음향 전달 경로에 대한 임펄스 응답을 나타낸다. 상기 수학식에서 bL(n)은 사용자가 개별 오디오 신호 xL(n)에 대응되는 좌측 출력 유닛 230_L을 착용했는지 여부를 나타내는 이진값이며, bR(n)은 사용자가 개별 오디오 신호 xR(n)에 대응되는 우측 출력 유닛 230_R을 착용했는지 여부를 나타내는 이진값이다. bL(n) = 0은 사용자가 좌측 출력 유닛을 착용한 상태를 나타내고, bL(n) = 1은 사용자가 좌측 출력 유닛을 착용하지 않은 상태를 나타낸다. bR(n) = 0은 사용자가 우측 출력 유닛을 착용한 상태를 나타내고, bR(n) = 1은 사용자가 우측 출력 유닛을 착용하지 않은 상태를 나타낸다. xfilt,L(n)은 필터링 된 xL(n)을 나타내고, xfilt,R(n)은 필터링 된 xR(n)을 나타낸다. 상기 수학식 12는 도 7의 블록도에서 N = 2이고, x1(n) = xL(n), x2(n) = xR(n) 및 tspk,1(n) = tspk,2(n) = tspk(n)인 상황을 나타낸다.
개별 오디오 신호가 복수 개 존재하고, 출력 유닛이 복수 개 존재하기 때문에 각 출력 유닛의 착용 여부를 판별하기 위한 정합 필터 역시 복수 개로 구비되어야 한다. 각 출력 유닛의 착용 여부를 판별하기 위한 정합 필터에 대한 수학식은 다음과 같다.
[수학식 13]
Figure pat00016
두 정합 필터 hR(n) 및 hL(n)는 개별 오디오 신호 xL(n) 및 xR(n)에 기초하여 생성될 수 있으며, 오디오 신호 처리 장치(100) 또는 음향 출력 장치(200)의 프로세서(또는 검출부)는 상기 두 정합 필터를 이용하여 사용자가 각 출력 유닛을 착용했는지 여부를 개별적으로 판별할 수 있다. 만약 개별 오디오 신호 xL(n) 및 xR(n)이 서로 다르다면, 상기 서로 다른 개별 오디오 신호에 기초한 두 정합 필터 hR(n) 및 hL(n) 역시 서로 다르게 생성될 수 있다. 다시 말해, xL(n) 및 xR(n) 상호간의 상관도가 낮을수록 사용자가 각 출력 유닛을 착용했는지 여부가 보다 용이하게 판별될 수 있다.
상기 수학식 11을 상기 수학식 12에 적용하면 다음과 같이 유도될 수 있다.
[수학식 14]
Figure pat00017
만약 xL(n) 및 xR(n) 상호간의 상관도가 매우 낮거나 존재하지 않는다면, xCL(n) 및 xCR(n)은 0에 근사하기 때문에 오디오 신호 처리 장치(100) 또는 음향 출력 장치(200)는 사용자가 각 출력 유닛을 착용했는지 여부를 매우 용이하게 판별할 수 있다.
각 정합 필터를 이용한 검출 결과값 및 검출 한계값은 다음과 같이 유도될 수 있다.
[수학식 15]
Figure pat00018
본 발명의 실시예에 따르면, 상기 각 검출 한계값 thrL(n), thrR(n)은 각 검출 결과값 zL(n), zR(n)의 최대값에 기초하여 결정될 수 있다. 수학식 15에서 Ea,L, Ea,R은 각각 임펄스 응답 aL(n) 및 aR(n)의 에너지를 의미한다. Espk,L 및 Espk,R은 좌측 출력 유닛 및 우측 출력 유닛의 임펄스 응답의 에너지를 의미하며, 전술한 바와 같이 두 출력 유닛의 임펄스 응답이 동일한 것으로 가정하는 경우, Espk,L = Espk,R = Espk일 수 있다. Exfilt,L 및 Exfilt,R은 필터링 된 개별 오디오 신호 xL(n) 및 xR(n)의 에너지를 의미한다.
오디오 신호 처리 장치(100) 또는 음향 출력 장치(200)는 검출 결과값 zL(n)이 thrL(n) 이상인 경우 b'L(n)의 값이 1인 것으로 산출하며, 이를 통해 사용자가 좌측 출력 유닛을 착용하지 않은 것으로 판별할 수 있다. 오디오 신호 처리 장치(100) 또는 음향 출력 장치(200)는 검출 결과값 zL(n)이 thrL(n) 미만인 경우 b'L(n)의 값이 0인 것으로 산출하며, 이를 통해 사용자가 좌측 출력 유닛을 착용하는 것으로 판별할 수 있다.
오디오 신호 처리 장치(100) 또는 음향 출력 장치(200)는 검출 결과값 zR(n)이 thrR(n) 이상인 경우 b'L(n)의 값이 1인 것으로 산출할 수 있다. 오디오 신호 처리 장치(100)는 이를 통해 사용자가 우측 출력 유닛을 착용하지 않은 것으로 판별할 수 있다. 오디오 신호 처리 장치(100) 또는 음향 출력 장치(200)는 검출 결과값 zR(n)이 thrL(n) 미만인 경우 b'R(n)의 값이 0인 것으로 산출할 수 있다. 오디오 신호 처리 장치(100)는 이를 통해 사용자가 우측 출력 유닛을 착용하는 것으로 판별할 수 있다. 상기의 내용을 정리하면 아래의 표와 같다.
[표 1]
Figure pat00019
한편, 본 발명의 실시예에 따른 마이크(230)가 BC 마이크인 경우, b'(n)이 1일 때 사용자가 음향 출력 수단을 착용한 것으로 판별되고, b'(n)이 0일 때 사용자가 음향 출력 수단을 착용하지 않은 것으로 판별한다. 그러므로, 상기 마이크(230)가 BC마이크인 경우, 표 1은 아래와 같이 변경될 수 있다.
[표 2]
Figure pat00020
전술한 내용에 따르면, 사용자가 음향 출력 수단 또는 출력 유닛을 착용했는지 여부는 검출 결과값이 검출 한계값 이상인지 여부에 기초하여 판별될 수 있다. 이 때, 검출 대상인 오디오 출력 신호 재생시 볼륨의 크기에 따라 상기 판별 결과가 달라질 수 있다. 예를 들어, 사용자가 음향 출력 수단 또는 출력 유닛을 착용하고 있어도, 오디오 출력 신호의 볼륨이 매우 크면 상기 음향 출력 수단 또는 상기 출력 유닛으로부터 상기 오디오 출력 신호가 변환된 음향이 새어나올 수 있다(따라서, 원하지 않는 음향 전달 경로가 성립될 수 있음). 상기 새어나온 음향이 마이크에서 취득되면 오디오 신호 처리 장치 또는 음향 출력 장치는 사용자가 상기 음향 출력 수단 또는 상기 출력 유닛을 착용하지 않는 것으로 판별할 수 있다.
따라서, 앞선 각 수학식에 상기 오디오 출력 신호의 볼륨과 관련된 변수가 포함될 필요가 있다. 본 발명의 실시예에 따른 오디오 출력 신호 x(n)은 다음과 같이 정의될 수 있다.
[수학식 16]
Figure pat00021
위 수학식에서 s(n)은 별도의 처리 과정을 거치지 않은(un-processed) 디지털 신호를 나타내며, v는 볼륨을 나타내는 이득값이다. s(n)은 PCM 데이터 등의 오리지널 소스 신호(original source signal)일 수 있으며, 오디오 신호 처리 장치의 스토리지에 저장되어 있거나 오디오 신호 처리 장치가 외부로부터 수신한 신호일 수 있다. 상기 수학식 16에 따른 오디오 출력 신호 x(n)가 전술한 각 수학식에 적용되는 경우, 검출 한계값 thr(n)은 다음과 같이 유도될 수 있다.
[수학식 17]
Figure pat00022
위 수학식에서 k는 상수, Es는 s(n)의 에너지를 의미한다.
한편, 사용자가 각 출력 유닛을 착용했는지 여부는 본 발명의 실시예에 따른 오디오 신호 처리 장치(100) 또는 음향 출력 장치(200)에서 판별될 수 있다. 그리고, 상기 오디오 신호 처리 장치(100) 또는 상기 음향 출력 장치(200)는 상기 사용자의 각 출력 유닛의 착용 여부에 기초하여 외부 장치를 제어하거나 컨텐츠의 재생 상태를 변경하는 등의 추가적인 처리를 수행할 수 있다.
도 4 내지 도 7에 따르면, 오디오 신호 처리 장치(100) 또는 상기 음향 출력 장치(200)는 사용자의 음향 출력 수단(출력 유닛)의 착용 여부를 판별하기 위한 추가적인 신호를 이용하지 않는다. 따라서, 도 4 내지 도 7에 따른 오디오 신호 처리 장치(100) 또는 상기 음향 출력 장치(200)의 작동 방식은 논-가이드 검출(non-guide detection)로 명명될 수 있다. 또는 도 4 내지 도 7은 오디오 신호 처리 장치(100) 또는 상기 음향 출력 장치(200)가 논-가이드 모드(non-guide mode)로 작동하는 실시예를 나타낸 것이다.
도 8은 가이드 신호를 이용하여 사용자의 음향 출력 장치의 착용 여부를 판별하는 방식의 일 실시예를 나타낸 도면이다.
도 8 내지 도 11의 오디오 신호 처리 장치 또는 음향 출력 장치는 가이드 신호를 이용하여 사용자의 음향 출력 수단의 착용 여부를 판별할 수 있다. 따라서, 도 8 내지 도 11에 따른 오디오 신호 처리 장치 또는 음향 출력 장치의 작동 방식은 가이드 검출(guide detection)로 명명될 수 있다. 또는 도8 내지 도 11은 오디오 신호 처리 장치 또는 음향 출력 장치가 가이드 모드(guide mode)로 작동하는 실시예를 나타낸 것이다.
도 8에 따르면, 오디오 신호 처리 장치(100) 및 음향 출력 장치(200)는 송수신 모듈(120, 220)을 통해 음향 출력 신호 x(n) 또는 입력 신호 m(n)을 유선 또는 무선으로 송수신할 수 있다. 이때, 도 8의 오디오 신호 처리 장치(100)는 본 발명의 실시예에 따른 오디오 신호 처리 장치일 수 있으며, 음향 출력 장치(200)는 마이크를 포함하는 기존의 음향 출력 장치일 수 있다. 이 경우, 오디오 신호 처리 장치(100)가 사용자의 음향 출력 수단(230)의 착용 여부를 판별할 수 있다. 또는, 도 8의 오디오 신호 처리 장치(100)는 통상의 오디오 재생 장치일 수 있으며, 음향 출력 장치(200)는 본 발명의 실시예에 따른 음향 출력 장치일 수 있다. 이 경우, 음향 출력 장치(200)가 사용자의 음향 출력 수단(230)의 착용 여부를 판별할 수 있다. 도 4의 경우와 마찬가지로, 도 8에서 음향 출력 장치(200)의 프로세서는 생략되었다.
이하에서는 본 발명의 실시예에 따른 오디오 신호 처리 장치(100)가 가이드 신호를 이용하여 사용자의 음향 출력 수단(230)의 착용 여부를 판별하는 방식에 대해서 서술한다.
도 8에 따르면, 오디오 신호 처리 장치(100)의 프로세서(110)는 컨텐츠 재생부(111), 검출부(112), 가이드 신호 생성부(113), 믹서(114) 및 추출부(115)를 포함할 수 있다. 컨텐츠 재생부(111)는 오리지널 소스 신호 s(n)을 출력할 수 있다. 본 발명의 실시예에 따르면, 컨텐츠 재생부(111)는 오디오 신호 처리 장치(100)의 스토리지(미도시)에 저장된 컨텐츠(음향 컨텐츠 등) 또는 상기 오디오 신호 처리 장치(100)가 외부로부터 수신한 컨텐츠의 오리지널 소스 신호 s(n)에 볼륨과 관련된 이득 v를 적용하여 믹서(114)로 전송할 수 있다. 검출부(112)는 외부로부터 수신한 신호에 검출 대상인 신호(예를 들어, 가이드 신호)가 포함되어있는지 여부를 판별할 수 있다. 검출부(112)의 구체적 작동 방식에 대해서는 아래에서 설명하도록 한다. 가이드 신호 생성부(113)는 사용자의 음향 출력 수단(230)의 착용 여부를 판단하기 위한 기 설정된 신호 패턴인 가이드 신호(guide signal) e(n)을 생성할 수 있다. 본 발명의 바람직한 실시예에 따르면, 상기 가이드 신호는 기 설정된 주파수 및 기 설정된 세기(이득)의 조합을 가지는 톤 신호(tone signal)일 수 있다. 도 9는 본 발명의 실시예에 따른 가이드 신호를 나타낸 도면이다. 도 9의 그래프에서 가로 축은 주파수를 나타내고 세로 축은 소리 압력 레벨(sound pressure level) 또는 소리의 크기를 나타낸다. 도 9의 파선은 ToQ(threshold of quiet)를 의미하며, 각 주파수에 대하여 사람이 인지할 수 있는 최소한의 소리의 압력 레벨 또는 세기를 연결한 선이다. 도 9에서 신호 A와 신호 B는 동일한 소리 압력 레벨 P를 가지지만 서로 다른 주파수 A 및 주파수 B를 가진다. 이때, 신호 B의 세기는 ToQ 보다 크기 때문에 사람에게 인지되지만, 신호 A의 세기는 ToQ 보다 작기 때문에 사람에게 인지되지 않을 수 있다다. 다시 말해, 신호 A의 주파수 및 세기의 조합은 사람에게 인지되지 않지만, 신호 B의 주파수 및 세기의 조합은 사람에게 인지될 수 있다. 이러한 사람의 인지 능력에 기초하여, 상기 가이드 신호는 사람에게 인지되지 않는 주파수 및 세기 조합을 가지는 톤 신호일 수 있다. 도 9에서 신호 A도 가이드 신호로써 활용될 수 있다. 하지만, 본 발명의 실시예에 따른 가이드 신호가 반드시 사람에게 인지되지 않는 신호일 필요는 없으며, 상기 가이드 신호는 사람에게 인지될 수 있는 오디오 신호 또는 기 설정된 신호 패턴일 수도 있다. 본 발명의 다른 실시예에 따르면, 상기 가이드 신호는 오디오 출력 신호의 출처 또는 권리자를 나타내거나 상기 오디오 출력 신호와 관련된 부가적인 정보를 포함하는 오디오 워터마크(watermark) 신호일 수도 있다. 도 8 및 도 10의 실시예에서는 가이드 신호 e(n)이 기 설정된 주파수 및 기 설정된 세기(이득)의 조합을 가지는 톤 신호인 것으로 가정한다. 다시 도 8로 돌아가서, 가이드 신호 생성부(113)는 생성된 가이드 신호 e(n)을 믹서(114)로 전송할 수 있다. 믹서(114)는 수신한 오리지널 소스 신호 s(n) 및 가이드 신호 e(n)을 조합하여 오디오 출력 신호 x(n)을 생성할 수 있다. 믹서(114)에서 생성될 수 있는 오디오 출력 신호 x(n)의 수학식은 다음과 같이 정리될 수 있다.
[수학식 18]
Figure pat00023
믹서(114)는 오디오 출력 신호 x(n)를 송수신 모듈(120)로 전송할 수 있으며, 프로세서(110)는 오디오 신호 처리 장치(100)의 송수신 모듈(120)을 통해 음향 출력 장치(200)의 송수신 모듈(220)로 상기 오디오 출력 신호 x(n)을 전송할 수 있다. 음향 출력 장치(200)의 송수신 모듈(220)이 수신한 오디오 출력 신호 x(n)는 음향 출력 수단(230)으로 전송될 수 있으며, 상기 오디오 출력 신호 x(n)은 상기 음향 출력 수단(230)을 통해 음향으로 출력될 수 있다. 음향 출력 장치(200)의 마이크(240)는 상기 음향 출력 수단(230)이 상기 오디오 출력 신호 x(n)에 기초하여 음향을 출력하는 동안 외부 음향을 취득할 수 있으며, 취득된 외부 음향을 입력 신호 m(n)으로 변환할 수 있다. 여기서, 사용자가 음향 출력 수단(230)을 착용했는지 여부에 따라서, 상기 마이크가 취득하는 외부 음향에 상기 음향 출력 장치(200)가 출력하는 음향이 포함되는 정도가 결정될 수 있다. 또는 사용자가 음향 출력 수단(230)을 착용했는지 여부에 따라서, 상기 마이크가 상기 음향 출력 수단(230)이 출력하는 상기 음향을 취득하는 정도가 결정될 수도 있다. 또는, 사용자가 음향 출력 수단(230)을 착용했는지 여부에 따라서, 오디오 출력 신호 x(n)에 기초한 음향이 상기 음향 출력 수단(230)과 상기 마이크(240) 사이에 형성된 음향 전달 경로(a(n))를 통해 상기 마이크(240)에 도달하는 정도가 결정될 수 있다.
도 8의 sig_model은 입력 신호 m(n)의 생성에 관여되는 요소들에 기초한 상기 입력 신호 m(n)의 신호 모델을 나타낸다. 도 8의 sig_model은 도 4 및 도 5의 sig_model과 동일하므로, 마이크가 수집한 외부 음향으로부터 입력 신호 m(n)가 생성되는 과정에 대한 설명은 생략한다.
상기 입력 신호 m(n)은 음향 출력 장치(200)의 송수신 모듈(220)을 통해 오디오 신호 처리 장치(100)의 송수신 모듈(120)로 전송될 수 있다. 오디오 신호 처리 장치(100)는 수신된 상기 입력 신호 m(n)을 프로세서(110)의 추출부(115)로 전송할 수 있다. 추출부(115)는 수신된 신호로부터 기 설정된 목적 신호를 추출할 수 있다. 또는, 추출부(115)는 수신된 신호에 다양한 신호 처리 필터를 적용하여 수신된 신호의 음질을 개선할 수 있다. 도 8에 따르면, 추출부(115)는 입력 신호 m(n)을 수신하고, 상기 입력 신호 m(n)에서 추출된 신호인 m'(n)을 검출부(112)로 전송할 수 있다. 또는, 추출부(115)는 입력 신호 m(n)을 수신하고, 상기 입력 신호 m(n)에 포함된 가이드 신호 e(n)의 예측 신호인 e'(n)(미도시)를 검출부(112)로 전송할 수도 있다. 또는 상기 m(n)과 m'(n)은 동일한 신호일 수 있다. 본 발명에서 상기 추출부(115)는 필수적인 구성요소가 아니며, 상기 송수신 모듈(120)이 수신한 입력 신호 m(n)은 검출부(112)로 바로 전송될 수도 있다. 검출부(112)는 상기 수신된 입력 신호 m(n)과 가이드 신호 생성부(113)로부터 수신한 가이드 신호 e(n)을 비교하고, 상기 비교 결과에 기초하여 사용자의 상기 음향 출력 수단(230)의 착용 여부를 판별할 수 있다.
도 4의 경우와는 달리, 도 8의 실시예에서는 가이드 신호 e(n)이 검출 대상이다. 본 발명의 실시예에 따른 가이드 신호 e(n)이 톤 신호인 경우, 본 발명의 실시예에 따른 오디오 신호 처리 장치(100)는 보다 단순하게 구현될 수 있다. 도 8의 sig_model에서, 오디오 출력 신호 x(n)에 포함된 가이드 신호 e(n)를 변화시키는 a(n), tspk(n) 및 tmic(n)은 하나의 딜레이(delay) 및 하나의 이득(gain)으로 모델링 될 수 있다. 이에 따라, 오리지널 소스 신호 s(n)가 제거된 입력 신호 m(n)은 다음과 같이 유도될 수 있다. 오리지널 소스 신호 s(n)은 오디오 신호 처리 장치(100)가 이미 알고 있는 값이므로 입력 신호 m(n)으로부터 필터링 등의 방식으로 용이하게 제거될 수 있다.
[수학식 19]
Figure pat00024
상기 수학식에서 δ(n)은 임펄스 신호(impulse signal)을 나타내며, ga, gspk, gmic는 각각 a(n), tspk(n), tmic(n)의 근사화된 이득이고, da, dspk, dmic는 a(n), tspk(n), tmic(n)의 근사화된 딜레이를 나타낸다. 그리고 gtot는 상기 ga, gspk, gmic를 모두 곱한 총 이득일 수 있으며, dtot은 da, dspk, dmic를 모두 더한 총 딜레이일 수 있다.
논-가이드 경우와 유사하게, 가이드 신호의 검출을 위한 매치 필터가 모델링 될 수 있다.
[수학식 20]
Figure pat00025
상기 매치 필터 h(n)에 가이드 신호 e(n)을 적용하면 수학식 7과 같은 검출 결과값 z(n)을 산출할 수 있으며, 상기 검출 결과값 z(n)이 검출 한계값 thr(n) 이상인지 여부에 기초하여 b'(n)의 값이 결정될 수 있다(수학식 8). 최종적으로, 검출부(112)는 상기 b'(n)이 1일 때 사용자가 상기 음향 출력 수단(230)을 착용하지 않은 것으로 판단하고, 상기 b'(n)이 0일 때 사용자가 상기 음향 출력 수단(230)을 착용한 것으로 판단할 수 있다.
검출 대상인 가이드 신호 e(n)이 톤 신호로서 단순하기 때문에 상기 검출 한계값 thr(n)에 대한 수학식 9는 다음과 같이 단순화될 수 있다.
[수학식 21]
Figure pat00026
톤 신호의 경우, a(n), tspk(n) 및 tmic(n)의 주파수에 따른 에너지의 분포의 변화가 무시될 수 있다. 따라서, 톤 신호를 위한 주파수 특성 분석(수학식 10 관련)이 수행될 필요가 없다.
검출부(112)는 사용자가 음향 출력 수단(230)을 착용한 것으로 판별한 경우(b'(n) = 0), 컨텐츠의 재생을 시작하거나 재개하는 제어 신호(ctrl)를 컨텐츠 재생부(111)로 전송할 수 있다. 또는, 검출부(112)는 사용자가 음향 출력 수단(230)을 착용하지 않은 것으로 판별한 경우(b'(n) = 1), 컨텐츠의 재생을 일시 중지(pause)하거나 중단(stop)하는 제어 신호(ctrl)를 컨텐츠 재생부(111)로 전송할 수 있다. 이 밖에도, 검출부(112)(또는 프로세서(100))는 사용자가 음향 출력 수단(230)을 착용했는지 여부에 기초하여 외부 장치의 작동을 제어하거나 다양한 방식으로 컨텐츠의 재생 상태를 제어할 수 있다.
전술한 실시예에서는 오디오 신호 처리 장치(100)가 사용자의 음향 출력 수단(230)의 착용 여부를 판별하는 것으로 서술하였다. 하지만, 본 발명의 실시예에 따르면, 음향 출력 장치(200)가 사용자의 음향 출력 수단(230)의 착용 여부를 판별할 수도 있다.
도 8의 음향 출력 장치(200)의 프로세서(미도시)는 송수신 모듈(220)을 통해 오디오 신호 처리 장치(100)로부터 오디오 출력 신호 x(n)을 수신할 수 있다. 이때, 상기 오디오 출력 신호 x(n)은 상기 가이드 신호 e(n)을 포함한 신호일 수 있다. 또는, 음향 출력 장치(200)는 상기 송수신 모듈(220)을 통해 상기 오디오 신호 처리 장치(100)로부터 가이드 신호 e(n)을 추가적으로 수신할 수도 있다. 또는, 음향 출력 장치(200)는 별도의 가이드 신호 생성부(미도시)를 포함할 수 있다. 이 경우, 음향 출력 장치(200)는 상기 오디오 신호 처리 장치(100)로부터 가이드 신호가 포함되지 않은 오디오 출력 신호 x(n)을 수신하고, 상기 수신된 오디오 출력 신호 x(n)에 상기 별도의 가이드 신호 생성부에서 생성된 가이드 신호 e(n)을 포함시킬 수 있다. 음향 출력 장치(200)의 프로세서는 음향 출력 수단(230)을 통해 상기 오디오 출력 신호 x(n)을 기초로 음향을 출력하는 동안, 마이크(240)를 통해 외부 음향을 수집하여 입력 신호 m(n)을 생성할 수 있다. 여기서, 상기 오디오 출력 신호 x(n)과 상기 입력 신호 m(n)의 관계는 도 5에서 다루었으므로 생략하도록 한다. 음향 출력 장치(200)의 프로세서도 상기 검출부(미도시)를 포함할 수 있다. 음향 출력 장치(200)의 검출부는 상기 가이드 신호 e(n) 및 상기 입력 신호 m(n)을 비교하여 사용자가 상기 음향 출력 수단(230)을 착용했는지 여부를 판별할 수 있다.
이때, 음향 출력 장치(200)의 검출부는 상기 가이드 신호 e(n)이 상기 입력 신호 m(n)에 포함된 정도를 나타내는 검출 결과값 z(n)을 산출하고, 상기 검출 결과값 z(n)이 기 설정된 검출 한계값 thr(n) 이상인 경우 상기 사용자가 상기 음향 출력 수단(230)을 착용하고 있는 것으로 판별할 수 있다. 여기서, 상기 검출 한계값 thr(n)은 상기 검출 결과값 z(n)의 최대값에 기초하여 결정될 수 있다. 또는, 상기 검출 한계값 thr(n)은 상기 음향 출력 수단과 상기 마이크 사이의 음향 전달 경로에 대한 임펄스 응답의 에너지 및 상기 오디오 출력 신호의 에너지의 조합에 기초하여 결정될 수 있다. 음향 출력 장치(200)의 검출부의 e(n) 및 m(n)의 비교 방식 및 상기 비교와 관련된 b(n), b'(n), thr(n)에 관한 상세한 설명은 생략하도록 한다.
음향 출력 장치(200)의 검출부도 사용자가 음향 출력 수단(230)을 착용한 것으로 판별한 경우(b'(n) = 0), 컨텐츠의 재생의 시작을 요청하거나 재개를 요청하는 제어 신호(ctrl)를 오디오 신호 처리 장치(100) 또는 외부 오디오 재생 장치로 전송할 수 있다. 또는, 음향 출력 장치(200)의 검출부는 사용자가 음향 출력 수단(230)을 착용하지 않은 것으로 판별한 경우(b'(n) = 1), 컨텐츠의 재생의 일시 중지를 요청하거나 중단을 요청하는 제어 신호(ctrl)를 오디오 신호 처리 장치(100) 또는 외부 오디오 재생 장치로 전송할 수 있다. 이 밖에도, 음향 출력 장치(200)의 검출부(또는 프로세서)는 사용자가 음향 출력 수단(230)을 착용했는지 여부에 기초하여 외부 장치의 작동을 제어하거나 다양한 방식으로 컨텐츠의 재생 상태를 제어할 수 있다.
도 10은 가이드 신호를 이용하여 사용자의 음향 출력 장치의 착용 여부를 판별하는 방식의 다른 실시예를 나타낸 도면이다. 도 10은 도 6의 복수의 개별 오디오 신호 및 복수의 출력 유닛과 관련된 실시예에 상기 도 8의 가이드 신호를 적용한 것으로 각 구성에 대한 중복된 설명은 생략하도록 한다. 도 10의 sig_model2는 입력 신호 m(n)의 신호 모델을 나타내는 것으로, 도 6 및 도 7의 sig_model2의 신호 모델과 동일하므로, 이에 대한 상세한 설명은 생략한다.
도 10에 따르면, 상기 복수의 개별 오디오는 서로 다른 신호 패턴인 가이드 신호를 개별적으로 포함하고, 프로세서는 상기 각 가이드 신호와 상기 입력 신호를 개별적으로 비교하여 상기 각 출력 유닛을 착용했는지 여부를 판별할 수 있다. 보다 상세하게 살펴보면 다음과 같다.
도 10에 따르면, 복수의 개별 오디오 신호가 존재하는 경우, 각 개별 오디오 신호 x1(n) 내지 xN(n)에 대응하는 복수의 가이드 신호 e1(n) 내지 eN(n)가 존재할 수 있다. 이때, 상기 복수의 가이드 신호 e1(n) 내지 eN(n)는 서로 다른 신호 패턴을 가질 수 있으며, 이를 통해 사용자의 각 출력 유닛의 착용 여부가 개별적으로 판별될 수 있다. 본 발명을 실시하는 방식에 따라서, 상기 복수의 가이드 신호는 서로 상관도가 전혀 없을 수 있다(fully uncorrelated). 가이드 신호가 톤 신호인 경우, 상기 각 가이드 신호는 서로 다른 주파수에 기초하여 생성된 것일 수 있다.
본 발명의 일 실시예에 따르면, 오디오 출력 신호는 2 개의 개별 오디오 신호 xL(n) 및 xR(n)을 포함하고, 음향 출력 수단은 2 개의 출력 유닛 - 좌측 출력 유닛 230_L(미도시) 및 우측 출력 유닛 230_R(미도시)을 포함할 수 있다. 이에 따라, 개별 오디오 신호 xL(n)은 좌측 출력 유닛 230_L을 통해 음향으로 변환되고, 개별 오디오 신호 xR(n)은 우측 출력 유닛 230_R을 통해 음향으로 변환될 수 있다. 이하의 설명에서도 개별 오디오 신호 및 출력 유닛의 개수가 각각 2 개인 것을 가정한다. 본 발명의 바람직한 실시예에 따르면, 상기 xL(n) 및 xR(n)은 스테레오 오디오 신호의 각 채널 신호에 대응될 수 있다.
도 10을 참조하면, 2 개의 개별 오디오 신호를 포함하는 오디오 출력 신호는 다음과 같이 정리될 수 있다.
[수학식 22]
Figure pat00027
수학식 22에서는 각 오리지널 소스 신호에 적용되는 볼륨 이득이 모두 동일한 v를 가지는 것으로 가정하고 있다. 도 8의 경우와 유사하게, 입력 신호 모델(sig_model2)의 각 임펄스 응답은 각각 하나의 딜레이 및 하나의 이득으로 모델링될 수 있으므로, 오리지널 소스 신호 s(n)이 제거된 마이크 입력 신호 m(n)은 다음과 같이 유도될 수 있다.
[수학식 23]
Figure pat00028
L 또는 R인 i에 대하여, ai(n)이 개별 오디오 신호 xi(n)에 대응되는 출력 유닛 230_i와 마이크(240) 사이의 음향 전달 경로에 대한 임펄스 응답을 나타내고, tspk,i(n)이 각 출력 유닛 230_i의 임펄스 응답을 나타내고, tmic,i(n)이 각 개별 오디오 신호에 기초한 음향을 취득하는 마이크의 임펄스 응답(예를 들어, 마이크가 1 개인 경우 tmic,L(n) = tmic,R(n)일 수 있음)을 나타낸다고 가정할 수 있다. 이 경우, ga,i, gspk,i, gmic,i는 각 임펄스 응답 ai(n), tspk,i(n), tmic,i(n)의 근사화된 이득을 나타내고, da,i, dspk,i, dmic,i는 각 임펄스 응답의 근사화된 딜레이를 나타낸다(수학식 23에 따르면, gspk,L = gspk,R = gspk이고 gmic,L = gmic,R = gmic일 수 있음). 그리고 L 또는 R인 i에 대하여 gtot,i는 상기 ga,i, gspk,i, gmic,i를 모두 곱한 총 이득일 수 있으며, dtot,i은 da,i, dspk,i, dmic,i를 모두 더한 총 딜레이일 수 있다.
한편, 수학식 20과 관련하여, 각 가이드 신호를 검출하기 위한 매칭 필터는 다음과 같이 정리될 수 있다.
[수학식 24]
Figure pat00029
L 또는 R인 i에 대하여, 각 hi(n)에 m(n)을 적용하면 수학식 7과 같은 검출 결과값 zi(n)을 개별적으로 산출할 수 있다. 이때, 각 thrL(n) 및 thrR(n)은 다음과 같다.
[수학식 25]
Figure pat00030
위 수학식에서 k'는 상수, Ex,i는 각 개별 오디오 신호 xi(n)의 에너지를 나타낸다. b'i(n)의 값은 전술한 각 zi(n)이 thri(n) 이상인지 여부에 기초하여 결정될 수 있다. 최종적으로, 검출부(112)는 상기 b'i(n)이 1일 때 사용자가 출력 유닛 230_i를 착용하지 않은 것으로 판단하고, 상기 b'i(n)이 0일 때 사용자가 출력 유닛 230_i를 착용한 것으로 판단할 수 있다(표 1). 만약 상기 마이크(240)가 BC 마이크인 경우, 표 2에 따른 판별 방식이 수행될 수 있다.
한편, 본 발명의 실시예에 따른 음향 출력 장치(200)도 복수의 가이드 신호를 이용하여 사용자의 복수의 출력 유닛의 개별 착용 여부를 판별할 수 있다. 음향 출력 장치(200)는 복수의 가이드 신호가 포함된 오디오 출력 신호를 오디오 재생 장치 또는 오디오 신호 처리 장치로부터 수신할 수 있다. 또는, 음향 출력 장치(200)는 상기 송수신 모듈(220)을 통해 상기 오디오 신호 처리 장치(100)로부터 복수의 가이드 신호를 추가적으로 수신할 수도 있다. 또는, 음향 출력 장치(200)는 별도의 가이드 신호 생성부(미도시)를 포함할 수 있다. 이 경우, 음향 출력 장치(200)는 상기 오디오 신호 처리 장치(100)로부터 가이드 신호가 포함되지 않은 오디오 출력 신호 x(n)을 수신하고, 상기 수신된 오디오 출력 신호 x(n)에 상기 별도의 가이드 신호 생성부에서 생성된 복수의 가이드 신호를 포함시킬 수 있다. 이후, 음향 출력 장치(200)는 복수의 가이드 신호와 입력 신호를 비교하여 사용자의 복수의 출력 유닛의 착용 여부를 개별적으로 판별할 수 있다.
도 11은 가이드 신호를 이용하여 사용자의 음향 출력 장치의 착용 여부를 판별하는 방식의 또 다른 실시예를 나타낸 도면이다.
본 발명의 실시예에 따른 오디오 출력 신호 x(n)은 음향 출력 수단의 착용 여부를 판단하기 위한 기 설정된 신호 패턴인 가이드 신호를 포함할 수 있다. 전술한 바에 따르면, 상기 가이드 신호는 사람이 인지할 수 없는 주파수 및 세기(이득)의 조합을 가지는 톤 신호일 수 있다. 하지만, 본 발명은 이에 한정되지 않으며, 가이드 신호는 사람에게 인지될 수 있는 오디오 신호일 수도 있다. 상기 사람에게 인지될 수 있는 가이드 신호의 예시로서 오디오 워터마크가 있다.
사람에게 인지될 수 있는 가이드 신호를 오디오 출력 신호에 포함시키는 경우, 본 발명의 실시예에 따른 오디오 신호 처리 장치(100) 또는 음향 출력 장치(미도시)는 상기 가이드 신호가 오디오 출력 신호의 오리지널 소스 신호 s(n)과 유추된 배경 잡음 신호 w'(n)에 의해 마스킹되도록 상기 가이드 신호의 세기(이득)을 조정할 수 있다. 이에 대한 보다 상세한 설명은 다음과 같다.
도 11에 따르면, 오디오 신호 처리 장치(100)는 컨텐츠 재생부(111), 검출부(112), 가이드 신호 생성부(113), 추출부(115) 및 신호 결합부(116)를 포함할 수 있다. 도 8 및 도 10의 경우와 동일하게, 컨텐츠 재생부(111)는 볼륨 이득 v가 적용된 오리지널 소스 신호 s(n)을 출력할 수 있으며, 상기 볼륨 이득 v가 적용된 오리지널 소스 신호 s(n)는 신호 결합부(116)으로 전송될 수 있다. 가이드 신호 생성부(113)는 기 설정된 신호 패턴인 가이드 신호 g(n)를 생성하고, 생성된 가이드 신호 g(n)을 신호 결합부(116)로 전송할 수 있다. 이때, 상기 가이드 신호는 사람에게 인지될 수 있는 오디오 워터마크일 수 있으나 이에 한정되지 않는다. 신호 결합부(116)는 도 8 및 도 10의 믹서와 유사한 역할을 수행한다. 신호 결합부(116)은 상기 볼륨 이득 v가 적용된 오리지널 소스 신호 s(n)과 상기 가이드 신호 g(n)을 조합하여 오디오 출력 신호 x(n)을 생성할 수 있다. 여기서, 신호 결합부(116)은 상기 가이드 신호 g(n)을 오디오 출력 신호 x(n)에 포함시키기 전, 상기 g(n)에 대하여 별도의 신호 처리 과정을 적용할 수 있다. 사람에게 인지될 수 있는 가이드 신호 g(n)이 상기 오디오 출력 신호 x(n)에 포함되는 경우, 상기 가이드 신호 g(n)에 기초한 음향이 사용자의 컨텐츠 감상에 방해가 될 수 있다. 그러므로, 사람에게 인지될 수 있는 가이드 신호가 이용되는 경우, 상기 가이드 신호가 다른 소리에 의해 마스킹(masking)되도록 할 필요가 있다. 이때, 상기 가이드 신호에 대한 마스킹은 상기 가이드 신호의 세기가 마스킹 한계값 미만이 되도록 조정하는 방식으로 수행될 수 있다. 마스킹 한계값은 다른 소리(즉, 마스커(masker))가 존재하는 상황에서, 청취 대상인 소리가 사람에게 인지되도록 하는 상기 청취 대상의 소리 압력 레벨을 의미한다. 따라서, 가이드 신호의 세기를 오디오 출력 신호의 다른 신호 성분에 의해 형성될 수 있는 마스킹 한계값보다 작아지도록 조절함으로써 전술한 문제를 해결할 수 있다.
본 발명의 바람직한 실시예에 따르면, 신호 결합부(116)는 마이크를 통해 수집된 외부 음향의 적어도 일부를 이용하여 상기 마스킹 한계값을 결정할 수 있다. 보다 상세하게 설명하면, 신호 결합부(116)는 오리지널 소스 신호 s(n) 및 유추된 배경 잡음 신호 w'(n)에 기초하여 상기 마스킹 한계값을 결정할 수 있다. 여기서, 유추된 배경 잡음 신호 w'(n)는 추출부(115)가 이전 프레임의 입력 신호 m(n)로부터 추출한 배경 잡음 신호이다. 즉, 신호 결합부(116)는 현재 프레임의 오리지널 소스 신호 s(n) 및 이전 프레임의 입력 신호 m(n)으로부터 추출된 w'(n)에 기초하여 현재 프레임의 가이드 신호 g(n)을 위한 마스킹 한계값을 결정할 수 있다. 그리고, 신호 결합부(116)는 상기 가이드 신호 g(n)의 세기(이득 또는 스케일)를 조절함으로써 상기 가이드 신호 g(n)의 세기가 마스킹 한계값 아래가 되도록 할 수 있다. 본 발명의 실시예에 따르면, 신호 결합부(116)는 가이드 신호의 세기(이득)를 조절하기 위한 스케일 인자 계산 함수(scale factor calculation function)를 이용할 수 있다.
전술한 마스킹 한계값은 청취 대상인 소리의 특징, 주파수 마스커의 타입 및 주파수 등에 따라 결정될 수 있다. 특정 주파수 대역에 특정 세기의 마스커가 존재할 때, 청취 대상인 소리가 들리기 시작하는 마스킹 한계값은 이미 실험적으로 밝혀진바 있다. 상기 스케일 인자 계산 함수는 오리지널 소스 신호 s(n) 및 유추된 배경 잡음 신호 w'(n)을 입력 받을 수 있다. 신호 결합부(116)는 상기 스케일 인자 계산 함수를 통해 상기 s(n) 및 w'(n)의 주파수 대역에 따른 에너지 분포를 인식할 수 있다. 그리고 신호 결합부(116)는 상기 스케일 인자 계산 함수를 통해, 상기 s(n) 및 w'(n)의 주파수 대역에 따른 에너지 분포와 상기 가이드 신호 g(n)의 주파수 특성을 비교하고, 상기 s(n) 및 w'(n)에 의해 상기 g(n)이 마스킹되도록 하는 주파수 대역 별 이득 scf(n)을 구할 수 있다. 다음의 수학식은 scf(n)을 구하는 스케일 인자 계산 함수(scf_calc_fn())를 나타낸다.
[수학식 26]
Figure pat00031
그리고, 상기 scf(n)가 적용된 가이드 신호 e(n)은 다음의 수학식으로부터 획득될 수 있다.
[수학식 27]
Figure pat00032
scf(n)가 적용된 가이드 신호 e(n)은 전술한 수학식 18 또는 수학식 22을 통해 오디오 출력 신호 x(n)에 포함될 수 있다. 그리고, 신호 결합부(116)는 상기 scf(n)가 적용된 가이드 신호 e(n)를 검출부(112)로 전송할 수 있으며, 상기 가이드 신호 e(n)을 이용한 사용자의 음향 출력 수단의 착용 여부를 판별할 때 이용될 수 있다.
한편, 도 11은 오디오 신호 처리 장치(100)에 대해서만 도시하고 있다. 하지만 본 발명은 이에 한정되지 않으며, 본 발명의 실시예에 따른 음향 출력 장치(200)도 전술한 신호 결합부를 포함할 수 있으며, 가이드 신호의 마스킹과 관련된 도 11의 처리 과정을 동일하게 수행할 수 있다.
사용자의 음향 출력 수단(또는 출력 유닛)의 착용 여부를 판별할 때 가이드 신호를 활용함으로써 다음과 같은 장점을 누릴 수 있다. 예를 들어, 복수의 개별 오디오 신호 상호 간의 상관도가 매우 높은 경우(즉 복수의 개별 오디오 신호가 서로 매우 유사한 경우), 오디오 신호 처리 장치 또는 음향 출력 장치는 각 개별 오디오 신호에 서로 다른 가이드 신호를 포함시킬 수 있다. 그리고, 오디오 신호 처리 장치 또는 음향 출력 장치는 입력 신호와 각 가이드 신호를 비교함으로써 사용자의 음향 출력 수단(또는 출력 유닛)의 착용 여부를 용이하게 판별할 수 있다. 즉, 상기 가이드 신호가 활용되는 경우, 상기 판별의 정확도가 개별 오디오 신호 간의 상관도에 영향을 받지 않을 수 있다. 또한, 상기 가이드 신호가 활용되는 경우, 오리지널 소스 신호 또는 가이드 신호가 아닌 오디오 출력 신호가 재생 중이지 않을 때에도 상기 가이드 신호를 통해 사용자의 음향 출력 수단의 착용 여부를 확인할 수 있다.
도 1 내지 도 11에 따르면, 상기 오디오 출력 신호는 상기 음향 출력 수단의 착용 여부를 판단하기 위한 기 설정된 신호 패턴인 가이드 신호와 상기 가이드 신호가 아닌 논-가이드(non-guide) 신호로 구분될 수 있다. 예를 들어, 수학식 18에 따르면, 오디오 출력 신호 x(n)은 가이드 신호 e(n)과 논-가이드 신호 vㆍs(n)로 구분될 수 있다. 그리고, 수학식 22에 따르면, 오디오 출력 신호가 복수의 개별 오디오 신호를 포함하는 경우에도 각 개별 오디오 신호 xL(n) 및 xR(n)은 가이드 신호 eL(n), eR(n)과 논-가이드 신호 vㆍsL(n), vㆍsR(n)로 구분될 수 있다. 이때, 본 발명의 실시예에 따른 오디오 신호 처리 장치 또는 음향 출력 장치는 상기 오디오 출력 신호에 상기 가이드 신호가 포함된 경우 상기 가이드 신호와 상기 입력 신호를 비교할 수 있다. 또는, 오디오 신호 처리 장치 또는 음향 출력 장치는 상기 오디오 출력 신호에 상기 논-가이드 신호만 포함되는 경우, 상기 논-가이드 신호를 포함하는 상기 오디오 출력 신호와 상기 입력 신호를 비교할 수 있다. 그리고 오디오 신호 처리 장치 또는 음향 출력 장치는 상기 비교 결과에 기초하여 사용자의 상기 음향 출력 수단의 착용 여부를 판별할 수 있다.
본 발명의 바람직한 실시예에 따르면, 오디오 신호 처리 장치 또는 음향 출력 장치는 오디오 출력 신호의 특성에 기초하여 상기 오디오 출력 신호에 상기 가이드 신호를 추가할지 여부를 결정할 수 있다. 여기서, 오디오 출력 신호가 복수의 개별 오디오 신호를 포함할 수 있는데, 상기 오디오 출력 신호의 특성은 상기 개별 오디오 신호 간의 상관도를 포함할 수 있다. 이에 따라, 오디오 신호 처리 장치 또는 음향 출력 장치는 상기 개별 오디오 신호 간의 상관도가 기 설정된 기준 상관도보다 높은 경우 상기 오디오 출력 신호에 상기 가이드 신호를 추가하고, 상기 개별 오디오 신호 간의 상관도가 기 설정된 기준 상관도보다 낮은 경우 상기 오디오 출력 신호에서 상기 가이드 신호를 제외시킬 수 있다. 하지만 본 발명의 실시예에 따른 오디오 출력 신호의 특성 및 상기 특성에 기초하여 가이드 신호의 추가/제외 여부를 결정하는 방식은 이에 한정되지 않는다. 이하 도 12를 통해 보다 상세하게 설명하도록 한다.
도 12는 본 발명의 실시예에 따른 오디오 신호 처리 장치 또는 음향 출력 장치의 작동 방식을 나타낸 도면이다. 도 12에 따르면, 오디오 신호 처리 장치 또는 음향 출력 장치는 믹스 모드(m1), 논-가이드 모드(m2) 및 가이드 모드(m3)로 작동할 수 있다. 논-가이드 모드(m2)는 도 4 내지 도 7의 실시예에 따른 오디오 신호 처리 장치 또는 음향 출력 장치의 작동 방식일 수 있으며, 가이드 모드(m3)는 도 8 내지 도 11의 실시예에 따른 오디오 신호 처리 장치 또는 음향 출력 장치의 작동 방식일 수 있다. 본 발명의 다른 실시예에 따르면, 오디오 신호 처리 장치 또는 음향 출력 장치는 오디오 출력 신호에 가이드 신호만 포함된 경우 상기 가이드 신호와 입력 신호를 비교하는 가이드 모드(m3)로 작동할 수 있다. 또는, 오디오 신호 처리 장치 또는 음향 출력 장치는 오디오 출력 신호에 가이드 신호가 포함되지 않는 경우(또는 오디오 출력 신호에 논-가이드 신호만 포함되는 경우), 상기 논-가이드 신호를 포함하는 상기 오디오 출력 신호와 입력 신호를 비교하는 논-가이드 모드(m2)로 작동할 수 있다. 믹스 모드(m1)는 오디오 출력 신호에 가이드 신호와 논-가이드 신호가 모두 포함될 때, 오디오 신호 처리 장치 또는 음향 출력 장치가 상기 가이드 신호와 입력 신호를 비교하는 작동 방식일 수 있다.
본 발명의 일 실시예에 따르면, 오디오 신호 처리 장치에 의해 컨텐츠가 처음으로 재생되는 경우, 오디오 신호 처리 장치 또는 음향 출력 장치는 논-가이드 모드(m2) 또는 믹스 모드(m1) 중 하나의 모드로 작동할 수 있다. 도 12에 따르면, 사용자에 제어에 의해 컨텐츠가 재생되는 경우, 오디오 신호 처리 장치 또는 음향 출력 장치가 논-가이드 모드(m2)로 작동할 수 있다. 이때, 상기 컨텐츠는 오디오 출력 신호의 오리지널 소스 신호를 의미하는 것일 수 있다. 상기 오리지널 소스 신호는 논-가이드 신호일 수 있다.
그리고 본 발명의 다른 실시예에 따르면, 오디오 신호 처리 장치 또는 음향 출력 장치는 오디오 출력 신호의 특성이 기초하여 작동 방식(또는 모드)를 선택할 수 있다. 여기서, 상기 오디오 출력 신호의 특성은 오디오 출력 신호에 포함되는 신호의 종류, 오디오 출력 신호의 세기(또는 볼륨), 신호 대 잡음비를 포함할 수 있다. 또는 상기 오디오 출력 신호가 복수의 개별 오디오 신호를 포함하는 경우, 상기 오디오 출력 신호의 특성은 상기 개별 오디오 신호 간의 상관도를 포함할 수 있다.
우선, 오디오 신호 처리 장치 또는 음향 출력 장치는 오디오 출력 신호에 포함되는 신호의 종류에 기초하여 작동 방식을 결정할 수 있다. 도 12에 따르면, 컨텐츠의 재생이 일시 정지(pause)되거나 중단(stop)되는 경우 믹스 모드(m1) 또는 논-가이드 모드(m2)로 작동 중이던 오디오 신호 처리 장치 또는 음향 출력 장치는 가이드 모드(m3)로 작동 방식을 변경할 수 있다. 즉, 컨텐츠의 재생이 일시 정지되거나 중단되는 경우 오리지널 소스 신호(즉, 논-가이드 신호)의 신호 값이 0이 되거나 오디오 출력 신호에 상기 오리지널 소스 신호가 포함되지 않게 된다. 이 경우, 오디오 신호 처리 장치 또는 음향 출력 장치는 가이드 모드(m3)로 자신의 작동 방식을 변경할 수 있다. 이에 따라 오디오 신호 처리 장치 또는 음향 출력 장치는 오디오 출력 신호에 가이드 신호를 포함시키거나, 상기 오디오 출력 신호에 이미 포함되어있는 가이드 신호를 그대로 유지시킬 수 있다. 오디오 신호 처리 장치 또는 음향 출력 장치는 오리지널 소스 신호(또는, 논-가이드 신호)가 없어도 상기 가이드 신호를 이용하여 사용자의 음향 출력 수단의 착용 여부를 판별할 수 있다.
구체적으로 오디오 신호 처리 장치 또는 음향 출력 장치는 오디오 출력 신호의 특성을 기초로 오디오 출력 신호에 상기 가이드 신호를 추가할 수 있다. 오디오 신호 처리 장치 또는 음향 출력 장치는 도 12에서와 같이 논-가이드 모드(m2)로 작동되던 중 가이드 신호 없이 사용자의 음향 출력 수단의 착용 여부를 판별할 수 없는 경우 믹스 모드(m1)로 작동 방식을 변경할 수 있다. 여기서, 상기 가이드 신호 없이 사용자의 음향 출력 수단의 착용 여부를 판별할 수 없는 경우는, 상기 오디오 출력 신호의 특성이 신호의 세기(볼륨) 또는 상관도에 관한 제 1 조건을 만족하는 경우를 의미하는 것일 수 있다. 본 발명의 일 실시예에 따르면, 오디오 신호 처리 장치 또는 음향 출력 장치는 오디오 출력 신호의 세기 또는 볼륨이 기 설정된 기준 신호 값 미만인 경우 상기 오디오 출력 신호가 상기 제 1 조건을 만족하는 것으로 판단할 수 있다. 본 발명의 다른 실시예에 따르면, 오디오 신호 처리 장치 또는 음향 출력 장치는 오디오 출력 신호의 신호 대 잡음비가 기 설정된 기준 신호 대 잡음비 미만인 경우 상기 오디오 출력 신호가 상기 제 1 조건을 만족하는 것으로 판단할 수 있다. 본 발명의 또 다른 실시예에 따르면, 오디오 출력 신호가 복수의 개별 오디오 신호를 포함할 때, 오디오 신호 처리 장치 또는 음향 출력 장치는 상기 개별 오디오 신호 간의 상관도가 기 설정된 기준 상관도 보다 높은 경우 상기 오디오 출력 신호가 상기 제 1 조건을 만족하는 것으로 판단할 수 있다. 오디오 신호 처리 장치 또는 음향 출력 장치는 오디오 출력 신호가 제 1 조건을 만족시키는 경우 상기 오디오 출력 신호에 가이드 신호를 추가할 수 있다. 이에 따라 오디오 신호 처리 장치 또는 음향 출력 장치는 믹스 모드(m1)로 작동 방식을 변경한다.
도 12에 따르면, 오디오 신호 처리 장치 또는 음향 출력 장치는 믹스 모드(m1)로 작동되던 중 가이드 신호가 없어도 사용자의 음향 출력 수단의 착용 여부를 판별할 수 있는 경우 논-가이드 모드(m2)로 작동 방식을 변경할 수 있다. 여기서, 상기 가이드 신호가 없어도 사용자의 음향 출력 수단의 착용 여부를 판별할 수 있는 경우는, 상기 오디오 출력 신호의 특성이 신호의 세기(볼륨) 또는 상관도에 관한 제 2 조건을 만족하는 경우를 의미하는 것일 수 있다. 본 발명의 일 실시예에 따르면, 오디오 신호 처리 장치 또는 음향 출력 장치는 오디오 출력 신호의 세기 또는 볼륨이 기 설정된 기준 신호 값 이상인 경우 상기 오디오 출력 신호가 상기 제 2 조건을 만족하는 것으로 판단할 수 있다. 본 발명의 다른 실시예에 따르면, 오디오 신호 처리 장치 또는 음향 출력 장치는 오디오 출력 신호의 신호 대 잡음비가 기 설정된 기준 신호 대 잡음비 이상인 경우 상기 오디오 출력 신호가 상기 제 2 조건을 만족하는 것으로 판단할 수 있다. 본 발명의 또 다른 실시예에 따르면, 오디오 출력 신호가 복수의 개별 오디오 신호를 포함할 때, 오디오 신호 처리 장치 또는 음향 출력 장치는 상기 개별 오디오 신호 간의 상관도가 기 설정된 기준 상관도 보다 낮은 경우 상기 오디오 출력 신호가 상기 제 2 조건을 만족하는 것으로 판단할 수 있다. 오디오 신호 처리 장치 또는 음향 출력 장치는 오디오 출력 신호가 제 2 조건을 만족시키는 경우 상기 오디오 출력 신호에서 가이드 신호를 제외시킬 수 있으며, 이에 따라 오디오 신호 처리 장치 또는 음향 출력 장치는 논-가이드 모드(m2)로 작동 방식을 변경한다.
도 13은 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치 또는 음향 출력 장치의 작동 방식을 나타낸 도면이다.
본 발명의 실시예에 따르면, 오디오 신호 처리 장치 또는 음향 출력 장치는 가이드 신호를 계속해서 생성하거나 기 설정된 가이드 인터벌(interval)에 기초하여 가이드 신호를 생성할 수 있다(생성된 가이드 신호는 오디오 출력 신호에 포함될 수 있음). 예를 들어, 가이드 인터벌이 1초인 경우, 오디오 신호 처리 장치 또는 음향 출력 장치는 1초에 한 번씩 톤 신호인 가이드 신호를 생성하여 오디오 출력 신호에 포함시킬 수 있다. 이때, 상기 가이드 인터벌은 컨텐츠의 재생 여부 또는 사용자의 음향 출력 수단의 착용 등의 조건이 충족되는지 여부에 기초하여 감소되거나 증가될 수 있다.
도 13에 따르면, 오디오 신호 처리 장치 또는 음향 출력 장치는 가이드 신호 타이머를 개시할 수 있다(S101). 그리고, 오디오 신호 처리 장치 또는 음향 출력 장치는 가이드 신호를 생성하여 오디오 출력 신호에 포함시키고 기 설정된 초기 가이드 인터벌을 설정할 수 있다(S102). 이후, 오디오 신호 처리 장치 또는 음향 출력 장치는 가이드 신호 또는 논-가이드 신호를 이용하여 사용자의 음향 출력 수단의 착용 여부를 감지할 수 있다(S103). 이때, 오디오 신호 처리 장치 또는 음향 출력 장치는 컨텐츠가 재생 중인지 여부(또는 오디오 출력 신호에 논-가이드 신호가 포함되는지 여부)를 판별할 수 있다(S104). 만약 컨텐츠가 재생 중이면, 오디오 신호 처리 장치 또는 음향 출력 장치는 가이드 신호의 생성을 중단할 수 있으며(S105), 전술한 단계 S103으로 되돌아간다. 만약 컨텐츠가 재생 중이지 않으면, 오디오 신호 처리 장치 또는 음향 출력 장치는 음향 출력 수단의 착용 여부를 판별할 수 있다(S106). 만약 사용자가 음향 출력 수단을 착용하고 있는 것으로 판별되면, 오디오 신호 처리 장치 또는 음향 출력 장치는 가이드 신호를 생성하거나 가이드 신호의 생성을 유지하고, 가이드 인터벌을 리셋 또는 초기화 시킨다(S107). 그리고 오디오 신호 처리 장치 또는 음향 출력 장치는 전술한 단계 S103으로 되돌아간다. 만약 사용자가 음향 출력 수단을 착용하지 않은 것으로 판별되면, 오디오 신호 처리 장치 또는 음향 출력 장치는 가이드 인터벌을 증가시킬 수 있다(S108). 즉, 컨텐츠가 재생되지 않고, 사용자가 음향 출력 수단을 착용하지 않는 상태가 지속될수록 상기 가이드 인터벌이 증가될 수 있으며, 그에 따라 가이드 신호가 오디오 출력 신호에 포함되는 빈도 수가 감소될 수 있다. 오디오 신호 처리 장치 또는 음향 출력 장치는 현재의 가이드 인터벌과 기 설정된 한계값을 비교할 수 있다(S109). 만약 가이드 인터벌이 한계 값보다 작은 경우 오디오 신호 처리 장치 또는 음향 출력 장치는 전술한 단계 S103으로 되돌아간다. 만약 가이드 인터벌이 한계값 이상인 경우, 오디오 신호 처리 장치 또는 음향 출력 장치는 가이드 신호의 생성을 중단할 수 있다(S110). 상기 단계 S110의 경우, 단계 S105와는 달리 다시 단계 S103으로 되돌아가지 않을 수 있다. 따라서, 상기 단계 S110는 가이드 신호의 생성이 완전히 중단된 상태를 나타내는 것일 수 있다.
한편, 가이드 신호의 세기(또는 이득 또는 스케일)는 다양한 맥락 정보 또는 상황에 기초하여 결정될 수 있다. 특히, 전술한 도 11, 수학식 26 및 수학식 27과 관련하여, 가이드 신호의 세기는 배경 잡음의 세기에 기초하여 결정될 수 있으며, 배경 잡음의 세기가 강한 환경에서는 가이드 신호의 세기 역시 증가할 수 있다.
전술한 바에 따르면, 본 발명의 실시예에 따른 오디오 신호 처리 장치 또는 음향 출력 장치는 사용자의 음향 출력 수단의 착용 여부에 기초하여 컨텐츠의 재생 상태를 변경하거나 외부 장치의 작동을 제어하는 등의 추가적인 처리를 수행할 수 있다. 사용자가 음향 출력 수단을 착용하고 있는지 여부 또는 사용자가 특정 출력 유닛을 착용하고 있는지 여부가 판별되면, 그 판별 결과에 기초하여 사용자에게 새로운 방식의 UI(user inferface) 또는 UX(user experience)를 제공할 수 있다.
도 6 및 도 8에 따르면, 오디오 신호 처리 장치 또는 음향 출력 장치는 사용자의 각 출력 유닛의 착용 여부를 판별할 수 있다. 본 발명의 실시예에 따르면, 오디오 신호 처리 장치 또는 음향 출력 장치는 복수의 출력 유닛이 존재할 때, 사용자가 올바른 출력 유닛을 착용할 수 있도록 알림 신호를 제공할 수 있다. 여기서, 2 개의 출력 유닛(좌측 출력 유닛 및 우측 출력 유닛)이 사용자의 좌측 귀와 우측 귀에 각각 착용되는 상황을 가정할 수 있다. 만약 사용자가 좌측 출력 유닛을 자신의 귀에 착용하는 경우, 오디오 신호 처리 장치 또는 음향 출력 장치는 상기 좌측 출력 유닛의 착용 여부를 감지할 수 있으며, 상기 좌측 출력 유닛을 통해 “LEFT” 라는 음향을 출력할 수 있다(동시에, 아직 착용 전인 우측 출력 유닛을 통해 “RIGHT” 라는 음향이 출력될 수도 있음). 사용자는 상기 “LEFT”음향을 통해 자신이 좌측 출력 유닛을 자신의 좌측 귀에 제대로 착용했음을 인지할 수 있다.
본 발명의 다른 실시예에 따르면, 오디오 신호 처리 장치 또는 음향 출력 장치는 사용자의 음향 출력 수단의 착용 여부에 기초하여 컨텐츠(또는 오디오 출력 신호)의 출력 채널 수를 결정할 수 있다. 즉, 오디오 신호 처리 장치 또는 음향 출력 장치는 사용자의 음향 출력 수단의 착용 여부에 기초하여 컨텐츠(또는 오디오 출력 신호)를 업믹싱(up-mixing) 또는 다운믹싱(down-mixing)할 수 있다. 예를 들어, 사용자가 2 개의 출력 유닛을 통해 스테레오 오디오 컨텐츠를 감상하는 상황을 가정할 수 있다. 사용자가 우측 출력 유닛을 자신의 귀로부터 떼어낸 경우, 오디오 신호 처리 장치 또는 음향 출력 장치는 상기 우측 출력 유닛이 착용 중이지 않음을 감지할 수 있다. 이에 따라, 오디오 신호 처리 장치 또는 음향 출력 장치는 스테레오 오디오 컨텐츠를 모노 채널로 다운믹싱한 다음 다운믹싱된 컨텐츠를 좌측 출력 유닛을 통해 출력할 수도 있다.
도 14는 본 발명의 실시예에 따른 오디오 신호 처리 장치 또는 음향 출력 장치의 활용 방안을 나타낸 도면이다.
도 14(a)에 따르면, 사용자는 태블릿(300)에 헤드폰(400)을 연결하여 영화 등의 컨텐츠를 감상하고 있다. 여기서, 상기 태블릿(300) 또는 헤드폰(400)은 본 발명의 실시예에 따른 오디오 신호 처리 장치 또는 음향 출력 장치일 수 있다. 도 14(a)의 상황에서, 태블릿(300) 또는 헤드폰(400)은 사용자가 헤드폰(400)을 착용하고 있음을 감지할 수 있다.
도 14(b)는 사용자가 헤드폰(400)을 벗은 상황을 나타낸다. 본 발명의 실시예에 따른 오디오 신호 처리 장치 또는 음향 출력 장치는 사용자가 음향 출력 수단을 착용했는지 여부에 기초하여 컨텐츠의 재생 상태를 조정하거나 상기 컨텐츠의 출력과 관련된 제어 신호를 생성할 수 있다. 도 14(b)의 경우, 태블릿(300) 또는 헤드폰(400)은 사용자가 상기 헤드폰(400)을 벗었음을 감지할 수 있다. 이때, 태블릿(300)은 상기 감지 결과에 기초하여 컨텐츠의 재생을 일시 정지시킬 수 있다. 그리고, 태블릿(300)은 디스플레이(300D)를 통해 사용자 메뉴를 출력할 수 있다. 사용자는 사용자 메뉴 중 “소리와 함께 재생” 메뉴를 선택하여 컨텐츠의 감상을 재개할 수 있으며, 태블릿(300)에 내장된 스피커를 통해 출력되는 컨텐츠의 음향을 감상할 수 있다. 또는, 사용자는 사용자 메뉴 중 “묵음 재생”을 선택하여 컨텐츠의 감상을 재개할 수 있으며, 태블릿(300)은 별도의 음향은 출력하지 않을 수 있다. 또는, 사용자는 사용자 메뉴 중 “정지”를 선택하여 태블릿(300)의 컨텐츠의 재생을 완전히 중단시킬 수 있다. 만약 사용자가 기 설정된 시간 이내에 사용자 메뉴 중 한 가지를 선택하지 않는 경우, 태블릿(300)은 절전 모드로 진입하거나 컨텐츠의 재생을 완전히 중단시킬 수 있다.
도 14(c)는 각 기기 간의 유선 또는 무선 네트워킹이 원활한 상황을 가정한다. 도 14(c)에서 각 기기에서 재생되는 컨텐츠는 유선 또는 무선 네트워킹을 통해 공유되고 있는 상황일 수 있다.
본 발명의 실시예에 따른 오디오 신호 처리 장치 또는 음향 출력 장치는 사용자가 음향 출력 수단을 착용했는지 여부에 기초하여 컨텐츠를 외부 기기로 전송할지 여부를 판별하거나 상기 컨텐츠의 전송과 관련된 제어 신호를 생성할 수 있다. 사용자가 헤드폰(400)을 벗는 경우, 태블릿(300) 또는 헤드폰(400)은 사용자가 상기 헤드폰(400)을 벗었음을 감지할 수 있다. 이때, 태블릿(300)은 사용자가 헤드폰(400)을 벗는 즉시 사용자가 감상한 컨텐츠의 현재 재생 타이밍 정보(현재 재생 진행 정보)를 대형 디스플레이(500) 등의 타 기기로 전송할 수 있다. 대형 디스플레이(500)는 수신한 현재 재생 타이밍 정보에 기초하여 상기 사용자에게 제공할 상기 컨텐츠의 재생 타이밍을 결정할 수 있다. 이를 통해, 상기 사용자는 태블릿(300)에서 감상하던 컨텐츠를 대형 디스플레이(500)에서 이어서 감상할 수 있다.
한편, 도 14(c)에 따르면, 사용자는 헤드폰(400)을 벗은 상태이고, 태블릿(300)은 바닥에 눕혀져 있는 상태이다. 본 발명의 실시예에 따른 태블릿(300)은 상기 헤드폰(400)의 착용 여부 및 상기 태블릿(300)의 기울어짐 등의 자세 정보에 기초하여 컨텐츠를 태블릿(300)에서 재생할지 또는 대형 디스플레이(500)에서 재생할지를 결정할 수 있다. 즉, 도 14(c)의 상황에서, 사용자가 헤드폰(400)을 벗은 상태이고, 태블릿(300)의 화면이 상측을 향할 때, 태블릿(300)은 컨텐츠가 대형 디스플레이(500)에서 재생되도록 할 수 있다.
한편, 본 발명의 실시예에 따른 사용자의 음향 출력 수단의 착용 여부 판별 방식은 걸려온 전화를 받거나 통화를 할 때 유용하다. 예를 들어, 사용자가 본 발명의 실시예에 따른 오디오 신호 처리 장치인 스마트폰 또는 본 발명의 실시예에 따른 음향 출력 장치인 이어폰을 이용하여 통화를 하는 상황을 가정할 수 있다. 사용자가 스마트폰에 연결된 이어폰을 착용한 상태인 경우, 스마트폰 또는 이어폰은 사용자가 이어폰을 착용한 상태임을 감지할 수 있다. 이에 따라 상대방의 목소리는 이어폰을 통해서 출력될 수 있으며, 상기 상대방의 목소리가 외부로 새어나갈 가능성이 줄어든다. 만약 사용자가 이어폰을 벗은 경우, 스마트폰 또는 이어폰은 사용자가 이어폰을 착용하지 않았음을 감지할 수 있으며, 스마트폰에 내장된 스피커를 통해 상대방의 목소리를 출력할 수 있다. 또 다른 예로써, 사용자가 이어폰을 착용한 상태에서 전화가 걸려온 상황을 가정할 수 있다. 스마트폰 또는 이어폰은 사용자가 이어폰을 착용하고 있음을 감지할 수 있으며, 이에 따라 스마트폰의 착신음은 이어폰을 통해서 출력될 수 있다. 이를 통해 사용자는 타인에게 방해를 주지 않고 상대방이 건 전화를 받을 수 있다.
도 15는 본 발명의 실시예에 따른 오디오 신호 처리 장치의 제어 방법을 나타낸 도면이다.
도 15에 따르면, 오디오 신호 처리 장치는 오디오 출력 신호를 외부 음향 출력 장치로 전송할 수 있다(S201). 여기서, 상기 외부 음향 출력 장치는 마이크 및 음향 출력 수단을 포함할 수 있다. 그리고, 오디오 신호 처리 장치는 상기 음향 출력 수단이 상기 오디오 출력 신호를 기초로 음향을 출력하는 동안 상기 마이크를 통해 수집된 상기 음향이 변환된 입력 신호를 상기 외부 음향 출력 장치로부터 수신할 수 있다(S202). 그리고, 오디오 신호 처리 장치는 상기 오디오 출력 신호 및 상기 입력 신호를 비교하여 사용자가 상기 외부 음향 출력 장치의 상기 음향 출력 수단을 착용했는지 여부를 판별할 수 있다(S203). 사용자가 상기 외부 음향 출력 장치를 착용하고 있지 않은 경우, 오디오 신호 처리 장치는 컨텐츠의 재생 상태를 변경(예를 들어, 잠시 멈춤)하거나 상기 컨텐츠를 외부 기기로 전송할 수 있다(S204). 또는, 오디오 신호 처리 장치는 사용자에게 다양한 작동 방식에 관한 메뉴를 제공할 수 있고, 사용자의 선택에 따라 추가적인 처리 과정을 수행할 수 있다.
본 발명의 일 실시예에 따르면, 상기 음향 출력 수단은 복수의 출력 유닛을 포함하고, 상기 오디오 출력 신호는 복수의 개별 오디오 신호를 포함하며, 상기 복수의 개별 오디오 신호는 상기 각 출력 유닛에 의해 개별적으로 상기 음향으로 변환될 수 있다. 이 경우, 상기 판별 하는 단계(S203)는 상기 복수의 개별 오디오 신호와 상기 입력 신호를 개별적으로 비교하여 상기 사용자가 상기 각 출력 유닛을 착용했는지 여부를 판별할 수 있다.
본 발명의 다른 실시예에 따르면, 상기 오디오 출력 신호는 기 설정된 신호 패턴인 가이드 신호를 포함할 수 있다. 이 경우, 상기 판별하는 단계(S203)는 상기 가이드 신호와 상기 입력 신호를 비교하여 상기 사용자가 상기 음향 출력 수단을 착용했는지 여부를 판별할 수 있다. 그리고, 상기 오디오 출력 신호를 전송하는 단계(S201)는 상기 가이드 신호의 세기가 기 설정된 마스킹 한계값 미만이 되도록 입력 신호 조정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 상기 오디오 출력 신호는 상기 음향 출력 수단의 착용 여부를 판단하기 위한 기 설정된 신호 패턴인 가이드 신호와 상기 가이드 신호가 아닌 논-가이드 신호로 구분될 수 있다. 이때, 상기 판별하는 단계(S203)는 상기 오디오 출력 신호에 상기 가이드 신호가 포함된 경우 상기 가이드 신호와 상기 입력 신호를 비교하고, 상기 오디오 출력 신호에 상기 논-가이드 신호만 포함되는 경우 상기 논-가이드 신호를 포함하는 상기 오디오 출력 신호와 상기 입력 신호를 비교하여 상기 사용자의 상기 음향 출력 수단의 착용 여부를 판별할 수 있다. 여기서, 상기 오디오 출력 신호를 전송하는 단계(S201)는 상기 오디오 출력 신호의 특성에 기초하여 상기 오디오 출력 신호에 상기 가이드 신호를 추가할지 여부를 결정하는 단계를 더 포함할 수 있다. 여기서, 상기 음향 출력 수단은 복수의 출력 유닛을 포함하고, 상기 오디오 출력 신호는 복수의 개별 오디오 신호를 포함하고, 상기 복수의 개별 오디오 신호는 상기 각 출력 유닛에 의해 개별적으로 상기 음향으로 변환될 수 있다. 이때, 상기 가이드 신호를 추가할지 여부를 결정하는 단계는 상기 개별 오디오 신호 간의 상관도에 기초하여 상기 가이드 신호의 추가 여부를 결정할 수 있다. 여기서, 상기 가이드 신호를 추가할지 여부를 결정하는 단계는 상기 개별 오디오 신호 간의 상관도가 기 설정된 기준 상관도보다 높은 경우 상기 오디오 출력 신호에 상기 가이드 신호를 추가하고, 상기 개별 오디오 신호 간의 상관도가 기 설정된 기준 상관도보다 낮은 경우 상기 오디오 출력 신호에서 상기 가이드 신호를 제외시킬 수 있다.
본 발명의 또 다른 실시예에 따르면, 상기 판별하는 단계(S203)는 상기 오디오 출력 신호가 상기 입력 신호에 포함된 정도를 나타내는 검출 결과값을 산출하고, 상기 검출 결과값이 기 설정된 검출 한계값 이상인 경우 상기 사용자가 상기 음향 출력 수단을 착용하고 있는 것으로 판별할 수 있다. 여기서, 상기 검출 한계값은 상기 음향 출력 수단과 상기 마이크 사이의 음향 전달 경로에 대한 임펄스 응답의 에너지 및 상기 오디오 출력 신호의 에너지의 조합에 기초하여 결정될 수 있다.
도 16은 본 발명의 실시예에 따른 음향 출력 장치의 제어 방법을 나타낸 도면이다.
도 16에 따르면, 음향 출력 장치는 외부 오디오 재생 장치로부터 오디오 출력 신호를 수신할 수 있다(S301). 그리고, 음향 출력 장치는 상기 오디오 출력 신호를 기초로 음향을 출력하는 동안 외부 음향을 수집하여 입력 신호로 변환할 수 있다(S302). 그리고, 음향 출력 장치는 상기 오디오 출력 신호 및 상기 입력 신호를 비교하여 사용자가 상기 음향 출력 수단을 착용했는지 여부를 판별할 수 있다(S303). 사용자가 상기 외부 음향 출력 장치를 착용하고 있지 않은 경우, 음향 출력 장치는 컨텐츠의 재생 상태를 변경(예를 들어, 잠시 멈춤)하거나 상기 컨텐츠를 외부 기기로 전송할 것을 요청하는 제어 신호를 상기 외부 오디오 재생 장치로 전송할 수 있다(S304). 이 경우, 외부 오디오 재생 장치는 사용자에게 다양한 작동 방식에 관한 메뉴를 제공할 수 있고, 사용자의 선택에 따라 추가적인 처리 과정을 수행할 수 있다.
본 발명의 일 실시예에 따르면, 상기 음향 출력 수단은 복수의 출력 유닛을 포함하고, 상기 오디오 출력 신호는 복수의 개별 오디오 신호를 포함할 수 있다. 이때, 상기 입력 신호로 변환하는 단계(S302)는 상기 각 출력 유닛을 통해 상기 복수의 개별 오디오 신호를 상기 음향으로 개별적으로 변환할 수 있으며, 상기 판별하는 단계(S303)는 상기 복수의 개별 오디오 신호와 상기 입력 신호를 개별적으로 비교하여 상기 사용자가 상기 각 출력 유닛을 착용했는지 여부를 판별할 수 있다.
본 발명의 다른 실시예에 따르면, 상기 오디오 출력 신호는 기 설정된 신호 패턴인 가이드 신호(guide signal)를 포함할 수 있다. 이 경우, 상기 판별하는 단계(S303)는 상기 가이드 신호와 상기 입력 신호를 비교하여 상기 사용자가 상기 음향 출력 수단을 착용했는지 여부를 판별할 수 있다. 그리고, 상기 오디오 출력 신호를 수신하는 단계(S301)는 상기 가이드 신호의 세기가 기 설정된 마스킹 한계값 미만이 되도록 조정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 상기 오디오 출력 신호는 상기 음향 출력 수단의 착용 여부를 판단하기 위한 기 설정된 신호 패턴인 가이드 신호 또는 상기 가이드 신호가 아닌 논-가이드 신호로 구분될 수 있다. 이때, 상기 판별하는 단계(S303)는 상기 오디오 출력 신호에 상기 가이드 신호가 포함된 경우 상기 가이드 신호와 상기 입력 신호를 비교하고, 상기 오디오 출력 신호에 상기 논-가이드 신호만 포함되는 경우 상기 논-가이드 신호를 포함하는 상기 오디오 출력 신호와 상기 입력 신호를 비교하여 상기 사용자의 상기 음향 출력 수단의 착용 여부를 판별할 수 있다. 여기서, 상기 오디오 출력 신호를 수신하는 단계(S301)는 상기 오디오 출력 신호의 특성에 기초하여 상기 오디오 출력 신호에 상기 가이드 신호를 추가할지 여부를 결정하는 단계를 더 포함할 수 있다. 여기서, 상기 음향 출력 수단은 복수의 출력 유닛을 포함하고, 상기 오디오 출력 신호는 복수의 개별 오디오 신호를 포함할 수 있다. 이 경우, 상기 입력 신호로 변환하는 단계(S302)는 상기 각 출력 유닛을 통해 상기 복수의 개별 오디오 신호를 개별적으로 상기 음향으로 변환할 수 있다. 그리고 상기 가이드 신호를 추가할지 여부를 결정하는 단계는 상기 개별 오디오 신호 간의 상관도에 기초하여 상기 가이드 신호의 추가 여부를 결정할 수 있다. 그리고, 상기 가이드 신호를 추가할지 여부를 결정하는 단계는 상기 개별 오디오 신호 간의 상관도가 기 설정된 기준 상관도보다 높은 경우 상기 오디오 출력 신호에 상기 가이드 신호를 추가하고, 상기 개별 오디오 신호 간의 상관도가 기 설정된 기준 상관도보다 낮은 경우 상기 오디오 출력 신호에서 상기 가이드 신호를 제외시킬 수 있다.
본 발명의 또 다른 실시예에 따르면, 상기 판별하는 단계(S303)는 상기 오디오 출력 신호가 상기 입력 신호에 포함된 정도를 나타내는 검출 결과값을 산출하고, 상기 검출 결과값이 기 설정된 검출 한계값 이상인 경우 상기 사용자가 상기 음향 출력 수단을 착용하고 있는 것으로 판별할 수 있다. 여기서, 상기 검출 한계값은 상기 음향 출력 수단과 상기 마이크 사이의 음향 전달 경로에 대한 임펄스 응답의 에너지 및 상기 오디오 출력 신호의 에너지의 조합에 기초하여 결정될 수 있다.
본 발명의 또 다른 실시예에 따르면, 오디오 신호 처리 장치는 음향 출력 수단이 오디오 출력 신호를 음향으로 출력하도록 제어 할 수 있다. 이때, 상기 오디오 신호 처리 장치는 도 1 내지 도 16의 오디오 신호 처리 장치 또는 음향 출력 장치일 수 있으며, 상기 오디오 신호 처리 장치의 제어에 따른 음향의 출력은 전술한 도 1 내지 도 16에서 설명된 방식으로 수행될 수 있다. 그리고, 상기 오디오 신호 처리 장치는 상기 음향이 출력되는 동안 마이크를 통해 수집된 외부 음향이 변환된 입력 신호를 취득할 수 있다. 그리고, 상기 오디오 신호 처리 장치는 상기 오디오 출력 신호 및 상기 입력 신호를 비교하여 사용자가 상기 음향 출력 수단을 착용했는지 여부를 판별할 수 있다. 오디오 신호 처리 장치는 상기 입력 신호를 취득하고, 사용자가 상기 음향 출력 수단을 착용했는지 여부를 판별할 때 도 1 내지 도 16의 처리 방식을 이용할 수 있다. 여기서, 상기 오디오 신호 처리 장치는 상기 음향 출력 수단 및 상기 마이크를 포함할 수 있으며, 상기 음향 출력 수단 및 상기 마이크를 포함하는 오디오 신호 처리 장치는 본 발명의 실시예에 따른 음향 출력 장치에 대응될 수 있다.
이상에서 본 발명을 구체적인 실시예를 통하여 설명하였으나, 당업자라면 본 발명의 취지를 벗어나지 않는 범위 내에서 수정, 변경을 할 수 있을 것이다. 따라서 본 발명이 속하는 기술분야에 속한 사람이 본 발명의 상세한 설명 및 실시예로부터 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 마이크 및 음향 출력 수단을 포함하는 외부 음향 출력 장치와 오디오 신호를 송수신하는 오디오 신호 처리 장치에서,
    상기 외부 음향 출력 장치와 신호를 송수신하는 송수신 모듈; 및
    상기 송수신 모듈의 작동을 제어하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 송수신 모듈을 통해 오디오 출력 신호를 상기 외부 음향 출력 장치로 전송하고,
    상기 송수신 모듈을 통해, 상기 음향 출력 수단이 상기 오디오 출력 신호를 기초로 음향을 출력하는 동안 상기 마이크를 통해 수집된 외부 음향이 변환된 입력 신호를 수신하고,
    상기 오디오 출력 신호 및 상기 입력 신호를 비교하여 사용자가 상기 외부 음향 출력 장치의 상기 음향 출력 수단을 착용했는지 여부를 판별하는 것을 특징으로 하는 오디오 신호 처리 장치.
  2. 제1항에 있어서,
    상기 음향 출력 수단은 복수의 출력 유닛을 포함하고,
    상기 오디오 출력 신호는 복수의 개별 오디오 신호를 포함하며, 상기 복수의 개별 오디오 신호는 상기 각 출력 유닛에 의해 개별적으로 상기 음향으로 변환되며,
    상기 프로세서는,
    상기 복수의 개별 오디오 신호와 상기 입력 신호를 개별적으로 비교하여 상기 사용자가 상기 각 출력 유닛을 착용했는지 여부를 판별하는 것을 특징으로 하는 오디오 신호 처리 장치.
  3. 제2항에 있어서,
    상기 복수의 개별 오디오는 서로 다른 신호 패턴인 가이드 신호(guide signal)를 개별적으로 포함하고,
    상기 프로세서는 상기 각 가이드 신호와 상기 입력 신호를 개별적으로 비교하여 상기 각 출력 유닛을 착용했는지 여부를 판별하는 것을 특징으로 하는 오디오 신호 처리 장치.
  4. 제1항에 있어서,
    상기 오디오 출력 신호는 기 설정된 신호 패턴인 가이드 신호를 포함하고,
    상기 프로세서는,
    상기 가이드 신호와 상기 입력 신호를 비교하여 상기 사용자가 상기 음향 출력 수단을 착용했는지 여부를 판별하는 것을 특징으로 하는 오디오 신호 처리 장치.
  5. 제1항에 있어서,
    상기 오디오 출력 신호는 상기 음향 출력 수단의 착용 여부를 판단하기 위한 기 설정된 신호 패턴인 가이드 신호와 상기 가이드 신호가 아닌 논-가이드(non-guide) 신호로 구분되고,
    상기 프로세서는,
    상기 오디오 출력 신호에 상기 가이드 신호가 포함된 경우 상기 가이드 신호와 상기 입력 신호를 비교하고, 상기 오디오 출력 신호에 상기 논-가이드 신호만 포함되는 경우 상기 논-가이드 신호를 포함하는 상기 오디오 출력 신호와 상기 입력 신호를 비교하여 상기 사용자의 상기 음향 출력 수단의 착용 여부를 판별하는 것을 특징으로 하는 오디오 신호 처리 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 오디오 출력 신호의 특성에 기초하여 상기 오디오 출력 신호에 상기 가이드 신호를 추가할지 여부를 결정하는 것을 특징으로 하는 오디오 신호 처리 장치.
  7. 제6항에 있어서,
    상기 음향 출력 수단은 복수의 출력 유닛을 포함하고,
    상기 오디오 출력 신호는 복수의 개별 오디오 신호를 포함하고, 상기 복수의 개별 오디오 신호는 상기 각 출력 유닛에 의해 개별적으로 상기 음향으로 변환되며,
    상기 프로세서는,
    상기 개별 오디오 신호 간의 상관도(correlation)에 기초하여 상기 가이드 신호의 추가 여부를 결정하는 것을 특징으로 하는 오디오 신호 처리 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 개별 오디오 신호 간의 상관도가 기 설정된 기준 상관도보다 높은 경우 상기 오디오 출력 신호에 상기 가이드 신호를 추가하고,
    상기 개별 오디오 신호 간의 상관도가 기 설정된 기준 상관도보다 낮은 경우 상기 오디오 출력 신호에서 상기 가이드 신호를 제외시키는 것을 특징으로 하는 오디오 신호 처리 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 오디오 출력 신호가 상기 입력 신호에 포함된 정도를 나타내는 검출 결과값을 산출하고, 상기 검출 결과값이 기 설정된 검출 한계값 이상인 경우 상기 사용자가 상기 음향 출력 수단을 착용하고 있는 것으로 판별하되,
    상기 검출 한계값은 상기 음향 출력 수단과 상기 마이크 사이의 음향 전달 경로에 대한 임펄스 응답(impulse response)의 에너지 및 상기 오디오 출력 신호의 에너지의 조합에 기초하여 결정되는 것을 특징으로 하는 오디오 신호 처리 장치.
  10. 음향 출력 장치에 있어서,
    신호를 송수신하는 송수신 모듈;
    음향을 출력하는 음향 출력 수단;
    음향을 취득하는 마이크; 및
    상기 음향 출력 장치의 작동을 제어하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 송수신 모듈을 통해 외부 오디오 재생 장치로부터 오디오 출력 신호를 수신하고,
    상기 음향 출력 수단을 통해 상기 오디오 출력 신호를 기초로 음향을 출력하는 동안, 상기 마이크를 통해 외부 음향을 수집하여 입력 신호로 변환하고,
    상기 오디오 출력 신호 및 상기 입력 신호를 비교하여 사용자가 상기 음향 출력 수단을 착용했는지 여부를 판별하는 것을 특징으로 하는 음향 출력 장치.
  11. 제10항에 있어서,
    상기 음향 출력 수단은 복수의 출력 유닛을 포함하고, 상기 오디오 출력 신호는 복수의 개별 오디오 신호를 포함하며,
    상기 프로세서는,
    상기 각 출력 유닛을 통해 상기 복수의 개별 오디오 신호를 상기 음향으로 개별적으로 변환하고,
    상기 복수의 개별 오디오 신호와 상기 입력 신호를 개별적으로 비교하여 상기 사용자가 상기 각 출력 유닛을 착용했는지 여부를 판별하는 것을 특징으로 하는 음향 출력 장치.
  12. 제11항에 있어서,
    상기 복수의 개별 오디오는 서로 다른 신호 패턴인 가이드 신호(guide signal)를 개별적으로 포함하고,
    상기 프로세서는 상기 각 가이드 신호와 상기 입력 신호를 개별적으로 비교하여 상기 각 출력 유닛을 착용했는지 여부를 판별하는 것을 특징으로 하는 오디오 신호 처리 장치.
  13. 제10항에 있어서,
    상기 오디오 출력 신호는 기 설정된 신호 패턴인 가이드 신호를 포함하고,
    상기 프로세서는,
    상기 가이드 신호와 상기 입력 신호를 비교하여 상기 사용자가 상기 음향 출력 수단을 착용했는지 여부를 판별하는 것을 특징으로 하는 음향 출력 장치.
  14. 제10항에 있어서,
    상기 오디오 출력 신호는 상기 음향 출력 수단의 착용 여부를 판단하기 위한 기 설정된 신호 패턴인 가이드 신호 또는 상기 가이드 신호가 아닌 논-가이드(non-guide) 신호로 구분되고,
    상기 프로세서는,
    상기 오디오 출력 신호에 상기 가이드 신호가 포함된 경우 상기 가이드 신호와 상기 입력 신호를 비교하고, 상기 오디오 출력 신호에 상기 논-가이드 신호만 포함되는 경우 상기 논-가이드 신호를 포함하는 상기 오디오 출력 신호와 상기 입력 신호를 비교하여 상기 사용자의 상기 음향 출력 수단의 착용 여부를 판별하는 것을 특징으로 하는 음향 출력 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 오디오 출력 신호의 특성에 기초하여 상기 오디오 출력 신호에 상기 가이드 신호를 추가할지 여부를 결정하는 것을 특징으로 하는 음향 출력 장치.
  16. 제15항에 있어서,
    상기 음향 출력 수단은 복수의 출력 유닛을 포함하고,
    상기 오디오 출력 신호는 복수의 개별 오디오 신호를 포함하고,
    상기 프로세서는,
    상기 각 출력 유닛을 통해 상기 복수의 개별 오디오 신호를 개별적으로 상기 음향으로 변환하며,
    상기 개별 오디오 신호 간의 상관도(correlation)에 기초하여 상기 가이드 신호의 추가 여부를 결정하는 것을 특징으로 하는 음향 출력 장치.
  17. 제16항에 있어서,
    상기 프로세서는,
    상기 개별 오디오 신호 간의 상관도가 기 설정된 기준 상관도보다 높은 경우 상기 오디오 출력 신호에 상기 가이드 신호를 추가하고,
    상기 개별 오디오 신호 간의 상관도가 기 설정된 기준 상관도보다 낮은 경우 상기 오디오 출력 신호에서 상기 가이드 신호를 제외시키는 것을 특징으로 하는 음향 출력 장치.
  18. 제10항에 있어서,
    상기 프로세서는,
    상기 오디오 출력 신호가 상기 입력 신호에 포함된 정도를 나타내는 검출 결과값을 산출하고, 상기 검출 결과값이 기 설정된 검출 한계값 이상인 경우 상기 사용자가 상기 음향 출력 수단을 착용하고 있는 것으로 판별하되,
    상기 검출 한계값은 상기 음향 출력 수단과 상기 마이크 사이의 음향 전달 경로에 대한 임펄스 응답(impulse response)의 에너지 및 상기 오디오 출력 신호의 에너지의 조합에 기초하여 결정되는 것을 특징으로 하는 음향 출력 장치.
  19. 오디오 신호 처리 장치의 제어 방법에 있어서,
    음향 출력 수단이 오디오 출력 신호를 음향으로 출력하도록 제어하는 단계;
    상기 음향이 출력되는 동안 마이크를 통해 수집된 외부 음향이 변환된 입력 신호를 취득하는 단계;
    상기 오디오 출력 신호 및 상기 입력 신호를 비교하여 사용자가 상기 음향 출력 수단을 착용했는지 여부를 판별하는 단계를 포함하는 것을 특징으로 하는 제어 방법.
  20. 제19항에 있어서,
    상기 오디오 신호 처리 장치는 상기 음향 출력 수단 및 상기 마이크를 포함하는 것을 특징으로 하는 제어 방법.
KR1020160154366A 2015-11-18 2016-11-18 오디오 신호 처리 장치 및 방법 KR102577901B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150162125 2015-11-18
KR1020150162125 2015-11-18

Publications (2)

Publication Number Publication Date
KR20170058320A true KR20170058320A (ko) 2017-05-26
KR102577901B1 KR102577901B1 (ko) 2023-09-14

Family

ID=58690588

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160154366A KR102577901B1 (ko) 2015-11-18 2016-11-18 오디오 신호 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US9946509B2 (ko)
KR (1) KR102577901B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102002784B1 (ko) * 2018-07-27 2019-07-23 주식회사 파인테크닉스 마이크 내장형 이어폰 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102452314B1 (ko) * 2016-09-08 2022-10-07 삼성전자주식회사 컨텐츠 재생 방법 및 이를 지원하는 전자 장치
US10068388B2 (en) * 2016-11-10 2018-09-04 Ford Global Technologies Llc Automated system for suggesting wiper replacement
KR20180083587A (ko) * 2017-01-13 2018-07-23 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR102470977B1 (ko) * 2017-10-10 2022-11-25 시러스 로직 인터내셔널 세미컨덕터 리미티드 헤드셋 온 이어 상태 검출

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110107833A (ko) * 2009-01-23 2011-10-04 소니 에릭슨 모빌 커뮤니케이션즈 에이비 이어피스를 위한 음향의 인­이어 검출
JP2014033303A (ja) * 2012-08-02 2014-02-20 Sony Corp ヘッドホン装置、装着状態検出装置、装着状態検出方法
US20140321682A1 (en) * 2013-04-24 2014-10-30 Bernafon Ag Hearing assistance device with a low-power mode

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110107833A (ko) * 2009-01-23 2011-10-04 소니 에릭슨 모빌 커뮤니케이션즈 에이비 이어피스를 위한 음향의 인­이어 검출
JP2014033303A (ja) * 2012-08-02 2014-02-20 Sony Corp ヘッドホン装置、装着状態検出装置、装着状態検出方法
US20140321682A1 (en) * 2013-04-24 2014-10-30 Bernafon Ag Hearing assistance device with a low-power mode

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102002784B1 (ko) * 2018-07-27 2019-07-23 주식회사 파인테크닉스 마이크 내장형 이어폰 장치

Also Published As

Publication number Publication date
US20170139669A1 (en) 2017-05-18
KR102577901B1 (ko) 2023-09-14
US9946509B2 (en) 2018-04-17

Similar Documents

Publication Publication Date Title
US12045542B2 (en) Earphone software and hardware
KR102577901B1 (ko) 오디오 신호 처리 장치 및 방법
JP5740572B2 (ja) 補聴器、信号処理方法及びプログラム
US9071900B2 (en) Multi-channel recording
KR101540896B1 (ko) 전자 디바이스 상에서의 마스킹 신호 생성
US9788114B2 (en) Acoustic device for streaming audio data
US9736614B2 (en) Augmenting existing acoustic profiles
US20110144779A1 (en) Data processing for a wearable apparatus
KR101381289B1 (ko) 귓속 삽입형 마이크를 사용하는 유무선 이어셋
US8363823B1 (en) Two microphone uplink communication and stereo audio playback on three wire headset assembly
KR20110069112A (ko) 보청기 시스템에서 바이노럴 스테레오를 렌더링하는 방법 및 보청기 시스템
JP6193844B2 (ja) 選択可能な知覚空間的な音源の位置決めを備える聴覚装置
US10121491B2 (en) Intelligent volume control interface
CN108235181A (zh) 在音频处理装置中降噪的方法
US20140294193A1 (en) Transducer apparatus with in-ear microphone
CN115552923A (zh) 同步模式转换
JP2018512754A (ja) 多数のユーザ間でステレオ音声を共有するための技術
WO2023051083A1 (zh) 音频控制方法、电子设备和音频播放系统
DK2887695T3 (en) A hearing aid system with selectable perceived spatial location of audio sources
CN116367066A (zh) 具有音频质量检测的音频设备及相关方法
WO2022254834A1 (ja) 信号処理装置、信号処理方法およびプログラム
US20230319488A1 (en) Crosstalk cancellation and adaptive binaural filtering for listening system using remote signal sources and on-ear microphones
US20240089671A1 (en) Hearing aid comprising a voice control interface
JP2022122270A (ja) 通話中の音声のノイズを低減するバイノーラル聴覚装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right