KR20160129752A - 사운드 출력 기기, 전자 장치 및 그 제어 방법 - Google Patents

사운드 출력 기기, 전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20160129752A
KR20160129752A KR1020160051960A KR20160051960A KR20160129752A KR 20160129752 A KR20160129752 A KR 20160129752A KR 1020160051960 A KR1020160051960 A KR 1020160051960A KR 20160051960 A KR20160051960 A KR 20160051960A KR 20160129752 A KR20160129752 A KR 20160129752A
Authority
KR
South Korea
Prior art keywords
user
data
audio data
audio
hearing
Prior art date
Application number
KR1020160051960A
Other languages
English (en)
Other versions
KR102460393B1 (ko
Inventor
황태호
김미영
황보민수
류종엽
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/143,091 priority Critical patent/US10345901B2/en
Priority to CN201680031923.0A priority patent/CN107683399B/zh
Priority to PCT/KR2016/004565 priority patent/WO2016175622A1/en
Publication of KR20160129752A publication Critical patent/KR20160129752A/ko
Priority to US16/446,783 priority patent/US10824232B2/en
Application granted granted Critical
Publication of KR102460393B1 publication Critical patent/KR102460393B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/004—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points
    • G01B5/008—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points using coordinate measuring machines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A61B5/0476—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/047—Accessories, e.g. for positioning, for tool-setting, for measuring probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37193—Multicoordinate measuring system, machine, cmm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008—Earpieces of the supra-aural or circum-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/041—Adaptation of stereophonic signal reproduction for the hearing impaired
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Neurology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

사운드 출력 기기가 개시된다. 본 사운드 출력 기기는 전자 장치와 통신을 수행하여 제1 오디오 데이터를 수신하는 통신부, 수신된 제1 오디오 데이터를 출력하는 출력부, 사용자의 뇌파 데이터를 검출하는 센서부 및, 센서부를 통해 검출된 사용자의 뇌파 데이터를 통신부를 통해 전자 장치로 전송하고, 전자 장치로부터 제1 오디오 데이터가 변경된 제2 오디오 데이터를 수신하여 출력하도록 제어하는 프로세서를 포함한다.

Description

사운드 출력 기기, 전자 장치 및 그 제어 방법 { SOUND OUTPUTTING APPARATUS, ELECTRONIC APPARATUS, AND CONTROL METHOD THEROF }
본 발명은 사운드 출력 기기, 전자 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 오디오를 제공하는 사운드 출력 기기, 전자 장치 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급되고 있다. 특히, 가장 많이 사용되고 있는 전자 제품 중 하나인 스마트폰과 같은 전자 장치는 최근 수년 간 지속적으로 발전하고 있다.
전자 장치의 성능이 고급화되면서, 전자 장치 특히, 휴대 가능한 사용자 단말 장치는 기저장되어 있거나 외부 서버로부터 스트리밍 받아 컨텐츠를 출력하는 것이 일반화되고 있다.
하지만, 사용자마다 청취 능력이 상이하며, 다양한 장소에 따른 다양한 청취 상황에 대해 사용자가 직접 해당 청취 상황에 맞게 컨텐츠의 출력 상태를 제어해야 한다는 점에서 사용자들은 청취 상황에 최적화된 청취 서비스를 제공받을 수 없다는 문제점이 있었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 사용자의 청취 상황 및 청취 능력에 기초하여, 오디오 데이터의 출력 상태를 자동으로 제어함으로써 사용자의 청취 상황 및 청취 능력에 사용자 맞춤형 청취 서비스를 제공하는 사운드 출력 기기, 전자 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 사운드 출력 기기는 전자 장치와 통신을 수행하여 제1 오디오 데이터를 수신하는 통신부, 상기 수신된 제1 오디오 데이터를 출력하는 출력부, 사용자의 뇌파 데이터를 검출하는 센서부 및 상기 센서부를 통해 검출된 상기 사용자의 뇌파 데이터를 상기 통신부를 통해 상기 전자 장치로 전송하고, 상기 전자 장치로부터 상기 제1 오디오 데이터가 변경된 제2 오디오 데이터를 수신하여 출력하도록 제어하는 프로세서를 포함한다.
여기에서, 상기 전자 장치는 상기 사용자의 뇌파 데이터에 기초하여 결정된 청력 정보 및 상기 사용자의 청취 상황을 기초로 변경된 오디오 출력 정보에 따라 상기 제1 오디오 데이터를 상기 제2 오디오 데이터로 변경하여 상기 사운드 출력 기기로 전송할 수 있다.
또한, 상기 오디오 출력 정보는 이퀄라이저, 음량 및 권장 연속 청취시간 중 적어도 하나에 대한 정보를 포함할 수 있다.
그리고, 상기 프로세서는 상기 전자 장치로부터 테스트 신호가 수신되면, 상기 테스트 신호를 출력하고 상기 테스트 신호에 대해 반응하는 상기 뇌파 데이터를 상기 전자 장치로 전송할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치는 사운드 출력 기기와 연결되고, 제1오디오 데이터를 상기 사운드 출력 기기로 전송하는 통신부, 사용자의 상황 데이터를 검출하는 검출부 및 상기 사운드 출력 기기에서부터 수신된 상기 사용자의 뇌파 데이터 및 상기 검출된 상기 사용자의 상황 데이터에 대응하여 결정된 오디오 출력 정보를 이용하여 상기 제1오디오 데이터를 제2오디오 데이터로 변경하여 상기 사운드 출력 기기로 전송하는 프로세서를 포함한다.
여기에서, 상기 오디오 출력 정보는 이퀄라이저, 음량 및 권장 연속 청취시간 중 적어도 하나에 대한 정보를 포함할 수 있다.
또한, 상기 프로세서는 상기 사용자의 뇌파 데이터에 기초한 상기 사용자의 청력 정보 및 상기 사용자의 상황 데이터에 기초한 사용자의 청취 상황에 대응하여 결정된 오디오 출력 정보를 이용하여 상기 제1오디오 데이터를 상기 제2오디오 데이터로 변경할 수 있다.
여기에서, 상기 청취 상황은 상기 사용자의 주변 환경 상황, 상기 사용자의 신체 활동 상황 및 상기 사운드 출력 기기의 타입 중 적어도 하나를 포함할 수 있다.
또한, 상기 사용자의 청력 정보는 상기 사용자의 청력 특성 및 상기 사용자의 청력 민감도를 포함하며, 상기 사용자의 청력 특성은 상기 사용자의 가청 범위, 좌우 귀 각각에 대한 청력 수준 및 주파수별 청력 수준 중 적어도 하나를 포함하며, 상기 사용자의 청력 민감도는 주변 노이즈 민감도, 신체 활동량 민감도, 체온 민감도, 오디오 데이터 민감도 및 인지 상태 민감도 중 적어도 하나를 포함할 수 있다.
그리고, 상기 프로세서는 테스트 신호를 상기 사운드 출력 기기로 전송하고, 상기 테스트 신호에 반응하는 상기 뇌파 데이터에 기초하여 상기 사용자의 청력 정보를 획득할 수 있다.
한편, 본 발명의 일 실시 예에 따른 사운드 출력 기기의 제어 방법에 있어서, 전자 장치로부터 제1 오디오 데이터를 수신하여 출력하는 단계, 사용자의 뇌파 데이터를 상기 전자 장치로 전송하는 단계 및 상기 뇌파 데이터의 전송에 대응하여, 상기 전자 장치로부터 상기 제1 오디오 데이터가 변경된 제2 오디오 데이터를 수신하여 출력하는 단계를 포함한다.
여기에서, 상기 전자 장치는 상기 사용자의 뇌파 데이터에 기초하여 결정된 청력 정보 및 상기 사용자의 청취 상황을 기초로 변경된 오디오 출력 정보에 따라 상기 제1 오디오 데이터를 상기 제2 오디오 데이터로 변경하여 상기 사운드 출력 기기로 전송할 수 있다.
또한, 상기 오디오 출력 정보는 이퀄라이저, 음량 및 권장 연속 청취시간 중 적어도 하나에 대한 정보를 포함할 수 있다.
그리고, 상기 전송하는 단계는 상기 전자 장치로부터 테스트 신호가 수신되면, 상기 테스트 신호를 출력하고 상기 테스트 신호에 대해 반응하는 상기 뇌파 데이터를 상기 전자 장치로 전송할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은 제1오디오 데이터를 사운드 출력 기기로 전송하는 단계, 사용자의 상황 데이터를 검출하는 단계 및 상기 사운드 출력 기기에서부터 수신된 상기 사용자의 뇌파 데이터 및 상기 검출된 상기 사용자의 상황 데이터에 대응하여 결정된 오디오 출력 정보를 이용하여 상기 제1오디오 데이터를 제2오디오 데이터로 변경하여 상기 사운드 출력 기기로 전송하는 단계를 포함한다.
여기에서, 상기 오디오 출력 정보는 이퀄라이저, 음량 및 권장 연속 청취시간 중 적어도 하나에 대한 정보를 포함할 수 있다.
한편, 상기 제2오디오 데이터로 변경하여 전송하는 단계는 상기 사용자의 뇌파 데이터에 기초한 상기 사용자의 청력 정보 및 상기 사용자의 상황 데이터에 기초한 사용자의 청취 상황에 대응하여 결정된 오디오 출력 정보를 이용하여 상기 제1오디오 데이터를 상기 제2오디오 데이터로 변경할 수 있다.
여기에서, 상기 청취 상황은 상기 사용자의 주변 환경 상황, 상기 사용자의 신체 활동 상황 및 상기 사운드 출력 기기의 타입 중 적어도 하나를 포함할 수 있다.
또한, 상기 사용자의 청력 정보는 상기 사용자의 청력 특성 및 상기 사용자의 청력 민감도를 포함하며, 상기 사용자의 청력 특성은 상기 사용자의 가청 범위, 좌우 귀 각각에 대한 청력 수준 및 주파수별 청력 수준 중 적어도 하나를 포함하며, 상기 사용자의 청력 민감도는 주변 노이즈 민감도, 신체 활동량 민감도, 체온 민감도, 오디오 데이터 민감도 및 인지 상태 민감도 중 적어도 하나를 포함할 수 있다.
그리고, 본 실시 예에 따른 제어 방법은 테스트 신호를 상기 사운드 출력 기기로 전송하고, 상기 테스트 신호에 반응하는 상기 뇌파 데이터에 기초하여 상기 사용자의 청력 정보를 획득하는 단계를 더 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 시스템은 전자 장치와 통신을 수행하여 제1 오디오 데이터를 수신하여 출력하고, 사용자의 뇌파 데이터를 검출하며, 상기 검출된 상기 사용자의 뇌파 데이터를 상기 전자 장치로 전송하는 사운드 출력 기기 및 상기 사운드 출력 기기에서부터 수신된 상기 사용자의 뇌파 데이터 및 검출된 상기 사용자의 상황 데이터에 대응하여 결정된 오디오 출력 정보를 이용하여 상기 제1오디오 데이터가 변경된 제2오디오 데이터를 상기 사운드 출력 기기로 전송하는 전자 장치를 포함한다.
이상 설명한 바와 같이 본 발명의 다양한 실시 예에 따르면, 사용자는 현재 청취 상황에 최적화된 사용자 맞춤형 청취 경험을 제공받을 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 전자 시스템의 간략한 모식도,
도 2a는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 2b는 본 발명의 일 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블록도,
도 3은 본 발명의 일 실시 예에 따른 사운드 출력 기기의 구성을 나타내는 블록도,
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 전자 장치 및 사운드 출력 기기의 동작을 설명하기 위한 시퀀스도,
도 5 및 도 6은 본 발명의 일 실시 예에 따른 오디오 출력 정보 생성 방법을 설명하기 위한 도면들,
도 7 및 도 8은 본 발명의 일 실시 예에 따른 오디오 출력 정보를 결정하는 방법을 설명하기 위한 도면들,
도 9 및 도 10은 본 발명의 일 실시 예에 따른 오디오 출력 정보를 결정하는 방법을 설명하기 위한 도면들,
도 11은 본 발명의 일 실시 예에 따른 청력 정보를 측정하는 방법을 설명하기 위한 도면,
도 12는 본 발명의 일 실시 예에 따른 뇌파 데이터의 분석 방법을 설명하기 위한 도면,
도 13, 도 14a 내지 도 14d는 본 발명의 다양한 실시 예에 따라 제공되는 청각 서비스의 일 예를 설명하기 위한 도면들,
도 15는 본 발명의 일 실시 예에 따른 오디오 데이터를 관리하는 방법을 설명하기 위한 도면,
도 16a 내지 도 16c는 본 발명의 다양한 실시 예에 따른 사운드 출력 기기의 구현 형태를 설명하기 위한 도면들,
도 17 내지 도 23은 본 발명의 다양한 실시 예에 따른 전자 시스템을 설명하기 위한 도면들,
도 24는 본 발명의 일 실시 예에 따른 사운드 출력 기기의 제어 방법을 설명하기 위한 흐름도,
도 25는 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도,
도 26은 본 발명의 다양한 실시 예에 따른 사운드 출력 기기를 포함한 운송 기기의 구현 형태 및 오디오 출력 정보를 결정하는 방법을 설명하기 위한 도면들, 그리고
도 27은 본 발명의 다양한 실시 예에 따른 사운드 출력 기기를 포함한 의료 기기에서 오디오 출력 정보를 결정하는 방법을 설명하기 위한 도면들이다.
이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 전자 시스템의 간략한 모식도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 전자 시스템은 전자 장치(100) 및 사운드 출력 기기(200)를 포함한다.
전자 장치(100)는 오디오 데이터를 재생하여, 전자 장치(100)와 유선 또는 무선으로 연결된 사운드 출력 기기(200)로 전송할 수 있다.
이 경우, 전자 장치(100)는 스마트 폰(smart phone), 태블릿(tablet), 스마트 와치(smart watch), 스마트 글래스(smart glasses) 및 스마트 기어(smart gear) 등으로 구현될 수 있다.
여기에서, 오디오 데이터는 음악, 동영상, 라디오 방송, 지상파 방송, 통화 중 상대방의 음성 신호 등과 같은 다양한 형태의 음성 컨텐츠 또는 음향 컨텐츠로, 전자 장치(100)에 기 다운로드되어 있거나 외부로부터 실시간으로 수신 또는 스트리밍되어 제공될 수 있다.
특히, 전자 장치(100)는 오디오 출력 정보를 이용하여 오디오 데이터를 출력 상태를 제어할 수 있다.
여기에서, 오디오 출력 정보는 오디오 데이터를 청취하는 사용자의 청취 상황 및 청력 정보에 따라 최적의 사운드를 출력하기 위한 정보를 포함하며, 일 예로, 오디오 출력 정보는 이퀄라이저, 음량 및 권장 연속 청취 시간 등에 대한 정보를 포함할 수 있다.
예를 들어, 사용자가 헬스 장에서 운동을 하며 오디오 데이터를 청취하는 경우, 전자 장치(100)는 사용자가 운동을 하는 헬스 장의 상황, 운동을 사용자의 하는 상황 및 그의 청력 정보를 고려하여, 사용자에게 최적의 사운드를 제공할 수 있는 이퀄라이저, 음량 및 권장 연속 청취 시간으로 오디오 데이터를 출력할 수 있다.
한편, 사운드 출력 기기(200)는 전자 장치(100)와 유선 또는 무선으로 연결되어, 전자 장치(100)로부터 오디오 데이터를 수신받아 출력할 수 있다.
이 경우, 사운드 출력 기기(200)는 전자 장치(100)로부터 오디오 데이터를 수신하여 출력할 수 있는 다양한 형태의 기기로 구현될 수 있다.
예를 들어, 사운드 출력 기기(200)는 이어폰(ear phone), 헤드폰(head phone), 골전도 이어폰/헤드폰, 보청기 등과 같이 사용자 신체에 착용 가능한 웨어러블 장치로 구현되거나, 스피커, 사운드 바(sound bar), 홈 시어터 등과 같은 다양한 형태의 기기로 구현될 수 있다.
도 2a는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2a를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치(100)는 통신부(110), 검출부(120) 및 프로세서(130)를 포함한다.
통신부(110)는 사운드 출력 기기(200)와 통신을 수행한다. 구체적으로, 통신부(110)는 사운드 출력 기기(200)와 통신을 수행하여, 전자 장치(100)에서 재생되는 오디오 데이터를 사운드 출력 기기(200)로 전송할 수 있다.
이 경우, 통신부(110)는 다양한 방식으로 사운드 출력 기기(200)와 통신을 수행할 수 있다.
예를 들어, 통신부(110)는 BT(BlueTooth), WI-FI(Wireless Fidelity), Zigbee, IR(Infrared), Serial Interface, USB(Universal Serial Bus), 유선 케이블 등 다양한 유무선 통신 방식을 통해 사운드 출력 기기(200)와 통신을 수행할 수 있다.
검출부(120)는 사용자의 상황 데이터를 검출한다. 여기에서, 상황 데이터는 사운드 출력 기기(200)를 통해 오디오 데이터를 청취하는 사용자의 청취 상황을 판단하는데 이용되는 데이터를 포함한다.
한편, 사용자의 청취 상황은 주변 환경 상황, 사용자의 신체 활동 상황 및 사운드 출력 기기(200)의 타입 중 적어도 하나를 포함할 수 있다.
예를 들어, 사용자의 청취 상황은 사운드 출력 기기(200)를 통해 오디오 데이터를 청취하는 사용자가 1) 현재 실내에 존재하는지, 실외에 존재하는지, 차량 내부에 존재하는지, 주변 소음은 어느 정도인지 및 날씨는 어떠한지 등과 같은 오디오 데이터를 청취하는 청취 장소와 관련된 정보, 2) 현재 걷는 중인지, 운동 중인지, 수면 중인지, 독서 중인지, 명상 중인지, 말하는 중인지 및 (영상) 통화 중인지 등과 같은 오디오 데이터를 청취하면서 수행하는 다양한 행동과 관련된 정보, 3) 현재 어떠한 오디오 데이터를 청취 중인지 등과 같은 오디오 데이터와 관련된 정보, 4) 사운드 출력 기기(200)가 이어폰인지, 헤드폰인지, 스피커인지 등과 같은 사운드 출력 기기(200)의 타입 정보 등을 포함할 수 있다.
이를 위해, 검출부(120)는 다양한 타입의 센서를 이용하여, 사용자의 상황 데이터를 검출할 수 있다.
예를 들어, 검출부(120)는 생체 센서를 이용하여 심박수, 근육 활동 정도, 호흡량, 혈중 산소량, 체온, 칼로리 소모량, 얼굴, 목소리 및 시각 등과 같은 오디오 데이터를 청취하는 사용자의 신체 상황을 판단하기 위한 데이터를 센싱할 수 있다.
또한, 검출부(120)는 자이로 센서, 가속도 센서, GPS, 근접 센서, 조도 센서, 모션 센서, 터치 센서, 카메라 및 마이크 등을 이용하여 사용자가 오디오 데이터를 청취하는 동안의 주변 노이즈, 오디오 데이터를 청취하는 장소 및 오디오 데이터를 청취하면서 하는 행동 등을 판단하기 위한 데이터를 센싱할 수 있다.
뿐만 아니라, 검출부(120)는 전자 장치(100)의 외부로부터 상황 데이터를 획득할 수도 있다.
예를 들어, 검출부(120)는 외부 센서를 통해 센싱되거나 그에 대한 상황 데이터를 기저장하고 있는 외부 서버로부터 오디오 데이터를 청취하는 사용자가 존재하는 장소의 날씨, 노이즈 정보 등을 획득할 수도 있다.
한편, 검출부(120)는 사운드 출력 기기(200)의 타입에 대한 정보를 사운드 출력 기기(200)로부터 획득할 수 있다.
예를 들어, 통신부(110)는 사운드 출력 기기(200)가 전송한 사운드 출력 기기(200)에 대한 정보(예를 들어, 제조사, 모델명, 제조번호, ID 등)를 수신할 수 있으며, 검출부(120)는 통신부(110)를 통해 수신된 정보로부터 사운드 출력 기기(200)의 타입을 획득할 수 있다.
다만, 이는 일 예일 뿐이며, 사운드 출력 기기(200)의 타입에 대한 정보는 사용자로부터 직접 입력될 수도 있다.
또한, 검출부(120)는 전자 장치(100)에서 재생되는 오디오 데이터의 타입을 판단할 수 있다.
예를 들어, 검출부(120)는 메타 데이터에 기초하여 현재 재생되고 있는 오디오 데이터의 타입 즉, 오디오 데이터가 어떠한 장르에 속하는지를 판단할 수 있다.
프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어한다. 프로세서(130)는 마이컴(또는, 마이컴 및 CPU(central processing unit)), 전자 장치(100)의 동작을 위한 RAM(Random Access Memory) 및 ROM(Read Only Memory)을 포함할 수 있다.
프로세서(130)는 오디오 데이터를 사운드 출력 기기(200)로 전송하도록 통신부(110)를 제어할 수 있다.
구체적으로, 프로세서(130)는 전자 장치(100)에 기저장되어 있거나 외부로부터 스트리밍되는 오디오 데이터를 재생하고, 재생되는 오디오 데이터를 사운드 출력 기기(200)로 전송할 수 있다.
한편, 프로세서(130)는 사운드 출력 기기(200)로부터 수신된 사용자의 뇌파 데이터 및 검출부(120)에서 검출된 사용자의 상황 데이터에 대응하여 결정된 오디오 출력 정보를 이용하여 제1 오디오 데이터를 제2 오디오 데이터로 변경하여 사운드 출력 기기(200)로 전송할 수 있다. 여기에서, 뇌파 데이터는 뇌의 전기적 활동에 의해서 일어나는 두피상의 두 점 사이의 전위 변동을 연속적으로 기록한 것을 의미한다. 예를 들어, 주파수 대역에 따라 알파파, 베타파, 감마파 및 델타파 등 복수개의 종류 중 적어도 하나에 관한 데이터가 포함될 수 있으나 이에 한정되는 것은 아니다.
구체적으로, 프로세서(130)는 사용자의 뇌파 데이터에 기초한 사용자의 청력 정보 및 사용자의 상황 데이터에 기초한 사용자의 청취 상황에 대응하여 결정된 오디오 출력 정보를 이용하여 제1 오디오 데이터를 제2 오디오 데이터로 변경할 수 있다.
여기에서, 제1 오디오 데이터는 오디오 출력 정보에 기초하여 출력 상태가 변경되지 않은 오디오 데이터를 의미하며, 제2 오디오 데이터는 사용자의 뇌파 데이터에 기초하여 결정된 사용자의 청력 정보 및 검출부(120)에서 검출된 사용자의 상황 데이터에 기초하여 결정된 사용자의 청취 상황 중 적어도 하나에 따라 결정된 오디오 출력 정보에 기초하여 출력 상태가 변경된 오디오 데이터를 의미할 수 있다.
여기에서, 오디오 출력 정보는 이퀄라이저, 음량 및 권장 연속 청취 시간 중 적어도 하나에 대한 정보를 포함할 수 있다.
이에 따라, 프로세서(130)는 사용자의 청력 정보 및 청취 상황 중 적어도 하나에 따라 오디오 데이터에 대한 이퀄라이저, 음량 및 권장 연속 청취 시간 중 적어도 하나를 변경하여, 출력 상태가 변경된 오디오 데이터를 사운드 출력 기기(200)로 전송할 수 있다.
이를 위해, 전자 장치(100)는 청취 상황별 오디오 출력 정보를 기저장하고 있을 수 있다. 이 경우, 오디오 출력 정보는 프로세서(130)에 의해 생성되거나 외부로부터 생성되어 전자 장치(100)에 기저장될 수 있다.
이하에서는 프로세서(130)가 오디오 출력 정보를 생성하는 것을 일 예로 설명하도록 한다.
프로세서(130)는 상황 데이터에 기초하여 사용자의 청취 상황을 판단한다.
구체적으로, 프로세서(130)는 검출부(120)에서 획득한 상황 데이터에 기초하여 오디오 데이터를 청취하는 사용자의 주변 환경 상황(예를 들어, 노이즈 레벨 등), 신체 활동 상황(예를 들어 운동 중인지 여부 등) 및 사운드 출력 기기(200)의 타입을 판단할 수 있다. 즉, 프로세서(130)는 상황 데이터에 기초하여 사용자가 어떠한 주변 환경에서 어떠한 신체 활동을 하며, 어떠한 타입의 사운드 출력 기기(200)로 오디오 데이터를 청취하는지를 판단할 수 있다.
그리고, 프로세서(130)는 청취 상황별 오디오 출력 정보를 생성할 수 있다. 즉, 프로세서(130)는 청취 상황별로 사용자의 청력을 훼손하지 않으면서 최적의 사운드를 제공하기 위해 오디오 데이터에 적용되는 이퀄라이저, 음량 및 권장 연속 청취 시간 중 적어도 하나에 대한 정보를 생성할 수 있다.
구체적으로, 프로세서(130)는 기정의된 오디오 출력 정보 생성 알고리즘을 이용하여 청취 상황 별로 그에 부합하는 오디오 출력 정보를 생성할 수 있다.
오디오 출력 정보 생성 알고리즘은 사용자의 청력 민감도를 변수로 하여, 특정한 청력 특성을 갖는 사용자가 특정 청취 상황에서 오디오 데이터를 청취할 때(예를 들어, 사용자가 특정한 주변 환경 속에서 특정한 신체 활동을 수행하며 특정한 타입의 사운드 출력 기기로 오디오 데이터를 청취할 때), 오디오 데이터를 청취하는 사용자의 청력을 훼손하지 않으면서 최적의 사운드를 제공할 수 있는 오디오 출력 정보를 생성할 수 있는 알고리즘을 의미한다.
여기에서, 청력 특성은 사용자의 가청 범위, 좌우 귀 각각에 대한 청력 수준 및 주파수별 청력 수준 중 적어도 하나를 포함할 수 있다. 프로세서(130)는 청력 특성을 오디오그램(audiogram)으로부터 획득할 수 있다. 구체적으로, 오디오그램은 오디오미터(audiometer)로 측정한 사용자의 가청(可聽) 범위, 즉, 주파수별 최소 가청 레벨(hearing level)(dB)을 표현한 것으로, 사용자의 청력 특성을 도식화하여 나타낸 것으로 볼 수 있다.
이에 따라, 프로세서(130)는 오디오그램을 분석하여 사용자의 가청 범위, 좌우 귀 각각에 대한 청력 수준 및 주파수별 청력 수준 등을 판단할 수 있다.
한편, 사용자의 청력 특성은 전자 장치(100)에 기저장된 것일 수 있으나, 외부로부터 제공되어 전자 장치(100)에 저장될 수도 있다. 예를 들어, 사용자는 전자 장치(100)에서 제공되는 프로그램(예를 들어, 청력 측정 어플리케이션)을 통해 청력을 측정할 수 있으며, 프로세서(130)는 청력 측정 결과를 오디오그램 형태로 생성하여 사용자의 청력 특성을 획득할 수 있다. 또는, 사용자는 병원 등을 방문하거나 웹 상에서 자가로 자신의 청력을 측정할 수 있으며, 이와 같이 측정된 청력 결과가 오디오그램 형태로 생성되어 다양한 기기를 통해 전자 장치(100)로 전송될 수 있다.
청력 민감도는 주변 노이즈 민감도, 신체 활동량 민감도, 체온 민감도, 오디오 데이터 민감도 및 인지 상태 민감도 중 적어도 하나를 포함하며, 주변 노이즈, 신체 활동량, 체온, 오디오 데이터 및 인지 상태의 변화가 청취자의 청력에 미치는 영향을 수치화한 값이 될 수 있다. 예를 들어, 주변 노이즈의 변화보다 신체 활동량의 변화가 청취자의 청력에 상대적으로 많은 영향을 미치는 경우, 신체 활동량 민감도 값은 주변 노이즈 민감도 값보다 더 큰 값이 될 수 있다.
다만, 사용자의 청력 민감도가 판단되지 않은 경우 즉, 사용자의 고유한 청력 민감도에 대한 정보가 존재하지 않는 경우, 프로세서(130)는 사용자의 청력 특성 및 평균적인 청력을 갖는 청취자 즉, 일반 청취자의 청력 민감도에 기초하여, 청취 상황별 오디오 출력 정보를 생성할 수 있다. 이를 위해, 전자 장치(100)는 일반 청취자의 청력 민감도에 대한 정보를 기저장하고 있을 수 있다.
한편, 프로세서(130)가 기정의된 오디오 출력 정보 생성 알고리즘을 이용하여 생성한 오디오 출력 정보의 일 예는 하기의 표 1 내지 표 3과 같을 수 있다.
구체적으로, 표 1은 특정한 청력 특성을 갖는 사용자가 특정한 주변 환경에서 특정한 신체 활동을 하면서 오디오 데이터를 청취하는 경우, 그에 부합하는 오디오 출력 정보의 일 예를 나타내고, 표 2 및 표 3은 표 1과 같은 상황에서 사용자가 헤드폰 및 사운드 바를 통해 오디오 데이터를 청취하는 경우, 그에 부합하는 오디오 출력 정보의 일 예를 나타낸다. 이 경우, 청력 민감도는 사용자의 청력 민감도가 아닌 일반 청취자의 청력 민감도가 이용될 수 있다.
기본 시작 음량 A
최대/최소 음량 Min=A-30 ~ Max=A+50
Hearing threshold shift 당 음량 조절 폭 ±3/unit shift
Hearing threshold shift 량 계산식 -1 × △Noise
최대 청취 허용 시간 30 분
주파수 1(예:125Hz) 크기 (좌) CV+0 ｜(우) CV+1
주파수 2(예:250Hz) 크기 (좌) CV+3 ｜(우) CV+5
... ...
주파수 N(예:4000Hz) 크기 (좌) CV+8 ｜(우) CV+18
기본 시작 음량 B
최대/최소 음량 Min=B-20 ~ Max=B+60
Hearing threshold shift 당 음량 조절 폭 ±5/unit shift
Hearing threshold shift 량 계산식 -1 ×k × △Noise
최대 청취 허용 시간 30 분
주파수 1(예:125Hz) 크기 (좌) CV+0 ｜(우) CV+1
주파수 2(예:250Hz) 크기 (좌) CV+3 ｜(우) CV+5
... ...
주파수 N(예:4000Hz) 크기 (좌) CV+10 ｜(우) CV+20
기본 시작 음량 C
최대/최소 음량 Min=C-10 ~ Max=C+70
Hearing threshold shift 당 음량 조절 폭 ±2/unit shift
Hearing threshold shift 량 계산식 -1 ×m × △Noise
최대 청취 허용 시간 60 분
주파수 1(예:125Hz) 크기 (ch1) CV+0 …｜(chM) CV+1
주파수 2(예:250Hz) 크기 (ch1) CV+3 …｜(chM) CV+4
... ...
주파수 N(예:4000Hz) 크기 (ch1) CV+8 …｜(chM) CV+12
한편, 표 1 내지 3에 따르면, 사운드 출력 기기(200)의 타입에 대한 기본 시작 음량을 A, B 및 C로 가질 수 있으며 이를 기준으로 최대/최소 음량을 정의할 수 있다. unit shift 는 음량을 조절하는 단위, CV는 현재 음량(Current Volume)을 나타내며 사운드 출력 기기(200)의 타입에 따라 각기 다른 음량 조절 폭과 최대 청취 허용 시간을 가진다. 표 1 및 표 2에서와 같이 사운드 출력 기기가 좌우 채널 즉, 두 개의 채널을 가지는 경우 두 채널에 대한 주파수별 크기를 정의하고 표 3에서와 같이 M개의 채널을 가지는 경우 각 채널(ch1 내지 chM)에 대한 주파수별 크기를 정의할 수 있다. 또한, 표 2 및 표 3에서 k 및 m은 사운드 출력 기기의 타입에 따라 각 사운드 출력 기기의 출력/차폐 성능을 반영하는 가중치가 될 수 있다.
다만, 표 1 내지 3에 기재된 수치를 예를 든 것이며, 이에 한정되지 않음은 물론이다.
또한, 프로세서(130)는 사용자 별 오디오 출력 정보를 생성할 수 있다. 즉, 사용자의 청력 정보가 오디오 출력 정보에 영향을 미친다는 점에서, 프로세서(130)는 전자 장치(100)를 이용하는 복수의 사용자 각각에 대응되는 청취 상황 별 오디오 출력 정보를 생성할 수 있다.
예를 들어, 프로세서(130)는 하기의 표 4와 같이 사용자 별 오디오 출력 정보를 생성할 수 있다.
사용자 별 상황 별 오디오 출력 정보

제1 사용자
 제1 청취 상황(실내+독서중+헤드폰) 제1 오디오 출력 정보
제2 청취 상황(실외+운동중+이어폰) 제2 오디오 출력 정보
제3 청취 상황(실외+이동중+헤드폰) 제3 오디오 출력 정보

제2 사용자
 제1 청취 상황 제4 오디오 출력 정보
제2 청취 상황 제5 오디오 출력 정보
제3 청취 상황 제6 오디오 출력 정보
다만, 이는 설명의 편의를 위한 것이며, 프로세서(130)는 주변 환경 상황을 노이즈 레벨에 기초하여 기설정된 범위 단위로 구분할 수 있고, 신체 활동 상황도 칼로리 소비량에 기초하여 기설정된 범위 단위로 구분하고, 각 범위마다 그에 부합하는 오디오 출력 정보를 생성할 수도 있다. 예를 들어, 프로세서(130)는 노이즈 레벨을 0dB ~ 30dB, 30dB ~ 60dB 와 같이 30 dB 단위로 구분하고, 칼로리 소비량을 0 ~ 500 cal, 500 ~ 1000 cal 와 같이 500 cal 단위로 구분하고, 각 범위마다 그에 부합하는 오디오 출력 정보를 생성할 수도 있다. 다만, 이와 같은 수치는 설명의 편의를 위하여 예로 든 것이며 이에 한정되지 않음은 물론이다.
또한, 프로세서(130)는 동일한 타입의 사운드 출력 기기(200)일지라도 사운드 출력 기기(200)의 제조사, 모델 별로 오디오 출력 정보를 구분하여 생성할 수도 있다. 예를 들어, 프로세서(130)는 사운드 출력 기기가 헤드폰 타입인 경우, 헤드폰의 제조사, 모델 별로 오디오 출력 정보를 생성할 수 있다.
이와 같이, 프로세서(130)는 청취 상황 별 오디오 출력 정보를 생성할 수 있다.
한편, 프로세서(130)는 상황 데이터에 기초하여 사용자의 청취 상황을 판단하고, 판단된 사용자의 현재 청취 상황에 대응되는 오디오 출력 정보를 결정할 수 있다.
구체적으로, 프로세서(130)는 검출부(120)에서 획득한 상황 데이터에 기초하여 오디오 데이터를 청취하는 사용자의 주변 환경 상황(예를 들어, 노이즈 레벨 등), 신체 활동 상황(예를 들어 운동 중인지 여부 등) 및 사운드 출력 기기(200)의 타입을 판단할 수 있다. 즉, 프로세서(130)는 상황 데이터에 기초하여 사용자가 어떠한 주변 환경에서 어떠한 신체 활동을 하며, 어떠한 타입의 사운드 출력 기기(200)로 오디오 데이터를 청취하는지를 판단할 수 있다.
그리고, 프로세서(130)는 전자 장치(100)에 저장된 오디오 출력 정보 중 사용자의 청취 상황에 대응되는 오디오 출력 정보를 결정할 수 있다.
예를 들어, 프로세서(130)는 사용자가 실외에서 운동 중이며 이어폰으로 오디오 데이터를 청취하는 것으로 판단된 경우, 전자 장치(100)에 저장된 오디오 출력 정보 중에서 현재 사용자의 청취 상황에 부합하는 오디오 출력 정보를 결정할 수 있다.
이 경우, 프로세서(130)는 사용자의 식별 정보(예를 들어 로그인 ID, 사용자의 뇌파 데이터)에 기초하여 사용자를 판단하고, 해당 사용자에 부합하는 오디오 출력 정보를 획득할 수도 있다.
한편, 프로세서(130)는 사운드 출력 기기(200)로부터 수신된 사용자의 뇌파 데이터를 이용하여 오디오 출력 정보를 업데이트할 수 있다. 그리고, 프로세서(130)는 업데이트된 오디오 출력 정보를 전자 장치(100)에 저장할 수 있다.
이를 위해, 프로세서(130)는 테스트 신호를 사운드 출력 기기(200)로 전송하도록 통신부(110)를 제어할 수 있다.
이에 따라, 프로세서(130)는 테스트 신호에 대해 반응하는 사용자의 뇌파 데이터가 수신되면, 뇌파 데이터에 기초하여 사용자의 청력 정보를 판단하고 청력 정보에 따라 오디오 출력 정보를 업데이트할 수 있다.
이 경우, 프로세서(130)는 사운드 출력 기기(200)로부터 수신된 뇌파 데이터에 대해 증폭, 필터링(예를 들어, 밴드 패스 필터링), 리-레퍼런싱(re-referencing), 노이즈 캔슬링(noise cancelling) 등의 일련의 신호 처리를 수행하고 신호 처리가 수행된 신호로부터 뇌파 데이터를 획득할 수도 있다. 다만, 사운드 출력 기기(200)에서 해당 처리 기능이 탑재된 경우, 해당 신호 처리가 수행된 뇌파 데이터를 사운드 출력 기기(200)로부터 수신하는 것도 가능하다.
한편, 청력 정보는 청력 특성 및 청력 민감도를 포함한다는 점에서, 이하에서는 뇌파 데이터를 이용하여 청력 특성 및 청력 민감도를 판단하는 방법의 일 예에 대해 설명하도록 한다.
프로세서(130)는 테스트 신호에 대해 반응하는 사용자의 뇌파 데이터에 기초하여 사용자의 청력 특성을 판단할 수 있다. 이 경우, 프로세서(130)는 다양한 청취 상황에서 수신된 사용자의 뇌파 데이터를 이용하여, 청취 상황 별로 사용자의 청력 특성을 판단할 수 있다.
예를 들어, 테스트 신호는 특정 주파수마다 세기가 점차 낮아지는 신호일 수 있으며, 사용자는 특정 주파수마다 자신이 인지 가능한 세기를 갖는 신호에 반응하는 뇌파를 생성하게 된다. 이에 따라, 프로세서(130)는 테스트 신호에 반응하는 뇌파 데이터에 기초하여 주파수 별 사용자가 인지 가능한 소리의 최소 세기 즉, 최소 가청 레벨을 판단할 수 있게 된다.
또한, 프로세서(130)는 재생되는 오디오 데이터에 테스트 신호로서 특정 주파수 성분 신호를 포함시켜 사운드 출력 기기(200)로 전송하고, 재생되는 오디오 데이터의 주요 주파수 성분에 대해 반응하는 사용자의 뇌파 데이터에 기초하여 주요 주파수 성분에 대한 최소 가청 레벨을 판단할 수도 있다.
또한, 프로세서(130)는 100, 500, 1000, 4000, 8000, 12000Hz 등의 주파수를 갖거나 이들의 조합으로 구성된 테스트 신호를 제공하고, 그에 대해 반응하는 뇌파 데이터를 이용하여 난청 수준을 측정할 수 있다(Korczak et al., 2012 Journal of the American Academy of Audiology, "Auditory Steady-State Responses").
이 경우, 테스트 신호는 퓨어 톤(pure tone) 또는 클릭 사운드(click sound)이거나 사람의 목소리, 이들이 조합된 음악 형태의 신호가 될 수 있다. 프로세서(130)는 테스트 신호 제공에 따른 AEP(Auditory Evoked Potential) 중 자극이 제공된 직후 유발되는 ABR(Auditory Brainstem Response)을 증폭 또는 타임-프리퀀시 변환한 후, 변조 주파수와 같은 주파수의 반응(ASSR, auditory steady-state response) 파워의 크기를 통해 사용자가 기 저장되어 있는 동일 연령대의 일반 사용자 표준 반응 대비 난청이 있는지, 또는 각 주파수에 대한 난청이 있는지 판단할 수 있다.
한편, 프로세서(130)는 테스트 신호에 대해 반응하는 사용자의 뇌파 데이터에 기초하여 청취 상황에 따른 사용자의 청력 민감도를 판단할 수 있다. 이 경우, 프로세서(130)는 다양한 청취 상황에서 수신된 사용자의 뇌파 데이터를 이용하여, 청취 상황 별로 사용자의 청력 민감도를 판단할 수 있다.
여기에서, 청력 민감도는 주변 노이즈 민감도, 신체 활동량 민감도, 체온 민감도, 오디오 데이터 민감도 및 인지 상태 민감도 중 적어도 하나를 포함하며, 주변 노이즈, 신체 활동량, 체온, 오디오 데이터 및 인지 상태의 변화가 청취자의 청력에 미치는 영향을 수치화한 값이 될 수 있다.
예를 들어, 프로세서(130)는 하기와 같은 수학식 1에 기초하여 사용자의 청력 민감도를 산출할 수 있다. 수학식 1은 설명의 편의를 위하여 주변 노이즈 민감도, 신체 활동량 민감도, 체온 민감도 및 오디오 데이터 민감도를 고려하는 경우를 상정하였다.
Figure pat00001
여기서, a는 주변 노이즈 민감도, b는 신체 활동량 민감도, c는 체온 민감도, d는 오디오 데이터 민감도가 될 수 있다. .
구체적으로, 프로세서(130)는 테스트 신호로 기초로 특정 시간 tN 및 t1에서 사용자의 최소 가청 레벨 iN 및 i1(dB)를 판단하고, 최소 가청 레벨 iN 및 i1(dB)에 기초하여 특정 시간 tN 및 t1 사이에서 최소 가청 레벨의 변화량 Δhearing level(iN-i1)/(tN-t1)을 산출할 수 있다.
그리고, 프로세서(130)는 상황 데이터에 기초하여 특정 시간 tN 및 t1에서 주변 노이즈, 활동량, 체온 및 오디오 데이터 타입을 판단하고, 이에 기초하여 해당 시간 사이에서 주변 노이즈의 변화량 ΔNoise, 활동량의 변화량 ΔActivity, 체온의 변화량 ΔBodyTemp, 오디오 데이터의 변화량 ΔContents를 산출할 수 있다.
이 경우, 프로세서(130)는 주변 노이즈, 활동량, 체온 및 오디오 데이터의 타입 각각을 수치화하여, 특정 시간 사이에서 이들 각각의 변화량을 수치적으로 산출할 수 있다.
예를 들어, 주변 노이즈, 활동량 및 체온을 기설정된 범위 단위로 구분하고, 각 범위마다 특정 값을 맵핑할 수 있고, 오디오 데이터는 장르 별로 특정 값을 맵핑할 수 있다.
구체적인 예로, 주변 노이즈를 0dB ~ 20dB, 20dB ~ 40dB, 40dB ~ 60dB 등과 같이 20 dB 단위로 구분하고 0dB ~ 30dB에는‘0’을 맵핑하고 20dB ~ 40dB에는‘1’을 맵핑하고 40dB ~ 60dB에는‘2’를 맵핑할 수 있다.
또한, 활동량 즉, 칼로리 소모량을 0cal ~ 100cal, 100cal ~ 200cal, 200cal ~ 300cal 등과 같이 100cal 단위로 구분하고, 0cal ~ 100cal에는‘0’을 맵핑하고 100cal ~ 200cal에는‘1’을 맵핑하고 200cal ~ 300cal에는‘2’를 맵핑할 수 있다.
또한, 체온을 36.0℃ ~ 36.2℃, 36.2℃ ~ 36.4℃, 36.4℃ ~ 36.6℃, 36.6℃ ~ 36.8℃ 등과 같이 0.2℃ 단위로 구분하고, 36.0℃ ~ 36.2℃에는‘0’을 맵핑하고 36.2℃ ~ 36.4℃에는‘1’을 맵핑하고 36.4℃ ~ 36.6℃에는‘2’를 맵핑하고 36.6℃ ~ 36.8℃에는‘3’을 맵핑할 수 있다.
또한, 오디오 데이터는 클래식, 발라드, 댄스, 락 등과 같이 장르 별로 구분하고, 클래식에는‘0’을 맵핑하고 발라드에는‘1’을 맵핑하고, 댄스에는‘2’를 맵핑하고, 락에는‘3’을 맵핑할 수 있다.
다만, 이와 같은 수치는 설명의 편의를 위하여 예로 든 것이며 이에 한정되지 않음은 물론이다.
이에 따라, 프로세서(130)는 최소 가청 레벨의 변화량, 주변 노이즈의 변화량, 활동량의 변화량, 체온의 변화량 및 오디오 데이터의 변화량에 기초하여, 주변 노이즈 민감도 a, 신체 활동량 민감도 b, 체온 민감도 c, 오디오 데이터 민감도 d를 산출할 수 있다.
또한, 프로세서(130)는 테스트 신호에 대해 반응하는 사용자의 뇌파 데이터에 기초하여 사용자의 인지 상태 민감도를 산출할 수 있다.
사용자의 인지 상태는 청각 신호에 의해 직간접적으로 영향을 받아 나타날 수 있는 사용자의 다양한 상태로서 사용자의 듣기 노력(listening effort), 이해도(intelligibility), 피로도, 집중도, 선호도, 기억 상태 및 감정 상태 중 적어도 하나를 포함할 수 있다.
듣기 노력은 사용자가 해당 소리를 듣기 위해 들이고 있는 노력을 의미하는 것으로, 프로세서(130)는 사용자에게 음성 신호가 주어졌을 때 측정한 뇌파 데이터를 주파수 도메인으로 변환 후 angular entropy 값을 추출해 이 값의 크기로부터 듣기 노력을 측정할 수 있다(Bernarding et al., 2013 IEEE EMBS Conference on Neural Engineering, "Extraction of Listening Effort Correlates in the Oscillatory EEG Activity: Investigation of Different Hearning Aid Configurations"). 또는, 프로세서(130)는 time-domain의 ERP의 일종인 auditory late responses(Strauss et al., 2010 Cognitive Neurodynamics, "Electrophysiological correlates of listening effort: neurodynamical modeling and measurement") 등을 통해 사용자가 음성 신호를 듣기 위해 들이고 있는 듣기 노력을 측정할 수도 있다.
이해도는 사용자가 해당 소리를 이해하는 정도를 의미하는 것으로, 프로세서(130)는 사용자에게 단음, 단어, 음절, 문장 단위의 음성 신호가 주어졌을 때 측정한 뇌파 데이터를 주파수 도메인으로 변환 후 α(8-12Hz) 파의 억제가 나타나는 정도를 측정하여 제시된 단음, 단어, 음절, 문장에 대한 이해도를 검출할 수 있다(Obleser and Weisz, 2011 Cerebral Cortex, "Suppressed Alpha Oscillations Predict Intelligibility of Speech and its Acoustic Details").
피로도는 청취 중의 사용자가 현재 지속적인 청취가 가능할 지에 영향을 미치는 신체적 변화를 의미하는 것으로 피곤함과 인지 부하(cognitive workload)를 포함할 수 있다. 프로세서(130)는 사용자의 뇌파 데이터를 주파수 도메인으로 변환하여 δ(0-4Hz), θ(4-8Hz), α(8-12Hz), β(12-30Hz) 파의 파워 변화 또는, dominant frequency 및 dominant peak의 평균 파워, center of gravity frequency, frequency varaibility로부터 파악할 수 있다(Shen et al., 2008 Clinical Neurophysiology "EEG-based mental fatigue measurement using multi-class support vector machines with confidence estimate"). 또한, 프로세서(130)는 피로도의 정도를 최소 2개 이상의 단계로 구분하여 표현하거나, 보다 세분화되고 정량적인 표현을 위해 linear, polynomial, log 및 exponential 등의 approximation을 함으로써, 피로도를 연속적인 수치(예를 들어, 0부터 100 사이의 값)로 표현할 수도 있다.
집중도는 사용자가 현재 청취에 집중하고 있는지 다른 감각 정보에 더 몰입하고 있는지 여부를 의미하는 것으로, 프로세서(130)는 사용자에게 제시된 특정 주파수 또는 이들의 조합 신호에 대한 ASSR의 크기로부터 사용자가 청각 신호에 집중력을 어느 정도 나타내는지 판단할 수 있다.
기억 상태는 사용자가 청취 중인 오디오 및 음성 신호에 대해 사용자가 기존에 이미 청취하여 사용자가 기억하고 있는지를 의미하는 것으로, 프로세서(130)는 사용자에게 오디오 및 음성 신호를 제공한 직후에 나타나는 γ(30-50Hz) 밴드 파워 증가 여부를 통해 오디오 및 음성 신호에 대한 사용자의 청각 기억 여부를 판별할 수 있다(Lenz et al., 2007 International Journal of Psychophysiology, "What's that sound").
감정 상태는 사용자가 청취 중인 오디오 및 음성 신호에 대한 사용자의 선호도를 의미하는 것으로, 프로세서(130)는 주파수 도메인으로 변환된 뇌파의 γ(30-50Hz) 밴드 등을 포함한 파워 증감으로부터 사용자의 선호도를 구분할 수 있다(Pan et al., 2013 IEEE EMBS Conference on Neural Engineering, "Common Frequency Pattern for Music Preference Identification using Frontal EEG").
이에 따라, 프로세서(130)는 뇌파 데이터를 통해 사용자의 듣기 노력, 이해도, 피로도, 집중도, 선호도, 기억 상태 및 감정 상태 등을 판단하여 이를 수치화하고, 수학식 1에 인지 상태 민감도를 변수로 추가하여 인지 상태 민감도를 산출할 수 있다.
이와 같이, 프로세서(130)는 다양한 형태의 테스트 신호를 사운드 출력 기기(200)로 전송하고, 테스트 신호에 반응하는 사용자의 뇌파 데이터에 기초하여 청력 특성 및 청력 민감도를 판단할 수 있다.
한편, 프로세서(130)는 사용자의 뇌파 데이터를 획득하기 위해 다양한 시점 및 빈도수로 테스트 신호를 사운드 출력 기기(200)로 제공할 수 있다.
예를 들어, 프로세서(130)는 오디오 데이터의 재생과 동시에 테스트 신호를 사운드 출력 기기(200)로 전송하거나, 오디오 데이터를 재생한 후 기설정된 시간이 경과된 후, 기설정된 시간 간격마다, 전자 장치(100)를 기설정된 시간 이상 연속으로 사용한 경우 또는 오디오 데이터의 재생이 이루어지지 않는 시점(예를 들어, 하나의 오디오 데이터의 재생이 완료된 후 다음 오디오 데이터의 재생이 이루어지기 전 구간, 1절의 재생이 완료된 후 2절이 재생되기 전 구간 등) 등에서 테스트 신호를 제공할 수 있다. 또한, 프로세서(130)는 재생 중인 오디오 데이터의 전/후에 약 10초 내외로 여러 주파수의 소리를 동시에 들려주거나 특정 주파수의 소리를 순차적으로 들려주는 형태로 테스트 신호를 제공할 수도 있다.
다만, 이에 한정되는 것은 아니며, 프로세서(130)는 테스트 신호를 전송하는 시점 및 빈도수를 자동으로 결정하거나, 사용자에 의해 선택된 시점 및 빈도수로 테스트 신호를 제공할 수도 있다.
또한, 프로세서(130)는 주기적인 측정 이외에도 기존과 유사한 청취 환경 하에서 임의의 신호(예를 들어, 음악, 음성 등)에 대한 뇌파 데이터의 반응 또는 이에 기초하여 측정된 청력 특성이 일정 수준 이상 변했을 경우, 사용자에게 청력 재측정 필요성을 경고하고, 청력 재측정을 위한 테스트 신호를 제공할 수도 있다.
이 경우, 프로세서(130)는 디폴트 신호 및 사용자에 의해 선택된 신호 등을 테스트 신호로 제공할 수 있으나, 청취 상황에 따라 기설정된 타입의 테스트 신호를 적절히 변경하거나, 테스트 신호의 타입 또는 크기 등을 변경하여 제공할 수도 있다.
한편, 상술한 예에서 뇌파 데이터를 이용하여 사용자의 청력 정보를 판단하는 것으로 설명하였으나, 이는 일 예에 불과하다.
예를 들어, 사운드 출력 기기(200)를 통해 사용자의 뇌파를 측정할 수 없는 경우, 프로세서(130)는 테스트 신호에 반응하여 사용자가 수동으로 입력하는 조작(가령, 전자 장치(100)에 구비된 버튼을 누르거나 터치 스크린을 터치하는 조작 등)에 기초하여 사용자의 청력 정보를 판단할 수도 있다. 즉, 사용자는 테스트 신호가 들리는 경우마다 수동으로 입력하여 테스트 신호에 대한 반응을 전자 장치(100)로 제공할 수 있으며, 프로세서(130)는 이에 기초하여 사용자의 청력 정보를 판단할 수도 있다.
이와 같이, 프로세서(130)는 테스트 신호에 반응하는 사용자의 뇌파 데이터에 기초하여 청력 특성 및 청력 민감도가 판단된 경우, 청력 특성 및 청력 민감도에 대응되도록 오디오 출력 정보를 업데이트할 수 있다.
즉, 청취 상황의 변화 등에 따라 사용자의 청력 특성 및 청력 민감도가 결정될 수 있다는 점에서, 프로세서(130)는 뇌파 데이터에 기초하여 현재 사용자의 청력 특성 및 청력 민감도에 부합하도록 오디오 출력 정보를 업데이트할 수 있다. 특히, 뇌파 데이터에 기초하여 산출된 청력 민감도의 경우, 일반 청취자가 아닌 오디오 데이터를 청취하는 사용자의 청력 민감도에 해당한다는 점에서, 뇌파 데이터에 기초하여 업데이트된 오디오 출력 정보는 오디오 데이터를 청취하는 사용자에게 더욱 부합하는 정보를 포함할 수 있다.
구체적으로, 프로세서(130)는 뇌파 데이터에 기초하여 판단된 청력 특성 및 청력 민감도를 오디오 출력 정보 생성 알고리즘에 반영하여 판단된 청력 특성 및 청력 민감도에 부합하는 오디오 출력 정보를 생성하거나, 기존의 오디오 출력 정보를 업데이트하여 청력 특성 및 청력 민감도에 부합하는 오디오 출력 정보를 생성할 수 있다. 이 경우, 프로세서(130)는 사용자의 청취 상황을 고려하여, 오디오 출력 정보를 업데이트할 수 있다.
예를 들어, 프로세서(130)는 사용자가 잘 듣지 못하는 주파수 영역이 잘 들릴 수 있도록 이퀄라이저를 조정하여 오디오 출력 정보를 변경할 수 있다.
또한, 프로세서(130)는 통화 중 음성 신호 또는 오디오 데이터 자체에 포함된 음성 신호의 명료도 개선을 위한 처리를 수행하거나, 증가될 수 있는 노이즈 크기에 의한 명료도 감소 및 듣기 노력 증가가 나타나지 않을 수준으로 음성 신호가 조정되도록 오디오 출력 정보를 변경할 수 있다.
또한, 프로세서(130)는 사용자가 오디오 데이터를 청취하는 도중 피곤함을 느끼거나 잠에 든 것으로 판단된 경우, 오디오 데이터에 대한 인식 정도를 높이거나 낮추기 위해 사용자의 설정에 따라 음량 및 전원을 조절하도록 오디오 출력 정보를 변경할 수 있다.
구체적으로, 프로세서(130)는 오디오 데이터 청취 중 사용자가 수면에 빠진 경우 사운드 출력 기기(200)의 음량을 자동으로 최소로 변환하거나 오디오 데이터가 더 이상 출력되지 않도록 재생을 정지시키도록 오디오 출력 정보를 변경할 수 있다. 이 경우, 프로세서(130)는 사운드 출력 기기(200)에 별도의 전원이 구비되는 경우 전원을 OFF 시키는 제어 신호를 사운드 출력 기기(200)로 전송할 수도 있다.
또한, 프로세서(130)는 사용자가 청취와 다른 작업(예를 들어, 운동 등)을 병행하고 있는 것으로 판단되거나, 다른 작업을 병행하지 않더라도 오디오 데이터에 대한 집중도가 절대적으로 하락하거나 타 감각 기관(예를 들어, 시각)에 비해 상대적으로 집중도가 낮아진 것으로 판단된 경우, 오디오 데이터에 대한 음량을 줄이도록 오디오 출력 정보를 변경할 수 있다. 반대로, 프로세서(130)는 사용자가 오디오 데이터에 대해 일정 수준 이상의 집중도를 일정 시간 이상 유지하는 것으로 판단된 경우, 주변 소음과 사용자의 청력 특성을 기반으로 적절한 음량으로 증가되도록 오디오 출력 정보를 변경할 수 있다
또한, 프로세서(130)는 사용자가 통화 중 또는 대화 중인 것으로 판단된 경우 측정된 뇌파 데이터로부터 상대방의 목소리에 대한 이해도가 최대화되고 듣기 노력이 최소화되도록 명료도를 개선시키는 방향으로 오디오 출력 정보를 변경할 수 있다.
또한, 프로세서(130)는 특정 주파수에 대한 사용자의 이해도가 낮은 것으로 판단되는 경우, 해당 주파수를 제외한 나머지 주파수에 대해 강화된 노이즈 캔슬링을 수행하거나 음량 및 선명도 등을 차등하게 적용하고, 특정 주파수의 소리를 강화하는 형태로 오디오 출력 정보를 변경할 수 있다.
또한, 프로세서(130)는 사용자의 듣기 노력이 특정 수준 이상이라고 판단되는 경우, 음량과 관련된 파라미터를 변경하면서 뇌파 데이터에 기초하여 판단된 듣기 노력을 체크하여 듣기 노력이 최소화되는 음량/음색이 적용될 수 있도록 오디오 출력 정보를 변경할 수 있다.
또한, 프로세서(130)는 오디오 데이터에 포함된 특정 악기 연주의 출력 상태를 변경하도록 오디오 출력 정보를 변경할 수 있다.
구체적으로, 프로세서(130)는 클래식을 포함한 복수 개의 악기(예를 들어, 피아노, 드럼, 바이올린 등)로 구성된 오디오 데이터가 제공되는 경우, 각 악기의 deviant 연주 파트 부위에서 나타나는 ERP 및 ASSR 중 적어도 하나에 대한 사용자 반응을 파악하여 사용자가 어떤 종류의 악기 연주에 가장 관심을 가지고 듣고 있는지 판단할 수 있다. 이 경우, 프로세서(130)는 사용자가 관심을 갖는 악기 연주가 더욱 잘 들릴 수 있도록 이퀄라이저를 조정하여 오디오 출력 정보를 변경할 수 있다.
구체적으로 예를 들면, 표 2에 기재된 사용자의 헤드폰 용 오디오 출력 정보에 수학식 1을 통해 산출된 사용자의 청력 민감도가 반영되면, 표 2의 오디오 출력 정보는 표 5와 같이 변경될 수 있다.
기본 시작 음량 B
최대/최소 음량 Min=B-20 ~ Max=B+60
Hearing threshold shift 당 음량 조절 폭 ±5/unit shift
Hearing threshold shift 량 계산식 -(X1×k×ΔNoise+X2×ΔActivity+X3×ΔBodyTemp+X4×k×ΔContents)
최대 청취 허용 시간 30 분
주파수 1(예:125Hz) 크기 (좌) CV+0 ｜(우) CV+1
주파수 2(예:250Hz) 크기 (좌) CV+3 ｜(우) CV+5
... ...
주파수 N(예:4000Hz) 크기 (좌) CV+10 ｜(우) CV+20
또한, 표 3에 기재된 사용자의 사운드 바 용 오디오 출력 정보에 수학식 1을 통해 산출된 사용자의 청력 민감도가 반영되면, 표 3의 오디오 출력 정보는 표 6과 같이 변경될 수 있다.
기본 시작 음량 C'
최대/최소 음량 Min=C'-5~ Max=C'+70
Hearing threshold shift 당 음량 조절 폭 ±3/unit shift
Hearing threshold shift 량 계산식 -(X1×m×ΔNoise+X2×ΔActivity+X3×ΔBodyTemp+X4×m×ΔContents)
최대 청취 허용 시간 52 분
주파수 1(예:125Hz) 크기 (ch1) CV+0 …｜(chM) CV+1
주파수 2(예:250Hz) 크기 (ch1) CV+3 …｜(chM) CV+5
... ...
주파수 N(예:4000Hz) 크기 (ch1) CV+9 …｜(chM) CV+9
한편, 프로세서(130)는 상황 데이터에 기초하여 사용자의 청취 상황을 판단하고, 사용자의 뇌파 데이터 및 청취 상황에 대응되는 오디오 출력 정보를 결정할 수 있다.
구체적으로, 프로세서(130)는 사용자의 뇌파 데이터가 수신되면 뇌파 데이터에 기초하여 사용자의 청력 정보 및 청력 민감도를 판단하고, 이에 기초하여 전자 장치(100)에 저장되어 있는 청취 상황 별 오디오 출력 정보를 업데이트하고, 업데이트된 오디오 출력 정보 중에서 사용자의 청취 상황에 부합하는 오디오 출력 정보를 결정할 수 있다.
한편, 상술한 예에서 프로세서(130)는 오디오 출력 정보를 업데이트하고, 업데이트된 오디오 출력 정보 중에서 사용자의 청취 상황에 부합하는 오디오 출력 정보를 결정하는 것으로 설명하였으나, 이는 일 예에 불과하다. 즉, 사용자의 뇌파 데이터에 따라 업데이트된 오디오 출력 정보가 이미 기저장되어 있는 상태인 경우, 프로세서(130)는 기저장되어 있는 업데이트된 오디오 출력 정보 중에서 사용자의 청취 상황에 부합하는 오디오 출력 정보를 결정할 수 있다.
이와 같이, 프로세서(130)는 사용자가 기존과 동일한 청력 정보 및 청력 민감도를 유지하는 경우 이전에 업데이트한 오디오 출력 정보를 이용할 수 있다.
한편, 프로세서(130)는 사용자의 청취 상황에 기초하여 결정된 오디오 출력 정보 또는 사용자의 뇌파 데이터 및 청취 상황에 기초하여 결정된 오디오 출력 정보를 이용하여 오디오 데이터의 출력 상태를 제어할 수 있다.
여기에서, 오디오 출력 정보는 이퀄라이저, 음량 및 권장 연속 청취 시간 중 적어도 하나에 대한 정보를 포함한다는 점에서, 프로세서(130)는 결정된 오디오 출력 정보에 따라 오디오 데이터에 적용되는 이퀄라이저, 음량 및 권장 연속 청취 시간 등을 변경하여 오디오 데이터의 출력 상태를 변경하고, 이를 사운드 출력 기기(200)로 전송할 수 있다.
예를 들어, 프로세서(130)는 오디오 출력 정보에 따라 출력 상태가 변경된 오디오 데이터를 사운드 출력 기기(200)로 전송하거나, 출력 상태가 변경되지 않은 오디오 데이터를 사운드 출력 기기(200)로 전송하다가 오디오 출력 정보에 따라 출력 상태가 변경된 오디오 데이터를 사운드 출력 기기(200)로 전송할 수 있다.
한편, 프로세서(130)는 다양한 방식을 이용하여 오디오 데이터에 대한 출력 상태를 제어할 수 있다.
예를 들어, 프로세서(130)는 오디오 데이터를 음향 신호와 음성 신호로 구분하여 오디오 데이터에 대한 출력 상태를 제어할 수 있다.
또한, 프로세서(130)는 결정된 오디오 출력 정보에 따라 리미터(limiter), 컴프레서(compressor), 익스펜더(expander) 및 노이즈 게이트(noise gate) 등을 조절하여 오디오 데이터의 음량을 변경할 수 있다.
또한, 프로세서(130)는 결정된 오디오 출력 정보에 따라 필터(filter), EQ(equalizer) 및 디에서(deesser) 등을 조절해 사용자가 원음에 최대한 가까운 소리를 들을 수 있도록 오디오 데이터를 변환할 수 있다.
또한, 프로세서(130)는 사용자의 선호도 및 청취 환경에 기초하여 사용자가 현재 청취 중인 오디오 데이터를 다른 오디오 데이터로 대체하여 재생하거나, 해당 오디오 데이터를 향후에 배제하거나, 해당 오디오 데이터를 반복 재생하거나 또는 향후 자주 접할 수 있도록 리스트를 재편할 수도 있다.
한편, 프로세서(130)는 오디오 데이터의 출력 상태를 자동으로 변경하거나, 사용자 명령에 따라 오디오 데이터의 출력 상태를 변경할 수 있다.
이 경우, 사용자 명령은 제스쳐, 터치, 음성, 버튼 입력, 메뉴 선택 등의 직접적인 입력 또는 EEG(Electroencephalogram), EOG(Electrooculogram)와 같은 간접적인 다양한 형태로 입력될 수 있다.
예를 들어, 사용자가 누구의 방해도 받지 않고 독서 등을 수행하고자 할 때에는 눈을 평상시보다 길게 서너 번 깜빡이거나 귀 근처에서 손을 흔드는 모션을 입력되면, 프로세서(130)는 결정된 오디오 출력 정보에 기초하여 오디오 데이터의 출력 상태를 변경하거나, 변경하지 않을 수 있다.
한편, 프로세서(130)는 오디오 데이터의 청취와 관련된 다양한 서비스를 사용자에게 제공하도록 전자 장치(100)를 제어할 수 있다.
구체적으로, 프로세서(130)는 뇌파 데이터에 기초하여 사용자의 난청 위험이 감지된 경우, 휴식을 권고하는 알림을 음성 또는 시각적 정보를 통해 사용자에게 제공하거나, 청력 향상을 위한 테라피 서비스(예를 들어, Constraint-induced sound therapy)를 제공할 수 있다.
한편, 복수의 사용자가 전자 장치(100)를 이용하여 오디오 데이터를 청취하는 경우, 각 사용자에게 맞는 최적의 사운드를 제공하기 위해 현재 전자 장치(100)를 사용하는 사용자를 파악할 필요가 있다.
이 경우, 프로세서(130)는 뇌파 데이터를 기저장된 뇌파 데이터와 비교하여, 일치되는 정도에 기초하여 현재 사용자가 누구인지 파악하고 그에 따른 서비스를 제공할 수 있다.
구체적으로, 프로세서(130)는 사용자의 뇌파 데이터에서 주기적/반복적으로 나타내는 고유한 특성에 기초하여 뇌파 데이터가 기존에 저장된 것인지 또는 처음 측정되는 것인지를 판단하고, 판단 결과에 대응되는 서비스를 제공할 수 있다.
예를 들어, 프로세서(130)는 사용자의 뇌파 데이터가 처음 측정되는 것인 경우, 해당 사용자의 프로파일을 신규로 생성하여 저장할 수 있다. 또한, 프로세서(130)는 사용자의 뇌파 데이터가 기존에 저장된 것과 일치하는 경우, 환영 시그널 또는 환영 멘트 등을 제공할 수 있다.
한편, 고유한 특성은 음악을 청취하는 상황 또는 그 밖의 상황(예를 들어, 휴식 중)에서 측정된 특정 사용자의 뇌파 데이터로부터 주기적/반복적으로 나타나는 특징을 의미한다. 이러한 특징은 주파수 도메인으로 변환된 뇌파의 power spectral density(Lee et al., 2013 IEEE EMBS Conference on Neural Engineering, "A Study on the Reproducibility of Biometric Authentication based on Electroencephalogram(EEG)") 또는 이의 autoregression model로 나타날 수 있다(Rocca et al., 2012 IEEE International Conference of the Biometrics Special Interest Group, "EEG Biometrics for Individual Recognition in Resting State with Closed Eyes").
다만, 사용자 인식은 상술한 방식 외에 다양한 방식을 통해 이루어질 수 있다. 예를 들어, 프로세서(130)는 ID/PASSWORD, 지문 인식 또는 얼굴 인식 등 다양한 방식을 통해 사용자를 인식할 수 있다.
한편, 프로세서(130)는 사용자의 뇌파 데이터에 기초하여 오디오 데이터를 자동으로 관리할 수도 있다.
구체적으로, 프로세서(130)는 뇌파 데이터에 기초하여 오디오 데이터에 대한 사용자의 선호도를 분석하여 재생 리스트 및 선호 리스트 등을 관리하거나, 오디오 데이터와 관련된 다양한 정보를 사용자에게 추천 및 제공할 수 있다.
예를 들어, 프로세서(130)는 오디오 데이터를 청취 중인 사용자의 뇌파 데이터로부터 해당 오디오 데이터에 대한 선호도, 기억 유지 여부, 오디오 데이터를 청취하던 시점의 청취 환경 등을 판단하고, 이에 기초하여 오디오 데이터의 재생 빈도 및 순서 등을 조정할 수 있다.
예를 들어, 특정 오디오 데이터에 포지티브(positive)한 선호도가 감지되면, 프로세서(130)는 오디오 데이터에 선호 리스트에 포함시켜 별도로 관리하거나, 오디오 데이터와 장르, 패턴, 가수 및 작곡자 등이 유사한 타 오디오 데이터를 실시간으로 추천해 줄 수 있다. 또한, 프로세서(130)는 오디오 데이터를 청취 중인 사용자의 뇌파 데이터에 기초하여 사용자가 오디오 데이터를 청취한 바 있어 이를 기억하고 있는지 또는 처음 청취하는 것인지를 판단하여, 사용자가 해당 오디오 데이터를 처음 청취하는 경우 오디오 데이터의 재생 중 또는 재생 직후 해당 오디오 데이터에 대한 정보(예: 타이틀, 연주자명 등)를 음성 또는 시각적 정보를 통해 사용자에게 제공할 수 있다.
한편, 프로세서(130)는 사용자의 뇌파 데이터를 측정한 후, 평균 α 밴드 파워 변화로 추론된 event-related desynchronization(ERD), event-related synchronization(ERS)에 기초하여, 사용자의 움직이고자 하는 의지(desire-to-move)를 판단할 수 있다(Daly et al., 2014 IEEE EMBC "Changes in music tempo entrain movement related brain activity").
구체적으로, 프로세서(130)는 현재 재생 중인 오디오 데이터에서 얻어진 템포 정보와 사용자의 ERD/ERS 크기를 비교해 사용자가 손, 발 등의 특정 신체 부위를 움직이거나 움직이고자 하는 정도와 오디오 데이터의 템포 산의 관계를 파악한다. 이 경우, 프로세서(130)는 사용자가 신체를 움직이거나 움직이고자 하는 정도와 음악의 템포, 리듬 간 관계가 존재할 경우, 관계의 유무 또는 정도에 따라 사용자에게 시각, 청각, 또는 촉각적 신호를 제공할 수 있다.
예를 들어, 프로세서(130)는 전자 장치(100)의 디스플레이 상에서 사용자의 움직임을 아바타, 캐릭터 등의 댄싱으로 가상 시각화하거나, 사용자의 움직임 주기에 따라 특정한 소리를 현재 재생 중인 오디오 데이터 상에 오버레이하여 출력할 수 있다. 또한, 프로세서(130)는 사용자가 마치 하나 이상의 특정한 악기를 가지고 직접 연주에 참여한 것과 같은 사운드 또는 박수를 치거나 "야호" 등의 추임새를 넣을 수 있다. 또한, 프로세서(130)는 사용자가 움직일 때마다 전자 장치(100)에 진동을 줌으로써 사용자가 스스로 음악을 얼마나 즐기고 있는지 알 수 있도록 피드백해 줄 수 있다.
이에 따라, 사용자가 학습/업무 중에 있거나 공공장소에 있는 경우라도 실제로 몸을 움직이지 않고도 마음 속 또는 머리 속으로 춤을 추거나, 음악 연주, 공연 등에 리믹스, 디제잉, 연주, 환호 등의 가상으로 참여할 수 있게 된다.
도 2b는 본 발명의 일 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블록도이다.
도 2b를 참조하면, 전자 장치(100)는 통신부(110), 검출부(120) 및 프로세서(130) 외에 저장부(140), 디스플레이(150), 오디오 처리부(160), 비디오 처리부(170) 및 스피커(180)를 더 포함할 수 있다. 도 2b에 도시된 구성 중 도 2a에서 설명한 구성과 중복되는 부분에 대한 구체적인 설명은 생략하도록 한다.
프로세서(130)는 RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n), 버스(136)를 포함한다.
RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(135-1 내지 135-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(133)는 저장부(140)에 액세스하여, 저장부(140)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(133)는 저장부(140)에 저장된 각종 프로그램, 컨텐츠 및 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(133)는 ROM(132)에 저장된 명령어에 따라 저장부(140)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(133)는 저장부(140)에 저장된 각종 어플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 오브젝트를 포함하는 화면, 예를 들어, 포인팅 오브젝트를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 오브젝트들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 오브젝트를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이(150)를 통해 디스플레이될 수 있다.
저장부(140)는 전자 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈 및 각종 프로그램 등과 같은 다양한 데이터를 저장한다.
또한, 저장부(140)는 오디오 출력 정보를 생성하기 위한 알고리즘 및 이에 따라 생성된 오디오 출력 정보를 저장할 수 있다.
한편, 저장부(140)는 도 2c에 도시된 바와 같이 본 발명의 다양한 실시 예에 따른 기능을 제공하는데 필요한 베이스 모듈(141), 센싱 모듈(143), 통신 모듈(142), 프리젠테이션 모듈(144), 웹 브라우저 모듈(145) 및 서비스 모듈(146) 등의 프로그램을 저장할 수 있다.
베이스 모듈(141)은 전자 장치(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈을 의미한다. 베이스 모듈(141)은 스토리지 모듈, 보안 모듈 및 네트워크 모듈 등을 포함한다. 스토리지 모듈이란 데이터베이스(DB)나 레지스트리를 관리하는 프로그램 모듈이다. 메인 CPU(133)는 스토리지 모듈을 이용하여 저장부(140) 내의 데이터베이스에 액세스하여, 각종 데이터를 독출할 수 있다. 보안 모듈이란 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 프로그램 모듈이고, 네트워크 모듈이란 네트워크 연결을 지원하기 위한 모듈로 DNET 모듈, UPnP 모듈 등을 포함한다.
센싱 모듈(143)은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈이다. 이 경우, 센싱 모듈(143)은 터치 인식 모듈, 헤드 방향 인식 모듈, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다.
통신 모듈(142)은 외부와 통신을 수행하기 위한 모듈이다. 통신 모듈(142)은 외부 장치와 통신에 이용되는 디바이스 모듈, 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈, 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈 등을 포함하는 전화 모듈을 포함할 수 있다.
프리젠테이션 모듈(144)은 디스플레이 화면을 구성하기 위한 모듈이다. 프리젠테이션 모듈(144)은 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함한다. 멀티미디어 모듈은 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행한다. UI 렌더링 모듈은 이미지를 조합하는 이미지 합성기(Image Compositor module), 이미지를 디스플레이할 화면상의 좌표를 조합하여 생성하는 좌표 조합 모듈, 하드웨어로부터 각종 이벤트를 수신하는 X11 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다.
웹 브라우저 모듈(145)은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 웹 브라우저 모듈(145)은 웹 페이지를 구성하는 웹 뷰(web view) 모듈, 다운로드를 수행하는 다운로드 에이전트 모듈, 북마크 모듈, 웹킷(Webkit) 모듈 등과 같은 다양한 모듈을 포함할 수 있다.
서비스 모듈(146)은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다. 구체적으로, 서비스 모듈(146)은 SNS 프로그램, 컨텐츠 재생 프로그램, 게임 프로그램, 전자 책 프로그램, 달력 프로그램, 알람 관리 프로그램, 기타 위젯 등과 같은 다양한 프로그램 모듈을 포함할 수 있다.
디스플레이(150)는 다양한 화면을 제공할 수 있다. 여기서, 화면은 이미지, 동영상, 텍스트, 음악 등과 같은 다양한 컨텐츠, 다양한 컨텐츠를 포함하는 어플리케이션 실행 화면, UI(User Interface) 화면 등을 포함할 수 있다.
디스플레이(150)는 액정 디스플레이(liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있으며, 터치 패널과 결합되어 터치 스크린으로서의 기능을 수행할 수 있다.
이 경우, 프로세서(130)는 디스플레이(150)를 통해 다양한 피드백 정보를 포함하는 UI 화면을 제공할 수 있다.
예를 들어, 프로세서(130)는 현재 청취 상황에 대한 정보 자체, 테스트 신호 종류 및 크기, 권장하는 테스트 신호 변형 종류와 크기, 테스트 신호의 수동 변형 방법, 의학/심리학적 근거 등의 다양한 정보를 포함하는 UI 화면을 제공할 수 있다.
또한, 프로세서(130)는 사용자의 청력 측정과 관련된 다양한 UI 화면을 제공할 수 있다.
예를 들어, 프로세서(130)는 뇌파 데이터 측정 ON/OFF를 선택하기 위한 UI, 청력 정보를 측정하는 측정 시점 및 측정 빈도 등을 선택하기 위한 UI, 측정하고자 하는 청력 정보를 선택하기 위한 UI, 테스트 신호에 대한 반응을 사용자가 수동으로 입력하는 경우 이를 가이드하기 위한 UI 등을 제공할 수 있다.
한편, 측정 시점의 경우, 측정하고자 하는 청력 정보의 타입(가령, 청력 특성 및 인지 특성의 종류 등)에 따라 사운드 출력 기기(200) 착용 직후, 특정 오디오 데이터의 청취 전, 청취 도중, 청취 후, 수면 중, 사용자의 청취 환경이 변경되거나(예를 들어, 실내외 전환, 소음변화 등) 또는 신체 상황이 변경되거나(예를 들어, 운동 및 작업 상태 변화 등) 등 세부적으로 선택이 가능한 UI가 제공될 수 있다.
그 밖에, 전자 장치(100)는 오디오 데이터에 대한 처리를 수행하는 오디오 처리부(160), 디스플레이(150)에서 디스플레이하기 위해 비디오 데이터에 대한 처리를 수행하는 비디오 처리부(170), 오디오 처리부(160)에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 스피커(180), 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 카메라 및 사용자 음성이나 다양한 소리를 입력받아 오디오 데이터로 변환하기 위한 마이크 등을 더 포함할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 사운드 출력 기기의 구성을 나타내는 블록도이다.
도 3을 참조하면, 사운드 출력 기기(200)는 통신부(210), 출력부(220), 센서부(230) 및 프로세서(240)를 포함할 수 있다. 한편, 도 3을 설명함에 있어, 도 2에서 설명한 부분과 중복되는 부분에 대한 구체적인 설명은 생략하도록 한다.
통신부(210)는 전자 장치(100)와 통신을 수행한다. 구체적으로, 통신부(210)는 전자 장치(100)와 통신을 수행하여, 테스트 신호 및 오디오 데이터를 수신할 수 있다.
이 경우, 통신부(210)는 다양한 방식으로 전자 장치(100)와 통신을 수행할 수 있다.
예를 들어, 통신부(210)는 BT(BlueTooth), WI-FI(Wireless Fidelity), Zigbee, IR(Infrared), Serial Interface, USB(Universal Serial Bus), 유선 케이블 등 다양한 유무선 통신 방식을 통해 전자 장치(100)와 통신을 수행할 수 있다.
출력부(220)는 오디오 데이터를 출력한다. 구체적으로, 출력부(220)는 전자 장치(100)로부터 수신된 제1 오디오 데이터 및 제2 오디오 데이터를 출력할 수 있다.
센서부(230)는 사용자의 뇌파 데이터를 검출한다. 예를 들어, 센서부(230)는 적어도 한 개 이상의 건식/습식/반건식 전극(예를 들어, active electrode, EEG electrode)를 이용하여 사용자의 이마, 두피 또는 그 밖의 신체 부위에서의 뇌파 데이터를 검출할 수 있다.
프로세서(240)는 사운드 출력 기기(200)의 전반적인 동작을 제어한다. 프로세서(240)는 마이컴(또는, 마이컴 및 CPU(central processing unit)), 사운드 출력 기기(200)의 동작을 위한 RAM(Random Access Memory) 및 ROM(Read Only Memory)을 포함할 수 있다.
프로세서(240)는 센서부(230)를 통해 검출된 사용자의 뇌파 데이터를 통신부(210)를 통해 전자 장치(100)로 전송하고, 전자 장치(100)로부터 제1 오디오 데이터가 변경된 제2 오디오 데이터를 수신하여 출력하도록 제어할 수 있다.
구체적으로, 프로세서(240)는 전자 장치(100)로부터 제1 오디오 데이터가 수신되면 수신된 제1 오디오 데이터를 출력하도록 출력부(220)를 제어할 수 있다.
그리고, 프로세서(240)는 테스트 신호가 수신되면 테스트 신호를 출력하고 테스트 신호에 반응하는 사용자의 뇌파 데이터를 전자 장치(100)로 전송할 수 있다.
즉, 프로세서(240)는 테스트 신호가 수신되면 테스트 신호를 출력부(220)를 통해 출력하고, 테스트 신호에 반응하는 사용자의 뇌파 데이터를 검출하도록 센서부(230)를 제어하고, 검출된 뇌파 데이터를 통신부(210)를 통해 전자 장치(100)로 전송할 수 있다.
이에 따라, 전자 장치(100)는 센싱 데이터 및 사운드 출력 기기(200)로부터 수신된 뇌파 데이터에 기초하여 오디오 출력 정보를 결정하고, 결정된 오디오 출력 정보에 따라 제1 오디오 데이터의 출력 상태가 변경된 오디오 데이터 즉, 제2 오디오 데이터를 사운드 출력 기기(200)로 전송하게 된다.
프로세서(240)는 전자 장치(100)로부터 제2 오디오 데이터가 수신되면 수신된 제2 오디오 데이터를 출력하도록 출력부(220)를 제어할 수 있다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 전자 장치 및 사운드 출력 기기의 동작을 설명하기 위한 시퀀스도이다.
도 4a를 참조하면, 전자 장치(100)는 청취 상황 별 오디오 출력 정보를 생성하여 저장한다(S411).
이어서, 전자 장치(100)는 오디오 데이터를 재생하여 사운드 출력 기기(200)로 전송하고(S412), 사운드 출력 기기(200)는 전자 장치(100)로부터 수신된 오디오 데이터를 출력한다(S413).
여기에서, 사운드 출력 기기(200)로 전송되는 오디오 데이터는 오디오 출력 정보에 기초하여 출력 상태가 변경되지 않은 오디오 데이터일 수 있다.
이후, 전자 장치(100)는 기설정된 이벤트에 따라 사용자의 상황 데이터를 검출한다(S414).
여기서, 기설정된 이벤트는 오디오 데이터를 재생한 후 기설정된 시간이 경과되는 이벤트, 특정 사용자 명령(예를 들어, 특정 어플리케이션의 구동이나 특정 메뉴의 선택)이 입력되는 이벤트, 청취 상황이 급변하는 이벤트(예를 들어, 노이즈가 갑자기 증가한 경우), 청력과 관련된 특정 조작이 입력되는 이벤트(예를 들어, 볼륨을 과도하게 높이는 경우), 사용자의 청력 정보가 급변하는 이벤트(사용자의 청력 정보를 측정하고 있는 상태를 전제) 등이 될 수 있으나, 이에 한정되는 것은 아니다.
그리고, 전자 장치(100)는 상황 데이터에 기초하여 사용자의 청취 상황을 판단하고, 청취 상황에 부합하는 오디오 출력 정보를 결정한다(S415).
이후, 전자 장치(100)는 오디오 출력 정보에 기초하여 오디오 데이터의 출력 상태를 변경하고 출력 상태가 변경된 오디오 데이터를 사운드 출력 기기(200)로 전송하고(S416), 사운드 출력 기기(200)는 전자 장치(100)로부터 수신된 오디오 데이터를 출력한다(S417).
한편, 도 4b를 참조하면, S411 단계 내지 S414 단계는 도 4a에서 설명한 바와 동일하다.
다만, 전자 장치(100)는 기설정된 이벤트에 따라 사운드 출력 기기(200)로 테스트 신호를 전송하고(S421), 사운드 출력 기기(200)는 테스트 신호에 반응하는 뇌파 데이터를 전자 장치(100)로 전송한다(S422).
여기서, 기설정된 이벤트는 전자 장치(100)에서 특정 사용자 명령(예를 들어, 특정 어플리케이션의 구동이나 특정 메뉴의 선택)이 입력되는 이벤트, 오디오 데이터를 재생한 후 기설정된 시간이 경과되는 이벤트, 청취 상황이 급변하는 이벤트 등이 될 수 있으나, 이에 한정되는 것은 아니다.
이어서, 전자 장치(100)는 뇌파 데이터 및 청취 상황에 부합하는 오디오 출력 정보를 결정한다(S423).
이후, 전자 장치(100)는 오디오 출력 정보에 기초하여 오디오 데이터의 출력 상태를 변경하고 출력 상태가 변경된 오디오 데이터를 사운드 출력 기기(200)로 전송하고(S424), 사운드 출력 기기(200)는 전자 장치(100)로부터 수신된 오디오 데이터를 출력한다(S425).
도 5 및 도 6은 본 발명의 일 실시 예에 따른 오디오 출력 정보 생성 방법을 설명하기 위한 도면들이다.
도 5를 참조하면, 전자 장치(100)는 청취 상황별 오디오 출력 정보를 생성한다(S510).
구체적으로, 전자 장치(100)는 오디오 출력 정보 생성 알고리즘(도 6의 620)을 이용하여 특정한 청력 특성을 갖는 사용자(예를 들어, 도 6의 610, 오디오그램)에 부합하는 오디오 출력 정보를 청취 상황 별로 생성할 수 있다. 이 경우, 전자 장치(100)는 사용자가 아닌 일반 청취자의 청력 민감도를 이용하여 오디오 출력 정보를 생성할 수 있다. 여기서, 사용자 오디오그램은 전자 장치(100)를 통해 측정된 측정되거나, 병원 또는 웹상에서 측정되어 전자 장치(100)로 제공될 수 있다.
그리고, 전자 장치(100)는 테스트 신호에 반응하는 사용자의 뇌파 데이터에 기초하여, 사용자의 청력 특성 및 민감도를 판단할 수 있다(S520, S530).
구체적으로, 전자 장치(100)는 누적된 청취 상황별 오디오그램의 변화 추이를 분석하여, 사용자의 청력 특성을 판단할 수 있다.
예를 들어, 전자 장치(100)는 시간별 고주파 오디오그램의 변화량을 분석하여 가령, 4000kHz 부근의 오디오그램의 변화량을 분석하여 사용자의 소음성 난청 증상에 의한 청력 손실을 확인할 수 있다. 또한, 전자 장치(100)는 복수의 연속 주파수 오디오그램의 변화량을 분석하여, 가령, 3 개 이상의 연속된 주파수에서 30dB 이상의 변화량을 갖는지를 분석하여 돌발성 난청 증상에 의한 청력 손실을 확인할 수 있다.
또한, 전자 장치(100)는 청력 민감도 모델링을 수행한다. 이 경우, 전자 장치(100)는 일반 청취자의 청력 민감도를 반영하여 최초로 모델링을 수행할 수 있으며, 사용자의 청력 민감도가 파악된 이후에는 해당 사용자의 청력 민감도가 반영하여 모델링을 수행할 수 있다.
구체적으로, 전자 장치(100)는 오디오그램의 시간에 따른 변화량 및 해당 시간 동안의 청취 상황에 대한 상황 데이터를 변수로 하여 사용자가 일반적 청취 상황에서 벗어나게 되는 경우 가청 임계치가 얼마나 민감하게 변동하는지 모델링한다. 예를 들어, 전자 장치(100)는 주변 노이즈 민감도, 신체 활동량 민감도, 체온 민감도, 오디오 데이터 민감도 및 인지 상태 민감도 등에 대한 모데링을 수행할 수 있다.
이후, 전자 장치(100)는 청취 상황별 최적의 오디오 출력 정보를 생성할 수 있다(예를 들어, 도 6의 631, 632,...).
구체적으로, 전자 장치(100)는 오디오 출력 정보 생성 알고리즘(도 6의 620)을 이용하여 특정한 청력 특성을 갖는 사용자(예를 들어, 도 6의 610)에 부합하는 오디오 출력 정보를 청취 상황 별로 생성할 수 있다. 이 경우, 전자 장치(100)는 사용자의 청력 민감도를 이용하여 오디오 출력 정보를 생성할 수 있다.
즉, 전자 장치(100)는 청취 상황, 사용자의 청력 정보 및 사운드 출력 기기(200)의 타입에 대한 정보 등을 사용자에게 가장 적합한 오디오 출력 정보를 생성할 수 있다. 오디오 출력 정보는 예를 들어, 청취 상황별 최대/최소 권장 볼륨 preset 정보, 주파수별 EQ 정보, 청취 상황별 사용자의 청력 정보를 바탕으로 취약 주파수 영역 소리를 보완해 주는 사운드 및 잘 들리되 청력 손실을 최소화할 수 있는 음량, 권장 연속 청취시간 등을 포함할 수 있다.
도 7 및 도 8은 본 발명의 일 실시 예에 따른 오디오 출력 정보를 결정하는 방법을 설명하기 위한 도면들이다.
도 7을 참조하면, 현재 청취 상황에 대한 상황 데이터를 검출한다(S710). 예를 들어, 전자 장치(100)는 다양한 센서를 통해, 사용자의 청취 상황을 판단하는데 이용되는 상황 데이터를 검출할 수 있다.
이어서, 상황 데이터 분석을 통해 현재 청취 상황을 판단한다(S720). 예를 들어, 도 8에 도시된 바와 같이, 전자 장치(100)는 사용자가 도서관에서 독서를 하고 있는 청취 상황에서 검출된 상황 데이터에 기초하여 현재 청취 상황은 노이즈가 매우 적고, 활동량이 매우 적은 청취 상황임을 판단할 수 있다.
그리고, 전자 장치(100)는 판단된 청취 상황에 대한 오디오 출력 정보를 결정한다(S730). 예를 들어, 도 8에 도시된 바와 같이, 전자 장치(100)는 노이즈가 매우 적고, 활동량이 매우 적은 청취 상황에 대응되는 오디오 출력 정보(810)를 결정하고, 오디오 출력 정보에 따라 출력 상태가 변경된 오디오 데이터를 재생하여 사운드 출력 기기(200)로 전송할 수 있다.
이후, 청취 상황이 변경되었는지 판단한다(S750). 구체적으로, 전자 장치(100)는 검출된 또 다른 상황 데이터를 분석하여 청취 상황이 변경되었는지 판단한다.
여기서, 청취 상황 변경 여부를 판단하는 기준이 되는 주변 노이즈, 사용자의 활동량 등에 대한 임계치는 디폴트로 설정된 값일 수도 있으나, 사용자에 의해 설정/변경 가능한 것일 수도 있다. 또한, 기설정된 임계치는 상황에 따른 사용자의 청력 특성에 기초하여 계속하여 업데이트될 수도 있다. 예를 들어, 도 8에 도시된 바와 같이, 사용자가 버스로 이동하면, 전자 장치(100)는 검출된 상황 데이터에 기초하여 노이즈가 30 dB 이상 증가되어 청취 상황이 변경되었음을 판단할 수 있다.
청취 상황이 변경된 것으로 판단되면(S750-Y), 변경된 청취 상황에 대한 오디오 출력 정보를 결정한다(S760). 예를 들어, 도 8에 도시된 바와 같이, 전자 장치(100)는 노이즈가 매우 많고, 활동량이 적은 청취 상황에 대응되는 오디오 출력 정보(820)를 결정하고, 오디오 출력 정보에 따라 출력 상태가 변경된 오디오 데이터를 재생하여 사운드 출력 기기(200)로 전송할 수 있다.
또한, 도 8에 도시된 바와 같이, 사용자가 헬스장으로 이동하면, 전자 장치(100)는 상황 데이터에 기초하여 노이즈가 20 dB 감소하고, 활동량이 증가되었으며, 사운드 출력 기기(200)가 뇌파 헤드폰에서 뇌파 이어폰으로 변경되는 등과 같이 사용자의 청취 상황이 변경되었음을 판단할 수 있다.
이 경우에도, 전자 장치(100)는 변경된 청취 상황에 부합하는 오디오 출력 정보를 결정하고, 오디오 출력 정보에 따라 출력 상태가 변경된 오디오 데이터를 재생하여 사운드 출력 기기(200)로 전송할 수 있다.
즉, 도 8에 도시된 바와 같이, 전자 장치(100)는 노이즈가 적고, 활동량이 많으며 사운드 출력 기기의 타입이 뇌파 이어폰인 경우에 부합하는 오디오 출력 정보(830)를 결정하고, 오디오 출력 정보에 따라 출력 상태가 변경된 오디오 데이터를 재생하여 사운드 출력 기기(200)로 전송할 수 있다.
도 9 및 도 10은 본 발명의 일 실시 예에 따른 오디오 출력 정보를 결정하는 방법을 설명하기 위한 도면들이다.
도 9에 도시된 바와 같이 현재 청취 상황에 대한 상황 데이터를 검출한다(S910). 예를 들어, 전자 장치(100)는 다양한 센서를 통해, 사용자의 청취 상황을 판단하는데 이용되는 상황 데이터를 검출할 수 있다.
이어서, 상황 데이터 분석을 통해 현재 청취 상황을 판단한다(S920). 예를 들어, 도 10에 도시된 바와 같이, 전자 장치(100)는 사용자가 도서관에서 독서를 하고 있는 청취 상황에서 수신된 상황 데이터에 기초하여 현재 청취 상황이 노이즈가 매우 적고, 활동량이 매우 적은 청취 상황임을 판단할 수 있다.
그리고, 전자 장치(100)는 판단된 청취 상황에 대한 오디오 출력 정보를 결정한다(S930). 예를 들어, 도 10에 도시된 바와 같이, 전자 장치(100는 노이즈가 매우 적고, 활동량이 매우 적은 청취 상황에 대응되는 오디오 출력 정보(1010)를 결정하고, 오디오 출력 정보에 따라 출력 상태가 변경된 오디오 데이터를 재생하여 사운드 출력 기기(200)로 전송할 수 있다.
이어서, 청력 테스트 신호를 사운드 출력 기기(200)로 제공한다(S940). 예를 들어, 도 10에 도시된 바와 같이, 전자 장치(100)는 오디오 데이터(30) 사이에 테스트 신호(i1,...,iN +1)를 제공할 수 있다.
그리고, 테스트 신호에 대해 반응하는 뇌파 데이터에 기초하여 사용자의 청력 정보를 판단한다(S950). 예를 들어, 도 10에 도시된 바와 같이, 전자 장치(100)는 실시간 청력 정보(1040)를 획득할 수 있다. 여기서, 청력 정보(1040)는 상술한 사용자의 청력 특성 및 청력 민감도 중 적어도 하나를 포함할 수 있다.
이어서, 획득된 사용자의 청력 정보에 기초하여 오디오 출력 정보를 결정한다(S960). 예를 들어, 도 10에 도시된 바와 같이, 전자 장치(100)는 오디오 출력 정보(1010)를 업데이트하고, 업데이트된 오디오 출력 정보(1010-1)에 기초하여 오디오 데이터의 출력 상태를 변경하여 재생할 수 있다.
이후에도, 전자 장치(100)는 뇌파 데이터에 따른 사용자의 청력 정보에 기초하여 오디오 출력 정보(1020, 1030)를 결정하고, 오디오 출력 정보(1020, 1030)에 기초하여 오디오 데이터의 출력 상태를 변경하여 재생할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 청력 정보를 측정하는 방법을 설명하기 위한 도면이다.
도 11을 참조하면, 청력 정보의 측정 여부가 결정되면(S1110), 청력 정보의 측정 범위를 결정한다(S1120).
예를 들어, 청력 정보의 측정 여부와 관련하여, 사용자 희망 시, 사용자 계정의 최초 생성 시, 사용자 청취 행태 모니터링에 기초하여 청취 시간이 임계 시간 이상인 경우, 사용자가 임계 볼륨 이상으로 수동 조작하는 빈도가 임계치 이상인 경우 등에 청력 정보의 측정을 수행하는 것으로 결정할 수 있다. 또한, 청력 정보의 측정 범위와 관련하여 전체 주파수 영역에 대해 측정할지, 난청 현황 등을 모니터링하기 위해 일부 주파수 영역에 대해 측정할지 등을 결정할 수 있다.
S1120 단계에서 청력 측정 범위가 결정되면, 뇌파 데이터의 센싱이 가능한지 결정한다(S1130).
S1130 단계에서 뇌파 데이터의 센싱이 가능한 것으로 결정되면(S1130-Y), 뇌파 데이터를 이용하여 청력 정보의 측정을 수행한다(S1140).
예를 들어, 좌우 귀 고주파 영역(예를 들어, 4kHz 이상의 주파수 영역)에 대한 청각 자극 신호, 세 가지 주파수 영역에 대한 테스트 신호 등을 출력하고, 테스트 신호에 반응하는 뇌파 데이터에 기초하여 뇌파 ASSR을 측정한다. 이어서, 다음 오디오 데이터 재생, 청각 자극 신호 출력, 뇌파 ASSR 측정, 다음 오디오 데이터 재생 등의 과정을 반복하여 청력 정보(예를 들어, 좌/우 부분 오디오그램)를 생성한다.
S1130 단계에서 뇌파 데이터의 센싱이 가능하지 않은 것으로 결정되면(S1130-N), 수동 청력 측정을 수행한다(S1150).
구체적으로, 뇌파 데이터를 측정하기 위한 센서를 갖춘 이어폰/헤드폰이 없거나, 현재 이용 중이지 않은 경우 등이 이에 해당될 수 있다.
예를 들어, 좌우 귀 고주파 영역(예를 들어, 4kHz 이상의 주파수 영역)에 대한 청각 자극 신호, 세 가지 주파수 영역에 대한 테스트 신호 등을 출력하고, 테스트 신호에 대한 사용자가 수동으로 입력하는 신호를 수신한다.
이 경우, 사용자가 테스트 신호가 들리는 경우, 헤드폰/이어폰와 같은 사운드 출력 기기(200)에 특정 입력을 하는 형태(예를 들어, 버튼 입력, 고개 끄덕임(자이로 센서), 음성 인식 등), 스마트폰/태블릿 등과 같은 전자 장치(100)에 특정 입력을 하는 형태(예를 들어, 화면 터치, 버튼 입력, 흔들기 등과 같은 특정 모션 입력, 음성 입력 등), 스마트 와치 등과 같은 전자 장치(100)에 특정 입력을 하는 형태(예를 들어, 손동작 입력(EMG 센서), 버튼 입력, 음성 입력 등) 등의 사용자 입력에 대응되는 신호가 될 수 있다.
이어서, 다음 오디오 데이터 재생, 테스트 신호 출력, 사용자의 입력 신호 수신, 다음 오디오 데이터 재생 등의 과정을 반복하여 청력 정보(예를 들어, 좌/우 부분 오디오그램)를 생성한다.
도 12는 본 발명의 일 실시 예에 따른 뇌파 데이터의 분석 방법을 설명하기 위한 도면이다.
일반적으로, ASSR은 테스트 신호(auditory stimuli)에 대해 유발(evoke)되는 뇌전위로 개인의 청력 특성을 객관적으로 추정(estimation)하기 위해 사용될 수 있다.
도 12에 도시된 바와 같이, 테스트 신호는 500, 1000, 2000, 4000Hz 등 테스트 하고자 하는 특정 주파수의 tone 신호로, 각각 또는 혼합하여 한 쪽 귀 또는 양 쪽 귀에(예를 들어 75dB SPL (sound pressure level)로 수십 밀리 초 이내로) 들려준 직후 검출한 뇌파 데이터를 Fast Fourier Transformation (FFT) 등을 통해 주파수 성분으로 분석했을 때, 테스트 대상인 carrier 주파수에 대응되는modulation 주파수 성분이 나타나면 각 주파수 tone 신호를 들을 수 있는 것으로 판단할 수 있다.
이러한 방법을 통해, 테스트 신호에 대해 사용자가 직접 들었다는 응답(예를 들어, 버튼 누름) 신호를 기반으로 산출되는 behavioral pure-tone audiogram을 보다 정확하고, 편리하며, 빠르게 추정해 낼 수 있게 된다. 특히, 한 번에 여러 테스트 신호를 동시에 들려줌으로써 각각의 테스트 신호를 들려주는 것에 비해 시간적으로 단축할 수 있다는 장점이 있다.
도 13, 도 14a 내지 도 14d는 본 발명의 다양한 실시 예에 따라 제공되는 청각 서비스의 일 예를 설명하기 위한 도면들이다.
도 13에 따르면, 현재 사용자의 청력 정보와 관련된 다양한 안내 서비스가 제공될 수 있다.
예를 들어, 사용자의 청력 특성을 측정한 결과, 전자 장치(100)는 사용자의 일시적 청력 저하가 예상되는 경우 해당 내용을 통지하는 UI(1310)를 제공할 수 있다. 도 14a는 해당 UI의 일 예를 도시한 것으로, 전자 장치(100)의 화면 상에 "곧 일시적 청력 저하가 예상됩니다"라는 가이드 UI 및 사용자의 선택을 제공하는 선택 UI("계속듣기" 및 "쉬어 가기")를 포함하는 UI(1310)가 제공될 수 있다.
또한, 사용자의 수동 음량 조작 빈도에 기초하여 사용자의 청력 재검사가 요구되는 경우, 전자 장치(100)는 청력 재검사 예약을 확인하는 UI(1320) 및 청력 재검사 예약에 따른 청력 재검사 시작을 확인하는 UI(1330)를 제공할 수 있다. 도 14b 및 도 14c는 해당 UI들의 일 예를 도시한 것으로, 도시된 바와 같은 형태의 UI가 제공될 수 있다.
또한, 뇌파 데이터의 측정이 아닌 사용자의 입력에 기초하여 사용자의 청력 정보를 측정하는 경우, 전자 장치(100)는 사용자의 입력을 요구하는 UI(1340)를 제공할 수 있다. 도 14d는 해당 UI의 일 예를 도시한 것으로, 도시된 바와 같은 형태의 UI가 제공될 수 있다.
한편, 도 14c에 도시된 바와 같은 UI에서 사용자가 "예"를 선택하여 청력 재검사에 응하는 경우, 전자 장치(100)는 청력 재검사를 통해 사용자의 청력 정보(가령, 사용자의 오디오그램)을 재산출할 수 있다.
도 15는 본 발명의 일 실시 예에 따른 오디오 데이터를 관리하는 방법을 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따르면, 전자 장치(100)는 오디오 데이터의 재생 도중 측정된 사용자의 뇌파 데이터에 기초하여 오디오 데이터를 자동으로 관리할 수 있다.
예를 들어, 도 15에 도시된 바와 같이, 전자 장치(100)는 사용자의 뇌파 데이터 측정을 통해 사용자가 "Change"라는 오디오 데이터에 포지티브한 선호도를 보인 것으로 판단되면, 동일한 장르, 동일한 패턴의 유사 오디오 데이터인 "Don't be stupid"를 자동으로 재생 리스트에 추가할 수 있다.
또는, 전자 장치(100)는 사용자의 뇌파 데이터 측정을 통해 사용자가 특정 오디오 데이터에 네거티브(negative)한 선호도를 보인 것으로 판단되면, 해당 오디오 데이터 또는 재생 리스트에 포함된 오디오 데이터 중 해당 오디오 데이터와 동일한 장르 또는 동일한 패턴을 갖는 오디오 데이터를 재생 리스트에서 삭제할 수도 있다.
다만, 이는 일 예를 설명한 것이며, 오디오 데이터 관리는 다양한 방법으로 이루어질 수 있다. 예를 들어, 전자 장치(100)는 사용자가 선호하는 오디오 데이터를 별도의 리스트로 관리하거나, 사용자가 높은 선호도를 보인 오디오 데이터와 동일한 장르 또는 동일한 패턴을 갖는 오디오 데이터를 사용자에게 추천해 줄 수도 있다.
도 16a 내지 도 16c는 본 발명의 다양한 실시 예에 따른 사운드 출력 기기의 구현 형태를 설명하기 위한 도면들이다.
일 구현 예에 따라, 사운드 출력 기기(200)는 사용자 신체에 착용 가능한 기기로 구현될 수 있으며, 예를 들어, 사용자 머리 부분에 착용 가능한 이어폰, 헤드폰, HMD(Head Mounted Display) 장치 등으로 구현 가능하다.
이 경우, 사운드 출력 기기(200)는 적어도 한 개 이상의 건식/습식/반건식 전극을 이용하여 이마, 두피 또는 그 밖의 신체 부위에서의 사용자 뇌파 데이터를 측정할 수 있다. 여기서, 뇌파 데이터를 측정하기 위한 전극은 사운드 출력 기기(200)와 일체형으로 구현될 수 있으나, 경우에 따라서는 이어폰/헤드폰/HMD 장치에 탈착 가능한 폼팁(Foam Tip) 등에 구현되는 것도 가능하다.
예를 들어, 사운드 출력 기기(200)가 이어폰(1610)으로 구현되는 경우, 도 16a에 도시된 바와 같이, 뇌파 데이터 측정을 위한 전극(1614)은 귓속에 삽입되는 이어폰 팁(1611)에 위치한 미세 전극 형태로 구현될 수 있다. 한편, 이어폰 라인은 오디오 데이터 및 뇌파 데이터가 각각 송수신될 수 있는 복수의 신호 라인을 포함하는 형태(1612)로 구현될 수 있으며, 핸드폰 등과 같은 전자 장치(100)에 연결되는 플러그 또한 각각의 신호 라인을 연결할 수 있도록 복수의 플러그를 포함하는 형태(1613)로 구현될 수 있다.
또한, 사운드 출력 기기(200)가 헤드폰(1620)으로 구현되는 경우, 도 16b에 도시된 바와 같이, 전극(1625)은 헤드폰의 두 스피커를 연결하는 지지대(1621, 1622)에 부착되거나, 두 스피커의 귀 접촉 부위(1623, 1624)에 삽입되는 형태로 구현될 수 있다. 한편, 헤드폰(1620)의 지지대(1621, 1622)는 사용자의 머리의 복수의 위치에서 뇌파 데이터의 측정이 가능하도록 위치 이동이 가능하도록 구현될 수 있으며, 헤드 밴드 및 조절 밴드 등으로 구현될 수 있다. 한편, 도 16b에서는 지지대가 복수 개인 것으로 도시하였으나, 하나의 지지대로 구현 가능함은 물론이다.
또한, 사운드 출력 기기(200)가 HMD 장치(1630)로 구현되는 경우, 도 16c에 도시된 바와 같이, 전극(1635)은 전자 장치(100)를 장착하는 메일 프레임(1631)에 부착되거나, 메일 프레임(1631)에 연결되어 메인 프레임(1631)을 사용자의 신체 일부분에 고정시킬 수 있도록 구성한 장착부(1632)에 부착되는 형태로 구현될 수 있다. 한편, 도 16C에서는 장착부(1632)가 복수 개인 것으로 도시하였으나, 하나의 장착부로 구현 가능함은 물론이다.
다른 구현 예에 따라, 사운드 출력 기기(200)는 휴대폰 내장 스피커, 가정 내 스피커, 사운드 바, 홈시어터, 차량 내 스피커 등과 사용자 신체 미착용 장치로 구현될 수 있다. 이 경우, 뇌파 데이터를 측정하기 위한 전극은 사운드 출력 기기(200)에 연결되는 별도의 뇌파 측정 장치에 구비되도록 구현되는 것도 가능하다. 예를 들어, 사운드 출력 기기(200)가 사운드 바, 차량 내 스피커 등과 같은 사용자 신체 미착용 장치로 구현되는 경우, 뇌파 측정을 위한 전극은 별도의 뇌파 측정 장치에 구비될 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 사용자가 사운드 출력 기기에 특별한 조작을 가할 필요가 없이 해당 기기를 착용하는 동안 최적화된 형태의 청취 경험을 제공받을 수 있게 된다.
구체적으로, 청취 환경 분석을 통해 사용자의 공간, 작업 및 운동 여부 및 인지 상태 등에 따라 오디오 데이터의 출력 상태를 변경하여 제공해 줌으로써 청취 상황 및 사용자의 청력에 최적화된 형태의 청취 경험을 제공받을 수 있게 된다. 또한, 기존의 일반적인 사운드 출력 기기와 달리 좌우 귀 방향에 구애받지 않고 해당 기기를 착용하더라도 청력 수준에 따라 적절한 수준의 음량이 제공됨에 따라 소음성 난청을 효과적으로 예방할 수 있다.
한편, 상술한 예에서는 전자 장치(100)가 오디오 출력 정보를 생성하고, 오디오 출력 정보에 기초하여 오디오 데이터의 출력 상태를 제어하는 것으로 설명하였으나, 이는 일 예에 불과하다.
즉, 별도의 서버가 상술한 전자 장치(100)의 기능을 수행할 수 있고, 사운드 출력 기기 자체에서 상술한 전자 장치(100)의 기능을 수행할 수도 있다.
이하에서는 첨부된 도면을 참조하여 서버에서 상술한 전자 장치(100)의 기능을 수행하는 방법을 구체적으로 설명하도록 한다. 다만, 전자 장치(100)에서 설명한 부분과 중복되는 부분에 대한 구체적인 설명은 생략하도록 한다.
도 17은 본 발명의 일 실시 예에 따른 전자 시스템의 간략한 모식도이다.
도 17을 참조하면, 본 발명의 일 실시 예에 따른 전자 시스템은 전자 장치(100), 사운드 출력 기기(200) 및 서버(300)를 포함한다.
한편, 도 17에 도시된 전자 시스템의 경우, 서버(300)가 오디오 출력 정보를 생성하는 것 외에는 도 1에서 설명한 전자 시스템과 동일하다는 점에서, 도 1과 중복되는 부분에 대한 구체적인 설명은 생략하도록 한다.
전자 장치(100)는 사용자의 상황 데이터를 검출하고, 검출된 상황 데이터를 서버(300)로 전송할 수 있다. 또한, 전자 장치(100)는 사운드 출력 기기(200)로부터 수신된 뇌파 데이터를 서버(300)로 전송할 수 있다.
이를 위해, 전자 장치(100)는 도 2와 같은 구성요소를 포함하여, 도 1 에 도시된 전자 장치(100)가 수행하는 기능 중 일부를 수행하도록 구현될 수 있다.
통신부(110)는 서버(300)와 통신을 수행할 수 있다. 구체적으로, 통신부(110)는 서버(300)와 통신을 수행하여, 사용자의 상황 데이터 및 뇌파 데이터를 서버(300)로 전송할 수 있다.
이 경우, 통신부(110)는 다양한 방식으로 서버(300)와 통신을 수행할 수 있다.
예를 들어, 통신부(110)는 WI-FI, 3G, 3GPP, LTE 등과 같은 다양한 통신 방식을 통해 서버(300)와 통신을 수행할 수 있다.
프로세서(130)는 검출부(120)에 의해 검출된 사용자의 상황 데이터 및 사운드 출력 기기(200)로부터 수신된 사용자의 뇌파 데이터를 서버(300)로 전송하도록 통신부(110)를 제어하고, 서버(300)로부터 오디오 출력 정보를 수신되면 오디오 출력 정보에 기초하여 오디오 데이터의 출력 상태를 변경하여 사운드 출력 기기(200)로 전송할 수 있다.
서버(300)는 전자 장치(100)로부터 수신된 상황 데이터 및 뇌파 데이터에 기초하여, 오디오 출력 정보를 생성하여 저장하고, 이를 전자 장치(100)로 전송할 수 있다.
이를 위해, 서버(300)는 도 18과 같이 통신부(310), 저장부(320) 및 프로세서(330)를 포함할 수 있다.
통신부(310)는 전자 장치(100)와 통신을 수행할 수 있다. 구체적으로, 통신부(310)는 전자 장치(100)와 통신을 수행하여, 사용자의 상황 데이터 및 뇌파 데이터를 수신하고, 오디오 출력 정보를 전자 장치(100)로 전송할 수 있다.
이 경우, 통신부(310)는 다양한 방식으로 전자 장치(100)와 통신을 수행할 수 있다.
예를 들어, 통신부(310)는 WI-FI, 3G, 3GPP, LTE 등과 같은 다양한 통신 방식을 통해 전자 장치(100)와 통신을 수행할 수 있다.
저장부(320)는 각종 정보를 저장한다. 특히, 저장부(320)는 청취 상황 별 오디오 출력 정보를 저장할 수 있다.
프로세서(330)는 서버(300)의 전반적인 동작을 제어한다.
특히, 프로세서(330)는 사용자의 상황 데이터 및 뇌파 데이터 중 적어도 하나에 기초하여, 청취 상황 별 오디오 출력 정보를 생성하고 이를 저장부(320)에 저장하도록 제어할 수 있다. 그리고, 프로세서(330)는 사용자의 청취 상황에 부합하는 오디오 출력 정보를 전자 장치(100)로 전송하도록 제어할 수 있다.
한편, 오디오 출력 정보를 생성하는 방법에 대해서는 상술한 바 있다는 점에서, 구체적인 설명은 생략하도록 한다.
도 19a 및 도 19b는 본 발명의 일 실시 예에 따른 전자 장치, 사운드 출력 기기 및 서버의 동작을 설명하기 위한 시퀀스도이다.
도 19a를 참조하면, 서버(300)는 청취 상황 별 오디오 출력 정보를 생성하여 저장한다(S1911).
이어서, 전자 장치(100)는 오디오 데이터를 재생하여 사운드 출력 기기(200)로 전송하고(S1912), 사운드 출력 기기(200)는 전자 장치(100)로부터 수신된 오디오 데이터를 출력한다(S1913).
이후, 전자 장치(100)는 사용자의 상황 데이터를 검출하고(S1914), 검출된 상황 데이터를 서버(300)로 전송한다(S1915).
이 경우, 서버(300)는 상황 데이터에 기초하여 사용자의 청취 상황을 판단하고, 청취 상황에 부합하는 오디오 출력 정보를 결정하고(S1916), 오디오 출력 정보를 전자 장치(100)로 전송한다(S1917).
이후, 전자 장치(100)는 오디오 출력 정보에 기초하여 오디오 데이터의 출력 상태를 변경하고 출력 상태가 변경된 오디오 데이터를 사운드 출력 기기(200)로 전송하고(S1918), 사운드 출력 기기(200)는 전자 장치(100)로부터 수신된 오디오 데이터를 출력한다(S1919).
한편, 도 19b를 참조하면, S1911 단계 내지 S1915 단계는 도 19a에서 설명한 바와 동일하다.
다만, 전자 장치(100)는 사운드 출력 기기(200)로 테스트 신호를 전송하고(S1921), 사운드 출력 기기(200)는 테스트 신호에 반응하는 뇌파 데이터를 전자 장치(100)로 전송한다(S1922).
이어서, 전자 장치(100)는 사운드 출력 기기(200)로 수신된 뇌파 데이터를 서버(300)로 전송한다(S1923).
이후, 서버(300)는 뇌파 데이터 및 청취 상황에 부합하는 오디오 출력 정보를 결정하고(S1924). 오디오 출력 정보를 전자 장치(100)로 전송한다(S1925).
이에 따라, 전자 장치(100)는 오디오 출력 정보에 기초하여 오디오 데이터의 출력 상태를 변경하고 출력 상태가 변경된 오디오 데이터를 사운드 출력 기기(200)로 전송하고(S1926), 사운드 출력 기기(200)는 전자 장치(100)로부터 수신된 오디오 데이터를 출력한다(S1927).
도 20은 본 발명의 일 실시 예에 따른 전자 시스템의 간략한 모식도이다.
도 20을 참조하면, 본 발명의 일 실시 예에 따른 전자 시스템은 사운드 출력 기기(200) 및 서버(300)를 포함한다.
한편, 도 20에 도시된 전자 시스템의 경우, 도 17에서 전자 장치(100)가 수행하는 기능을 사운드 출력 기기(200)가 수행하여 전자 장치(100)가 생략된다는 점을 제외하고는 도 17에서 설명한 전자 시스템과 동일하다는 점에서, 도 17과 중복되는 부분에 대한 구체적인 설명은 생략하도록 한다.
사운드 출력 기기(200)는 사용자의 상황 데이터 및 뇌파 데이터를 검출하고, 검출된 상황 데이터 및 뇌파 데이터를 서버(300)로 전송할 수 있다.
이를 위해, 사운드 출력 기기(200)는 도 3과 같은 구성요소를 포함하여, 도 3 에 도시된 사운드 출력 기기(200)가 수행하는 기능 외에 상황 데이터를 검출하는 기능을 추가로 수행하도록 구현될 수 있다.
통신부(210)는 서버(300)와 통신을 수행할 수 있다. 구체적으로, 통신부(210)는 서버(300)와 통신을 수행하여, 사용자의 상황 데이터 및 뇌파 데이터를 서버(300)로 전송할 수 있다.
이 경우, 통신부(210)는 다양한 방식으로 서버(300)와 통신을 수행할 수 있다.
예를 들어, 통신부(210)는 WI-FI, 3G, 3GPP, LTE 등과 같은 다양한 통신 방식을 통해 서버(300)와 통신을 수행할 수 있다.
센서부(230)는 사용자의 상황 데이터를 검출할 수 있다. 이 경우, 센서부(230)는 도 1의 검출부(120)와 동일한 방식으로 사용자의 상황 데이터를 검출할 수 있다.
프로세서(240)는 센서부(230)에 의해 검출된 사용자의 상황 데이터 및 뇌파 데이터를 서버(300)로 전송하도록 통신부(210)를 제어하고, 서버(300)로부터 오디오 출력 정보를 수신되면 오디오 출력 정보에 기초하여 오디오 데이터의 출력 상태를 변경하여 출력할 수 있다.
한편, 오디오 데이터의 출력 상태를 변경하는 방법에 대해서는 상술한 바 있다.
도 21은 본 발명의 일 실시 예에 따른 사운드 출력 기기 및 서버의 동작을 설명하기 위한 시퀀스도이다.
도 21을 참조하면, 서버(300)는 청취 상황 별 오디오 출력 정보를 생성하여 저장한다(S2111).
이어서, 서버(300)는 오디오 데이터를 사운드 출력 기기(200)로 전송하고(S2112), 사운드 출력 기기(200)는 서버(300)로부터 수신된 오디오 데이터를 출력한다(S2113).
이후, 사운드 출력 기기(200)는 사용자의 상황 데이터를 검출하고(S2114), 검출된 상황 데이터를 서버(300)로 전송한다(S2115).
이 경우, 서버(300)는 상황 데이터에 기초하여 사용자의 청취 상황을 판단하고, 청취 상황에 부합하는 오디오 출력 정보를 결정하고(S2116), 오디오 출력 정보에 기초하여 오디오 데이터의 출력 상태를 변경하여 사운드 출력 기기(200)로 전송한다(S2117).
이후, 서버(300)는 사운드 출력 기기(200)로 테스트 신호를 전송하고(S2118), 사운드 출력 기기(200)는 테스트 신호에 반응하는 뇌파 데이터를 서버(300)로 전송한다(S2119).
이에 따라, 서버(300)는 뇌파 데이터 및 청취 상황에 부합하는 오디오 출력 정보를 결정한다(S2121).
그리고, 서버(300)는 오디오 출력 정보에 기초하여 오디오 데이터의 출력 상태를 변경하고 출력 상태가 변경된 오디오 데이터를 사운드 출력 기기(200)로 전송하고(S2122), 사운드 출력 기기(200)는 서버(300)로부터 수신된 오디오 데이터를 출력한다(S2123).
도 22는 본 발명의 일 실시 예에 따른 전자 시스템의 간략한 모식도이다.
도 22을 참조하면, 본 발명의 일 실시 예에 따른 전자 시스템은 사운드 출력 기기(200) 및 서버(300)를 포함한다.
한편, 도 22에 도시된 전자 시스템의 경우, 도 17에서 전자 장치(100)가 수행하는 기능 중 일부를 사운드 출력 기기(200)가 수행한다는 점을 제외하고는 도 17에서 설명한 전자 시스템과 동일하다는 점에서, 도 17과 중복되는 부분에 대한 구체적인 설명은 생략하도록 한다.
전자 장치(100)는 사용자의 상황 데이터를 검출하고, 검출된 상황 데이터를 서버(300)로 전송할 수 있다. 또한, 전자 장치(100)는 테스트 신호에 반응하는 사용자 입력(가령, 수동으로 사용자가 입력하는 조작)을 서버(300)로 전송할 수 있다.
서버(300)는 전자 장치(100)로부터 수신된 상황 데이터 및 사용자 입력에 기초하여, 오디오 출력 정보를 생성하여 저장하고, 이를 사운드 출력 기기(200)로 전송할 수 있다.
이를 위해, 서버(300)는 도 18과 같이 통신부(310), 저장부(320) 및 프로세서(330)를 포함할 수 있다.
통신부(310)는 사운드 출력 기기(200)와 통신을 수행할 수 있다. 구체적으로, 통신부(310)는 사운드 출력 기기(200)와 통신을 수행하여, 오디오 출력 정보를 사운드 출력 기기(200)로 전송할 수 있다.
이 경우, 통신부(310)는 다양한 방식으로 사운드 출력 기기(200)와 통신을 수행할 수 있다. 예를 들어, 통신부(310)는 WI-FI, 3G, 3GPP, LTE 등과 같은 다양한 통신 방식을 통해 사운드 출력 기기(200)와 통신을 수행할 수 있다.
프로세서(330)는 사용자의 청취 상황 및 테스트 신호에 반응하는 사용자 입력에 기초하여 결정된 오디오 출력 정보를 사운드 출력 기기(200)로 전송하도록 제어할 수 있다.
한편, 사운드 출력 기기(200)는 서버(300)로부터 수신된 오디오 출력 정보에 기초하여 오디오 데이터의 출력 상태를 변경하여 출력할 수 있다.
도 23은 본 발명의 일 실시 예에 따른 사운드 출력 기기 및 서버의 동작을 설명하기 위한 시퀀스도이다.
도 23을 참조하면, 서버(300)는 청취 상황 별 오디오 출력 정보를 생성하여 저장한다(S2311).
이어서, 전자 장치(100)는 사용자의 상황 데이터를 검출하고(S2112), 검출된 상황 데이터를 서버(300)로 전송한다(S2113).
이 경우, 서버(300)는 상황 데이터에 기초하여 사용자의 청취 상황을 판단하고, 청취 상황에 부합하는 오디오 출력 정보를 결정하고(S2134), 오디오 출력 정보를 사운드 출력 기기(200)로 전송한다(S2315).
이후, 사운드 출력 기기(200)는 서버(300)로부터 수신된 오디오 출력 정보에 기초하여 오디오 데이터의 출력 상태를 변경하여 출력할 수 있다(S2316).
한편, 서버(300)는 전자 장치(100)로 테스트 신호를 전송하고(S2317), 전자 장치(100)는 테스트 신호에 반응하는 사용자 입력을 서버(300)로 전송한다(S2318).
그리고, 서버(300)는 사용자 입력 및 청취 상황에 부합하는 오디오 출력 정보를 결정하고(S2319), 오디오 출력 정보를 사운드 출력 기기(200)로 전송한다(S2321).
이에 따라, 사운드 출력 기기(200)는 서버(300)로부터 수신된 오디오 출력 정보에 기초하여 오디오 데이터의 출력 상태를 변경하여 출력할 수 있다(S2322).
도 24는 본 발명의 일 실시 예에 따른 사운드 출력 기기의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 전자 장치로부터 제1 오디오 데이터를 수신하여 출력한다(S2410).
이후, 사용자의 뇌파 데이터를 전자 장치로 전송한다(S2420).
그리고, 전송된 뇌파 데이터에 대응하여, 전자 장치로부터 제1 오디오 데이터가 변경된 제2 오디오 데이터를 수신하여 출력한다(S2430).
이 경우, 전자 장치는 사용자의 뇌파 데이터에 기초하여 결정된 청력 정보 및 사용자의 청취 상황을 기초로 변경된 오디오 출력 정보에 따라 제1 오디오 데이터를 제2 오디오 데이터로 변경하여 사운드 출력 기기로 전송할 수 있다.
여기에서, 오디오 출력 정보는 이퀄라이저, 음량 및 권장 연속 청취시간 중 적어도 하나에 대한 정보를 포함할 수 있다.
한편, S2420 단계는 전자 장치로부터 테스트 신호가 수신되면, 테스트 신호를 출력하고 테스트 신호에 대해 반응하는 뇌파 데이터를 전자 장치로 전송할 수 있다.
도 25는 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 제1오디오 데이터를 상기 사운드 출력 기기로 전송한다(S2510).
이후, 사용자의 상황 데이터를 검출하고(S2520), 사운드 출력 기기로부터 사용자의 뇌파 데이터를 수신한다(S2530).
그리고, 뇌파 데이터 및 상황 데이터에 대응하여 오디오 출력 정보를 결정하고(S2540), 오디오 출력 정보를 이용하여 제1오디오 데이터를 제2오디오 데이터로 변경하여 사운드 출력 기기로 전송한다(S2550).
여기에서, 오디오 출력 정보는 이퀄라이저, 음량 및 권장 연속 청취시간 중 적어도 하나에 대한 정보를 포함할 수 있다.
한편, S2550 단계는 사용자의 뇌파 데이터에 기초한 사용자의 청력 정보 및 사용자의 상황 데이터에 기초한 사용자의 청취 상황에 대응하여 결정된 오디오 출력 정보를 이용하여 제1오디오 데이터를 제2오디오 데이터로 변경할 수 있다.
여기에서, 청취 상황은 사용자의 주변 환경 상황, 사용자의 신체 활동 상황 및 사운드 출력 기기의 타입 중 적어도 하나를 포함할 수 있다.
또한, 사용자의 청력 정보는 사용자의 청력 특성 및 사용자의 청력 민감도를 포함하며, 사용자의 청력 특성은 사용자의 가청 범위, 좌우 귀 각각에 대한 청력 수준 및 주파수별 청력 수준 중 적어도 하나를 포함하며, 사용자의 청력 민감도는 주변 노이즈 민감도, 신체 활동량 민감도, 체온 민감도, 오디오 데이터 민감도 및 인지 상태 민감도 중 적어도 하나를 포함할 수 있다.
한편, 본 실시 예에 따른 제어 방법은 테스트 신호를 사운드 출력 기기로 전송하고, 테스트 신호에 반응하는 뇌파 데이터에 기초하여 사용자의 청력 정보를 획득할 수 있다.
한편, 이하에서는 사용자가 다양한 상황에서 오디오 데이터를 청취하는 경우를 가정하여, 오디오 데이터의 출력 상태를 변경하는 방법을 설명하도록 한다.
다양한 실시 예에 따르면, 사운드 출력 기기(200)는 운송 기기에 포함된 스피커로 구현될 수 있다. 여기에서, 운송 기기는, 예를 들면, 차량, 비행기, 선박, 오토바이, 기차 등 사람이 탐승하거나 또는 화물이 적재되어 이동할 수 있는 기기일 수 있다.
도 26은 본 발명의 다양한 실시 예에 따른 사운드 출력 기기를 포함한 운송 기기의 구현 형태 및 오디오 출력 정보를 결정하는 방법을 설명하기 위한 도면들이다.
도 26의 (a)를 참조하면, 운송 기기(2600)는 도 3의 구성요소들을 포함할 수 있다. 운송 기기(2600)는 통신부(210)을 이용하여 전자 장치(100)와 통신하여 오디오 데이터를 수신받아 출력부(예: 스피커(2615))를 통해 출력할 수 있다.
일 구현 예에 따라, 사운드 출력 기기(200)가 운송 기기(2600)에 포함된 경우, 뇌파 데이터 측정을 위한 전극(2630)은 사용자 신체에 접촉 가능한 형태로 구현될 수 있다. 예를 들어, 뇌파 데이터 측정을 위한 전극(2630)은 사용자 손에 접촉 가능한 핸들(2610)에 실장된 형태 또는 사용자 목 부분에 접촉 가능한 머리 받침(2620)에 실장된 형태 등으로 구현 가능하다. 이 경우, 운송 기기(2600)는 적어도 한 개 이상의 건식/습식/반건식 전극을 이용하여 손, 뒷목 또는 그 밖의 신체 부위에서의 사용자 뇌파 데이터를 측정할 수 있다.
예를 들어, 뇌파 데이터 측정을 위한 전극(2630)이 핸들(2610)에 포함되는 경우, 핸들은 다수의 전극(2630)을 내장할 수 있다. 핸들에 뇌파 데이터 측정을 위한 전극(2630)을 내장하는 경우, 측정 위치가 사용자의 뇌와 거리가 있어 불필요한 노이즈가 발생할 수 있다. 따라서 이 경우, 프로세서(240)는 측정 데이터에서 필요한 뇌파만 추출하는 소프트웨어를 더 포함하여 뇌파 측정의 정확도를 높힐 수 있다.
다양한 실시 예에 따르면, 뇌파 데이터 측정을 위한 전극(2630)은 사용자의 머리를 받치는 머리 받침들(2620-1, 2620-2)에 실장될 수도 있다. 머리 받침들(2620-1, 2620-2)은 운전자 또는 동승자의 목에 접촉하여 뇌파를 측정할 수 있다. 이 경우, 프로세서(240)는 운전자와 동승자의 뇌파를 구분하여 각각의 상황에 맞추어 차량의 출력부(2615)을 제어할 수 있다.
전자 장치(100)는 운송 기기(2600)로부터 수신된 상황 데이터 또는 전자 장치(100)에 구비된 다양한 센서를 통해 센싱된 상황 데이터에 기초하여 사용자의 청취 상황을 판단할 수 있다.
예를 들어, 도 26의 (b)에 도시된 바와 같이, 전자 장치(100)는 사용자가 운송 기기(2600)를 운전하고 있는 청취 상황에서 수신된 상황 데이터에 기초하여 현재 청취 상황이 노이즈가 적고, 활동량이 매우 적은 청취 상황임을 판단할 수 있다.
전자 장치(100)는 노이즈가 적고, 활동량이 매우 적은 청취 상황에 대응되는 오디오 출력 정보(2640)를 결정하고, 오디오 출력 정보에 따라 출력 상태가 변경된 오디오 데이터를 재생하여 운송 기기의 출력부(2615)로 전송할 수 있다.
이어서, 도 26의 (b)에 도시된 바와 같이, 전자 장치(100)는 오디오 데이터(30) 사이에 테스트 신호(i1,..., iN +1)를 제공할 수 있다.
그리고, 전자 장치(100)는 테스트 신호에 대해 반응하는 뇌파 데이터에 기초하여 사용자의 청력 정보를 판단하여 실시간 청력 정보(2670)를 획득할 수 있다. 여기서, 청력 정보(2670)는 상술한 사용자의 청력 특성 및 청력 민감도 중 적어도 하나를 포함할 수 있다.
이어서, 전자 장치(100)는 획득된 사용자의 청력 정보에 기초하여 오디오 출력 정보(2640)를 업데이트하고, 업데이트된 오디오 출력 정보(2640-1)에 기초하여 오디오 데이터의 출력 상태를 변경하여 재생할 수 있다.
이후에도, 전자 장치(100)는 뇌파 데이터에 따른 사용자의 청력 정보에 기초하여 오디오 출력 정보(2650, 2660)를 결정하고, 오디오 출력 정보(2650, 2660)에 기초하여 오디오 데이터의 출력 상태를 변경하여 재생할 수 있다.
전자 장치(100)는 운송 기기(2600)를 운전하는 사용자 이외에 동승자의 뇌파 데이터도 함께 이용하여 오디오 데이터의 출력 상태를 변경하여 재생하거나, 운전자와 인접한 출력부와 동승자와 인접한 출력부의 출력 상태를 각각 다르게 하여 재생할 수 있다.
다양한 실시 예에 따르면, 운송 기기(2600)의 프로세서(240)는 센서부(230) 또는 전자 장치(100)의 검출부(120)로부터 획득한 다양한 정보에 기반하여 운송 기기(2600)의 다양한 구성 요소들을 제어할 수도 있다.
프로세서(240)는, 예를 들면, 운송기기(2600)의 난방 장치, 핸들 열선, 시트 열선, 시트 통풍 장치, 디스플레이 밝기 등을 제어할 수 있다.
구체적으로, 사용자가 운전을 하던 도중에 창문을 개방하는 경우, 프로세서(240)는 가동 중인 에어컨을 중단하고, 운송 기기(2600)에 포함된 디스플레이(미도시) 밝기를 더 밝게 제어할 수 있다. 또한 오디오 데이터의 음량을 높여 외부로부터 유입되는 소음에 대응할 수 있다.
사용자가 운전을 하던 도중에 비가 오는 경우, 프로세서(240)는 시트 열선, 핸들 열선을 가동할 수 있고, 오디오 데이터의 음량을 높여 비가 오는 소리에 의해 소음이 높아진 상황에 대응할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들어, 상술한 바와 같이 사용자의 편의를 고려하여 음량을 조절할 수 있지만, 운송기기(2600)의 안전한 주행을 고려하여 음량이 조절될 수도 있다.
구체적으로, 운송기기(2600)는 속도가 기 설정된 속도보다 높아지는 경우에는, 차량 주행과 관련된 알림음의 음량을 높힐 수 있다. 그리고, 운송기기(2600)의 속도가 기 설정된 속도 보다 낮은 경우에는, 차량 주행과 관련된 알림음의 음량을 낮추어 발생시킬 수 있다.
이와 같이, 프로세서(240)는 센서부(230) 또는 전자 장치(100)의 검출부(120)를 통해 수집되는 정보에 기반하여 운송 기기(2600)의 다양한 동작을 제어할 수 있다.
다양한 실시 예에 따르면, 사운드 출력 기기(200)는 의료 기기에 포함된 헤드폰으로 구현될 수 있다. 의료 기기는, 예를 들면, MRI(Magnetic Resonance Imaging) 시스템과 같이 대상체의 생체 상태를 측정하는 기기일 수 있다.
도 27은 본 발명의 다양한 실시 예에 따른 사운드 출력 기기를 포함한 의료 기기에서 오디오 출력 정보를 결정하는 방법을 설명하기 위한 도면들이다. 도 27을 참조하면, MRI 시스템(2701)은 도 3의 구성요소들을 포함할 수 있다. 한편, MRI 시스템(2701)은 MRI 시스템(2701)의 주변 환경을 센싱하기 위한 다양한 센서(미도시)를 포함할 수 있다.
프로세서(240)는 센싱 된 상황 데이터에 기초하여 결정된 오디오 출력 정보에 대응되는 오디오 데이터를 측정 대상체의 머리에 장착하고 있는 헤드폰(미도시)으로 출력할 수 있다. 헤드폰(미도시)은 도 16b의 헤드폰(1620)으로 구현될 수 있다.
예를 들어, 프로세서(240)는 다양한 센서를 통해, 사용자의 청취 상황을 판단하는데 이용되는 상황 데이터를 검출할 수 있다. 예를 들어, 프로세서(240)는 대상체가 검사되고 있는 상황에서 수신된 상황 데이터에 기초하여 현재 대상체의 청취 상황이 저소음 측정 구간이고, 활동량이 매우 적은 청취 상황임을 판단할 수 있다. 대상체(object)는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등; organ) 또는 팬텀(phantom) 등을 포함할 수 있다.
프로세서(240)는 대상체의 활동량이 매우 적은 청취 상황에 대응되는 오디오 출력 정보(2710)를 결정하고, 오디오 출력 정보에 따라 출력 상태가 변경된 오디오 데이터를 재생하여 헤드폰(미도시)으로 전송할 수 있다. 또한 프로세서(240)는 저소음 상태에서 노이즈 제거 알고리즘을 구동하여 노이즈를 제거한 오디오 데이터를 헤드폰(미도시)으로 전송할 수 있다.
이어서, 도 27에 도시된 바와 같이, MRI 시스템(2701)은 오디오 데이터(30) 사이에 테스트 신호(i1,..., iN +1)를 제공할 수 있다.
그리고, 프로세서(240)는 테스트 신호에 대해 반응하는 뇌파 데이터에 기초하여 사용자의 청력 정보를 판단하여 실시간 청력 정보(2730)를 획득할 수 있다. 여기서, 청력 정보(2730)는 상술한 사용자의 청력 특성 및 청력 민감도 중 적어도 하나를 포함할 수 있다. 예를 들어, 프로세서(240)는 장시간 검사에 따른 대상체의 뇌파 데이터의 변화를 반영하여 실시간 청력 정보(2730)을 획득할 수 있다.
이어서, 프로세서(240)는 획득된 사용자의 청력 정보에 기초하여 오디오 출력 정보(2710)를 업데이트하고, 업데이트된 오디오 출력 정보(2710-1)에 기초하여 오디오 데이터의 출력 상태를 변경하여 재생할 수 있다.
이후에도, 프로세서(240)는 뇌파 데이터에 따른 사용자의 청력 정보와 소음이 증가된 상황에 기초하여 오디오 출력 정보(2720)를 결정하고, 오디오 출력 정보(2720)에 기초하여 오디오 데이터의 출력 상태를 변경하여 재생할 수 있다. 또한 프로세서(240)는 고소음 상태에서 노이즈 제거 알고리즘을 구동하여 노이즈를 제거한 오디오 데이터를 헤드폰(미도시)으로 전송할 수 있다.
한편, 본 발명에 따른 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 상술한 블록도에서는 버스(bus)를 미도시하였으나, 각 장치에서 구성요소들 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 각 장치에는 상술한 다양한 동작을 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있으며, 각 장치에는 상술한 다양한 동작을 수행하기 위한 메모리가 더 포함될 수도 있다.
또한, 본 발명의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.
100 : 전자 장치 110 : 통신부
120 : 검출부 130 : 프로세서

Claims (21)

  1. 전자 장치와 통신을 수행하여 제1 오디오 데이터를 수신하는 통신부;
    상기 수신된 제1 오디오 데이터를 출력하는 출력부;
    사용자의 뇌파 데이터를 검출하는 센서부; 및,
    상기 센서부를 통해 검출된 상기 사용자의 뇌파 데이터를 상기 통신부를 통해 상기 전자 장치로 전송하고, 상기 전자 장치로부터 상기 제1 오디오 데이터가 변경된 제2 오디오 데이터를 수신하여 출력하도록 제어하는 프로세서;를 포함하는 사운드 출력 기기.
  2. 제1항에 있어서,
    상기 전자 장치는,
    상기 사용자의 뇌파 데이터에 기초하여 결정된 청력 정보 및 상기 사용자의 청취 상황을 기초로 변경된 오디오 출력 정보에 따라 상기 제1 오디오 데이터를 상기 제2 오디오 데이터로 변경하여 상기 사운드 출력 기기로 전송하는 것을 특징으로 하는 사운드 출력 기기.
  3. 제2항에 있어서,
    상기 오디오 출력 정보는,
    이퀄라이저, 음량 및 권장 연속 청취시간 중 적어도 하나에 대한 정보를 포함하는 것을 특징으로 하는 사운드 출력 기기.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 전자 장치로부터 테스트 신호가 수신되면, 상기 테스트 신호를 출력하고 상기 테스트 신호에 대해 반응하는 상기 뇌파 데이터를 상기 전자 장치로 전송하는 것을 특징으로 하는 사운드 출력 기기.
  5. 사운드 출력 기기와 연결되고, 제1오디오 데이터를 상기 사운드 출력 기기로 전송하는 통신부;
    사용자의 상황 데이터를 검출하는 검출부; 및
    상기 사운드 출력 기기에서부터 수신된 상기 사용자의 뇌파 데이터 및 상기 검출된 상기 사용자의 상황 데이터에 대응하여 결정된 오디오 출력 정보를 이용하여 상기 제1오디오 데이터를 제2오디오 데이터로 변경하여 상기 사운드 출력 기기로 전송하는 프로세서;를 포함하는 전자 장치.
  6. 제5항에 있어서,
    상기 오디오 출력 정보는,
    이퀄라이저, 음량 및 권장 연속 청취시간 중 적어도 하나에 대한 정보를 포함하는 것을 특징으로 하는 전자 장치.
  7. 제5항에 있어서,
    상기 프로세서는,
    상기 사용자의 뇌파 데이터에 기초한 상기 사용자의 청력 정보 및 상기 사용자의 상황 데이터에 기초한 사용자의 청취 상황에 대응하여 결정된 오디오 출력 정보를 이용하여 상기 제1오디오 데이터를 상기 제2오디오 데이터로 변경하는 것을 특징으로 하는 전자 장치.
  8. 제7항에 있어서,
    상기 청취 상황은,
    상기 사용자의 주변 환경 상황, 상기 사용자의 신체 활동 상황 및 상기 사운드 출력 기기의 타입 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
  9. 제7항에 있어서,
    상기 사용자의 청력 정보는, 상기 사용자의 청력 특성 및 상기 사용자의 청력 민감도를 포함하며,
    상기 사용자의 청력 특성은, 상기 사용자의 가청 범위, 좌우 귀 각각에 대한 청력 수준 및 주파수별 청력 수준 중 적어도 하나를 포함하며,
    상기 사용자의 청력 민감도는, 주변 노이즈 민감도, 신체 활동량 민감도, 체온 민감도, 오디오 데이터 민감도 및 인지 상태 민감도 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
  10. 제7항에 있어서,
    상기 프로세서는,
    테스트 신호를 상기 사운드 출력 기기로 전송하고, 상기 테스트 신호에 반응하는 상기 뇌파 데이터에 기초하여 상기 사용자의 청력 정보를 획득하는 것을 특징으로 하는 전자 장치.
  11. 전자 장치와 통신을 수행하여 오디오 데이터를 출력하는 사운드 출력 기기의 제어 방법에 있어서,
    상기 전자 장치로부터 제1 오디오 데이터를 수신하여 출력하는 단계;
    사용자의 뇌파 데이터를 상기 전자 장치로 전송하는 단계; 및,
    상기 뇌파 데이터의 전송에 대응하여, 상기 전자 장치로부터 상기 제1 오디오 데이터가 변경된 제2 오디오 데이터를 수신하여 출력하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 전자 장치는,
    상기 사용자의 뇌파 데이터에 기초하여 결정된 청력 정보 및 상기 사용자의 청취 상황을 기초로 변경된 오디오 출력 정보에 따라 상기 제1 오디오 데이터를 상기 제2 오디오 데이터로 변경하여 상기 사운드 출력 기기로 전송하는 것을 특징으로 하는 제어 방법.
  13. 제12항에 있어서,
    상기 오디오 출력 정보는,
    이퀄라이저, 음량 및 권장 연속 청취시간 중 적어도 하나에 대한 정보를 포함하는 것을 특징으로 하는 제어 방법.
  14. 제11항에 있어서,
    상기 전송하는 단계는,
    상기 전자 장치로부터 테스트 신호가 수신되면, 상기 테스트 신호를 출력하고 상기 테스트 신호에 대해 반응하는 상기 뇌파 데이터를 상기 전자 장치로 전송하는 것을 특징으로 하는 제어 방법.
  15. 사운드 출력 기기로 오디오 데이터를 전송하는 전자 장치의 제어 방법에 있어서,
    제1오디오 데이터를 상기 사운드 출력 기기로 전송하는 단계;
    사용자의 상황 데이터를 검출하는 단계; 및
    상기 사운드 출력 기기에서부터 수신된 상기 사용자의 뇌파 데이터 및 상기 검출된 상기 사용자의 상황 데이터에 대응하여 결정된 오디오 출력 정보를 이용하여 상기 제1오디오 데이터를 제2오디오 데이터로 변경하여 상기 사운드 출력 기기로 전송하는 단계;를 포함하는 제어 방법.
  16. 제15항에 있어서,
    상기 오디오 출력 정보는,
    이퀄라이저, 음량 및 권장 연속 청취시간 중 적어도 하나에 대한 정보를 포함하는 것을 특징으로 하는 제어 방법.
  17. 제15항에 있어서,
    상기 제2오디오 데이터로 변경하여 전송하는 단계는,
    상기 사용자의 뇌파 데이터에 기초한 상기 사용자의 청력 정보 및 상기 사용자의 상황 데이터에 기초한 사용자의 청취 상황에 대응하여 결정된 오디오 출력 정보를 이용하여 상기 제1오디오 데이터를 상기 제2오디오 데이터로 변경하는 것을 특징으로 하는 제어 방법.
  18. 제17항에 있어서,
    상기 청취 상황은,
    상기 사용자의 주변 환경 상황, 상기 사용자의 신체 활동 상황 및 상기 사운드 출력 기기의 타입 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
  19. 제17항에 있어서,
    상기 사용자의 청력 정보는, 상기 사용자의 청력 특성 및 상기 사용자의 청력 민감도를 포함하며,
    상기 사용자의 청력 특성은, 상기 사용자의 가청 범위, 좌우 귀 각각에 대한 청력 수준 및 주파수별 청력 수준 중 적어도 하나를 포함하며,
    상기 사용자의 청력 민감도는, 주변 노이즈 민감도, 신체 활동량 민감도, 체온 민감도, 오디오 데이터 민감도 및 인지 상태 민감도 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
  20. 제17항에 있어서,
    테스트 신호를 상기 사운드 출력 기기로 전송하고, 상기 테스트 신호에 반응하는 상기 뇌파 데이터에 기초하여 상기 사용자의 청력 정보를 획득하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  21. 전자 장치 및 사운드 출력 기기를 포함하는 전자 시스템에 있어서,
    상기 전자 장치와 통신을 수행하여 제1 오디오 데이터를 수신하여 출력하고, 사용자의 뇌파 데이터를 검출하며, 상기 검출된 상기 사용자의 뇌파 데이터를 상기 전자 장치로 전송하는 사운드 출력 기기; 및
    상기 사운드 출력 기기에서부터 수신된 상기 사용자의 뇌파 데이터 및 검출된 상기 사용자의 상황 데이터에 대응하여 결정된 오디오 출력 정보를 이용하여 상기 제1오디오 데이터가 변경된 제2오디오 데이터를 상기 사운드 출력 기기로 전송하는 전자 장치;를 포함하는 전자 시스템.
KR1020160051960A 2015-04-30 2016-04-28 사운드 출력 기기, 전자 장치 및 그 제어 방법 KR102460393B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/143,091 US10345901B2 (en) 2015-04-30 2016-04-29 Sound outputting apparatus, electronic apparatus, and control method thereof
CN201680031923.0A CN107683399B (zh) 2015-04-30 2016-04-29 声音输出装置、电子装置、以及其控制方法
PCT/KR2016/004565 WO2016175622A1 (en) 2015-04-30 2016-04-29 Sound outputting apparatus, electronic apparatus, and control method thereof
US16/446,783 US10824232B2 (en) 2015-04-30 2019-06-20 Sound outputting apparatus, electronic apparatus, and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150061905 2015-04-30
KR20150061905 2015-04-30

Publications (2)

Publication Number Publication Date
KR20160129752A true KR20160129752A (ko) 2016-11-09
KR102460393B1 KR102460393B1 (ko) 2022-11-01

Family

ID=57529034

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160051960A KR102460393B1 (ko) 2015-04-30 2016-04-28 사운드 출력 기기, 전자 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US10824232B2 (ko)
KR (1) KR102460393B1 (ko)
CN (1) CN107683399B (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018094230A3 (en) * 2016-11-17 2018-07-26 Cognito Therapeutics, Inc. Methods and systems for neural stimulation via auditory stimulation
EP3445068A1 (de) * 2017-08-14 2019-02-20 Sivantos Pte. Ltd. Verfahren zum betrieb eines hörgeräts und hörgerät
KR102486687B1 (ko) 2022-11-01 2023-01-11 주식회사 디지털뉴트리션 사용자의 건강 설문과 뇌파 신호를 기반으로, 사용자 맞춤형 건강 관리 컨텐츠를 생성하기 위한 장치 및 방법
KR102486690B1 (ko) 2022-11-01 2023-01-12 주식회사 디지털뉴트리션 사용자 맞춤형으로 건강 관리 음악을 제공하기 위한 장치, 방법, 및 시스템
WO2023048499A1 (en) * 2021-09-24 2023-03-30 Samsung Electronics Co., Ltd. Method and electronic device for personalized audio enhancement
EP4274241A3 (en) * 2017-10-03 2024-01-03 Google LLC Display mode dependent response generation with latency considerations
KR102636709B1 (ko) * 2023-09-14 2024-02-14 주식회사 포자랩스 강화 학습을 이용한 오디오 생성

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108682434B (zh) * 2018-03-26 2020-08-21 Oppo广东移动通信有限公司 电子装置、数据处理方法及相关产品
CN109147807B (zh) * 2018-06-05 2023-06-23 安克创新科技股份有限公司 一种基于深度学习的音域平衡方法、装置及系统
US11272288B1 (en) * 2018-07-19 2022-03-08 Scaeva Technologies, Inc. System and method for selective activation of an audio reproduction device
CN110839193A (zh) * 2018-08-15 2020-02-25 宏碁股份有限公司 电子系统及音频处理方法
US11017790B2 (en) * 2018-11-30 2021-05-25 International Business Machines Corporation Avoiding speech collisions among participants during teleconferences
TW202027062A (zh) * 2018-12-28 2020-07-16 塞席爾商元鼎音訊股份有限公司 聲音播放系統及其調整輸出聲音之方法
KR102278069B1 (ko) * 2019-10-22 2021-07-14 조선대학교산학협력단 근전도 신호 기반 사용자 인증 장치 및 인증 방법
CN111132377B (zh) * 2019-12-27 2022-03-22 昱兆微电子科技(上海)有限公司 一种终端与耳机的数据传输方法和系统
US11986309B2 (en) * 2021-04-09 2024-05-21 Toyota Motor Engineering & Manufacturing North America, Inc. Passenger identification and profile mapping via brainwave monitoring
CN115514844A (zh) * 2021-06-07 2022-12-23 华为技术有限公司 一种音量调节的方法，电子设备和系统
CN114449411B (zh) * 2021-12-21 2023-05-26 歌尔科技有限公司 一种智能穿戴设备音量的动态调整方法、装置及智能穿戴设备
WO2023197043A1 (en) * 2022-04-14 2023-10-19 The Bionics Institute Of Australia Systems, methods and devices for assessing hearing
WO2024145479A1 (en) * 2022-12-30 2024-07-04 Elemind Technologies, Inc. Method, system and non-transitory computer-readable medium for producing neuromodulating audio signals for altering endogenous electrical signals
JP2024096542A (ja) * 2023-01-04 2024-07-17 株式会社Ｊｖｃケンウッド 情報伝送装置、情報伝送方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120021987A (ko) * 2010-08-24 2012-03-09 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20130101128A1 (en) * 2011-10-14 2013-04-25 Oticon A/S Automatic real-time hearing aid fitting based on auditory evoked potentials

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5219202B2 (ko) 1973-05-22 1977-05-26
US4275744A (en) 1979-11-19 1981-06-30 Wisconsin Alumni Research Foundation Auditory response detection method and apparatus
IL99946A (en) 1991-11-03 1995-12-31 Or Gil Computerized Medical Sy Apparatus for determination of auditory threshold to intelligible speech
JP3381074B2 (ja) 1992-09-21 2003-02-24 ソニー株式会社 音響構成装置
DE29615656U1 (de) 1996-09-07 1997-01-02 Finkenzeller, Peter, Prof. Dr.rer.nat., 91054 Erlangen Gerät zur Ableitung akustisch evozierter Gehirnpotentiale
US5999856A (en) 1997-02-21 1999-12-07 St. Croix Medical, Inc. Implantable hearing assistance system with calibration and auditory response testing
US6475163B1 (en) 2000-01-07 2002-11-05 Natus Medical, Inc Hearing evaluation device with patient connection evaluation capabilities
US7399282B2 (en) 2000-05-19 2008-07-15 Baycrest Center For Geriatric Care System and method for objective evaluation of hearing using auditory steady-state responses
KR100839109B1 (ko) 2006-09-20 2008-06-19 [주]이어로직코리아 타각적 자동청력검사 방법 및 그 장치
US7574254B2 (en) 2007-11-13 2009-08-11 Wavesynch Technologies, Inc. Method for monitoring attentiveness and productivity in a subject
JP5219202B2 (ja) 2008-10-02 2013-06-26 学校法人金沢工業大学 音信号処理装置、ヘッドホン装置および音信号処理方法
DE102008055180A1 (de) 2008-12-30 2010-07-01 Sennheiser Electronic Gmbh & Co. Kg Steuersystem, Hörer und Steuerungsverfahren
DE102009060093B4 (de) 2009-12-22 2011-11-17 Siemens Medical Instruments Pte. Ltd. Verfahren und Anordnung zum Einstellen eines Hörgeräts durch Erfassung der Höranstrengung
KR20120046367A (ko) 2010-11-02 2012-05-10 문재철 사운드와 영상을 이용한 뇌파 변이 장치 및 방법
KR101199443B1 (ko) 2010-12-14 2012-11-09 유비벨록스(주) 감성 인식용 이어폰 및 감성 표시용 단말 장치
KR101207697B1 (ko) 2011-03-04 2012-12-03 단국대학교 산학협력단 뇌파를 이용한 이명 유무 검사 장치 및 이를 이용한 이명 유무 검사 방법
JP2012183210A (ja) 2011-03-07 2012-09-27 Tokyo Univ Of Agriculture & Technology 脳波処理装置、脳波処理プログラム及び脳波処理方法
KR101372546B1 (ko) * 2012-04-26 2014-03-07 주식회사 티움씨앤씨 음량 변화를 이용한 유효 뇌파 강화 시스템 및 방법
WO2014102722A1 (en) * 2012-12-26 2014-07-03 Sia Technology Ltd. Device, system, and method of controlling electronic devices via thought
WO2014108080A1 (en) * 2013-01-09 2014-07-17 Ace Communications Limited Method and system for self-managed sound enhancement
US9148768B2 (en) 2013-01-18 2015-09-29 Ruggero Scorcioni Communication system having automated filtering based on mental state decisions
KR101496661B1 (ko) * 2013-10-08 2015-02-27 유한회사 청텍 다기능 스포츠 헤드셋
US10321842B2 (en) * 2014-04-22 2019-06-18 Interaxon Inc. System and method for associating music with brain-state data
CN204428043U (zh) * 2015-01-31 2015-07-01 付瑞芳 新型儿童听力测试仪
CN104783817B (zh) * 2015-04-16 2016-08-24 深圳市索菱实业股份有限公司 双模式汽车驾驶员驾驶状态检测平台

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120021987A (ko) * 2010-08-24 2012-03-09 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20130101128A1 (en) * 2011-10-14 2013-04-25 Oticon A/S Automatic real-time hearing aid fitting based on auditory evoked potentials

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10843006B2 (en) 2016-11-17 2020-11-24 Cognito Therapeutics, Inc. Methods and systems for neural stimulation via auditory stimulation
US10702705B2 (en) 2016-11-17 2020-07-07 Cognito Therapeutics, Inc. Methods and systems for neural stimulation via visual, auditory and peripheral nerve stimulations
KR20230156958A (ko) * 2016-11-17 2023-11-15 코그니토 쎄라퓨틱스, 인코포레이티드 시각 자극을 통한 신경 자극 방법 및 시스템
US10279192B2 (en) 2016-11-17 2019-05-07 Cognito Therapeutics, Inc. Methods and systems for neural stimulation via visual stimulation
WO2018094230A3 (en) * 2016-11-17 2018-07-26 Cognito Therapeutics, Inc. Methods and systems for neural stimulation via auditory stimulation
US10307611B2 (en) 2016-11-17 2019-06-04 Cognito Therapeutics, Inc. Methods and systems for neural stimulation via visual, auditory and peripheral nerve stimulations
US11141604B2 (en) 2016-11-17 2021-10-12 Cognito Therapeutics, Inc. Methods and systems for neural stimulation via visual stimulation
US10293177B2 (en) 2016-11-17 2019-05-21 Cognito Therapeutics, Inc. Methods and systems for neural stimulation via auditory stimulation
US10827285B2 (en) 2017-08-14 2020-11-03 Sivantos Pte. Ltd. Method for operating a hearing aid and hearing aid
EP3445068A1 (de) * 2017-08-14 2019-02-20 Sivantos Pte. Ltd. Verfahren zum betrieb eines hörgeräts und hörgerät
CN109391890A (zh) * 2017-08-14 2019-02-26 西万拓私人有限公司 用于运行听力设备的方法和听力设备
EP4274241A3 (en) * 2017-10-03 2024-01-03 Google LLC Display mode dependent response generation with latency considerations
WO2023048499A1 (en) * 2021-09-24 2023-03-30 Samsung Electronics Co., Ltd. Method and electronic device for personalized audio enhancement
KR102486687B1 (ko) 2022-11-01 2023-01-11 주식회사 디지털뉴트리션 사용자의 건강 설문과 뇌파 신호를 기반으로, 사용자 맞춤형 건강 관리 컨텐츠를 생성하기 위한 장치 및 방법
KR102486690B1 (ko) 2022-11-01 2023-01-12 주식회사 디지털뉴트리션 사용자 맞춤형으로 건강 관리 음악을 제공하기 위한 장치, 방법, 및 시스템
KR102636709B1 (ko) * 2023-09-14 2024-02-14 주식회사 포자랩스 강화 학습을 이용한 오디오 생성

Also Published As

Publication number Publication date
US10824232B2 (en) 2020-11-03
CN107683399B (zh) 2020-12-11
US20190310707A1 (en) 2019-10-10
CN107683399A (zh) 2018-02-09
KR102460393B1 (ko) 2022-11-01

Similar Documents

Publication Publication Date Title
KR102460393B1 (ko) 사운드 출력 기기, 전자 장치 및 그 제어 방법
US10345901B2 (en) Sound outputting apparatus, electronic apparatus, and control method thereof
US10366778B2 (en) Method and device for processing content based on bio-signals
JP7422801B2 (ja) 脳波データ分析方法及び脳波測定検査のための情報の呈示方法
US10130287B2 (en) Hearing test system
US10620593B2 (en) Electronic device and control method thereof
JP6939797B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2005021255A (ja) 制御装置及び制御方法
TW201820315A (zh) 改良型音訊耳機裝置及其聲音播放方法、電腦程式
US11779275B2 (en) Multi-sensory, assistive wearable technology, and method of providing sensory relief using same
JP2022059140A (ja) 情報処理装置及びプログラム
KR20150137453A (ko) 뇌파를 이용한 제어 방법 및 휴대 장치
KR20130079774A (ko) 뇌전도 베개를 이용한 수면 유도 방법 및 장치
KR20140133767A (ko) 디스플레이 장치 제어 방법 및 장치
JP2016013316A (ja) 音声調整装置、及び音声再生方法
US20230396941A1 (en) Context-based situational awareness for hearing instruments
US20230338698A1 (en) Multi-sensory, assistive wearable technology, and method of providing sensory relief using same
WO2021215267A1 (ja) 制御装置、及び制御方法
JP2024094146A (ja) 情報処理方法、情報処理装置、情報処理プログラム、及び施術施設

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant