KR20200113058A - 웨어러블 디바이스를 동작하기 위한 장치 및 방법 - Google Patents
웨어러블 디바이스를 동작하기 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR20200113058A KR20200113058A KR1020190031780A KR20190031780A KR20200113058A KR 20200113058 A KR20200113058 A KR 20200113058A KR 1020190031780 A KR1020190031780 A KR 1020190031780A KR 20190031780 A KR20190031780 A KR 20190031780A KR 20200113058 A KR20200113058 A KR 20200113058A
- Authority
- KR
- South Korea
- Prior art keywords
- wearable device
- user
- mode
- voice
- received input
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000009467 reduction Effects 0.000 claims description 53
- 230000007958 sleep Effects 0.000 claims description 40
- 210000004556 brain Anatomy 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 8
- 230000002452 interceptive effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 26
- 238000000537 electroencephalography Methods 0.000 description 23
- 230000005236 sound signal Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 238000000691 measurement method Methods 0.000 description 9
- 230000005856 abnormality Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000036541 health Effects 0.000 description 6
- 230000036385 rapid eye movement (rem) sleep Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000008452 non REM sleep Effects 0.000 description 3
- 206010033078 Otitis media Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 208000022760 infectious otitis media Diseases 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003860 sleep quality Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000002618 waking effect Effects 0.000 description 2
- 208000023433 Abnormality of the ear Diseases 0.000 description 1
- 206010062545 Middle ear effusion Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000005923 otitis media with effusion Diseases 0.000 description 1
- 230000008667 sleep stage Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4812—Detecting sleep stages or cycles
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
- G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
-
- A61B5/04012—
-
- A61B5/0476—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/065—Adaptation
- G10L15/07—Adaptation to the speaker
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0204—Operational features of power management
- A61B2560/0209—Operational features of power management adapted for power saving
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Psychiatry (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychology (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
웨어러블 디바이스를 동작하기 위한 방법이 제공된다. 웨어러블 디바이스의 동작 방법은, 웨어러블 디바이스의 주변의 소리를 입력으로서 수신하는 단계; 수신된 입력에 기초하여, 복수 개의 동작 모드들 중 하나를 결정하는 단계; 및 결정된 동작 모드에 따라, 기 설정된 동작을 수행하는 단계를 포함할 수 있다.
Description
본 개시(disclosure)는 일반적으로 웨어러블 디바이스(wearable device)를 동작하기 위한 장치 및 방법에 관한 것이다.
최근, 사용자가 신체에 착용할 수 있는 웨어러블 디바이스(wearable device) 중에서 이어폰(earphones) 및 헤드폰(headphone)에 대한 사용자들의 수요가 증가함에 따라, 다양한 형태의 이어폰 및 헤드폰이 개발되고 있다. 이에 따라, 이어폰 및 헤드폰과 같은 전자 디바이스를 이용하여, 다른 전자 디바이스에서 재생되는 컨텐츠에 대한 소리를 웨어러블 디바이스의 사용자에게 제공하는 전통적인 기능 이외에도, 이어폰 및 헤드폰의 기능에 대한 다양한 요구가 생겨나고 있다.
상술한 바와 같은 논의를 바탕으로, 본 개시(disclosure)는 웨어러블 디바이스(wearable device)를 동작하기 위한 장치 및 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, 웨어러블 디바이스 주변의 소리를 입력으로서 수신하고, 수신된 입력에 기초하여 웨어러블 디바이스의 동작 모드(operation mode)를 결정하기 위한 장치 및 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, 결정된 동작 모드에 따라, 기 설정된 동작을 수행하기 위한 장치 및 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, AI(artificial intelligence) 기술을 이용하여 웨어러블 디바이스의 동작 모드를 결정하거나, 기 설정된 동작을 수행하기 위한 장치 및 방법을 제공할 수 있다.
본 개시의 일 실시예에 따르면, 웨어러블 디바이스의 동작 방법은, 웨어러블 디바이스의 주변의 소리를 입력으로서 수신하는 단계; 수신된 입력에 기초하여, 복수 개의 동작 모드들 중 하나를 결정하는 단계; 및 결정된 동작 모드에 따라, 기 설정된 동작을 수행하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 웨어러블 디바이스는, 송수신부; 하나 이상의 인스트럭션을 저장하는 메모리; 및 웨어러블 디바이스의 주변의 소리를 입력으로서 수신하고, 수신된 입력에 기초하여, 복수 개의 동작 모드들 중 하나를 결정하고, 결정된 동작 모드에 따라, 기 설정된 동작을 수행하도록 하는, 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함할 수 있다.
도 1은 본 개시의 일 실시예에 따른 웨어러블 디바이스(wearable device)가 동작하는 개념도를 도시한다.
도 2는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 대화 상태(conversation state)에서 웨어러블 디바이스가 동작하는 예시를 나타내는 도면이다.
도 4는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 대화 모드(conversation mode)인 경우, 웨어러블 디바이스가 동작하는 전체적인 절차를 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 음성(voice) 및 비 음성(non voice) 분류(classification) 절차를 구체적으로 나타내는 도면이다.
도 6은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 음성 데이터 분리(separation) 절차를 구체적으로 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 웨어러블 디바이스가 대화 상태를 식별하는 예시를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 대화 상태 식별 절차를 구체적으로 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 웨어러블 디바이스가 음성 시그니처(voice signature)를 저장하는 경우, 저장 방법의 예시를 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 공지 모드(announcement mode)인 경우, 웨어러블 디바이스가 동작하는 전체적인 절차를 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따른 웨어러블 디바이스가 전력 제어 모드(power control mode)의 동작 모드로 동작하는 시나리오를 나타내는 도면이다.
도 12는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 전력 제어 모드인 경우, 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 13은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 전력 제어 모드인 경우, 웨어러블 디바이스가 동작하는 전체적인 절차를 나타내는 도면이다.
도 14는 본 개시의 일 실시예에 따른 웨어러블 디바이스가 귀 건강 상태를 분석하는 경우, 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 15는 본 개시의 일 실시예에 따른 웨어러블 디바이스 사용자의 수면 상태를 분석함으로써 전력 제어 모드를 활성화하는 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 16은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 블록도이다.
도 17은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 전력 제어 모드인 경우, 웨어러블 디바이스가 동작하는 예시를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 대화 상태(conversation state)에서 웨어러블 디바이스가 동작하는 예시를 나타내는 도면이다.
도 4는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 대화 모드(conversation mode)인 경우, 웨어러블 디바이스가 동작하는 전체적인 절차를 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 음성(voice) 및 비 음성(non voice) 분류(classification) 절차를 구체적으로 나타내는 도면이다.
도 6은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 음성 데이터 분리(separation) 절차를 구체적으로 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 웨어러블 디바이스가 대화 상태를 식별하는 예시를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 대화 상태 식별 절차를 구체적으로 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 웨어러블 디바이스가 음성 시그니처(voice signature)를 저장하는 경우, 저장 방법의 예시를 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 공지 모드(announcement mode)인 경우, 웨어러블 디바이스가 동작하는 전체적인 절차를 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따른 웨어러블 디바이스가 전력 제어 모드(power control mode)의 동작 모드로 동작하는 시나리오를 나타내는 도면이다.
도 12는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 전력 제어 모드인 경우, 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 13은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 전력 제어 모드인 경우, 웨어러블 디바이스가 동작하는 전체적인 절차를 나타내는 도면이다.
도 14는 본 개시의 일 실시예에 따른 웨어러블 디바이스가 귀 건강 상태를 분석하는 경우, 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 15는 본 개시의 일 실시예에 따른 웨어러블 디바이스 사용자의 수면 상태를 분석함으로써 전력 제어 모드를 활성화하는 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 16은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 블록도이다.
도 17은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 전력 제어 모드인 경우, 웨어러블 디바이스가 동작하는 예시를 나타내는 도면이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에서 다양한 곳에 등장하는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
본 개시의 일 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단" 및 "구성"등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 웨어러블 디바이스(wearable device)가 동작하는 개념도를 도시한다.
도 1을 참조하면, 사용자(130)는 웨어러블 디바이스(110)를 착용함으로써, 단말(120)에서 재생되는 컨텐츠에 대한 소리를 들을 수 있다. 예를 들면, 웨어러블 디바이스(110)는 이어폰, 헤드폰과 같은 음향 기기(audio device)를 포함할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 단말(120) 또는 다른 전자 디바이스와 무선(wireless)으로 또는 유선으로 연결될 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 블루투스(Blutooth), BLE(Bluetooth Low Energy), UWB(Ultra WideBand) 또는 Wi-Fi 기술을 이용하여 단말(120) 또는 다른 전자 디바이스와 무선으로 연결될 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 주변 소리를 수신할 수 있다. 예를 들면, 웨어러블 디바이스(110)의 주변 소리는, 사용자(130)의 음성(voice), 사용자(130)와 대화 중인 다른 화자(speaker)의 음성(voice), 사용자(130)와 대화 중이지 않은 다른 화자의 음성, 스피커에서 나오는 사람의 음성 등을 포함할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 주변 소리를 입력으로서 수신하고, 웨어러블 디바이스(110)의 동작 모드를 결정할 수 있다. 예를 들면, 동작 모드는 사용자와 화자 간의 대화 상태를 나타내는 대화 모드(conversation mode), 외부 디바이스로부터 출력되는 공지(announcement)를 검출하는 공지 모드(announcement mode) 또는 웨어러블 디바이스(110)의 전력 소모를 조절하는 전력 제어 모드 등을 포함할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는 반사된 소리 신호를 수신할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 소리 신호를 출력하고, 출력된 소리 신호가 사용자(130)의 귀 안에서 반사된 소리 신호(reflected sound signal)를 수신할 수 있다. 상술한 소리 신호 출력 후 반사된 소리 신호를 수신하는 기법은, 음향 반사 측정(Acoustic Reflectometry) 기법에 포함될 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 음향 반사 측정 기법을 이용하여 웨어러블 디바이스(110)를 착용한 사용자(130)의 귀 상태를 분석할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 음향 반사 측정 기법을 이용함으로써 사용자(130) 귀의 중이염(middle ear infection)과 같은 질병을 검출할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는 사용자(130)의 뇌파를 수신할 수 있다. 웨어러블 디바이스(110)는 EEG(Electroencephalography) 센서를 포함할 수 있다. 웨어러블 디바이스(110)는 EEG 센서를 이용하여 사용자(130)의 뇌에서 출력되는 뇌파를 수신할 수 있다. 수신된 뇌파를 분석함으로써 웨어러블 디바이스(110)는 사용자(130)의 수면 상태를 판단하거나, 사용자(130)의 수면의 질(sleep quality)을 측정하거나, 사용자(130)의 스트레스 레벨(stress level)을 결정할 수 있다. 예를 들면, 사용자의 수면 상태는 깨어있는 상태, 깨어있는 것에 가까운 얕은 수면을 나타내는 렘수면(Rapid eye movement sleep, REM sleep), 렘수면 보다 더 깊게 잠든 상태인 비렘수면(Non-REM sleep)을 포함할 수 있다. 상술한 바와 같이, 웨어러블 디바이스(110)는 다양한 입력을 수신할 수 있고, 각 입력에 대응하는 동작을 수행할 수 있다.
도 2는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 2를 참조하면, 201 단계에서, 웨어러블 디바이스(110)는 주변 소리를 입력으로 수신할 수 있다. 예를 들면, 웨어러블 디바이스(110)의 주변 소리는, 사용자(130)의 음성, 사용자(130)와 대화 중인 다른 화자(speaker)의 음성, 사용자(130)와 대화 중이지 않은 다른 화자의 음성, 스피커에서 나오는 사람의 음성 등을 포함할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)로 수신된 입력은 음성 시그니처(voice signature) 또는 공지 시그니처(announcement signature)를 포함할 수 있다. 일 실시예에서, 음성 시그니처는 사람마다 갖는 고유한 목소리를 나타내는 식별자일 수 있다. 그러므로, 음성 시그니처는 사람마다 다를 수 있다. 일 실시예에서, 공지 시그니처는 버스 정류장, 지하철역 또는 기차역과 같은 공공시설의 스피커에서 출력되는 방송 신호를 나타내는 식별자일 수 있다.
203 단계에서, 웨어러블 디바이스(110)는 수신된 입력에 기초하여 복수 개의 동작 모드 등을 결정할 수 있다. 일 실시예에서, 복수 개의 동작 모드들은, 웨어러블 디바이스(110)의 사용자와 화자(speaker) 간의 대화 상태를 나타내는 대화 모드(conversation mode), 외부 디바이스의 공지를 검출하는 공지 모드(announcement mode) 또는 웨어러블 디바이스(110)의 전력 소모를 조절하는 전력 제어 모드 등을 포함할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 수신된 입력으로부터 검출된 음성 시그니처가, 미리 저장된 음성 시그니처와 매칭되는 경우, 복수 개의 동작 모드들 중 대화 모드를 동작 모드로서 결정할 수 있고, 검출된 음성 시그니처에 기초하여 미리 저장된 음성 시그니처를 업데이트할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 수신된 입력으로부터 공지 시그니처를 검출하는 경우, 복수 개의 동작 모드들 중 공지 모드를 동작 모드로서 결정할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 미만인 경우, 복수 개의 동작 모드들 중 전력 제어 모드를 동작 모드로서 결정할 수 있다. 일 실시예에서, 임계치는 데시벨(decibel, dB)로 나타내어지는 소리의 크기를 의미할 수 있다.
205 단계에서, 웨어러블 디바이스(110)는 결정된 동작 모드에 따라 기 설정된 동작을 수행할 수 있다. 즉, 웨어러블 디바이스(110)는 대화 모드, 공지 모드 또는 전력 제어 모드를 동작 모드로서 결정하고, 결정된 동작 모드에 대응하는 동작을 수행할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)가 대화 모드로 동작하는 경우, 웨어러블 디바이스(110)는 수신된 입력의 잡음을 제거하는 동작, 웨어러블 디바이스(110)에서 재생되는 컨텐츠의 볼륨을 조절하는 동작 또는 웨어러블 디바이스(110)의 사용자(130)와 대화하는 화자의 음성을 증폭하는 동작 등을 수행할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)가 공지 모드로 동작하는 경우, 웨어러블 디바이스(110)는 수신된 입력의 잡음을 제거하는 동작, 웨어러블 디바이스(110)에서 재생되는 컨텐츠의 볼륨을 조절하는 동작 등을 수행할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)가 전력 제어 모드로 동작하는 경우, 웨어러블 디바이스(110)는 입력의 샘플링 속도를 조절하는 동작 또는 잡음 제거를 비활성화하는 동작 등을 수행할 수 있다. 도 2에서 상술한 바와 같이, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 동작 모드를 결정하고, 결정된 동작 모드에 대응하는 동작을 수행할 수 있다.
도 3은 본 개시의 일 실시예에 따른 대화 상태(conversation state)에서 웨어러블 디바이스가 동작하는 예시를 나타내는 도면이다.
도 3을 참조하면, 단계 1(310)에서, 웨어러블 디바이스(110)의 사용자(130)와 화자(301)는 대화를 시작할 수 있다. 일 실시예에서, 사용자(130)의 음성은 제1 음성으로, 화자의 음성은 제2 음성으로 정의될 수 있다. 웨어러블 디바이스(110)는 사용자로부터 제1 음성을, 화자로부터 제2 음성을 수신할 수 있다.
단계 2(320)에서, 웨어러블 디바이스(110)는 음성을 등록할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 사용자(130)와 화자(301)의 대화가 시작된 후, 화자(301)로부터 수신된 제2 음성에 우선순위를 적용하고, 제2 음성을 웨어러블 디바이스(110)에 등록할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 제2 음성을 높은 우선순위 또는 낮은 우선순위로 저장할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 등록된 제2 음성을 웨어러블 디바이스(110)의 저장부에 저장하거나, 웨어러블 디바이스(110)와 유선 또는 무선으로 연결된 단말(120)의 저장부에 저장하거나, 이외의 저장소에 저장할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 화자(301) 이외의 다른 사람의 음성도 등록 및 저장할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 주변 소리로부터 음성을 복수 번 등록할 수 있다.
단계 3(330)에서, 웨어러블 디바이스(110)의 사용자(130)와 화자(301)는 대화를 중단할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 사용자(130)의 제1 음성 또는 화자(301)의 제2 음성이 검출되지 않는 경우, 사용자(130)와 화자(301) 간의 대화가 중단되었다고 판단할 수 있다. 단계 3(330)은 필수적인 단계는 아니며, 생략될 수 있다.
단계 4(340)에서, 웨어러블 디바이스(110)의 사용자(130)는 음악을 재생할 수 있다. 즉, 웨어러블 디바이스(110)의 사용자(130)는 단말(120)을 이용하여 컨텐츠를 재생할 수 있고, 재생되는 컨텐츠에 대한 소리를 웨어러블 디바이스(110)를 이용하여 들을 수 있다.
단계 5(350)에서, 웨어러블 디바이스(110)의 사용자(130)와 화자(301)는 대화를 시작할 수 있고, 웨어러블 디바이스(110)의 음악 재생이 중단될 수 있다. 예를 들면, 사용자(130)가 웨어러블 디바이스(110)를 이용하여, 재생되는 음악을 듣고 있는 중에 화자(301)가 다시 말하는 경우, 웨어러블 디바이스(110)는 화자(301)의 제2 음성을 검출할 수 있고, 검출된 제2 음성이 웨어러블 디바이스(110)에 미리 등록된 음성임을 확인할 수 있다. 웨어러블 디바이스(110)는 제2 음성이 웨어러블 디바이스(110)에 미리 등록된 음성인 경우, 음악 재생을 중단함으로써, 화자(301)의 제2 음성이 사용자(130)에게 들리도록 할 수 있다. 상술한 바와 같이, 웨어러블 디바이스(110)의 사용자(130)와 화자(301)가 대화하는 경우, 웨어러블 디바이스(110)는 사용자(130) 또는 화자(301)의 음성을 인식하고, 컨텐츠 재생 중단 또는 컨텐츠 볼륨 조절과 같은 동작을 수행할 수 있다.
도 4는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 대화 모드(conversation mode)인 경우, 웨어러블 디바이스가 동작하는 전체적인 절차를 나타내는 도면이다.
도 4를 참조하면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 사용자(130)의 음성을 식별할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 주변 소리(402)를 수신할 수 있다. 웨어러블 디바이스(110)는 수신된 주변 소리(402)를 분석할 수 있다(404). 웨어러블 디바이스(110)는 수신된 주변 소리(402)로부터 음성 시그니처 데이터를 추출할 수 있다(406). 예를 들면, 웨어러블 디바이스(110)는 수신된 주변 소리(402)로부터 사용자(130)의 음성을 나타내는 음성 시그니처를 추출할 수 있다. 웨어러블 디바이스(110)는 추출된 음성 시그니처 데이터를 데이터 베이스(408)에 저장할 수 있다. 일 실시예에서, 데이터 베이스(408)는 웨어러블 디바이스(110)에 포함되거나, 웨어러블 디바이스(110)와 유선 또는 무선으로 연결된 단말(120)에 포함되거나, 이외의 저장소에 포함될 수 있다. 상술한 웨어러블 디바이스(110)의 사용자(130)의 음성이 식별되는 프로세스는 오너 식별(owner identification) 프로세스로 지칭될 수 있다.
웨어러블 디바이스(110)의 동작 모드가 대화 모드인 경우, 스마트(smart) 잡음 제거(noise cancellation) 프로세스가 수행될 수 있다. 예를 들면, 웨어러블 디바이스(110)는 주변 소리(410)를 수신할 수 있다. 웨어러블 디바이스(110)는 수신된 주변 소리(410)로부터 음성 및 비-음성을 분류할 수 있다(412). 예를 들면, 음성은 사용자(130) 또는 다른 화자의 음성을 의미할 수 있고, 음성 각각은 음성 시그니처를 포함할 수 있다. 비-음성은 음성 시그니처를 포함하지 않는 소리를 의미할 수 있다. 웨어러블 디바이스(110)는 음성 데이터를 분리할 수 있다(414). 예를 들면, 웨어러블 디바이스(110)는 주변 소리(410)로부터 분류된 음성으로부터 적어도 하나 이상의 사람에 대한 음성 데이터를 분리할 수 있다.
일 실시예에서, 음성 데이터는 음성 시그니처를 포함할 수 있다. 웨어러블 디바이스(110)는 분리된 음성 시그니처들(416), 오너 음성 시그니처(420) 또는 가장 최근의 음성 시그니처(422)에 기초하여 대화 관계를 식별할 수 있다(418). 예를 들면, 음성 시그니처들(416) 중 적어도 하나가, 데이터 베이스(408)에 미리 저장된 음성 시그니처와 매칭되는 경우, 웨어러블 디바이스(110)는 대화 관계를 식별할 수 있다. 즉, 웨어러블 디바이스(110)는 사용자(110)와 화자가 대화 상태인 것을 식별할 수 있다. 또한, 웨어러블 디바이스(110)는 음성 시그니처 매칭을 이용하여, 사용자(110)가 어떤 화자와 대화를 하는지도 식별할 수 있다. 보다 구체적으로, 음성 시그니처들(416) 중 적어도 하나가, 데이터 베이스(408)에 저장된 가장 최근의 음성 시그니처(422)와 매칭되는 경우, 웨어러블 디바이스(110)는 대화 관계를 식별할 수 있다.
일 실시예에서, 분리된 음성 시그니처들은 사람 1, 사람 2 내지 사람 N에 대응하는 음성 시그니처를 포함할 수 있다. 일 실시예에서, 오너 음성 시그니처(420)는 웨어러블 디바이스(110)의 사용자의 음성을 나타내는 음성 시그니처를 의미할 수 있다. 오너 음성 시그니처(420)는 데이터 베이스(408)에 저장되어 있을 수 있다. 일 실시예에서, 가장 최근의 음성 시그니처(422)는 대화 관계 식별 후, 데이터 베이스(408)에 가장 최근에 저장된 음성 시그니처를 의미할 수 있다.
대화가 식별되지 않는 경우, 즉, 웨어러블 디바이스(110)가 사용자(130)와 화자 간의 대화 관계를 식별하지 못하는 경우, 웨어러블 디바이스(110)가 스마트 잡음 제거 프로세스를 수행하는 상태가 지속될 수 있다. 대화가 식별되는 경우, 즉, 웨어러블 디바이스(110)가 사용자(130)와 화자 간의 대화 관계를 식별하는 경우, 웨어러블 디바이스(110)는 음성 시그니처를 저장할 수 있다(424). 예를 들면, 웨어러블 디바이스(110)는 음성 시그니처들(416) 중 대화 관계 식별을 위해 검출된 음성 시그니처를, 데이터 베이스(408)에 저장할 수 있고, 기존에 저장된 음성 시그니처를 검출된 음성 시그니처에 기초하여 업데이트할 수 있다.
대화가 식별되는 경우, 웨어러블 디바이스(110)는 기 설정된 동작을 수행할 수 있다(426). 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)로 수신된 입력의 잡음을 제거하거나, 사용자(130)와 대화 관계에 있는 화자의 음성을 증폭하거나, 사용자(130)가 화자의 음성을 들을 수 있도록 하기 위하여, 웨어러블 디바이스(110)에서 재생되는 컨텐츠의 볼륨을 조절할 수 있다. 상술한 424 단계는 426 단계 이후에 수행될 수도 있고, 426 단계 이전에 수행될 수도 있고, 그 외 어느 단계에서 수행되어도 무방하다. 상술한 바와 같이, 웨어러블 디바이스(110)는 사용자(130)와 화자 간의 대화 상태를 식별하고, 잡음 제거와 같은 기 설정된 동작을 수행할 수 있다. 후술하는 도 5 내지 도 9는 웨어러블 디바이스(110)의 동작 모드가 대화 모드인 경우, 웨어러블 디바이스(110)의 동작을 구체적으로 설명한다.
도 5는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 음성(voice) 및 비 음성(non voice) 분류(classification) 절차를 구체적으로 나타내는 도면이다.
도 5를 참조하면, 웨어러블 디바이스(110)는 주변 소리를 수신할 수 있다. 웨어러블 디바이스(110)는 수신된 주변 소리로부터 특징을 추출할 수 있다(510). 예를 들면, 웨어러블 디바이스(110)는 수신된 주변 소리의 스펙트럼 평탄도(spectral flatness)를 측정(512)하거나, 도미넌트 주파수(dominant frequency)를 검출(514)할 수 있다. 일 실시예에서, 스펙트럼 평탄도는 디지털 신호 처리(digital signal processing) 시, 오디오 스펙트럼(audio spectrum)을 특성화(characterize)하기 위하여 측정되는 값을 의미할 수 있다. 스펙트럼 평탄도는 데시벨(decibel, dB) 단위로 측정될 수 있다. 일 실시예에서, 도미넌트 주파수는 주파수 스펙트럼상의 주파수 중에서 가장 큰 에너지를 전달하는 주파수를 의미할 수 있다. 예를 들면, 도미넌트 주파수는 진폭이 가장 큰 주파수를 의미할 수 있다. 웨어러블 디바이스(110)는 수신된 주변 소리의 스펙트럼 평탄도를 측정(512)하고, 도미넌트 주파수를 검출(514)함으로써, 수신된 주변 소리의 특징을 추출할 수 있다(510).
웨어러블 디바이스(110)는 추출된 주변 소리의 특징을 이용하여 의사 결정을 수행할 수 있다(520). 얘를 들면, 웨어러블 디바이스(110)는 추출된 주변 소리의 스펙트럼 평탄도 및 도미넌트 주파수에 기초하여, 음성 신호(voice signal)의 존재를 결정할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 음성 신호의 존재를 결정한 후, 딥 러닝 기반 의사 결정 수정을 수행할 수 있다(530). 예를 들면, 웨어러블 디바이스(110)는 AI 기술을 이용하여 주변 소리로부터 음성 신호의 존재 여부를 결정하고, 기 결정된 의사를 수정할 수 있다. 또한, 웨어러블 디바이스(110)가 추출된 특징으로부터 음성 신호가 존재하지 않는다고 결정하였으나, 이후 AI 기술에 의하여 주변 소리로부터 음성 신호가 존재한다는 것이 검출되는 경우, 음성 신호가 존재하는 것으로 웨어러블 디바이스(110)의 의사 결정이 수정될 수 있다.
상술한 주변 신호의 특징 추출 동작, 의사 결정 및 수정 동작 후, 웨어러블 디바이스(110)는 주변 소리로부터 음성 및 비 음성 신호를 분류하고, 음성 데이터(540)를 추출할 수 있다. 일 실시예에서, 상술한 특징 추출, 의사 결정 및 딥 러닝 기반 의사 결정 수정 동작은 웨어러블 디바이스(110) 또는 단말(120)에서 수행될 수 있다.
도 6은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 음성 데이터 분리(separation) 절차를 구체적으로 나타내는 도면이다.
도 6을 참조하면, 웨어러블 디바이스(110)는 주변 소리로부터 음성 데이터를 추출할 수 있다(610). 예를 들면, 웨어러블 디바이스(110)는 도 5에서 설명된 방법을 통하여 주변 소리로부터 음성 및 비-음성을 분류하고, 음성 데이터를 추출할 수 있다. 웨어러블 디바이스(110)는 추출된 음성 데이터로부터 음성을 분류할 수 있다(620). 예를 들면, 웨어러블 디바이스(110)는 음성 데이터로부터 복수의 화자의 음성 시그니처를 확인하고, 각 화자 별로 음성을 분류할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는 데이터 베이스(408)에 미리 학습된 모델을 이용하여 음성을 분류할 수 있다. 예를 들면, 각 화자에 대응하는 음성 시그니처가 데이터 베이스(408)에 미리 저장되어 있을 수 있고, 웨어러블 디바이스(110)는 미리 저장된 음성 시그니처에 대한 정보를 이용하여, 추출된 음성 데이터로부터 각 화자의 음성을 분류할 수 있다. 웨어러블 디바이스(110)는 음성 분류를 통해 분리된 음성(630)을 획득할 수 있다. 상술한 음성 데이터 추출 및 음성 분류 동작을 통하여, 웨어러블 디바이스(110)는 화가 별로 분리된 음성을 획득할 수 있다. 일 실시예에서, 상술한 음성 데이터 추출 및 음성 분류 동작은 웨어러블 디바이스(110) 또는 단말(120)에서 수행될 수 있다.
도 7은 본 개시의 일 실시예에 따른 웨어러블 디바이스가 대화 상태를 식별하는 예시를 나타내는 도면이다.
도 7을 참조하면, 웨어러블 디바이스(110)의 사용자(130)(이하, 사용자”X”(130))와, 사용자 1(710)간의 대화 또는 웨어러블 디바이스(110)의 사용자(130)와 사용자 2(720)간의 대화 이벤트가 식별될 수 있다. 예를 들면, 시나리오 1에서, 사용자 X(130)는 사용자 1(710)로부터 제1 음성을 수신할 수 있다(701). 웨어러블 디바이스(110)는 수신된 제1 음성에 포함된 사용자 1(710)의 음성 시그니처로부터 사용자 1(710)의 이름을 매칭할 수 있다(703). 즉, 웨어러블 디바이스(110)는 제1 음성 시그니처에 포함된 음성 시그니처와 미리 저장된 음성 시그니처를 비교할 수 있고, 제1 음성 시그니처에 포함된 음성 시그니처와 미리 저장된 음성 시그니처가 매칭되는 경우, 사용자 X(130)와 사용자 1(710) 간의 대화 이벤트를 식별할 수 있다.
시나리오 2에서, 사용자 X(130)는 사용자 1(710)로 제2 음성을 전송할 수 있다(705). 즉, 사용자 X(130)는 사용자 1(710)과 대화를 시작할 수 있다. 사용자 1(710)은 사용자 X(130)로부터 제2 음성을 수신하고, 이에 따른 응답을 제공할 수 있다(707). 웨어러블 디바이스(110)는 사용자 1(710)로부터 응답을 수신한 후, 사용자 X(130)와 사용자 1(710) 간의 대화 이벤트를 식별할 수 있다.
시나리오 3에서, 사용자 X(130)는 사용자 2(720)로부터 제3 음성을 수신할 수 있다(709). 일 실시예에서, 제3 음성은 사용자 2(720)의 음성 시그니처를 포함할 수 있다. 웨어러블 디바이스(110)는 최근 대화 음성 리스트와, 수신된 제3 음성에 포함된 사용자 2(720)의 음성 시그니처를 매칭할 수 있다(711). 예를 들면, 웨어러블 디바이스(110)는 수신된 제3 음성에 포함된 사용자 2(720)의 음성 시그니처와, 웨어러블 디바이스(110)에 저장된 최근 대화 음성 리스트 상의 음성 시그니처가 동일한지 여부를 판단할 수 있다. 사용자 2(720)의 음성 시그니처와 최근 대화 음성 리스트 상의 음성 시그니처 중 적어도 하나가 동일한 경우, 즉, 매칭되는 경우, 웨어러블 디바이스(110)는 사용자 X(130)와 사용자 2(720) 간의 대화 이벤트를 식별할 수 있다. 일 실시 예에서, 대화 이벤트는 대화 상태 또는 대화 관계로 지칭될 수 있다.
도 8은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 대화 상태 식별 절차를 구체적으로 나타내는 도면이다.
도 8을 참조하면, 웨어러블 디바이스(110)는 복수의 음성 시그니처들(810)을 획득할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 도 6의 각 화자들에 따라 분리된 음성(630)으로부터 제1 음성 시그니처(810-1), 제2 음성 시그니처(810-2) 및 제N 음성 시그니처(810-N)를 획득할 수 있다. 웨어러블 디바이스(110)는 음성 시그니처 매칭 모듈(820)을 이용하여 음성 시그니처 매칭을 수행할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 획득된 복수의 음성 시그니처들(810)과, 데이터 베이스(408)에 저장된 음성 시그니처를 매칭할 수 있다(822). 즉, 웨어러블 디바이스(110)는 복수의 음성 시그니처들(810) 중 데이터 베이스(408)에 저장된 음성 시그니처와 동일한 음성 시그니처를 식별할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는 식별된 음성 시그니처와 화자의 이름을 매칭할 수 있다(824). 일 실시예에서, 데이터 베이스(408)는 웨어러블 디바이스(110)에 포함되거나, 웨어러블 디바이스(110)와 유선 또는 무선으로 연결된 단말(120)에 포함되거나, 이외의 저장소에 포함될 수 있다.
웨어러블 디바이스(110)는 획득된 음성 시그니처들 중 적어도 하나가 미리 저장된 음성 시그니처와 매칭되는 경우, 사용자(130)의 대화 상태를 검출할 수 있다. 대화 상태가 검출되는 경우, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 동작 모드를 대화 모드로 결정하고, 기 설정된 동작을 수행할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)로 수신된 입력의 잡음을 제거하거나, 사용자(130)와 대화 관계에 있는 화자의 음성을 증폭하거나, 사용자(130)가 화자의 음성을 들을 수 있도록 하기 위하여, 웨어러블 디바이스(110)에서 재생되는 컨텐츠의 볼륨을 조절할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 화자의 음성을 마이크로 입력 받을 수 있다. 웨어러블 디바이스(110)는 입력 받은 화자의 음성을 증폭하고, 증폭된 화자의 음성을 출력할 수 있다. 일 실시예에서, 화자의 음성은 웨어러블 디바이스(110)에서 재생되는 컨텐츠의 볼륨보다 더 크게 증폭될 수 있다.
도 9는 본 개시의 일 실시예에 따른 웨어러블 디바이스가 음성 시그니처(voice signature)를 저장하는 경우, 저장 방법의 예시를 나타내는 도면이다.
도 9를 참조하면, 웨어러블 디바이스(110)의 사용자(130) 또는 사용자(130)와 대화하는 화자에 대한 음성 시그니처는 원형의 데이터 저장소(902)로 저장될 수 있다. 도 9에는 원형으로 도시되었으나, 음성 시그니처가 저장되는 데이터의 구조는 원형 데이터 구조에 제한되지 않고, 다양한 변형들이 가능할 수 있다. 일 실시예에서, 원형의 데이터 저장소(902)에 제1 음성 시그니처, 제2 음성 시그니처 및 제3 음성 시그니처가 저장될 수 있다.
웨어러블 디바이스(110)는 제1 음성 시그니처와 제2 음성 시그니처 사이의 제1 지점(904)에 새로운 음성 시그니처를 삽입할 수 있다. 예를 들면, 새로운 음성 시그니처는 기존 원형의 데이터 저장소(902)에 저장되어 있지 않은 음성 시그니처를 의미할 수 있다. 일 실시예에서, 새로운 음성 시그니처는 가장 최근의 음성 시그니처를 의미할 수 있고, 가장 최근의 음성 시그니처가 원형의 데이터 저장소(902)에 저장될 수 있다. 일 실시 예에서, 웨어러블 디바이스(110)는 제3 음성 시그니처 이후의 제2 지점(906)을 기준으로 오래된 음성 시그니처를 삭제할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 제2 지점(906) 이후의 적어도 하나의 저장된 음성 시그니처를 삭제할 수 있다.
상술한 바와 같이, 최근의 음성 시그니처가 웨어러블 디바이스(110)의 저장소에 저장되고, 오래된 음성 시그니처는 삭제될 수 있다. 이를 통해, 제한적일 수 있는 웨어러블 디바이스(110)의 저장 공간이 효율적으로 활용될 수 있다.
상술한 도 4 내지 도 9를 통해, 대화 모드에서 웨어러블 디바이스(110) 동작의 전체적인 프로세스 및 구체적인 프로세스가 설명되었다. 일 실시예에서, 웨어러블 디바이스(110)는 사용자(130)와 화자 간의 대화를 검출하고, 대화 모드에 대응하는 동작을 수행하는 것 이외에도, 버스 정류장, 지하철 또는 기차역과 같은 장소에서 방송되는 공지를 수신하고, 공지 모드에 대응하는 동작을 수행할 수 있다. 예를 들면, 웨어러블 디바이스(110)를 착용한 사용자(130)가 지하철 역에 있는 경우, 지하철 역에서 해당 역으로 지하철이 접근하고 있다는 공지가 방송될 수 있다. 웨어러블 디바이스(110)는 지하철 역에서 방송된 공지를 검출하고, 수신된 입력의 잡음을 제거하거나, 웨러러블 디바이스에서 재생되는 컨텐츠의 볼륨을 조절할 수 있다. 후술하는 도 10은 공지 모드에서 웨어러블 디바이스(110) 동작의 절차를 도시한다.
도 10은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 공지 모드(announcement mode)인 경우, 웨어러블 디바이스가 동작하는 전체적인 절차를 나타내는 도면이다.
도 10을 참조하면, 웨어러블 디바이스(110)의 사용자(130)는 공지 모드를 자동 또는 수동으로 선택할 수 있다. 일 실시예에서, 옵션 1으로 웨어러블 디바이스(110)는 사용자(130)에게 공지 모드를 자동으로 추천할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)가 버스 정류장, 지하철역과 같은 특정 위치에 있는 경우, 사용자(130)의 입력 없이, 공지 모드로 동작할 것을 자동으로 추천할 수 있다. 일 실시예에서, 옵션 2로 웨어러블 디바이스(110)는 사용자(130)에게 공지 모드를 수동으로 선택하도록 할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 디스플레이 또는 웨어러블 디바이스(110)와 유선 또는 무선으로 연결된 단말(120)의 디스플레이 상으로, 공지 모드를 선택할 수 있는 사용자 인터페이스(user interface)를 제공할 수 있다. 상술한 옵션 1 또는 옵션 2에서의 웨어러블 디바이스(110)의 동작 절차를 구체적으로 설명하면 아래와 같다.
옵션 1의 경우, 웨어러블 디바이스(110)는 현재 위치를 검출할 수 있다(1010). 일 실시예에서, 웨어러블 디바이스(110)는 위치 측정 기술을 이용하여 현재 웨어러블 디바이스(110)의 위치를 검출할 수 있다. 예를 들면, 위치 측정 기술은, GPS(Global Positioning System), A-GPS(Assisted GPS), Wibro 또는 Wi-Fi를 이용한 위치 측정 기술을 포함할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)가 현재 버스 정류장, 지하철역, 기차역 또는 공항에 위치한 것을 검출할 수 있다. 웨어러블 디바이스(110)의 현재 위치가 검출된 후, 웨어러블 디바이스(110)는 공지 검출을 추천할 수 있다(1020). 즉, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 현재 위치에 기초하여, 사용자에게 현재 위치에서 방송되는 공지를 검출할 것을 추천할 수 있다. 예를 들면, 현재 위치에서 방송되는 공지는 버스 정류장, 지하철역, 기차역 또는 공항과 같은 시설의 안내방송을 의미할 수 있다.
웨어러블 디바이스(110)는 공지 모드 UX를 표시할 수 있다(1030). 예를 들면, 웨어러블 디바이스(110)는 사용자(130)에게 공지 검출을 추천할 것을 결정하고, 공지 모드를 선택하기 위한 사용자 인터페이스를, 웨어러블 디바이스(110) 또는 웨어러블 디바이스(110)와 유선 또는 무선으로 연결된 단말(120)의 디스플레이상으로 표시할 수 있다. 사용자(130)는 공지 모드를 활성화하기 위하여, 웨어러블 디바이스(110) 또는 웨어러블 디바이스(110)와 유선 또는 무선으로 연결된 단말(120)의 디스플레이상으로 표시된 공지 모드 UX를 선택할 수 있다.
웨어러블 디바이스(110)는 사용자(130)의 입력에 기초하여 공지 검출 모듈을 활성화할 수 있다(1040). 예를 들면, 사용자(130)가 터치, 클릭 또는 버튼을 누름으로써 공지 모드 UX를 선택하는 경우, 웨어러블 디바이스(110)는 공지를 검출하기 위한 공지 검출 모듈(1050)을 활성화할 수 있다. 일 실시예에서, 공지 검출 모듈(1050)은 웨어러블 디바이스(110) 또는 단말(120)에 포함될 수 있다.
공지 검출 모듈(1050)의 활성화에 따른 공지 검출 모듈(1050)의 동작 방법은 다음과 같다. 일 실시예에서, 버스 정류장에서 공지가 방송되는 경우, 공지 검출 모듈(1050)은 방송된 공지에서 음성 및 비-음성을 분류할 수 있다(1052). 일 실시예에서, 분류된 음성 중 적어도 하나는 공지 시그니처를 포함할 수 있다. 공지 검출 모듈(1050)은 분류된 음성에 대하여 음성 공지(voice announcement)를 검출할 수 있다(1054). 예를 들면, 음성 공지는, 음성 및 비-음성 분류 동작을 통하여 분류된 음성에서, 공지 시그니처를 포함하는 음성을 의미할 수 있다. 이후, 공지 검출 모듈(1050)은 음성 공지를 인식할 수 있다(1046). 즉, 공지 검출 모듈(1050)은 공지 시그니처를 포함하는 음성 공지를 검출함으로써, 음성 공지를 인식할 수 있다. 음성 공지가 인식되는 경우, 웨어러블 디바이스(110)는 수신된 입력의 잡음을 제거하는 동작, 웨어러블 디바이스(110)에서 재생되는 컨텐츠의 볼륨을 조절하는 동작 등을 수행할 수 있다.
도 11은 본 개시의 일 실시예에 따른 웨어러블 디바이스가 전력 제어 모드(power control mode)의 동작 모드로 동작하는 시나리오를 나타내는 도면이다.
도 11을 참조하면, 잡음 제거 기능은 많은 전력 소모를 필요로 하므로, 웨어러블 디바이스(110)는 전력 소모를 줄이기 위하여 웨어러블 디바이스(110) 주변의 환경을 분석할 수 있다. 웨어러블 디바이스(110)는 분석된 주변 환경의 상태에 기초하여 잡음 제거 기능을 턴 온(turn on) 하거나 턴 오프(turn off)할 수 있다. 예를 들면, 제1 환경(1102)에서, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변의 환경이 조용하다는 것을 식별할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 주변 소리를 입력으로서 수신할 수 있다. 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 미만인 경우, 웨어러블 디바이스(110) 주변의 환경이 조용하다고 판단할 수 있다. 주변의 환경이 조용하다고 판단하는 경우, 웨어러블 디바이스(110)는 잡음 제거를 중단할 수 있다.
제2 환경(1104)에서, 웨어러블 디바이스는 웨어러블 디바이스(110) 주변의 환경이 시끄럽다는 것을 식별할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 주변 소리를 입력으로서 수신할 수 있다. 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 이상인 경우, 웨어러블 디바이스(110) 주변의 환경이 시끄럽다고 판단할 수 있다. 주변의 환경이 시끄럽다고 판단하는 경우, 웨어러블 디바이스(110)는 잡음 제거를 시작할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는 사용자(130)의 뇌파를 이용하여 사용자의 스트레스 레벨을 모니터링할 수 있다. 모니터링된 사용자의 스트레스 레벨과 미리 결정된 사용자의 선호도에 기초하여, 잡음 제거가 활성화되거나 또는 비활성화될 수 있다. 예를 들면, 웨어러블 디바이스(110)는 사용자(130)의 뇌(1106)에서 방출되는 뇌파를 검출하고, 검출된 뇌파의 특성을 이용하여 사용자(130)의 스트레스 레벨을 결정할 수 있다.
일 실시예에서, 뇌파는 EEG(Electroencephalography) 센서를 통해 검출될 수 있다. EEG 센서는 웨어러블 디바이스(110) 또는 단말(120)에 포함될 수 있다. 사용자의 스트레스 레벨이 임계치 이상인 경우, 웨어러블 디바이스(110)는 잡음 제거를 턴 온할 수 있다. 사용자의 스트레스 레벨이 임계치 미만인 경우, 웨어러블 디바이스(110)는 잡음 제거를 턴 오프할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 전력 절약(power saving)을 위하여, 분석된 웨어러블 디바이스(110) 주변 환경의 상태에 기초하여, 오디오 서브 샘플링 속도(audio sub-sampling rate)를 조절할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 사용자(130)의 뇌(1106)에서 방출되는 뇌파를 검출하고, 검출된 뇌파에 기초하여 사용자(130)의 수면 단계(sleep stage)를 결정할 수 있다. 웨어러블 디바이스(110)는 결정된 사용자(130)의 수면 상태에 기초하여 잡음 제거를 활성화 또는 비활성화할 수 있다.
도 12는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 전력 제어 모드인 경우, 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 12를 참조하면, 1210 단계에서, 웨어러블 디바이스(110)는 주변 소리를 분석할 수 있다. 웨어러블 디바이스(110)는 주변 소리를 입력으로서 수신할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 미만인 경우, 웨어러블 디바이스(110) 주변의 환경이 조용하다고 판단할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 이상인 경우, 웨어러블 디바이스(110) 주변의 환경이 시끄럽다고 판단할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 수신된 입력 포함된 화자의 음성 시그니처가, 미리 저장된 음성 시그니처와 매칭되는 경우, 사용자(130)와 화자 간의 대화 상태를 판단할 수 있다.
1220 단계에서, 웨어러블 디바이스(110)는 샘플링 속도를 추천할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 주변 소리 분석을 이용하여 웨어러블 디바이스(110) 주변 환경의 상태를 결정하고, 결정된 상태에 따라 오디오 서브샘플링 또는 샘플링 속도를 결정할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변의 환경이 조용하거나, 사용자(130)와 화자 간의 대화가 계속되지 않는 경우, 임계치 미만의 오디오 서브샘플링 속도를 추천할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변의 환경이 시끄럽거나, 사용자(130)와 화자 간의 대화가 계속 중인 경우, 임계치 이상의 오디오 서브샘플링 속도를 추천할 수 있다.
1230 단계에서, 웨어러블 디바이스(110)는 서브 샘플링 속도를 제어할 수 있다. 예를 들면, 웨어러블 디바이스(110) 주변의 환경이 조용하거나, 사용자(130)와 화자 간의 대화가 계속되지 않는 경우, 웨어러블 디바이스(110)는 오디오 서브샘플링 속도를 감소시킬 수 있다. 웨어러블 디바이스(110) 주변의 환경이 시끄럽거나, 사용자(130)와 화자 간의 대화가 계속 중인 경우, 웨어러블 디바이스(110)는 오디오 서브샘플링 속도를 증가시킬 수 있다. 상술한 바와 같이, 웨어러블 디바이스(110)는 주변 소리를 분석함으로써 적응적으로 오디오 서브샘플링 속도를 조절할 수 있다. 적응적인 오디오 서브샘플링 속도 조절을 통하여, 웨어러블 디바이스(110)의 전력 소모가 절약될 수 있다.
도 13은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 전력 제어 모드인 경우, 웨어러블 디바이스가 동작하는 전체적인 절차를 나타내는 도면이다.
도 13을 참조하면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변의 소리를 분석할 수 있다(1310). 즉, 웨어러블 디바이스(110)는 주변의 소리를 분석함으로써, 웨어러블 디바이스(110) 주변의 환경을 식별할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 주변 소리를 입력으로서 수신할 수 있다. 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 미만인 경우, 웨어러블 디바이스(110) 주변의 환경이 조용하다고 판단할 수 있다. 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 이상인 경우, 웨어러블 디바이스(110) 주변의 환경이 시끄럽다고 판단할 수 있다.
웨어러블 디바이스(110)는 식별된 웨어러블 디바이스(110) 주변의 환경에 기초하여, 잡음 제거를 추천할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 식별된 웨어러블 디바이스(110) 주변의 환경이 조용한 환경인지 또는 조용한 환경이 아닌지에 따라 잡음 제거를 추천할 수 있다(1320). 이때, 잡음 제거 추천에 데이터 베이스(408)에 저장된 사용자 선호도 정보(1302)가 사용될 수 있다. 예를 들면, 사용자 선호도 정보(1302)는, 사용자가 조용한 환경 또는 시끄러운 환경을 선호한다는 것을 나타내는 정보를 포함할 수 있다. 일 실시예에서, 웨어러블 디바이스(110) 주변의 환경이 조용한 환경인 경우, 웨어러블 디바이스(110)는 사용자 알림을 제공할 수 있다(1330). 예를 들면, 웨어러블 디바이스(110)는 잡음 제거의 턴 오프를 나타내는 알림을 웨어러블 디바이스(110) 또는 단말(120)에 제공함으로써, 사용자(130)에게 잡음 제거 여부에 대하여 결정하도록 할 수 있다. 일 실시 예에서, 웨어러블 디바이스(110) 주변의 환경이 조용한 환경인 것으로 분석되는 경우, 웨어러블 디바이스(110)는, 이미 수행 중인 잡음 제거 동작을 턴 오프 할 수 있는 사용자 알림을 제공할 수 있다. 예를 들면, 사용자 알림은, “잡음 제거를 턴 오프 하시겠습니까?”와 같은 문구를 표시하는 팝업창과, 사용자(130)가 잡음 제거의 턴 오프 여부를 선택할 수 있는 제1 버튼(예: 예) 및 제2 버튼(예: 아니오)를 포함할 수 있다. 이때, 제1 버튼 및 제2 버튼은 팝업창에 포함될 수 있으나, 이에 제한되는 것은 아니다. 일 실시 예에서, 잡음 제거를 추천하는 단계(1320)는 주변 소리를 분석하는 단계(1310)에 포함될 수 있다. 또한, 웨어러블 디바이스(110) 주변이 조용한 환경인지 여부를 판단하는 단계는, 주변 소리 분석(1310) 단계에 포함될 수 있고, 잡음 제거 추천 단계(1320) 이전에 수행될 수도 있다.
일 실시예에서, 사용자 선호도 정보(1302)가 사용자(130)가 시끄러운 환경을 선호함을 나타내는 경우, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변의 환경이 조용한 환경이 아니더라도, 잡음 제거의 턴 오프를 나타내는 알림을 웨어러블 디바이스(110) 또는 단말(120)로 제공할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 사용자의 입력을 수신할 수 있다(1350). 예를 들면, 웨어러블 디바이스(110)의 디스플레이 상으로 입력된 사용자 입력을 수신할 수 있다. 사용자(130)는 알림에 따라 웨어러블 디바이스(110)의 잡음 제거를 턴 오프하거나, 알림을 무시할 수 있다.
웨어러블 디바이스(110)는 현재 웨어러블 디바이스(110) 주변의 환경을 나타내는 환경 정보(1304)를 데이터 베이스(408)에 저장할 수 있다. 일 실시예에서, 데이터 베이스(408)에 저장된 환경 정보(1304)는, 잡음 제거 추천 시 사용자 선호도 정보(1302)를 생성하는데 사용될 수 있다. 일 실시예에서, 웨어러블 디바이스(110) 주변의 환경이 조용한 환경이 아닌 경우, 웨어러블 디바이스(110)는 잡음 제거를 수행할 수 있다(1340). 일 실시예에서, 사용자 선호도 정보(1302)가 사용자(130)가 조용한 환경을 선호함을 나타내는 경우, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변의 환경이 조용한 환경이더라도, 잡음 제거를 수행할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)의 잡음 제거 수행 여부 결정 시, 식별된 웨어러블 디바이스(110) 주변의 환경과, 사용자 선호도 정보(1302)의 우선순위는 미리 결정되어 있을 수 있다. 예를 들면, 사용자 선호도 정보(1302)에 대한 우선순위가 식별된 웨어러블 디바이스(110) 주변의 환경에 대한 우선순위보다 더 높은 경우, 웨어러블 디바이스(110)는 식별된 웨어러블 디바이스(110) 주변의 환경에 관계없이, 사용자 선호도 정보(1302)에 기초하여 잡음 제거 수행 여부를 결정할 수 있다. 일 실시예에서, 식별된 웨어러블 디바이스(110) 주변의 환경에 대한 우선순위가 사용자 선호도 정보(1302)에 대한 우선순위보다 더 높은 경우, 웨어러블 디바이스(110)는 사용자 선호도 정보(1302)에 관계없이, 식별된 웨어러블 디바이스(110) 주변의 환경에 기초하여 잡음 제거 수행 여부를 결정할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)를 착용한 사용자(130)의 건강 상태를 모니터링할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 음향 반사 측정(Acoustic Reflectometry) 기법을 이용하여 사용자(130)의 귀 건강 상태를 모니터링할 수 있다. 또한, 웨어러블 디바이스(110)는 사용자(130)의 뇌파에서 수면과 관련된(sleep-related) 생리적 신호(physiological signals)를 모니터링할 수 있다. 웨어러블 디바이스(110)는 생리적 신호의 모니터링을 이용하여 사용자(130)의 수면 패턴(sleep pattern)을 식별할 수 있다. 또한, 웨어러블 디바이스(110)는 사용자(130)의 뇌파를 분석함으로써 사용자(130)의 스트레스 레벨을 검출할 수 있다. 이하 도 14 및 도 15는 웨어러블 디바이스(110)를 이용하여 사용자(130)의 건상 상태를 모니터링하는 실시예들을 설명한다.
도 14는 본 개시의 일 실시예에 따른 웨어러블 디바이스가 귀 건강 상태를 분석하는 경우, 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 14를 참조하면, 1401 단계에서, 웨어러블 디바이스(110)는 신호를 출력할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 음향 반사 측정 기법을 이용하기 위하여, 소리 신호를 웨어러블 디바이스(110)의 사용자(130)의 귀 안으로 출력할 수 있다. 출력된 소리 신호는 사용자(130)의 귀 안에서 반사될 수 있다.
1403 단계에서, 웨어러블 디바이스(110)는 반사된 신호를 획득할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 출력된 소리 신호가 사용자(130)의 귀 안에서 반사됨으로써 생성된, 반사된 소리 신호(reflected sound signal)를 획득할 수 있다. 일 실시예에서, 사용자(130)의 귀의 구조, 귀의 건강 상태에 따라 반사된 소리 신호는 상이할 수 있다. 상술한 바와 같이 소리 신호를 출력하고, 반사된 소리 신호를 획득하는 방법은 음향 반사 측정 기법으로 정의될 수 있다.
1405 단계에서, 웨어러블 디바이스(110)는 귀 상태를 분석할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 음향 반사 측정 기법을 통하여 획득된 반사된 소리 신호를 이용하여 사용자(130)의 귀 상태를 분석할 수 있다. 일 실시예에서, 사용자(130)의 귀 상태 분석 시, AI 모델이 사용될 수 있다. 예를 들면, 웨어러블 디바이스(110)는 머신 러닝(Machine Learning) 또는 딥 러닝(Deep Learning)을 통하여 학습된 데이터에 기초하여, 반사된 소리 신호에 대응하는 사용자(130)의 귀 상태를 판단할 수 있다.
1407 단계에서, 웨어러블 디바이스(110)는 귀 상태 이상 여부를 검출할 수 있다. 예를 들면, AI 모델을 이용한 귀 상태 분석 시, 반사된 소리 신호가 이상이 있는 귀 상태에 대응하는 경우, 웨어러블 디바이스(110)는 사용자(130)의 귀에 이상이 있다는 것을 검출할 수 있다. 반사된 소리 신호가 이상이 없는 귀 상태에 대응하는 경우, 웨어러블 디바이스(110)는 사용자(130)의 귀에 이상이 없다는 것을 검출할 수 있다. 일 실시예에서, 귀 상태 이상은 중이염(middle ear infection), 또는 중이 삼출액(middle ear effusion)을 포함할 수 있다. 귀 상태의 이상이 검출되지 않는 경우, 웨어러블 디바이스(110)는 다시 1401 단계를 수행할 수 있다. 귀 상태의 이상이 검출되는 경우, 웨어러블 디바이스(110)는 1409 단계를 수행할 수 있다.
1409 단계에서, 웨어러블 디바이스(110)는 알림을 표시할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 귀 상태의 이상이 검출되는 경우, 검출 결과를 웨어러블 디바이스(110) 또는 단말(120)에 표시할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 사용자(130)의 귀 상태 이상을 나타내는 사용자 인터페이스를 웨어러블 디바이스(110) 또는 단말(120)에 표시할 수 있다. 사용자(130)는 웨어러블 디바이스(110) 또는 단말(120)에 표시된 알림을 확인함으로써, 사용자(130)의 귀 상태에 이상이 있다는 것을 확인할 수 있다.
도 15는 본 개시의 일 실시예에 따른 웨어러블 디바이스 사용자의 수면 상태를 분석함으로써 전력 제어 모드를 활성화하는 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 15를 참조하면, 1501 단계에서, 웨어러블 디바이스(110)는 뇌파를 획득할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 EEG 센서를 이용하여 사용자(130)의 뇌에서 출력되는 뇌파를 획득할 수 있다. EEG 센서는 웨어러블 디바이스(110)에 포함되어 있을 수 있다.
1503 단계에서, 웨어러블 디바이스(110)는 수면 상태가 검출되는지 여부를 판단할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 사용자(130)의 상태가 수면 중(in sleep)인 상태인지, 깨어있는(awake) 상태인지 여부를 판단할 수 있다. 사용자(130)의 수면 상태가 검출되지 않는 경우, 즉, 사용자(130)가 깨어있는 상태인 경우, 웨어러블 디바이스(110)는 다시 1501 단계를 수행할 수 있다. 사용자(130)의 수면 상태가 검출되는 경우, 즉 사용자(130)가 수면 중인 상태인 경우, 웨어러블 디바이스(110)는 1505 단계를 수행할 수 있다.
1505 단계에서, 웨어러블 디바이스(110)는 수면 상태를 분석할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 사용자(130)의 수면의 질을 분석 및 기록하거나, 사용자(130)의 수면 상태를 유형별로 분류할 수 있다. 예를 들면, 사용자(130)의 수면 상태의 유형은 제1 수면 상태 또는 제2 수면 상태를 포함할 수 있다. 일 실시예에서, 제1 수면 상태는 깨어있는 것에 가까운 얕은 수면을 나타내는 렘수면(Rapid eye movement sleep, REM sleep)을 의미할 수 있다. 일 실시예에서, 제2 수면 상태는 깊은 수면 상태를 의미할 수 있다. 예를 들면, 깊은 수면 상태는 렘수면 보다 더 깊게 잠든 상태인 비렘수면(Non-REM sleep)을 의미할 수 있다. 웨어러블 디바이스(110)는 획득된 뇌파에 기초하여 사용자(130)의 수면 상태를 분석할 수 있다.
1507 단계에서, 웨어러블 디바이스(110)는 제2 수면 상태인지 여부를 판단할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 사용자의 수면 상태가 비렘수면 상태인지 여부를 판단할 수 있다. 사용자(130)의 수면 상태가 제2 수면 상태가 아닌 경우, 웨어러블 디바이스(110)는 다시 1501 단계를 수행할 수 있다. 사용자(130)의 수면 상태가 제2 수면 상태인 경우, 웨어러블 디바이스(110)는 1509 단계를 수행할 수 있다.
1509 단계에서, 웨어러블 디바이스(110)는 전력 제어 모드를 활성화할 수 있다. 일 실시예에서, 사용자(130)의 수면 상태가 제2 수면 상태인 경우, 사용자(130)는 깊은 잠에 빠진 상태이므로, 잡음 제거가 따로 필요하지 않을 수 있다. 따라서, 웨어러블 디바이스(110)는 전력 제어 모드를 활성화할 수 있다. 웨어러블 디바이스(110)는 전력 제어 모드에서, 잡음 제거를 턴 오프함으로써, 실시간 전력 제어를 위하여 사용되는 전력을 절약할 수 있다. 도 15에 도시되지는 아니하였으나, 웨어러블 디바이스(110)는 전력 제어 모드를 활성화하고, 잡음 제거를 턴 오프한 뒤, 다시 1501 단계로 돌아가서 뇌파를 획득할 수 있다. 또한, 웨어러블 디바이스(110)는 EEG 센서를 이용하여 획득된 사용자(130)의 뇌파를 이용하여 사용자(130)의 스트레스 레벨을 분석할 수 있다. 도 15에 도시된 바와 같이, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 사용자(130)의 뇌파를 감지하고, 감지된 뇌파를 분석함으로써 사용자(130)의 수면 상태를 식별하고, 식별된 수면 상태에 기초하여 잡음 제거를 수행할 수 있다.
도 16은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 블록도이다.
도 16을 참조하면, 웨어러블 디바이스(110)는 송수신부(1610), 메모리(1620) 및 프로세서(1630)를 포함할 수 있다. 그러나, 도 16에 도시된 구성 요소 모두가 웨어러블 디바이스(110)의 필수 구성 요소인 것은 아니다. 도 16에 도시된 구성 요소보다 많은 구성 요소에 의해 웨어러블 디바이스(110)가 구현될 수도 있고, 도 16에 도시된 구성 요소보다 적은 구성 요소에 의해 웨어러블 디바이스(110)가 구현될 수도 있다.
일 실시예에서, 송수신부(1610)는 웨어러블 디바이스(110)와 유선 또는 무선으로 연결된 단말(120), 또는 다른 전자 디바이스와 통신할 수 있다. 예를 들면, 송수신부(1610)는 웨어러블 디바이스(110) 주변의 소리를 입력으로서 수신할 수 있고, 단말(120)에 입력된 사용자의 입력 정보를 수신할 수 있다. 일 실시예에서, 송수신부(1610)는 음향 반사 측정 기법을 사용하기 위하여, 소리 신호를 출력할 수 있다. 또한, 송수신부(1610)는 출력된 소리 신호가 사용자(130)의 귀 안에서 반사된 소리 신호를 수신할 수 있다.
메모리(1620)에는 애플리케이션과 같은 프로그램 및 파일 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 프로세서(1630)는 메모리(1620)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(1620)에 저장할 수도 있다. 일 실시예에서, 메모리(1620)는 데이터 베이스(408)를 포함할 수 있다. 일 실시예에서, 메모리(1620)는 웨어러블 디바이스(110) 주변의 소리로부터 추출된 사용자(130) 또는 화자의 음성 시그니처를 저장할 수 있다. 일 실시예에서, 메모리(1620)는 잡음 제거 추천을 위한 사용자 선호도 정보를 저장할 수 있다.
프로세서(1630)는 웨어러블 디바이스(110)의 전체적인 동작을 제어하며, CPU, GPU 등과 같은 프로세서를 적어도 하나 이상 포함할 수 있다. 프로세서(1630)는 웨어러블 디바이스(110)를 작동하기 위한 동작을 수행하도록 웨어러블 디바이스(110)에 포함된 다른 구성들을 제어할 수 있다. 예를 들어, 프로세서(1630)는 메모리(1620)에 저장된 프로그램을 실행시키거나, 저장된 파일을 읽어오거나, 새로운 파일을 저장할 수도 있다. 일 실시예에서, 프로세서(1630)는 메모리(1620)에 저장된 프로그램을 실행함으로써, 웨어러블 디바이스(110)를 작동하기 위한 동작을 수행할 수 있다.
도 16에 도시되지는 아니하였으나, 웨어러블 디바이스(110)는 센서부를 더 포함할 수 있다. 일 실시예에서, 센서부는 EEG 센서를 포함할 수 있다. 센서부는 웨어러블 디바이스(110)의 사용자(130)의 뇌에서 출력되는 뇌파를 감지할 수 있다. 일 실시예에서, 센서부는 웨어러블 디바이스(110)의 현재 위치를 파악하기 위한 위치 센서(예컨대, GPS)도 포함할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는, 송수신부(1610), 하나 이상의 인스트럭션을 저장하는 메모리(1620), 웨어러블 디바이스(110)의 주변의 소리를 입력으로서 수신하고, 수신된 입력에 기초하여, 복수 개의 동작 모드들 중 하나를 결정하고, 결정된 동작 모드에 따라, 기 설정된 동작을 수행하도록 하는, 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서(1630)를 포함할 수 있다.
일 실시예에서, 복수 개의 동작 모드들은, 웨어러블 디바이스(110)의 사용자와 화자(speaker) 간의 대화 상태를 나타내는 대화 모드(conversation mode), 외부 디바이스의 공지를 검출하는 공지 모드(announcement mode) 또는 웨어러블 디바이스(110)의 전력 소모를 조절하는 전력 제어 모드 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)의 프로세서(1630)는, 하나 이상의 인스트럭션을 실행함으로써, 수신된 입력으로부터 검출된 음성 시그니처(voice signature)가 미리 저장된 음성 시그니처와 매칭되는 경우, 복수 개의 동작 모드들 중 대화 모드를 동작 모드로서 결정할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)의 프로세서(1630)는, 하나 이상의 인스트럭션을 실행함으로써, 수신된 입력으로부터 검출된 음성 시그니처가 미리 저장된 음성 시그니처와 매칭되는 경우, 검출된 음성 시그니처에 기초하여 미리 저장된 음성 시그니처를 업데이트할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)의 프로세서(1630)는, 하나 이상의 인스트럭션을 실행함으로써, 수신된 입력으로부터 공지 시그니처(announcement signature)를 검출하는 경우, 복수 개의 동작 모드들 중 공지 모드를 동작 모드로서 결정할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)의 프로세서(1630)는, 하나 이상의 인스트럭션을 실행함으로써, 수신된 입력의 크기가 임계치 미만인 경우, 복수 개의 동작 모드들 중 전력 제어 모드를 동작 모드로서 결정할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)의 프로세서(1630)는, 하나 이상의 인스트럭션을 실행함으로써, 웨어러블 디바이스(110)가 대화 모드로 동작하는 경우, 수신된 입력의 잡음을 제거하고, 웨어러블 디바이스(110)에서 재생되는 컨텐츠의 볼륨을 조절하고, 화자의 음성을 증폭할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)의 프로세서(1630)는, 하나 이상의 인스트럭션을 실행함으로써, 웨어러블 디바이스(110)가 공지 모드로 동작하는 경우, 수신된 입력의 잡음을 제거하고, 웨어러블 디바이스(110)에서 재생되는 컨텐츠의 볼륨을 조절할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)의 프로세서(1630)는, 하나 이상의 인스트럭션을 실행함으로써, 웨어러블 디바이스(110)가 전력 제어 모드로 동작하는 경우, 입력의 샘플링 속도를 조절하고, 잡음 제거를 비활성화할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는 센서부를 더 포함하고, 웨어러블 디바이스(110)의 프로세서(1630)는, 하나 이상의 인스트럭션을 실행함으로써, 센서부를 이용하여 웨어러블 디바이스(110)의 사용자의 뇌파를 감지하고, 감지된 뇌파를 분석함으로써 사용자(130)의 수면 상태를 식별하고, 식별된 수면 상태에 기초하여 잡음 제거를 수행할 수 있다.
도 17은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 전력 제어 모드인 경우, 웨어러블 디바이스가 동작하는 예시를 나타내는 도면이다.
도 17을 참조하면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변의 소리를 분석할 수 있다(1705). 즉, 웨어러블 디바이스(110)는 주변의 소리를 분석함으로써, 웨어러블 디바이스(110) 주변의 환경을 식별할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 주변 소리를 입력으로서 수신하고, 웨어러블 디바이스(110) 주변의 환경이 조용한 환경인지, 조용하지 않은 환경인지 여부를 분석할 수 있다.
웨어러블 디바이스(110)는 웨어러블 디바이스 주변이 조용한 환경인지 여부를 판단할 수 있다(1710). 예를 들면, 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 미만인 경우, 웨어러블 디바이스(110) 주변의 환경이 조용하다고 판단할 수 있다. 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 이상인 경우, 웨어러블 디바이스(110) 주변의 환경이 조용하지 않은 환경이라고 판단할 수 있다. 즉, 웨어러블 디바이스(110)는 주변의 환경이 시끄럽다고 판단할 수 있다. 도 17에서는 1705 단계 이후에 1710 단계가 수행되는 것으로 도시되었으나 이에 제한되지 않는다. 즉, 1705 단계 및 1710 단계는, 단일 동작으로 수행될 수도 있다. 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변의 소리를 분석함으로써, 웨어러블 디바이스 주변이 조용한 환경인지 여부를 판단할 수 있다. 또한, 1710 단계는 1705 단계에 포함될 수도 있다. 예를 들면, 웨어러블 디바이스(110)가 주변 소리를 분석하는 단계(1705)에, 웨어러블 디바이스 주변이 조용한 환경 인지 여부를 판단하는 단계(1710)가 포함될 수 있다.
일 실시 예에서, 웨어러블 디바이스(110) 주변이 조용한 환경이 아닌 경우, 웨어러블 디바이스(110)는 잡음 제거를 턴 온 할 것을 추천할 수 있다(1720). 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변이 조용한 환경이 아니므로, 잡음 제거를 턴 온 할 것을 추천하는 메시지를 웨어러블 디바이스(110) 또는 단말(120)로 제공할 수 있다. 일 실시 예에서, 잡음 제거를 턴 온 할 것을 추천하는 메시지는 팝업창 형태로 웨어러블 디바이스(110) 또는 단말(120) 상으로 제공될 수 있다. 이때, 팝업창은 “잡음 제거를 턴 온 하시겠습니까?”와 같은 잡음 제거 턴 온 추천에 관한 문구를 포함할 수 있다. 또한, 팝업창은, 사용자(130)가 잡음 제거의 턴 온 여부를 선택할 수 있는 제1 버튼(예: 예) 및 제2 버튼(예: 아니오)을 포함할 수 있다. 일 실시 예에서, 메시지는 음성 메시지 형태로, 웨어러블 디바이스(110)에서 출력됨으로써 사용자(130)에게 제공될 수도 있으며, 이에 제한되는 것은 아니다. 일 실시 예에서, 웨어러블 디바이스(110)의 잡음 제거 턴 온 추천 시, 데이터 베이스(408)로부터 제공된 사용자 선호도 정보(1702-2)가 사용될 수 있다. 예를 들면, 웨어러블 디바이스(110) 주변이 조용한 환경이 아니더라도, 사용자 선호도 정보(1702-2)가, 사용자(130)가 조용하지 않은 환경을 선호하거나, 조용한 환경을 선호하지 않는다는 것을 나타내는 경우, 웨어러블 디바이스(110)는 잡음 제거 턴 온을 추천하지 않을 수 있다.
웨어러블 디바이스(110)는 사용자 입력을 수신할 수 있다(1725). 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 또는 단말(120) 상으로, 잡음 제거의 턴 온 추천에 대한 사용자(130)의 입력을 수신할 수 있다. 예를 들면, 사용자(130)가 잡음 제거를 턴 온 하기를 원하는 경우, 사용자(130)는 잡음 제거의 턴 온을 나타내는 제1 버튼을 터치 또는 클릭함으로써 사용자 입력을 제공할 수 있다. 사용자(130)가 잡음 제거를 턴 온 하기를 원하지 않는 경우, 사용자(130)는 잡음 제거를 턴 온 하지 않는 것을 나타내는 제2 버튼을 터치 또는 클릭함으로써 사용자 입력을 제공할 수 있다.
웨어러블 디바이스(110)는 잡음 제거를 턴 온 할 수 있다(1730). 예를 들면, 사용자(130)가 사용자 입력을 통해 잡음 제거를 턴 온 하는 것을 선택하는 경우, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 잡음 제거 기능을 턴 온 할 수 있다. 일 실시 예에서, 잡음 제거 턴 온을 추천하는 단계(1720)와 사용자 입력을 수신하는 단계(1725)는 생략될 수 있다. 예를 들어, 웨어러블 디바이스(110) 주변이 조용한 환경이 아닌 것으로 판단되는 경우, 웨어러블 디바이스(110)는 잡음 제거의 턴 온을 추천하거나, 이에 대한 사용자(130)의 입력을 수신하지 않고, 잡음 제거를 턴 온 할 수 있다. 웨어러블 디바이스(110)가 잡음 제거의 턴 온을 추천하거나, 이에 대한 사용자(130)의 입력을 수신하지 않고, 잡음 제거를 턴 온 하는 조건은 미리 설정되어 웨어러블 디바이스(110) 상으로 저장되어 있을 수 있다.
일 실시 예에서, 웨어러블 디바이스(110) 주변이 조용한 환경인 경우, 웨어러블 디바이스(110)는 잡음 제거를 턴 오프 할 것을 추천할 수 있다(1715). 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변이 조용한 환경이므로, 이미 동작하고 있는 잡음 제거 기능을 턴 오프 할 것을 추천하는 메시지를 웨어러블 디바이스(110) 또는 단말(120)로 제공할 수 있다. 일 실시 예에서, 잡음 제거를 턴 오프 할 것을 추천하는 메시지는 팝업창 형태로 웨어러블 디바이스(110) 또는 단말(120) 상으로 제공될 수 있다. 이때, 팝업창은 “잡음 제거를 턴 오프 하시겠습니까?”와 같은 잡음 제거 턴 오프 추천에 관한 문구를 포함할 수 있다. 또한, 팝업창은, 사용자(130)가 잡음 제거의 턴 오프 여부를 선택할 수 있는 제1 버튼(예: 예) 및 제2 버튼(예: 아니오)를 포함할 수 있다. 일 실시 예에서, 메시지는 음성 메시지 형태로, 웨어러블 디바이스(110)에서 출력됨으로써 사용자(130)에게 제공될 수도 있으며, 이에 제한되는 것은 아니다. 일 실시 예에서, 웨어러블 디바이스(110)의 잡음 제거 턴 온 추천 시, 데이터 베이스(408)로부터 제공된 사용자 선호도 정보(1702-1)가 사용될 수 있다. 예를 들면, 웨어러블 디바이스(110) 주변이 조용한 환경이더라도, 사용자 선호도 정보(1702-1)가, 사용자(130)가 잡음 제거 기능을 지속적으로 이용하는 것을 선호한다는 것을 나타내는 경우, 웨어러블 디바이스(110)는 잡음 제거 턴 오프를 추천하지 않을 수 있다.
웨어러블 디바이스(110)는 사용자 입력을 수신할 수 있다(1735). 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 또는 단말(120) 상으로, 잡음 제거의 턴 오프 추천에 대한 사용자(130)의 입력을 수신할 수 있다. 예를 들면, 사용자(130)가 잡음 제거를 턴 오프 하기를 원하는 경우, 사용자(130)는 잡음 제거의 턴 오프를 나타내는 제1 버튼을 터치 또는 클릭함으로써 사용자 입력을 제공할 수 있다. 사용자(130)가 잡음 제거를 턴 오프 하기를 원하지 않는 경우, 사용자(130)는 잡음 제거를 턴 오프 하지 않는 것을 나타내는 제2 버튼을 터치 또는 클릭함으로써 사용자 입력을 제공할 수 있다. 일 실시 예에서, 웨어러블 디바이스(110)는 현재 웨어러블 디바이스(110) 주변의 환경을 나타내는 환경 정보(1704)를 데이터 베이스(408)에 저장할 수 있다. 일 실시예에서, 데이터 베이스(408)에 저장된 환경 정보(1704)는, 잡음 제거 추천 시 사용자 선호도 정보(1702-1) 또는 사용자 선호도 정보(1702-2)를 생성하는데 사용될 수 있다.
웨어러블 디바이스(110)는 잡음 제거를 턴 오프 할 수 있다(1740). 예를 들면, 사용자(130)가 사용자 입력을 통해 잡음 제거를 턴 오프 하는 것을 선택하는 경우, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 잡음 제거 기능을 턴 오프 할 수 있다. 일 실시 예에서, 잡음 제거 턴 오프를 추천하는 단계(1715)와 사용자 입력을 수신하는 단계(1735)는 생략될 수 있다. 예를 들어, 웨어러블 디바이스(110) 주변이 조용한 환경인 것으로 판단되는 경우, 웨어러블 디바이스(110)는 잡음 제거의 턴 오프를 추천하거나, 이에 대한 사용자(130)의 입력을 수신하지 않고, 잡음 제거를 턴 오프 할 수 있다. 웨어러블 디바이스(110)가 잡음 제거의 턴 오프를 추천하거나, 이에 대한 사용자(130)의 입력을 수신하지 않고, 잡음 제거를 턴 오프 하는 조건은 미리 설정되어 웨어러블 디바이스(110) 상으로 저장되어 있을 수 있다. 도 17에 도시된 것처럼, 웨어러블 디바이스(110)는 웨어러블 디바이스 주변의 환경을 분석하고, 분석된 결과에 따라 동작을 달리함으로써, 잡음 제거 기능으로 인한 웨어러블 디바이스(110)의 전력 소모를 줄일 수 있다.
본 개시의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터를 포함할 수 있다.
또한, 본 개시에서, "부", "모듈" 등의 용어는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
"부", "모듈"은 어드레싱될 수 있는 저장 매체에 저장되며 프로세서에 의해 실행될 수 있는 프로그램에 의해 구현될 수도 있다. 예를 들어, "부", "모듈" 은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.
본 개시에서 설명된 특정 실행들은 일 실시예 일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.
또한, 본 개시에서, "a, b 또는 c 중 적어도 하나를 포함한다"는 "a만 포함하거나, b만 포함하거나, c만 포함하거나, a 및 b를 포함하거나, b 및 c를 포함하거나, a 및 c를 포함하거나, a, b 및 c를 모두 포함하는 것을 의미할 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
Claims (20)
- 웨어러블 디바이스의 동작 방법에 있어서,
상기 웨어러블 디바이스의 주변의 소리를 입력으로서 수신하는 단계;
상기 수신된 입력에 기초하여, 복수 개의 동작 모드들 중 하나를 결정하는 단계; 및
상기 결정된 동작 모드에 따라, 기 설정된 동작을 수행하는 단계를 포함하는, 방법.
- 제1항에 있어서,
상기 복수 개의 동작 모드들은, 상기 웨어러블 디바이스의 사용자와 화자(speaker) 간의 대화 상태를 나타내는 대화 모드(conversation mode), 외부 디바이스의 공지를 검출하는 공지 모드(announcement mode) 또는 상기 웨어러블 디바이스의 전력 소모를 조절하는 전력 제어 모드 중 적어도 하나를 포함하는, 방법.
- 제2항에 있어서,
상기 복수 개의 동작 모드들 중 하나를 결정하는 단계는,
상기 수신된 입력으로부터 검출된 음성 시그니처(voice signature)가 미리 저장된 음성 시그니처와 매칭되는 경우, 상기 복수 개의 동작 모드들 중 대화 모드를 동작 모드로서 결정하는 단계를 포함하는, 방법.
- 제3항에 있어서,
상기 수신된 입력으로부터 검출된 음성 시그니처가 미리 저장된 음성 시그니처와 매칭되는 경우,
상기 검출된 음성 시그니처에 기초하여 상기 미리 저장된 음성 시그니처를 업데이트하는 단계를 더 포함하는, 방법.
- 제2항에 있어서,
상기 복수 개의 동작 모드들 중 하나를 결정하는 단계는,
상기 수신된 입력으로부터 공지 시그니처(announcement signature)를 검출하는 경우, 상기 복수 개의 동작 모드들 중 공지 모드를 동작 모드로서 결정하는 단계를 포함하는, 방법.
- 제2항에 있어서,
상기 복수 개의 동작 모드들 중 하나를 결정하는 단계는,
상기 수신된 입력의 크기가 임계치 미만인 경우, 상기 복수 개의 동작 모드들 중 전력 제어 모드를 동작 모드로서 결정하는 단계를 포함하는, 방법.
- 제2항에 있어서,
상기 기 설정된 동작을 수행하는 단계는,
상기 웨어러블 디바이스가 대화 모드로 동작하는 경우,
상기 수신된 입력의 잡음을 제거하는 단계;
상기 웨어러블 디바이스에서 재생되는 컨텐츠의 볼륨을 조절하는 단계; 및
상기 화자의 음성을 증폭하는 단계를 포함하는, 방법.
- 제2항에 있어서,
상기 기 설정된 동작을 수행하는 단계는,
상기 웨어러블 디바이스가 공지 모드로 동작하는 경우,
상기 수신된 입력의 잡음을 제거하는 단계; 및
상기 웨어러블 디바이스에서 재생되는 컨텐츠의 볼륨을 조절하는 단계를 포함하는, 방법.
- 제2항에 있어서,
상기 기 설정된 동작을 수행하는 단계는,
상기 웨어러블 디바이스가 전력 제어 모드로 동작하는 경우,
상기 입력의 샘플링 속도를 조절하는 단계; 및
잡음 제거를 비활성화하는 단계를 포함하는, 방법.
- 제1항에 있어서,
상기 웨어러블 디바이스의 사용자의 뇌파를 감지하는 단계;
상기 감지된 뇌파를 분석함으로써 상기 사용자의 수면 상태를 식별하는 단계; 및
상기 식별된 수면 상태에 기초하여 잡음 제거를 수행하는 단계를 더 포함하는, 방법.
- 웨어러블 디바이스에 있어서,
송수신부;
하나 이상의 인스트럭션을 저장하는 메모리; 및
상기 웨어러블 디바이스의 주변의 소리를 입력으로서 수신하고,
상기 수신된 입력에 기초하여, 복수 개의 동작 모드들 중 하나를 결정하고,
상기 결정된 동작 모드에 따라, 기 설정된 동작을 수행하도록 하는, 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하는, 웨어러블 디바이스.
- 제11항에 있어서,
상기 복수 개의 동작 모드들은, 상기 웨어러블 디바이스의 사용자와 화자(speaker) 간의 대화 상태를 나타내는 대화 모드(conversation mode), 외부 디바이스의 공지를 검출하는 공지 모드(announcement mode) 또는 상기 웨어러블 디바이스의 전력 소모를 조절하는 전력 제어 모드 중 적어도 하나를 포함하는, 웨어러블 디바이스.
- 제12항에 있어서,
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 수신된 입력으로부터 검출된 음성 시그니처(voice signature)가 미리 저장된 음성 시그니처와 매칭되는 경우, 상기 복수 개의 동작 모드들 중 대화 모드를 동작 모드로서 결정하는 것인, 웨어러블 디바이스.
- 제13항에 있어서,
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 수신된 입력으로부터 검출된 음성 시그니처가 미리 저장된 음성 시그니처와 매칭되는 경우,
상기 검출된 음성 시그니처에 기초하여 상기 미리 저장된 음성 시그니처를 업데이트하는 것인, 웨어러블 디바이스.
- 제12항에 있어서,
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 수신된 입력으로부터 공지 시그니처(announcement signature)를 검출하는 경우, 상기 복수 개의 동작 모드들 중 공지 모드를 동작 모드로서 결정하는 것인, 웨어러블 디바이스.
- 제12항에 있어서,
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 수신된 입력의 크기가 임계치 미만인 경우, 상기 복수 개의 동작 모드들 중 전력 제어 모드를 동작 모드로서 결정하는 것인, 웨어러블 디바이스.
- 제12항에 있어서,
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 웨어러블 디바이스가 대화 모드로 동작하는 경우,
상기 수신된 입력의 잡음을 제거하고,
상기 웨어러블 디바이스에서 재생되는 컨텐츠의 볼륨을 조절하고,
상기 화자의 음성을 증폭하는 것인, 웨어러블 디바이스.
- 제12항에 있어서,
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 웨어러블 디바이스가 공지 모드로 동작하는 경우,
상기 수신된 입력의 잡음을 제거하고,
상기 웨어러블 디바이스에서 재생되는 컨텐츠의 볼륨을 조절하는 것인, 웨어러블 디바이스.
- 제12항에 있어서,
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 웨어러블 디바이스가 전력 제어 모드로 동작하는 경우,
상기 입력의 샘플링 속도를 조절하고,
잡음 제거를 비활성화하는 것인, 웨어러블 디바이스.
- 제11항에 있어서,
센서부를 더 포함하고,
상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 센서부를 이용하여 상기 웨어러블 디바이스의 사용자의 뇌파를 감지하고;
상기 감지된 뇌파를 분석함으로써 상기 사용자의 수면 상태를 식별하고,
상기 식별된 수면 상태에 기초하여 잡음 제거를 수행하는 것인, 웨어러블 디바이스.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190031780A KR102719932B1 (ko) | 2019-03-20 | 웨어러블 디바이스를 동작하기 위한 장치 및 방법 | |
| PCT/KR2019/004756 WO2020189837A1 (ko) | 2019-03-20 | 2019-04-19 | 웨어러블 디바이스를 동작하기 위한 장치 및 방법 |
| US17/474,563 US20210407532A1 (en) | 2019-03-20 | 2021-09-14 | Apparatus and method for operating wearable device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190031780A KR102719932B1 (ko) | 2019-03-20 | 웨어러블 디바이스를 동작하기 위한 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200113058A true KR20200113058A (ko) | 2020-10-06 |
| KR102719932B1 KR102719932B1 (ko) | 2024-10-23 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024128822A1 (ko) * | 2022-12-14 | 2024-06-20 | 삼성전자 주식회사 | 생체 정보를 측정하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024128822A1 (ko) * | 2022-12-14 | 2024-06-20 | 삼성전자 주식회사 | 생체 정보를 측정하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020189837A1 (ko) | 2020-09-24 |
| US20210407532A1 (en) | 2021-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210407532A1 (en) | Apparatus and method for operating wearable device | |
| US11832058B2 (en) | Hearing device system and method for processing audio signals | |
| US11705878B2 (en) | Intelligent audio output devices | |
| US20220140798A1 (en) | Compensation for ambient sound signals to facilitate adjustment of an audio volume | |
| US8150044B2 (en) | Method and device configured for sound signature detection | |
| US10224019B2 (en) | Wearable audio device | |
| US8194865B2 (en) | Method and device for sound detection and audio control | |
| WO2020228095A1 (zh) | 实时语音唤醒的音频设备、运行方法、装置及存储介质 | |
| US9191744B2 (en) | Intelligent ambient sound monitoring system | |
| US20160234608A1 (en) | Smart hearing aid | |
| US20140095157A1 (en) | Method and Device for Voice Operated Control | |
| WO2019228329A1 (zh) | 个人听力装置、外部声音处理装置及相关计算机程序产品 | |
| CN113038337B (zh) | 一种音频播放方法、无线耳机和计算机可读存储介质 | |
| WO2020048216A1 (zh) | 音效调整方法、装置、电子设备以及存储介质 | |
| CN110326040B (zh) | 提醒用户注意事件 | |
| US11282492B2 (en) | Smart-safe masking and alerting system | |
| CN116324969A (zh) | 具有定位反馈的听力增强和可穿戴系统 | |
| WO2008128173A1 (en) | Method and device for voice operated control | |
| CN108429955A (zh) | 释放环境声音进入耳机的智能装置及方法 | |
| CN108810787B (zh) | 基于音频设备的异物检测方法和装置、终端 | |
| KR102719932B1 (ko) | 웨어러블 디바이스를 동작하기 위한 장치 및 방법 | |
| CN113259826B (zh) | 在电子终端中实现助听的方法和装置 | |
| US20220370249A1 (en) | Multi-device integration with hearable for managing hearing disorders | |
| US10623845B1 (en) | Acoustic gesture detection for control of a hearable device | |
| US20230305797A1 (en) | Audio Output Modification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |