WO2020189837A1 - 웨어러블 디바이스를 동작하기 위한 장치 및 방법 - Google Patents

웨어러블 디바이스를 동작하기 위한 장치 및 방법 Download PDF

Info

Publication number
WO2020189837A1
WO2020189837A1 PCT/KR2019/004756 KR2019004756W WO2020189837A1 WO 2020189837 A1 WO2020189837 A1 WO 2020189837A1 KR 2019004756 W KR2019004756 W KR 2019004756W WO 2020189837 A1 WO2020189837 A1 WO 2020189837A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearable device
user
voice
mode
conversation
Prior art date
Application number
PCT/KR2019/004756
Other languages
English (en)
French (fr)
Inventor
살라후딘엠디.
호크 모하메드안와룰
아키터 보니샤임
마이트라데바시스
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2020189837A1 publication Critical patent/WO2020189837A1/ko
Priority to US17/474,563 priority Critical patent/US20210407532A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4812—Detecting sleep stages or cycles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G10L15/07—Adaptation to the speaker
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0204—Operational features of power management
    • A61B2560/0209—Operational features of power management adapted for power saving
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Definitions

  • the present disclosure generally relates to an apparatus and method for operating a wearable device.
  • the present disclosure may provide an apparatus and method for operating a wearable device.
  • an embodiment of the present disclosure may provide an apparatus and method for receiving sound around a wearable device as an input and determining an operation mode of the wearable device based on the received input.
  • an embodiment of the present disclosure may provide an apparatus and method for performing a preset operation according to the determined operation mode.
  • an embodiment of the present disclosure may provide an apparatus and method for determining an operation mode of a wearable device or performing a preset operation using artificial intelligence (AI) technology.
  • AI artificial intelligence
  • FIG. 1 is a conceptual diagram illustrating an operation of a wearable device according to an embodiment of the present disclosure.
  • FIG. 2 is a flowchart illustrating a method of operating a wearable device according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example in which a wearable device operates in a conversation state according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating an overall procedure for operating the wearable device when the operation mode of the wearable device is a conversation mode according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram specifically illustrating a voice and non-voice classification procedure of a wearable device according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram specifically illustrating a voice data separation procedure of a wearable device according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example in which a wearable device identifies a conversation state according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram specifically illustrating a conversation state identification procedure of a wearable device according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating an example of a storage method when a wearable device according to an embodiment of the present disclosure stores a voice signature.
  • FIG. 10 is a diagram illustrating an overall procedure for operating the wearable device when the operation mode of the wearable device is an announcement mode according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating a scenario in which a wearable device operates in an operation mode of a power control mode according to an embodiment of the present disclosure.
  • FIG. 12 is a flowchart illustrating a method of operating the wearable device when the operation mode of the wearable device is a power control mode according to an embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an overall procedure for operating the wearable device when the operation mode of the wearable device is a power control mode according to an embodiment of the present disclosure.
  • FIG. 14 is a flowchart illustrating a method of operating the wearable device when the wearable device analyzes an ear health state according to an embodiment of the present disclosure.
  • 15 is a flowchart illustrating a method of operating a wearable device activating a power control mode by analyzing a sleep state of a wearable device user according to an embodiment of the present disclosure.
  • 16 is a block diagram of a wearable device according to an embodiment of the present disclosure.
  • a method of operating a wearable device may include: receiving a sound around the wearable device as an input; Determining one of a plurality of operation modes based on the received input; And performing a preset operation according to the determined operation mode.
  • a wearable device includes: a transceiver; A memory for storing one or more instructions; And executing one or more instructions for receiving sounds around the wearable device as input, determining one of a plurality of operation modes based on the received input, and performing a preset operation according to the determined operation mode. It may include at least one processor.
  • the at least one processor when the voice signature detected from the received input is matched with a pre-stored voice signature by executing the one or more instructions, based on the detected voice signature.
  • the previously stored voice signature can be updated.
  • the at least one processor when detecting an announcement signature from the received input by executing the one or more instructions, selects an announcement mode among the plurality of operation modes. It can be determined as an operation mode.
  • the at least one processor determines a power control mode among the plurality of operation modes as an operation mode. I can.
  • the at least one processor when the wearable device operates in a known mode by executing the one or more instructions, removes noise from the received input and plays back on the wearable device. You can adjust the volume of the content.
  • the wearable device further includes a sensor unit, and the at least one processor detects an EEG of a user of the wearable device using the sensor unit by executing the one or more instructions, By analyzing the detected brain waves, the user's sleep state may be identified, and noise removal may be performed based on the identified sleep state.
  • first and second may be used to describe various components, but the components should not be limited by these terms. These terms are used for the purpose of distinguishing one component from another.
  • phrases such as "in one embodiment” appearing in various places in the present disclosure are not necessarily all referring to the same embodiment.
  • An embodiment of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented with various numbers of hardware and/or software components that perform specific functions.
  • the functional blocks of the present disclosure may be implemented by one or more microprocessors, or may be implemented by circuit configurations for a predetermined function.
  • the functional blocks of the present disclosure may be implemented in various programming or scripting languages.
  • the functional blocks may be implemented as an algorithm executed on one or more processors.
  • the present disclosure may employ conventional techniques for electronic environment setting, signal processing, and/or data processing. Terms such as “mechanism”, “element”, “means” and “configuration” may be used broadly, and are not limited to mechanical and physical configurations.
  • connecting lines or connecting members between the components illustrated in the drawings are merely illustrative of functional connections and/or physical or circuit connections. In an actual device, connections between components may be represented by various functional connections, physical connections, or circuit connections that can be replaced or added.
  • FIG. 1 is a conceptual diagram illustrating an operation of a wearable device according to an embodiment of the present disclosure.
  • the wearable device 110 may include an audio device such as earphones and headphones.
  • the wearable device 110 may be connected to the terminal 120 or another electronic device wirelessly or by wire.
  • the wearable device 110 may be wirelessly connected to the terminal 120 or other electronic device using Bluetooth, Bluetooth Low Energy (BLE), Ultra WideBand (UWB), or Wi-Fi technology.
  • the wearable device 110 may receive ambient sound from the wearable device 110.
  • the ambient sound of the wearable device 110 is the voice of the user 130, the voice of another speaker who is in conversation with the user 130, and the user 130 is in conversation. This may include the voice of another speaker, the voice of a person coming from the speaker, etc.
  • the wearable device 110 may receive the ambient sound of the wearable device 110 as an input and may determine an operation mode of the wearable device 110.
  • the operation mode includes a conversation mode indicating a conversation state between a user and a speaker, an announcement mode detecting an announcement output from an external device, or power consumption of the wearable device 110. It may include a power control mode to adjust and the like.
  • the wearable device 110 may receive a reflected sound signal.
  • the wearable device 110 may output a sound signal and receive a reflected sound signal in the ear of the user 130.
  • the technique of receiving the reflected sound signal after outputting the sound signal described above may be included in the acoustic reflectometry technique.
  • the wearable device 110 may analyze the ear condition of the user 130 wearing the wearable device 110 by using an acoustic reflection measurement technique.
  • the wearable device 110 may detect a disease such as a middle ear infection of the user 130 by using an acoustic reflection measurement technique.
  • the wearable device 110 may receive an EEG from the user 130.
  • the wearable device 110 may include an Electroencephalography (EEG) sensor.
  • EEG Electroencephalography
  • the wearable device 110 may receive an EEG output from the brain of the user 130 using an EEG sensor.
  • the wearable device 110 determines the sleep state of the user 130, measures the sleep quality of the user 130, or measures the stress level of the user 130 Can be determined.
  • the user's sleep state may include awake state, rapid eye movement sleep (REM sleep), which indicates a shallow sleep close to waking, and Non-REM sleep, a state that sleeps deeper than REM sleep. I can.
  • the wearable device 110 may receive various inputs and may perform an operation corresponding to each input.
  • FIG. 2 is a flowchart illustrating a method of operating a wearable device according to an embodiment of the present disclosure.
  • the wearable device 110 may receive ambient sound as an input.
  • the ambient sound of the wearable device 110 may include the voice of the user 130, the voice of another speaker in conversation with the user 130, the voice of another speaker who is not in conversation with the user 130, It may include a person's voice from a speaker.
  • the input received by the wearable device 110 may include a voice signature or an announcement signature.
  • the voice signature may be an identifier indicating a unique voice for each person. Therefore, the voice signature can be different from person to person.
  • the notification signature may be an identifier indicating a broadcast signal output from a speaker of a public facility such as a bus stop, a subway station, or a train station.
  • the wearable device 110 may determine a plurality of operation modes, etc. based on the received input.
  • the plurality of operation modes include a conversation mode indicating a conversation state between a user of the wearable device 110 and a speaker, an announcement mode detecting an announcement from an external device, or a wearable device.
  • the device 110 may include a power control mode for adjusting power consumption of the device 110.
  • the wearable device 110 may determine a conversation mode among a plurality of operation modes as the operation mode, and the detected voice signature Based on the pre-stored voice signature can be updated.
  • the wearable device 110 may determine a known mode among a plurality of operation modes as the operation mode. In an embodiment, when the size of the received input is less than a threshold, the wearable device 110 may determine a power control mode among a plurality of operation modes as the operation mode. In one embodiment, the threshold may mean a loudness of a sound expressed in decibels (dB).
  • the wearable device 110 may perform a preset operation according to the determined operation mode. That is, the wearable device 110 may determine a conversation mode, a known mode, or a power control mode as an operation mode, and perform an operation corresponding to the determined operation mode. In one embodiment, when the wearable device 110 operates in a conversation mode, the wearable device 110 removes noise from the received input, adjusts the volume of content played by the wearable device 110, or An operation of amplifying the voice of a speaker who communicates with the user 130 of the wearable device 110 may be performed.
  • the wearable device 110 when the wearable device 110 operates in a known mode, the wearable device 110 removes noise from the received input, adjusts the volume of content played by the wearable device 110, etc. Can be done. In an embodiment, when the wearable device 110 operates in the power control mode, the wearable device 110 may perform an operation of adjusting the sampling rate of the input or deactivating noise removal. As described above with reference to FIG. 2, the wearable device 110 may determine an operation mode of the wearable device 110 and perform an operation corresponding to the determined operation mode.
  • FIG. 3 is a diagram illustrating an example in which a wearable device operates in a conversation state according to an embodiment of the present disclosure.
  • the user 130 and the speaker 301 of the wearable device 110 may start a conversation.
  • the voice of the user 130 may be defined as the first voice
  • the voice of the speaker may be defined as the second voice.
  • the wearable device 110 may receive a first voice from a user and a second voice from a speaker.
  • the wearable device 110 may register a voice. For example, after a conversation between the user 130 and the speaker 301 starts, the wearable device 110 applies priority to the second voice received from the speaker 301, and applies the second voice to the wearable device 110. ) Can be registered.
  • the wearable device 110 may store the second voice with a high priority or a low priority.
  • the wearable device 110 stores the registered second voice in the storage unit of the wearable device 110, or stores the registered second voice in the storage unit of the terminal 120 connected to the wearable device 110 by wire or wirelessly, or Can be stored in storage other than,
  • the wearable device 110 may register and store voices of other people other than the speaker 301.
  • the wearable device 110 may register voices from surrounding sounds multiple times.
  • step 3 (330) the user 130 and the speaker 301 of the wearable device 110 may stop the conversation. In one embodiment, when the first voice of the user 130 or the second voice of the speaker 301 is not detected, the wearable device 110 determines that the conversation between the user 130 and the speaker 301 is stopped. I can. Step 3 330 is not an essential step and may be omitted.
  • step 4 (340) the user 130 of the wearable device 110 may play music. That is, the user 130 of the wearable device 110 can play the content using the terminal 120 and can hear the sound of the reproduced content using the wearable device 110.
  • step 5 (350) the user 130 and the speaker 301 of the wearable device 110 may start a conversation, and music playback of the wearable device 110 may be stopped.
  • the wearable device 110 detects the second voice of the speaker 301 It can be done, and it can be confirmed that the detected second voice is a voice previously registered in the wearable device 110.
  • the wearable device 110 may stop music playback so that the second voice of the speaker 301 can be heard by the user 130.
  • the wearable device 110 recognizes the voice of the user 130 or the speaker 301 and stops playing the content or You can perform an operation such as adjusting the volume of the content.
  • FIG. 4 is a diagram illustrating an overall procedure for operating the wearable device when the operation mode of the wearable device is a conversation mode according to an embodiment of the present disclosure.
  • the wearable device 110 may identify the voice of the user 130 of the wearable device 110.
  • the wearable device 110 may receive ambient sound 402.
  • the wearable device 110 may analyze the received ambient sound 402 (404).
  • the wearable device 110 may extract voice signature data from the received ambient sound 402 (406).
  • the wearable device 110 may extract a voice signature representing the voice of the user 130 from the received ambient sound 402.
  • the wearable device 110 may store the extracted voice signature data in the database 408.
  • the database 408 may be included in the wearable device 110, included in the terminal 120 connected to the wearable device 110 by wire or wirelessly, or included in other storage.
  • the process of identifying the voice of the user 130 of the wearable device 110 described above may be referred to as an owner identification process.
  • the wearable device 110 may receive ambient sound 410.
  • the wearable device 110 may classify voice and non-voice from the received ambient sound 410 (412).
  • the voice may mean the voice of the user 130 or another speaker, and each voice may include a voice signature.
  • Non-speech may mean a sound that does not include a voice signature.
  • the wearable device 110 may separate voice data (414).
  • the wearable device 110 may separate voice data for at least one person from voices classified from ambient sounds 410.
  • the voice data may include a voice signature.
  • the wearable device 110 may identify the conversation relationship based on the separated voice signatures 416, the owner voice signature 420, or the most recent voice signature 422 (418 ). For example, when at least one of the voice signatures 416 matches a voice signature previously stored in the database 408, the wearable device 110 may identify a conversation relationship. That is, the wearable device 110 may identify that the user 110 and the speaker are in a conversation state. In addition, the wearable device 110 may identify which speaker the user 110 is talking to by using voice signature matching. More specifically, when at least one of the voice signatures 416 matches the most recent voice signature 422 stored in the database 408, the wearable device 110 may identify a conversation relationship.
  • the separated voice signatures may include voice signatures corresponding to person 1, person 2 through person N.
  • the owner voice signature 420 may mean a voice signature indicating a user's voice of the wearable device 110.
  • the owner voice signature 420 may be stored in the database 408.
  • the most recent voice signature 422 may mean the voice signature most recently stored in the database 408 after the conversation relationship is identified.
  • the wearable device 110 may store the voice signature (424 ). For example, the wearable device 110 may store a voice signature detected to identify a conversation relationship among the voice signatures 416 in the database 408, and the previously stored voice signature is based on the detected voice signature. You can update it.
  • the wearable device 110 may perform a preset operation (426 ). For example, the wearable device 110 removes noise from an input received by the wearable device 110, amplifies the voice of a speaker in a conversational relationship with the user 130, or the user 130 In order to be able to listen, the volume of content played on the wearable device 110 may be adjusted. Step 424 described above may be performed after step 426, may be performed before step 426, or may be performed at any other step. As described above, the wearable device 110 may identify a conversation state between the user 130 and a speaker and perform a preset operation such as noise removal. 5 to 9 to be described later, when the operation mode of the wearable device 110 is a conversation mode, the operation of the wearable device 110 will be described in detail.
  • a preset operation such as noise removal
  • FIG. 5 is a diagram specifically illustrating a voice and non-voice classification procedure of a wearable device according to an embodiment of the present disclosure.
  • the wearable device 110 may receive ambient sound.
  • the wearable device 110 may extract features from the received ambient sound (510).
  • the wearable device 110 may measure 512 a spectral flatness of the received ambient sound or detect a dominant frequency 514.
  • the spectral flatness may mean a value measured to characterize an audio spectrum during digital signal processing. Spectral flatness can be measured in decibels (dB).
  • the dominant frequency may mean a frequency that transmits the largest energy among frequencies in the frequency spectrum.
  • the dominant frequency may mean a frequency having the largest amplitude.
  • the wearable device 110 may extract features of the received ambient sound by measuring 512 a spectral flatness of the received ambient sound and detecting a dominant frequency 514 (510 ).
  • the wearable device 110 may make a decision using the extracted characteristics of the ambient sound (520 ). For example, the wearable device 110 may determine the existence of a voice signal based on the extracted spectral flatness of the ambient sound and the dominant frequency. In an embodiment, after determining the existence of the voice signal, the wearable device 110 may perform deep learning-based decision correction (530 ). For example, the wearable device 110 may determine whether or not a voice signal exists from ambient sound using AI technology, and correct a predetermined intention. In addition, if the wearable device 110 determines that the voice signal does not exist from the extracted feature, but later it is detected that the voice signal exists from the surrounding sound by AI technology, the wearable device 110 indicates that the voice signal exists. Decision-making can be modified.
  • the wearable device 110 may classify the voice and non-voice signals from the surrounding sound and extract the voice data 540.
  • the above-described feature extraction, decision making, and deep learning-based decision correction operation may be performed by the wearable device 110 or the terminal 120.
  • FIG. 6 is a diagram specifically illustrating a voice data separation procedure of a wearable device according to an embodiment of the present disclosure.
  • the wearable device 110 may extract voice data from ambient sound (610 ). For example, the wearable device 110 may classify voice and non-speech from surrounding sounds and extract voice data through the method described in FIG. 5. The wearable device 110 may classify the voice from the extracted voice data (620). For example, the wearable device 110 may check the voice signatures of a plurality of speakers from the voice data and classify the voices for each speaker.
  • the wearable device 110 may classify the speech using a model that is previously learned in the database 408. For example, a voice signature corresponding to each speaker may be pre-stored in the database 408, and the wearable device 110 uses information on the voice signature stored in advance, and Voice can be classified. The wearable device 110 may acquire the separated voice 630 through voice classification. Through the above-described voice data extraction and voice classification operation, the wearable device 110 may obtain voices separated for each artist. In an embodiment, the above-described voice data extraction and voice classification operations may be performed by the wearable device 110 or the terminal 120.
  • FIG. 7 is a diagram illustrating an example in which a wearable device identifies a conversation state according to an embodiment of the present disclosure.
  • a conversation event between 720 may be identified.
  • user X130 may receive a first voice from user 1710 (701).
  • the wearable device 110 may match the name of the user 1 710 from the voice signature of the user 1 710 included in the received first voice (703 ). That is, the wearable device 110 may compare a voice signature included in the first voice signature with a pre-stored voice signature, and if the voice signature included in the first voice signature matches the pre-stored voice signature, the user X 130 ) And user 1 710 may identify a conversation event.
  • user X 130 may transmit a second voice to user 1 710 (705). That is, user X130 may start a conversation with user 1710.
  • User 1 710 may receive a second voice from user X 130 and provide a response accordingly (707).
  • the wearable device 110 may identify a conversation event between user X 130 and user 1 710.
  • user X 130 may receive a third voice from user 2 720 (709).
  • the third voice may include the voice signature of user 2 720.
  • the wearable device 110 may match the recent conversation voice list with the voice signature of the user 2 720 included in the received third voice (711 ). For example, the wearable device 110 may determine whether the voice signature of the user 2 720 included in the received third voice and the voice signature on the recent conversation voice list stored in the wearable device 110 are the same. have. When at least one of the voice signature of the user 2 720 and the voice signature on the recent conversation voice list are the same, that is, if they match, the wearable device 110 performs a conversation event between the user X 130 and the user 2 720. Can be identified.
  • the conversation event may be referred to as a conversation state or conversation relationship.
  • FIG. 8 is a diagram specifically illustrating a conversation state identification procedure of a wearable device according to an embodiment of the present disclosure.
  • the wearable device 110 may acquire a plurality of voice signatures 810.
  • the wearable device 110 includes a first voice signature 810-1, a second voice signature 810-2, and an N-th voice signature from the voice 630 separated according to each speaker of FIG. 810-N) can be obtained.
  • the wearable device 110 may perform voice signature matching using the voice signature matching module 820.
  • the wearable device 110 may match a plurality of acquired voice signatures 810 with a voice signature stored in the database 408 (822 ). That is, the wearable device 110 may identify a voice signature identical to the voice signature stored in the database 408 among the plurality of voice signatures 810.
  • the wearable device 110 may match the identified voice signature with the speaker's name (824 ).
  • the database 408 may be included in the wearable device 110, included in the terminal 120 connected to the wearable device 110 by wire or wirelessly, or included in other storage.
  • the wearable device 110 may detect a conversation state of the user 130. When the conversational state is detected, the wearable device 110 may determine an operation mode of the wearable device 110 as the conversational mode, and perform a preset operation. For example, the wearable device 110 removes noise from an input received by the wearable device 110, amplifies the voice of a speaker in a conversational relationship with the user 130, or the user 130 In order to be able to listen, the volume of content played on the wearable device 110 may be adjusted. For example, the wearable device 110 may receive a speaker's voice as a microphone. The wearable device 110 may amplify the received speaker's voice and output the amplified speaker's voice. In an embodiment, the speaker's voice may be amplified to be louder than the volume of the content played on the wearable device 110.
  • FIG. 9 is a diagram illustrating an example of a storage method when a wearable device according to an embodiment of the present disclosure stores a voice signature.
  • a voice signature for a user 130 of the wearable device 110 or a speaker who communicates with the user 130 may be stored in a circular data storage 902.
  • a circular data storage 902. the structure of the data in which the voice signature is stored is not limited to the circular data structure, and various modifications may be possible.
  • a first voice signature, a second voice signature, and a third voice signature may be stored in the circular data store 902.
  • the wearable device 110 may insert a new voice signature at a first point 904 between the first voice signature and the second voice signature.
  • the new voice signature may mean a voice signature that is not stored in the existing original data storage 902.
  • the new voice signature may mean the most recent voice signature, and the most recent voice signature may be stored in the original data store 902.
  • the wearable device 110 may delete the old voice signature based on the second point 906 after the third voice signature. For example, the wearable device 110 may delete at least one stored voice signature after the second point 906.
  • the latest voice signature is stored in the storage of the wearable device 110, and the old voice signature may be deleted.
  • the storage space of the wearable device 110 which may be limited, can be efficiently utilized.
  • the wearable device 110 detects a conversation between the user 130 and a speaker, and in addition to performing an operation corresponding to the conversation mode, receives a notification broadcast at a place such as a bus stop, a subway or a train station. And, it is possible to perform an operation corresponding to the known mode. For example, when the user 130 wearing the wearable device 110 is in a subway station, a notification that the subway is approaching the station from the subway station may be broadcast. The wearable device 110 may detect an announcement broadcast in a subway station, remove noise from a received input, or adjust a volume of content played on the wearable device. 10 to be described later shows a procedure for the operation of the wearable device 110 in a known mode.
  • FIG. 10 is a diagram illustrating an overall procedure for operating the wearable device when the operation mode of the wearable device is an announcement mode according to an embodiment of the present disclosure.
  • the wearable device 110 may automatically or manually select a notification mode.
  • the wearable device 110 may automatically recommend a notification mode to the user 130.
  • the wearable device 110 may allow the user 130 to manually select the notification mode.
  • the wearable device 110 is a user interface for selecting a notification mode on the display of the wearable device 110 or on the display of the terminal 120 connected to the wearable device 110 by wire or wirelessly. Can provide. The operation procedure of the wearable device 110 in Option 1 or Option 2 will be described in detail below.
  • the wearable device 110 may detect the current location (1010).
  • the wearable device 110 may detect the current location of the wearable device 110 using a location measurement technique.
  • the location measurement technique may include a location measurement technique using a Global Positioning System (GPS), Assisted GPS (A-GPS), Wibro or Wi-Fi.
  • GPS Global Positioning System
  • A-GPS Assisted GPS
  • Wibro Wi-Fi
  • the wearable device 110 may detect that the wearable device 110 is currently located at a bus stop, subway station, train station, or airport.
  • the wearable device 110 may recommend notification detection (1020 ). That is, the wearable device 110 may recommend to the user to detect a notice broadcasted from the current location based on the current location of the wearable device 110.
  • an announcement broadcasted at a current location may mean an announcement of a facility such as a bus stop, a subway station, a train station, or an airport.
  • the wearable device 110 may display a known mode UX (1030). For example, the wearable device 110 determines to recommend notification detection to the user 130, and provides a user interface for selecting the notification mode by wired or wirelessly with the wearable device 110 or the wearable device 110. It can be displayed on the display of the connected terminal 120. In order to activate the notification mode, the user 130 may select the notification mode UX displayed on the display of the wearable device 110 or the terminal 120 connected to the wearable device 110 by wire or wirelessly.
  • the operation method of the notification detection module 1050 according to the activation of the notification detection module 1050 is as follows.
  • the announcement detection module 1050 may classify voice and non-voice from the broadcast announcement (1052).
  • at least one of the classified voices may include a known signature.
  • the announcement detection module 1050 may detect a voice announcement for the classified voice (1054).
  • voice notification may mean a voice including a notice signature from voices classified through voice and non-speech classification operations.
  • the notification detection module 1050 may recognize the voice notification (1046). That is, the announcement detection module 1050 may recognize the voice announcement by detecting the voice announcement including the announcement signature.
  • the wearable device 110 may perform an operation of removing noise from a received input, an operation of adjusting a volume of content played by the wearable device 110, and the like.
  • FIG. 11 is a diagram illustrating a scenario in which a wearable device operates in an operation mode of a power control mode according to an embodiment of the present disclosure.
  • the wearable device 110 may analyze an environment around the wearable device 110 in order to reduce power consumption.
  • the wearable device 110 may turn on or turn off the noise reduction function based on the analyzed state of the surrounding environment. For example, in the first environment 1102, the wearable device 110 may identify that the environment around the wearable device 110 is quiet. In an embodiment, the wearable device 110 may receive ambient sound as an input. If the size of the received input is less than the threshold, the wearable device 110 may determine that the environment around the wearable device 110 is quiet. When it is determined that the surrounding environment is quiet, the wearable device 110 may stop removing noise.
  • the wearable device may identify that the environment around the wearable device 110 is noisy.
  • the wearable device 110 may receive ambient sound as an input.
  • the wearable device 110 may determine that the environment around the wearable device 110 is noisy when the size of the received input is greater than or equal to the threshold. If it is determined that the surrounding environment is noisy, the wearable device 110 may start removing noise.
  • the wearable device 110 may monitor the user's stress level using brain waves of the user 130. Based on the monitored user's stress level and a predetermined user's preference, noise reduction may be activated or deactivated. For example, the wearable device 110 may detect an EEG emitted from the brain 1106 of the user 130 and may determine the stress level of the user 130 by using the characteristics of the detected EEG.
  • the EEG may be detected through an Electroencephalography (EEG) sensor.
  • the EEG sensor may be included in the wearable device 110 or the terminal 120.
  • EEG Electroencephalography
  • the wearable device 110 may turn on noise reduction.
  • the wearable device 110 may turn off noise reduction.
  • the wearable device 110 may adjust an audio sub-sampling rate based on the analyzed state of the surrounding environment of the wearable device 110 for power saving.
  • the wearable device 110 may detect an EEG emitted from the brain 1106 of the user 130 and determine a sleep stage of the user 130 based on the detected EEG.
  • the wearable device 110 may activate or deactivate noise reduction based on the determined sleep state of the user 130.
  • FIG. 12 is a flowchart illustrating a method of operating the wearable device when the operation mode of the wearable device is a power control mode according to an embodiment of the present disclosure.
  • the wearable device 110 may analyze ambient sound.
  • the wearable device 110 may receive ambient sound as an input.
  • the wearable device 110 may determine that the environment around the wearable device 110 is quiet.
  • the wearable device 110 may determine that the environment around the wearable device 110 is noisy.
  • the wearable device 110 may determine a conversation state between the user 130 and the speaker when a speaker's voice signature included in the received input matches a previously stored voice signature.
  • the wearable device 110 may recommend a sampling rate. For example, the wearable device 110 may determine a state of the surrounding environment of the wearable device 110 by using ambient sound analysis, and determine an audio subsampling or sampling rate according to the determined state. In an embodiment, the wearable device 110 may recommend an audio subsampling rate less than a threshold when the environment around the wearable device 110 is quiet or the conversation between the user 130 and the speaker does not continue. In an embodiment, the wearable device 110 may recommend an audio subsampling rate equal to or higher than a threshold when the environment around the wearable device 110 is noisy or a conversation between the user 130 and the speaker continues.
  • the wearable device 110 may control the sub-sampling rate. For example, when the environment around the wearable device 110 is quiet or the conversation between the user 130 and the speaker does not continue, the wearable device 110 may reduce the audio subsampling speed. When the environment around the wearable device 110 is noisy or a conversation between the user 130 and the speaker continues, the wearable device 110 may increase the audio subsampling speed. As described above, the wearable device 110 may adaptively adjust the audio subsampling rate by analyzing the ambient sound. Power consumption of the wearable device 110 may be saved through adaptive audio subsampling rate adjustment.
  • FIG. 13 is a diagram illustrating an overall procedure for operating the wearable device when the operation mode of the wearable device is a power control mode according to an embodiment of the present disclosure.
  • the wearable device 110 may analyze sound around the wearable device 110 (1310 ). That is, the wearable device 110 may identify the environment around the wearable device 110 by analyzing the surrounding sound. For example, the wearable device 110 may receive ambient sound as an input. When the size of the received input is less than the threshold, the wearable device 110 may determine that the environment around the wearable device 110 is quiet. The wearable device 110 may determine that the environment around the wearable device 110 is noisy when the size of the received input is greater than or equal to the threshold.
  • the wearable device 110 may recommend noise removal based on the identified environment around the wearable device 110. For example, the wearable device 110 may recommend noise reduction according to whether an environment around the identified wearable device 110 is a quiet environment or a quiet environment (1320 ). In this case, the user preference information 1302 stored in the database 408 may be used to recommend noise removal. For example, the user preference information 1302 may include information indicating that the user prefers a quiet environment or a noisy environment. In an embodiment, when the environment around the wearable device 110 is a quiet environment, the wearable device 110 may provide a user notification (1330). For example, the wearable device 110 may allow the user 130 to determine whether to remove the noise by providing a notification indicating the turn-off of noise reduction to the wearable device 110 or the terminal 120.
  • the wearable device 110 may provide a user notification capable of turning off a noise removal operation that is already being performed.
  • the user notification includes a pop-up window displaying a phrase such as “Do you want to turn off noise reduction?”, a first button (eg, yes) through which the user 130 can select whether to turn off noise reduction, and It may include a second button (eg, no).
  • the first button and the second button may be included in the pop-up window, but are not limited thereto.
  • the step 1320 of recommending noise removal may be included in the step 1310 of analyzing ambient sound.
  • the step of determining whether the surroundings of the wearable device 110 is a quiet environment may be included in the ambient sound analysis 1310 or may be performed before the noise removal recommendation step 1320.
  • the wearable device 110 when the user preference information 1302 indicates that the user 130 prefers a noisy environment, the wearable device 110 is a turn of noise reduction even if the environment around the wearable device 110 is not a quiet environment.
  • a notification indicating off may be provided to the wearable device 110 or the terminal 120.
  • the wearable device 110 may receive a user's input (1350). For example, a user input input on the display of the wearable device 110 may be received. The user 130 may turn off the noise reduction of the wearable device 110 or ignore the notification according to the notification.
  • the wearable device 110 may store environment information 1304 indicating an environment around the current wearable device 110 in the database 408.
  • environment information 1304 stored in database 408 may be used to generate user preference information 1302 when recommending noise removal.
  • the wearable device 110 may perform noise removal (1340).
  • the wearable device 110 performs noise removal even if the environment around the wearable device 110 is a quiet environment. I can.
  • the environment around the identified wearable device 110 and the priority of the user preference information 1302 may be predetermined. For example, if the priority for the user preference information 1302 is higher than the priority for the environment around the identified wearable device 110, the wearable device 110 is the environment around the identified wearable device 110. Regardless, whether to perform noise removal may be determined based on the user preference information 1302. In one embodiment, when the priority for the environment around the identified wearable device 110 is higher than the priority for the user preference information 1302, the wearable device 110 is irrespective of the user preference information 1302 , It may be determined whether to perform noise removal based on the environment around the identified wearable device 110.
  • the wearable device 110 may monitor a health state of the user 130 wearing the wearable device 110.
  • the wearable device 110 may monitor the ear health condition of the user 130 using an acoustic reflectometry technique.
  • the wearable device 110 may monitor sleep-related physiological signals in the EEG of the user 130.
  • the wearable device 110 may identify a sleep pattern of the user 130 using monitoring of a physiological signal.
  • the wearable device 110 may detect the stress level of the user 130 by analyzing the EEG of the user 130.
  • FIGS. 14 and 15 illustrate embodiments of monitoring a health condition of the user 130 using the wearable device 110.
  • FIG. 14 is a flowchart illustrating a method of operating the wearable device when the wearable device analyzes an ear health state according to an embodiment of the present disclosure.
  • the wearable device 110 may output a signal.
  • the wearable device 110 may output a sound signal into the ear of the user 130 of the wearable device 110 in order to use the acoustic reflection measurement technique.
  • the output sound signal may be reflected in the ear of the user 130.
  • the wearable device 110 may acquire a reflected signal.
  • the wearable device 110 may obtain a reflected sound signal generated by reflecting the output sound signal in the ear of the user 130.
  • the reflected sound signal may be different according to the structure of the ear of the user 130 and the health of the ear.
  • a method of outputting a sound signal and obtaining a reflected sound signal may be defined as an acoustic reflection measurement technique.
  • the wearable device 110 may analyze the ear condition. For example, the wearable device 110 may analyze the ear condition of the user 130 by using the reflected sound signal obtained through the acoustic reflection measurement technique. In one embodiment, when analyzing the ear condition of the user 130, an AI model may be used. For example, the wearable device 110 may determine the ear condition of the user 130 corresponding to the reflected sound signal, based on data learned through machine learning or deep learning. have.
  • the wearable device 110 may detect whether an ear condition is abnormal. For example, when analyzing an ear condition using an AI model, if the reflected sound signal corresponds to an abnormal ear condition, the wearable device 110 may detect that there is an abnormality in the ear of the user 130. When the reflected sound signal corresponds to an ear condition with no abnormality, the wearable device 110 may detect that there is no abnormality in the ear of the user 130. In one embodiment, the abnormality of the ear condition may include a middle ear infection or a middle ear effusion. If an abnormality in the ear condition is not detected, the wearable device 110 may perform step 1401 again. When an abnormality in the ear condition is detected, the wearable device 110 may perform step 1409.
  • the wearable device 110 may display a notification. For example, when an abnormality in an ear condition is detected, the wearable device 110 may display the detection result on the wearable device 110 or the terminal 120. In an embodiment, the wearable device 110 may display a user interface indicating an abnormality in the ear condition of the user 130 on the wearable device 110 or the terminal 120. The user 130 can confirm that there is an abnormality in the ear condition of the user 130 by checking the notification displayed on the wearable device 110 or the terminal 120.
  • 15 is a flowchart illustrating a method of operating a wearable device activating a power control mode by analyzing a sleep state of a wearable device user according to an embodiment of the present disclosure.
  • the wearable device 110 may acquire an EEG.
  • the wearable device 110 may acquire an EEG output from the brain of the user 130 using an EEG sensor.
  • the EEG sensor may be included in the wearable device 110.
  • the wearable device 110 may determine whether a sleep state is detected. For example, the wearable device 110 may determine whether the state of the user 130 is in sleep or awake state. When the sleep state of the user 130 is not detected, that is, when the user 130 is awake, the wearable device 110 may perform step 1501 again. When the sleeping state of the user 130 is detected, that is, when the user 130 is sleeping, the wearable device 110 may perform step 1505.
  • the wearable device 110 may analyze the sleep state.
  • the wearable device 110 may analyze and record the sleep quality of the user 130 or classify the sleep state of the user 130 by type.
  • the type of sleep state of the user 130 may include a first sleep state or a second sleep state.
  • the first sleep state may mean a rapid eye movement sleep (REM sleep) indicating a shallow sleep close to waking up.
  • the second sleep state may mean a deep sleep state.
  • a deep sleep state may refer to a non-REM sleep, which is a state that sleeps deeper than REM sleep.
  • the wearable device 110 may analyze the sleep state of the user 130 based on the acquired brain waves.
  • the wearable device 110 may determine whether it is in the second sleep state. For example, the wearable device 110 may determine whether the user's sleep state is a non-REM sleep state. When the sleep state of the user 130 is not the second sleep state, the wearable device 110 may perform step 1501 again. When the sleep state of the user 130 is the second sleep state, the wearable device 110 may perform step 1509.
  • the wearable device 110 may activate the power control mode.
  • the wearable device 110 may save power used for real-time power control by turning off noise reduction in the power control mode.
  • the wearable device 110 activates the power control mode, turns off noise removal, and then returns to step 1501 to obtain an EEG.
  • the wearable device 110 may analyze the stress level of the user 130 by using the brain waves of the user 130 acquired using the EEG sensor. As shown in FIG. 15, the wearable device 110 detects an EEG of the user 130 of the wearable device 110 and analyzes the detected EEG to identify the sleep state of the user 130, and the identified sleep Noise reduction can be performed based on the state.
  • 16 is a block diagram of a wearable device according to an embodiment of the present disclosure.
  • the wearable device 110 may include a transmission/reception unit 1610, a memory 1620, and a processor 1630. However, not all of the components shown in FIG. 16 are essential components of the wearable device 110.
  • the wearable device 110 may be implemented by more components than the components illustrated in FIG. 16, or the wearable device 110 may be implemented by fewer components than the components illustrated in FIG. 16.
  • the transmission/reception unit 1610 may communicate with a terminal 120 connected to the wearable device 110 by wire or wirelessly, or with another electronic device.
  • the transmission/reception unit 1610 may receive sounds around the wearable device 110 as an input, and may receive user input information input to the terminal 120.
  • the transmission/reception unit 1610 may output a sound signal in order to use an acoustic reflection measurement technique.
  • the transmission/reception unit 1610 may receive a sound signal in which the output sound signal is reflected in the ear of the user 130.
  • the memory 1620 may include a database 408.
  • the memory 1620 may store a voice signature of a user 130 or a speaker extracted from sounds around the wearable device 110.
  • the memory 1620 may store user preference information for recommending noise reduction.
  • the processor 1630 controls the overall operation of the wearable device 110 and may include at least one processor such as a CPU or a GPU.
  • the processor 1630 may control other components included in the wearable device 110 to perform an operation for operating the wearable device 110.
  • the processor 1630 may execute a program stored in the memory 1620, read a stored file, or store a new file.
  • the processor 1630 may perform an operation for operating the wearable device 110 by executing a program stored in the memory 1620.
  • the wearable device 110 may further include a sensor unit.
  • the sensor unit may include an EEG sensor.
  • the sensor unit may detect an EEG output from the brain of the user 130 of the wearable device 110.
  • the sensor unit may also include a location sensor (eg, GPS) for determining the current location of the wearable device 110.
  • the wearable device 110 receives the transmission/reception unit 1610, a memory 1620 for storing one or more instructions, and sounds around the wearable device 110 as inputs, and based on the received input.
  • It may include at least one processor 1630 executing one or more instructions to determine one of a plurality of operation modes and to perform a preset operation according to the determined operation mode.
  • the plurality of operation modes include a conversation mode indicating a conversation state between a user of the wearable device 110 and a speaker, an announcement mode detecting an announcement from an external device, or a wearable device. It may include at least one of power control modes for adjusting power consumption of the device 110.
  • a voice signature detected from a received input matches a previously stored voice signature
  • a plurality of operation modes Among them the conversation mode may be determined as the operation mode.
  • the processor 1630 of the wearable device 110 by executing one or more instructions, when a voice signature detected from the received input matches a previously stored voice signature, based on the detected voice signature in advance. Saved voice signatures can be updated.
  • the processor 1630 of the wearable device 110 may determine a power control mode among a plurality of operation modes as the operation mode when the size of the received input is less than the threshold value by executing one or more instructions. .
  • the processor 1630 of the wearable device 110 when the wearable device 110 operates in a conversation mode by executing one or more instructions, removes noise from the received input, and performs the wearable device 110 ), you can adjust the volume of the content played in and amplify the speaker’s voice
  • the processor 1630 of the wearable device 110 when the wearable device 110 operates in a known mode by executing one or more instructions, removes noise from the received input, and performs the wearable device 110 ), you can adjust the volume of the content played.
  • the processor 1630 of the wearable device 110 when the wearable device 110 operates in the power control mode by executing one or more instructions, adjusts the sampling rate of the input and disables noise reduction. can do.
  • the wearable device 110 further includes a sensor unit, and the processor 1630 of the wearable device 110 executes one or more instructions, thereby detecting brain waves of the user of the wearable device 110 using the sensor unit. By detecting and analyzing the detected brain waves, the sleep state of the user 130 may be identified, and noise removal may be performed based on the identified sleep state.
  • FIG 17 is a diagram illustrating an example in which the wearable device operates when the operation mode of the wearable device is a power control mode according to an embodiment of the present disclosure.
  • the wearable device 110 may analyze sound around the wearable device 110 (1705 ). That is, the wearable device 110 may identify the environment around the wearable device 110 by analyzing the surrounding sound. For example, the wearable device 110 may receive ambient sound as an input and analyze whether the environment around the wearable device 110 is a quiet environment or a quiet environment.
  • the wearable device 110 may determine whether the surroundings of the wearable device are in a quiet environment (1710). For example, when the size of the received input is less than a threshold, the wearable device 110 may determine that the environment around the wearable device 110 is quiet. When the size of the received input is greater than or equal to the threshold, the wearable device 110 may determine that the environment around the wearable device 110 is not quiet. That is, the wearable device 110 may determine that the surrounding environment is noisy.
  • step 1710 is performed after step 1705, but is not limited thereto. That is, steps 1705 and 1710 may be performed as a single operation.
  • the wearable device 110 may determine whether or not the surroundings of the wearable device are in a quiet environment by analyzing sounds around the wearable device 110.
  • step 1710 may be included in step 1705.
  • the step 1705 of analyzing the surrounding sound by the wearable device 110 may include a step 1710 of determining whether the surroundings of the wearable device are in a quiet environment.
  • the wearable device 110 may recommend turning on noise reduction (1720 ). For example, since the wearable device 110 is not in a quiet environment, the wearable device 110 may provide a message recommending turning on noise reduction to the wearable device 110 or the terminal 120. In an embodiment, a message recommending turning on noise reduction may be provided on the wearable device 110 or terminal 120 in the form of a pop-up window. In this case, the pop-up window may include a phrase related to the noise reduction turn-on recommendation such as “Would you like to turn on noise reduction?”.
  • the pop-up window may include a first button (eg, yes) and a second button (eg, no) through which the user 130 can select whether to turn on noise reduction.
  • the message may be provided to the user 130 by being output from the wearable device 110 in the form of a voice message, but is not limited thereto.
  • user preference information 1702-2 provided from the database 408 may be used. For example, even if the surroundings of the wearable device 110 are not in a quiet environment, if the user preference information 1702-2 indicates that the user 130 prefers a quiet environment or does not prefer a quiet environment, the wearable device 110 Device 110 may not recommend turning on noise cancellation.
  • the wearable device 110 may receive a user input (1725).
  • the wearable device 110 may receive, on the wearable device 110 or the terminal 120, an input of the user 130 for a turn-on recommendation for noise reduction.
  • the user 130 may provide a user input by touching or clicking a first button indicating turn on of noise reduction. If the user 130 does not want to turn on the noise reduction, the user 130 may provide a user input by touching or clicking a second button indicating that the noise reduction is not turned on.
  • the wearable device 110 may turn on noise reduction (1730). For example, when the user 130 selects to turn on noise reduction through a user input, the wearable device 110 may turn on the noise reduction function of the wearable device 110. In an embodiment, the step 1720 of recommending the noise reduction turn-on and the step 1725 of receiving a user input may be omitted. For example, when it is determined that the surroundings of the wearable device 110 are not in a quiet environment, the wearable device 110 recommends turning on the noise reduction, or does not receive an input from the user 130 to remove noise. Can be turned on. The wearable device 110 recommends turning on noise reduction, or a condition for turning on noise reduction without receiving an input from the user 130 may be preset and stored on the wearable device 110. have.
  • the wearable device 110 may recommend turning off noise reduction (1715). For example, since the wearable device 110 is in a quiet environment around the wearable device 110, the wearable device 110 or the terminal 120 may provide a message recommending turning off the noise reduction function that is already operating. I can.
  • a message recommending turning off noise reduction may be provided on the wearable device 110 or terminal 120 in the form of a pop-up window.
  • the pop-up window may include a phrase regarding recommendation of noise reduction turn-off such as “Do you want to turn off noise reduction?”.
  • the pop-up window may include a first button (eg, yes) and a second button (eg, no) through which the user 130 can select whether to turn off noise reduction.
  • the message may be provided to the user 130 by being output from the wearable device 110 in the form of a voice message, but is not limited thereto.
  • user preference information 1702-1 provided from the database 408 may be used. For example, even if the surroundings of the wearable device 110 are in a quiet environment, if the user preference information 1702-1 indicates that the user 130 prefers to use the noise reduction function continuously, the wearable device 110 We may not recommend turning off the noise canceling.
  • the wearable device 110 may receive a user input (1735).
  • the wearable device 110 may receive, on the wearable device 110 or the terminal 120, an input of the user 130 for a turn-off recommendation for noise reduction.
  • the user 130 may provide a user input by touching or clicking a first button indicating turn off of noise reduction.
  • the wearable device 110 may store environment information 1704 indicating an environment around the current wearable device 110 in the database 408.
  • the environment information 1704 stored in the database 408 may be used to generate user preference information 1702-1 or user preference information 1702-2 when recommending noise removal.
  • the wearable device 110 may turn off noise reduction (1740). For example, when the user 130 selects to turn off noise reduction through a user input, the wearable device 110 may turn off the noise reduction function of the wearable device 110. In an embodiment, the step 1715 of recommending the noise reduction turn-off and the step 1735 of receiving a user input may be omitted. For example, when it is determined that the surroundings of the wearable device 110 are in a quiet environment, the wearable device 110 recommends turning off noise removal or does not receive an input from the user 130 to remove noise. You can turn off. The wearable device 110 recommends turning off noise reduction, or a condition for turning off noise reduction without receiving an input from the user 130 may be preset and stored on the wearable device 110. have. As illustrated in FIG. 17, the wearable device 110 may reduce power consumption of the wearable device 110 due to the noise removal function by analyzing the environment around the wearable device and varying an operation according to the analyzed result.
  • An embodiment of the present disclosure may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer.
  • Computer-readable media can be any available media that can be accessed by a computer, and includes both volatile and nonvolatile media, removable and non-removable media. Further, the computer-readable media may include computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media may typically contain computer readable instructions, data structures, or other data in a modulated data signal such as a program module.
  • units and modules may be a hardware component such as a processor or a circuit, and/or a software component executed by a hardware configuration such as a processor. .
  • the "unit” and “module” are stored in an addressable storage medium and may be implemented by a program that can be executed by a processor.
  • “sub” and “module” refer to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and programs. It can be implemented by procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables.
  • “including at least one of a, b or c” means “including only a, only b, only c, including a and b, or including b and c, It may mean including a and c, or including all of a, b and c.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Psychiatry (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 개시는 웨어러블 디바이스를 동작하기 위한 방법을 제공한다. 웨어러블 디바이스의 동작 방법은, 웨어러블 디바이스의 주변의 소리를 입력으로서 수신하는 단계; 수신된 입력에 기초하여, 복수 개의 동작 모드들 중 하나를 결정하는 단계; 및 결정된 동작 모드에 따라, 기 설정된 동작을 수행하는 단계를 포함할 수 있다.

Description

웨어러블 디바이스를 동작하기 위한 장치 및 방법
본 개시(disclosure)는 일반적으로 웨어러블 디바이스(wearable device)를 동작하기 위한 장치 및 방법에 관한 것이다.
최근, 사용자가 신체에 착용할 수 있는 웨어러블 디바이스(wearable device) 중에서 이어폰(earphones) 및 헤드폰(headphone)에 대한 사용자들의 수요가 증가함에 따라, 다양한 형태의 이어폰 및 헤드폰이 개발되고 있다. 이에 따라, 이어폰 및 헤드폰과 같은 전자 디바이스를 이용하여, 다른 전자 디바이스에서 재생되는 컨텐츠에 대한 소리를 웨어러블 디바이스의 사용자에게 제공하는 전통적인 기능 이외에도, 이어폰 및 헤드폰의 기능에 대한 다양한 요구가 생겨나고 있다.
상술한 바와 같은 논의를 바탕으로, 본 개시(disclosure)는 웨어러블 디바이스(wearable device)를 동작하기 위한 장치 및 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, 웨어러블 디바이스 주변의 소리를 입력으로서 수신하고, 수신된 입력에 기초하여 웨어러블 디바이스의 동작 모드(operation mode)를 결정하기 위한 장치 및 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, 결정된 동작 모드에 따라, 기 설정된 동작을 수행하기 위한 장치 및 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, AI(artificial intelligence) 기술을 이용하여 웨어러블 디바이스의 동작 모드를 결정하거나, 기 설정된 동작을 수행하기 위한 장치 및 방법을 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 웨어러블 디바이스(wearable device)가 동작하는 개념도를 도시한다.
도 2는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 대화 상태(conversation state)에서 웨어러블 디바이스가 동작하는 예시를 나타내는 도면이다.
도 4는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 대화 모드(conversation mode)인 경우, 웨어러블 디바이스가 동작하는 전체적인 절차를 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 음성(voice) 및 비 음성(non voice) 분류(classification) 절차를 구체적으로 나타내는 도면이다.
도 6은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 음성 데이터 분리(separation) 절차를 구체적으로 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 웨어러블 디바이스가 대화 상태를 식별하는 예시를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 대화 상태 식별 절차를 구체적으로 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 웨어러블 디바이스가 음성 시그니처(voice signature)를 저장하는 경우, 저장 방법의 예시를 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 공지 모드(announcement mode)인 경우, 웨어러블 디바이스가 동작하는 전체적인 절차를 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따른 웨어러블 디바이스가 전력 제어 모드(power control mode)의 동작 모드로 동작하는 시나리오를 나타내는 도면이다.
도 12는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 전력 제어 모드인 경우, 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 13은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 전력 제어 모드인 경우, 웨어러블 디바이스가 동작하는 전체적인 절차를 나타내는 도면이다.
도 14는 본 개시의 일 실시예에 따른 웨어러블 디바이스가 귀 건강 상태를 분석하는 경우, 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 15는 본 개시의 일 실시예에 따른 웨어러블 디바이스 사용자의 수면 상태를 분석함으로써 전력 제어 모드를 활성화하는 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 16은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 블록도이다.
도 17은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 전력 제어 모드인 경우, 웨어러블 디바이스가 동작하는 예시를 나타내는 도면이다.
본 개시의 일 실시예에 따르면, 웨어러블 디바이스의 동작 방법은, 웨어러블 디바이스의 주변의 소리를 입력으로서 수신하는 단계; 수신된 입력에 기초하여, 복수 개의 동작 모드들 중 하나를 결정하는 단계; 및 결정된 동작 모드에 따라, 기 설정된 동작을 수행하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 웨어러블 디바이스는, 송수신부; 하나 이상의 인스트럭션을 저장하는 메모리; 및 웨어러블 디바이스의 주변의 소리를 입력으로서 수신하고, 수신된 입력에 기초하여, 복수 개의 동작 모드들 중 하나를 결정하고, 결정된 동작 모드에 따라, 기 설정된 동작을 수행하도록 하는, 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 수신된 입력으로부터 검출된 음성 시그니처가 미리 저장된 음성 시그니처와 매칭되는 경우, 상기 검출된 음성 시그니처에 기초하여 상기 미리 저장된 음성 시그니처를 업데이트할 수 있다.
본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 수신된 입력으로부터 공지 시그니처(announcement signature)를 검출하는 경우, 상기 복수 개의 동작 모드들 중 공지 모드를 동작 모드로서 결정할 수 있다.
본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 수신된 입력의 크기가 임계치 미만인 경우, 상기 복수 개의 동작 모드들 중 전력 제어 모드를 동작 모드로서 결정할 수 있다.
본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 웨어러블 디바이스가 공지 모드로 동작하는 경우, 상기 수신된 입력의 잡음을 제거하고, 상기 웨어러블 디바이스에서 재생되는 컨텐츠의 볼륨을 조절할 수 있다.
본 개시의 일 실시예에 따르면, 상기 웨어러블 디바이스는 센서부를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 센서부를 이용하여 상기 웨어러블 디바이스의 사용자의 뇌파를 감지하고, 상기 감지된 뇌파를 분석함으로써 상기 사용자의 수면 상태를 식별하고, 상기 식별된 수면 상태에 기초하여 잡음 제거를 수행할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에서 다양한 곳에 등장하는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
본 개시의 일 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단" 및 "구성"등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 웨어러블 디바이스(wearable device)가 동작하는 개념도를 도시한다.
도 1을 참조하면, 사용자(130)는 웨어러블 디바이스(110)를 착용함으로써, 단말(120)에서 재생되는 컨텐츠에 대한 소리를 들을 수 있다. 예를 들면, 웨어러블 디바이스(110)는 이어폰, 헤드폰과 같은 음향 기기(audio device)를 포함할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 단말(120) 또는 다른 전자 디바이스와 무선(wireless)으로 또는 유선으로 연결될 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 블루투스(Blutooth), BLE(Bluetooth Low Energy), UWB(Ultra WideBand) 또는 Wi-Fi 기술을 이용하여 단말(120) 또는 다른 전자 디바이스와 무선으로 연결될 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 주변 소리를 수신할 수 있다. 예를 들면, 웨어러블 디바이스(110)의 주변 소리는, 사용자(130)의 음성(voice), 사용자(130)와 대화 중인 다른 화자(speaker)의 음성(voice), 사용자(130)와 대화 중이지 않은 다른 화자의 음성, 스피커에서 나오는 사람의 음성 등을 포함할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 주변 소리를 입력으로서 수신하고, 웨어러블 디바이스(110)의 동작 모드를 결정할 수 있다. 예를 들면, 동작 모드는 사용자와 화자 간의 대화 상태를 나타내는 대화 모드(conversation mode), 외부 디바이스로부터 출력되는 공지(announcement)를 검출하는 공지 모드(announcement mode) 또는 웨어러블 디바이스(110)의 전력 소모를 조절하는 전력 제어 모드 등을 포함할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는 반사된 소리 신호를 수신할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 소리 신호를 출력하고, 출력된 소리 신호가 사용자(130)의 귀 안에서 반사된 소리 신호(reflected sound signal)를 수신할 수 있다. 상술한 소리 신호 출력 후 반사된 소리 신호를 수신하는 기법은, 음향 반사 측정(Acoustic Reflectometry) 기법에 포함될 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 음향 반사 측정 기법을 이용하여 웨어러블 디바이스(110)를 착용한 사용자(130)의 귀 상태를 분석할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 음향 반사 측정 기법을 이용함으로써 사용자(130) 귀의 중이염(middle ear infection)과 같은 질병을 검출할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는 사용자(130)의 뇌파를 수신할 수 있다. 웨어러블 디바이스(110)는 EEG(Electroencephalography) 센서를 포함할 수 있다. 웨어러블 디바이스(110)는 EEG 센서를 이용하여 사용자(130)의 뇌에서 출력되는 뇌파를 수신할 수 있다. 수신된 뇌파를 분석함으로써 웨어러블 디바이스(110)는 사용자(130)의 수면 상태를 판단하거나, 사용자(130)의 수면의 질(sleep quality)을 측정하거나, 사용자(130)의 스트레스 레벨(stress level)을 결정할 수 있다. 예를 들면, 사용자의 수면 상태는 깨어있는 상태, 깨어있는 것에 가까운 얕은 수면을 나타내는 렘수면(Rapid eye movement sleep, REM sleep), 렘수면 보다 더 깊게 잠든 상태인 비렘수면(Non-REM sleep)을 포함할 수 있다. 상술한 바와 같이, 웨어러블 디바이스(110)는 다양한 입력을 수신할 수 있고, 각 입력에 대응하는 동작을 수행할 수 있다.
도 2는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 2를 참조하면, 201 단계에서, 웨어러블 디바이스(110)는 주변 소리를 입력으로 수신할 수 있다. 예를 들면, 웨어러블 디바이스(110)의 주변 소리는, 사용자(130)의 음성, 사용자(130)와 대화 중인 다른 화자(speaker)의 음성, 사용자(130)와 대화 중이지 않은 다른 화자의 음성, 스피커에서 나오는 사람의 음성 등을 포함할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)로 수신된 입력은 음성 시그니처(voice signature) 또는 공지 시그니처(announcement signature)를 포함할 수 있다. 일 실시예에서, 음성 시그니처는 사람마다 갖는 고유한 목소리를 나타내는 식별자일 수 있다. 그러므로, 음성 시그니처는 사람마다 다를 수 있다. 일 실시예에서, 공지 시그니처는 버스 정류장, 지하철역 또는 기차역과 같은 공공시설의 스피커에서 출력되는 방송 신호를 나타내는 식별자일 수 있다.
203 단계에서, 웨어러블 디바이스(110)는 수신된 입력에 기초하여 복수 개의 동작 모드 등을 결정할 수 있다. 일 실시예에서, 복수 개의 동작 모드들은, 웨어러블 디바이스(110)의 사용자와 화자(speaker) 간의 대화 상태를 나타내는 대화 모드(conversation mode), 외부 디바이스의 공지를 검출하는 공지 모드(announcement mode) 또는 웨어러블 디바이스(110)의 전력 소모를 조절하는 전력 제어 모드 등을 포함할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 수신된 입력으로부터 검출된 음성 시그니처가, 미리 저장된 음성 시그니처와 매칭되는 경우, 복수 개의 동작 모드들 중 대화 모드를 동작 모드로서 결정할 수 있고, 검출된 음성 시그니처에 기초하여 미리 저장된 음성 시그니처를 업데이트할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 수신된 입력으로부터 공지 시그니처를 검출하는 경우, 복수 개의 동작 모드들 중 공지 모드를 동작 모드로서 결정할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 미만인 경우, 복수 개의 동작 모드들 중 전력 제어 모드를 동작 모드로서 결정할 수 있다. 일 실시예에서, 임계치는 데시벨(decibel, dB)로 나타내어지는 소리의 크기를 의미할 수 있다.
205 단계에서, 웨어러블 디바이스(110)는 결정된 동작 모드에 따라 기 설정된 동작을 수행할 수 있다. 즉, 웨어러블 디바이스(110)는 대화 모드, 공지 모드 또는 전력 제어 모드를 동작 모드로서 결정하고, 결정된 동작 모드에 대응하는 동작을 수행할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)가 대화 모드로 동작하는 경우, 웨어러블 디바이스(110)는 수신된 입력의 잡음을 제거하는 동작, 웨어러블 디바이스(110)에서 재생되는 컨텐츠의 볼륨을 조절하는 동작 또는 웨어러블 디바이스(110)의 사용자(130)와 대화하는 화자의 음성을 증폭하는 동작 등을 수행할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)가 공지 모드로 동작하는 경우, 웨어러블 디바이스(110)는 수신된 입력의 잡음을 제거하는 동작, 웨어러블 디바이스(110)에서 재생되는 컨텐츠의 볼륨을 조절하는 동작 등을 수행할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)가 전력 제어 모드로 동작하는 경우, 웨어러블 디바이스(110)는 입력의 샘플링 속도를 조절하는 동작 또는 잡음 제거를 비활성화하는 동작 등을 수행할 수 있다. 도 2에서 상술한 바와 같이, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 동작 모드를 결정하고, 결정된 동작 모드에 대응하는 동작을 수행할 수 있다.
도 3은 본 개시의 일 실시예에 따른 대화 상태(conversation state)에서 웨어러블 디바이스가 동작하는 예시를 나타내는 도면이다.
도 3을 참조하면, 단계 1(310)에서, 웨어러블 디바이스(110)의 사용자(130)와 화자(301)는 대화를 시작할 수 있다. 일 실시예에서, 사용자(130)의 음성은 제1 음성으로, 화자의 음성은 제2 음성으로 정의될 수 있다. 웨어러블 디바이스(110)는 사용자로부터 제1 음성을, 화자로부터 제2 음성을 수신할 수 있다.
단계 2(320)에서, 웨어러블 디바이스(110)는 음성을 등록할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 사용자(130)와 화자(301)의 대화가 시작된 후, 화자(301)로부터 수신된 제2 음성에 우선순위를 적용하고, 제2 음성을 웨어러블 디바이스(110)에 등록할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 제2 음성을 높은 우선순위 또는 낮은 우선순위로 저장할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 등록된 제2 음성을 웨어러블 디바이스(110)의 저장부에 저장하거나, 웨어러블 디바이스(110)와 유선 또는 무선으로 연결된 단말(120)의 저장부에 저장하거나, 이외의 저장소에 저장할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 화자(301) 이외의 다른 사람의 음성도 등록 및 저장할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 주변 소리로부터 음성을 복수 번 등록할 수 있다.
단계 3(330)에서, 웨어러블 디바이스(110)의 사용자(130)와 화자(301)는 대화를 중단할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 사용자(130)의 제1 음성 또는 화자(301)의 제2 음성이 검출되지 않는 경우, 사용자(130)와 화자(301) 간의 대화가 중단되었다고 판단할 수 있다. 단계 3(330)은 필수적인 단계는 아니며, 생략될 수 있다.
단계 4(340)에서, 웨어러블 디바이스(110)의 사용자(130)는 음악을 재생할 수 있다. 즉, 웨어러블 디바이스(110)의 사용자(130)는 단말(120)을 이용하여 컨텐츠를 재생할 수 있고, 재생되는 컨텐츠에 대한 소리를 웨어러블 디바이스(110)를 이용하여 들을 수 있다.
단계 5(350)에서, 웨어러블 디바이스(110)의 사용자(130)와 화자(301)는 대화를 시작할 수 있고, 웨어러블 디바이스(110)의 음악 재생이 중단될 수 있다. 예를 들면, 사용자(130)가 웨어러블 디바이스(110)를 이용하여, 재생되는 음악을 듣고 있는 중에 화자(301)가 다시 말하는 경우, 웨어러블 디바이스(110)는 화자(301)의 제2 음성을 검출할 수 있고, 검출된 제2 음성이 웨어러블 디바이스(110)에 미리 등록된 음성임을 확인할 수 있다. 웨어러블 디바이스(110)는 제2 음성이 웨어러블 디바이스(110)에 미리 등록된 음성인 경우, 음악 재생을 중단함으로써, 화자(301)의 제2 음성이 사용자(130)에게 들리도록 할 수 있다. 상술한 바와 같이, 웨어러블 디바이스(110)의 사용자(130)와 화자(301)가 대화하는 경우, 웨어러블 디바이스(110)는 사용자(130) 또는 화자(301)의 음성을 인식하고, 컨텐츠 재생 중단 또는 컨텐츠 볼륨 조절과 같은 동작을 수행할 수 있다.
도 4는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 대화 모드(conversation mode)인 경우, 웨어러블 디바이스가 동작하는 전체적인 절차를 나타내는 도면이다.
도 4를 참조하면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 사용자(130)의 음성을 식별할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 주변 소리(402)를 수신할 수 있다. 웨어러블 디바이스(110)는 수신된 주변 소리(402)를 분석할 수 있다(404). 웨어러블 디바이스(110)는 수신된 주변 소리(402)로부터 음성 시그니처 데이터를 추출할 수 있다(406). 예를 들면, 웨어러블 디바이스(110)는 수신된 주변 소리(402)로부터 사용자(130)의 음성을 나타내는 음성 시그니처를 추출할 수 있다. 웨어러블 디바이스(110)는 추출된 음성 시그니처 데이터를 데이터 베이스(408)에 저장할 수 있다. 일 실시예에서, 데이터 베이스(408)는 웨어러블 디바이스(110)에 포함되거나, 웨어러블 디바이스(110)와 유선 또는 무선으로 연결된 단말(120)에 포함되거나, 이외의 저장소에 포함될 수 있다. 상술한 웨어러블 디바이스(110)의 사용자(130)의 음성이 식별되는 프로세스는 오너 식별(owner identification) 프로세스로 지칭될 수 있다.
웨어러블 디바이스(110)의 동작 모드가 대화 모드인 경우, 스마트(smart) 잡음 제거(noise cancellation) 프로세스가 수행될 수 있다. 예를 들면, 웨어러블 디바이스(110)는 주변 소리(410)를 수신할 수 있다. 웨어러블 디바이스(110)는 수신된 주변 소리(410)로부터 음성 및 비-음성을 분류할 수 있다(412). 예를 들면, 음성은 사용자(130) 또는 다른 화자의 음성을 의미할 수 있고, 음성 각각은 음성 시그니처를 포함할 수 있다. 비-음성은 음성 시그니처를 포함하지 않는 소리를 의미할 수 있다. 웨어러블 디바이스(110)는 음성 데이터를 분리할 수 있다(414). 예를 들면, 웨어러블 디바이스(110)는 주변 소리(410)로부터 분류된 음성으로부터 적어도 하나 이상의 사람에 대한 음성 데이터를 분리할 수 있다.
일 실시예에서, 음성 데이터는 음성 시그니처를 포함할 수 있다. 웨어러블 디바이스(110)는 분리된 음성 시그니처들(416), 오너 음성 시그니처(420) 또는 가장 최근의 음성 시그니처(422)에 기초하여 대화 관계를 식별할 수 있다(418). 예를 들면, 음성 시그니처들(416) 중 적어도 하나가, 데이터 베이스(408)에 미리 저장된 음성 시그니처와 매칭되는 경우, 웨어러블 디바이스(110)는 대화 관계를 식별할 수 있다. 즉, 웨어러블 디바이스(110)는 사용자(110)와 화자가 대화 상태인 것을 식별할 수 있다. 또한, 웨어러블 디바이스(110)는 음성 시그니처 매칭을 이용하여, 사용자(110)가 어떤 화자와 대화를 하는지도 식별할 수 있다. 보다 구체적으로, 음성 시그니처들(416) 중 적어도 하나가, 데이터 베이스(408)에 저장된 가장 최근의 음성 시그니처(422)와 매칭되는 경우, 웨어러블 디바이스(110)는 대화 관계를 식별할 수 있다.
일 실시예에서, 분리된 음성 시그니처들은 사람 1, 사람 2 내지 사람 N에 대응하는 음성 시그니처를 포함할 수 있다. 일 실시예에서, 오너 음성 시그니처(420)는 웨어러블 디바이스(110)의 사용자의 음성을 나타내는 음성 시그니처를 의미할 수 있다. 오너 음성 시그니처(420)는 데이터 베이스(408)에 저장되어 있을 수 있다. 일 실시예에서, 가장 최근의 음성 시그니처(422)는 대화 관계 식별 후, 데이터 베이스(408)에 가장 최근에 저장된 음성 시그니처를 의미할 수 있다.
대화가 식별되지 않는 경우, 즉, 웨어러블 디바이스(110)가 사용자(130)와 화자 간의 대화 관계를 식별하지 못하는 경우, 웨어러블 디바이스(110)가 스마트 잡음 제거 프로세스를 수행하는 상태가 지속될 수 있다. 대화가 식별되는 경우, 즉, 웨어러블 디바이스(110)가 사용자(130)와 화자 간의 대화 관계를 식별하는 경우, 웨어러블 디바이스(110)는 음성 시그니처를 저장할 수 있다(424). 예를 들면, 웨어러블 디바이스(110)는 음성 시그니처들(416) 중 대화 관계 식별을 위해 검출된 음성 시그니처를, 데이터 베이스(408)에 저장할 수 있고, 기존에 저장된 음성 시그니처를 검출된 음성 시그니처에 기초하여 업데이트할 수 있다.
대화가 식별되는 경우, 웨어러블 디바이스(110)는 기 설정된 동작을 수행할 수 있다(426). 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)로 수신된 입력의 잡음을 제거하거나, 사용자(130)와 대화 관계에 있는 화자의 음성을 증폭하거나, 사용자(130)가 화자의 음성을 들을 수 있도록 하기 위하여, 웨어러블 디바이스(110)에서 재생되는 컨텐츠의 볼륨을 조절할 수 있다. 상술한 424 단계는 426 단계 이후에 수행될 수도 있고, 426 단계 이전에 수행될 수도 있고, 그 외 어느 단계에서 수행되어도 무방하다. 상술한 바와 같이, 웨어러블 디바이스(110)는 사용자(130)와 화자 간의 대화 상태를 식별하고, 잡음 제거와 같은 기 설정된 동작을 수행할 수 있다. 후술하는 도 5 내지 도 9는 웨어러블 디바이스(110)의 동작 모드가 대화 모드인 경우, 웨어러블 디바이스(110)의 동작을 구체적으로 설명한다.
도 5는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 음성(voice) 및 비 음성(non voice) 분류(classification) 절차를 구체적으로 나타내는 도면이다.
도 5를 참조하면, 웨어러블 디바이스(110)는 주변 소리를 수신할 수 있다. 웨어러블 디바이스(110)는 수신된 주변 소리로부터 특징을 추출할 수 있다(510). 예를 들면, 웨어러블 디바이스(110)는 수신된 주변 소리의 스펙트럼 평탄도(spectral flatness)를 측정(512)하거나, 도미넌트 주파수(dominant frequency)를 검출(514)할 수 있다. 일 실시예에서, 스펙트럼 평탄도는 디지털 신호 처리(digital signal processing) 시, 오디오 스펙트럼(audio spectrum)을 특성화(characterize)하기 위하여 측정되는 값을 의미할 수 있다. 스펙트럼 평탄도는 데시벨(decibel, dB) 단위로 측정될 수 있다. 일 실시예에서, 도미넌트 주파수는 주파수 스펙트럼상의 주파수 중에서 가장 큰 에너지를 전달하는 주파수를 의미할 수 있다. 예를 들면, 도미넌트 주파수는 진폭이 가장 큰 주파수를 의미할 수 있다. 웨어러블 디바이스(110)는 수신된 주변 소리의 스펙트럼 평탄도를 측정(512)하고, 도미넌트 주파수를 검출(514)함으로써, 수신된 주변 소리의 특징을 추출할 수 있다(510).
웨어러블 디바이스(110)는 추출된 주변 소리의 특징을 이용하여 의사 결정을 수행할 수 있다(520). 얘를 들면, 웨어러블 디바이스(110)는 추출된 주변 소리의 스펙트럼 평탄도 및 도미넌트 주파수에 기초하여, 음성 신호(voice signal)의 존재를 결정할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 음성 신호의 존재를 결정한 후, 딥 러닝 기반 의사 결정 수정을 수행할 수 있다(530). 예를 들면, 웨어러블 디바이스(110)는 AI 기술을 이용하여 주변 소리로부터 음성 신호의 존재 여부를 결정하고, 기 결정된 의사를 수정할 수 있다. 또한, 웨어러블 디바이스(110)가 추출된 특징으로부터 음성 신호가 존재하지 않는다고 결정하였으나, 이후 AI 기술에 의하여 주변 소리로부터 음성 신호가 존재한다는 것이 검출되는 경우, 음성 신호가 존재하는 것으로 웨어러블 디바이스(110)의 의사 결정이 수정될 수 있다.
상술한 주변 신호의 특징 추출 동작, 의사 결정 및 수정 동작 후, 웨어러블 디바이스(110)는 주변 소리로부터 음성 및 비 음성 신호를 분류하고, 음성 데이터(540)를 추출할 수 있다. 일 실시예에서, 상술한 특징 추출, 의사 결정 및 딥 러닝 기반 의사 결정 수정 동작은 웨어러블 디바이스(110) 또는 단말(120)에서 수행될 수 있다.
도 6은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 음성 데이터 분리(separation) 절차를 구체적으로 나타내는 도면이다.
도 6을 참조하면, 웨어러블 디바이스(110)는 주변 소리로부터 음성 데이터를 추출할 수 있다(610). 예를 들면, 웨어러블 디바이스(110)는 도 5에서 설명된 방법을 통하여 주변 소리로부터 음성 및 비-음성을 분류하고, 음성 데이터를 추출할 수 있다. 웨어러블 디바이스(110)는 추출된 음성 데이터로부터 음성을 분류할 수 있다(620). 예를 들면, 웨어러블 디바이스(110)는 음성 데이터로부터 복수의 화자의 음성 시그니처를 확인하고, 각 화자 별로 음성을 분류할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는 데이터 베이스(408)에 미리 학습된 모델을 이용하여 음성을 분류할 수 있다. 예를 들면, 각 화자에 대응하는 음성 시그니처가 데이터 베이스(408)에 미리 저장되어 있을 수 있고, 웨어러블 디바이스(110)는 미리 저장된 음성 시그니처에 대한 정보를 이용하여, 추출된 음성 데이터로부터 각 화자의 음성을 분류할 수 있다. 웨어러블 디바이스(110)는 음성 분류를 통해 분리된 음성(630)을 획득할 수 있다. 상술한 음성 데이터 추출 및 음성 분류 동작을 통하여, 웨어러블 디바이스(110)는 화가 별로 분리된 음성을 획득할 수 있다. 일 실시예에서, 상술한 음성 데이터 추출 및 음성 분류 동작은 웨어러블 디바이스(110) 또는 단말(120)에서 수행될 수 있다.
도 7은 본 개시의 일 실시예에 따른 웨어러블 디바이스가 대화 상태를 식별하는 예시를 나타내는 도면이다.
도 7을 참조하면, 웨어러블 디바이스(110)의 사용자(130)(이하, 사용자”X”(130))와, 사용자 1(710)간의 대화 또는 웨어러블 디바이스(110)의 사용자(130)와 사용자 2(720)간의 대화 이벤트가 식별될 수 있다. 예를 들면, 시나리오 1에서, 사용자 X(130)는 사용자 1(710)로부터 제1 음성을 수신할 수 있다(701). 웨어러블 디바이스(110)는 수신된 제1 음성에 포함된 사용자 1(710)의 음성 시그니처로부터 사용자 1(710)의 이름을 매칭할 수 있다(703). 즉, 웨어러블 디바이스(110)는 제1 음성 시그니처에 포함된 음성 시그니처와 미리 저장된 음성 시그니처를 비교할 수 있고, 제1 음성 시그니처에 포함된 음성 시그니처와 미리 저장된 음성 시그니처가 매칭되는 경우, 사용자 X(130)와 사용자 1(710) 간의 대화 이벤트를 식별할 수 있다.
시나리오 2에서, 사용자 X(130)는 사용자 1(710)로 제2 음성을 전송할 수 있다(705). 즉, 사용자 X(130)는 사용자 1(710)과 대화를 시작할 수 있다. 사용자 1(710)은 사용자 X(130)로부터 제2 음성을 수신하고, 이에 따른 응답을 제공할 수 있다(707). 웨어러블 디바이스(110)는 사용자 1(710)로부터 응답을 수신한 후, 사용자 X(130)와 사용자 1(710) 간의 대화 이벤트를 식별할 수 있다.
시나리오 3에서, 사용자 X(130)는 사용자 2(720)로부터 제3 음성을 수신할 수 있다(709). 일 실시예에서, 제3 음성은 사용자 2(720)의 음성 시그니처를 포함할 수 있다. 웨어러블 디바이스(110)는 최근 대화 음성 리스트와, 수신된 제3 음성에 포함된 사용자 2(720)의 음성 시그니처를 매칭할 수 있다(711). 예를 들면, 웨어러블 디바이스(110)는 수신된 제3 음성에 포함된 사용자 2(720)의 음성 시그니처와, 웨어러블 디바이스(110)에 저장된 최근 대화 음성 리스트 상의 음성 시그니처가 동일한지 여부를 판단할 수 있다. 사용자 2(720)의 음성 시그니처와 최근 대화 음성 리스트 상의 음성 시그니처 중 적어도 하나가 동일한 경우, 즉, 매칭되는 경우, 웨어러블 디바이스(110)는 사용자 X(130)와 사용자 2(720) 간의 대화 이벤트를 식별할 수 있다. 일 실시 예에서, 대화 이벤트는 대화 상태 또는 대화 관계로 지칭될 수 있다.
도 8은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 대화 상태 식별 절차를 구체적으로 나타내는 도면이다.
도 8을 참조하면, 웨어러블 디바이스(110)는 복수의 음성 시그니처들(810)을 획득할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 도 6의 각 화자들에 따라 분리된 음성(630)으로부터 제1 음성 시그니처(810-1), 제2 음성 시그니처(810-2) 및 제N 음성 시그니처(810-N)를 획득할 수 있다. 웨어러블 디바이스(110)는 음성 시그니처 매칭 모듈(820)을 이용하여 음성 시그니처 매칭을 수행할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 획득된 복수의 음성 시그니처들(810)과, 데이터 베이스(408)에 저장된 음성 시그니처를 매칭할 수 있다(822). 즉, 웨어러블 디바이스(110)는 복수의 음성 시그니처들(810) 중 데이터 베이스(408)에 저장된 음성 시그니처와 동일한 음성 시그니처를 식별할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는 식별된 음성 시그니처와 화자의 이름을 매칭할 수 있다(824). 일 실시예에서, 데이터 베이스(408)는 웨어러블 디바이스(110)에 포함되거나, 웨어러블 디바이스(110)와 유선 또는 무선으로 연결된 단말(120)에 포함되거나, 이외의 저장소에 포함될 수 있다.
웨어러블 디바이스(110)는 획득된 음성 시그니처들 중 적어도 하나가 미리 저장된 음성 시그니처와 매칭되는 경우, 사용자(130)의 대화 상태를 검출할 수 있다. 대화 상태가 검출되는 경우, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 동작 모드를 대화 모드로 결정하고, 기 설정된 동작을 수행할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)로 수신된 입력의 잡음을 제거하거나, 사용자(130)와 대화 관계에 있는 화자의 음성을 증폭하거나, 사용자(130)가 화자의 음성을 들을 수 있도록 하기 위하여, 웨어러블 디바이스(110)에서 재생되는 컨텐츠의 볼륨을 조절할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 화자의 음성을 마이크로 입력 받을 수 있다. 웨어러블 디바이스(110)는 입력 받은 화자의 음성을 증폭하고, 증폭된 화자의 음성을 출력할 수 있다. 일 실시예에서, 화자의 음성은 웨어러블 디바이스(110)에서 재생되는 컨텐츠의 볼륨보다 더 크게 증폭될 수 있다.
도 9는 본 개시의 일 실시예에 따른 웨어러블 디바이스가 음성 시그니처(voice signature)를 저장하는 경우, 저장 방법의 예시를 나타내는 도면이다.
도 9를 참조하면, 웨어러블 디바이스(110)의 사용자(130) 또는 사용자(130)와 대화하는 화자에 대한 음성 시그니처는 원형의 데이터 저장소(902)로 저장될 수 있다. 도 9에는 원형으로 도시되었으나, 음성 시그니처가 저장되는 데이터의 구조는 원형 데이터 구조에 제한되지 않고, 다양한 변형들이 가능할 수 있다. 일 실시예에서, 원형의 데이터 저장소(902)에 제1 음성 시그니처, 제2 음성 시그니처 및 제3 음성 시그니처가 저장될 수 있다.
웨어러블 디바이스(110)는 제1 음성 시그니처와 제2 음성 시그니처 사이의 제1 지점(904)에 새로운 음성 시그니처를 삽입할 수 있다. 예를 들면, 새로운 음성 시그니처는 기존 원형의 데이터 저장소(902)에 저장되어 있지 않은 음성 시그니처를 의미할 수 있다. 일 실시예에서, 새로운 음성 시그니처는 가장 최근의 음성 시그니처를 의미할 수 있고, 가장 최근의 음성 시그니처가 원형의 데이터 저장소(902)에 저장될 수 있다. 일 실시 예에서, 웨어러블 디바이스(110)는 제3 음성 시그니처 이후의 제2 지점(906)을 기준으로 오래된 음성 시그니처를 삭제할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 제2 지점(906) 이후의 적어도 하나의 저장된 음성 시그니처를 삭제할 수 있다.
상술한 바와 같이, 최근의 음성 시그니처가 웨어러블 디바이스(110)의 저장소에 저장되고, 오래된 음성 시그니처는 삭제될 수 있다. 이를 통해, 제한적일 수 있는 웨어러블 디바이스(110)의 저장 공간이 효율적으로 활용될 수 있다.
상술한 도 4 내지 도 9를 통해, 대화 모드에서 웨어러블 디바이스(110) 동작의 전체적인 프로세스 및 구체적인 프로세스가 설명되었다. 일 실시예에서, 웨어러블 디바이스(110)는 사용자(130)와 화자 간의 대화를 검출하고, 대화 모드에 대응하는 동작을 수행하는 것 이외에도, 버스 정류장, 지하철 또는 기차역과 같은 장소에서 방송되는 공지를 수신하고, 공지 모드에 대응하는 동작을 수행할 수 있다. 예를 들면, 웨어러블 디바이스(110)를 착용한 사용자(130)가 지하철 역에 있는 경우, 지하철 역에서 해당 역으로 지하철이 접근하고 있다는 공지가 방송될 수 있다. 웨어러블 디바이스(110)는 지하철 역에서 방송된 공지를 검출하고, 수신된 입력의 잡음을 제거하거나, 웨러러블 디바이스에서 재생되는 컨텐츠의 볼륨을 조절할 수 있다. 후술하는 도 10은 공지 모드에서 웨어러블 디바이스(110) 동작의 절차를 도시한다.
도 10은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 공지 모드(announcement mode)인 경우, 웨어러블 디바이스가 동작하는 전체적인 절차를 나타내는 도면이다.
도 10을 참조하면, 웨어러블 디바이스(110)의 사용자(130)는 공지 모드를 자동 또는 수동으로 선택할 수 있다. 일 실시예에서, 옵션 1으로 웨어러블 디바이스(110)는 사용자(130)에게 공지 모드를 자동으로 추천할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)가 버스 정류장, 지하철역과 같은 특정 위치에 있는 경우, 사용자(130)의 입력 없이, 공지 모드로 동작할 것을 자동으로 추천할 수 있다. 일 실시예에서, 옵션 2로 웨어러블 디바이스(110)는 사용자(130)에게 공지 모드를 수동으로 선택하도록 할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 디스플레이 또는 웨어러블 디바이스(110)와 유선 또는 무선으로 연결된 단말(120)의 디스플레이 상으로, 공지 모드를 선택할 수 있는 사용자 인터페이스(user interface)를 제공할 수 있다. 상술한 옵션 1 또는 옵션 2에서의 웨어러블 디바이스(110)의 동작 절차를 구체적으로 설명하면 아래와 같다.
옵션 1의 경우, 웨어러블 디바이스(110)는 현재 위치를 검출할 수 있다(1010). 일 실시예에서, 웨어러블 디바이스(110)는 위치 측정 기술을 이용하여 현재 웨어러블 디바이스(110)의 위치를 검출할 수 있다. 예를 들면, 위치 측정 기술은, GPS(Global Positioning System), A-GPS(Assisted GPS), Wibro 또는 Wi-Fi를 이용한 위치 측정 기술을 포함할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)가 현재 버스 정류장, 지하철역, 기차역 또는 공항에 위치한 것을 검출할 수 있다. 웨어러블 디바이스(110)의 현재 위치가 검출된 후, 웨어러블 디바이스(110)는 공지 검출을 추천할 수 있다(1020). 즉, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 현재 위치에 기초하여, 사용자에게 현재 위치에서 방송되는 공지를 검출할 것을 추천할 수 있다. 예를 들면, 현재 위치에서 방송되는 공지는 버스 정류장, 지하철역, 기차역 또는 공항과 같은 시설의 안내방송을 의미할 수 있다.
웨어러블 디바이스(110)는 공지 모드 UX를 표시할 수 있다(1030). 예를 들면, 웨어러블 디바이스(110)는 사용자(130)에게 공지 검출을 추천할 것을 결정하고, 공지 모드를 선택하기 위한 사용자 인터페이스를, 웨어러블 디바이스(110) 또는 웨어러블 디바이스(110)와 유선 또는 무선으로 연결된 단말(120)의 디스플레이상으로 표시할 수 있다. 사용자(130)는 공지 모드를 활성화하기 위하여, 웨어러블 디바이스(110) 또는 웨어러블 디바이스(110)와 유선 또는 무선으로 연결된 단말(120)의 디스플레이상으로 표시된 공지 모드 UX를 선택할 수 있다.
웨어러블 디바이스(110)는 사용자(130)의 입력에 기초하여 공지 검출 모듈을 활성화할 수 있다(1040). 예를 들면, 사용자(130)가 터치, 클릭 또는 버튼을 누름으로써 공지 모드 UX를 선택하는 경우, 웨어러블 디바이스(110)는 공지를 검출하기 위한 공지 검출 모듈(1050)을 활성화할 수 있다. 일 실시예에서, 공지 검출 모듈(1050)은 웨어러블 디바이스(110) 또는 단말(120)에 포함될 수 있다.
공지 검출 모듈(1050)의 활성화에 따른 공지 검출 모듈(1050)의 동작 방법은 다음과 같다. 일 실시예에서, 버스 정류장에서 공지가 방송되는 경우, 공지 검출 모듈(1050)은 방송된 공지에서 음성 및 비-음성을 분류할 수 있다(1052). 일 실시예에서, 분류된 음성 중 적어도 하나는 공지 시그니처를 포함할 수 있다. 공지 검출 모듈(1050)은 분류된 음성에 대하여 음성 공지(voice announcement)를 검출할 수 있다(1054). 예를 들면, 음성 공지는, 음성 및 비-음성 분류 동작을 통하여 분류된 음성에서, 공지 시그니처를 포함하는 음성을 의미할 수 있다. 이후, 공지 검출 모듈(1050)은 음성 공지를 인식할 수 있다(1046). 즉, 공지 검출 모듈(1050)은 공지 시그니처를 포함하는 음성 공지를 검출함으로써, 음성 공지를 인식할 수 있다. 음성 공지가 인식되는 경우, 웨어러블 디바이스(110)는 수신된 입력의 잡음을 제거하는 동작, 웨어러블 디바이스(110)에서 재생되는 컨텐츠의 볼륨을 조절하는 동작 등을 수행할 수 있다.
도 11은 본 개시의 일 실시예에 따른 웨어러블 디바이스가 전력 제어 모드(power control mode)의 동작 모드로 동작하는 시나리오를 나타내는 도면이다.
도 11을 참조하면, 잡음 제거 기능은 많은 전력 소모를 필요로 하므로, 웨어러블 디바이스(110)는 전력 소모를 줄이기 위하여 웨어러블 디바이스(110) 주변의 환경을 분석할 수 있다. 웨어러블 디바이스(110)는 분석된 주변 환경의 상태에 기초하여 잡음 제거 기능을 턴 온(turn on) 하거나 턴 오프(turn off)할 수 있다. 예를 들면, 제1 환경(1102)에서, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변의 환경이 조용하다는 것을 식별할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 주변 소리를 입력으로서 수신할 수 있다. 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 미만인 경우, 웨어러블 디바이스(110) 주변의 환경이 조용하다고 판단할 수 있다. 주변의 환경이 조용하다고 판단하는 경우, 웨어러블 디바이스(110)는 잡음 제거를 중단할 수 있다.
제2 환경(1104)에서, 웨어러블 디바이스는 웨어러블 디바이스(110) 주변의 환경이 시끄럽다는 것을 식별할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 주변 소리를 입력으로서 수신할 수 있다. 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 이상인 경우, 웨어러블 디바이스(110) 주변의 환경이 시끄럽다고 판단할 수 있다. 주변의 환경이 시끄럽다고 판단하는 경우, 웨어러블 디바이스(110)는 잡음 제거를 시작할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는 사용자(130)의 뇌파를 이용하여 사용자의 스트레스 레벨을 모니터링할 수 있다. 모니터링된 사용자의 스트레스 레벨과 미리 결정된 사용자의 선호도에 기초하여, 잡음 제거가 활성화되거나 또는 비활성화될 수 있다. 예를 들면, 웨어러블 디바이스(110)는 사용자(130)의 뇌(1106)에서 방출되는 뇌파를 검출하고, 검출된 뇌파의 특성을 이용하여 사용자(130)의 스트레스 레벨을 결정할 수 있다.
일 실시예에서, 뇌파는 EEG(Electroencephalography) 센서를 통해 검출될 수 있다. EEG 센서는 웨어러블 디바이스(110) 또는 단말(120)에 포함될 수 있다. 사용자의 스트레스 레벨이 임계치 이상인 경우, 웨어러블 디바이스(110)는 잡음 제거를 턴 온할 수 있다. 사용자의 스트레스 레벨이 임계치 미만인 경우, 웨어러블 디바이스(110)는 잡음 제거를 턴 오프할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 전력 절약(power saving)을 위하여, 분석된 웨어러블 디바이스(110) 주변 환경의 상태에 기초하여, 오디오 서브 샘플링 속도(audio sub-sampling rate)를 조절할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 사용자(130)의 뇌(1106)에서 방출되는 뇌파를 검출하고, 검출된 뇌파에 기초하여 사용자(130)의 수면 단계(sleep stage)를 결정할 수 있다. 웨어러블 디바이스(110)는 결정된 사용자(130)의 수면 상태에 기초하여 잡음 제거를 활성화 또는 비활성화할 수 있다.
도 12는 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 전력 제어 모드인 경우, 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 12를 참조하면, 1210 단계에서, 웨어러블 디바이스(110)는 주변 소리를 분석할 수 있다. 웨어러블 디바이스(110)는 주변 소리를 입력으로서 수신할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 미만인 경우, 웨어러블 디바이스(110) 주변의 환경이 조용하다고 판단할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 이상인 경우, 웨어러블 디바이스(110) 주변의 환경이 시끄럽다고 판단할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 수신된 입력 포함된 화자의 음성 시그니처가, 미리 저장된 음성 시그니처와 매칭되는 경우, 사용자(130)와 화자 간의 대화 상태를 판단할 수 있다.
1220 단계에서, 웨어러블 디바이스(110)는 샘플링 속도를 추천할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 주변 소리 분석을 이용하여 웨어러블 디바이스(110) 주변 환경의 상태를 결정하고, 결정된 상태에 따라 오디오 서브샘플링 또는 샘플링 속도를 결정할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변의 환경이 조용하거나, 사용자(130)와 화자 간의 대화가 계속되지 않는 경우, 임계치 미만의 오디오 서브샘플링 속도를 추천할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변의 환경이 시끄럽거나, 사용자(130)와 화자 간의 대화가 계속 중인 경우, 임계치 이상의 오디오 서브샘플링 속도를 추천할 수 있다.
1230 단계에서, 웨어러블 디바이스(110)는 서브 샘플링 속도를 제어할 수 있다. 예를 들면, 웨어러블 디바이스(110) 주변의 환경이 조용하거나, 사용자(130)와 화자 간의 대화가 계속되지 않는 경우, 웨어러블 디바이스(110)는 오디오 서브샘플링 속도를 감소시킬 수 있다. 웨어러블 디바이스(110) 주변의 환경이 시끄럽거나, 사용자(130)와 화자 간의 대화가 계속 중인 경우, 웨어러블 디바이스(110)는 오디오 서브샘플링 속도를 증가시킬 수 있다. 상술한 바와 같이, 웨어러블 디바이스(110)는 주변 소리를 분석함으로써 적응적으로 오디오 서브샘플링 속도를 조절할 수 있다. 적응적인 오디오 서브샘플링 속도 조절을 통하여, 웨어러블 디바이스(110)의 전력 소모가 절약될 수 있다.
도 13은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 전력 제어 모드인 경우, 웨어러블 디바이스가 동작하는 전체적인 절차를 나타내는 도면이다.
도 13을 참조하면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변의 소리를 분석할 수 있다(1310). 즉, 웨어러블 디바이스(110)는 주변의 소리를 분석함으로써, 웨어러블 디바이스(110) 주변의 환경을 식별할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 주변 소리를 입력으로서 수신할 수 있다. 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 미만인 경우, 웨어러블 디바이스(110) 주변의 환경이 조용하다고 판단할 수 있다. 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 이상인 경우, 웨어러블 디바이스(110) 주변의 환경이 시끄럽다고 판단할 수 있다.
웨어러블 디바이스(110)는 식별된 웨어러블 디바이스(110) 주변의 환경에 기초하여, 잡음 제거를 추천할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 식별된 웨어러블 디바이스(110) 주변의 환경이 조용한 환경인지 또는 조용한 환경이 아닌지에 따라 잡음 제거를 추천할 수 있다(1320). 이때, 잡음 제거 추천에 데이터 베이스(408)에 저장된 사용자 선호도 정보(1302)가 사용될 수 있다. 예를 들면, 사용자 선호도 정보(1302)는, 사용자가 조용한 환경 또는 시끄러운 환경을 선호한다는 것을 나타내는 정보를 포함할 수 있다. 일 실시예에서, 웨어러블 디바이스(110) 주변의 환경이 조용한 환경인 경우, 웨어러블 디바이스(110)는 사용자 알림을 제공할 수 있다(1330). 예를 들면, 웨어러블 디바이스(110)는 잡음 제거의 턴 오프를 나타내는 알림을 웨어러블 디바이스(110) 또는 단말(120)에 제공함으로써, 사용자(130)에게 잡음 제거 여부에 대하여 결정하도록 할 수 있다. 일 실시 예에서, 웨어러블 디바이스(110) 주변의 환경이 조용한 환경인 것으로 분석되는 경우, 웨어러블 디바이스(110)는, 이미 수행 중인 잡음 제거 동작을 턴 오프 할 수 있는 사용자 알림을 제공할 수 있다. 예를 들면, 사용자 알림은, “잡음 제거를 턴 오프 하시겠습니까?”와 같은 문구를 표시하는 팝업창과, 사용자(130)가 잡음 제거의 턴 오프 여부를 선택할 수 있는 제1 버튼(예: 예) 및 제2 버튼(예: 아니오)를 포함할 수 있다. 이때, 제1 버튼 및 제2 버튼은 팝업창에 포함될 수 있으나, 이에 제한되는 것은 아니다. 일 실시 예에서, 잡음 제거를 추천하는 단계(1320)는 주변 소리를 분석하는 단계(1310)에 포함될 수 있다. 또한, 웨어러블 디바이스(110) 주변이 조용한 환경인지 여부를 판단하는 단계는, 주변 소리 분석(1310) 단계에 포함될 수 있고, 잡음 제거 추천 단계(1320) 이전에 수행될 수도 있다.
일 실시예에서, 사용자 선호도 정보(1302)가 사용자(130)가 시끄러운 환경을 선호함을 나타내는 경우, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변의 환경이 조용한 환경이 아니더라도, 잡음 제거의 턴 오프를 나타내는 알림을 웨어러블 디바이스(110) 또는 단말(120)로 제공할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 사용자의 입력을 수신할 수 있다(1350). 예를 들면, 웨어러블 디바이스(110)의 디스플레이 상으로 입력된 사용자 입력을 수신할 수 있다. 사용자(130)는 알림에 따라 웨어러블 디바이스(110)의 잡음 제거를 턴 오프하거나, 알림을 무시할 수 있다.
웨어러블 디바이스(110)는 현재 웨어러블 디바이스(110) 주변의 환경을 나타내는 환경 정보(1304)를 데이터 베이스(408)에 저장할 수 있다. 일 실시예에서, 데이터 베이스(408)에 저장된 환경 정보(1304)는, 잡음 제거 추천 시 사용자 선호도 정보(1302)를 생성하는데 사용될 수 있다. 일 실시예에서, 웨어러블 디바이스(110) 주변의 환경이 조용한 환경이 아닌 경우, 웨어러블 디바이스(110)는 잡음 제거를 수행할 수 있다(1340). 일 실시예에서, 사용자 선호도 정보(1302)가 사용자(130)가 조용한 환경을 선호함을 나타내는 경우, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변의 환경이 조용한 환경이더라도, 잡음 제거를 수행할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)의 잡음 제거 수행 여부 결정 시, 식별된 웨어러블 디바이스(110) 주변의 환경과, 사용자 선호도 정보(1302)의 우선순위는 미리 결정되어 있을 수 있다. 예를 들면, 사용자 선호도 정보(1302)에 대한 우선순위가 식별된 웨어러블 디바이스(110) 주변의 환경에 대한 우선순위보다 더 높은 경우, 웨어러블 디바이스(110)는 식별된 웨어러블 디바이스(110) 주변의 환경에 관계없이, 사용자 선호도 정보(1302)에 기초하여 잡음 제거 수행 여부를 결정할 수 있다. 일 실시예에서, 식별된 웨어러블 디바이스(110) 주변의 환경에 대한 우선순위가 사용자 선호도 정보(1302)에 대한 우선순위보다 더 높은 경우, 웨어러블 디바이스(110)는 사용자 선호도 정보(1302)에 관계없이, 식별된 웨어러블 디바이스(110) 주변의 환경에 기초하여 잡음 제거 수행 여부를 결정할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)를 착용한 사용자(130)의 건강 상태를 모니터링할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 음향 반사 측정(Acoustic Reflectometry) 기법을 이용하여 사용자(130)의 귀 건강 상태를 모니터링할 수 있다. 또한, 웨어러블 디바이스(110)는 사용자(130)의 뇌파에서 수면과 관련된(sleep-related) 생리적 신호(physiological signals)를 모니터링할 수 있다. 웨어러블 디바이스(110)는 생리적 신호의 모니터링을 이용하여 사용자(130)의 수면 패턴(sleep pattern)을 식별할 수 있다. 또한, 웨어러블 디바이스(110)는 사용자(130)의 뇌파를 분석함으로써 사용자(130)의 스트레스 레벨을 검출할 수 있다. 이하 도 14 및 도 15는 웨어러블 디바이스(110)를 이용하여 사용자(130)의 건상 상태를 모니터링하는 실시예들을 설명한다.
도 14는 본 개시의 일 실시예에 따른 웨어러블 디바이스가 귀 건강 상태를 분석하는 경우, 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 14를 참조하면, 1401 단계에서, 웨어러블 디바이스(110)는 신호를 출력할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 음향 반사 측정 기법을 이용하기 위하여, 소리 신호를 웨어러블 디바이스(110)의 사용자(130)의 귀 안으로 출력할 수 있다. 출력된 소리 신호는 사용자(130)의 귀 안에서 반사될 수 있다.
1403 단계에서, 웨어러블 디바이스(110)는 반사된 신호를 획득할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 출력된 소리 신호가 사용자(130)의 귀 안에서 반사됨으로써 생성된, 반사된 소리 신호(reflected sound signal)를 획득할 수 있다. 일 실시예에서, 사용자(130)의 귀의 구조, 귀의 건강 상태에 따라 반사된 소리 신호는 상이할 수 있다. 상술한 바와 같이 소리 신호를 출력하고, 반사된 소리 신호를 획득하는 방법은 음향 반사 측정 기법으로 정의될 수 있다.
1405 단계에서, 웨어러블 디바이스(110)는 귀 상태를 분석할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 음향 반사 측정 기법을 통하여 획득된 반사된 소리 신호를 이용하여 사용자(130)의 귀 상태를 분석할 수 있다. 일 실시예에서, 사용자(130)의 귀 상태 분석 시, AI 모델이 사용될 수 있다. 예를 들면, 웨어러블 디바이스(110)는 머신 러닝(Machine Learning) 또는 딥 러닝(Deep Learning)을 통하여 학습된 데이터에 기초하여, 반사된 소리 신호에 대응하는 사용자(130)의 귀 상태를 판단할 수 있다.
1407 단계에서, 웨어러블 디바이스(110)는 귀 상태 이상 여부를 검출할 수 있다. 예를 들면, AI 모델을 이용한 귀 상태 분석 시, 반사된 소리 신호가 이상이 있는 귀 상태에 대응하는 경우, 웨어러블 디바이스(110)는 사용자(130)의 귀에 이상이 있다는 것을 검출할 수 있다. 반사된 소리 신호가 이상이 없는 귀 상태에 대응하는 경우, 웨어러블 디바이스(110)는 사용자(130)의 귀에 이상이 없다는 것을 검출할 수 있다. 일 실시예에서, 귀 상태 이상은 중이염(middle ear infection), 또는 중이 삼출액(middle ear effusion)을 포함할 수 있다. 귀 상태의 이상이 검출되지 않는 경우, 웨어러블 디바이스(110)는 다시 1401 단계를 수행할 수 있다. 귀 상태의 이상이 검출되는 경우, 웨어러블 디바이스(110)는 1409 단계를 수행할 수 있다.
1409 단계에서, 웨어러블 디바이스(110)는 알림을 표시할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 귀 상태의 이상이 검출되는 경우, 검출 결과를 웨어러블 디바이스(110) 또는 단말(120)에 표시할 수 있다. 일 실시예에서, 웨어러블 디바이스(110)는 사용자(130)의 귀 상태 이상을 나타내는 사용자 인터페이스를 웨어러블 디바이스(110) 또는 단말(120)에 표시할 수 있다. 사용자(130)는 웨어러블 디바이스(110) 또는 단말(120)에 표시된 알림을 확인함으로써, 사용자(130)의 귀 상태에 이상이 있다는 것을 확인할 수 있다.
도 15는 본 개시의 일 실시예에 따른 웨어러블 디바이스 사용자의 수면 상태를 분석함으로써 전력 제어 모드를 활성화하는 웨어러블 디바이스의 동작 방법을 나타내는 흐름도이다.
도 15를 참조하면, 1501 단계에서, 웨어러블 디바이스(110)는 뇌파를 획득할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 EEG 센서를 이용하여 사용자(130)의 뇌에서 출력되는 뇌파를 획득할 수 있다. EEG 센서는 웨어러블 디바이스(110)에 포함되어 있을 수 있다.
1503 단계에서, 웨어러블 디바이스(110)는 수면 상태가 검출되는지 여부를 판단할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 사용자(130)의 상태가 수면 중(in sleep)인 상태인지, 깨어있는(awake) 상태인지 여부를 판단할 수 있다. 사용자(130)의 수면 상태가 검출되지 않는 경우, 즉, 사용자(130)가 깨어있는 상태인 경우, 웨어러블 디바이스(110)는 다시 1501 단계를 수행할 수 있다. 사용자(130)의 수면 상태가 검출되는 경우, 즉 사용자(130)가 수면 중인 상태인 경우, 웨어러블 디바이스(110)는 1505 단계를 수행할 수 있다.
1505 단계에서, 웨어러블 디바이스(110)는 수면 상태를 분석할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 사용자(130)의 수면의 질을 분석 및 기록하거나, 사용자(130)의 수면 상태를 유형별로 분류할 수 있다. 예를 들면, 사용자(130)의 수면 상태의 유형은 제1 수면 상태 또는 제2 수면 상태를 포함할 수 있다. 일 실시예에서, 제1 수면 상태는 깨어있는 것에 가까운 얕은 수면을 나타내는 렘수면(Rapid eye movement sleep, REM sleep)을 의미할 수 있다. 일 실시예에서, 제2 수면 상태는 깊은 수면 상태를 의미할 수 있다. 예를 들면, 깊은 수면 상태는 렘수면 보다 더 깊게 잠든 상태인 비렘수면(Non-REM sleep)을 의미할 수 있다. 웨어러블 디바이스(110)는 획득된 뇌파에 기초하여 사용자(130)의 수면 상태를 분석할 수 있다.
1507 단계에서, 웨어러블 디바이스(110)는 제2 수면 상태인지 여부를 판단할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 사용자의 수면 상태가 비렘수면 상태인지 여부를 판단할 수 있다. 사용자(130)의 수면 상태가 제2 수면 상태가 아닌 경우, 웨어러블 디바이스(110)는 다시 1501 단계를 수행할 수 있다. 사용자(130)의 수면 상태가 제2 수면 상태인 경우, 웨어러블 디바이스(110)는 1509 단계를 수행할 수 있다.
1509 단계에서, 웨어러블 디바이스(110)는 전력 제어 모드를 활성화할 수 있다. 일 실시예에서, 사용자(130)의 수면 상태가 제2 수면 상태인 경우, 사용자(130)는 깊은 잠에 빠진 상태이므로, 잡음 제거가 따로 필요하지 않을 수 있다. 따라서, 웨어러블 디바이스(110)는 전력 제어 모드를 활성화할 수 있다. 웨어러블 디바이스(110)는 전력 제어 모드에서, 잡음 제거를 턴 오프함으로써, 실시간 전력 제어를 위하여 사용되는 전력을 절약할 수 있다. 도 15에 도시되지는 아니하였으나, 웨어러블 디바이스(110)는 전력 제어 모드를 활성화하고, 잡음 제거를 턴 오프한 뒤, 다시 1501 단계로 돌아가서 뇌파를 획득할 수 있다. 또한, 웨어러블 디바이스(110)는 EEG 센서를 이용하여 획득된 사용자(130)의 뇌파를 이용하여 사용자(130)의 스트레스 레벨을 분석할 수 있다. 도 15에 도시된 바와 같이, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 사용자(130)의 뇌파를 감지하고, 감지된 뇌파를 분석함으로써 사용자(130)의 수면 상태를 식별하고, 식별된 수면 상태에 기초하여 잡음 제거를 수행할 수 있다.
도 16은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 블록도이다.
도 16을 참조하면, 웨어러블 디바이스(110)는 송수신부(1610), 메모리(1620) 및 프로세서(1630)를 포함할 수 있다. 그러나, 도 16에 도시된 구성 요소 모두가 웨어러블 디바이스(110)의 필수 구성 요소인 것은 아니다. 도 16에 도시된 구성 요소보다 많은 구성 요소에 의해 웨어러블 디바이스(110)가 구현될 수도 있고, 도 16에 도시된 구성 요소보다 적은 구성 요소에 의해 웨어러블 디바이스(110)가 구현될 수도 있다.
일 실시예에서, 송수신부(1610)는 웨어러블 디바이스(110)와 유선 또는 무선으로 연결된 단말(120), 또는 다른 전자 디바이스와 통신할 수 있다. 예를 들면, 송수신부(1610)는 웨어러블 디바이스(110) 주변의 소리를 입력으로서 수신할 수 있고, 단말(120)에 입력된 사용자의 입력 정보를 수신할 수 있다. 일 실시예에서, 송수신부(1610)는 음향 반사 측정 기법을 사용하기 위하여, 소리 신호를 출력할 수 있다. 또한, 송수신부(1610)는 출력된 소리 신호가 사용자(130)의 귀 안에서 반사된 소리 신호를 수신할 수 있다.
메모리(1620)에는 애플리케이션과 같은 프로그램 및 파일 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 프로세서(1630)는 메모리(1620)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(1620)에 저장할 수도 있다. 일 실시예에서, 메모리(1620)는 데이터 베이스(408)를 포함할 수 있다. 일 실시예에서, 메모리(1620)는 웨어러블 디바이스(110) 주변의 소리로부터 추출된 사용자(130) 또는 화자의 음성 시그니처를 저장할 수 있다. 일 실시예에서, 메모리(1620)는 잡음 제거 추천을 위한 사용자 선호도 정보를 저장할 수 있다.
프로세서(1630)는 웨어러블 디바이스(110)의 전체적인 동작을 제어하며, CPU, GPU 등과 같은 프로세서를 적어도 하나 이상 포함할 수 있다. 프로세서(1630)는 웨어러블 디바이스(110)를 작동하기 위한 동작을 수행하도록 웨어러블 디바이스(110)에 포함된 다른 구성들을 제어할 수 있다. 예를 들어, 프로세서(1630)는 메모리(1620)에 저장된 프로그램을 실행시키거나, 저장된 파일을 읽어오거나, 새로운 파일을 저장할 수도 있다. 일 실시예에서, 프로세서(1630)는 메모리(1620)에 저장된 프로그램을 실행함으로써, 웨어러블 디바이스(110)를 작동하기 위한 동작을 수행할 수 있다.
도 16에 도시되지는 아니하였으나, 웨어러블 디바이스(110)는 센서부를 더 포함할 수 있다. 일 실시예에서, 센서부는 EEG 센서를 포함할 수 있다. 센서부는 웨어러블 디바이스(110)의 사용자(130)의 뇌에서 출력되는 뇌파를 감지할 수 있다. 일 실시예에서, 센서부는 웨어러블 디바이스(110)의 현재 위치를 파악하기 위한 위치 센서(예컨대, GPS)도 포함할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는, 송수신부(1610), 하나 이상의 인스트럭션을 저장하는 메모리(1620), 웨어러블 디바이스(110)의 주변의 소리를 입력으로서 수신하고, 수신된 입력에 기초하여, 복수 개의 동작 모드들 중 하나를 결정하고, 결정된 동작 모드에 따라, 기 설정된 동작을 수행하도록 하는, 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서(1630)를 포함할 수 있다.
일 실시예에서, 복수 개의 동작 모드들은, 웨어러블 디바이스(110)의 사용자와 화자(speaker) 간의 대화 상태를 나타내는 대화 모드(conversation mode), 외부 디바이스의 공지를 검출하는 공지 모드(announcement mode) 또는 웨어러블 디바이스(110)의 전력 소모를 조절하는 전력 제어 모드 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)의 프로세서(1630)는, 하나 이상의 인스트럭션을 실행함으로써, 수신된 입력으로부터 검출된 음성 시그니처(voice signature)가 미리 저장된 음성 시그니처와 매칭되는 경우, 복수 개의 동작 모드들 중 대화 모드를 동작 모드로서 결정할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)의 프로세서(1630)는, 하나 이상의 인스트럭션을 실행함으로써, 수신된 입력으로부터 검출된 음성 시그니처가 미리 저장된 음성 시그니처와 매칭되는 경우, 검출된 음성 시그니처에 기초하여 미리 저장된 음성 시그니처를 업데이트할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)의 프로세서(1630)는, 하나 이상의 인스트럭션을 실행함으로써, 수신된 입력으로부터 공지 시그니처(announcement signature)를 검출하는 경우, 복수 개의 동작 모드들 중 공지 모드를 동작 모드로서 결정할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)의 프로세서(1630)는, 하나 이상의 인스트럭션을 실행함으로써, 수신된 입력의 크기가 임계치 미만인 경우, 복수 개의 동작 모드들 중 전력 제어 모드를 동작 모드로서 결정할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)의 프로세서(1630)는, 하나 이상의 인스트럭션을 실행함으로써, 웨어러블 디바이스(110)가 대화 모드로 동작하는 경우, 수신된 입력의 잡음을 제거하고, 웨어러블 디바이스(110)에서 재생되는 컨텐츠의 볼륨을 조절하고, 화자의 음성을 증폭할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)의 프로세서(1630)는, 하나 이상의 인스트럭션을 실행함으로써, 웨어러블 디바이스(110)가 공지 모드로 동작하는 경우, 수신된 입력의 잡음을 제거하고, 웨어러블 디바이스(110)에서 재생되는 컨텐츠의 볼륨을 조절할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)의 프로세서(1630)는, 하나 이상의 인스트럭션을 실행함으로써, 웨어러블 디바이스(110)가 전력 제어 모드로 동작하는 경우, 입력의 샘플링 속도를 조절하고, 잡음 제거를 비활성화할 수 있다.
일 실시예에서, 웨어러블 디바이스(110)는 센서부를 더 포함하고, 웨어러블 디바이스(110)의 프로세서(1630)는, 하나 이상의 인스트럭션을 실행함으로써, 센서부를 이용하여 웨어러블 디바이스(110)의 사용자의 뇌파를 감지하고, 감지된 뇌파를 분석함으로써 사용자(130)의 수면 상태를 식별하고, 식별된 수면 상태에 기초하여 잡음 제거를 수행할 수 있다.
도 17은 본 개시의 일 실시예에 따른 웨어러블 디바이스의 동작 모드가 전력 제어 모드인 경우, 웨어러블 디바이스가 동작하는 예시를 나타내는 도면이다.
도 17을 참조하면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변의 소리를 분석할 수 있다(1705). 즉, 웨어러블 디바이스(110)는 주변의 소리를 분석함으로써, 웨어러블 디바이스(110) 주변의 환경을 식별할 수 있다. 예를 들면, 웨어러블 디바이스(110)는 주변 소리를 입력으로서 수신하고, 웨어러블 디바이스(110) 주변의 환경이 조용한 환경인지, 조용하지 않은 환경인지 여부를 분석할 수 있다.
웨어러블 디바이스(110)는 웨어러블 디바이스 주변이 조용한 환경인지 여부를 판단할 수 있다(1710). 예를 들면, 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 미만인 경우, 웨어러블 디바이스(110) 주변의 환경이 조용하다고 판단할 수 있다. 웨어러블 디바이스(110)는 수신된 입력의 크기가 임계치 이상인 경우, 웨어러블 디바이스(110) 주변의 환경이 조용하지 않은 환경이라고 판단할 수 있다. 즉, 웨어러블 디바이스(110)는 주변의 환경이 시끄럽다고 판단할 수 있다. 도 17에서는 1705 단계 이후에 1710 단계가 수행되는 것으로 도시되었으나 이에 제한되지 않는다. 즉, 1705 단계 및 1710 단계는, 단일 동작으로 수행될 수도 있다. 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변의 소리를 분석함으로써, 웨어러블 디바이스 주변이 조용한 환경인지 여부를 판단할 수 있다. 또한, 1710 단계는 1705 단계에 포함될 수도 있다. 예를 들면, 웨어러블 디바이스(110)가 주변 소리를 분석하는 단계(1705)에, 웨어러블 디바이스 주변이 조용한 환경 인지 여부를 판단하는 단계(1710)가 포함될 수 있다.
일 실시 예에서, 웨어러블 디바이스(110) 주변이 조용한 환경이 아닌 경우, 웨어러블 디바이스(110)는 잡음 제거를 턴 온 할 것을 추천할 수 있다(1720). 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변이 조용한 환경이 아니므로, 잡음 제거를 턴 온 할 것을 추천하는 메시지를 웨어러블 디바이스(110) 또는 단말(120)로 제공할 수 있다. 일 실시 예에서, 잡음 제거를 턴 온 할 것을 추천하는 메시지는 팝업창 형태로 웨어러블 디바이스(110) 또는 단말(120) 상으로 제공될 수 있다. 이때, 팝업창은 “잡음 제거를 턴 온 하시겠습니까?”와 같은 잡음 제거 턴 온 추천에 관한 문구를 포함할 수 있다. 또한, 팝업창은, 사용자(130)가 잡음 제거의 턴 온 여부를 선택할 수 있는 제1 버튼(예: 예) 및 제2 버튼(예: 아니오)을 포함할 수 있다. 일 실시 예에서, 메시지는 음성 메시지 형태로, 웨어러블 디바이스(110)에서 출력됨으로써 사용자(130)에게 제공될 수도 있으며, 이에 제한되는 것은 아니다. 일 실시 예에서, 웨어러블 디바이스(110)의 잡음 제거 턴 온 추천 시, 데이터 베이스(408)로부터 제공된 사용자 선호도 정보(1702-2)가 사용될 수 있다. 예를 들면, 웨어러블 디바이스(110) 주변이 조용한 환경이 아니더라도, 사용자 선호도 정보(1702-2)가, 사용자(130)가 조용하지 않은 환경을 선호하거나, 조용한 환경을 선호하지 않는다는 것을 나타내는 경우, 웨어러블 디바이스(110)는 잡음 제거 턴 온을 추천하지 않을 수 있다.
웨어러블 디바이스(110)는 사용자 입력을 수신할 수 있다(1725). 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 또는 단말(120) 상으로, 잡음 제거의 턴 온 추천에 대한 사용자(130)의 입력을 수신할 수 있다. 예를 들면, 사용자(130)가 잡음 제거를 턴 온 하기를 원하는 경우, 사용자(130)는 잡음 제거의 턴 온을 나타내는 제1 버튼을 터치 또는 클릭함으로써 사용자 입력을 제공할 수 있다. 사용자(130)가 잡음 제거를 턴 온 하기를 원하지 않는 경우, 사용자(130)는 잡음 제거를 턴 온 하지 않는 것을 나타내는 제2 버튼을 터치 또는 클릭함으로써 사용자 입력을 제공할 수 있다.
웨어러블 디바이스(110)는 잡음 제거를 턴 온 할 수 있다(1730). 예를 들면, 사용자(130)가 사용자 입력을 통해 잡음 제거를 턴 온 하는 것을 선택하는 경우, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 잡음 제거 기능을 턴 온 할 수 있다. 일 실시 예에서, 잡음 제거 턴 온을 추천하는 단계(1720)와 사용자 입력을 수신하는 단계(1725)는 생략될 수 있다. 예를 들어, 웨어러블 디바이스(110) 주변이 조용한 환경이 아닌 것으로 판단되는 경우, 웨어러블 디바이스(110)는 잡음 제거의 턴 온을 추천하거나, 이에 대한 사용자(130)의 입력을 수신하지 않고, 잡음 제거를 턴 온 할 수 있다. 웨어러블 디바이스(110)가 잡음 제거의 턴 온을 추천하거나, 이에 대한 사용자(130)의 입력을 수신하지 않고, 잡음 제거를 턴 온 하는 조건은 미리 설정되어 웨어러블 디바이스(110) 상으로 저장되어 있을 수 있다.
일 실시 예에서, 웨어러블 디바이스(110) 주변이 조용한 환경인 경우, 웨어러블 디바이스(110)는 잡음 제거를 턴 오프 할 것을 추천할 수 있다(1715). 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 주변이 조용한 환경이므로, 이미 동작하고 있는 잡음 제거 기능을 턴 오프 할 것을 추천하는 메시지를 웨어러블 디바이스(110) 또는 단말(120)로 제공할 수 있다. 일 실시 예에서, 잡음 제거를 턴 오프 할 것을 추천하는 메시지는 팝업창 형태로 웨어러블 디바이스(110) 또는 단말(120) 상으로 제공될 수 있다. 이때, 팝업창은 “잡음 제거를 턴 오프 하시겠습니까?”와 같은 잡음 제거 턴 오프 추천에 관한 문구를 포함할 수 있다. 또한, 팝업창은, 사용자(130)가 잡음 제거의 턴 오프 여부를 선택할 수 있는 제1 버튼(예: 예) 및 제2 버튼(예: 아니오)를 포함할 수 있다. 일 실시 예에서, 메시지는 음성 메시지 형태로, 웨어러블 디바이스(110)에서 출력됨으로써 사용자(130)에게 제공될 수도 있으며, 이에 제한되는 것은 아니다. 일 실시 예에서, 웨어러블 디바이스(110)의 잡음 제거 턴 온 추천 시, 데이터 베이스(408)로부터 제공된 사용자 선호도 정보(1702-1)가 사용될 수 있다. 예를 들면, 웨어러블 디바이스(110) 주변이 조용한 환경이더라도, 사용자 선호도 정보(1702-1)가, 사용자(130)가 잡음 제거 기능을 지속적으로 이용하는 것을 선호한다는 것을 나타내는 경우, 웨어러블 디바이스(110)는 잡음 제거 턴 오프를 추천하지 않을 수 있다.
웨어러블 디바이스(110)는 사용자 입력을 수신할 수 있다(1735). 예를 들면, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 또는 단말(120) 상으로, 잡음 제거의 턴 오프 추천에 대한 사용자(130)의 입력을 수신할 수 있다. 예를 들면, 사용자(130)가 잡음 제거를 턴 오프 하기를 원하는 경우, 사용자(130)는 잡음 제거의 턴 오프를 나타내는 제1 버튼을 터치 또는 클릭함으로써 사용자 입력을 제공할 수 있다. 사용자(130)가 잡음 제거를 턴 오프 하기를 원하지 않는 경우, 사용자(130)는 잡음 제거를 턴 오프 하지 않는 것을 나타내는 제2 버튼을 터치 또는 클릭함으로써 사용자 입력을 제공할 수 있다. 일 실시 예에서, 웨어러블 디바이스(110)는 현재 웨어러블 디바이스(110) 주변의 환경을 나타내는 환경 정보(1704)를 데이터 베이스(408)에 저장할 수 있다. 일 실시예에서, 데이터 베이스(408)에 저장된 환경 정보(1704)는, 잡음 제거 추천 시 사용자 선호도 정보(1702-1) 또는 사용자 선호도 정보(1702-2)를 생성하는데 사용될 수 있다.
웨어러블 디바이스(110)는 잡음 제거를 턴 오프 할 수 있다(1740). 예를 들면, 사용자(130)가 사용자 입력을 통해 잡음 제거를 턴 오프 하는 것을 선택하는 경우, 웨어러블 디바이스(110)는 웨어러블 디바이스(110)의 잡음 제거 기능을 턴 오프 할 수 있다. 일 실시 예에서, 잡음 제거 턴 오프를 추천하는 단계(1715)와 사용자 입력을 수신하는 단계(1735)는 생략될 수 있다. 예를 들어, 웨어러블 디바이스(110) 주변이 조용한 환경인 것으로 판단되는 경우, 웨어러블 디바이스(110)는 잡음 제거의 턴 오프를 추천하거나, 이에 대한 사용자(130)의 입력을 수신하지 않고, 잡음 제거를 턴 오프 할 수 있다. 웨어러블 디바이스(110)가 잡음 제거의 턴 오프를 추천하거나, 이에 대한 사용자(130)의 입력을 수신하지 않고, 잡음 제거를 턴 오프 하는 조건은 미리 설정되어 웨어러블 디바이스(110) 상으로 저장되어 있을 수 있다. 도 17에 도시된 것처럼, 웨어러블 디바이스(110)는 웨어러블 디바이스 주변의 환경을 분석하고, 분석된 결과에 따라 동작을 달리함으로써, 잡음 제거 기능으로 인한 웨어러블 디바이스(110)의 전력 소모를 줄일 수 있다.
본 개시의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터를 포함할 수 있다.
또한, 본 개시에서, "부", "모듈" 등의 용어는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
"부", "모듈"은 어드레싱될 수 있는 저장 매체에 저장되며 프로세서에 의해 실행될 수 있는 프로그램에 의해 구현될 수도 있다. 예를 들어, "부", "모듈" 은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.
본 개시에서 설명된 특정 실행들은 일 실시예 일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.
또한, 본 개시에서, "a, b 또는 c 중 적어도 하나를 포함한다"는 "a만 포함하거나, b만 포함하거나, c만 포함하거나, a 및 b를 포함하거나, b 및 c를 포함하거나, a 및 c를 포함하거나, a, b 및 c를 모두 포함하는 것을 의미할 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 웨어러블 디바이스의 동작 방법에 있어서,
    상기 웨어러블 디바이스의 주변의 소리를 입력으로서 수신하는 단계;
    상기 수신된 입력에 기초하여, 복수 개의 동작 모드들 중 하나를 결정하는 단계; 및
    상기 결정된 동작 모드에 따라, 기 설정된 동작을 수행하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 복수 개의 동작 모드들은, 상기 웨어러블 디바이스의 사용자와 화자(speaker) 간의 대화 상태를 나타내는 대화 모드(conversation mode), 외부 디바이스의 공지를 검출하는 공지 모드(announcement mode) 또는 상기 웨어러블 디바이스의 전력 소모를 조절하는 전력 제어 모드 중 적어도 하나를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 복수 개의 동작 모드들 중 하나를 결정하는 단계는,
    상기 수신된 입력으로부터 검출된 음성 시그니처(voice signature)가 미리 저장된 음성 시그니처와 매칭되는 경우, 상기 복수 개의 동작 모드들 중 대화 모드를 동작 모드로서 결정하는 단계를 포함하는, 방법.
  4. 제3항에 있어서,
    상기 수신된 입력으로부터 검출된 음성 시그니처가 미리 저장된 음성 시그니처와 매칭되는 경우,
    상기 검출된 음성 시그니처에 기초하여 상기 미리 저장된 음성 시그니처를 업데이트하는 단계를 더 포함하는, 방법.
  5. 제2항에 있어서,
    상기 복수 개의 동작 모드들 중 하나를 결정하는 단계는,
    상기 수신된 입력으로부터 공지 시그니처(announcement signature)를 검출하는 경우, 상기 복수 개의 동작 모드들 중 공지 모드를 동작 모드로서 결정하는 단계를 포함하는, 방법.
  6. 제2항에 있어서,
    상기 복수 개의 동작 모드들 중 하나를 결정하는 단계는,
    상기 수신된 입력의 크기가 임계치 미만인 경우, 상기 복수 개의 동작 모드들 중 전력 제어 모드를 동작 모드로서 결정하는 단계를 포함하는, 방법.
  7. 제2항에 있어서,
    상기 기 설정된 동작을 수행하는 단계는,
    상기 웨어러블 디바이스가 대화 모드로 동작하는 경우,
    상기 수신된 입력의 잡음을 제거하는 단계;
    상기 웨어러블 디바이스에서 재생되는 컨텐츠의 볼륨을 조절하는 단계; 및
    상기 화자의 음성을 증폭하는 단계를 포함하는, 방법.
  8. 제2항에 있어서,
    상기 기 설정된 동작을 수행하는 단계는,
    상기 웨어러블 디바이스가 공지 모드로 동작하는 경우,
    상기 수신된 입력의 잡음을 제거하는 단계; 및
    상기 웨어러블 디바이스에서 재생되는 컨텐츠의 볼륨을 조절하는 단계를 포함하는, 방법.
  9. 제2항에 있어서,
    상기 기 설정된 동작을 수행하는 단계는,
    상기 웨어러블 디바이스가 전력 제어 모드로 동작하는 경우,
    상기 입력의 샘플링 속도를 조절하는 단계; 및
    잡음 제거를 비활성화하는 단계를 포함하는, 방법.
  10. 제1항에 있어서,
    상기 웨어러블 디바이스의 사용자의 뇌파를 감지하는 단계;
    상기 감지된 뇌파를 분석함으로써 상기 사용자의 수면 상태를 식별하는 단계; 및
    상기 식별된 수면 상태에 기초하여 잡음 제거를 수행하는 단계를 더 포함하는, 방법.
  11. 웨어러블 디바이스에 있어서,
    송수신부;
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 웨어러블 디바이스의 주변의 소리를 입력으로서 수신하고,
    상기 수신된 입력에 기초하여, 복수 개의 동작 모드들 중 하나를 결정하고,
    상기 결정된 동작 모드에 따라, 기 설정된 동작을 수행하도록 하는, 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하는, 웨어러블 디바이스.
  12. 제11항에 있어서,
    상기 복수 개의 동작 모드들은, 상기 웨어러블 디바이스의 사용자와 화자(speaker) 간의 대화 상태를 나타내는 대화 모드(conversation mode), 외부 디바이스의 공지를 검출하는 공지 모드(announcement mode) 또는 상기 웨어러블 디바이스의 전력 소모를 조절하는 전력 제어 모드 중 적어도 하나를 포함하는, 웨어러블 디바이스.
  13. 제12항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 수신된 입력으로부터 검출된 음성 시그니처(voice signature)가 미리 저장된 음성 시그니처와 매칭되는 경우, 상기 복수 개의 동작 모드들 중 대화 모드를 동작 모드로서 결정하는 것인, 웨어러블 디바이스.
  14. 제12항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 웨어러블 디바이스가 대화 모드로 동작하는 경우,
    상기 수신된 입력의 잡음을 제거하고,
    상기 웨어러블 디바이스에서 재생되는 컨텐츠의 볼륨을 조절하고,
    상기 화자의 음성을 증폭하는 것인, 웨어러블 디바이스.
  15. 제12항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 웨어러블 디바이스가 전력 제어 모드로 동작하는 경우,
    상기 입력의 샘플링 속도를 조절하고,
    잡음 제거를 비활성화하는 것인, 웨어러블 디바이스.
PCT/KR2019/004756 2019-03-20 2019-04-19 웨어러블 디바이스를 동작하기 위한 장치 및 방법 WO2020189837A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/474,563 US20210407532A1 (en) 2019-03-20 2021-09-14 Apparatus and method for operating wearable device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0031780 2019-03-20
KR1020190031780A KR20200113058A (ko) 2019-03-20 2019-03-20 웨어러블 디바이스를 동작하기 위한 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/474,563 Continuation US20210407532A1 (en) 2019-03-20 2021-09-14 Apparatus and method for operating wearable device

Publications (1)

Publication Number Publication Date
WO2020189837A1 true WO2020189837A1 (ko) 2020-09-24

Family

ID=72521027

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/004756 WO2020189837A1 (ko) 2019-03-20 2019-04-19 웨어러블 디바이스를 동작하기 위한 장치 및 방법

Country Status (3)

Country Link
US (1) US20210407532A1 (ko)
KR (1) KR20200113058A (ko)
WO (1) WO2020189837A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11315585B2 (en) * 2019-05-22 2022-04-26 Spotify Ab Determining musical style using a variational autoencoder
US11355137B2 (en) 2019-10-08 2022-06-07 Spotify Ab Systems and methods for jointly estimating sound sources and frequencies from audio
WO2023015013A1 (en) 2021-08-05 2023-02-09 Phoeb-X, Inc. Multi-sensory, assistive wearable technology, and method of providing sensory relief using same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008028937A (ja) * 2006-07-25 2008-02-07 Audio Technica Corp ノイズキャンセルヘッドホン
JP2016127376A (ja) * 2014-12-26 2016-07-11 株式会社Ｎｔｔドコモ 音出力装置および音出力装置における音の再生方法
JP2016139944A (ja) * 2015-01-28 2016-08-04 株式会社ナカヨ 特定音検知機能を有するウェアラブル機器
US20160277858A1 (en) * 2014-06-24 2016-09-22 Harman International Industries, Inc. Headphone listening apparatus
KR20160111744A (ko) * 2015-03-17 2016-09-27 주식회사 비에스엘 개별 적응 방식의 통화 기능을 가진 히어링 디바이스 및 그에 의한 통화 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008028937A (ja) * 2006-07-25 2008-02-07 Audio Technica Corp ノイズキャンセルヘッドホン
US20160277858A1 (en) * 2014-06-24 2016-09-22 Harman International Industries, Inc. Headphone listening apparatus
JP2016127376A (ja) * 2014-12-26 2016-07-11 株式会社Ｎｔｔドコモ 音出力装置および音出力装置における音の再生方法
JP2016139944A (ja) * 2015-01-28 2016-08-04 株式会社ナカヨ 特定音検知機能を有するウェアラブル機器
KR20160111744A (ko) * 2015-03-17 2016-09-27 주식회사 비에스엘 개별 적응 방식의 통화 기능을 가진 히어링 디바이스 및 그에 의한 통화 방법

Also Published As

Publication number Publication date
US20210407532A1 (en) 2021-12-30
KR20200113058A (ko) 2020-10-06

Similar Documents

Publication Publication Date Title
US20230308067A1 (en) Intelligent audio output devices
WO2020189837A1 (ko) 웨어러블 디바이스를 동작하기 위한 장치 및 방법
WO2021003955A1 (zh) 耳机播放状态的控制方法、装置、移动终端及存储介质
WO2020055048A1 (en) Method for determining earphone wearing state, method for controlling electronic apparatus, and electronic apparatus
EP3906704A1 (en) Sound outputting device including plurality of microphones and method for processing sound signal using plurality of microphones
WO2021246686A1 (ko) 오디오인식을 활용한 능동형 음향기기
WO2021157999A1 (en) Voice command resolution method and apparatus based on non-speech sound in iot environment
WO2019228329A1 (zh) 个人听力装置、外部声音处理装置及相关计算机程序产品
JP2023542968A (ja) 定位されたフィードバックによる聴力増強及びウェアラブルシステム
WO2020149726A1 (en) Intelligent volume control
CN113038337B (zh) 一种音频播放方法、无线耳机和计算机可读存储介质
WO2013187688A1 (en) Method for processing audio signal and audio signal processing apparatus adopting the same
US20210168491A1 (en) Automatic keyword pass-through system
WO2020262835A1 (ko) 전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법
WO2020032363A1 (ko) 외부 전자 장치와의 거리에 기반하여 스피커의 출력 세기를 조정하기 위한 방법 및 전자 장치
WO2014088202A1 (ko) 음향패턴을 이용하여 휴대형 단말기용 이어폰 인식하는 음향처리 시스템, 음향패턴을 이용한 휴대형 단말기용 이어폰 인식방법 및 이를 이용한 입력음향 처리 방법, 이어마이크셋 기반의 오디오신호 증폭 출력 자동전환 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체.
WO2022054978A1 (ko) 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스, 인공지능 히어링 시스템 및 그 방법
KR101693482B1 (ko) 하울링 및 에코 제거 기능을 갖는 헤드셋
WO2012070713A1 (ko) 가청 주파수 대역 조절을 통한 위기상황 구조 요청 장치 및 이를 이용한 구조 요청 제어 시스템
WO2024085401A1 (ko) 상황 별 거동 패턴을 제안 가능한 전자 디바이스 및 그 제어 방법
WO2022139124A1 (ko) 전자 장치 및 그의 제어 방법
EP3393138A1 (en) An automatic mute system and a method thereof for headphone
WO2024043416A1 (ko) 인지 능력 평가 장치, 모바일 단말 및 발화 획득 장치
WO2024029849A1 (ko) 센서에 기반하여 오디오 신호를 제어하기 위한 장치 및 방법
WO2018021629A2 (ko) 휴대용 음향기기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19919727

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19919727

Country of ref document: EP

Kind code of ref document: A1