WO2015008931A1 - 감정 분석을 통한 선호 음원 관리 장치 및 방법 - Google Patents

감정 분석을 통한 선호 음원 관리 장치 및 방법 Download PDF

Info

Publication number
WO2015008931A1
WO2015008931A1 PCT/KR2014/004554 KR2014004554W WO2015008931A1 WO 2015008931 A1 WO2015008931 A1 WO 2015008931A1 KR 2014004554 W KR2014004554 W KR 2014004554W WO 2015008931 A1 WO2015008931 A1 WO 2015008931A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound source
preferred
user
sound
emotion
Prior art date
Application number
PCT/KR2014/004554
Other languages
English (en)
French (fr)
Inventor
송재종
장세진
신사임
장달원
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Publication of WO2015008931A1 publication Critical patent/WO2015008931A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a sound source service technology, and more particularly, to a sound source service management system for analyzing emotional state of a user listening to a sound source and classifying and managing the sound sources preferred by the user to provide a high- And methods.
  • the user should manually review new sound sources periodically and add the preferred sound sources to the list of favorite sound sources.
  • an object of the present invention is to provide an apparatus and method for managing a preferred sound source through emotion analysis, which provides a high-quality sound source service by classifying and managing a sound source preferred by the user by grasping the emotional state of a user listening to the sound source in real time have.
  • Another object of the present invention is to provide a sound source service so that a user can maintain an optimal emotional condition even if a user does not select and manage a sound source by paying attention in a multi-tasking environment in which a user performs a background activity for listening to a sound source in parallel with main activities And to provide a preferred sound source management apparatus and method through emotional analysis.
  • the present invention provides a method for reproducing a sound source, comprising: a reproducing step of reproducing a sound source for a user to hear; a grasping step of grasping the emotion state of the user who listens to the sound source in real time; A classification step of classifying the sound source as a non-preferred sound source, and a management step of removing the sound sources classified as the non-preferred sound source and including the sound sources classified as the preferred sound source in the preferred sound source list.
  • a user's emotional state can be grasped based on at least one of biological information of a user's brain wave, electrocardiogram, pulse, voice, or sweat.
  • the method of managing a preferred sound source through the emotion analysis according to the present invention may further include modeling the emotion of the user based on the biometric information generated according to the emotional state of the user who hears the sound source, .
  • the emotion state of the user can be grasped in real time by comparing the user emotion modeled in the grasping step with the biometric information of the user.
  • the modeling step may include acquiring an EEG while listening to a plurality of sound sources while listening to each sound source, Collecting emotion information about whether or not the EEG information is collected, and modeling the emotion of the user based on the EEG by matching the collected EEG information with the emotion information.
  • the managing step if the sound source currently heard is included in the preferred sound source list and the sound source is classified as a non-preferred sound source in the classification step, And if it is classified as the preferred sound source, it can be kept in the preferred sound source list.
  • the managing step when a new sound source in which the currently heard sound source is not included in the preferred sound source list is classified as a preferred sound source in the classification step, And if it is classified as a non-favorable sound source, a new sound source or another sound source included in the preferred sound source list can be reproduced without being added to the preferred sound source list.
  • the present invention also provides a preferred sound source management apparatus through emotion analysis including a sound source output unit, a biometric information collection unit, an emotion state determination unit, a sound source classification unit, and a sound source management unit.
  • the sound source output unit reproduces and outputs the sound source so that the user can hear the sound source.
  • the biometric information collecting unit collects biometric information generated according to an emotional state of a user who listens to the sound source in real time.
  • the emotion state determination unit grasps the emotion state of the user in real time based on the collected biometric information.
  • the sound source classifying unit classifies the sound source into a preferred sound source or a non-preferred sound source according to an emotion state of the user.
  • the sound source management unit removes the sound sources classified as non-preferred, and includes the sound sources classified as the preferred sound sources in the preferred sound source list.
  • the emotion state determination unit can grasp the emotion state of the user based on at least one biometric information among a user's brain wave, electrocardiogram, pulse, voice, or sweat.
  • the preferred sound source management apparatus through the emotion analysis according to the present invention may further include a modeling unit for modeling the emotion of the user based on the biometric information generated according to the emotional state of the user listening to the sound source.
  • the emotion state determining unit compares the user's emotion modeled by the modeling unit with the user's biometric information, and can grasp the emotional state of the user in real time.
  • the modeling unit may acquire, through the sound source output unit, a plurality of sound sources while listening to each sound source through the biometric information collecting unit, Emotion information about preference or non-preference for a plurality of sound sources is collected through the emotion state determination unit, and the emotion of the user based on brain waves can be modeled by matching the collected brain wave information with the emotion information.
  • the preferred sound source management apparatus is characterized in that the sound source management unit is a sound source in which a currently heard sound source is included in the preferred sound source list and is removed from the preferred sound source list when it is classified as a non- It can be kept in the list of preferred sound sources.
  • the sound source management unit is a new sound source in which the currently heard sound source is not included in the preferred sound source list, and added to the preferred sound source list if the sound source is classified as the preferred sound source , And if it is classified as a non-favorable sound source, a new sound source or another sound source included in the preferred sound source list can be reproduced without being added to the preferred sound source list.
  • the preferred sound source management device grasps the emotional state of a user who listens to a sound source in real time and classifies and manages a sound source preferred by the user, the preferred sound source management device provides a list of preferred sound sources, . That is, the preferred sound source management apparatus can provide a satisfactory sound source recommendation service without any interfacing activity requiring a user's attention such as a hand or voice using a bio-signal based interface that can grasp the emotional state of the user.
  • the preferred sound source management device continuously provides the preferred sound source through the emotion analysis of the user even if the user does not select and manage the sound source by paying attention even in the multi-tasking environment in which the user performs the background activity of listening to the sound source in parallel with the main activities , So that the user can maintain an optimal emotional condition. That is, the preferred sound source management apparatus can continuously provide a preferred sound source so that the user's positive emotional state can be maintained while continuously grasping the user's emotional state in real time while listening to the sound source.
  • the preferred sound source management device can grasp the emotional state of the user who is listening to the sound source in real time and edit the preferred sound source list. For example, the preferred sound source management apparatus can perform the emotion analysis of the user in real time and automatically add sound sources that cause the user's preference feeling of new sound sources to the preferred sound source list. On the contrary, the preferred sound source management apparatus can automatically delete a sound source in the list of preferred sound sources from which the preferred emotion is no longer caused by the preferred sound source list.
  • FIG. 1 is a diagram illustrating a preferred sound source management apparatus through emotion analysis according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the preferred sound source management apparatus of FIG. 1.
  • FIG. 2 is a block diagram showing the configuration of the preferred sound source management apparatus of FIG. 1.
  • FIG. 3 is a block diagram showing the configuration of the control unit of FIG.
  • FIG. 4 is a flowchart illustrating a preferred sound source management method through emotion analysis according to an embodiment of the present invention.
  • FIG. 5 is a detailed flowchart according to the step of modeling the emotion of the user of FIG.
  • FIG. 6 is a detailed flowchart according to the step of managing the preferred sound source list according to the classification result of FIG.
  • FIG. 1 is a diagram illustrating a preferred sound source management apparatus through emotion analysis according to an embodiment of the present invention.
  • the preferred sound source management apparatus 100 may be implemented with a sound source reproducer 60 and a headset 70.
  • the sound source reproducer 60 reproduces the sound source and outputs it to the headset 70.
  • the sound source reproducer 60 may be an MP3 player, a smart phone, a mobile phone, or the like.
  • the sound source reproduced at this time may be a sound source stored in the sound reproducer 60 or a sound source provided from an external sound source providing apparatus in a streaming manner.
  • the headset 70 receives the sound source from the sound source player 60 and outputs the sound source so that the user can listen to the sound source.
  • the headset 70 collects the biometric information from the user in real time while listening to the sound source, and transmits the collected information to the sound source player 60.
  • the biometric information is information generated according to the body change according to the user's emotional state, and at least one of the user's brain wave, electrocardiogram, pulse, voice, or sweat can be used.
  • the biometric information is information generated according to the body change according to the user's emotional state, and at least one of the user's brain wave, electrocardiogram, pulse, voice, or sweat can be used.
  • an example of using brain waves as biometric information is disclosed.
  • the headset 70 includes a sound source output unit 40 connected to both sides via a head rest 71 and a biometric information collecting unit 50 installed in the head rest 71 and collecting biometric information such as brain waves .
  • the headset 70 is connected to the tone generator 60 via a wired line, such as a connection cable 73, to exchange information.
  • the headset 70 is connected to the tone generator 60 via the connection cable 73 , but the present invention is not limited thereto.
  • the headset 70 may be wirelessly connected to the sound source player 60 via a local communication scheme such as infrared, Bluetooth, and the like.
  • the sound reproducer 60 grasps the emotional state of the user listening to the sound source based on the biometric information received from the headset 70.
  • the sound reproducer 60 classifies the sound source into the preferred or non-preferred sound source of the currently reproduced sound source according to the detected emotion state.
  • the sound source player 60 manages the preferred sound source list by reflecting the classification result of the sound source currently being reproduced.
  • managing the preferred sound source list means to maintain, delete and add the sound source to the preferred sound source list, or edit to reproduce another sound source.
  • the other sound source may be a sound source other than the currently playing sound source, a sound source registered in the preferred sound source list, or a sound source not registered in the preferred sound source list.
  • the headset 70 is composed of the sound source output unit 40 and the biometric information collecting unit 50 is described, but the present invention is not limited to this.
  • the biometric information collecting unit 50 may be provided separately from the voice output unit 40. [ In the case where only the sound output unit 40 is used, it may be implemented as a speaker, an ear set, an earphone, and a headphone.
  • FIG. 2 is a block diagram showing a configuration of the preferred sound source management apparatus 100 of FIG. 3 is a block diagram showing the configuration of the control unit 30 of FIG.
  • the preferred sound source management apparatus 100 includes a sound source output unit 40, a biometric information collecting unit 50, an emotion state determining unit 31, a sound source classifying unit 33, and a sound source managing unit 35 And may further include an input unit 10 and a storage unit 20.
  • the sound source output unit 40 and the biometric information collecting unit 50 are provided in the headset 70, and the other configuration is provided in the sound source reproducer 60, but the present invention is not limited thereto.
  • the sound source output section 40 may be installed in the sound source reproducer 60.
  • the biometric information collecting unit 50 may be provided separately from the headset 70.
  • the emotion state determination unit 31, the sound source classification unit 33, and the sound source management unit 35 are implemented by the controller 30.
  • at least one of the emotion state determination unit 31, the sound source classification unit 33 and the sound source management unit 35 may be implemented as a separate processor.
  • the input unit 10 provides a plurality of keys for operating the preferred sound management apparatus 100 and generates a selection signal according to the user's selection of keys and transmits the generated selection signal to the control unit 30.
  • the user can instruct the input unit 10 to reproduce the sound source or to perform emotion modeling of the user.
  • the input unit 10 may be an input device such as a pointing device such as a button, a keypad, or a touchpad, or a touch screen.
  • the storage unit 20 stores a program necessary for controlling the operation of the preferred sound management apparatus 100 and information generated during the execution of the program.
  • the storage unit 20 stores an execution program for modeling the user's emotion and editing the list of preferred sound sources by grasping the emotional state of the user listening to the sound source in real time.
  • the storage unit 20 stores an emotion model of the modeled user, sound sources, and a list of preferred sound sources. Also, the storage unit 20 may store a sound source classified as a non-preferred sound source and a corresponding non-preferred sound source list.
  • the sound source output unit 40 outputs the sound source to be reproduced so that the user can hear it.
  • the sound source output unit 40 may be provided in the headset 70 or may be implemented as a speaker.
  • the loudspeaker may be embodied in the sound reproducer 60, or may be connected to the sound reproducer 60 as a separate device.
  • the biometric information collecting unit 50 collects biometric information generated according to the emotional state of the user listening to the sound source. At this time, the biometric information collecting unit 50 does not collect the biometric information when the sound source is not reproduced, and collects the biometric information under the control of the control unit 30 when the sound source is reproduced and provides the collected information to the control unit 30 .
  • the control unit 30 is a microprocessor that performs overall control operations of the preferred sound management apparatus 100.
  • the microprocessor 30 manages a list of preferred sound sources by grasping the emotional state of the user who is listening to the sound sources in real time. Also, the control unit 30 can model the user's emotion based on the biometric information generated according to the emotional state of the user listening to the sound source.
  • the control unit 30 includes an emotion state determining unit 31, a sound source classifying unit 33, and a sound source managing unit 35.
  • the emotion state determination unit 31 grasps the emotion state of the user in real time based on the collected biometric information.
  • the sound source classifying unit 33 classifies the sound source as a preferred or non-preferred sound source according to the emotion state of the identified user.
  • the sound source management unit 35 performs sound source management such as removing sound sources classified as non-preferred, and including sound sources classified as preferred in the preferred sound source list.
  • the control unit 30 can use a user-specific emotion model provided through modeling when grasping the user's emotion state in real time.
  • the control unit 30 may further include a modeling unit 37 that models the emotion of the user based on the biometric information generated according to the emotional state of the user listening to the sound source.
  • the emotion state determination unit 31 compares the user's emotion modeled by the modeling unit 37 with the user's biometric information, and can grasp the user's emotional state in real time.
  • the emotion modeling of the user can be performed as follows. At this time, an example in which brain waves are used as biometric information is disclosed. First, the sound source output unit 40 plays a plurality of sound sources to the user, while the bio-information collecting unit 50 acquires EEG waves while listening to the respective sound sources. Next, the control unit 30 collects emotion information about the preference or non-preference of a plurality of sound sources through the input unit 10 through the emotion state determination unit 31. [ The control unit 30 models the emotion of the user based on the EEG by matching the EEG information and the emotion information collected through the modeling unit 37.
  • control unit 30 can perform statistically precise analysis of the multi-channel EEG collected by the bio-information collecting unit 50.
  • the feature information for analysis of brain waves includes correlation information (coherence) between power information of sephas, alpha, and beta frequency band which are main components of EEG, and EEG data measured by a plurality of sensors, (ERS: Event-Related Desynchronization), peak frequency information of each important frequency band, frontal region, temporal region, Frontal asymmetry information generated from the frontal asymmetry may be used.
  • the correlation information (coherence) between the EEG data is information for comparing the similarity between EEG data measured in various regions of the scalp or each channel / electrode, It is used as a measure of synchronicity of brain activity occurring in various areas of the scalp in the situation.
  • the autoregressive coefficient is based on the concept that one sample value of the EEG data generated at the present time point can be represented by a combination of a few samples in the past. When the correlation between each sample in the time domain is widely examined This information is used.
  • Event-related synchronous and asynchronous information is a measure of how the characteristics of a response are given when the brain exhibits a response specific to the stimulus in the context of receiving a particular stimulus from the outside It is feature information used.
  • Peak frequency information of each important frequency range means a frequency at which the power value reaches a maximum value, which is obtained when a detailed observation is made within the frequency range (theta, alpha, and beta band) of the brain wave to be analyzed.
  • Frontal asymmetry information is feature information that indicates the difference in power between the left and right hemispherical frontal lobe pairs based on the left and right hemispheres of the brain.
  • the activity of the user's brain is compared with the non-stress situation, the overall part of the brain reacts simultaneously, the peak frequency is high, The right hemisphere is more active than the left hemisphere. Therefore, it is important to simultaneously observe the activity of the EEG, unlike the conventional analysis methods focused mainly on the alpha waves involved in concentration and relaxation, in order to grasp the user's complex emotional situations such as stress through EEG And it is necessary to use various feature information in combination.
  • the emotion state determination unit 31 may include an EEG classifier such as an artificial intelligence classifier.
  • the modeling unit 37 models the emotion of the user based on the EEG by matching the collected EEG information with the emotion information.
  • the sound source management unit 35 can perform sound source management as follows. In particular, it can be performed as follows according to whether the sound source is a sound source included in the preferred sound source list or not.
  • the sound source management unit 35 adds the sound source to the preferred sound source list. In the case of being classified as a non-favorable sound source, the sound source management section 35 reproduces another sound source included in the new sound source or the preferred sound source list without adding it to the preferred sound source list.
  • the controller 30 allows the user to listen to the sound source for about 30 seconds and collects the brain wave information about the current sound source through the bio-information collector 50 in real time .
  • the emotion state determination unit 31 compares the collected EEG information with the emotion model of the user to grasp the emotion state of the user with respect to the sound source currently being reproduced. If the sound source is classified as the preferred sound source, the sound source management unit 35 adds the sound source to the preferred sound source list. If the sound source is classified as a non-favorable sound source, the sound source management unit 35 reproduces another new sound source without adding the sound source to the preferred sound source list. The sound source management unit 35 repeats this process to complete the classification of the newly added sound source.
  • the sound source management unit 35 has shown an example of reproducing the sound source for about 30 seconds, but the present invention is not limited to this.
  • the sound reproduction time can be changed according to the user's need.
  • the sound source management unit 35 may delete the new sound source classified as non-preferred in the storage unit 20, or may register and store the new sound source in a separate non-preferred sound source list. That is, since the emotional state of a person is not always constant and changes depending on a situation, a sound source classified as a non-preferred sound source can also be classified as a preferred sound source. In addition, since the cost for purchasing a sound source is generated, it is not preferable to delete it from the storage unit 20 once it is classified as a non-favorable sound source.
  • new sound sources classified as non-preferred are stored in the storage unit 20 for a certain period of time rather than being unconditionally deleted, and deleted when they are classified as non-preferred over a predetermined number of times or classified as non-preferred over a predetermined number of consecutive times.
  • the predetermined number of times may be set in the range of n times, but is not limited thereto (n is a natural number of 2 to 10 or less)
  • the sound source management unit 35 removes the corresponding sound source from the preferred sound source list. If the music source is classified into the preferred music source, the music source management unit 35 keeps the corresponding music source in the preferred music source list.
  • the controller 30 plays the corresponding sound source to the user and acquires brain wave information about the current sound source through the bio-information collection unit 50 in real time.
  • the emotion state determination unit 31 compares the collected EEG information with the emotion model of the user to grasp the emotion state of the user with respect to the sound source currently being reproduced. If the sound source is classified as the preferred sound source by the sound source classifying unit 33, the sound source managing unit 35 holds the sound source in the preferred sound source list. If the sound source is classified as a non-preferred sound source, the sound source management unit 35 deletes the sound source from the preferred sound source list.
  • the modeling unit 37 of the control unit 30 directly performs emotion modeling of the user.
  • the modeling unit 37 may perform the emotion modeling of the user directly in a separate device and then be provided as data to the storage unit 20.
  • the generalized emotion model may be stored in the storage unit 30 without using emotion modeling for each user.
  • the preferred sound management apparatus 100 grasps the emotional state of a user who listens to a sound source in real time, classifies and manages the sound sources preferred by the user, and provides a list of preferred sound sources. It can provide a sound source service. That is, the preferred sound source management apparatus 100 can provide a satisfactory sound source recommendation service without any interfacing activity requiring a user's attention such as a hand or voice using a bio-signal based interface capable of grasping a user's emotional state.
  • the preferred sound source management apparatus 100 can provide a service for recommending a sound source suitable for a user through emotional analysis of the user using the user's biometric information.
  • the preferred sound source management apparatus 100 may be configured such that the user can not select and manage the sound source even in a multi-tasking environment in which the user performs a background activity of listening to the sound source in parallel with the main activity, So that it is possible to provide a sound source service that enables a user to maintain an optimal emotional condition. That is, the preferred sound source management device 100 can continuously provide a preferred sound source so that the user's positive emotional state can be maintained while continuously grasping the user's emotional state in real time while listening to the sound source.
  • the preferred sound management apparatus 100 can edit the list of preferred sound sources by grasping the emotional state of the user who is listening to the sound source in real time. For example, the preferred sound source management apparatus 100 may automatically add the sound sources causing the user's preference feeling of the new sound source to the preferred sound source list by performing the emotion analysis of the user in real time. On the contrary, the preferred sound source management apparatus 100 can automatically delete a sound source in the sound source list of the preferred sound source list that is no longer caused by the preference feeling, from the preferred sound source list. That is, even in the case of a previously preferred sound source, if the result of the affirmative emotional analysis at the time of real-time listening is displayed, the preferred sound source management apparatus 100 automatically removes the sound source from the preferred sound source list. As a result, even a sound source in the preferred sound source list can manage the preferred sound source list so that the user does not listen to the sound sources whose preferences are disturbed because they are tired of repeated listening.
  • the preferred sound source management apparatus 100 can automatically determine the preference of a sound source through the result of emotion analysis based on biometric information about several tens of seconds while listening to the sound source, And automatically update (edit) the list of preferred sound sources.
  • FIG. 4 is a flowchart illustrating a preferred sound source management method through emotion analysis according to an embodiment of the present invention.
  • step S81 the preferred sound source management apparatus 100 models the emotion of the user listening to the sound source.
  • the example of performing the modeling by the preferred sound source management apparatus 100 is described, but the present invention is not limited thereto.
  • the preferred sound source management device 100 may skip step S81.
  • step S83 the preferred sound source management device 100 reproduces the sound source so that the user can listen to the sound source.
  • the preferred sound management apparatus 100 grasps the emotional state of the user who listens to the sound source in real time. That is, the preferred sound source management apparatus 100 collects biometric information generated according to the emotional state of the user listening to the sound source. Then, the preferred sound source management device 100 compares the user's emotion model with the user's biometric information and grasps the user's emotional state in real time.
  • step S87 the preferred sound management apparatus 100 classifies the sound source into a preferred sound source or a non-preferred sound source according to the emotion state of the identified user.
  • step S89 the preferred sound source management device 100 performs management, i.e., editing, of the preferred sound source list according to the classification result of step S87.
  • FIG. 5 is a detailed flowchart according to the step S81 of modeling the emotion of the user of FIG.
  • step S811 the preferred sound source management device 100 acquires biometric information while listening to a plurality of sound sources while listening to each sound source.
  • step S813 the preferred sound source management apparatus 100 collects emotion information on preference or non-preference for a plurality of sound sources through a selection signal of the input unit 10.
  • brain wave information at the time of listening to a sound source can be collected.
  • the brainwave information according to the sound source listening increases the reliability as the amount of data increases.
  • step S815 the preferred sound source management device 100 models the emotion of the user based on the biometric information by matching the collected biometric information with the emotion information.
  • the EEG information collected by the preferred sound source management apparatus 100 is statistically analyzed and classified, and emotion modeling is performed for each user through brain wave information to generate a user-specific emotion model.
  • FIG. 6 is a detailed flowchart according to the step S89 of managing the preferred sound source list according to the classification result of FIG.
  • the preferred sound management apparatus 100 determines whether the sound source being reproduced is an existing sound source or a new sound source.
  • an existing sound source means a sound source in the list of preferred sources.
  • the new sound source refers to a sound source to be newly added to the preferred sound source management apparatus 100 and is not included in the preferred sound source list.
  • step S891 If it is determined in step S891 that the music source is an existing music source, the preferred music source management device 100 checks again whether the classification result of the music source being reproduced is preferred or non-preferred in step S893.
  • step S893 If it is determined in step S893 that the preferred sound source is the preferred sound source, the preferred sound source management apparatus 100 maintains the sound source in the preferred sound source list in step S895.
  • step S893 if it is determined in step S893 that the source is a non-favorable sound source, the preferred sound source management apparatus 100 deletes the sound source from the preferred sound source list in step S897.
  • step S891 if it is determined in step S891 that the sound source is a new sound source, the preferred sound source management apparatus 100 confirms whether the classification result of the sound source being reproduced is favorable or non-favorable in step S899.
  • step S899 If it is determined in step S899 that the preferred sound source is the preferred sound source, the preferred sound source management apparatus 100 adds the sound source to the preferred sound source list in step S901.
  • the preferred sound source management apparatus 100 reproduces sound sources included in the new sound source list or the preferred sound source list in step S903. At this time, the preferred sound source management apparatus 100 may delete the corresponding sound source classified as the non-preferred sound source in the storage unit 20 or may add it to a separate non-preferred sound source list.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Cardiology (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Artificial Intelligence (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 감정 분석을 통한 선호 음원 관리 장치 및 방법에 관한 것으로, 음원을 듣고 있는 사용자의 감정 상태를 파악하여 사용자가 선호하는 음원을 분류 및 관리하여 만족도 높은 음원 서비스를 제공하는 데 있다. 본 발명에 따른 선호 음원 관리 장치는 음원 출력부, 생체 정보 수집부, 감정 상태 판단부, 음원 분류부 및 음원 관리부를 포함한다. 음원 출력부는 사용자가 들을 수 있도록 음원을 재생하여 출력한다. 생체 정보 수집부는 음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보를 실시간으로 수집한다. 감정 상태 판단부는 수집한 생체 정보에 기초하여 사용자의 감정 상태를 실시간으로 파악한다. 음원 분류부는 파악된 사용자의 감정 상태에 따라 해당 음원을 선호 또는 비선호 음원으로 분류한다. 그리고 음원 관리부는 비선호로 분류된 음원을 제거하고, 선호로 분류된 음원은 선호 음원 목록에 포함시킨다.

Description

감정 분석을 통한 선호 음원 관리 장치 및 방법
본 발명은 음원 서비스 기술에 관한 것으로, 더욱 상세하게는 음원을 듣고 있는 사용자의 감정 상태를 파악하여 사용자가 선호하는 음원을 분류 및 관리하여 만족도 높은 음원 서비스를 제공하는 감정 분석을 통한 선호 음원 관리 장치 및 방법에 관한 것이다.
디지털 음원 활용 및 스마트 모바일 단말들이 대중화되면서 많은 음원을 관리하는 서비스와, 사용자가 선호할 만한 음원들을 예측하는 추천 서비스들이 선보이고 있다.
하지만 기존의 음원 제공 서비스들은 아래와 같은 번거로운 문제점들을 가지고 있다.
첫째, 사용자가 주기적으로 새로운 음원들을 직접 검토하여 그 중 선호하는 음원들을 직접 선택하여 선호 음원 목록에 추가해 주어야 한다.
둘째, 사용자가 반복하여 감상하여 선호도가 떨어진 음원들에 대해서는 사용자가 선호 음원 목록에서 직접 제거하는 등의 번거로운 작업을 수행해야 한다.
이와 같은 작업들을 디지털 음원이 대중화되면서 많은 양의 음원들을 일일이 검토하는 작업이 주기적으로 반복되어야 하기 때문에, 사용자에게는 시간과 노력의 투자가 필요로 하는 번거로운 작업일 수도 있다.
이에 대한 보완기술로 미리 음원들의 특성 및 각 사용자 별 선호 패턴을 분석하여 사용자가 선호할 만한 음원들을 추천해 주는 기술들도 대중화되어 활용되고 있다. 그러나 이러한 기존의 음원 추천 기술들도 한계점을 가지고 있다. 즉 사용자들의 음원 소비 패턴, 음원 분석 또는 음원 관련 정보들의 분석을 통한 기존의 음원 추천 방식이기 때문에, 실시간으로 사용자의 반응과 감정을 반영하여 음원을 추천을 할 수 없는 한계를 가지고 있다.
이와 같은 음원 서비스 기술들은 최근 사람들의 주요 활동의 배경 활동으로 주로 활용되고 있는 음악 감상 활동으로 인해, 주요 활동에 방해가 될 수도 있는 음원 정리 및 선택의 활동이 필요로 한다는 번거로움을 여전히 해소하지 못하는 문제점을 안고 있다.
따라서 본 발명의 목적은 음원을 듣고 있는 사용자의 감정 상태를 실시간으로 파악하여 사용자가 선호하는 음원을 분류 및 관리하여 만족도 높은 음원 서비스를 제공하는 감정 분석을 통한 선호 음원 관리 장치 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은 사용자가 주요 활동과 병행하여 음원을 듣는 배경 활동을 하는 멀티태스킹 환경에서 사용자가 주의를 기울여 음원을 선택하고 관리하지 않더라도 사용자가 최적의 감정 컨디션을 유지할 수 있도록 음원 서비스를 제공하는 감정 분석을 통한 선호 음원 관리 장치 및 방법을 제공하는 데 있다.
본 발명의 또 다른 목적은 음원을 듣고 있는 사용자의 감정 상태를 실시간으로 파악하여 사용자의 별다른 조작 없이 선호 음원 목록을 편집하는 감정 분석을 통한 선호 음원 관리 장치 및 방법을 제공하는 데 있다.
상기 목적을 달성하기 위하여, 본 발명은 사용자가 들을 수 있도록 음원을 재생하는 재생 단계, 음원을 듣는 사용자의 감정 상태를 실시간으로 파악하는 파악 단계, 파악된 사용자의 감정 상태에 따라 해당 음원을 선호 또는 비선호 음원으로 분류하는 분류 단계, 및 비선호로 분류된 음원은 제거하고, 선호로 분류된 음원은 선호 음원 목록에 포함시키는 관리 단계를 포함하는 감정 분석을 통한 선호 음원 관리 방법을 제공한다.
본 발명에 따른 감정 분석을 통한 선호 음원 관리 방법에 있어서, 상기 파악 단계에서, 사용자의 감정 상태는 사용자의 뇌파, 심전도, 맥박, 음성 또는 땀 중에서 적어도 하나의 생체 정보에 기초하여 파악할 수 있다.
본 발명에 따른 감정 분석을 통한 선호 음원 관리 방법은 상기 파악 단계 이전에 수행되는, 음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보에 기초하여 사용자의 감정을 모델링하는 단계를 더 포함할 수 있다. 이때 상기 파악 단계에서 모델링된 사용자 감정과, 사용자의 생체 정보를 비교하여 사용자의 감정 상태를 실시간으로 파악할 수 있다.
본 발명에 따른 감정 분석을 통한 선호 음원 관리 방법에 있어서, 상기 모델링하는 단계는, 사용자에게 복수의 음원을 들려주면서 각 음원을 듣는 동안의 뇌파를 취득하는 단계, 상기 복수의 음원에 대한 선호 또는 비선호 여부에 대한 감정 정보를 수집하는 단계, 및 수집한 뇌파 정보와 감정 정보를 매칭하여 뇌파를 기반으로 한 사용자의 감정을 모델링하는 단계를 포함할 수 있다.
본 발명에 따른 감정 분석을 통한 선호 음원 관리 방법에 있어서, 상기 관리 단계에서, 현재 듣고 있는 음원이 선호 음원 목록에 포함된 음원으로, 상기 분류 단계에서 비선호 음원으로 분류된 경우 상기 선호 음원 목록에서 제거하고, 선호 음원으로 분류된 경우 상기 선호 음원 목록에 유지할 수 있다.
본 발명에 따른 감정 분석을 통한 선호 음원 관리 방법에 있어서, 상기 관리 단계에서, 현재 듣고 있는 음원이 선호 음원 목록에 포함되지 않은 새로운 음원으로, 상기 분류 단계에서 선호 음원으로 분류된 경우 상기 선호 음원 목록에 추가하고, 비선호 음원으로 분류된 경우 상기 선호 음원 목록에 추가하지 않고 새로운 음원 또는 상기 선호 음원 목록에 포함된 다른 음원을 재생할 수 있다.
본 발명은 또한, 음원 출력부, 생체 정보 수집부, 감정 상태 판단부, 음원 분류부 및 음원 관리부를 포함하는 감정 분석을 통한 선호 음원 관리 장치를 제공한다. 상기 음원 출력부는 사용자가 들을 수 있도록 음원을 재생하여 출력한다. 상기 생체 정보 수집부는 음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보를 실시간으로 수집한다. 상기 감정 상태 판단부는 수집한 생체 정보에 기초하여 상기 사용자의 감정 상태를 실시간으로 파악한다. 상기 음원 분류부는 파악된 사용자의 감정 상태에 따라 해당 음원을 선호 또는 비선호 음원으로 분류한다. 그리고 음원 관리부는 비선호로 분류된 음원을 제거하고, 선호로 분류된 음원은 선호 음원 목록에 포함시킨다.
본 발명에 따른 감정 분석을 통한 선호 음원 관리 장치에 있어서, 상기 감정 상태 판단부는, 사용자의 감정 상태를 사용자의 뇌파, 심전도, 맥박, 음성 또는 땀 중에서 적어도 하나의 생체 정보에 기초하여 파악할 수 있다.
본 발명에 따른 감정 분석을 통한 선호 음원 관리 장치는, 음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보에 기초하여 사용자의 감정을 모델링하는 모델링부를 더 포함할 수 있다. 이때 상기 감정 상태 판단부는 상기 모델링부에 의해 모델링된 사용자 감정과, 사용자의 생체 정보를 비교하여 사용자의 감정 상태를 실시간으로 파악할 수 있다.
본 발명에 따른 감정 분석을 통한 선호 음원 관리 장치에 있어서, 상기 모델링부는, 상기 음원 출력부를 통하여 사용자에게 복수의 음원을 들려주면서 각 음원을 듣는 동안의 뇌파를 상기 생체 정보 수집부를 통하여 취득하고, 상기 복수의 음원에 대한 선호 또는 비선호 여부에 대한 감정 정보를 상기 감정 상태 판단부를 통하여 수집하고, 수집한 뇌파 정보와 감정 정보를 매칭하여 뇌파를 기반으로 한 사용자의 감정을 모델링할 수 있다.
본 발명에 따른 감정 분석을 통한 선호 음원 관리 장치에 있어서, 상기 음원 관리부는, 현재 듣고 있는 음원이 선호 음원 목록에 포함된 음원으로, 비선호 음원으로 분류된 경우 상기 선호 음원 목록에서 제거하고, 선호 음원으로 분류된 경우 상기 선호 음원 목록에 유지할 수 있다.
그리고 본 발명에 따른 감정 분석을 통한 선호 음원 관리 장치에 있어서, 상기 음원 관리부는, 현재 듣고 있는 음원이 선호 음원 목록에 포함되지 않은 새로운 음원으로, 선호 음원으로 분류된 경우 상기 선호 음원 목록에 추가하고, 비선호 음원으로 분류된 경우 상기 선호 음원 목록에 추가하지 않고 새로운 음원 또는 상기 선호 음원 목록에 포함된 다른 음원을 재생할 수 있다.
본 발명에 따르면, 선호 음원 관리 장치는 음원을 듣고 있는 사용자의 감정 상태를 실시간으로 파악하여 사용자가 선호하는 음원을 분류 및 관리하여 선호 음원 목록을 제공하기 때문에, 사용자에게 만족도 높은 음원 서비스를 제공할 수 있다. 즉 선호 음원 관리 장치는 사용자의 감정 상태를 파악할 수 있는 생체 신호 기반 인터페이스를 이용하여 손이나 음성 등의 사용자의 주의를 요하는 인터페이싱 활동 없이도 만족스러운 음원 추전 서비스를 제공할 수 있다.
또한 선호 음원 관리 장치는 사용자가 주요 활동과 병행하여 음원을 듣는 배경 활동을 하는 멀티태스킹 환경에서도 사용자가 주의를 기울여 음원을 선택하고 관리하지 않더라도, 사용자의 감정 분석을 통한 선호 음원을 지속적으로 제공함으로써, 사용자가 최적의 감정 컨디션을 유지할 수 있도록 할 수 있다. 즉 선호 음원 관리 장치는 음원을 듣는 동안 지속적으로 사용자의 감정 상태를 실시간으로 파악하여 사용자의 긍정적인 감정 상태가 지속될 수 있도록 선호하는 음원을 제공할 수 있다.
또한 선호 음원 관리 장치는 음원을 듣고 있는 사용자의 감정 상태를 실시간으로 파악하여 선호 음원 목록을 편집할 수 있다. 예컨대 선호 음원 관리 장치는 사용자의 감정 분석을 실시간으로 수행하여 새로운 음원 중 사용자의 선호 감정을 유발하는 음원들은 선호 음원 목록에 자동으로 추가할 수 있다. 반대로 선호 음원 관리 장치는 선호 음원 목록의 음원 중에 선호 감정이 더 이상 유발하지 못하는 음원은 선호 음원 목록에서 자동으로 삭제할 수 있다.
도 1은 본 발명의 실시예에 따른 감정 분석을 통한 선호 음원 관리 장치를 보여주는 도면이다.
도 2는 도 1의 선호 음원 관리 장치의 구성을 보여주는 블록도이다.
도 3은 도 2의 제어부의 구성을 보여주는 블록도이다.
도 4는 본 발명의 실시예에 따른 감정 분석을 통한 선호 음원 관리 방법에 따른 흐름도이다.
도 5는 도 4의 사용자의 감정을 모델링하는 단계에 따른 상세 흐름도이다.
도 6은 도 4의 분류 결과에 따라 선호 음원 목록을 관리하는 단계에 따른 상세 흐름도이다.
하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 실시예에 따른 감정 분석을 통한 선호 음원 관리 장치를 보여주는 도면이다.
도 1을 참조하면, 본 실시예에 따른 선호 음원 관리 장치(100)는 음원 재생기(60)와 헤드셋(70)으로 구현될 수 있다.
음원 재생기(60)는 음원을 재생하여 헤드셋(70)으로 출력한다. 이러한 음원 재생기(60)로는 음원 재생 기능을 갖는 장치로서, 예컨대 MP3 플레이어, 스마트폰, 휴대폰 등이 될 수 있다. 이때 재생되는 음원은 음원 재생기(60)에 저장된 음원이거나, 외부의 음원 제공 장치로부터 스트리밍 방식으로 제공받는 음원일 수 있다.
그리고 헤드셋(70)은 음원 재생기(60)로부터 음원을 전달받아 사용자가 들을 수 있도록 출력한다. 헤드셋(70)은 음원을 듣는 동안 사용자로로부터 생체 정보를 실시간으로 수집하여 음원 재생기(60)로 전달한다.
이때 생체 정보는 사용자의 감정 상태에 따른 신체 변화에 따라 발생되는 정보로서, 예컨대 사용자의 뇌파, 심전도, 맥박, 음성 또는 땀 중에서 적어도 하나가 이용될 수 있다. 본 실시예에서는 생체 정보로 뇌파를 사용하는 예를 개시하였다.
헤드셋(70)은 머리 거치대(71)를 매개로 양쪽에 연결된 음원 출력부(40)와, 머리 거치대(71)에 설치되어 뇌파와 같은 생체 정보를 수집하는 생체 정보 수집부(50)를 포함한다. 헤드셋(70)은 연결 케이블(73)과 같은 유선으로 음원 재생기(60)에 연결되어 정보를 교환한다.
한편 본 실시예에서는 헤드셋(70)이 음원 재생기(60)에 연결 케이블(73)을 매개로 연결된 예를 개시하였지만 이것에 한정되는 것은 아니다. 헤드셋(70)은 적외선, 블루투스 등과 같은 근거리 통신 방식으로 음원 재생기(60)에 무선으로 연결될 수 있다.
특히 음원 재생기(60)는 헤드셋(70)으로부터 수신한 생체 정보를 기반으로 음원을 듣는 사용자의 감정 상태를 파악한다. 음원 재생기(60)는 파악한 감정 상태에 따라 현재 재생 중인 음원의 선호 또는 비선호 음원으로 분류한다. 그리고 음원 재생기(60)는 현재 재생 중인 음원의 분류 결과를 반영하여 선호 음원 목록을 관리한다.
여기서 선호 음원 목록을 관리한다는 것은 음원을 선호 음원 목록에 유지, 삭제 및 추가하거나, 다른 음원을 재생하도록 편집하는 것을 의미한다. 다른 음원은 현재 재생 중인 음원 이외의 음원으로, 선호 음원 목록에 등록된 음원이거나 선호 음원 목록에 등록되지 않은 음원일 수 있다.
한편 본 실시예에서는 헤드셋(70)이 음원 출력부(40)와 생체 정보 수집부(50)로 구성된 예를 개시하였지만 이것에 한정되는 것은 아니다. 음성 출력부(40)와는 별도로 생체 정보 수집부(50)가 마련된 수 있다. 음성 출력부(40)만으로 되는 경우, 스피커, 이어셋, 이어폰, 헤드폰으로 구현될 수 있다.
이와 같은 본 실시예에 따른 선호 음원 관리 장치(100)에 대해서 도 1 내지 도 3을 참조하여 설명하면 다음과 같다. 여기서 도 2는 도 1의 선호 음원 관리 장치(100)의 구성을 보여주는 블록도이다. 도 3은 도 2의 제어부(30)의 구성을 보여주는 블록도이다.
본 실시예에 따른 선호 음원 관리 장치(100)는 음원 출력부(40), 생체 정보 수집부(50), 감정 상태 판단부(31), 음원 분류부(33) 및 음원 관리부(35)를 포함하며, 그 외 입력부(10) 및 저장부(20)를 더 포함할 수 있다.
한편 본 실시예에서는 음원 출력부(40) 및 생체 정보 수집부(50)가 헤드셋(70)에 설치되고, 그 외 구성은 음원 재생기(60)에 설치된 예를 개시하였지만 이것에 한정되는 것은 아니다. 예컨대 음원 출력부(40)는 음원 재생기(60)에 설치될 수 있다. 생체 정보 수집부(50)는 헤드셋(70)과는 별도로 구비될 수 있다.
또한 본 실시예에서는 감정 상태 판단부(31), 음원 분류부(33) 및 음원 관리부(35)가 제어부(30)로 구현된 예를 개시하였지만, 적어도 하나가 별도의 프로세서로 구현될 수 있다.
입력부(10)는 선호 음원 관리 장치(100)의 조작을 위한 복수의 키를 제공하며, 사용자의 키선택에 따른 선택 신호를 발생하여 제어부(30)로 전달한다. 사용자는 입력부(10)를 통해 음원을 재생하거나 사용자의 감정 모델링을 수행하도록 지시할 수 있다. 이때 입력부(10)로는 버튼, 키패드, 터치패드와 같은 포인팅 장치, 터치스크린(touch screen) 등의 입력장치가 사용될 수 있다.
저장부(20)는 선호 음원 관리 장치(100)의 동작 제어시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 정보를 저장한다. 저장부(20)는 사용자의 감정 모델링과, 음원을 듣고 있는 사용자의 감정 상태를 실시간으로 파악하여 선호 음원 목록을 편집하기 위한 실행프로그램을 저장한다. 저장부(20)는 모델링된 사용자의 감정 모델, 음원들, 및 선호 음원 목록을 저장한다. 또한 저장부(20)는 비선호 음원으로 분류된 음원과, 그에 따른 비선호 음원 목록을 저장할 수 있다.
음원 출력부(40)는 재생되는 음원을 사용자가 들을 수 있도록 출력한다. 이때 음원 출력부(40)는 헤드셋(70)에 마련되거나 스피커로 구현될 수 있다. 스피커는 음원 재생기(60)에 내장된 형태로 구현되거나, 별도의 기기로 음원 재생기(60)에 연결될 수 있다.
생체 정보 수집부(50)는 음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보를 수집한다. 이때 생체 정보 수집부(50)는 음원이 재생되지 않을 때는 생체 정보를 수집하지 않으며, 음원이 재생되는 경우에 제어부(30)의 제어에 따라 생체 정보를 수집하여 제어부(30)에 제공할 수 있다.
그리고 제어부(30)는 선호 음원 관리 장치(100)의 전반적인 제어 동작을 수행하는 마이크로프로세서(microprocessor)로서, 음원을 듣고 있는 사용자의 감정 상태를 실시간으로 파악하여 선호 음원 목록에 대한 관리를 수행한다. 또한 제어부(30)는 음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보에 기초하여 사용자의 감정을 모델링할 수 있다.
이러한 제어부(30)는 감정 상태 판단부(31), 음원 분류부(33) 및 음원 관리부(35)를 포함하여 구성된다. 감정 상태 판단부(31)는 수집한 생체 정보에 기초하여 사용자의 감정 상태를 실시간으로 파악한다. 음원 분류부(33)는 파악된 사용자의 감정 상태에 따라 해당 음원을 선호 또는 비선호 음원으로 분류한다. 그리고 음원 관리부(35)는 비선호로 분류된 음원을 제거하고, 선호로 분류된 음원은 선호 음원 목록에 포함시키는 등의 음원 관리를 수행한다.
제어부(30)는 사용자의 감정 상태를 실시간으로 파악할 때 모델링을 통하여 마련된 사용자별 감정 모델을 이용할 수 있다. 제어부(30)는 음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보에 기초하여 사용자의 감정을 모델링하는 모델링부(37)를 더 포함할 수 있다. 이때 감정 상태 판단부(31)는 모델링부(37)에서 모델링된 사용자 감정과, 사용자의 생체 정보를 비교하여 사용자의 감정 상태를 실시간으로 파악할 수 있다.
예컨대 사용자의 감정 모델링은 아래와 같이 수행될 수 있다. 이때 생체 정보로서 뇌파가 사용된 예를 개시한다. 먼저 음원 출력부(40)는 사용자에게 복수의 음원을 들려주면서, 생체 정보 수집부(50)는 각 음원을 듣는 동안의 뇌파를 취득한다. 다음으로 제어부(30)는 감정 상태 판단부(31)를 통하여 입력부(10)를 통하여 복수의 음원에 대한 선호 또는 비선호 여부에 대한 감정 정보를 수집한다. 그리고 제어부(30)는 모델링부(37)를 통하여 수집한 뇌파 정보와 감정 정보를 매칭하여 뇌파를 기반으로 한 사용자의 감정을 모델링한다.
이때 제어부(30)는 생체 정보 수집부(50)에서 수집된 다채널 뇌파를 통계적으로 정밀 분석하는 작업을 수행할 수 있다.
뇌파의 분석에 위한 특징 정보로 뇌파의 주요 성분이 되는 쎄파, 알파, 베타 주파수 영역대의 전력정보와 복수의 센서에서 측정되는 뇌파 데이터들 간의 상관성정보(Coherence), 시간-주파수 분석을 통해 얻을 수 있는 자기회귀계수(Autoregressive coefficient), 사건 관련 동기 및 비동기 정보(ERS: Event-Related Synchronization, ERD: Event-Related Desynchronization), 각 중요 주파수 영역대의 peak frequency 정보, 전두엽(Frontal region), 측두엽(Temporal region)에서 발생하는 전두엽 비대칭성정보(Frontal asymmetry) 등이 이용될 수 있다.
분석에 사용된 각 특징 정보로, 먼저 뇌파 데이터들 간의 상관성 정보(Coherence)는 두피의 여러 영역(region) 혹은 각 채널/전극에서 측정된 뇌파 데이터들 간의 유사성을 비교하는 정보로서, 스트레스를 받게 되는 상황에서 두피의 여러 영역에서 발생하는 뇌의 활동에 대한 동시성(Synchrony)의 척도로 활용된다.
자기회귀계수(Autoregressive coefficient)는 현재 시점에서 발생하는 뇌파 데이터의 한 샘플값은 과거 몇 개의 샘플들의 조합으로 표현가능하다는 개념에 근간한 것으로 시간영역에서의 각 샘플들 간의 상관성을 살펴보고자 할 때 널리 사용되는 정보이다.
사건관련 동기 및 비동기정보(ERS/ERD)는 뇌가 특정 자극을 외부에서 받게 되는 상황에서 그 자극에 고유한 응답(Response)을 보일 경우, 그 응답의 특성이 어떠한 형태로 주어지는가를 판단하는 척도로 사용되는 특징정보이다.
각 중요 주파수 영역대의 Peak frequency정보는 분석하고자 하는 뇌파의 주파수영역(쎄타, 알파, 베타 대역)내를 세밀히 관찰했을 때 파악되는, 전력(power)값이 최대치를 보이는 주파수를 의미한다.
그리고 전두엽 비대칭성(Frontal asymmetry) 정보는 뇌의 좌우 반구를 기준으로 전두엽부분에서의 좌우반구의 채널 쌍(pair) 간의 알파파 전력 차이 값을 의미하는 특징정보이다.
예컨대 위에서 언급한 여러 특징들을 활용하여 스트레스 상황을 파악할 경우, 사용자의 뇌의 활동은 비스트레스 상황과 비교해볼 때 뇌의 전반적인 부분이 동시적으로 활발히 반응을 하며, peak frequency가 높고, 비대칭성 정보에서는 우반구쪽이 좌반구에 비해서 활동성이 두드러짐을 알 수 있다. 따라서 스트레스와 같은 사용자의 복잡한 감정상황을 뇌파를 통해 파악하고자 할 경우, 집중과 이완에 관여하는 알파파에 주로 초점이 맞추어진 기존의 해석 방법과는 다르게, 뇌파의 여러 활동성을 동시에 관찰하는 것이 중요하며 이를 위해 다양한 특징 정보를 복합적으로 사용해야 될 필요가 있게 된다.
수집한 뇌파 정보를 통계적으로 분석하고 분류하기 위해서, 감정 상태 판단부(31)는 인공 지능 분류기와 같은 뇌파 패턴 분류기를 포함할 수 있다.
이와 같이 언급된 여러 특징들을 활용하여 모델링부(37)는 수집한 뇌파 정보와 감정 정보를 매칭하여 뇌파를 기반으로 한 사용자의 감정을 모델링한다.
한편 음원 관리부(35)는 음원 관리를 아래와 같이 수행할 수 있다. 특히 음원이 선호 음원 목록에 포함된 음원인지 아니지에 따라 아래와 같이 수행될 수 있다.
먼저 현재 듣고 있는 음원이 선호 음원 목록에 포함되지 않은 새로운 음원으로서, 분류 단계에서 선호 음원으로 분류된 경우, 음원 관리부(35)는 해당 음원을 선호 음원 목록에 추가한다. 그리고 비선호 음원으로 분류된 경우, 음원 관리부(35)는 선호 음원 목록에 추가하지 않고 새로운 음원 또는 선호 음원 목록에 포함된 다른 음원을 재생한다.
예컨대 음원 재생기(60)에 새로운 음원이 추가된 경우, 제어부(30)는 사용자에게 해당 음원을 30초 정도를 들려주며 실시간으로 현재 음원에 대한 뇌파 정보를 생체 정보 수집부(50)를 통하여 수집한다. 감정 상태 판단부(31)는 수집한 뇌파 정보와 사용자의 감정 모델과의 비교를 통하여 현재 재생 중인 음원에 대한 사용자의 감정 상태를 파악한다. 해당 음원이 선호 음원으로 분류되면, 음원 관리부(35)는 해당 음원을 선호 음원 목록에 추가한다. 해당 음원이 비선호 음원으로 분류되면, 음원 관리부(35)는 해당 음원을 선호 음원 목록에 추가하지 않고 다른 새로운 음원을 재생한다. 그리고 음원 관리부(35)는 이와 같은 과정을 반복하여 새로 추가된 음원에 대한 분류를 완료한다.
이때 새로운 음원에 대한 분류를 수행할 때, 음원 관리부(35)가 해당 음원을 30초 정도 재생하는 예를 개시하였지만 이것에 한정되는 것은 아니다. 음원 재생 시간은 사용자의 필요에 따라 변경할 수 있다.
또한 음원 관리부(35)는 비선호로 분류된 새로운 음원은 저장부(20)에서 삭제할 수도 있고, 별도의 비선호 음원 목록에 등록하여 저장할 수도 있다. 즉 사람의 감정 상태는 항상 일정하지 않으며, 상황에 따라 변하기 때문에, 비선호 음원으로 분류된 음원도 다시 선호 음원으로 분류될 수 있다. 또한 음원을 구입하는 데에 따른 비용이 발생되기 때문에, 한번 비선호 음원으로 분류되었다고 해서 저장부(20)에서 삭제하는 것은 바람직한 것은 아니다. 따라서 비선호로 분류된 새로운 음원을 무조건 삭제하는 것 보다는 일정 기간 저장부(20)에 저장해 두고, 일정 횟수 이상 비선호로 분류되거나 연속하여 일정 횟수 이상 비선호로 분류되는 경우에 삭제하는 것이 바람직하다. 이때 일정 회수는 n회 범위에서 설정될 수 있으며, 이것에 한정되는 것은 아니다.(n은 2 내지 10 이하의 자연수)
다음으로 현재 듣고 있는 음원이 선호 음원 목록에 포함된 음원으로서, 분류 단계에서 비선호 음원으로 분류된 경우, 음원 관리부(35)는 선호 음원 목록에서 해당 음원 제거한다. 그리고 선호 음원으로 분류된 경우, 음원 관리부(35)는 해당 음원을 선호 음원 목록에 유지한다.
예컨대 선호 음원 목록에 있는 음원이 재생되는 경우, 제어부(30)는 사용자에게 해당 음원을 들려주며 실시간으로 현재 음원에 대한 뇌파 정보를 생체 정보 수집부(50)를 통하여 획득한다. 감정 상태 판단부(31)는 수집한 뇌파 정보와 사용자의 감정 모델과의 비교를 통하여 현재 재생 중인 음원에 대한 사용자의 감정 상태를 파악한다. 해당 음원이 음원 분류부(33)에 의해 선호 음원으로 분류되면, 음원 관리부(35)는 해당 음원을 선호 음원 목록에 유지한다. 해당 음원이 비선호 음원으로 분류되면, 음원 관리부(35)는 해당 음원을 선호 음원 목록에서 삭제한다.
한편 본 실시예에서는 사용자의 감정 모델링을 제어부(30)의 모델링부(37)가 직접 수행하는 예를 개시하였지만, 별도의 기기에서 수행된 후 저장부(20)에 데이터로 제공될 수 있다. 또한 일반화된 감정 모델이 개발된다면, 사용자별로 감정 모델링을 수행할 필요가 없이 해당 일반화된 감정 모델을 저장부(30)에 저장하여 사용할 수도 있다.
이와 같이 본 실시예에 따른 선호 음원 관리 장치(100)는 음원을 듣고 있는 사용자의 감정 상태를 실시간으로 파악하여 사용자가 선호하는 음원을 분류 및 관리하여 선호 음원 목록을 제공하기 때문에, 사용자에게 만족도 높은 음원 서비스를 제공할 수 있다. 즉 선호 음원 관리 장치(100)는 사용자의 감정 상태를 파악할 수 있는 생체 신호 기반 인터페이스를 이용하여 손이나 음성 등의 사용자의 주의를 요하는 인터페이싱 활동 없이도 만족스러운 음원 추전 서비스를 제공할 수 있다.
또한 선호 음원 관리 장치(100)는 사용자의 생체 정보를 이용한 사용자의 감성 분석을 통하여 사용자에게 맞는 음원을 추천하는 서비스를 제공할 수 있다.
또한 선호 음원 관리 장치(100)는 사용자가 주요 활동과 병행하여 음원을 듣는 배경 활동을 하는 멀티태스킹 환경에서도 사용자가 주의를 기울여 음원을 선택하고 관리하지 않더라도, 사용자의 감정 분석을 통한 선호 음원을 지속적으로 제공함으로써, 사용자가 최적의 감정 컨디션을 유지할 수 있도록 할 수 있는 음원 서비스를 제공할 수 있다. 즉 선호 음원 관리 장치(100)는 음원을 듣는 동안 지속적으로 사용자의 감정 상태를 실시간으로 파악하여 사용자의 긍정적인 감정 상태가 지속될 수 있도록 선호하는 음원을 제공할 수 있다.
또한 선호 음원 관리 장치(100)는 음원을 듣고 있는 사용자의 감정 상태를 실시간으로 파악하여 선호 음원 목록을 편집할 수 있다. 예컨대 선호 음원 관리 장치(100)는 사용자의 감정 분석을 실시간으로 수행하여 새로운 음원 중 사용자의 선호 감정을 유발하는 음원들은 선호 음원 목록에 자동으로 추가할 수 있다. 반대로 선호 음원 관리 장치(100)는 선호 음원 목록의 음원 중에 선호 감정이 더 이상 유발하지 못하는 음원은 선호 음원 목록에서 자동으로 삭제할 수 있다. 즉 기존에 선호하던 음원의 경우에도 실시간 청취 시 부정정인 감정 분석 결과가 나타나면, 선호 음원 관리 장치(100)는 해당 음원을 선호 음원 목록에서 자동으로 제거한다. 이로 인해 선호 음원 목록에 있는 음원이라도, 반복 청취를 통해 지겨워져 선호도가 떨어진 음원들을 사용자가 다시 듣지 않도록 선호 음원 목록을 관리할 수 있다.
또한 새로 추가된 음원의 경우도, 선호 음원 관리 장치(100)는 사용자가 일일이 선호도 결정을 내리지 않더라도 음원을 듣는 중 수십 초 정도의 생체 정보를 기반으로 한 감정 분석 결과를 통하여 자동으로 음원의 선호도 여부를 파악하여 선호 음원 리스트를 자동으로 업데이트(편집)할 수 있다.
이와 같은 본 실시예에 따른 선호 음원 관리 장치(100)를 이용한 감정 분석을 통한 선호 음원 관리 방법에 대해서 도 2 및 도 4를 참조하여 설명하면 다음과 같다. 여기서 도 4는 본 발명의 실시예에 따른 감정 분석을 통한 선호 음원 관리 방법에 따른 흐름도이다.
먼저 S81단계에서 선호 음원 관리 장치(100)는 음원을 듣는 사용자의 감정을 모델링한다. 이때 모델링은 선호 음원 관리 장치(100)에서 수행하는 예를 개시하였지만 이것에 한정되는 것은 아니다.
또한 사용자의 감정 모델이 선호 음원 관리 장치(100)에 저장되어 있는 경우, 선호 음원 관리 장치(100)는 S81단계를 생략할 수 있다.
다음으로 S83단계에서 선호 음원 관리 장치(100)는 사용자가 들을 수 있도록 음원을 재생한다.
다음으로 S85단계에서 선호 음원 관리 장치(100)는 음원을 듣는 사용자의 감정 상태를 실시간으로 파악한다. 즉 선호 음원 관리 장치(100)는 해당 음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보를 수집한다. 그리고 선호 음원 관리 장치(100)는 사용자 감정 모델과, 사용자의 생체 정보를 비교하여 사용자의 감정 상태를 실시간으로 파악한다.
다음으로 S87단계에서 선호 음원 관리 장치(100)는 파악된 사용자의 감정 상태에 따라 해당 음원을 선호 또는 비선호 음원으로 분류한다.
그리고 S89단계에서 선호 음원 관리 장치(100)는 S87단계의 분류 결과에 따라 선호 음원 목록에 대한 관리, 즉 편집을 수행한다.
여기서 S81단계에 따른 사용자의 감정을 모델링하는 단계를 도 2 및 도 5를 참조하여 구체적으로 설명하면 다음과 같다. 여기서 도 5는 도 4의 사용자의 감정을 모델링하는 단계(S81)에 따른 상세 흐름도이다.
먼저 S811단계에서 선호 음원 관리 장치(100)는 사용자에게 복수의 음원을 들려주면서 각 음원을 듣는 동안의 생체 정보를 취득한다.
다음으로 S813단계에서 선호 음원 관리 장치(100)는 복수의 음원에 대한 선호 또는 비선호 여부에 대한 감정 정보를 입력부(10)의 선택 신호를 통하여 수집한다.
예컨대 S811단계 및 S813단계를 반복하면서, 음원 청취 시의 뇌파 정보를 수집할 수 있다. 즉 음원 청취에 따른 뇌파 정보는 데이터의 양이 증가할수록 신뢰도가 상승하기 때문이다.
그리고 S815 단계에서 선호 음원 관리 장치(100)는 수집한 생체 정보와 감정 정보를 매칭하여 생체 정보를 기반으로 한 사용자의 감정을 모델링한다. 예컨대 선호 음원 관리 장치(100)가 수집한 뇌파 정보를 통계적으로 분석하고 분류하여 뇌파 정보를 통하여 사용자별 감정 모델링을 수행하여 사용자별 감정 모델을 생성한다.
한편 S89단계에 따른 선호 음원 목록을 관리하는 단계를 도 2 및 도 6을 참조하여 구체적으로 설명하면 다음과 같다. 여기서 도 6은 도 4의 분류 결과에 따라 선호 음원 목록을 관리하는 단계(S89)에 따른 상세 흐름도이다.
먼저 S891단계에서 선호 음원 관리 장치(100)는 재생 중인 음원이 기존 음원인지 새 음원인지의 여부를 판단한다. 여기서 기존 음원은 선호 음원 목록에 있는 음원을 의미한다. 새 음원은 선호 음원 관리 장치(100)에 새로이 추가될 음원으로, 선호 음원 목록에 포함되지 않는 음원을 의미한다.
S891단계의 판단 결과 기존 음원인 경우, S893단계에서 선호 음원 관리 장치(100)는 재생 중인 음원의 분류 결과가 선호 인지 비선호인지의 여부를 다시 확인한다.
S893단계의 확인 결과 선호 음원인 경우, S895단계에서 선호 음원 관리 장치(100)는 해당 음원을 선호 음원 목록에 유지한다.
하지만 S893단계의 확인 결과 비선호 음원인 경우, S897단계에서 선호 음원 관리 장치(100)는 해당 음원을 선호 음원 목록에서 삭제한다.
한편 S891단계의 판단 결과 새 음원인 경우, S899단계에서 선호 음원 관리 장치(100)는 재생 중인 음원의 분류 결과가 선호 인지 비선호인지의 여부를 다시 확인한다.
S899단계의 확인 결과 선호 음원인 경우, S901단계에서 선호 음원 관리 장치(100)는 해당 음원을 선호 음원 목록에 추가한다.
하지만 S899단계의 확인 결과 비선호 음원인 경우, S903단계에서 선호 음원 관리 장치(100)는 새로운 다른 음원 또는 선호 음원 목록에 포함된 음원을 재생한다. 이때 선호 음원 관리 장치(100)는 비선호 음원으로 분류된 해당 음원을 저장부(20)에서 삭제할 수도 있고, 별도의 비선호 음원 목록에 추가할 수도 있다.
한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.

Claims (12)

  1. 사용자가 들을 수 있도록 음원을 재생하는 재생 단계;
    음원을 듣는 사용자의 감정 상태를 실시간으로 파악하는 파악 단계;
    파악된 사용자의 감정 상태에 따라 해당 음원을 선호 또는 비선호 음원으로 분류하는 분류 단계;
    비선호로 분류된 음원을 제거하고, 선호로 분류된 음원은 선호 음원 목록에 포함시키는 관리 단계;
    를 포함하는 것을 특징으로 하는 감정 분석을 통한 선호 음원 관리 방법.
  2. 제1항에 있어서, 상기 파악 단계에서,
    사용자의 감정 상태는 사용자의 뇌파, 심전도, 맥박, 음성 또는 땀 중에서 적어도 하나의 생체 정보에 기초하여 파악하는 것을 특징으로 하는 감정 분석을 통한 선호 음원 관리 방법.
  3. 제1항에 있어서, 상기 파악 단계 이전에 수행되는,
    음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보에 기초하여 사용자의 감정을 모델링하는 단계;를 더 포함하고,
    상기 파악 단계에서 모델링된 사용자 감정과, 사용자의 생체 정보를 비교하여 사용자의 감정 상태를 실시간으로 파악하는 것을 특징으로 하는 감정 분석을 통한 선호 음원 관리 방법.
  4. 제3항에 있어서, 상기 모델링하는 단계는,
    사용자에게 복수의 음원을 들려주면서 각 음원을 듣는 동안의 뇌파를 취득하는 단계;
    상기 복수의 음원에 대한 선호 또는 비선호 여부에 대한 감정 정보를 수집하는 단계;
    수집한 뇌파 정보와 감정 정보를 매칭하여 뇌파를 기반으로 한 사용자의 감정을 모델링하는 단계;
    를 포함하는 것을 특징으로 하는 감정 분석을 통하여 선호 음원 관리 방법.
  5. 제1항에 있어서, 상기 관리 단계에서,
    현재 듣고 있는 음원이 선호 음원 목록에 포함된 음원으로, 상기 분류 단계에서 비선호 음원으로 분류된 경우 상기 선호 음원 목록에서 제거하고, 선호 음원으로 분류된 경우 상기 선호 음원 목록에 유지하는 것을 특징으로 하는 감정 분석을 통하여 선호 음원 관리 방법.
  6. 제1항에 있어서, 상기 관리 단계에서,
    현재 듣고 있는 음원이 선호 음원 목록에 포함되지 않은 새로운 음원으로, 상기 분류 단계에서 선호 음원으로 분류된 경우 상기 선호 음원 목록에 추가하고, 비선호 음원으로 분류된 경우 상기 선호 음원 목록에 추가하지 않고 새로운 음원 또는 상기 선호 음원 목록에 포함된 다른 음원을 재생하는 것을 특징으로 감정 분석을 통하여 선호 음원 관리 방법.
  7. 사용자가 들을 수 있도록 음원을 재생하여 출력하여 음원 출력부;
    음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보를 실시간으로 수집하는 생체 정보 수집부;
    수집한 생체 정보에 기초하여 상기 사용자의 감정 상태를 실시간으로 파악하는 감정 상태 판단부;
    파악된 사용자의 감정 상태에 따라 해당 음원을 선호 또는 비선호 음원으로 분류하는 음원 분류부;
    비선호로 분류된 음원을 제거하고, 선호로 분류된 음원은 선호 음원 목록에 포함시키는 음원 관리부;
    를 포함하는 것을 특징으로 하는 감정 분석을 통한 선호 음원 관리 장치.
  8. 제7항에 있어서, 상기 감정 상태 판단부는,
    사용자의 감정 상태를 사용자의 뇌파, 심전도, 맥박, 음성 또는 땀 중에서 적어도 하나의 생체 정보에 기초하여 파악하는 것을 특징으로 하는 감정 분석을 통한 선호 음원 관리 장치.
  9. 제7항에 있어서,
    음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보에 기초하여 사용자의 감정을 모델링하는 모델링부;를 더 포함하고,
    상기 감정 상태 판단부는 상기 모델링부에 의해 모델링된 사용자 감정과, 사용자의 생체 정보를 비교하여 사용자의 감정 상태를 실시간으로 파악하는 것을 특징으로 하는 감정 분석을 통한 선호 음원 관리 장치.
  10. 제9항에 있어서, 상기 모델링부는,
    상기 음원 출력부를 통하여 사용자에게 복수의 음원을 들려주면서 각 음원을 듣는 동안의 뇌파를 상기 생체 정보 수집부를 통하여 취득하고, 상기 복수의 음원에 대한 선호 또는 비선호 여부에 대한 감정 정보를 상기 감정 상태 판단부를 통하여 수집하고, 수집한 뇌파 정보와 감정 정보를 매칭하여 뇌파를 기반으로 한 사용자의 감정을 모델링하는 것을 특징으로 하는 감정 분석을 통하여 선호 음원 관리 장치.
  11. 제7항에 있어서, 상기 음원 관리부는,
    현재 듣고 있는 음원이 선호 음원 목록에 포함된 음원으로, 비선호 음원으로 분류된 경우 상기 선호 음원 목록에서 제거하고, 선호 음원으로 분류된 경우 상기 선호 음원 목록에 유지하는 것을 특징으로 하는 감정 분석을 통하여 선호 음원 관리 장치.
  12. 제7항에 있어서, 상기 음원 관리부는,
    현재 듣고 있는 음원이 선호 음원 목록에 포함되지 않은 새로운 음원으로, 선호 음원으로 분류된 경우 상기 선호 음원 목록에 추가하고, 비선호 음원으로 분류된 경우 상기 선호 음원 목록에 추가하지 않고 새로운 음원 또는 상기 선호 음원 목록에 포함된 다른 음원을 재생하는 것을 특징으로 감정 분석을 통하여 선호 음원 관리 장치.
PCT/KR2014/004554 2013-07-19 2014-05-22 감정 분석을 통한 선호 음원 관리 장치 및 방법 WO2015008931A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130085142A KR101506561B1 (ko) 2013-07-19 2013-07-19 감정 분석을 통한 선호 음원 관리 장치 및 방법
KR10-2013-0085142 2013-07-19

Publications (1)

Publication Number Publication Date
WO2015008931A1 true WO2015008931A1 (ko) 2015-01-22

Family

ID=52346347

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/004554 WO2015008931A1 (ko) 2013-07-19 2014-05-22 감정 분석을 통한 선호 음원 관리 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101506561B1 (ko)
WO (1) WO2015008931A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105596016A (zh) * 2015-12-23 2016-05-25 王嘉宇 一种人体心理、生理健康监测和管理装置及方法
CN109119076A (zh) * 2018-08-02 2019-01-01 重庆柚瓣家科技有限公司 一种老人用户交流习惯的收集系统及方法
WO2023058789A1 (ko) * 2021-10-06 2023-04-13 엘지전자 주식회사 사용자 맞춤형 컨텐츠를 제공하는 인공지능 디바이스 및, 그 디바이스를 제어하는 방법
WO2023219413A1 (en) * 2022-05-11 2023-11-16 Samsung Electronics Co., Ltd. Method and system for modifying audio content for listener

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10285634B2 (en) 2015-07-08 2019-05-14 Samsung Electronics Company, Ltd. Emotion evaluation
US11364894B2 (en) 2018-10-29 2022-06-21 Hyundai Motor Company Vehicle and method of controlling the same
KR102212638B1 (ko) * 2019-08-21 2021-02-04 건국대학교 글로컬산학협력단 음악 추천 시스템 및 방법
KR102285883B1 (ko) * 2019-12-24 2021-08-05 주식회사 이엠텍 스테레오 음원 분석 방법
KR102454752B1 (ko) * 2020-10-22 2022-10-17 (주)나연테크 수면유도음향에 따른 뇌파 변화를 반영한 음향 분류 시스템, 음향 분류 방법 및 음향 분류 방법을 실행시키기 위하여 매체에 저장된 프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060129582A (ko) * 2005-06-07 2006-12-18 주식회사 헬스피아 사용자의 감정 상태에 따라 단말기의 환경설정을 변경하는이동통신 단말기 및 그 변경방법
KR20070111507A (ko) * 2005-01-31 2007-11-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 생리적 영향에 따른 노래 분류
KR20110078233A (ko) * 2009-12-30 2011-07-07 한국기술교육대학교 산학협력단 사용자의 선호도를 반영하는 음악제공 시스템 및 그 방법
KR101070844B1 (ko) * 2010-10-01 2011-10-06 주식회사 바로연결혼정보 이상형을 연결시켜주기 위한 감성 매칭시스템 및 매칭방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100401012B1 (ko) * 2000-12-15 2003-10-30 김연경 감정상태에 기초한 선곡기능을 가진 음악제공시스템 및 방법
KR100769911B1 (ko) * 2006-09-12 2007-10-24 엘지전자 주식회사 이동통신 단말기 및 그 동작방법
KR101142679B1 (ko) * 2009-01-23 2012-05-03 삼성전자주식회사 생체 신호를 이용한 음악 검색 장치 및 그 방법
KR100912123B1 (ko) * 2009-03-12 2009-08-13 (주)이랜서 신체정보에 따른 음악자동선곡 및 재생장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070111507A (ko) * 2005-01-31 2007-11-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 생리적 영향에 따른 노래 분류
KR20060129582A (ko) * 2005-06-07 2006-12-18 주식회사 헬스피아 사용자의 감정 상태에 따라 단말기의 환경설정을 변경하는이동통신 단말기 및 그 변경방법
KR20110078233A (ko) * 2009-12-30 2011-07-07 한국기술교육대학교 산학협력단 사용자의 선호도를 반영하는 음악제공 시스템 및 그 방법
KR101070844B1 (ko) * 2010-10-01 2011-10-06 주식회사 바로연결혼정보 이상형을 연결시켜주기 위한 감성 매칭시스템 및 매칭방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105596016A (zh) * 2015-12-23 2016-05-25 王嘉宇 一种人体心理、生理健康监测和管理装置及方法
CN109119076A (zh) * 2018-08-02 2019-01-01 重庆柚瓣家科技有限公司 一种老人用户交流习惯的收集系统及方法
CN109119076B (zh) * 2018-08-02 2022-09-30 重庆柚瓣家科技有限公司 一种老人用户交流习惯的收集系统及方法
WO2023058789A1 (ko) * 2021-10-06 2023-04-13 엘지전자 주식회사 사용자 맞춤형 컨텐츠를 제공하는 인공지능 디바이스 및, 그 디바이스를 제어하는 방법
WO2023219413A1 (en) * 2022-05-11 2023-11-16 Samsung Electronics Co., Ltd. Method and system for modifying audio content for listener

Also Published As

Publication number Publication date
KR101506561B1 (ko) 2015-03-27
KR20150010313A (ko) 2015-01-28

Similar Documents

Publication Publication Date Title
WO2015008931A1 (ko) 감정 분석을 통한 선호 음원 관리 장치 및 방법
KR102460393B1 (ko) 사운드 출력 기기, 전자 장치 및 그 제어 방법
JP6329627B2 (ja) 無線移動通信プラットフォームに基づくインタラクティブ聴力診療システム
CN104457955B (zh) 体重信息获取方法、装置及系统
JP5065275B2 (ja) 組織内の電気的活動を検知する装置及び方法
JP6521778B2 (ja) 筋電信号を用いてアプリケーションに感情識別子を付与するプログラム、端末及びシステム
CN103875034B (zh) 基于医疗环境中的声音分析的医疗反馈系统
CN110767290A (zh) 一种交互型情绪疏导及心理辅导机器人
WO2020222626A1 (ko) 근전도 측정을 통한 근육 피로도 분석 방법 및 이를 수행하는 웨어러블 디바이스
JP6871362B2 (ja) 脳波データ分析システム、情報処理端末、電子機器、及び認知症検査のための情報の呈示方法
WO2022186528A1 (ko) 비대면 방식의 정신 장애 진료 시스템 및 방법
WO2016060296A1 (ko) 음향 정보 녹음 장치 및 그 제어 방법
CN110351623A (zh) 耳机有源噪声控制
Liaqat et al. Challenges with real-world smartwatch based audio monitoring
CN108345676A (zh) 信息推送方法及相关产品
CN104936098A (zh) 一种音效设置装置及其方法、播放系统及其方法
WO2013187688A1 (en) Method for processing audio signal and audio signal processing apparatus adopting the same
US20210026449A1 (en) Neurofeedback focus and productivity system, process, and method of use
CN205812319U (zh) 一种左右声道自动匹配的耳机
WO2022154217A1 (ko) 음성 장애 환자를 위한 음성 자가 훈련 방법 및 사용자 단말 장치
WO2020246752A1 (ko) 초음파를 이용한 사용자 인증 방법
CN106101893A (zh) 一种左右声道自动匹配的耳机以及识别方法
WO2021071175A1 (ko) 대표음량을 적용한 컨텐츠 음량 조절 시스템 및 그 방법
CN109745043A (zh) 入耳式脑电图采集处理系统
CN108446024B (zh) 音乐播放方法及相关产品

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14827114

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14827114

Country of ref document: EP

Kind code of ref document: A1