KR101506561B1 - Apparatus and method for managing preference sound source using emotion analysis - Google Patents
Apparatus and method for managing preference sound source using emotion analysis Download PDFInfo
- Publication number
- KR101506561B1 KR101506561B1 KR1020130085142A KR20130085142A KR101506561B1 KR 101506561 B1 KR101506561 B1 KR 101506561B1 KR 1020130085142 A KR1020130085142 A KR 1020130085142A KR 20130085142 A KR20130085142 A KR 20130085142A KR 101506561 B1 KR101506561 B1 KR 101506561B1
- Authority
- KR
- South Korea
- Prior art keywords
- sound source
- preferred
- user
- emotion
- sound
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/38—Acoustic or auditory stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Cardiology (AREA)
- Social Psychology (AREA)
- Signal Processing (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Artificial Intelligence (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 감정 분석을 통한 선호 음원 관리 장치 및 방법에 관한 것으로, 음원을 듣고 있는 사용자의 감정 상태를 파악하여 사용자가 선호하는 음원을 분류 및 관리하여 만족도 높은 음원 서비스를 제공하는 데 있다. 본 발명에 따른 선호 음원 관리 장치는 음원 출력부, 생체 정보 수집부, 감정 상태 판단부, 음원 분류부 및 음원 관리부를 포함한다. 음원 출력부는 사용자가 들을 수 있도록 음원을 재생하여 출력한다. 생체 정보 수집부는 음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보를 실시간으로 수집한다. 감정 상태 판단부는 수집한 생체 정보에 기초하여 사용자의 감정 상태를 실시간으로 파악한다. 음원 분류부는 파악된 사용자의 감정 상태에 따라 해당 음원을 선호 또는 비선호 음원으로 분류한다. 그리고 음원 관리부는 비선호로 분류된 음원을 제거하고, 선호로 분류된 음원은 선호 음원 목록에 포함시킨다.The present invention relates to an apparatus and method for managing a preferred sound source through emotion analysis, and is to provide a high-quality sound source service by classifying and managing sound sources preferred by a user by grasping the emotional state of a user listening to the sound source. The preferred sound source managing apparatus according to the present invention includes a sound source output unit, a biometric information collecting unit, an emotion state determining unit, a sound source classifying unit, and a sound source managing unit. The sound source output unit reproduces and outputs the sound source so that the user can hear it. The biometric information collecting unit collects biometric information generated according to the emotional state of the user who listens to the sound source in real time. The emotion state determination unit grasps the emotion state of the user on the basis of the collected biometric information in real time. The sound source classifying unit classifies the sound sources into preferred or non-preferred sound sources according to the emotional state of the identified user. The sound source management unit removes the sound sources classified as non-preferred, and includes the sound sources classified as the preferred sound sources in the preferred sound source list.
Description
본 발명은 음원 서비스 기술에 관한 것으로, 더욱 상세하게는 음원을 듣고 있는 사용자의 감정 상태를 파악하여 사용자가 선호하는 음원을 분류 및 관리하여 만족도 높은 음원 서비스를 제공하는 감정 분석을 통한 선호 음원 관리 장치 및 방법에 관한 것이다.The present invention relates to a sound source service technology, and more particularly, to a sound source service management system for analyzing emotional state of a user listening to a sound source and classifying and managing the sound sources preferred by the user to provide a high- And methods.
디지털 음원 활용 및 스마트 모바일 단말들이 대중화되면서 많은 음원을 관리하는 서비스와, 사용자가 선호할 만한 음원들을 예측하는 추천 서비스들이 선보이고 있다.With the use of digital sound sources and smart mobile terminals becoming popular, many services for managing sound sources and recommendation services for predicting users' favorite sound sources are being introduced.
하지만 기존의 음원 제공 서비스들은 아래와 같은 번거로운 문제점들을 가지고 있다.However, existing sound service offerings have the following cumbersome problems.
첫째, 사용자가 주기적으로 새로운 음원들을 직접 검토하여 그 중 선호하는 음원들을 직접 선택하여 선호 음원 목록에 추가해 주어야 한다.First, the user should manually review new sound sources periodically and add the preferred sound sources to the list of favorite sound sources.
둘째, 사용자가 반복하여 감상하여 선호도가 떨어진 음원들에 대해서는 사용자가 선호 음원 목록에서 직접 제거하는 등의 번거로운 작업을 수행해야 한다.Second, it is necessary to perform troublesome tasks such as removing the user directly from the list of preferred sound sources for the sound sources which are repeatedly watched and whose preferences are decreased.
이와 같은 작업들을 디지털 음원이 대중화되면서 많은 양의 음원들을 일일이 검토하는 작업이 주기적으로 반복되어야 하기 때문에, 사용자에게는 시간과 노력의 투자가 필요로 하는 번거로운 작업일 수도 있다.As digital sound sources become more popular, it becomes cumbersome for users to invest time and effort because it is necessary to periodically repeat a task of reviewing a large number of sound sources.
이에 대한 보완기술로 미리 음원들의 특성 및 각 사용자 별 선호 패턴을 분석하여 사용자가 선호할 만한 음원들을 추천해 주는 기술들도 대중화되어 활용되고 있다. 그러나 이러한 기존의 음원 추천 기술들도 한계점을 가지고 있다. 즉 사용자들의 음원 소비 패턴, 음원 분석 또는 음원 관련 정보들의 분석을 통한 기존의 음원 추천 방식이기 때문에, 실시간으로 사용자의 반응과 감정을 반영하여 음원을 추천을 할 수 없는 한계를 가지고 있다.As a complementary technology for this, techniques for recommending sound sources preferred by users by analyzing the characteristics of sound sources and preference patterns for each user are popularized and utilized. However, these conventional sound source recommendation techniques also have limitations. That is, since it is an existing method of recommending a sound source by analyzing a user's sound source consumption pattern, sound source analysis, or information related to the sound source, the user can not recommend the sound source in real time by reflecting the reaction and emotion of the user.
이와 같은 음원 서비스 기술들은 최근 사람들의 주요 활동의 배경 활동으로 주로 활용되고 있는 음악 감상 활동으로 인해, 주요 활동에 방해가 될 수도 있는 음원 정리 및 선택의 활동이 필요로 한다는 번거로움을 여전히 해소하지 못하는 문제점을 안고 있다.Such sound service techniques have not been able to solve the hassle that music appreciation activity, which is mainly used as a background activity of people's main activities in recent years, necessitates the activities of organizing and selecting sound sources which may interfere with the main activities I have a problem.
따라서 본 발명의 목적은 음원을 듣고 있는 사용자의 감정 상태를 실시간으로 파악하여 사용자가 선호하는 음원을 분류 및 관리하여 만족도 높은 음원 서비스를 제공하는 감정 분석을 통한 선호 음원 관리 장치 및 방법을 제공하는 데 있다.Accordingly, an object of the present invention is to provide an apparatus and method for managing a preferred sound source through emotion analysis, which provides a high-quality sound source service by classifying and managing a sound source preferred by the user by grasping the emotional state of a user listening to the sound source in real time have.
본 발명의 다른 목적은 사용자가 주요 활동과 병행하여 음원을 듣는 배경 활동을 하는 멀티태스킹 환경에서 사용자가 주의를 기울여 음원을 선택하고 관리하지 않더라도 사용자가 최적의 감정 컨디션을 유지할 수 있도록 음원 서비스를 제공하는 감정 분석을 통한 선호 음원 관리 장치 및 방법을 제공하는 데 있다.Another object of the present invention is to provide a sound source service so that a user can maintain an optimal emotional condition even if a user does not select and manage a sound source by paying attention in a multi-tasking environment in which a user performs a background activity for listening to a sound source in parallel with main activities And to provide a preferred sound source management apparatus and method through emotional analysis.
본 발명의 또 다른 목적은 음원을 듣고 있는 사용자의 감정 상태를 실시간으로 파악하여 사용자의 별다른 조작 없이 선호 음원 목록을 편집하는 감정 분석을 통한 선호 음원 관리 장치 및 방법을 제공하는 데 있다.It is another object of the present invention to provide an apparatus and method for managing a preferred sound source through emotion analysis for grasping a user's emotional state in real time and editing a preferred sound source list without any manipulation by the user.
상기 목적을 달성하기 위하여, 본 발명은 사용자가 들을 수 있도록 음원을 재생하는 재생 단계, 음원을 듣는 사용자의 감정 상태를 실시간으로 파악하는 파악 단계, 파악된 사용자의 감정 상태에 따라 해당 음원을 선호 또는 비선호 음원으로 분류하는 분류 단계, 및 비선호로 분류된 음원은 제거하고, 선호로 분류된 음원은 선호 음원 목록에 포함시키는 관리 단계를 포함하는 감정 분석을 통한 선호 음원 관리 방법을 제공한다.In order to accomplish the above object, the present invention provides a method for reproducing a sound source, comprising: a reproducing step of reproducing a sound source for a user to hear; a grasping step of grasping the emotion state of the user who listens to the sound source in real time; A classification step of classifying the sound source as a non-preferred sound source, and a management step of removing the sound sources classified as the non-preferred sound source and including the sound sources classified as the preferred sound source in the preferred sound source list.
본 발명에 따른 감정 분석을 통한 선호 음원 관리 방법에 있어서, 상기 파악 단계에서, 사용자의 감정 상태는 사용자의 뇌파, 심전도, 맥박, 음성 또는 땀 중에서 적어도 하나의 생체 정보에 기초하여 파악할 수 있다.In the preferred sound source management method according to the present invention, in the grasping step, a user's emotional state can be grasped based on at least one of biological information of a user's brain wave, electrocardiogram, pulse, voice, or sweat.
본 발명에 따른 감정 분석을 통한 선호 음원 관리 방법은 상기 파악 단계 이전에 수행되는, 음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보에 기초하여 사용자의 감정을 모델링하는 단계를 더 포함할 수 있다. 이때 상기 파악 단계에서 모델링된 사용자 감정과, 사용자의 생체 정보를 비교하여 사용자의 감정 상태를 실시간으로 파악할 수 있다.The method of managing a preferred sound source through the emotion analysis according to the present invention may further include modeling the emotion of the user based on the biometric information generated according to the emotional state of the user who hears the sound source, . At this time, the emotion state of the user can be grasped in real time by comparing the user emotion modeled in the grasping step with the biometric information of the user.
본 발명에 따른 감정 분석을 통한 선호 음원 관리 방법에 있어서, 상기 모델링하는 단계는, 사용자에게 복수의 음원을 들려주면서 각 음원을 듣는 동안의 뇌파를 취득하는 단계, 상기 복수의 음원에 대한 선호 또는 비선호 여부에 대한 감정 정보를 수집하는 단계, 및 수집한 뇌파 정보와 감정 정보를 매칭하여 뇌파를 기반으로 한 사용자의 감정을 모델링하는 단계를 포함할 수 있다.In the preferred sound source management method according to the present invention, the modeling step may include acquiring an EEG while listening to a plurality of sound sources while listening to each sound source, Collecting emotion information about whether or not the EEG information is collected, and modeling the emotion of the user based on the EEG by matching the collected EEG information with the emotion information.
본 발명에 따른 감정 분석을 통한 선호 음원 관리 방법에 있어서, 상기 관리 단계에서, 현재 듣고 있는 음원이 선호 음원 목록에 포함된 음원으로, 상기 분류 단계에서 비선호 음원으로 분류된 경우 상기 선호 음원 목록에서 제거하고, 선호 음원으로 분류된 경우 상기 선호 음원 목록에 유지할 수 있다. 또는 상기 관리 단계에서, 현재 듣고 있는 음원이 선호 음원 목록에 포함되지 않은 새로운 음원으로, 상기 분류 단계에서 선호 음원으로 분류된 경우 상기 선호 음원 목록에 추가하고, 비선호 음원으로 분류된 경우 상기 선호 음원 목록에 추가하지 않고 새로운 음원 또는 상기 선호 음원 목록에 포함된 다른 음원을 재생할 수 있다.In the preferred sound source management method according to the present invention, in the managing step, if the sound source currently heard is included in the preferred sound source list and the sound source is classified as a non-preferred sound source in the classification step, And if it is classified as the preferred sound source, it can be kept in the preferred sound source list. Or in the management step, a new sound source whose current sound source is not included in the preferred sound source list is added to the preferred sound source list if it is classified as a preferred sound source in the classification step, and if it is classified as a non- A new sound source or other sound source included in the preferred sound source list can be reproduced.
본 발명은 또한, 음원 출력부, 생체 정보 수집부, 감정 상태 판단부, 음원 분류부 및 음원 관리부를 포함하는 감정 분석을 통한 선호 음원 관리 장치를 제공한다. 상기 음원 출력부는 사용자가 들을 수 있도록 음원을 재생하여 출력한다. 상기 생체 정보 수집부는 음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보를 실시간으로 수집한다. 상기 감정 상태 판단부는 수집한 생체 정보에 기초하여 상기 사용자의 감정 상태를 실시간으로 파악한다. 상기 음원 분류부는 파악된 사용자의 감정 상태에 따라 해당 음원을 선호 또는 비선호 음원으로 분류한다. 그리고 음원 관리부는 비선호로 분류된 음원을 제거하고, 선호로 분류된 음원은 선호 음원 목록에 포함시킨다.The present invention also provides a preferred sound source management apparatus through emotion analysis including a sound source output unit, a biometric information collection unit, an emotion state determination unit, a sound source classification unit, and a sound source management unit. The sound source output unit reproduces and outputs the sound source so that the user can hear the sound source. The biometric information collecting unit collects biometric information generated according to an emotional state of a user who listens to the sound source in real time. The emotion state determination unit grasps the emotion state of the user in real time based on the collected biometric information. The sound source classifying unit classifies the sound source into a preferred sound source or a non-preferred sound source according to an emotion state of the user. The sound source management unit removes the sound sources classified as non-preferred, and includes the sound sources classified as the preferred sound sources in the preferred sound source list.
본 발명에 따르면, 선호 음원 관리 장치는 음원을 듣고 있는 사용자의 감정 상태를 실시간으로 파악하여 사용자가 선호하는 음원을 분류 및 관리하여 선호 음원 목록을 제공하기 때문에, 사용자에게 만족도 높은 음원 서비스를 제공할 수 있다. 즉 선호 음원 관리 장치는 사용자의 감정 상태를 파악할 수 있는 생체 신호 기반 인터페이스를 이용하여 손이나 음성 등의 사용자의 주의를 요하는 인터페이싱 활동 없이도 만족스러운 음원 추전 서비스를 제공할 수 있다.According to the present invention, since the preferred sound source management device grasps the emotional state of a user who listens to a sound source in real time and classifies and manages a sound source preferred by the user, the preferred sound source management device provides a list of preferred sound sources, . That is, the preferred sound source management apparatus can provide a satisfactory sound source recommendation service without any interfacing activity requiring a user's attention such as a hand or voice using a bio-signal based interface that can grasp the emotional state of the user.
또한 선호 음원 관리 장치는 사용자가 주요 활동과 병행하여 음원을 듣는 배경 활동을 하는 멀티태스킹 환경에서도 사용자가 주의를 기울여 음원을 선택하고 관리하지 않더라도, 사용자의 감정 분석을 통한 선호 음원을 지속적으로 제공함으로써, 사용자가 최적의 감정 컨디션을 유지할 수 있도록 할 수 있다. 즉 선호 음원 관리 장치는 음원을 듣는 동안 지속적으로 사용자의 감정 상태를 실시간으로 파악하여 사용자의 긍정적인 감정 상태가 지속될 수 있도록 선호하는 음원을 제공할 수 있다.In addition, the preferred sound source management device continuously provides the preferred sound source through the emotion analysis of the user even if the user does not select and manage the sound source by paying attention even in the multi-tasking environment in which the user performs the background activity of listening to the sound source in parallel with the main activities , So that the user can maintain an optimal emotional condition. That is, the preferred sound source management apparatus can continuously provide a preferred sound source so that the user's positive emotional state can be maintained while continuously grasping the user's emotional state in real time while listening to the sound source.
또한 선호 음원 관리 장치는 음원을 듣고 있는 사용자의 감정 상태를 실시간으로 파악하여 선호 음원 목록을 편집할 수 있다. 예컨대 선호 음원 관리 장치는 사용자의 감정 분석을 실시간으로 수행하여 새로운 음원 중 사용자의 선호 감정을 유발하는 음원들은 선호 음원 목록에 자동으로 추가할 수 있다. 반대로 선호 음원 관리 장치는 선호 음원 목록의 음원 중에 선호 감정이 더 이상 유발하지 못하는 음원은 선호 음원 목록에서 자동으로 삭제할 수 있다.Also, the preferred sound source management device can grasp the emotional state of the user who is listening to the sound source in real time and edit the preferred sound source list. For example, the preferred sound source management apparatus can perform the emotion analysis of the user in real time and automatically add sound sources that cause the user's preference feeling of new sound sources to the preferred sound source list. On the contrary, the preferred sound source management apparatus can automatically delete a sound source in the list of preferred sound sources from which the preferred emotion is no longer caused by the preferred sound source list.
도 1은 본 발명의 실시예에 따른 감정 분석을 통한 선호 음원 관리 장치를 보여주는 도면이다.
도 2는 도 1의 선호 음원 관리 장치의 구성을 보여주는 블록도이다.
도 3은 도 2의 제어부의 구성을 보여주는 블록도이다.
도 4는 본 발명의 실시예에 따른 감정 분석을 통한 선호 음원 관리 방법에 따른 흐름도이다.
도 5는 도 4의 사용자의 감정을 모델링하는 단계에 따른 상세 흐름도이다.
도 6은 도 4의 분류 결과에 따라 선호 음원 목록을 관리하는 단계에 따른 상세 흐름도이다.1 is a diagram illustrating a preferred sound source management apparatus through emotion analysis according to an embodiment of the present invention.
FIG. 2 is a block diagram showing the configuration of the preferred sound source management apparatus of FIG. 1. FIG.
3 is a block diagram showing the configuration of the control unit of FIG.
4 is a flowchart illustrating a preferred sound source management method through emotion analysis according to an embodiment of the present invention.
5 is a detailed flowchart according to the step of modeling the emotion of the user of FIG.
FIG. 6 is a detailed flowchart according to the step of managing the preferred sound source list according to the classification result of FIG.
하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.In the following description, only parts necessary for understanding the embodiments of the present invention will be described, and the description of other parts will be omitted so as not to obscure the gist of the present invention.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.The terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary meanings and the inventor is not limited to the meaning of the terms in order to describe his invention in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely preferred embodiments of the present invention, and are not intended to represent all of the technical ideas of the present invention, so that various equivalents And variations are possible.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 감정 분석을 통한 선호 음원 관리 장치를 보여주는 도면이다.1 is a diagram illustrating a preferred sound source management apparatus through emotion analysis according to an embodiment of the present invention.
도 1을 참조하면, 본 실시예에 따른 선호 음원 관리 장치(100)는 음원 재생기(60)와 헤드셋(70)으로 구현될 수 있다.Referring to FIG. 1, the preferred sound
음원 재생기(60)는 음원을 재생하여 헤드셋(70)으로 출력한다. 이러한 음원 재생기(60)로는 음원 재생 기능을 갖는 장치로서, 예컨대 MP3 플레이어, 스마트폰, 휴대폰 등이 될 수 있다. 이때 재생되는 음원은 음원 재생기(60)에 저장된 음원이거나, 외부의 음원 제공 장치로부터 스트리밍 방식으로 제공받는 음원일 수 있다.The sound source reproducer 60 reproduces the sound source and outputs it to the
그리고 헤드셋(70)은 음원 재생기(60)로부터 음원을 전달받아 사용자가 들을 수 있도록 출력한다. 헤드셋(70)은 음원을 듣는 동안 사용자로로부터 생체 정보를 실시간으로 수집하여 음원 재생기(60)로 전달한다.The
이때 생체 정보는 사용자의 감정 상태에 따른 신체 변화에 따라 발생되는 정보로서, 예컨대 사용자의 뇌파, 심전도, 맥박, 음성 또는 땀 중에서 적어도 하나가 이용될 수 있다. 본 실시예에서는 생체 정보로 뇌파를 사용하는 예를 개시하였다.At this time, the biometric information is information generated according to the body change according to the user's emotional state, and at least one of the user's brain wave, electrocardiogram, pulse, voice, or sweat can be used. In this embodiment, an example of using brain waves as biometric information is disclosed.
헤드셋(70)은 머리 거치대(71)를 매개로 양쪽에 연결된 음원 출력부(40)와, 머리 거치대(71)에 설치되어 뇌파와 같은 생체 정보를 수집하는 생체 정보 수집부(50)를 포함한다. 헤드셋(70)은 연결 케이블(73)과 같은 유선으로 음원 재생기(60)에 연결되어 정보를 교환한다.The
한편 본 실시예에서는 헤드셋(70)이 음원 재생기(60)에 연결 케이블(73)을 매개로 연결된 예를 개시하였지만 이것에 한정되는 것은 아니다. 헤드셋(70)은 적외선, 블루투스 등과 같은 근거리 통신 방식으로 음원 재생기(60)에 무선으로 연결될 수 있다.On the other hand, in this embodiment, the example in which the
특히 음원 재생기(60)는 헤드셋(70)으로부터 수신한 생체 정보를 기반으로 음원을 듣는 사용자의 감정 상태를 파악한다. 음원 재생기(60)는 파악한 감정 상태에 따라 현재 재생 중인 음원의 선호 또는 비선호 음원으로 분류한다. 그리고 음원 재생기(60)는 현재 재생 중인 음원의 분류 결과를 반영하여 선호 음원 목록을 관리한다.Particularly, the sound reproducer 60 grasps the emotional state of the user listening to the sound source based on the biometric information received from the
여기서 선호 음원 목록을 관리한다는 것은 음원을 선호 음원 목록에 유지, 삭제 및 추가하거나, 다른 음원을 재생하도록 편집하는 것을 의미한다. 다른 음원은 현재 재생 중인 음원 이외의 음원으로, 선호 음원 목록에 등록된 음원이거나 선호 음원 목록에 등록되지 않은 음원일 수 있다.Here, managing the preferred sound source list means to maintain, delete and add the sound source to the preferred sound source list, or edit to reproduce another sound source. The other sound source may be a sound source other than the currently playing sound source, a sound source registered in the preferred sound source list, or a sound source not registered in the preferred sound source list.
한편 본 실시예에서는 헤드셋(70)이 음원 출력부(40)와 생체 정보 수집부(50)로 구성된 예를 개시하였지만 이것에 한정되는 것은 아니다. 음성 출력부(40)와는 별도로 생체 정보 수집부(50)가 마련된 수 있다. 음성 출력부(40)만으로 되는 경우, 스피커, 이어셋, 이어폰, 헤드폰으로 구현될 수 있다.On the other hand, in this embodiment, the example in which the
이와 같은 본 실시예에 따른 선호 음원 관리 장치(100)에 대해서 도 1 내지 도 3을 참조하여 설명하면 다음과 같다. 여기서 도 2는 도 1의 선호 음원 관리 장치(100)의 구성을 보여주는 블록도이다. 도 3은 도 2의 제어부(30)의 구성을 보여주는 블록도이다.The preferred sound
본 실시예에 따른 선호 음원 관리 장치(100)는 음원 출력부(40), 생체 정보 수집부(50), 감정 상태 판단부(31), 음원 분류부(33) 및 음원 관리부(35)를 포함하며, 그 외 입력부(10) 및 저장부(20)를 더 포함할 수 있다. The preferred sound
한편 본 실시예에서는 음원 출력부(40) 및 생체 정보 수집부(50)가 헤드셋(70)에 설치되고, 그 외 구성은 음원 재생기(60)에 설치된 예를 개시하였지만 이것에 한정되는 것은 아니다. 예컨대 음원 출력부(40)는 음원 재생기(60)에 설치될 수 있다. 생체 정보 수집부(50)는 헤드셋(70)과는 별도로 구비될 수 있다.On the other hand, in the present embodiment, the sound
또한 본 실시예에서는 감정 상태 판단부(31), 음원 분류부(33) 및 음원 관리부(35)가 제어부(30)로 구현된 예를 개시하였지만, 적어도 하나가 별도의 프로세서로 구현될 수 있다.In this embodiment, the emotion
입력부(10)는 선호 음원 관리 장치(100)의 조작을 위한 복수의 키를 제공하며, 사용자의 키선택에 따른 선택 신호를 발생하여 제어부(30)로 전달한다. 사용자는 입력부(10)를 통해 음원을 재생하거나 사용자의 감정 모델링을 수행하도록 지시할 수 있다. 이때 입력부(10)로는 버튼, 키패드, 터치패드와 같은 포인팅 장치, 터치스크린(touch screen) 등의 입력장치가 사용될 수 있다.The
저장부(20)는 선호 음원 관리 장치(100)의 동작 제어시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 정보를 저장한다. 저장부(20)는 사용자의 감정 모델링과, 음원을 듣고 있는 사용자의 감정 상태를 실시간으로 파악하여 선호 음원 목록을 편집하기 위한 실행프로그램을 저장한다. 저장부(20)는 모델링된 사용자의 감정 모델, 음원들, 및 선호 음원 목록을 저장한다. 또한 저장부(20)는 비선호 음원으로 분류된 음원과, 그에 따른 비선호 음원 목록을 저장할 수 있다.The
음원 출력부(40)는 재생되는 음원을 사용자가 들을 수 있도록 출력한다. 이때 음원 출력부(40)는 헤드셋(70)에 마련되거나 스피커로 구현될 수 있다. 스피커는 음원 재생기(60)에 내장된 형태로 구현되거나, 별도의 기기로 음원 재생기(60)에 연결될 수 있다.The sound
생체 정보 수집부(50)는 음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보를 수집한다. 이때 생체 정보 수집부(50)는 음원이 재생되지 않을 때는 생체 정보를 수집하지 않으며, 음원이 재생되는 경우에 제어부(30)의 제어에 따라 생체 정보를 수집하여 제어부(30)에 제공할 수 있다.The biometric
그리고 제어부(30)는 선호 음원 관리 장치(100)의 전반적인 제어 동작을 수행하는 마이크로프로세서(microprocessor)로서, 음원을 듣고 있는 사용자의 감정 상태를 실시간으로 파악하여 선호 음원 목록에 대한 관리를 수행한다. 또한 제어부(30)는 음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보에 기초하여 사용자의 감정을 모델링할 수 있다.The
이러한 제어부(30)는 감정 상태 판단부(31), 음원 분류부(33) 및 음원 관리부(35)를 포함하여 구성된다. 감정 상태 판단부(31)는 수집한 생체 정보에 기초하여 사용자의 감정 상태를 실시간으로 파악한다. 음원 분류부(33)는 파악된 사용자의 감정 상태에 따라 해당 음원을 선호 또는 비선호 음원으로 분류한다. 그리고 음원 관리부(35)는 비선호로 분류된 음원을 제거하고, 선호로 분류된 음원은 선호 음원 목록에 포함시키는 등의 음원 관리를 수행한다.The
제어부(30)는 사용자의 감정 상태를 실시간으로 파악할 때 모델링을 통하여 마련된 사용자별 감정 모델을 이용할 수 있다. 제어부(30)는 음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보에 기초하여 사용자의 감정을 모델링할 수 있다. 그리고 제어부(30)는 모델링된 사용자 감정과, 사용자의 생체 정보를 비교하여 사용자의 감정 상태를 실시간으로 파악할 수 있다.The
예컨대 사용자의 감정 모델링은 아래와 같이 수행될 수 있다. 이때 생체 정보로서 뇌파가 사용된 예를 개시한다. 먼저 음원 출력부(40)는 사용자에게 복수의 음원을 들려주면서, 생체 정보 수집부(50)는 각 음원을 듣는 동안의 뇌파를 취득한다. 다음으로 제어부(30)는 입력부(10)를 통하여 복수의 음원에 대한 선호 또는 비선호 여부에 대한 감정 정보를 수집한다. 그리고 제어부(30)는 수집한 뇌파 정보와 감정 정보를 매칭하여 뇌파를 기반으로 한 사용자의 감정을 모델링한다.For example, the emotion modeling of the user can be performed as follows. At this time, an example in which brain waves are used as biometric information is disclosed. First, the sound
이때 제어부(30)는 생체 정보 수집부(50)에서 수집된 다채널 뇌파를 통계적으로 정밀 분석하는 작업을 수행할 수 있다.At this time, the
뇌파의 분석에 위한 특징 정보로 뇌파의 주요 성분이 되는 쎄파, 알파, 베타 주파수 영역대의 전력정보와 복수의 센서에서 측정되는 뇌파 데이터들 간의 상관성정보(Coherence), 시간-주파수 분석을 통해 얻을 수 있는 자기회귀계수(Autoregressive coefficient), 사건 관련 동기 및 비동기 정보(ERS: Event-Related Synchronization, ERD: Event-Related Desynchronization), 각 중요 주파수 영역대의 peak frequency 정보, 전두엽(Frontal region), 측두엽(Temporal region)에서 발생하는 전두엽 비대칭성정보(Frontal asymmetry) 등이 이용될 수 있다.The feature information for analysis of brain waves includes correlation information (coherence) between power information of sephas, alpha, and beta frequency band which are main components of EEG, and EEG data measured by a plurality of sensors, (ERS: Event-Related Desynchronization), peak frequency information of each important frequency band, frontal region, temporal region, Frontal asymmetry information generated from the frontal asymmetry may be used.
분석에 사용된 각 특징 정보로, 먼저 뇌파 데이터들 간의 상관성 정보(Coherence)는 두피의 여러 영역(region) 혹은 각 채널/전극에서 측정된 뇌파 데이터들 간의 유사성을 비교하는 정보로서, 스트레스를 받게 되는 상황에서 두피의 여러 영역에서 발생하는 뇌의 활동에 대한 동시성(Synchrony)의 척도로 활용된다.The correlation information (coherence) between the EEG data is information for comparing the similarity between EEG data measured in various regions of the scalp or each channel / electrode, It is used as a measure of synchronicity of brain activity occurring in various areas of the scalp in the situation.
자기회귀계수(Autoregressive coefficient)는 현재 시점에서 발생하는 뇌파 데이터의 한 샘플값은 과거 몇 개의 샘플들의 조합으로 표현가능하다는 개념에 근간한 것으로 시간영역에서의 각 샘플들 간의 상관성을 살펴보고자 할 때 널리 사용되는 정보이다.The autoregressive coefficient is based on the concept that one sample value of the EEG data generated at the present time point can be represented by a combination of a few samples in the past. When the correlation between each sample in the time domain is widely examined This information is used.
사건관련 동기 및 비동기정보(ERS/ERD)는 뇌가 특정 자극을 외부에서 받게 되는 상황에서 그 자극에 고유한 응답(Response)을 보일 경우, 그 응답의 특성이 어떠한 형태로 주어지는가를 판단하는 척도로 사용되는 특징정보이다.Event-related synchronous and asynchronous information (ERS / ERD) is a measure of how the characteristics of a response are given when the brain exhibits a response specific to the stimulus in the context of receiving a particular stimulus from the outside It is feature information used.
각 중요 주파수 영역대의 Peak frequency정보는 분석하고자 하는 뇌파의 주파수영역(쎄타, 알파, 베타 대역)내를 세밀히 관찰했을 때 파악되는, 전력(power)값이 최대치를 보이는 주파수를 의미한다.Peak frequency information of each important frequency range means a frequency at which the power value reaches a maximum value, which is obtained when a detailed observation is made within the frequency range (theta, alpha, and beta band) of the brain wave to be analyzed.
그리고 전두엽 비대칭성(Frontal asymmetry) 정보는 뇌의 좌우 반구를 기준으로 전두엽부분에서의 좌우반구의 채널 쌍(pair) 간의 알파파 전력 차이 값을 의미하는 특징정보이다.Frontal asymmetry information is feature information that indicates the difference in power between the left and right hemispherical frontal lobe pairs based on the left and right hemispheres of the brain.
예컨대 위에서 언급한 여러 특징들을 활용하여 스트레스 상황을 파악할 경우, 사용자의 뇌의 활동은 비스트레스 상황과 비교해볼 때 뇌의 전반적인 부분이 동시적으로 활발히 반응을 하며, peak frequency가 높고, 비대칭성 정보에서는 우반구쪽이 좌반구에 비해서 활동성이 두드러짐을 알 수 있다. 따라서 스트레스와 같은 사용자의 복잡한 감정상황을 뇌파를 통해 파악하고자 할 경우, 집중과 이완에 관여하는 알파파에 주로 초점이 맞추어진 기존의 해석 방법과는 다르게, 뇌파의 여러 활동성을 동시에 관찰하는 것이 중요하며 이를 위해 다양한 특징 정보를 복합적으로 사용해야 될 필요가 있게 된다.For example, when the stress situation is identified by using the above-mentioned various features, the activity of the user's brain is compared with the non-stress situation, the overall part of the brain reacts simultaneously, the peak frequency is high, The right hemisphere is more active than the left hemisphere. Therefore, it is important to simultaneously observe the activity of the EEG, unlike the conventional analysis methods focused mainly on the alpha waves involved in concentration and relaxation, in order to grasp the user's complex emotional situations such as stress through EEG And it is necessary to use various feature information in combination.
수집한 뇌파 정보를 통계적으로 분석하고 분류하기 위해서, 감정 상태 판단부(31)는 인공 지능 분류기와 같은 뇌파 패턴 분류기를 포함할 수 있다.In order to statistically analyze and classify the collected EEG information, the emotion
이와 같이 언급된 여러 특징들을 활용하여 제어부(30)는 수집한 뇌파 정보와 감정 정보를 매칭하여 뇌파를 기반으로 한 사용자의 감정을 모델링한다.Using the above-mentioned various features, the
한편 제어부(30)는 음원 관리를 아래와 같이 수행할 수 있다. 특히 음원이 선호 음원 목록에 포함된 음원인지 아니지에 따라 아래와 같이 수행될 수 있다.On the other hand, the
먼저 현재 듣고 있는 음원이 선호 음원 목록에 포함되지 않은 새로운 음원으로서, 분류 단계에서 선호 음원으로 분류된 경우, 음원 관리부(35)는 해당 음원을 선호 음원 목록에 추가한다. 그리고 비선호 음원으로 분류된 경우, 음원 관리부(35)는 선호 음원 목록에 추가하지 않고 새로운 음원 또는 선호 음원 목록에 포함된 다른 음원을 재생한다.First, if the currently heard sound source is not included in the preferred sound source list and is classified as a preferred sound source in the classification step, the sound
예컨대 음원 재생기(60)에 새로운 음원이 추가된 경우, 제어부(30)는 사용자에게 해당 음원을 30초 정도를 들려주며 실시간으로 현재 음원에 대한 뇌파 정보를 생체 정보 수집부(50)를 통하여 수집한다. 감정 상태 판단부(31)는 수집한 뇌파 정보와 사용자의 감정 모델과의 비교를 통하여 현재 재생 중인 음원에 대한 사용자의 감정 상태를 파악한다. 해당 음원이 선호 음원으로 분류되면, 음원 관리부(35)는 해당 음원을 선호 음원 목록에 추가한다. 해당 음원이 비선호 음원으로 분류되면, 음원 관리부(35)는 해당 음원을 선호 음원 목록에 추가하지 않고 다른 새로운 음원을 재생한다. 그리고 제어부(30)는 이와 같은 과정을 반복하여 새로 추가된 음원에 대한 분류를 완료한다.For example, when a new sound source is added to the
이때 새로운 음원에 대한 분류를 수행할 때, 음원 관리부(35)가 해당 음원을 30초 정도 재생하는 예를 개시하였지만 이것에 한정되는 것은 아니다. 음원 재생 시간은 사용자의 필요에 따라 변경할 수 있다.At this time, when classifying a new sound source, the sound
또한 제어부(30)는 비선호로 분류된 새로운 음원은 저장부(20)에서 삭제할 수도 있고, 별도의 비선호 음원 목록에 등록하여 저장할 수도 있다. 즉 사람의 감정 상태는 항상 일정하지 않으며, 상황에 따라 변하기 때문에, 비선호 음원으로 분류된 음원도 다시 선호 음원으로 분류될 수 있다. 또한 음원을 구입하는 데에 따른 비용이 발생되기 때문에, 한번 비선호 음원으로 분류되었다고 해서 저장부(20)에서 삭제하는 것은 바람직한 것은 아니다. 따라서 비선호로 분류된 새로운 음원을 무조건 삭제하는 것 보다는 일정 기간 저장부(20)에 저장해 두고, 일정 횟수 이상 비선호로 분류되거나 연속하여 일정 횟수 이상 비선호로 분류되는 경우에 삭제하는 것이 바람직하다. 이때 일정 회수는 n회 범위에서 설정될 수 있으며, 이것에 한정되는 것은 아니다.(n은 2 내지 10 이하의 자연수)In addition, the
다음으로 현재 듣고 있는 음원이 선호 음원 목록에 포함된 음원으로서, 분류 단계에서 비선호 음원으로 분류된 경우, 음원 관리부(35)는 선호 음원 목록에서 해당 음원 제거한다. 그리고 선호 음원으로 분류된 경우, 음원 관리부(35)는 해당 음원을 선호 음원 목록에 유지한다.Next, if the currently heard sound source is a sound source included in the preferred sound source list and classified as a non-preferred sound source in the classification step, the sound
예컨대 선호 음원 목록에 있는 음원이 재생되는 경우, 제어부(30)는 사용자에게 해당 음원을 들려주며 실시간으로 현재 음원에 대한 뇌파 정보를 생체 정보 수집부를 통하여 획득한다. 감정 상태 판단부(31)는 수집한 뇌파 정보와 사용자의 감정 모델과의 비교를 통하여 현재 재생 중인 음원에 대한 사용자의 감정 상태를 파악한다. 해당 음원이 음원 분류부(33)에 의해 선호 음원으로 분류되면, 음원 관리부(35)는 해당 음원을 선호 음원 목록에 유지한다. 해당 음원이 비선호 음원으로 분류되면, 음원 관리부(35)는 해당 음원을 선호 음원 목록에서 삭제한다.For example, when a sound source in the preferred sound source list is reproduced, the
한편 본 실시예에서는 사용자의 감정 모델링을 제어부(30)가 직접 수행하는 예를 개시하였지만, 별도의 기기에서 수행된 후 저장부(20)에 데이터로 제공될 수 있다. 또한 일반화된 감정 모델이 개발된다면, 사용자별로 감정 모델링을 수행할 필요가 없이 해당 일반화된 감정 모델을 저장부(30)에 저장하여 사용할 수도 있다.In the present embodiment, the
이와 같이 본 실시예에 따른 선호 음원 관리 장치(100)는 음원을 듣고 있는 사용자의 감정 상태를 실시간으로 파악하여 사용자가 선호하는 음원을 분류 및 관리하여 선호 음원 목록을 제공하기 때문에, 사용자에게 만족도 높은 음원 서비스를 제공할 수 있다. 즉 선호 음원 관리 장치(100)는 사용자의 감정 상태를 파악할 수 있는 생체 신호 기반 인터페이스를 이용하여 손이나 음성 등의 사용자의 주의를 요하는 인터페이싱 활동 없이도 만족스러운 음원 추전 서비스를 제공할 수 있다.As described above, the preferred
또한 선호 음원 관리 장치(100)는 사용자의 생체 정보를 이용한 사용자의 감성 분석을 통하여 사용자에게 맞는 음원을 추천하는 서비스를 제공할 수 있다.Also, the preferred sound
또한 선호 음원 관리 장치(100)는 사용자가 주요 활동과 병행하여 음원을 듣는 배경 활동을 하는 멀티태스킹 환경에서도 사용자가 주의를 기울여 음원을 선택하고 관리하지 않더라도, 사용자의 감정 분석을 통한 선호 음원을 지속적으로 제공함으로써, 사용자가 최적의 감정 컨디션을 유지할 수 있도록 할 수 있는 음원 서비스를 제공할 수 있다. 즉 선호 음원 관리 장치(100)는 음원을 듣는 동안 지속적으로 사용자의 감정 상태를 실시간으로 파악하여 사용자의 긍정적인 감정 상태가 지속될 수 있도록 선호하는 음원을 제공할 수 있다.In addition, the preferred sound
또한 선호 음원 관리 장치(100)는 음원을 듣고 있는 사용자의 감정 상태를 실시간으로 파악하여 선호 음원 목록을 편집할 수 있다. 예컨대 선호 음원 관리 장치(100)는 사용자의 감정 분석을 실시간으로 수행하여 새로운 음원 중 사용자의 선호 감정을 유발하는 음원들은 선호 음원 목록에 자동으로 추가할 수 있다. 반대로 선호 음원 관리 장치(100)는 선호 음원 목록의 음원 중에 선호 감정이 더 이상 유발하지 못하는 음원은 선호 음원 목록에서 자동으로 삭제할 수 있다. 즉 기존에 선호하던 음원의 경우에도 실시간 청취 시 부정정인 감정 분석 결과가 나타나면, 선호 음원 관리 장치(100)는 해당 음원을 선호 음원 목록에서 자동으로 제거한다. 이로 인해 선호 음원 목록에 있는 음원이라도, 반복 청취를 통해 지겨워져 선호도가 떨어진 음원들을 사용자가 다시 듣지 않도록 선호 음원 목록을 관리할 수 있다.Also, the preferred
또한 새로 추가된 음원의 경우도, 선호 음원 관리 장치(100)는 사용자가 일일이 선호도 결정을 내리지 않더라도 음원을 듣는 중 수십 초 정도의 생체 정보를 기반으로 한 감정 분석 결과를 통하여 자동으로 음원의 선호도 여부를 파악하여 선호 음원 리스트를 자동으로 업데이트(편집)할 수 있다.Also, even in the case of a newly added sound source, the preferred sound
이와 같은 본 실시예에 따른 선호 음원 관리 장치(100)를 이용한 감정 분석을 통한 선호 음원 관리 방법에 대해서 도 2 및 도 4를 참조하여 설명하면 다음과 같다. 여기서 도 4는 본 발명의 실시예에 따른 감정 분석을 통한 선호 음원 관리 방법에 따른 흐름도이다.A preferred sound source management method through emotion analysis using the preferred sound
먼저 S81단계에서 선호 음원 관리 장치(100)는 음원을 듣는 사용자의 감정을 모델링한다. 이때 모델링은 선호 음원 관리 장치(100)에서 수행하는 예를 개시하였지만 이것에 한정되는 것은 아니다.First, in step S81, the preferred sound
또한 사용자의 감정 모델이 선호 음원 관리 장치(100)에 저장되어 있는 경우, 선호 음원 관리 장치(100)는 S81단계를 생략할 수 있다.Also, if the user's emotional model is stored in the preferred sound
다음으로 S83단계에서 선호 음원 관리 장치(100)는 사용자가 들을 수 있도록 음원을 재생한다.Next, in step S83, the preferred sound
다음으로 S85단계에서 선호 음원 관리 장치(100)는 음원을 듣는 사용자의 감정 상태를 실시간으로 파악한다. 즉 선호 음원 관리 장치(100)는 해당 음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보를 수집한다. 그리고 선호 음원 관리 장치(100)는 사용자 감정 모델과, 사용자의 생체 정보를 비교하여 사용자의 감정 상태를 실시간으로 파악한다.Next, in step S85, the preferred
다음으로 S87단계에서 선호 음원 관리 장치(100)는 파악된 사용자의 감정 상태에 따라 해당 음원을 선호 또는 비선호 음원으로 분류한다.Next, in step S87, the preferred
그리고 S89단계에서 선호 음원 관리 장치(100)는 S87단계의 분류 결과에 따라 선호 음원 목록에 대한 관리, 즉 편집을 수행한다.In step S89, the preferred sound
여기서 S81단계에 따른 사용자의 감정을 모델링하는 단계를 도 2 및 도 5를 참조하여 구체적으로 설명하면 다음과 같다. 여기서 도 5는 도 4의 사용자의 감정을 모델링하는 단계(S81)에 따른 상세 흐름도이다.Here, the step of modeling the emotion of the user according to the step S81 will be described in detail with reference to FIG. 2 and FIG. 5 as follows. Here, FIG. 5 is a detailed flowchart according to the step S81 of modeling the emotion of the user of FIG.
먼저 S811단계에서 선호 음원 관리 장치(100)는 사용자에게 복수의 음원을 들려주면서 각 음원을 듣는 동안의 생체 정보를 취득한다. First, in step S811, the preferred sound
다음으로 S813단계에서 선호 음원 관리 장치(100)는 복수의 음원에 대한 선호 또는 비선호 여부에 대한 감정 정보를 입력부(10)의 선택 신호를 통하여 수집한다.Next, in step S813, the preferred sound
예컨대 S811단계 및 S813단계를 반복하면서, 음원 청취 시의 뇌파 정보를 수집할 수 있다. 즉 음원 청취에 따른 뇌파 정보는 데이터의 양이 증가할수록 신뢰도가 상승하기 때문이다.For example, while repeating steps S811 and S813, brain wave information at the time of listening to a sound source can be collected. In other words, the brainwave information according to the sound source listening increases the reliability as the amount of data increases.
그리고 S815 단계에서 선호 음원 관리 장치(1000는 수집한 생체 정보와 감정 정보를 매칭하여 생체 정보를 기반으로 한 사용자의 감정을 모델링한다. 예컨대 선호 음원 관리 장치(100)가 수집한 뇌파 정보를 통계적으로 분석하고 분류하여 뇌파 정보를 통하여 사용자별 감정 모델링을 수행하여 사용자별 감정 모델을 생성한다.In step S815, the preferred sound source management apparatus 1000 models the emotion of the user based on the biometric information by matching the collected biometric information with the emotion information. For example, the preferred sound
한편 S89단계에 따른 선호 음원 목록을 관리하는 단계를 도 2 및 도 6을 참조하여 구체적으로 설명하면 다음과 같다. 여기서 도 6은 도 4의 분류 결과에 따라 선호 음원 목록을 관리하는 단계(S89)에 따른 상세 흐름도이다.The steps of managing the list of preferred sound sources in step S89 will be described in detail with reference to FIGS. 2 and 6. Here, FIG. 6 is a detailed flowchart according to the step S89 of managing the preferred sound source list according to the classification result of FIG.
먼저 S891단계에서 선호 음원 관리 장치(100)는 재생 중인 음원이 기존 음원인지 새 음원인지의 여부를 판단한다. 여기서 기존 음원은 선호 음원 목록에 있는 음원을 의미한다. 새 음원은 선호 음원 관리 장치(100)에 새로이 추가될 음원으로, 선호 음원 목록에 포함되지 않는 음원을 의미한다.First, in step S891, the preferred
S891단계의 판단 결과 기존 음원인 경우, S893단계에서 선호 음원 관리 장치(100)는 재생 중인 음원의 분류 결과가 선호 인지 비선호인지의 여부를 다시 확인한다.If it is determined in step S891 that the music source is an existing music source, the preferred music
S893단계의 확인 결과 선호 음원인 경우, S895단계에서 선호 음원 관리 장치(100)는 해당 음원을 선호 음원 목록에 유지한다.If it is determined in step S893 that the preferred sound source is the preferred sound source, the preferred sound
하지만 S893단계의 확인 결과 비선호 음원인 경우, S897단계에서 선호 음원 관리 장치(100)는 해당 음원을 선호 음원 목록에서 삭제한다.However, if it is determined in step S893 that the source is a non-favorable sound source, the preferred sound
한편 S891단계의 판단 결과 새 음원인 경우, S899단계에서 선호 음원 관리 장치(100)는 재생 중인 음원의 분류 결과가 선호 인지 비선호인지의 여부를 다시 확인한다.On the other hand, if it is determined in step S891 that the sound source is a new sound source, the preferred sound
S899단계의 확인 결과 선호 음원인 경우, S901단계에서 선호 음원 관리 장치(100)는 해당 음원을 선호 음원 목록에 추가한다.If it is determined in step S899 that the preferred sound source is the preferred sound source, the preferred sound
하지만 S899단계의 확인 결과 비선호 음원인 경우, S903단계에서 선호 음원 관리 장치(100)는 새로운 다른 음원 또는 선호 음원 목록에 포함된 음원을 재생한다. 이때 선호 음원 관리 장치(100)는 비선호 음원으로 분류된 해당 음원을 저장부(20)에서 삭제할 수도 있고, 별도의 비선호 음원 목록에 추가할 수도 있다.However, if it is determined in step S899 that the sound source is a non-reverted sound source, the preferred sound
한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.It should be noted that the embodiments disclosed in the present specification and drawings are only illustrative of specific examples for the purpose of understanding, and are not intended to limit the scope of the present invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.
10 : 입력부
20 : 저장부
30 : 제어부
31 : 감정 상태 판단부
33 : 음원 분류부
35 : 음원 관리부
40 : 음원 출력부
50 : 생체 정보 수집부
60 : 음원 재생기
70 : 헤드셋
71 : 머리 거치대
73 : 연결 케이블
100 : 선호 음원 관리 장치10: Input unit
20:
30:
31: Emotion state determination unit
33: sound source classification unit
35: Sound source manager
40: Sound source output section
50: Biometric information collecting section
60: Sound source player
70: Headset
71: Head restraint
73: Connecting cable
100: Preferred sound source management device
Claims (6)
음원을 듣는 사용자의 감정 상태를 실시간으로 파악하는 파악 단계;
파악된 사용자의 감정 상태에 따라 해당 음원을 선호 또는 비선호 음원으로 분류하는 분류 단계;
비선호로 분류된 음원을 제거하고, 선호로 분류된 음원은 선호 음원 목록에 포함시키는 관리 단계;를 포함하고,
상기 관리 단계에서,
현재 듣고 있는 음원이 선호 음원 목록에 포함된 음원으로, 상기 분류 단계에서 비선호 음원으로 분류된 경우 상기 선호 음원 목록에서 제거하고, 선호 음원으로 분류된 경우 상기 선호 음원 목록에 유지하는 것을 특징으로 하는 감정 분석을 통한 선호 음원 관리 방법.A reproducing step of reproducing a sound source so that the user can hear the sound source;
A grasping step of grasping the emotional state of the user who listens to the sound source in real time;
A classification step of classifying the sound source into a preferred sound source or a non-preferred sound source according to an emotion state of the identified user;
And a management step of removing the sound sources classified as non-preferred, and including the sound sources classified as the preferred sound source in the preferred sound source list,
In the management step,
Wherein the sound source currently being listened to is a sound source included in the preferred sound source list and is removed from the preferred sound source list when it is classified as a non-preferred sound source in the classification step, and maintained in the preferred sound source list if the sound source is classified as a preferred sound source A method of managing preferred sound sources through analysis.
사용자의 감정 상태는 사용자의 뇌파, 심전도, 맥박, 음성 또는 땀 중에서 적어도 하나의 생체 정보에 기초하여 파악하는 것을 특징으로 하는 감정 분석을 통한 선호 음원 관리 방법.2. The method according to claim 1,
Wherein the user's emotional state is grasped based on at least one of biological information of the user's brain wave, electrocardiogram, pulse, voice, or sweat.
음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보에 기초하여 사용자의 감정을 모델링하는 단계;를 더 포함하고,
상기 파악 단계에서 모델링된 사용자 감정과, 사용자의 생체 정보를 비교하여 사용자의 감정 상태를 실시간으로 파악하는 것을 특징으로 하는 감정 분석을 통한 선호 음원 관리 방법.2. The method of claim 1, further comprising:
And modeling the emotion of the user based on the biometric information generated according to the emotional state of the user listening to the sound source,
And comparing the user emotion modeled in the identifying step with the biometric information of the user to grasp the emotion state of the user in real time.
사용자에게 복수의 음원을 들려주면서 각 음원을 듣는 동안의 뇌파를 취득하는 단계;
상기 복수의 음원에 대한 선호 또는 비선호 여부에 대한 감정 정보를 수집하는 단계;
수집한 뇌파 정보와 감정 정보를 매칭하여 뇌파를 기반으로 한 사용자의 감정을 모델링하는 단계;
를 포함하는 것을 특징으로 하는 감정 분석을 통하여 선호 음원 관리 방법.4. The method of claim 3,
Acquiring an EEG while listening to each sound source while letting a user listen to a plurality of sound sources;
Collecting emotion information on preference or non-preference for the plurality of sound sources;
Modeling the emotion of the user based on brain waves by matching the collected brain wave information with the emotion information;
Wherein the preferred sound source management method comprises the steps of:
현재 듣고 있는 음원이 선호 음원 목록에 포함되지 않은 새로운 음원으로, 상기 분류 단계에서 선호 음원으로 분류된 경우 상기 선호 음원 목록에 추가하고, 비선호 음원으로 분류된 경우 상기 선호 음원 목록에 추가하지 않고 새로운 음원 또는 상기 선호 음원 목록에 포함된 다른 음원을 재생하는 것을 특징으로 감정 분석을 통하여 선호 음원 관리 방법.2. The method according to claim 1,
A new sound source that is not included in the preferred sound source list is added to the preferred sound source list if the sound source currently being heard is classified as a preferred sound source in the classification step and a new sound source is added to the preferred sound source list if it is classified as non- Or the other sound sources included in the list of preferred sound sources are reproduced.
음원을 듣는 사용자의 감정 상태에 따라 발생되는 생체 정보를 실시간으로 수집하는 생체 정보 수집부;
수집한 생체 정보에 기초하여 상기 사용자의 감정 상태를 실시간으로 파악하는 감정 상태 판단부;
파악된 사용자의 감정 상태에 따라 해당 음원을 선호 또는 비선호 음원으로 분류하는 음원 분류부;
비선호로 분류된 음원을 제거하고, 선호로 분류된 음원은 선호 음원 목록에 포함시키는 음원 관리부;를 포함하고,
상기 음원 관리부는,
현재 듣고 있는 음원이 선호 음원 목록에 포함된 음원으로, 비선호 음원으로 분류된 경우 상기 선호 음원 목록에서 제거하고, 선호 음원으로 분류된 경우 상기 선호 음원 목록에 유지하는 것을 특징으로 하는 감정 분석을 통한 선호 음원 관리 장치.A sound source output unit for reproducing and outputting a sound source for a user to hear;
A biometric information collection unit for collecting biometric information generated according to an emotional state of a user who listens to the sound source in real time;
An emotion state determination unit that grasps the emotion state of the user in real time based on the collected biometric information;
A sound source classifying unit for classifying the sound source into a preferred sound source or a non-preferred sound source according to an emotion state of the identified user;
And a sound source management unit which removes the sound sources classified as non-preferred, and includes the sound sources classified as the preferred sound source in the preferred sound source list,
The sound source management unit,
Wherein the sound source currently being listened to is a sound source included in the list of preferred sound sources and is removed from the preferred sound source list if it is classified as a non-preferred sound source, and maintained in the preferred sound source list if the sound source is classified as a preferred sound source Sound source management device.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130085142A KR101506561B1 (en) | 2013-07-19 | 2013-07-19 | Apparatus and method for managing preference sound source using emotion analysis |
PCT/KR2014/004554 WO2015008931A1 (en) | 2013-07-19 | 2014-05-22 | Device and method for managing favored sounds through analysis of emotions |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130085142A KR101506561B1 (en) | 2013-07-19 | 2013-07-19 | Apparatus and method for managing preference sound source using emotion analysis |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150010313A KR20150010313A (en) | 2015-01-28 |
KR101506561B1 true KR101506561B1 (en) | 2015-03-27 |
Family
ID=52346347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130085142A KR101506561B1 (en) | 2013-07-19 | 2013-07-19 | Apparatus and method for managing preference sound source using emotion analysis |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101506561B1 (en) |
WO (1) | WO2015008931A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11364894B2 (en) | 2018-10-29 | 2022-06-21 | Hyundai Motor Company | Vehicle and method of controlling the same |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10285634B2 (en) | 2015-07-08 | 2019-05-14 | Samsung Electronics Company, Ltd. | Emotion evaluation |
CN105596016A (en) * | 2015-12-23 | 2016-05-25 | 王嘉宇 | Human body psychological and physical health monitoring and managing device and method |
CN109119076B (en) * | 2018-08-02 | 2022-09-30 | 重庆柚瓣家科技有限公司 | System and method for collecting communication habits of old people and users |
KR102212638B1 (en) * | 2019-08-21 | 2021-02-04 | 건국대학교 글로컬산학협력단 | System and method for recommending music |
KR102285883B1 (en) * | 2019-12-24 | 2021-08-05 | 주식회사 이엠텍 | Stereo sound source analyzing method |
KR102454752B1 (en) * | 2020-10-22 | 2022-10-17 | (주)나연테크 | Sound classification system reflecting changes in brain waves according to sleep-induction sound classification, and sound classification method, and program stored in medium for executing sound classification method |
KR20240046523A (en) * | 2021-10-06 | 2024-04-09 | 엘지전자 주식회사 | Artificial intelligence device that provides customized content and method of controlling the device |
WO2023219413A1 (en) * | 2022-05-11 | 2023-11-16 | Samsung Electronics Co., Ltd. | Method and system for modifying audio content for listener |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020046662A (en) * | 2000-12-15 | 2002-06-21 | 변기만 | A music providing system having music selecting function by human feeling and a music providing method using thereof |
KR20060129582A (en) * | 2005-06-07 | 2006-12-18 | 주식회사 헬스피아 | Mobile communication terminal which is changeable of an environment setup according to a user's emotional state, and change method thereof |
KR100769911B1 (en) * | 2006-09-12 | 2007-10-24 | 엘지전자 주식회사 | Mobile communication terminal and operating method for same |
KR100912123B1 (en) * | 2009-03-12 | 2009-08-13 | (주)이랜서 | Device and method automatically selecting and playing of music corresponding to physical information |
KR20110078233A (en) * | 2009-12-30 | 2011-07-07 | 한국기술교육대학교 산학협력단 | System and method for providing music based on user preference |
KR101070844B1 (en) * | 2010-10-01 | 2011-10-06 | 주식회사 바로연결혼정보 | Emotional matching system for coupling connecting ideal type and matching method |
KR101142679B1 (en) * | 2009-01-23 | 2012-05-03 | 삼성전자주식회사 | System and method for retrieving music using bio-signal |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008533504A (en) * | 2005-01-31 | 2008-08-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Classification of songs related to physiological effects |
-
2013
- 2013-07-19 KR KR1020130085142A patent/KR101506561B1/en active IP Right Grant
-
2014
- 2014-05-22 WO PCT/KR2014/004554 patent/WO2015008931A1/en active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020046662A (en) * | 2000-12-15 | 2002-06-21 | 변기만 | A music providing system having music selecting function by human feeling and a music providing method using thereof |
KR20060129582A (en) * | 2005-06-07 | 2006-12-18 | 주식회사 헬스피아 | Mobile communication terminal which is changeable of an environment setup according to a user's emotional state, and change method thereof |
KR100769911B1 (en) * | 2006-09-12 | 2007-10-24 | 엘지전자 주식회사 | Mobile communication terminal and operating method for same |
KR101142679B1 (en) * | 2009-01-23 | 2012-05-03 | 삼성전자주식회사 | System and method for retrieving music using bio-signal |
KR100912123B1 (en) * | 2009-03-12 | 2009-08-13 | (주)이랜서 | Device and method automatically selecting and playing of music corresponding to physical information |
KR20110078233A (en) * | 2009-12-30 | 2011-07-07 | 한국기술교육대학교 산학협력단 | System and method for providing music based on user preference |
KR101070844B1 (en) * | 2010-10-01 | 2011-10-06 | 주식회사 바로연결혼정보 | Emotional matching system for coupling connecting ideal type and matching method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11364894B2 (en) | 2018-10-29 | 2022-06-21 | Hyundai Motor Company | Vehicle and method of controlling the same |
Also Published As
Publication number | Publication date |
---|---|
KR20150010313A (en) | 2015-01-28 |
WO2015008931A1 (en) | 2015-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101506561B1 (en) | Apparatus and method for managing preference sound source using emotion analysis | |
US10824232B2 (en) | Sound outputting apparatus, electronic apparatus, and control method thereof | |
US20160320840A1 (en) | Sound Outputting Apparatus, Electronic Apparatus, and Control Method Thereof | |
Koelstra et al. | Deap: A database for emotion analysis; using physiological signals | |
Bendixen et al. | Regular patterns stabilize auditory streams | |
JP4861538B2 (en) | EEG measurement apparatus, electrical noise estimation method, and computer program for executing electrical noise estimation method | |
CN108156550B (en) | Playing method and device of headset | |
KR20170082571A (en) | Smart audio headphone system | |
JP6521778B2 (en) | Program, terminal and system for giving emotional identifier to application using myoelectric signal | |
US11889273B2 (en) | System for configuring a hearing device | |
CN110767290A (en) | Interactive emotion persuasion and psychological counseling robot | |
Feng et al. | Tiles audio recorder: an unobtrusive wearable solution to track audio activity | |
JPWO2018198332A1 (en) | Brain wave data analysis system, information processing terminal, electronic device, and method of presenting information for dementia test | |
JP4281790B2 (en) | Information processing apparatus, information processing method, and program | |
Liaqat et al. | Challenges with real-world smartwatch based audio monitoring | |
Alves Araujo et al. | Auris system: Providing vibrotactile feedback for hearing impaired population | |
CN113143289A (en) | Intelligent brain wave music earphone capable of being interconnected and interacted | |
WO2014141413A1 (en) | Information processing device, output method, and program | |
Houel et al. | Perception of emotions in knocking sounds: An evaluation study | |
Kaneshiro et al. | Neuroimaging Methods for Music Information Retrieval: Current Findings and Future Prospects. | |
US20210026449A1 (en) | Neurofeedback focus and productivity system, process, and method of use | |
CN110139164A (en) | A kind of voice remark playback method, device, terminal device and storage medium | |
CN205812319U (en) | A kind of earphone of left and right acoustic channels Auto-matching | |
KR20230148166A (en) | Apparatus and method for modifying a user's emotional state | |
CN108446024B (en) | Music playing method and related product |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
FPAY | Annual fee payment |
Payment date: 20180416 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20190319 Year of fee payment: 5 |