KR20170123133A - System and method for recognizing emotion using biometric data - Google Patents

System and method for recognizing emotion using biometric data Download PDF

Info

Publication number
KR20170123133A
KR20170123133A KR1020160052394A KR20160052394A KR20170123133A KR 20170123133 A KR20170123133 A KR 20170123133A KR 1020160052394 A KR1020160052394 A KR 1020160052394A KR 20160052394 A KR20160052394 A KR 20160052394A KR 20170123133 A KR20170123133 A KR 20170123133A
Authority
KR
South Korea
Prior art keywords
emotion
user
signal
biometric information
bio
Prior art date
Application number
KR1020160052394A
Other languages
Korean (ko)
Inventor
배유석
최종필
이현숙
이원곡
Original Assignee
클라트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 클라트 주식회사 filed Critical 클라트 주식회사
Priority to KR1020160052394A priority Critical patent/KR20170123133A/en
Publication of KR20170123133A publication Critical patent/KR20170123133A/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis

Abstract

The present invention relates to a system and a method for recognizing an emotion of a user by collecting and analyzing bioinformation of the user. According to an embodiment of the present invention, the system for recognizing an emotion is connected to a bioinformation collection terminal attached to a portion of the body of a user via a wireless communication network, and comprises: an emotion model database to store emotion models including biosignal patterns of the user in accordance with types of emotions; a bioinformation collection unit to collect a biosignal transmitted from the bioinformation collection terminal and determine whether the collected biosignal is a valid signal; a bioinformation analysis unit to extract a feature point of the biosignal determined to be a valid signal; an emotion recognition unit using the stored emotion models to recognize an emotion of the user corresponding to the extracted feature point; and an emotion output unit to output an emotion recognition result and body activity information corresponding to the emotion recognition result.

Description

생체정보를 이용한 감성 인식 시스템 및 방법{SYSTEM AND METHOD FOR RECOGNIZING EMOTION USING BIOMETRIC DATA}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a system and method for recognizing emotions using biometric information,

본 발명은 사용자의 생체정보를 수집 및 분석하여 사용자의 감성을 인식하는 시스템 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system and a method for collecting and analyzing biometric information of a user to recognize a user's emotional state.

최근 헬스케어 및 웰니스 분야에서 스마트폰과 데이터 송수신이 가능한 웨어러블 디바이스를 활용하여 건강정보 및 생체정보 등을 수집하고 수집된 건강정보 및 생체정보를 분석하여 사용자의 건강상태를 판단하는 기술이 개발되고 있다. 그러나 종래 웨어러블 디바이스 및 이와 연동되는 프로그램은 수집된 운동정보 및 생체정보를 분석하여 사용자의 신체 활동량을 산출하고 산출된 신체 활동량에 기초하여 운동프로그램 및 식단계획을 수립하여 사용자에게 제공할 뿐 사용자의 생체정보를 분석하여 사용자의 감성 상태를 판단하고 감성을 제어하는 방법을 제공하는 기능은 제공하지 않는다.Recently, a technology for collecting health information and biometric information using wearable devices capable of transmitting and receiving data with a smart phone and analyzing collected health information and biometric information has been developed in the field of healthcare and wellness . Conventionally, however, a wearable device and a program linked to the wearable device analyze the collected exercise information and bio-information to calculate the amount of physical activity of the user, establish an exercise program and a meal plan based on the calculated amount of physical activity, It does not provide a function of analyzing information to determine a user's emotional state and providing a method of controlling emotional state.

본 발명의 하나의 실시예가 해결하려는 과제는 웨어러블 디바이스를 통해 수집된 사용자의 생체신호를 분석하여 사용자의 감성을 인식하는 시스템 및 방법을 제공하는 것이다.An embodiment of the present invention provides a system and method for recognizing a user's emotional state by analyzing a user's bio-signal collected through a wearable device.

상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 본 발명에 따른 실시예가 사용될 수 있다.Embodiments according to the present invention can be used to accomplish other tasks not specifically mentioned other than the above-described tasks.

상기 과제를 해결하기 위해 본 발명의 하나의 실시예는, 사용자의 신체 일부에 부착되어 있는 생체정보 수집 단말과 무선통신망을 통해 연결되어 있고, 감성의 종류에 따른 사용자의 생체신호 패턴을 포함하는 감성모델을 저장하는 감성모델 데이터베이스, 생체정보 수집 단말로부터 전송되는 생체신호를 수집하고 수집된 생체신호가 유효한 신호인지 판단하는 생체정보 수집부, 유효한 신호로 판단된 생체신호의 특징점을 추출하는 생체정보 분석부, 저장된 감성모델을 이용하여 추출된 특징점에 대응하는 사용자의 감성을 인식하는 감성 인식부, 그리고 감성 인식결과와 감성 인식결과에 대응하는 신체활동정보를 출력하는 감성 출력부를 포함하는 감성 인식 시스템을 제안한다.According to an embodiment of the present invention, there is provided a biometric information collecting apparatus connected to a biometric information collecting terminal attached to a part of a user's body through a wireless communication network, A biometric information collecting unit for collecting the biometric signals transmitted from the biometric information collecting terminal and judging whether the collected biometric signals are valid signals, a biometric information analyzing unit for extracting the characteristic points of the biometric signals judged as valid signals, A sensibility recognition unit for recognizing the sensibility of the user corresponding to the extracted feature points using the stored sensibility model, and an emotion recognition system including the emotion recognition result and the emotion output unit for outputting the physical activity information corresponding to the sensation recognition result I suggest.

여기서, 생체정보 수집 단말은 사용자의 생체신호를 측정하는 제1 센서, 그리고 사용자의 피부와 제1 센서 간의 접촉 불량 및 이물질을 감지하는 제2 센서를 포함할 수 있다.Here, the bio-information collecting terminal may include a first sensor for measuring a user's bio-signal, and a second sensor for detecting a contact failure between the user's skin and the first sensor and foreign matter.

또한, 제1 센서는 심박 변이도, 피부 전기전도도 및 피부 온도 중 하나 이상의 생체신호를 측정할 수 있다.In addition, the first sensor can measure one or more biological signals such as heart rate variability, skin electrical conductivity, and skin temperature.

또한, 생체정보 수집 단말은 스트레처블(stretchable) 스마트 밴드일 수 있다.In addition, the biometric information collection terminal may be a stretchable smart band.

상기 과제를 해결하기 위해 본 발명의 하나의 실시예는, 사용자의 신체 일부에 부착되어 있는 생체정보 수집 단말과 무선통신망을 통해 연결되어 있는 감성 인식 시스템을 이용하며, 감성의 종류에 따른 사용자의 생체신호 패턴을 포함하는 감성모델을 저장하는 단계, 생체정보 수집 단말로부터 전송되는 생체신호를 수집하는 단계, 수집된 생체신호가 유효한 신호인지 판단하는 단계, 유효한 신호로 판단된 생체신호로부터 특징점을 추출하는 단계, 저장된 감성모델을 이용하여 추출된 특징점에 대응하는 감성을 인식하는 단계, 그리고 감성 인식결과 및 이에 대응하는 신체활동정보를 출력하는 단계를 포함할 수 있다.According to one embodiment of the present invention, there is provided a biometric information collecting system using a biometric information collecting terminal attached to a part of a user's body, the biometric information collecting system being connected through a wireless communication network, Storing the emotion model including the signal pattern, collecting the bio-signals transmitted from the bio-information collecting terminal, judging whether the collected bio-signals are valid signals, extracting the feature points from the bio-signals judged as valid signals Recognizing emotions corresponding to extracted feature points using the stored emotional models, and outputting emotional recognition results and corresponding physical activity information.

여기서, 사용자에게 자극을 제공하여 생체신호를 수집하고 수집된 생체신호의 특징점 분포를 분석하여 감성모델을 생성하는 단계를 더 포함할 수 있다.Here, the method may further include generating a sensibility model by collecting the biomedical signal by providing a stimulus to the user and analyzing the minutia distribution of the collected biomedical signal.

또한, 생체신호는 심박 변이도, 피부 전기전도도 및 피부 온도 중 하나 이상일 수 있다.In addition, the biological signal may be at least one of heart rate variability, skin electrical conductivity, and skin temperature.

또한, 생체정보 수집 단말은 스트레처블(stretchable) 스마트 밴드일 수 있다.In addition, the biometric information collection terminal may be a stretchable smart band.

본 발명의 하나의 실시예에 따르면 사용자의 생체신호를 이용하여 감성을 인식하고 부정적인 감성 완화를 위한 방법을 제공할 수 있다. 또한, 감성 인식 정확도를 향상시킬 수 있다.According to an embodiment of the present invention, a method for recognizing emotion using a user's bio-signal and for providing negative emotion can be provided. In addition, the sensitivity recognition accuracy can be improved.

도 1은 본 발명의 하나의 실시예에 따른 감성 인식 시스템의 구성을 나타낸다.
도 2는 도 1의 감성 인식 시스템을 이용한 감성 인식 방법을 나타낸다.
도 3은 도 2의 S60 단계에서 EDR 신호를 이용하여 감성을 인식하는 방법을 나타낸다.1 shows a configuration of a emotion recognition system according to an embodiment of the present invention.
FIG. 2 shows a sensitivity recognition method using the sensitivity recognition system of FIG.
FIG. 3 shows a method of recognizing emotion using the EDR signal in step S60 of FIG.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체에서 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한, 널리 알려진 공지기술의 경우 그 구체적인 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. The present invention may be embodied in many different forms and is not limited to the embodiments described herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and the same reference numerals are used for the same or similar components throughout the specification. In the case of publicly known technologies, detailed description thereof will be omitted.

본 명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In this specification, when a part is referred to as "including " an element, it is to be understood that it may include other elements as well, without departing from the other elements unless specifically stated otherwise. Also, the terms "part," " module, "and the like, which are described in the specification, refer to a unit for processing at least one function or operation, and may be implemented by hardware or software or a combination of hardware and software.

도 1은 본 발명의 하나의 실시예에 따른 감성 인식 시스템의 구성을 나타낸다.1 shows a configuration of a emotion recognition system according to an embodiment of the present invention.

도 1의 감성 인식 시스템(200)은 생체정보 수집 단말(100)과 유무선 통신망을 통해 연결되어 있으며, 생체정보 수집 단말(100)을 통해 수집된 생체정보를 분석한 결과에 따라 사용자의 감성을 인식하여 출력한다.The emotion recognition system 200 of FIG. 1 is connected to the biometric information collection terminal 100 via a wired / wireless communication network. The biometric information collection system 200 is configured to recognize the emotion of the user according to the result of analyzing the biometric information collected through the biometric information collection terminal 100 And outputs it.

도 1의 생체정보 수집 단말(100)은 사용자의 신체에 부착되어 실시간으로 생체신호를 측정 및 수집하며, HRV(Heart Rate Variation) 수집부(110), EDR(Electrodermal response) 수집부(120), SKT(Skin temperature test) 수집부(130), 그리고 생체정보 전송부(140)를 포함한다. 여기서, 생체정보 수집 단말(100)은 사용자의 모바일 단말, 사용자의 신체 일부에 부착되는 시계, 안경, 모자, 의류 및 기타 액세서리 중 하나의 형태로 구현될 수 있다. 또한, 스트레처블(stretchable) 스마트 밴드 또는 스마트 패치(patch)로 구현될 수 있다.The bio-information collecting terminal 100 of FIG. 1 attaches to a user's body and measures and collects bio-signals in real time. The bio-information collecting terminal 100 includes a HRV collection unit 110, an EDR (Electrodermal response) A skin temperature test (SKT) collecting unit 130, and a biometric information transmitting unit 140. Here, the biometric information collection terminal 100 may be implemented in the form of a mobile terminal of a user, a clock attached to a part of a user's body, a glasses, a hat, clothing, and other accessories. It can also be implemented as a stretchable smart band or a smart patch.

HRV 수집부(110)는 센서를 이용하여 사용자의 심박수를 측정하고 심박간격을 분석하여 심박 변이도를 수집한다. The HRV collection unit 110 measures the user's heart rate using a sensor and analyzes heart rate intervals to collect heart rate variability.

EDR 수집부(120)는 GSR(Galvanic Skin Reflex) 센서를 통해 사용자의 피부 전기전도도를 측정하여 전압값을 수집한다.The EDR collector 120 measures a skin electrical conductivity of a user through a GSR (Galvanic Skin Reflex) sensor and collects a voltage value.

SKT 수집부(130)는 온도센서를 통해 사용자의 피부 온도를 측정 및 수집한다.The SKT collecting unit 130 measures and collects the user's skin temperature through a temperature sensor.

생체정보 전송부(140)는 HRV 수집부(110), EDR 수집부(120), 그리고 SKT 수집부(130)를 통해 수집한 사용자의 생체정보를 감성 인식 시스템(200)으로 전송한다.The biometric information transmitting unit 140 transmits the biometric information of the user collected through the HRV collecting unit 110, the EDR collecting unit 120 and the SKT collecting unit 130 to the emotion recognition system 200.

도 1의 생체정보 수집 단말(100)은 심박변이도, 피부전기전도도 및 피부온도를 수집하고 있으나, 이에 한정되는 것은 아니며, 혈중 산소, 이산화탄소 포화도, 수분량, 호흡 수, 및 뇌파 중 하나 이상의 생체정보를 더 수집할 수 있다. The bio-information collecting terminal 100 of FIG. 1 collects heart beat variability, skin electroconductivity, and skin temperature, but is not limited thereto. The bio-information collecting terminal 100 may collect at least one of biomarker information of blood oxygen, carbon dioxide saturation, water content, respiration rate, You can collect more.

도 1의 생체정보 수집 단말(100)은 사용자 피부와 센서 간의 접촉 불량, 땀 및 기타 이물질 등을 감지하는 센서를 더 포함할 수 있다.The biometric information collecting terminal 100 of FIG. 1 may further include a sensor for detecting contact failure, sweat and other foreign matter between the user's skin and the sensor.

도 1의 감성 인식 시스템(200)은 생체정보 수집부(210), 생체정보 분석부(220), 감성 학습부(230), 감성 인식부(240), 감성 출력부(250), 알람 출력부(260), 그리고 감성모델 데이터베이스(270)를 포함한다.The emotion recognition system 200 of FIG. 1 includes a biometric information collecting unit 210, a biometric information analyzing unit 220, a emotional learning unit 230, a sensibility recognizing unit 240, a sensible output unit 250, (260), and emotion model database (270).

생체정보 수집부(210)는 생체정보 수집 단말(100)로부터 전송되는 심박변이도, 피부전기전도도 및 피부온도 데이터를 수집한다. 본 발명의 실시예에 따르면, 생체정보 수집부(210)는 수집된 생체신호가 미리 설정되어 있는 신호범위 내에 존재하는 경우 수집된 생체신호가 유효신호인 것으로 판단하고, 미리 설정되어 있는 신호범위 내에 존재하지 않는 경우 수집된 생체신호에 이상이 있는 것으로 판단할 수 있다. 예를 들어, 생체정보 수집부(210)를 통해 수집된 피부 온도가 미리 설정되어 있는 온도 범위(예를 들어, 30℃ 내지 37℃)를 벗어나는 경우 피부 온도 측정이 잘못된 것으로 판단할 수 있다. 또한, 생체정보 수집부(210)는 유효신호로 판단된 생체신호만을 생체정보 분석부(220)로 전달할 수 있다.The biometric information collecting unit 210 collects heart beat variability, skin electrical conductivity, and skin temperature data transmitted from the biometric information collecting terminal 100. According to the embodiment of the present invention, the biometric information collecting unit 210 determines that the collected biometric signal is an effective signal when the collected biometric signal is present within a predetermined signal range, and if the collected biometric signal is within a predetermined signal range If it does not exist, it can be judged that there is abnormality in the collected bio-signal. For example, when the skin temperature collected through the biometric information collecting unit 210 is out of a predetermined temperature range (for example, 30 to 37 degrees Celsius), the skin temperature measurement may be determined to be erroneous. In addition, the biometric information collecting unit 210 can transmit only the biometric signal determined as an effective signal to the biometric information analyzing unit 220.

생체정보 분석부(220)는 수집된 심박변이도, 피부전도도 및 피부온도 데이터의 노이즈를 제거하고 정규화하며, 정규화된 데이터를 통해 특징점을 추출한다. The bio-information analyzing unit 220 removes and normalizes noise of the collected heart beat variability, skin conductivity, and skin temperature data, and extracts feature points from the normalized data.

감성 학습부(230)는 생체정보 분석부(220)에서 추출된 생체신호별 특징점을 사용자로부터 입력되는 감성에 매칭시키고 학습하여 특징점 패턴에 따른 감성모델을 생성한다. 본 발명의 실시예에 따르면, 감성 학습부(230)는 Russell의 감성차원 모델에 기초하여 생체신호별 특징점들을 패턴화하고 감성모델을 생성할 수 있다. Russell의 감성차원 모델은 x축과 y축 기반의 2차원 그래프로 표시되며, 기쁨(0도), 흥분(45도), 각성(90도), 고통(135도), 불쾌(180), 우울(225도), 졸림(270도), 이완(315도) 위치의 8개 영역으로 감성을 구분한다. 또한, 8개 영역에서 총 28개 감성으로 구분되어 있으며 8개 영역에 맞는 유사 감성으로 분류되어 있다. 예를 들어, 즐거운 흥분을 할 때 피부 온도가 상승하고, 심박이 증가하며, 혈류량이 늘어나고, 피부 전기반응(땀)이 변화하는 현상 등 자율신경계 반응에 대한 감성 변화를 나타내는 생체신호별 특징점 패턴을 포함하는 감성모델을 생성할 수 있다. 또한, 감성 학습부(230)는 다양한 방법으로 사용자에게 자극을 제공하고 자극을 받는 사용자의 생체신호를 수집하고 생체신호 특징점의 분포를 분석하여 스트레스, 피로도 및 감성에 대한 감성모델을 생성할 수 있다. 예를 들어, 난이도별 연산문제를 제공하는 연산 프로그램을 통해 사용자에게 자극을 제공한 후 생체신호를 수집 및 분석하여 스트레스에 대한 감성모델을 생성할 수 있다. 또한, 시각 및 청각 피로도를 느낄 수 있는 영상을 통해 사용자에게 자극을 제공한 후 생체신호를 수집 및 분석하여 피로도에 대한 감성모델을 생성할 수 있다. 또한, 감성 변화가 유발되는 환경을 사용자에게 제공한 후 생체신호를 수집하고 사용자로부터 사용자가 느끼는 감성을 입력받아 생체신호와 함께 분석하여 감성모델을 생성할 수 있다.The emotion learning unit 230 generates emotional models corresponding to the minutia point pattern by matching and learning the minutiae points of the biomedical signals extracted from the biometric information analysis unit 220 with the emotion input from the user. According to the embodiment of the present invention, the emotion learning unit 230 can pattern the minutiae points of the vital signals based on Russell's emotional dimension model, and generate the emotional model. Russell's emotional dimension model is represented by a two-dimensional graph based on the x-axis and the y-axis, and is expressed as a two-dimensional graph based on x-axis and y- (225 degrees), sleepiness (270 degrees), and relaxation (315 degrees). In addition, there are a total of 28 senses in 8 areas, and they are classified as similar sensibility in 8 areas. For example, a characteristic point pattern of a vital signal showing a change in sensitivity to an autonomic nervous system response such as a rise in skin temperature, an increase in heart rate, an increase in blood flow, and a change in skin electrical response (sweat) It is possible to generate an emotional model including the emotional model. Also, the emotional learning unit 230 may generate a sensory model for stress, fatigue, and emotion by providing a stimulus to a user in various ways, collecting bio-signals of a user receiving the stimulus, and analyzing distribution of the bio-signal feature points . For example, after providing a stimulus to a user through an operation program that provides a difficulty calculation problem, a sensibility model for stress can be generated by collecting and analyzing a bio signal. In addition, it is possible to generate a sensibility model for fatigue by collecting and analyzing bio-signals after providing stimulation to a user through an image that can sense visual and auditory fatigue. In addition, after providing the environment in which the emotion change is caused to the user, the emotion model can be generated by collecting the bio-signals and analyzing the emotion sensed by the user from the user and analyzing them together with the bio-signals.

감성 인식부(240)는 감성모델 데이터베이스(250)에 저장되어 있는 감성모델을 이용하여 생체정부 분석부(220)에서 추출된 특징점에 대응하는 사용자의 감성을 인식한다.The emotion recognition unit 240 recognizes the emotion of the user corresponding to the feature point extracted by the bio-organ analysis unit 220 using the emotion model stored in the emotion model database 250. [

감성 출력부(250)는 감성 인식부(240)의 감성 인식결과를 출력한다. 여기서, 감성 인식결과는 스트레스, 피로도 및 기분상태로 구분되며, 스트레스와 피로도는 강도에 따라 하나 이상의 단계로 인식되고 기분상태는 평상시, 기쁨, 슬픔/우울, 화남 등을 포함한다. 본 발명의 실시예에 따르면, 감성 출력부(250)는 감성 인식결과에 대응하는 신체활동정보를 함께 출력할 수 있다. 예를 들어, 감성 인식부(240)를 통해 사용자가 현재 우울한 상태로 인식되는 경우 우울감을 해소할 수 있는 신체활동으로 운동 또는 음악감상을 추천하고 이에 따른 운동프로그램 및 음악목록을 감성 인식결과와 함께 출력할 수 있다.The emotion output unit 250 outputs the emotion recognition result of the emotion recognition unit 240. [ Here, emotional recognition results are classified into stress, fatigue and mood states. Stress and fatigue are recognized as one or more stages according to intensity, and mood states include normal, joy, sadness / depression, anger, and the like. According to the embodiment of the present invention, the emotion output unit 250 may output together the physical activity information corresponding to the emotion recognition result. For example, if the user is recognized as a depressed state through the emotion recognition unit 240, he / she can recommend exercise or music appreciation with physical activity that can relieve depression, Can be output.

알람 출력부(260)는 생체정보 수집부(210)에서 수집된 생체신호가 미리 설정되어 있는 신호범위 내에 존재하지 않는 경우 즉, 수집된 생체신호가 미리 설정된 시간 이상 노이즈로 판단되는 경우 사용자에게 생체정보 수집 단말(100)의 접촉 불량 또는 고장 발생을 알리는 알람을 출력한다. 또한, 감성 인식결과가 사용자가 미리 설정한 감성과 일치하는 경우 이를 통지하는 알람을 출력할 수 있다.When the bio-signal collected by the bio-information collector 210 does not exist within a preset signal range, that is, when the collected bio-signal is judged as noise over a preset time, And outputs an alarm informing that the contact failure of the information collecting terminal 100 or the occurrence of a failure has occurred. In addition, when the emotion recognition result coincides with the sensitivity set in advance by the user, an alarm for notifying the emotion recognition result can be outputted.

감성모델 데이터베이스(270)는 감성 학습부(230)의 학습 결과 생성된 감성모델을 저장한다. 이때, 감성모델은 생체정보 데이터의 학습결과에 대응하는 단계별 스트레스, 단계별 피로도 및 기분상태에 대응하는 생체신호 특징점 패턴을 포함한다. 또한, 감성모델 데이터베이스(270)는 생체정보 수집부(210)를 통해 수집된 생체신호를 저장할 수 있다.The emotion model database 270 stores the emotion model generated as a result of learning by the emotion learning unit 230. [ At this time, the emotion model includes a biometric signal characteristic point pattern corresponding to a step-by-step stress corresponding to the learning result of the biometric information data, a step-by-step fatigue state, and a mood state. In addition, the emotion model database 270 may store the bio-signals collected through the bio-information collecting unit 210.

도 2는 도 1의 감성 인식 시스템을 이용한 감성 인식 방법을 나타낸다.FIG. 2 shows a sensitivity recognition method using the sensitivity recognition system of FIG.

먼저, 생체정보 수집부(210)를 통해 생체정보 수집 단말(100)로부터 전송되는 생체정보를 수집하고(S10), 수집된 생체정보가 미리 설정되어 있는 신호범위 내에 존재하는 경우 유효신호인 것으로 판단한다(S20). 만약, 유효신호가 아닌 것으로 판단되는 경우 알람 출력부(260)를 통해 알람을 출력한다(S30).First, biometric information transmitted from the biometric information collecting terminal 100 is collected through the biometric information collecting unit 210 (S10). When the collected biometric information is present within a preset signal range, it is judged to be an effective signal (S20). If it is determined that the signal is not an effective signal, an alarm is output through the alarm output unit 260 (S30).

이후, 생체정보 분석부(220)를 통해 S20 단계에서 전달되는 유효신호에서 노이즈를 제거하고 정규화한 후(S40), 생체신호의 특징점을 추출한다(S50).Thereafter, the noise is removed from the valid signal transmitted in step S20 through the bio-information analyzer 220 and normalized (S40), and the feature points of the bio-signal are extracted (S50).

이후, 감성 인식부(240)를 통해 S50 단계에서 추출된 특징점에 기초하여 사용자의 감성을 인식한다(S60). 구체적으로, 감성모델 데이터베이스(270)에 저장되어 있는 감성모델을 이용하여 S50 단계에서 추출된 특징점에 대응하는 감성을 검색하여 사용자의 감성을 인식할 수 있다. 만약, S50 단계에서 추출된 특징점에 대응하는 감성모델이 검색되지 않는 경우 사용자에게 감성 상태 입력을 요청하고 사용자로부터 입력되는 감성 상태와 S50 단계에서 추출된 특징점을 매칭하여 감성모델 데이터베이스(270)에 저장되어 있는 감성모델을 갱신할 수 있다.Thereafter, the emotion recognition unit 240 recognizes emotion of the user based on the extracted feature point in step S50 (S60). Specifically, by using the emotion model stored in the emotion model database 270, the emotion corresponding to the extracted feature point in step S50 can be searched to recognize the emotion of the user. If the emotion model corresponding to the extracted feature point is not searched in step S50, the user is requested to input the emotion state. The emotion state input from the user is matched with the feature point extracted in step S50 and stored in the emotion model database 270 It is possible to update the emotion model.

아래에서는 도 3을 참고하여 S60 단계의 감성 인식 방법을 설명한다.Hereinafter, the emotion recognition method of step S60 will be described with reference to FIG.

도 3은 도 2의 S60 단계에서 EDR 신호를 이용하여 감성을 인식하는 방법을 나타낸다.FIG. 3 shows a method of recognizing emotion using the EDR signal in step S60 of FIG.

먼저, EDR 신호 수집량을 미리 설정되어 있는 값(N)과 비교하고(S61), EDR 신호 수집량이 미리 설정되어 있는 값과 동일한 경우 EDR 현재값과 EDR 최대값을 비교한다(S62). 여기서, EDR 현재값은 S10 단계에서 수집된 EDR 신호들의 평균값이며, EDR 최대값은 감성정보 데이터베이스에 저장되어 있는 사용자의 EDR 신호들의 평균값과 표준편차의 합이다. 만약, S42 단계에서 EDR 현재값이 EDR 최대값 이상인 것으로 판단되는 경우 사용자의 감성을 스트레스 3단계로 인식한다(S63). First, the EDR signal collection amount is compared with a predetermined value N (S61). If the EDR signal collection amount is equal to a predetermined value, the EDR current value is compared with the EDR maximum value (S62). Here, the EDR current value is an average value of the EDR signals collected in step S10, and the EDR maximum value is the sum of the average value and the standard deviation of the EDR signals of the user stored in the emotion information database. If it is determined in step S42 that the EDR current value is equal to or greater than the EDR maximum value, the user's sensibility is recognized as the stress level 3 (S63).

만약, S62 단계에서 EDR 현재값이 EDR 최대값 미만인 경우 EDR 현재값과 EDR 최소값을 비교한다(S64). S64 단계에서 EDR 현재값이 EDR 최소값 이하인 것으로 판단되는 경우 사용자의 감성을 스트레스 1단계로 인식한다(S65). 여기서, EDR 최소값은 감성정보 데이터베이스에 저장되어 있는 사용자의 EDR 신호들의 평균값과 표준편차의 차이다. 만약, EDR 현재값이 EDR 최소값 이하가 아닌 것으로 판단되는 경우 사용자의 감성을 스트레스 2단계로 인식한다(S66). If the EDR current value is less than the EDR maximum value in step S62, the EDR current value is compared with the EDR minimum value (S64). If it is determined in step S64 that the EDR current value is equal to or less than the EDR minimum value, the emotion of the user is recognized as the stress level 1 (S65). Here, the minimum EDR value is the difference between the average value and the standard deviation of the user's EDR signals stored in the emotion information database. If it is determined that the EDR current value is not less than the EDR minimum value, the emotion of the user is recognized as the stress level 2 (S66).

다시 도 2의 설명으로 돌아가서, S60 단계를 통해 사용자의 감성이 인식되면 감성 출력부(250)를 통해 인식결과를 출력한다(S70).Returning to the description of FIG. 2, if the sensibility of the user is recognized in step S60, the recognition result is outputted through the sensibility output unit 250 (S70).

본 발명의 실시예에 따르면 생체정보 수집 단말을 통해 수집된 생체신호가 유효한 신호인지 판단하고 유효한 신호에 대해서만 감성을 인식하므로 감성 인식 정확도를 향상시킬 수 있다. 또한, 유효한 신호가 수집되지 않는 경우 이에 대한 알람을 출력하여 사용자에게 이상 발생을 알릴 수 있다.According to the embodiment of the present invention, the sensibility recognition accuracy can be improved by determining whether the bio-signal collected through the biometric information collection terminal is a valid signal and recognizing the sensibility only for a valid signal. In addition, when a valid signal is not collected, an alarm is output to notify the user of the occurrence of an abnormality.

본 발명의 실시예에 따르면 감성을 제대로 표현하는 것이 어려운 환자, 장애인, 노인 및 유아의 생체정보에 기초하여 감성 상태를 정확히 판단하고 이에 따른 처방을 제공할 수 있다.According to the embodiment of the present invention, the emotional state can be accurately determined based on the biometric information of the patient, the disabled person, the elderly person, and the infant which are difficult to express emotion accurately, and the prescription can be provided accordingly.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였으나, 본 발명의 권리범위가 이에 한정되는 것은 아니며 본 발명이 속하는 분야에서 통상의 지식을 가진 자가 여러 가지로 변형 및 개량한 형태 또한 본 발명의 권리범위에 속한다.While the present invention has been particularly shown and described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It belongs to the scope.

100 : 생체정보 수집 단말 110 : HRV 수집부
120 : EDR 수집부 130 : SKT 수집부
140 : 생체정보 전송부 200 : 감성 인식 시스템
210 : 생체정보 수집부 220 : 생체정보 분석부
230 : 감성 학습부 240 : 감성 인식부
250 : 감성 출력부 260 : 알람 출력부
270 : 감성모델 데이터베이스100: Biometric information collecting terminal 110: HRV collecting unit
120: EDR collector 130: SKT collector
140: Biometric information transmission unit 200: Emotion recognition system
210: Biometric information collecting unit 220: Biometric information analyzing unit
230: emotion learning part 240: emotion recognition part
250: Emotion output unit 260: Alarm output unit
270: emotional model database

Claims (9)

사용자의 신체 일부에 부착되어 있는 생체정보 수집 단말과 무선통신망을 통해 연결되어 있는 감성 인식 시스템에 있어서,
감성의 종류에 따른 상기 사용자의 생체신호 패턴을 포함하는 감성모델을 저장하는 감성모델 데이터베이스,
상기 생체정보 수집 단말로부터 전송되는 생체신호를 수집하고 수집된 생체신호가 유효한 신호인지 판단하는 생체정보 수집부,
상기 유효한 신호로 판단된 생체신호의 특징점을 추출하는 생체정보 분석부,
상기 저장된 감성모델을 이용하여 상기 추출된 특징점에 대응하는 상기 사용자의 감성을 인식하는 감성 인식부, 그리고
상기 감성 인식결과와 상기 감성 인식결과에 대응하는 신체활동정보를 출력하는 감성 출력부
를 포함하는 감성 인식 시스템.A sensibility recognition system connected to a biometric information collection terminal attached to a part of a user's body through a wireless communication network,
An emotion model database for storing emotion models including the user's bio-signal patterns according to kinds of emotion,
A biometric information collecting unit for collecting the biometric signal transmitted from the biometric information collecting terminal and judging whether the collected biometric signal is a valid signal,
A biometric information analyzing unit for extracting a feature point of the biometric signal determined as the valid signal,
A emotion recognition unit for recognizing emotion of the user corresponding to the extracted feature point using the stored emotion model,
A sensory output unit for outputting the emotion recognition result and the physical activity information corresponding to the emotion recognition result,
The emotion recognition system comprising: 제1항에서,
상기 생체정보 수집 단말은,
사용자의 생체신호를 측정하는 제1 센서, 그리고
상기 사용자의 피부와 상기 제1 센서 간의 접촉 불량 및 이물질을 감지하는 제2 센서를 포함하는 감성 인식 시스템.The method of claim 1,
The biometric information collecting terminal,
A first sensor for measuring a user's biological signal, and
And a second sensor for detecting a contact failure between the skin of the user and the first sensor and a foreign substance. 제2항에서,
상기 제1 센서는 심박 변이도, 피부 전기전도도 및 피부 온도 중 하나 이상의 생체신호를 측정하는 감성 인식 시스템.3. The method of claim 2,
Wherein the first sensor measures one or more biological signals of heart beat variability, skin electrical conductivity, and skin temperature. 제1항에서,
상기 생체정보 수집 단말은 스트레처블(stretchable) 스마트 밴드인 감성 인식 시스템.The method of claim 1,
Wherein the biometric information collection terminal is a stretchable smart band. 제1항에서,
상기 사용자로부터 입력된 감성 상태에 기초하여 상기 추출된 특징점을 학습하고 특징점 패턴에 따른 감성모델을 생성하여 상기 감성모델 데이터베이스에 저장하는 감성 학습부를 더 포함하는 감성 인식 시스템.The method of claim 1,
Further comprising a emotion learning unit that learns the extracted feature points based on the emotion state input from the user, generates an emotion model based on the minutia pattern, and stores the emotion model in the emotion model database. 사용자의 신체 일부에 부착되어 있는 생체정보 수집 단말과 무선통신망을 통해 연결되어 있는 감성 인식 시스템을 이용한 감성 인식 방법에 있어서,
감성의 종류에 따른 상기 사용자의 생체신호 패턴을 포함하는 감성모델을 저장하는 단계,
상기 생체정보 수집 단말로부터 전송되는 생체신호를 수집하는 단계,
상기 수집된 생체신호가 유효한 신호인지 판단하는 단계,
상기 유효한 신호로 판단된 생체신호로부터 특징점을 추출하는 단계,
상기 저장된 감성모델을 이용하여 상기 추출된 특징점에 대응하는 감성을 인식하는 단계, 그리고
상기 감성 인식결과 및 이에 대응하는 신체활동정보를 출력하는 단계
를 포함하는 감성 인식 방법.A sensibility recognition method using a sensibility recognition system connected to a biometric information collection terminal attached to a part of a body of a user through a wireless communication network,
Storing a sensibility model including the user's biological signal pattern according to a kind of sensibility,
Collecting bio-signals transmitted from the biometric information collection terminal,
Determining whether the collected bio-signal is a valid signal,
Extracting a feature point from the bio signal determined as the valid signal,
Recognizing emotion corresponding to the extracted feature point using the stored emotion model, and
Outputting the emotion recognition result and corresponding physical activity information
And an emotion recognition step. 제6항에서,
상기 사용자에게 자극을 제공하여 생체신호를 수집하고 수집된 생체신호의 특징점 분포를 분석하여 감성모델을 생성하는 단계를 더 포함하는 감성 인식 방법.The method of claim 6,
Further comprising the steps of: providing a stimulus to the user to collect bio-signals and analyzing a minutia distribution of the collected bio-signals to generate a sensory model. 제6항에서,
상기 생체신호는 심박 변이도, 피부 전기전도도 및 피부 온도 중 하나 이상인 감성 인식 방법.The method of claim 6,
Wherein the bio-signal is at least one of heart rate variability, skin electrical conductivity, and skin temperature. 제6항에서,
상기 생체정보 수집 단말은 스트레처블(stretchable) 스마트 밴드인 감성 인식 방법.The method of claim 6,
Wherein the biometric information collection terminal is a stretchable smart band.
KR1020160052394A 2016-04-28 2016-04-28 System and method for recognizing emotion using biometric data KR20170123133A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160052394A KR20170123133A (en) 2016-04-28 2016-04-28 System and method for recognizing emotion using biometric data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160052394A KR20170123133A (en) 2016-04-28 2016-04-28 System and method for recognizing emotion using biometric data

Publications (1)

Publication Number Publication Date
KR20170123133A true KR20170123133A (en) 2017-11-07

Family

ID=60384812

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160052394A KR20170123133A (en) 2016-04-28 2016-04-28 System and method for recognizing emotion using biometric data

Country Status (1)

Country Link
KR (1) KR20170123133A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101877941B1 (en) * 2017-12-26 2018-07-12 주식회사 멘탈케어시스템 Personalized sensory stimulation system using bio signals
KR20200001944A (en) * 2018-06-28 2020-01-07 계명대학교 산학협력단 Emotional intelligence quantification system and method through multi-level data convergence
KR20220019558A (en) * 2020-08-10 2022-02-17 가천대학교 산학협력단 System and method for recommending action based on non-contact biosensor

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101877941B1 (en) * 2017-12-26 2018-07-12 주식회사 멘탈케어시스템 Personalized sensory stimulation system using bio signals
KR20200001944A (en) * 2018-06-28 2020-01-07 계명대학교 산학협력단 Emotional intelligence quantification system and method through multi-level data convergence
KR20220019558A (en) * 2020-08-10 2022-02-17 가천대학교 산학협력단 System and method for recommending action based on non-contact biosensor

Similar Documents

Publication Publication Date Title
de Santos Sierra et al. A stress-detection system based on physiological signals and fuzzy logic
Mahmud et al. An integrated wearable sensor for unobtrusive continuous measurement of autonomic nervous system
KR102020598B1 (en) Biofeedback system based on bio-signal sensor for diagnosis and healing of mental illness
US11295858B2 (en) Health data collection device, health evaluation method using the same, and health evaluation system including the health data collection device
Gunawardhane et al. Non invasive human stress detection using key stroke dynamics and pattern variations
EP3139825A1 (en) Portable device with multiple integrated sensors for vital signs scanning
KR20040032451A (en) Mobile device having health care function and method of health care using the same
Creagh et al. Smartphone-and smartwatch-based remote characterisation of ambulation in multiple sclerosis during the two-minute walk test
KR20140029332A (en) Method and apparatus for providing service security using biological signal
Valenza et al. Autonomic nervous system dynamics for mood and emotional-state recognition: Significant advances in data acquisition, signal processing and classification
Malathi et al. Electrodermal activity based wearable device for drowsy drivers
KR20200071647A (en) Biofeedback method based on virtual/augmented reality contents and bio-signal for diagnosis and healing of mental illness
KR20200059584A (en) Stress Level Analyzing Method and System Using Respiratory Rate-to-Heart Rate Ratio
KR20170123133A (en) System and method for recognizing emotion using biometric data
Mahmud et al. SensoRing: An integrated wearable system for continuous measurement of physiological biomarkers
WO2017190965A1 (en) A method and apparatus for verifying whether to change a determined wearing status of a device
Basjaruddin et al. Measurement device for stress level and vital sign based on sensor fusion
Maiorana A survey on biometric recognition using wearable devices
Horta et al. Ubiquitous mHealth approach for biofeedback monitoring with falls detection techniques and falls prevention methodologies
KR102534822B1 (en) Health data collecting device, method for health evaluation using the same, and system for health evaluation including the health data collecting device
KR20160149651A (en) User authentication method and system via the skin impedence recognition in the bio-electrical signal measurement environment using wearable sensors
Androutsou et al. A smart computer mouse with biometric sensors for unobtrusive office work-related stress monitoring
Kanagasabai et al. Brain-computer interface learning system for Quadriplegics
Boccanfuso et al. Collecting heart rate using a high precision, non-contact, single-point infrared temperature sensor
Shivakumar et al. Analysis of human emotions using galvanic skin response and finger tip temperature