KR20190080598A - 생체신호를 이용한 감성 검출 시스템 및 그 방법 - Google Patents

생체신호를 이용한 감성 검출 시스템 및 그 방법 Download PDF

Info

Publication number
KR20190080598A
KR20190080598A KR1020170183146A KR20170183146A KR20190080598A KR 20190080598 A KR20190080598 A KR 20190080598A KR 1020170183146 A KR1020170183146 A KR 1020170183146A KR 20170183146 A KR20170183146 A KR 20170183146A KR 20190080598 A KR20190080598 A KR 20190080598A
Authority
KR
South Korea
Prior art keywords
emotion
user
neural network
network algorithm
data
Prior art date
Application number
KR1020170183146A
Other languages
English (en)
Inventor
배유석
이현숙
이원곡
유진근
Original Assignee
클라트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 클라트 주식회사 filed Critical 클라트 주식회사
Priority to KR1020170183146A priority Critical patent/KR20190080598A/ko
Publication of KR20190080598A publication Critical patent/KR20190080598A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/0488—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Educational Technology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 생체신호를 이용한 감성 검출 시스템 및 그 방법에 관한 것으로, 본 발명의 실시예에 따른 감성 검출 시스템은 사용자의 신체 일부에 부착되어 있는 감성 인식 단말과 네트워크로 연결되어 있고, 사용자의 피부 전도도(EDA) 및 맥파(PPG)에 대응하여 기 학습된 인공 신경망 알고리즘을 저장하는 데이터베이스부, 상기 사용자의 피부 전도도 및 맥파에서 추출된 감성 특징 데이터를 상기 감성 인식 단말로부터 수집하는 감성 특징 데이터 수집부, 그리고 상기 감성 특징 데이터를 상기 기 학습된 인공신경망 알고리즘에 적용하여 상기 사용자의 감성을 검출하는 감성 검출부를 포함한다.

Description

생체신호를 이용한 감성 검출 시스템 및 그 방법{SYSTEM FOR RECOGNIZING EMOTION USING BIOMETRIC DATA AND METHOD THEREOF}
본 발명은 사용자의 생체정보를 수집 및 분석하여 사용자의 감성을 검출하는 시스템 및 방법에 관한 것이다.
감성 ICT(Information Communication Technologies) 기술은 인간의 감성 변화에 의한 자율 신경계의 활동에 의해 나타나는 생체 신호, 환경 또는 상황 신호, 영상 신호, 음성 신호 등을 센싱하여 처리 분석함으로써, 인간의 감성을 인식, 검증 그리고 규격화하고, 인식된 인간의 감성 상황에 맞게 감성 맞춤형 제품 및 서비스를 제공하는 기술을 나타낸다.
이와 같은 감성 ICT 기술은 정보가전, PC, 통신기기 등의 전통적인 ICT 산업뿐 아니라, 의료기기, 신변 보호, 의류, 자동차, 항공, 건설 및 인테리어 등 비 ICT 산업에 융합되어 급성장하고 있다.
감성 ICT 기술에서 인간의 감성을 인식하는 기술은 인간중심의 스마트 모바일 기술 및 웨어러블 기술의 핵심기술로써 제품의 경쟁력을 좌우하는 기술로 지속적으로 연구되고 있다. 그 중에서도 생체 신호를 통해 감성을 인식하는 기술은 인공적으로 취득이 쉬운 과장되고 연출된 감정이 표현된 학습 데이터를 이용하며, 다수의 사용자에게 일반적인 생리학적 패턴을 공통으로 적용하기 때문에, 실제 상황에서 사용자의 감성인식 정확도가 저하되는 문제점이 있다.
본 발명의 하나의 실시예가 해결하려는 과제는 웨어러블 디바이스를 통해 수집된 사용자의 생체신호 데이터를 학습된 인공신경망 알고리즘에 적용하여 사용자의 스트레스 단계, 감정 상태, 피로도 단계를 검출하는 시스템 및 방법을 제공하는 것이다.
상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 본 발명에 따른 실시예가 사용될 수 있다.
상기 과제를 해결하기 위해 본 발명의 하나의 실시예는, 사용자의 신체 일부에 장착된 감성 인식 단말과 네트워크로 연결되어 있고, 사용자의 피부 전도도(EDA) 및 맥파(PPG)에 대응하여 기 학습된 인공 신경망 알고리즘을 저장하는 데이터베이스부, 사용자의 피부 전도도 및 맥파에서 추출된 감성 특징 데이터를 감성 인식 단말로부터 수집하는 감성 특징 데이터 수집부, 그리고 감성 특징 데이터를 기 학습된 인공신경망 알고리즘에 적용하여 사용자의 감성을 검출하는 감성 검출부를 포함하는 감성 검출 시스템을 제안한다.
여기서, 감성 인식 단말은 기 설정된 시간 동안 측정된 사용자의 피부 전도도 및 맥파를 수집하고, 수집된 피부 전도도 데이터 및 맥파 데이터에서 각각 상이한 감성 특징 데이터를 추출할 수 있다.
또한, 감성 검출 시스템은 사용자로부터 입력된 감성 상태 데이터에 대응하여 추출된 감성 특징 데이터를 이용하여 인공신경망 알고리즘을 학습시키는 감성 학습부를 더 포함할 수 있다.
또한, 감성 학습부는, 인공신경망 알고리즘의 결과값과 입력된 감성 상태 데이터의 오차 값을 연산하고, 오차값이 0에 수렴되도록 감성 특징 데이터들의 가중치를 갱신하여 반복적으로 인공신경망 알고리즘을 학습시키고, 데이터베이스부는 오차 값이 0에 수렴되거나 기 설정된 횟수까지 학습을 수행하면, 마지막으로 갱신된 가중치를 저장하여 기 학습된 인공신경망 알고리즘을 저장할 수 있다.
또한, 기 학습된 인공신경망 알고리즘은 스트레스 단계 검출 알고리즘, 감성 상태 검출 알고리즘 그리고 피로도 단계 검출 알고리즘을 포함하고, 감성 검출부는 사용자의 스트레스 단계, 감성 상태, 피로도 단계 중에서 하나 이상의 사용자의 감성을 검출할 수 있다.
상기 과제를 해결하기 위해 본 발명의 하나의 실시예는, 사용자의 신체 일부에 장착된 감성 인식 단말과 네트워크로 연결된 감성 검출 시스템을 이용하며, 사용자의 피부 전도도 및 맥파에 대응하여 기 학습된 인공 신경망 알고리즘을 저장하는 단계, 사용자의 피부 전도도 및 맥파에서 추출된 감성 특징 데이터를 감성 인식 단말로부터 수집하는 단계, 그리고 감성 특징 데이터를 기 학습된 인공신경망 알고리즘에 적용하여 사용자의 감성을 검출하는 단계를 포함할 수 있다.
여기서, 감성 인식 단말은 기 설정된 시간 동안 측정된 사용자의 피부 전도도 및 맥파를 수집하고, 수집된 피부 전도도 데이터 및 맥파 데이터에서 각각 상이한 감성 특징 데이터를 추출할 수 있다.
또한, 사용자로부터 입력된 감성 상태 데이터에 대응하여 추출된 감성 특징 데이터를 이용하여 인공신경망 알고리즘을 학습시키는 단계를 더 포함할 수 있다.
또한, 학습시키는 단계는 인공신경망 알고리즘의 결과값과 입력된 감성 상태 데이터의 오차 값을 연산하고, 오차 값이 0에 수렴되도록 감성 특징 데이터들의 가중치를 갱신하여 반복적으로 인공신경망 알고리즘을 학습시키고, 저장하는 단계는 오차 값이 0에 수렴되거나 기 설정된 횟수까지 학습을 수행하면, 마지막으로 갱신된 가중치를 저장하여 기 학습된 인공신경망 알고리즘을 저장할 수 있다.
또한, 기 학습된 인공신경망 알고리즘은 스트레스 단계 검출 알고리즘, 감성 상태 검출 알고리즘 그리고 피로도 단계 검출 알고리즘을 포함하고, 사용자의 감성을 검출하는 단계는 사용자의 스트레스 단계, 감성 상태, 피로도 단계 중에서 하나 이상의 사용자의 감성을 검출할 수 있다.
본 발명의 하나의 실시예에 따르면 사용자의 생체신호를 이용하여 감성을 검출하여, 사용자 감성 상태에 대응되는 맞춤형 서비스를 제공할 수 있다.
또한, 사용자의 감성 인식 정확도를 향상시킬 수 있다.
도 1은 본 발명의 하나의 실시예에 따른 감성 검출 시스템을 나타낸다.
도 2는 도 1의 감성 검출 시스템을 이용한 감성 검출 방법을 나타낸다.
도 3은 도 2의 S310 단계를 상세하게 나타낸다.
도 4는 본 발명의 하나의 실시예에 따른 인공신경망 알고리즘의 학습과정을 나타낸다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체에서 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한, 널리 알려진 공지기술의 경우 그 구체적인 설명은 생략한다.
본 명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 하나의 실시예에 따른 감성 검출 시스템을 나타낸다.
도 1에 도시한 바와 같이, 감성 검출 시스템(200)은 감성 인식 단말(100)과 유무선 네트워크로 연결되어 있으며, 감성 인식 단말(100)를 통해 추출된 감성 특징 데이터를 수집하고 기 학습된 인공신경망 알고리즘에 적용하여 사용자의 감성을 검출한다. 여기서, 네트워크는 유선 통신 네트워크, 근거리 또는 원거리 무선 통신 네트워크, 이들이 혼합된 네트워크 등 데이터를 전달하는 모든 형태의 통신 네트워크를 포함할 수 있다.
도 1의 감성 인식 단말(100)은 EDA 수집부(110), PPG 수집부(120), 감성 특징 데이터 추출부(130) 그리고 감성 특징 데이터 전송부(140)를 포함한다.
여기서, 감성 인식 단말(100)은 스트레처블(stretchable) 스마트 밴드 또는 스마트 패치(patch)와 같이 구현되나 이에 한정하는 것은 아니고, 사용자의 모바일 단말, 사용자의 신체 일부에 부착되는 시계, 안경, 모자, 의류 및 기타 액세서리 중 하나의 형태로 구현될 수 있다.
EDA 수집부(110)는 EDA(Electro Dermal Activity, 이하 'EDA'라 함)센서를 통해 사용자의 피부전도도(EDA)를 측정하고 수집한다.
PPG 수집부(110)는 PPG(PhotoPlethysmoGraphy, 이하 'PPG'라 함)센서를 이용하여 사용자의 맥파(PPG)를 측정하고 수집한다.
감성 특징 데이터 추출부(130)는 EDA 수집부(110)와 PPG 수집부(110)에서 수집한 사용자의 피부전도도 데이터와 사용자의 맥파 데이터를 이용하여 각각 상이한 감성 특징 데이터를 추출한다.
여기서, 감성 특징 데이터 추출부(130)는 피부전도도(EDA) 데이터에서 EDA 신호의 평균, 표준편차, 미분 평균, 미분 표준편차, 0.2Hz 신호 평균, 0.2Hz 신호 피크 개수 그리고 0.2Hz 미분 평균을 추출할 수 있다.
그리고 감성 특징 데이터 추출부(130)는 맥파(PPG) 데이터에서 PPG 신호의 높이 평균, 표준편차, 심박수(HR) 평균, PPI(peak to peak interval) 표준편차, HRV(Heart Rate Variability) 제곱의 평균을 추출할 수 있다.
예를 들어, EDA 수집부(110) 및 PPG 수집부(110)가 1분 동안 각 600개씩의 사용자의 피부 전도도 데이터와 맥파 데이터들을 수집할 수 있다. 그러면 감성 특징 데이터 추출부(130)는 600개의 피부전도도(EDA) 데이터들을 연산하여 7개의 감성 특징 데이터를 추출하고, 600개의 맥파(PPG)데이터들을 연산하여 5개의 감성 특징 데이터를 추출할 수 있다.
즉, 감성 특징 데이터 추출부(130)는 기 설정된 시간 동안의 피부전도도(EDA) 데이터 및 맥파(PPG) 데이터들을 이용하여 12 개의 감성 특징 데이터들을 추출할 수 있다.
감성 특징 데이터 전송부(140)는 감성 특징 데이터 추출부(130)에서 추출한 감성 특징 데이터들을 감성 검출 시스템(200)으로 전송한다.
도 1의 감성 검출 시스템(200)은 데이터베이스부(210), 감성 특징 데이터 수집부(220), 감성 검출부(230) 그리고 감성 학습부(240)를 포함한다. 감성 검출 장치(100)를 통해 검출되는 감성은 스트레스, 피로도, 또는 감정 상태(기쁨, 우울, 슬픔, 화남) 중 적어도 하나를 포함한다.
데이터베이스부(210)는 사용자의 피부 전도도(EDA) 및 맥파(PPG)에 대응하여 기 학습된 인공신경망 알고리즘을 저장한다.
감성 특징 데이터 수집부(220)는 감성 인식 단말(100)로부터 전송되는 감성 특징 데이터 및 식별정보를 수신한다. 이때, 감성 특징 데이터는 사용자의 피부 전도도 데이터 및 맥파 데이터로부터 추출된 복수개의 데이터이며, 식별정보는 사용자 식별을 위한 감성 인식 단말(100)의 고유번호 또는 사용자 개인정보를 포함할 수 있다.
감성 검출부(230)는 감성 특징 데이터를 기 학습된 인공신경망 알고리즘에 적용하여 사용자의 감성을 검출한다.
여기서, 검출된 사용자의 감성은 적용되는 알고리즘에 따라 스트레스, 피로도 및 기분상태로 구분되며, 스트레스와 피로도는 강도에 따라 하나 이상의 단계로 인식되고 기분상태는 평상시, 기쁨, 슬픔/우울, 화남 등을 포함한다.
감성 학습부(240)는 사용자로부터 입력되는 감성 상태 데이터에 대응하여 추출된 감성 특징 데이터를 이용하여 인공신경망 알고리즘을 학습시킨다.
그리고 감성 학습부(240)는 데이터베이스부(210)에 기 학습된 인공신경망 알고리즘이 저장되지 않은 경우, 기 학습된 인공신경망 알고리즘을 생성하여 데이터베이스부(210)에 저장할 수 있다.
여기서, 인공신경망 알고리즘은 스트레스 단계 검출 알고리즘, 감성 상태 검출 알고리즘 그리고 피로도 단계 검출 알고리즘을 포함한다. 그리고 각각의 개별적으로 저장된 인공신경망 알고리즘은 동일한 감성 특징 데이터를 입력값으로 하여 각 스트레스 단계, 감성 상태, 피로도 단계에 대한 결과값을 도출할 수 있다.
한편, 감성 검출 시스템(200)은 장치, 서버, 단말 또는 이들의 결합된 형태일 수 있다.
단말은 각각 메모리(memory), 프로세서(processor)를 구비함으로써 연산 처리 능력을 갖춘 장치를 통칭하는 것이다. 예를 들어, 퍼스널 컴퓨터(personal computer), 핸드헬드 컴퓨터(handheld computer), PDA(personal digital assistant), 휴대폰, 스마트 기기, 태블릿(tablet) 등이 있다.
서버는 복수개의 모듈(module)이 저장되어 있는 메모리, 그리고 메모리에 연결되어 있고 복수개의 모듈에 반응하며, 단말에 제공하는 서비스 정보 또는 서비스 정보를 제어하는 액션(action) 정보를 처리하는 프로세서, 통신 수단, 그리고 UI(user interface) 표시 수단을 포함할 수 있다.
메모리는 정보를 저장하는 장치로, 고속 랜덤 액세스 메모리(high-speed random access memory, 자기 디스크 저장 장치, 플래시 메모리 장치, 기타 비휘발성 고체 상태 메모리 장치(non-volatile solid-state memory device) 등의 비휘발성 메모리 등 다양한 종류의 메모리를 포함할 수 있다.
아래에서는 도 2 내지 도 4를 이용하여 사용자의 감성 특징 데이터를 이용하여 인공신경망 알고리즘을 학습시키고, 학습된 인공신경망 알고리즘을 통해 사용자의 감성을 검출하는 방법에 대해서 상세하게 설명한다.
도 2는 도 1의 감성 검출 시스템을 이용한 감성 검출 방법을 나타내고, 도 3은 도 2의 S310 단계를 상세하게 나타낸다.
도 2의 감성 검출 시스템(200)은 해당 사용자에 대한 기 학습된 인공신경망 알고리즘의 존재 여부를 확인한다(S10).
이때, 감성 검출 시스템(200)은 기 학습된 인공신경망 알고리즘이 존재하지 않는 경우, 기 학습된 인공신경망 알고리즘을 생성하고 저장한다(S20).
도 3에 도시한 바와 같이, 감성 검출 시스템(200)은 인공신경망 알고리즘을 학습시키기 위해 학습 횟수를 0으로 설정하고, 사용자로부터 감성 상태 데이터를 입력받는다(S21).
여기서, 감성 상태 데이터는 인공신경망 알고리즘에서 나오는 결과값에 대응하여 사용자로부터 선택받을 수 있다. 예를 들어, 스트레스의 강도를 나타내는 4단계, 기쁨, 슬픔, 우울, 화남과 같은 감정 상태 그리고 피로도의 강도를 나타내는 4단계 중에서 하나 이상을 포함할 수 있다.
그리고 감성 검출 시스템(200)은 감성 상태 데이터를 입력받은 시기에 대응하는 감성 특징 데이터를 수집한다(S22). 감성 검출 시스템(200)은 감성 인식 단말(100)로부터 입력받은 시기에 대응되는 12개의 감성 특징 데이터를 수집할 수 있다.
다음으로 감성 검출 시스템(200)은 감성 인식 단말(100)로부터 수집한 감성 특징 데이터를 이용하여 인공신경망 알고리즘에 적용하여 결과값을 검출한다(S23).
그리고 감성 검출 시스템(200)은 인공신경망 알고리즘을 통해 결과값을 검출할 때마다 학습 횟수를 카운트한다.
도 4는 본 발명의 하나의 실시예에 따른 인공신경망 알고리즘의 학습과정을 나타낸다.
도 4에 도시한 인공신경망 알고리즘은 스트레스 인공신경망 알고리즘, 감정상태 인공신경망 알고리즘 그리고 피로도 인공신경망 알고리즘 중에서 어느 하나를 예시적으로 나타내 도면이다.
도 4에 도시한 바와 같이, 감성 검출 시스템(200)은 12개의 감성 상태 데이터를 x1, x2, … , x12에 입력하고, N개의 레이어와 각 레이어에서 적용되는 가중치(Weights)값을 통해 4개의 결과값(y1,y2,y3,y4)을 검출한다.
그리고 감성 검출 시스템(200)은 검출된 결과값과 입력받은 감성 상태 데이터와의 오차값(E)을 연산한다(S24).
감성 검출 시스템(200)은 역전파 알고리즘(Back propagation Algorithm)을 이용하여 검출된 결과값(y1)과 입력받은 감성 상태 데이터(d1)간의 오차값을 연산하고, 검출된 결과값(y2)과 입력받은 감성 상태 데이터(d2)간의 오차값을 연산할 수 있다. 마찬가지로, 검출된 결과값(y3)과 입력받은 감성 상태 데이터(d3)간의 오차값, 검출된 결과값(y4)과 입력받은 감성 상태 데이터(d4)간에 오차 값을 연산할 수 있다.
이때, 역전파 알고리즘은 아래의 수학식 1과 같이 나타낸다.
[수학식 1]
Figure pat00001
여기서, target은 사용자로부터 입력받은 감성 상태 데이터, output은 인공신경망 알고리즘에서 검출된 결과값을 나타낸다.
그리고 감성 검출 시스템(200)은 연산된 오차값(E)이 0의 값을 갖거나 기 설정된 횟수만큼 학습을 수행한 건지 확인한다(S25)
그리고 감성 검출 시스템(200)은 연산된 오차값(E)이 0이 아니거나 기 설정된 횟수보다 학습횟수가 적은 경우, 각 인공신경망 알고리즘의 레이어에 적용되는 감성 특징 데이터들의 가중치를 갱신하여 S23 단계로 회귀한다(S26).
감성 검출 시스템(200)은 수학식 2와 같이, 갱신할 가중치 값(W(t+1))을 연산할 수 있다.
[수학식 2]
Figure pat00002
여기서, W(t)는 이전 시점에서 적용된 가중치 값,
Figure pat00003
는 오차값의 편미분값,
Figure pat00004
는 가중치의 편미분값을 나타낸다.
이와 같이, 감성 검출 시스템(200)은 연산된 가중치를 갱신하여 다시 감성 특징 데이터를 이용하여 인공신경망 알고리즘을 학습시킨다.
한편, 감성 검출 시스템(200)은 연산된 오차값(E)이 0의 값을 갖거나 기 설정된 횟수(M)만큼 학습을 수행한 경우, 인공신경망 알고리즘의 학습이 완료되었다고 추정하여 데이터베이스에 저장한다(S27).
이와 같이, S20 단계는 인공신경망 알고리즘을 사용자에 적합하게 학습시키기 위한 단계로 매번 사용자의 감성을 검출하기 위해 수행되는 단계가 아니라 최초 실행 단계에서만 수행될 수 있다.
또한, 감성 검출 시스템(200)은 일정 기간 간격에 따라 기 학습된 인공신경망 알고리즘의 존재 여부와는 상관없이, S20 단계를 수행하도록 설정하여 기 학습된 인공신경망 알고리즘을 지속적으로 업데이트할 수 있다.
다시 도 2의 설명으로 돌아가서, 기 학습된 인공신경망 알고리즘이 존재하면, 감성 검출 시스템(200)은 감성 인식 단말(100)로부터 사용자의 감성 특징 데이터를 수집한다(S30).
감성 검출 시스템(200)은 피부전도도(EDA)에 따른 7개의 감성 특징 데이터와 맥파(PPG)데이터에 따른 5개의 감성 특징 데이터를 수집한다.
그리고 감성 검출 시스템(200)은 기 학습된 인공신경망 알고리즘에 감성 특징 데이터를 입력값으로 적용하여 결과값을 도출한다(S40).
감성 검출 시스템(200)은 기 학습된 스트레스 인공신경망 알고리즘, 기 학습된 감성 상태 인공신경망 알고리즘, 기 학습된 피로도 인공신경망 알고리즘 중에서 적어도 하나에 적용하여 결과값을 도출할 수 있다. 그리고 감성 검출 시스템(200)은 적용된 인공신경망 알고리즘의 종루에 따라 스트레스의 강도를 나타내는 4단계, 기쁨, 슬픔, 우울, 화남과 같은 감정 상태 그리고 피로도의 강도를 나타내는 4단계에 대응하여 결과값을 도출할 수 있다.
그리고 감성 검출 시스템(200)은 검출된 결과값에 대응하는 사용자 감성을 검출한다(S50).
여기서, 감성 검출 시스템(200)은 수집한 감성 특징 데이터 및 검출된 결과값에 대응되는 사용자 감성을 데이터베이스에 저장할 수 있다.
본 발명의 실시예에 따르면 생체정보 수집 단말을 통해 수집된 두 종류의 생체신호를 통해 감성을 인식하고, 기 학습된 인공신경망 알고리즘을 이용함으로써, 감성 검출의 정확도를 향상시킬 수 있다.
본 발명의 실시예에 따르면 감성을 제대로 표현하는 것이 어려운 환자, 장애인, 노인 및 유아의 생체정보에 기초하여 감성 상태를 정확히 판단하고 이에 따른 처방을 제공할 수 있다.
본 발명의 실시예에 따르면, 사용자의 감성을 객관적인 단계 또는 지표로 검출함으로써 추후에 다양한 감성 서비스와의 결합이 용이하여 사용자 맞춤형 서비스를 제공할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였으나, 본 발명의 권리범위가 이에 한정되는 것은 아니며 본 발명이 속하는 분야에서 통상의 지식을 가진 자가 여러 가지로 변형 및 개량한 형태 또한 본 발명의 권리범위에 속한다.
100 : 감성 인식 단말 110 : EDA수집부
120 : PPG 수집부 130 : 감성 특징 데이터 추출부
140 : 감성 특징 데이터 전송부 200 : 감성 검출 시스템
210 : 데이터베이스부 220 : 감성 특징 데이터 수집부
230 : 감성 검출부 240 : 감성 학습부

Claims (10)

  1. 사용자의 신체 일부에 장착된 감성 인식 단말과 네트워크로 연결된 감성 검출 시스템에 있어서,
    사용자의 피부 전도도(EDA) 및 맥파(PPG)에 대응하여 기 학습된 인공 신경망 알고리즘을 저장하는 데이터베이스부,
    상기 사용자의 피부 전도도 및 맥파에서 추출된 감성 특징 데이터를 상기 감성 인식 단말로부터 수집하는 감성 특징 데이터 수집부, 그리고
    상기 감성 특징 데이터를 상기 기 학습된 인공신경망 알고리즘에 적용하여 상기 사용자의 감성을 검출하는 감성 검출부
    를 포함하는 감성 검출 시스템.
  2. 제1항에서,
    상기 감성 인식 단말은,
    기 설정된 시간 동안 측정된 사용자의 피부 전도도 및 맥파를 수집하고, 수집된 피부 전도도 데이터 및 맥파 데이터에서 각각 상이한 감성 특징 데이터를 추출하는 감성 검출 시스템.
  3. 제2항에서,
    상기 사용자로부터 입력된 감성 상태 데이터에 대응하여 추출된 감성 특징 데이터를 이용하여 인공신경망 알고리즘을 학습시키는 감성 학습부를 더 포함하는 감성 검출 시스템.
  4. 제3항에서,
    상기 감성 학습부는,
    상기 인공신경망 알고리즘의 결과값과 상기 입력된 감성 상태 데이터의 오차 값을 연산하고, 상기 오차값이 0에 수렴되도록 상기 감성 특징 데이터들의 가중치를 갱신하여 반복적으로 상기 인공신경망 알고리즘을 학습시키고,
    상기 데이터베이스부는,
    상기 오차 값이 0에 수렴되거나 기 설정된 횟수까지 학습을 수행하면, 마지막으로 갱신된 가중치를 저장하여 기 학습된 인공신경망 알고리즘을 저장하는 감성 검출 시스템.
  5. 제4항에서,
    기 학습된 인공신경망 알고리즘은,
    스트레스 단계 검출 알고리즘, 감성 상태 검출 알고리즘 그리고 피로도 단계 검출 알고리즘을 포함하고,
    상기 감성 검출부는,
    상기 사용자의 스트레스 단계, 감성 상태, 피로도 단계 중에서 하나 이상의 사용자의 감성을 검출하는 감성 검출 시스템.
  6. 사용자의 신체 일부에 장착된 감성 인식 단말과 네트워크로 연결된 감성 검출 시스템을 이용한 감성 검출 방법에 있어서,
    사용자의 피부 전도도 및 맥파에 대응하여 기 학습된 인공 신경망 알고리즘을 저장하는 단계,
    상기 사용자의 피부 전도도 및 맥파에서 추출된 감성 특징 데이터를 상기 감성 인식 단말로부터 수집하는 단계, 그리고
    상기 감성 특징 데이터를 상기 기 학습된 인공신경망 알고리즘에 적용하여 상기 사용자의 감성을 검출하는 단계
    를 포함하는 감성 검출 방법.
  7. 제6항에서,
    상기 감성 인식 단말은,
    기 설정된 시간 동안 측정된 사용자의 피부 전도도 및 맥파를 수집하고, 수집된 피부 전도도 데이터 및 맥파 데이터에서 각각 상이한 감성 특징 데이터를 추출하는 감성 검출 방법.
  8. 제7항에서,
    상기 사용자로부터 입력된 감성 상태 데이터에 대응하여 추출된 감성 특징 데이터를 이용하여 인공신경망 알고리즘을 학습시키는 단계를 더 포함하는 감성 검출 방법.
  9. 제6항에서,
    상기 학습시키는 단계는,
    상기 인공신경망 알고리즘의 결과값과 상기 입력된 감성 상태 데이터의 오차 값을 연산하고, 상기 오차 값이 0에 수렴되도록 상기 감성 특징 데이터들의 가중치를 갱신하여 반복적으로 상기 인공신경망 알고리즘을 학습시키고,
    상기 저장하는 단계는,
    상기 오차 값이 0에 수렴되거나 기 설정된 횟수까지 학습을 수행하면, 마지막으로 갱신된 가중치를 저장하여 기 학습된 인공신경망 알고리즘을 저장하는 감성 검출 방법.
  10. 제9항에서,
    기 학습된 인공신경망 알고리즘은,
    스트레스 단계 검출 알고리즘, 감성 상태 검출 알고리즘 그리고 피로도 단계 검출 알고리즘을 포함하고,
    상기 사용자의 감성을 검출하는 단계는,
    상기 사용자의 스트레스 단계, 감성 상태, 피로도 단계 중에서 하나 이상의 사용자의 감성을 검출하는 감성 검출 방법.
KR1020170183146A 2017-12-28 2017-12-28 생체신호를 이용한 감성 검출 시스템 및 그 방법 KR20190080598A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170183146A KR20190080598A (ko) 2017-12-28 2017-12-28 생체신호를 이용한 감성 검출 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170183146A KR20190080598A (ko) 2017-12-28 2017-12-28 생체신호를 이용한 감성 검출 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20190080598A true KR20190080598A (ko) 2019-07-08

Family

ID=67255898

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170183146A KR20190080598A (ko) 2017-12-28 2017-12-28 생체신호를 이용한 감성 검출 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20190080598A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110638472A (zh) * 2019-09-27 2020-01-03 新华网股份有限公司 情感识别方法、装置、电子设备及计算机可读存储介质
KR102152957B1 (ko) * 2019-10-18 2020-09-07 (의료)길의료재단 심박 변이도(hrv)에 기초한 기타 불안장애로부터 공황장애 감별 방법 및 그 장치
KR20210023170A (ko) * 2019-08-22 2021-03-04 상명대학교 천안산학협력단 Ppg신호를 이용한 딥러닝 기반의 감정인식 시스템 및 감정인식 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210023170A (ko) * 2019-08-22 2021-03-04 상명대학교 천안산학협력단 Ppg신호를 이용한 딥러닝 기반의 감정인식 시스템 및 감정인식 방법
CN110638472A (zh) * 2019-09-27 2020-01-03 新华网股份有限公司 情感识别方法、装置、电子设备及计算机可读存储介质
CN110638472B (zh) * 2019-09-27 2022-07-05 新华网股份有限公司 情感识别方法、装置、电子设备及计算机可读存储介质
KR102152957B1 (ko) * 2019-10-18 2020-09-07 (의료)길의료재단 심박 변이도(hrv)에 기초한 기타 불안장애로부터 공황장애 감별 방법 및 그 장치

Similar Documents

Publication Publication Date Title
US20230088533A1 (en) Detecting and Using Body Tissue Electrical Signals
JP6178838B2 (ja) 筋肉活動の取得および分析用のシステムならびにその動作方法
US10467548B2 (en) Method, apparatus and system for biometric identification
US20170148240A1 (en) Scale-based biometric authorization of communication between scale and a remote user-physiologic device
US20170143268A1 (en) Aggregation and analysis of scale-based user data and remote user-physiologic device-based user data
CN107209807A (zh) 疼痛管理可穿戴设备
CN106445101A (zh) 识别用户的方法和系统
KR20170087855A (ko) 적어도 부분적으로 펄스 파형에 기반하는 자동화 진단
KR20130074459A (ko) 사용자의 상태 적용 게임 장치 및 그 게임 제공 방법
CN107837078A (zh) 用于生物测量学信息检测的设备和方法及可穿戴装置
US10395055B2 (en) Scale-based data access control methods and apparatuses
Zheng et al. On the design of a wearable multi-sensor system for recognizing motion modes and sit-to-stand transition
KR102015097B1 (ko) 생체정보를 이용한 감성 검출 장치 및 감성 검출 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
KR20190080598A (ko) 생체신호를 이용한 감성 검출 시스템 및 그 방법
US11699524B2 (en) System for continuous detection and monitoring of symptoms of Parkinson's disease
EP3906852A1 (en) Method and system for biometric recognition, in particular of users of sanitation facilities
Delva et al. Investigation into the potential to create a force myography-based smart-home controller for aging populations
US20170146389A1 (en) Scale-based biometric authorization of multiple communication modes of the scale
EP3906844A1 (en) Method and system for biomedical assessment in sanitation facilities
WO2018002995A1 (ja) 生体リズムの検出装置、検出方法、及び、検出プログラム
WO2016184089A1 (zh) 信息获取方法、装置和计算机存储介质
CN109820523A (zh) 心理测试仪控制方法、装置及计算机可读存储介质
KR20170123133A (ko) 생체정보를 이용한 감성 인식 시스템 및 방법
CN111315296B (zh) 一种确定压力值的方法及装置
KR100516151B1 (ko) 안면근 신호를 이용한 방향 제어장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application