KR20140114588A - 복합 생체신호 기반의 감정인식 방법 및 장치 - Google Patents

복합 생체신호 기반의 감정인식 방법 및 장치 Download PDF

Info

Publication number
KR20140114588A
KR20140114588A KR1020130029025A KR20130029025A KR20140114588A KR 20140114588 A KR20140114588 A KR 20140114588A KR 1020130029025 A KR1020130029025 A KR 1020130029025A KR 20130029025 A KR20130029025 A KR 20130029025A KR 20140114588 A KR20140114588 A KR 20140114588A
Authority
KR
South Korea
Prior art keywords
data
signal
emotion
complex bio
complex
Prior art date
Application number
KR1020130029025A
Other languages
English (en)
Inventor
신동일
신동규
황구연
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020130029025A priority Critical patent/KR20140114588A/ko
Publication of KR20140114588A publication Critical patent/KR20140114588A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352—Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

복합 생체신호를 통한 감정인식에 관한 것으로서, 보다 상세하게는 기존의 단일 생체신호에서 취득된 의식상태 및 스트레스 지수를 복합적으로 이용하여 감정을 인식하는 방법 및 장치가 제시된다. 본 발명에서 제안하는 복합 생체신호 기반의 감정인식 장치는 사용자로부터 뇌파 및 심전도 데이터를 취득하고, 취득된 데이터들의 노이즈 제거 및 신호 처리를 수행할 수 있다. 복합생체신호 분석을 위해 신호 처리된 데이터들의 특징을 표준화하고, 표준화된 데이터들의 특징을 데이터베이스에 저장할 수 있다. 저장된 데이터들의 특징을 이용하여 복합생체신호를 분석하고 분석된 복합생체신호를 이용하여 감정을 추출한 후 추출된 감정을 출력할 수 있다.

Description

복합 생체신호 기반의 감정인식 방법 및 장치{Method and Apparatus for Emotion recognition based on Complex physiological signals}
복합 생체신호를 통한 감정인식에 관한 것으로서, 보다 상세하게는 단일 생체신호에서 취득된 의식상태 및 스트레스 지수를 복합적으로 이용하여 감정을 인식하는 방법 및 장치에 관한 것이다.
유비쿼터스 환경의 발전함에 따라 사람이 컴퓨터와 직접적으로 상호작용 할 수 있는 HCI(Human-Computer Interaction) 분야가 활발히 연구되고 있으며 사람의 감정은 컴퓨터와 사람간의 상호작용의 수단으로 활용될 수 있다. 한국공개특허 10-2009-0123383는 이러한 유비쿼터스 환경에서의 오감 멀티미디어 컨텐츠 서비스 제공 시스템에 관한 것으로, 오감 멀티미디어 컨텐츠 서비스 제공 시스템을 제공함으로써 보다 실감나는 멀티미디어 서비스의 제공에 대해 제시하고 있다.
사람의 감정을 인식하기 위한 방법으로 비전 기반 인식 기술은 사람의 얼굴에서 웃음, 찡그림 등의 표정을 통해 감정을 인식하지만 그 정확도가 높지 않다. 반면에 생체신호 기반 감정 인식 기술의 경우, 생체신호 취득을 위한 디바이스를 장착해야 하는 단점이 있으나 감정인식에 대하여 비전인식기술보다 정확도가 높다. 생체신호 기반 감정 인식 기술은 비전인식 기반 기술에 비해 정확도가 높지만, 아직 실생활에 적용할 수 있을 정도는 아니며 감정의 개인차에 의하여 실생활에 적용되지 못할 수 있다.
기존의 단일 생체신호를 이용한 감정인식의 부족했던 정확도를 향상시키기 위하여 고안된 것으로, 본 발명이 이루고자 하는 기술적 과제는 사용자의 감정인식의 정확도를 높이기 위하여 다양한 생체신호를 취득 및 분석된 결과를 복합적으로 사용하며 사용자 감정에 대한 데이터베이스를 축적 및 사용하여 사용자의 감정인식을 도출해내는 시스템을 제공하고자 하는 것이다. 또한, 본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 해당업자에게 명확하게 이해될 수 있을 것이다.
일 측면에 있어서, 본 발명에서 제안하는 복합 생체신호 기반의 감정인식 장치는 사용자로부터 뇌파 및 심전도 데이터를 취득하는 데이터 취득부와, 데이터들의 노이즈 제거 및 신호 처리를 수행하는 신호 처리부와, 복합생체신호 분석을 위해 신호 처리된 데이터들의 특징을 표준화하는 표준화부와, 표준화된 데이터들의 특징을 저장하는 데이터베이스와, 저장된 데이터들의 특징을 이용하여 복합생체신호를 분석하는 복합생체신호 분석부와, 분석된 복합생체신호를 이용하여 감정을 추출하는 감정 추출부 및 추출된 감정을 출력하는 출력부를 포함할 수 있다.
데이터베이스는 표준화를 통해 정규화된 데이터 및 사용자로부터 감정 선택을 통해 얻은 피드백데이터를 포함할 수 있다.
복합생체신호 분석부는 데이터베이스에 저장된 데이터를 이용하여 감정 학습을 수행하는 감정 학습부와, 데이터베이스에 저장된 데이터 중 감정 학습부에서 사용한 데이터를 제외한 나머지 데이터를 이용하여 감정 예측을 수행하는 감정 예측부 및 감정 학습 및 감정 예측을 통해 추출된 특징들을 SVM 및 K-means 알고리즘에 적용하여 복합생체신호를 분석하는 알고리즘 적용부를 포함할 수 있다.
일 측면에 있어서, 본 발명에서 제안하는 복합 생체신호 기반의 감정인식 방법은 사용자로부터 뇌파 및 심전도 데이터를 취득하는 단계와, 취득된 뇌파 및 심전도 데이터들의 신호 처리를 수행하는 단계와, 복합생체신호 분석을 위해 신호 처리된 데이터의 특징들을 표준화하여 데이터베이스에 저장하는 표준화 단계와, 표준화된 데이터의 특징들을 이용하여 복합생체신호를 분석하는 단계와, 분석된 복합생체신호를 이용하여 감정을 추출하는 단계 및 추출된 감정을 출력하는 단계를 포함할 수 있다.
신호 처리를 수행하는 단계는 뇌파 데이터의 신호 처리와 심전도 데이터의 신호 처리를 포함할 수 있다.
뇌파 데이터의 신호 처리는 취득된 뇌파 데이터의 노이즈 제거 및 신호를 분리하는 단계와, 분리된 신호를 이용하여 신호의 형태를 추출하는 단계와, 신호의 종류를 분류하는 단계 및 분류된 신호의 고속 푸리에 변환을 수행하는 단계를 포함할 수 있다.
심전도 데이터의 신호 처리는 R-R파 간의 간격을 분석하고, R-R파 간의 간격을 분석하기 위해 R파 정점 선택 시 비정상적 R파 정점을 제거할 수 있다.
복합생체신호를 분석하는 단계는 데이터베이스로부터 분선에 필요한 데이터를 불러오는 단계와, 데이터를 이용하여 감정을 학습하는 단계와, 감정 학습 단계에서 사용한 데이터를 제외한 나머지 데이터를 이용하여 감정을 예측하는 단계와, 감정 학습 및 감정 예측 단계를 거친 데이터를 SVM 패턴인식 알고리즘 및 K-means 패턴인식 알고리즘에 적용하는 단계를 포함할 수 있다.
본 발명의 일 실시예들에 따르면, 사용자의 감정인식 방법은 기존의 단일 생체신호를 통한 의식상태 또는 스트레스 등의 단일 상태에 대한 정보를 토대로 보다 정확도가 높은 결과를 도출할 수 있다. 또한 지속적으로 감정상태에 대한 데이터베이스의 축적과 데이터마이닝(Data Mining)을 통한 분석을 통하여 사용자의 감정인식에 대하여 개인차를 극복하고 그 효율을 극대화 할 수 있다.
도 1은 본 발명에서 제안하는 복합생체신호 기반의 감정인식 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 복합생체신호 분석부의 구성을 나타내는 도면이다.
도 3은 본 발명에서 제안하는 복합 생체신호 기반의 감정인식 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 신호 처리를 수행하는 단계를 나타내는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 복합생체신호를 분석하는 단계를 나타내는 순서도이다.
본 발명에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 이해할 수 있도록 아래 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명에서 제안하는 복합생체신호 기반의 감정인식 장치의 구성을 나타내는 도면이다.
도 1을 참고하면, 복합생체신호 기반의 감정인식 장치는 뇌파와 심전도 데이터의 복합생체신호를 이용하여 사용자의 감정상태를 추출할 수 있다. 사용자의 감정상태를 인간의 기본적인 6가지 감정상태인 행복, 슬픔, 혐오, 화남, 놀람, 무서움으로 구분하여 출력할 수 있다.
본 발명에서 제안하는 복합생체신호 기반의 감정인식 장치는 데이터 취득부(110), 신호 처리부(120), 표준화부(130), 데이터베이스(140), 복합생체신호 분석부(150), 감정 추출부(160), 출력부(170)로 구성될 수 있다.
데이터 취득부(110)는 사용자로부터 뇌파(electroencephalogram, EEG) 및 심전도(electrocardiogram, ECG) 데이터를 취득할 수 있다.
신호 처리부(120)는 데이터 취득부(110)에서 취득한 뇌파(electroencephalogram, EEG) 및 심전도(electrocardiogram, ECG) 데이터의 노이즈를 제거하고, 각 신호의 특징들을 찾아낼 수 있다. 신호 처리부(120)는 복합생체신호를 분석하기 위해 이러한 전처리 및 신호 처리를 수행할 수 있다.
표준화부(130)는 전처리 및 신호 처리를 통해 찾은 뇌파(electroencephalogram, EEG) 및 심전도(electrocardiogram, ECG) 데이터의 특징들을 이용하여 복합생체신호분석을 위해 표준화 과정을 수행할 수 있다. 표준화 과정은 데이터들을 정규화하고, 정규화된 데이터를 통해 특징점을 구할 수 있다. 표준화부(130)는 이러한 표준화 과정을 수행하여 정규화된 뇌파(electroencephalogram, EEG) 및 심전도(electrocardiogram, ECG) 데이터의 특징점들을 표준화된 데이터 형태로 데이터베이스에 저장할 수 있다.
표준화부(130)는 데이터 취득부(110)로부터 콘텍스트(context)를 얻을 수 있다. 콘텍스트(context)를 이용하여 패턴을 분석한 후 두 가지 단계로 콘텍스트(context)를 처리할 수 있다. 예를 들어, 먼저, 콘텍스트(context)를 0.1에서 0.9까지 표준화하고, 표준화된 콘텍스트(context)를 이용하여 복합생체신호를 분석할 수 있다. 두 번째로 표준화부(130)는 연관 룰의 생성을 위해 모든 생체신호 관련 콘텍스트(context)를 데이터베이스에 저장할 수 있다. 또한, 다른 사용자들에게도 적용할 수 있도록 파일의 형태로 저장할 수 있다. 이러한 방법으로 얻어진 뇌파 및 심전도 데이터는 패턴인식 알고리즘을 사용하는 모듈들에 적용하여 사용자의 감정인식 상태를 판별할 수 있다.
데이터베이스(140)는 표준화부(130)에서 표준화된 데이터, 사용자로부터 감정 선택을 통해 얻은 피드백데이터(feedback data), 감정 학습 및 감정 예측을 통해 추출된 특징점의 값들을 저장할 수 있다.
복합생체신호 분석부(150)는 표준화 과정을 거쳐 데이터베이스에 저장된 데이터들을 이용하여 복합생체신호를 분석할 수 있다.
감정 추출부(160)는 복합생체신호를 이용하여 감정을 추출하고, 복합생체신호 분석부에 추출된 감정을 피드백할 수 있다.
출력부(170)는 감정 추출부(160)을 통해 추출된 감정을 출력하여 사용자에게 결과를 알릴 수 있다.
도 2는 본 발명의 일 실시예에 따른 복합생체신호 분석부의 구성을 나타내는 도면이다.
복합생체신호 분석부는 데이터 셀렉션(Data Selection)을 통해 데이터베이스로부터 표준화된 데이터들을 가지고 올 수 있다. 데이터 셀렉션(Data Selection)은 감정인식 실험을 위한 준비 단계로서 기존의 스트레스 및 긴장 상황과 이완된 상황의 생체신호 데이터를 실험하기 위해 데이터베이스로부터 데이터를 불러올 수 있다. 이러한 데이터 셀렉션(Data Selection)을 통해 데이터베이스로부터 불러온 데이터들을 이용하여 복합생체신호를 분석할 수 있다. 복합생체신호 분석부는 감정 학습부(210), 감정 예측부(220), 알고리즘 적용부(230)로 구성될 수 있다.
감정 학습부(210)는 데이터베이스에 저장된 특징점의 값들 중 뇌파 및 심전도 데이터와 사용자의 감정 선택을 통해 얻은 피드백데이터를 이용하여 감정을 학습할 수 있다. 감정 학습에 사용되는 알고리즘은 교사학습과 비교사학습 알고리즘 중 선택할 수 있다. 선택된 알고리즘을 적용하여 감정 학습을 수행할 수 있다. 감정 학습을 수행한 후 데이터베이스에 특징점의 값들을 저장할 수 있다.
감정 예측부(220)는 감정 학습부(210)에서 사용한 데이터를 제외한 나머지 데이터를 이용하여 감정 예측을 수행할 수 있다. 감정 학습부(210)와 동일하게 감정 예측을 수행한 후 데이터베이스에 특징범의 값들을 저장할 수 있다.
알고리즘 적용부(230)는 데이터베이스에 저장된 뇌파 및 심전도 데이터의 특징점의 값들을 기계학습 알고리즘에 적용할 수 있다. 뇌파 및 심전도 데이터를 함께 SVM과 K-means 알고리즘에 적용할 수 있다.
도 3은 본 발명에서 제안하는 복합생체신호 기반의 감정인식 방법의 순서도이다.
복합 생체신호 기반의 감정인식 방법의 일 실시예에 따라 사용자로부터 뇌파(electroencephalogram, EEG) 및 심전도(electrocardiogram, ECG) 데이터가 취득될 수 있다(310).
복합생체신호를 분석하기 위해 취득된 뇌파(electroencephalogram, EEG) 및 심전도(electrocardiogram, ECG) 데이터에서 노이즈를 제거할 수 있다. 또한, 각 신호의 특징점을 찾아낼 수 있다(320). 이러한 전처리 및 신호 처리를 수행함으로써 복합생체신호를 분석을 수행할 수 있다.
전처리 및 신호 처리를 통해 찾은 뇌파(electroencephalogram, EEG) 및 심전도(electrocardiogram, ECG) 데이터의 특징점은 복합생체신호분석을 위해 표준화 과정을 거칠 수 있다(330). 표준화 과정은 데이터들을 정규화하고, 정규화된 데이터를 통해 특징점을 구할 수 있다. 이러한 표준화 과정을 수행하여 정규화된 뇌파(electroencephalogram, EEG) 및 심전도(electrocardiogram, ECG) 데이터의 특징점을 표준화된 데이터 형태로 데이터베이스에 저장할 수 있다. 또한, 사용자로부터 감정 선택을 통해 얻은 피드백데이터(feedback data)와 감정 학습 및 감정 예측을 통해 추출된 특징점의 값들을 데이터베이스에 저장할 수 있다. 데이터베이스에는 표준화된 데이터, 사용자로부터 감정 선택을 통해 얻은 피드백데이터(feedback data), 감정 학습 및 감정 예측을 통해 추출된 특징점의 값들이 저장될 수 있다.
데이터베이스에 저장된 데이터들의 특징점을 이용하여 복합생체신호를 분석할 수 있다(340). 복합생체신호를 분석하는 과정은 도 4를 참조하여 후술한다.
분석된 복합생체신호를 이용하여 감정을 추출하고, 복합생체신호 분석부에 추출된 감정을 피드백할 수 있다(350). 복합 생체신호를 이용하여 사용자의 감정을 인식하기 위해 추출된 인식상태와 스트레스지수를 데이터마이닝(Data mining)기법을 통하여 사용자의 감정상태를 파악할 수 있다.
감정을 추출한 후 추출된 감정을 출력하여 사용자에게 결과를 알릴 수 있다(360).
도 4는 본 발명의 일 실시예에 따른 신호 처리를 수행하는 단계(320)를 나타내는 순서도이다.
신호 처리를 수행하는 단계는 뇌파 데이터의 신호 처리와 심전도 데이터의 신호 처리를 포함할 수 있다.
뇌파 데이터의 신호 처리는 사용자의 전전두엽 부위에서 전극을 통해 취득될 수 있다. 취득된 신호는 전처리 과정, 고속 푸리에 변환(Fast Fourier Transform) 과정을 거쳐 주파수영역 분석방법을 적용할 수 있다. 뇌파의 전처리 과정은 총 3단계를 포함할 수 있다.
첫 번째로 노이즈를 제거하고 분석에 필요한 신호를 분리하기 위한 과정(410)을 포함할 수 있다. 노이즈 제거 및 신호를 분리하는 방법에는 자기 상관 함수(Auto Correlation Function), ICA, 밴드 패스 필터링(Band Pass Filtering), 노치 필터링(Notch Filtering), 앙상블 에버리징(Ensemble Averaging) 등의 분석방법이 이용될 수 있다. 이 중 ICA를 통한 노이즈제거 방법과 밴드 패스 필터링(Band Pass Filtering), 노치 필터링(Notch Filtering) 방법을 이용하여 감정상태 판별에 이용되지 않는 불필요한 데이터를 제거할 수 있다.
두 번째 단계로 신호의 형태를 추출하는 단계(420)를 포함할 수 있다. 분리된 신호를 토대로 신호의 형태를 추출하는 과정을 통해 신호를 분류할 때 인식률을 높이기 위해 뇌파 측정 장치로부터 들어온 뇌파데이터의 정보를 변환할 수 있다. 형태추출을 위한 방법으로 자기회귀모델, 파워스펙트럼, 효스파라미터, 주성분분석, 선형판별분석 등의 방법이 이용되고 있으며 본 발명에서는 파워스펙트럼을 이용하여 각 주파수 성분이 가지는 파워를 분석할 수 있다.
세 번째 단계로 신호분류 단계(430)를 포함할 수 있다. 변환된 각각의 뇌파데이터가 어떤 집단에 속하는지 분류할 수 있다. 예를 들어, 다층신경회로망 알고리즘 등을 통하여 다시 분류될 수 있다. 이러한 신호 처리의 3단계는 실제 측정된 로우 데이터(Raw data)를 사용자가 이해하고 활용할 수 있는 어플리케이션 단계로 이어주는 역할을 할 수 있다.
아날로그 형태로 전처리 된 뇌파를 고속 푸리에 변환(Fast Fourier Transform) 과정을 통하여 시간영역에서의 신호를 주파수영역으로 변환할 수 있다.
고속 푸리에 변환(Fast Fourier Transform)은 어떤 차원의 연속 자료를 다른 차원의 연속자료로 변환시키는 방법이다. 대표적인 것이 시계열 자료를 주파수계열 자료로, 또는 그 반대로 주파수계열 자료를 시계열 자료로 변화시킬 수 있다. 따라서, 임의의 시간함수에 대한 신호를 주파수 성분에 대한 크기와 각 주파수에 대한 위상을 알 수 있다. 이러한 방법을 이용하여 시간에 따라 측정된 뇌파 신호의 주파수 특성을 분석할 수 있다.
고속 푸리에 변환(Fast Fourier Transform)을 통하여 주파수영역으로 변환된 뇌파에 대한 주파수 특성을 분석하여 사용자의 의식상태를 판별할 수 있다.
아래 <표 1>은 각 뇌파에 따른 주파수 값 및 의식 상태를 나타낼 수 있다.
<표 1>
Figure pat00001

일반적으로 뇌파는 <표 1>과 같은 상태를 나타내고 있으나, 개인에 따라 편차가 발생될 수 있다.
심전도 데이터의 신호 처리는 사용자의 심장부위에서 전극을 통해 측정된 심전도의 R-R파간의 간격을 분석하여 스트레스 정도를 파악할 수 있다. 심전도의 R-R파 간격의 변화는 자율신경계가 심장리듬 발생부에 길항 제어를 하기 때문에 발생할 수 있다. 따라서 R-R 간격의 변화를 분석하면 자율신경계를 구성하는 교감 및 부교감 신경계의 활성양상을 파악할 수 있다. 교감 및 부교감 신경계의 활성양상은 신체의 스트레스 상태와 밀접한 연관을 갖고 있기 때문에 R파간의 간격 분석을 통하여 스트레스 정도를 파악할 수 있다.
심전도는 심장이 한 번 순환할 때마다 P파, QRS군 및 T파가 한 번씩 만들어 질 수 있다. 그리고 주기적으로 비슷한 파형의 연속적인 형태를 보일 수 있다. 이러한 주기에 따라서 각각의 파형이 구분될 수 있다.
정상 심전도 파형은 일반적으로 0.6 ~ 1초사이의 R-R파 간격을 가질 수 있다. R파의 정점은 한 주기의 심전도 파형에서 가장 높은 전압 값을 나타낼 수 있다. 따라서 0.8초를 주기로 최대 값에 해당하는 값을 구하고 500 샘플마다 샘플 값들의 평균을 기저선(baseline)으로 설정할 수 있다. 기저선을 넘지 못하는 점들은 버리고 넘는 점들을 R파의 정점으로 선택할 수 있다. 이것은 심장주기가 불규칙한 경우, 중간에 R파의 정점이 아닌 점들이 R파의 정점으로 잡히는 오류를 방지할 수 있다.
예를 들어, 5분간의 심전도를 측정하고 측정된 신호에서 R-R파 간격의 추출 및 분석을 통하여 스트레스 지수를 산출하고 이용할 수 있다.
도 5는 본 발명의 일 실시예에 따른 복합생체신호를 분석하는 단계를 나타내는 순서도이다.
복합생체신호의 분석은 데이터 셀렉션(Data Selection)을 통해 데이터베이스로부터 표준화된 데이터들을 가지고 올 수 있다(510). 데이터 셀렉션(Data Selection)은 감정인식 실험을 위한 준비 단계로서 기존의 스트레스 및 긴장 상황과 이완된 상황의 생체신호 데이터를 실험하기 위해 데이터베이스로부터 데이터를 불러올 수 있다. 이러한 데이터 셀렉션(Data Selection)을 통해 데이터베이스로부터 불러온 데이터들을 이용하여 복합생체신호를 분석할 수 있다.
데이터베이스로부터 불러온 데이터들을 이용하여 감정을 학습할 수 있다(520). 감정을 학습하는 방법은 데이터베이스에 저장된 특징점의 값들 중 뇌파 및 심전도 데이터와 사용자의 감정 선택을 통해 얻은 피드백데이터를 이용하여 감정을 학습할 수 있다. 감정 학습에 사용되는 알고리즘은 교사학습과 비교사학습 알고리즘 중 선택할 수 있다. 선택된 알고리즘을 적용하여 감정 학습을 수행할 수 있다. 감정 학습을 수행한 후 데이터베이스에 특징점의 값들을 저장할 수 있다.
감정 학습에서 사용한 데이터를 제외한 나머지 데이터를 이용하여 감정 예측을 수행할 수 있다(530). 감정 학습단계와 동일하게 감정 예측을 수행한 후 데이터베이스에 특징범의 값들을 저장할 수 있다.
이후, 데이터베이스에 저장된 뇌파 및 심전도 데이터의 특징점의 값들을 알고리즘에 적용할 수 있다(540). 예를 들어, 뇌파 및 심전도 데이터를 함께 SVM 패턴인식 알고리즘과 K-means 패턴인식 알고리즘에 적용할 수 있다.
SVM(Support Vector Machine) 패턴인식 알고리즘은 구조적 리스크 최소화(SRM: Structural Risk Minimize)를 통해 일반화 에러에서 오류를 최소화 시키는 방법을 이용할 수 있다.
K-means 패턴인식 알고리즘은 거리에 기반을 둔 클러스터링(clustering) 기법으로 기준점에 가까운 곳의 데이터들을 하나의 군집으로 묶는 방법을 말한다.
복합생체신호를 이용한 감정인식은 인간의 기본감정이라 정의되어 있는 행복, 슬픔, 혐오, 화남, 놀람, 무서움의 6가지 감정으로 구분될 수 있다. 인식된 사용자의 감정은 출력부를 통하여 사용자에게 결과를 출력할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다.　 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.　 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (8)

  1. 사용자로부터 뇌파 및 심전도 데이터를 취득하는 데이터 취득부;
    상기 데이터들의 노이즈 제거 및 신호 처리를 수행하는 신호 처리부;
    복합생체신호 분석을 위해 상기 신호 처리된 데이터들의 특징을 표준화하는 표준화부;
    상기 표준화된 데이터들의 특징을 저장하는 데이터베이스;
    상기 저장된 데이터들의 특징을 이용하여 복합생체신호를 분석하는 복합생체신호 분석부;
    상기 분석된 복합생체신호를 이용하여 감정을 추출하는 감정 추출부; 및
    상기 추출된 감정을 출력하는 출력부
    를 포함하는 복합생체신호 기반의 감정인식 장치.
  2. 제1항에 있어서,
    상기 데이터베이스는
    상기 표준화를 통해 정규화된 데이터 및 사용자로부터 감정 선택을 통해 얻은 피드백데이터
    를 포함하는 복합생체신호 기반의 감정인식 장치.
  3. 제1항에 있어서,
    상기 복합생체신호 분석부는
    상기 데이터베이스에 저장된 데이터를 이용하여 감정 학습을 수행하는 감정 학습부;
    상기 데이터베이스에 저장된 데이터 중 상기 감정 학습부에서 사용한 데이터를 제외한 나머지 데이터를 이용하여 감정 예측을 수행하는 감정 예측부; 및
    상기 감정 학습 및 감정 예측을 통해 추출된 특징들을 SVM 및 K-means 알고리즘에 적용하여 복합생체신호를 분석하는 알고리즘 적용부
    를 포함하는 복합생체신호 기반의 감정인식 장치.
  4. 사용자로부터 뇌파 및 심전도 데이터를 취득하는 단계;
    상기 취득된 뇌파 및 심전도 데이터들의 신호 처리를 수행하는 단계;
    복합생체신호 분석을 위해 상기 신호 처리된 데이터의 특징들을 표준화하여 데이터베이스에 저장하는 표준화 단계;
    상기 표준화된 데이터의 특징들을 이용하여 복합생체신호를 분석하는 단계;
    상기 분석된 복합생체신호를 이용하여 감정을 추출하는 단계; 및
    상기 추출된 감정을 출력하는 단계
    를 포함하는 복합생체신호 기반의 감정인식 방법.
  5. 제4항에 있어서,
    상기 신호 처리를 수행하는 단계는 뇌파 데이터의 신호 처리와 심전도 데이터의 신호 처리
    를 포함하는 복합생체신호 기반의 감정인식 방법.
  6. 제5항에 있어서,
    상기 뇌파 데이터의 신호 처리는,
    취득된 뇌파 데이터의 노이즈 제거 및 신호를 분리하는 단계;
    상기 분리된 신호를 이용하여 신호의 형태를 추출하는 단계;
    상기 신호의 종류를 분류하는 단계; 및
    상기 분류된 신호의 고속 푸리에 변환을 수행하는 단계
    를 포함하는 복합생체신호 기반의 감정인식 방법.
  7. 제5항에 있어서,
    상기 심전도 데이터의 신호 처리는 R-R파 간의 간격을 분석하고, 상기 R-R파 간의 간격을 분석하기 위해 R파 정점 선택 시 비정상적 R파 정점을 제거하는
    복합생체신호 기반의 감정인식 방법.
  8. 제4항에 있어서,
    상기 복합생체신호를 분석하는 단계는
    데이터베이스로부터 분선에 필요한 데이터를 불러오는 단계;
    상기 데이터를 이용하여 감정을 학습하는 단계;
    상기 감정 학습 단계에서 사용한 데이터를 제외한 나머지 데이터를 이용하여 감정을 예측하는 단계; 및
    상기 감정 학습 및 감정 예측 단계를 거친 데이터를 SVM 패턴인식 알고리즘 및 K-means 패턴인식 알고리즘에 적용하는 단계
    를 포함하는 복합생체신호 기반의 감정인식 방법.
KR1020130029025A 2013-03-19 2013-03-19 복합 생체신호 기반의 감정인식 방법 및 장치 KR20140114588A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130029025A KR20140114588A (ko) 2013-03-19 2013-03-19 복합 생체신호 기반의 감정인식 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130029025A KR20140114588A (ko) 2013-03-19 2013-03-19 복합 생체신호 기반의 감정인식 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20140114588A true KR20140114588A (ko) 2014-09-29

Family

ID=51758235

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130029025A KR20140114588A (ko) 2013-03-19 2013-03-19 복합 생체신호 기반의 감정인식 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20140114588A (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104407699A (zh) * 2014-11-24 2015-03-11 深圳信息职业技术学院 一种人机交互方法、装置及系统
WO2017007277A1 (en) * 2015-07-08 2017-01-12 Samsung Electronics Co., Ltd. Emotion evaluation
WO2017030539A1 (en) * 2015-08-14 2017-02-23 Hewlett-Packard Development Company, L.P. Biometric data to facilitate learning
KR101719546B1 (ko) * 2015-10-08 2017-03-27 세종대학교산학협력단 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법 및 그 시스템
CN106933345A (zh) * 2017-01-18 2017-07-07 北京光年无限科技有限公司 用于智能机器人的多模态交互方法及装置
CN107736894A (zh) * 2017-09-24 2018-02-27 天津大学 一种基于深度学习的心电信号情绪识别方法
KR101998114B1 (ko) * 2018-03-15 2019-07-10 한국과학기술연구원 심박변이도 파라미터 선택을 이용한 일상생활의 스트레스 모니터링 방법
KR20190125961A (ko) * 2019-10-25 2019-11-07 주식회사 아이메디신 넥밴드 타입 헬스케어 서비스 시스템 및 방법
KR20200115692A (ko) * 2019-03-06 2020-10-08 상명대학교 천안산학협력단 생체신호를 이용한 딥러닝 기반 실시간 감정인식 시스템 및 이를 이용한 방법
WO2020251135A1 (ko) * 2019-06-11 2020-12-17 주식회사 룩시드랩스 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스
WO2024128478A1 (ko) * 2022-12-14 2024-06-20 메타테라퓨틱스 주식회사 Ai 기반의 정동장애 디지털 진단 시스템
KR102699988B1 (ko) 2023-12-28 2024-08-28 주식회사 엠마헬스케어 뇌파 신호와 얼굴 이미지로부터 감정 및 스트레스 지수를 추정하는 시스템

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104407699A (zh) * 2014-11-24 2015-03-11 深圳信息职业技术学院 一种人机交互方法、装置及系统
WO2017007277A1 (en) * 2015-07-08 2017-01-12 Samsung Electronics Co., Ltd. Emotion evaluation
KR20180007006A (ko) * 2015-07-08 2018-01-19 삼성전자주식회사 감정 평가
US10285634B2 (en) 2015-07-08 2019-05-14 Samsung Electronics Company, Ltd. Emotion evaluation
US11232370B2 (en) 2015-08-14 2022-01-25 Hewlett-Packard Development Company, L.P. Biometric data to facilitate learning
WO2017030539A1 (en) * 2015-08-14 2017-02-23 Hewlett-Packard Development Company, L.P. Biometric data to facilitate learning
KR101719546B1 (ko) * 2015-10-08 2017-03-27 세종대학교산학협력단 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법 및 그 시스템
CN106933345A (zh) * 2017-01-18 2017-07-07 北京光年无限科技有限公司 用于智能机器人的多模态交互方法及装置
CN107736894A (zh) * 2017-09-24 2018-02-27 天津大学 一种基于深度学习的心电信号情绪识别方法
KR101998114B1 (ko) * 2018-03-15 2019-07-10 한국과학기술연구원 심박변이도 파라미터 선택을 이용한 일상생활의 스트레스 모니터링 방법
KR20200115692A (ko) * 2019-03-06 2020-10-08 상명대학교 천안산학협력단 생체신호를 이용한 딥러닝 기반 실시간 감정인식 시스템 및 이를 이용한 방법
WO2020251135A1 (ko) * 2019-06-11 2020-12-17 주식회사 룩시드랩스 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스
KR20190125961A (ko) * 2019-10-25 2019-11-07 주식회사 아이메디신 넥밴드 타입 헬스케어 서비스 시스템 및 방법
WO2024128478A1 (ko) * 2022-12-14 2024-06-20 메타테라퓨틱스 주식회사 Ai 기반의 정동장애 디지털 진단 시스템
KR102699988B1 (ko) 2023-12-28 2024-08-28 주식회사 엠마헬스케어 뇌파 신호와 얼굴 이미지로부터 감정 및 스트레스 지수를 추정하는 시스템

Similar Documents

Publication Publication Date Title
KR20140114588A (ko) 복합 생체신호 기반의 감정인식 방법 및 장치
Zheng et al. EEG-based emotion classification using deep belief networks
Geva et al. Forecasting generalized epileptic seizures from the EEG signal by wavelet analysis and dynamic unsupervised fuzzy clustering
Hsieh et al. Feature selection framework for XGBoost based on electrodermal activity in stress detection
Lu et al. Feature selection for ECG signal processing using improved genetic algorithm and empirical mode decomposition
Dar et al. ECG based biometric identification for population with normal and cardiac anomalies using hybrid HRV and DWT features
Sridhar et al. Automated diagnosis of Coronary Artery Disease using nonlinear features extracted from ECG signals
Fatimah et al. Mental arithmetic task classification using fourier decomposition method
Arvanaghi et al. Fusion of ECG and ABP signals based on wavelet transform for cardiac arrhythmias classification
Slama et al. Application of statistical features and multilayer neural network to automatic diagnosis of arrhythmia by ECG signals
Zhang et al. Selection of optimal EEG electrodes for human emotion recognition
Altan et al. A multistage deep learning algorithm for detecting arrhythmia
Nankani et al. Atrial fibrillation classification and prediction explanation using transformer neural network
Mehta et al. Comparative study of QRS detection in single lead and 12-lead ECG based on entropy and combined entropy criteria using support vector machine.
Zhang et al. Four-classes human emotion recognition via entropy characteristic and random Forest
Mandal et al. Prediction of atrial fibrillation based on nonlinear modeling of heart rate variability signal and SVM classifier
Al Abdi et al. Cardiac disease classification using total variation denoising and morlet continuous wavelet transformation of ECG signals
Sakib et al. Harnessing artificial intelligence for secure ECG analytics at the edge for cardiac arrhythmia classification
Dilber et al. EEG based detection of epilepsy by a mixed design approach
Erkan et al. A study on the effect of psychophysiological signal features on classification methods
Anastasiadou et al. Automatic detection and removal of muscle artifacts from scalp EEG recordings in patients with epilepsy
Ramakrishna et al. Classification of human emotions using EEG-based causal connectivity patterns
Rudas et al. On activity identification pipelines for a low-accuracy EEG device
Moeynoi et al. Dimension reduction based on Canonical Correlation Analysis technique to classify sleep stages of sleep apnea disorder using EEG and ECG signals
Wang et al. Mental workload recognition by combining wavelet packet transform and kernel spectral regression techniques

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination