KR20200007162A - 근전도 신호를 이용하는 감정 인식 방법 및 장치 - Google Patents

근전도 신호를 이용하는 감정 인식 방법 및 장치 Download PDF

Info

Publication number
KR20200007162A
KR20200007162A KR1020180080953A KR20180080953A KR20200007162A KR 20200007162 A KR20200007162 A KR 20200007162A KR 1020180080953 A KR1020180080953 A KR 1020180080953A KR 20180080953 A KR20180080953 A KR 20180080953A KR 20200007162 A KR20200007162 A KR 20200007162A
Authority
KR
South Korea
Prior art keywords
emotion
user
emg signal
emg
emotions
Prior art date
Application number
KR1020180080953A
Other languages
English (en)
Other versions
KR102216360B1 (ko
Inventor
임창환
차호승
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020180080953A priority Critical patent/KR102216360B1/ko
Publication of KR20200007162A publication Critical patent/KR20200007162A/ko
Application granted granted Critical
Publication of KR102216360B1 publication Critical patent/KR102216360B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A61B5/0488—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

사용자의 표정으로부터 사용자의 감정을 추론할 수 있는, 근전도 신호를 이용하는 감정 인식 방법 및 장치가 개시된다. 개시된 근전도 신호를 이용하는 감정 인식 방법은, 사용자 안면부에 대한 근전도 신호를 입력받는 단계; 상기 근전도 신호에 대해 전처리를 수행하는 단계; 전처리된 근전도 신호로부터 특징값을 추출하는 단계; 및 상기 특징값을 이용하여, 사용자에 대한 감정을 인식하는 단계를 포함하며, 상기 특징값은 샘플 엔트로피(sample entropy), RMS, 웨이브랭스 및 캡스트럴 계수(cepstral coefficient) 중 둘 이상을 포함한다.

Description

근전도 신호를 이용하는 감정 인식 방법 및 장치{EMOTION RECOGNITION METHOD AND DEVICE USING ELECTROMYOGRAM SIGNAL}
본 발명은 감정 인식 방법 및 장치에 관한 것으로서, 더욱 상세하게는 사용자 안면부의 근전도 신호를 이용하는 감정 인식 방법 및 장치에 관한 것이다.
현재 얼굴 표정 인식 기술은 크게 두가지 방향으로 연구되고 있다. 하나는 이미지 기반으로 얼굴 표정을 인식하는 것이고, 다른 하나는 얼굴의 근전도(electromyogram, EMG) 신호를 기반으로 얼굴 표정을 인식하는 것이다.
이미지 기반의 얼굴 표정 인식 기술의 경우, 사용자의 시야 전방에 카메라가 위치해야하기 때문에 사용자의 시야가 카메라에 의해 가려질 수 있으며, 사용자가 HMD와 같은 장비를 착용할 경우 얼굴 표정 인식 성능이 떨어질 수 있다. 최근 가상 현실 기술이 발달하면서 다양한 가상 현실 서비스가 제공되고 있으며, 가상 현실 서비스를 제공받는 사용자의 얼굴 표정을 가상 현실 서비스에 융합하려는 시도들이 있는데, 이미지 기반의 얼굴 표정 인식 기술은 이러한 서비스에 적합하지 않다.
따라서 최근에는 HMD에 근전도 측정 전극을 부착하여, 근전도 신호 기반으로 사용자의 얼굴 표정을 인식하는 기술이 많이 개발되고 있다. 얼굴 표정(웃음, 화남, 슬픔 등등)에 따라 얼굴 근육의 활성화정도가 다르게 일어나므로, 이러한 다른 패턴을 나타내는 근전도 신호를 이용하여 사용자의 얼굴 표정을 인식할 수 있다.
관련 선행문헌으로 대한민국 공개특허 제2016-0024725호, 대한민국 등록특허 제10-1633057호가 있다.
본 발명은 사용자의 표정으로부터 사용자의 감정을 추론할 수 있는, 근전도 신호를 이용하는 감정 인식 방법 및 장치를 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 사용자 안면부에 대한 근전도 신호를 입력받는 단계; 상기 근전도 신호에 대해 전처리를 수행하는 단계; 전처리된 근전도 신호로부터 특징값을 추출하는 단계; 및 상기 특징값을 이용하여, 사용자에 대한 감정을 인식하는 단계를 포함하며, 상기 특징값은 샘플 엔트로피(sample entropy), RMS, 웨이브랭스 및 캡스트럴 계수(cepstral coefficient) 중 둘 이상을 포함하는 근전도 신호를 이용하는 감정 인식 방법이 제공된다.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 사용자 안면부의 제1근전도 신호를 이용하여, 사용자에 대한 감정을 인식하는 단계; 상기 인식된 감정에 대한 정확도를 분석하는 단계; 상기 인식된 복수의 감정 중에서, 상기 정확도에 따라 선택된 감정을 포함하는 후보 감정 그룹을 결정하는 단계; 및 상기 사용자 안면부의 제2근전도 신호를 이용하여, 상기 후보 감정 그룹에 포함된 감정 중 하나를 상기 사용자에 대한 감정으로 인식하는 단계를 포함하는 근전도 신호를 이용하는 감정 인식 방법이 제공된다.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 근전도 신호를 이용하는 웨어러블 디바이스 타입의 감정 인식 장치에 있어서, 사용자 안면부의 근전도 신호를 측정하는 복수의 전극; 상기 근전도 신호로부터 특징값을 추출하고, 상기 특징값을 이용하여 사용자에 대한 감정을 인식하는 감정 인식부; 및 상기 인식된 감정에 기반하여 상기 사용자에 대한 아바타를 생성하는 이미지 처리부를 포함하는 근전도 신호를 이용하는 감정 인식 장치가 제공된다.
본 발명에 따르면, 사용자 안면부에 대한 근전도 신호를 이용함으로써, 사용자의 표정 변화에 따른 감정을 추론할 수 있다.
또한 본 발명에 따르면 미리 인식된 감정의 정확도를 분석하고 분석된 결과에 기반하여 사용자의 감정을 인식함으로써, 감정 인식의 정확도가 향상될 수 있다.
또한 본 발명에 따르면 기계 학습에 이용되는 감정을, 감정 인식의 정확도 및 개인별 감정 패턴에 적응적으로 결정함으로써, 감정 학습에 소요되는 시간을 줄일 수 있다.
도 1은 본 발명의 일실시예에 따른 근전도 신호를 이용하는 감정 인식 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 근전도 신호를 이용하는 감정 인식 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 다른 실시예에 따른 근전도 신호를 이용하는 감정 인식 방법을 설명하기 위한 도면이다.
도 4는 8개의 감정에 대한 혼동 행렬을 도시하는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
본 발명은 사용자의 얼굴 표정으로부터 사용자에 대한 감정을 인식하는 방법에 관한 발명으로서, 사용자 안면부에 대한 근전도 신호를 이용하여 사용자에 대한 감정을 인식하는 방법을 제안한다.
감정에 따라서 얼굴 표정이 달라지므로, 얼굴 표정으로부터 사용자에 대한 감정을 추론할 수 있다. 그리고 이러한 얼굴 표정에 따라서 얼굴 근육의 활성화 정도가 다르게 일어나므로, 얼굴 표정에 따라서 안면부에 대한 근전도 신호가 변화하며 결국, 사용자 안면부에 대한 근전도 신호로부터 사용자에 대한 감정을 추론할 수 있다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 근전도 신호를 이용하는 감정 인식 장치를 설명하기 위한 도면이다.
본 발명에 따른 감정 인식 장치는 웨어러블 타입의 장치로서, 일실시예로서 사용자의 안면부에 착용되는 HMD(Head Mounted Display) 타입일 수 있다.
본 발명에 따른 감정 인식 장치는 복수의 전극(110), 감정 인식부(120) 및 이미지 처리부(130)를 포함한다.
복수의 전극(110)은 사용자 안면부의 근정도 신호를 측정하며, 사용자의 안구 주변에 접촉하여 근전도 신호를 측정할 수 있다. 전극의 개수 및 위치는 실시예에 따라서 다양하게 결정될 수 있다.
감정 인식부(120)는 근전도 신호로부터 특징값을 추출하고, 추출된 특징값을 이용하여 사용자에 대한 감정을 인식한다. 일실시예로서, 샘플 엔트로피(sample entropy), RMS(Root Mean Square), 웨이브랭스(wavelength) 및 캡스트럴 계수(cepstral coefficient) 중 둘 이상이 특징값으로 이용될 수 있다.
감정 인식부(120)는 일실시예로서, 학습 데이터를 이용하여 사용자에 대한 감정을 인식할 수 있다. 다양한 감정에 대한 사용자의 레퍼런스 얼굴 표정으로부터 얻어진 근전도 신호를 이용하여 기계 학습을 수행하고, 기계 학습으로부터 얻어진 학습 데이터를 감정 인식에 이용할 수 있다. 사용자가 기계 학습에 이용된 레퍼런스 얼굴 표정과 유사한 얼굴 표정을 짓는다면, 근전도 신호 또한 유사할 것이므로 레퍼런스 얼굴 표정에 대응되는 감정이 사용자에 대한 감정으로 인식될 수 있을 것이다.
이미지 처리부(130)는 인식된 감정에 기반하여, 사용자에 대한 아바타를 생성한다. 즉, 이미지 처리부(130)는 사용자의 현재 감정 상태를 나타내는 아바타를 생성한다.
가상 현실 장치는 HMD 형태로 대부분 제공되는데, 이미지 처리부(130)는 가상 현실 공간에서, 사용자의 감정을 나타내는 아바타를 생성할 수 있다. 사용자는 이러한 아바타를 이용하여 다양한 가상 현실 서비스를 이용할 수 있다.
도 2는 본 발명의 일실시예에 따른 근전도 신호를 이용하는 감정 인식 방법을 설명하기 위한 도면이다.
본 발명에 따른 감정 인식 방법은 프로세서를 포함하는 컴퓨팅 장치에서 수행될 수 있다. 이하에서, 도 1에서 설명된 감정 인식 장치의 감정 인식 방법이 설명되나, 본 발명에 따른 감정 인식 방법이 수행되는 감정 인식 장치는 웨어러블 타입으로 한정될 필요는 없다.
본 발명에 따른 감정 인식 장치는 사용자 안면부에 대한 근전도 신호를 입력받아(S210), 근전도 신호에 대해 전처리를 수행(S220)한다.
근전도 신호는 사용자 안면부에 착용된 웨어러블 디바이스에서 측정된 신호이거나 또는 별도의 근전도 측정 장치로부터 제공될 수 있다. 감정 인식 장치는 입력된 근전도 신호에 대해 20~450Hz의 대역통과필터를 이용해 전처리를 수행할 수 있다.
본 발명에 따른 감정 인식 장치는 전처리된 근전도 신호로부터 특징값을 추출(S230)하며, 전술된 바와 같이, 샘플 엔트로피, RMS, 웨이브랭스 및 캡스트럴 계수 중 둘 이상을 특징값으로 추출할 수 있다.
단계 S230에서 감정 인식 장치는 미리 설정된 시간동안 측정된 근전도 신호에 대해, 미리 설정된 크기의 윈도우를 이동시키며, 윈도우 각각에 대한 특징값을 추출한다. 예컨대 사용자 안면부에 대한 근전도 신호는 3초동안 측정된 신호일 수 있으며, 0.1초 크기의 윈도우에 대해 특징값이 추출된다. 다시 말해, 0.1초 동안의 근전도 신호에 대해 특징값이 추출되며, 윈도우 구간별로 특징값이 추출된다.
이 때, 감정 인식 장치는 전처리된 근전도 신호를 자기회귀(Autoregressive, AR) 모델링하여, 특징값을 추출할 수 있다. 자기회귀 모델링은 일실시예로서, [수학식 1]과 같이 이루어질 수 있다.
Figure pat00001
[수학식 1]은 4차 자기회귀 모델링을 나타내며, 여기서,
Figure pat00002
는 현재 근전도 신호,
Figure pat00003
는 이전 근전도 신호를 나타낸다. 그리고 C는 상수이며, ai는 모델링에서 계산되는 계수이다.
Figure pat00004
는 잡음 성분을 나타낸다.
위와 같이 모델링된 수식으로부터, [수학식 2]와 같이 캡스트럴 계수가 계산될 수 있다. 각각의 윈도우 별로 근전도 신호에 대해 모델링이 이루어지며, [수학식 2]를 통해 윈도우 각각에 대한 캡스트럴 계수(c1, cp)가 계산된다.
Figure pat00005
여기서, ap는 4차 자기회귀 모델의 계수에 대응되며, p는
Figure pat00006
범위의 정수이다.
그리고 RMS, 샘플 엔트로피 및 웨이브랭스는 별도의 모델링없이, 각 윈도우 구간에서의 근전도 신호를 샘플링하여 계산될 수 있다. RMS는 윈도우 구간에서의 신호값에 대한 실효치를 나타내며, 웨이브랭스는 윈도우 구간에서의 신호의 길이에 대응된다. 그리고 샘플 엔트로피는 연속된 신호의 특성을 나타내는데 사용되는 통계적 파라미터의 한 종류이다(Richman, JS; Moorman, JR, Physiological time-series analysis using approximate entropy and sample entropy, Journal of Physiology. Heart and Circulatory Physiology, 2000).
본 발명에 따른 감정 인식 장치는 추출된 특징값을 이용하여, 사용자에 대한 감정을 인식(S240)한다.
전술된 바와 같이, 감정 인식 장치는 기계 학습을 통해 사용자의 감정을 추론할 수 있으며, 일실시예로서 LDA(Linear Discriminant Analysis) 알고리즘이 이용될 수 있다.
감정 인식 장치는 윈도우 각각에 대한 특징값으로부터 사용자에 대한 감정을 인식하며, 인식된 감정의 개수에 따라서, 사용자에 대한 최종 감정을 결정할 수 있다. 예컨대, 30개의 윈도우에 대해서 인식된 감정 중 슬픔이 가장 많다면, 감정 인식 장치는 사용자에 대한 최종 감정을 슬픔으로 결정할 수 있다.
결국 본 발명에 따르면, 사용자 안면부에 대한 근전도 신호를 이용함으로써, 사용자의 표정 변화에 따른 감정을 추론할 수 있다.
한편, 본 발명에 따른 감정 인식 장치는 인식된 감정에 대한 정확도를 분석하고 분석 결과를 활용함으로써, 감정 인식에 대한 정확도를 높일 수 있는데, 이는 도 3에서 보다 상세히 설명하기로 한다.
도 3은 본 발명의 다른 실시예에 따른 근전도 신호를 이용하는 감정 인식 방법을 설명하기 위한 도면이며, 도 4는 8개의 감정에 대한 혼동 행렬을 도시하는 도면이다.
본 발명에 따른 감정 인식 장치는 사용자 안면부의 제1근전도 신호를 이용하여, 사용자에 대한 감정을 인식(S310)한다. 도 2에서 설명된 바와 같이, 제1근전도 신호의 특징값 및 기계 학습을 이용하여 감정을 인식할 수 있다.
그리고 감정 인식 장치는 제1근전도 신호를 통해 인식된 감정에 대한 정확도를 분석(S320)한다. 사용자의 실제 감정과 단계 S310에서 인식된 결과를 비교함으로써 정확도가 분석될 수 있으며, 도 4와 같은 혼동 행렬을 통해 정확도가 분석될 수 있다.
도 4는 사용자의 8개 감정과 본 발명에 따른 감정 인식 결과를 비교하여 얻어진 혼동 행렬(confusion matrix)을 나타내는 도면으로서, 인식된 감정의 정확도를 나타낸다. 혼동 행렬은 사용자의 실제 감정(target class)에 대한 감정의 인식 결과(output class)의 횟수를 나타낸다.
도 4는 8개 감정 각각에 대한 총 6840번의 감정 인식 결과를 나타내며, 예컨대, 사용자의 실제 감정인 화남에 대해 화남으로 인식된 횟수는 4263회이며, 비웃음으로 인식된 횟수는 75회이다. 그리고 사용자의 실제 감정인 비웃음에 대해 비웃음으로 인식된 횟수는 6179회이며, 역겨움으로 인식된 횟수는 156회이다. 도 4에서 제일 아래 행의 초록색 수치(%)는 감정 인식의 정확도, 적색 수치(%)는 감정 인식의 에러율을 나타낸다.
도 4를 참조하면, 행복(93.4%), 비웃음(90.3%), 놀람(75.6%)에 대한 감정 인식의 정확도가 75% 이상으로 높은 편이며, 슬픔(67.6%), 무표정(67.5%), 역겨움(66.6%), 화남(62.3%), 두려움(61.1%) 등에 대한 감정 인식의 정확도가 상대적으로 낮음을 알 수 있다. 감정의 종류에 따라서, 표정이 유사한 감정이 있을 수 있기 때문에, 인식 정확도가 낮은 감정이 존재할 수 있다.
감정 인식 장치는 단계 S310에서 인식된 복수의 감정 중에서, 정확도에 따라 선택된 감정을 포함하는 후보 감정 그룹을 결정(S330)하고, 사용자 안면부의 제2근전도 신호를 이용하여, 후보 감정 그룹에 포함된 감정 중 하나를 사용자에 대한 감정으로 인식(S340)한다.
일실시예로서, 감정 인식 장치는 도 4에서 정확도가 높은 것으로 분류된 비웃음, 행복 및 놀람을 포함하는 후보 감정 그룹을 결정할 수 있다.
또는 감정 인식 장치는 감정 인식 정확도 뿐만 아니라, 사용자가 실생활에서 자주 느끼는 감정, 즉 사용자의 감정 패턴을 고려하여 후보 감정 그룹을 결정할 수도 있다. 예컨대, 사용자가 실생활에서 자주 느끼는 감정이 행복, 놀람, 슬픔, 화남, 두려움이라면, 이 중에서 정확도가 높은 순서대로 미리 설정된 개수만큼의 감정을 포함하는 후보 감정 그룹이 결정될 수 있다. 미리 설정된 개수가 4라면, 행복, 놀람, 슬픔, 화남이라는 4개의 감정이 후보 감정 그룹에 포함될 수 있다. 사용자의 감정 패턴은 사용자에 의해 설정될 수 있다.
이러한 후보 감정 그룹에 포함된 감정에 대한 근전도 신호의 특징값을 이용하여 학습이 수행될 수 있으며, 감정 인식 장치는 학습 데이터에 기반하여, 후보 감정 그룹에 포함된 감정 중 하나를 사용자의 감정으로 인식할 수 있다. 단계 S310과 마찬가지로, 감정 인식 장치는 단계 S340에서 제2근전도 신호로부터 추출된 특징값을 이용하여, 사용자에 대한 감정을 인식할 수 있다.
[표 1]은 도 4의 8개의 감정을 대상으로 하는 감정 인식 결과의 정확도를 나타내는 표이며, [표 2]는 행복, 놀람, 슬픔, 화남이라는 4개의 감정이 포함된 후보 감정 그룹을 이용한 감정 인식 결과의 정확도를 나타내는 표이다. 후보 감정 그룹을 이용한 경우, 정확도가 10% 이상 상승하였음을 알 수 있다.
Figure pat00007
Figure pat00008
결국, 본 발명에 따르면 미리 인식된 감정의 정확도를 분석하고 분석된 결과에 기반하여 사용자의 감정을 인식함으로써, 감정 인식의 정확도가 향상될 수 있다.
또한 본 발명에 따르면 기계 학습에 이용되는 감정을, 감정 인식의 정확도 및 개인별 감정 패턴에 적응적으로 결정함으로써, 감정 학습에 소요되는 시간을 줄일 수 있다.
한편, 실시예에 따라서, 제2근전도 신호로부터 추출되는 특징값은 후보 감정 그룹의 정확도에 따라서 결정될 수 있다. 예컨대, 후보 감정 그룹에 포함되는 감정의 정확도가 전체적으로 낮은 편이라면, 4개의 특징값을 모두 추출하여 감정 인식의 정확도를 높일 수 있다. 반면, 후보 감정 그룹에 포함되는 감정의 정확도가 전체적으로 높은 편이라면, 3개 이하의 특징값을 추출함으로써, 인식 성능을 수용 가능한 정도로 유지하면서 감정 인식에 소요되는 연산량을 줄일 수 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (10)

  1. 사용자 안면부에 대한 근전도 신호를 입력받는 단계;
    상기 근전도 신호에 대해 전처리를 수행하는 단계;
    전처리된 근전도 신호로부터 특징값을 추출하는 단계; 및
    상기 특징값을 이용하여, 사용자에 대한 감정을 인식하는 단계를 포함하며,
    상기 특징값은 샘플 엔트로피(sample entropy), RMS, 웨이브랭스 및 캡스트럴 계수(cepstral coefficient) 중 둘 이상을 포함하는
    근전도 신호를 이용하는 감정 인식 방법.
  2. 제 1항에 있어서,
    상기 복수의 특징값을 추출하는 단계는
    상기 전처리된 근전도 신호를 자기회귀(AR) 모델링하여, 상기 갭스트럴 계수를 추출하는
    근전도 신호를 이용하는 감정 인식 방법.
  3. 제 1항에 있어서,
    상기 인식된 감정에 대한 정확도를 분석하는 단계; 및
    상기 인식된 복수의 감정 중에서, 상기 정확도에 따라 선택된 감정을 포함하는 후보 감정 그룹을 결정하는 단계를 더 포함하며,
    상기 사용자에 대한 감정을 인식하는 단계는
    상기 후보 감정 그룹에 포함된 감정 중 하나를 상기 사용자에 대한 감정으로 결정하는
    근전도 신호를 이용하는 감정 인식 방법.
  4. 제 1항에 있어서,
    상기 특징값을 추출하는 단계는
    미리 설정된 시간동안 측정된 상기 근전도 신호에 대해, 미리 설정된 크기의 윈도우를 이동시키며, 상기 윈도우 각각에 대한 특징값을 추출하며,
    상기 사용자에 대한 감정을 인식하는 단계는
    상기 윈도우 각각에 대한 특징값으로부터 상기 사용자에 대한 감정을 인식하는 단계; 및
    상기 인식된 감정의 개수에 따라서, 상기 사용자에 대한 최종 감정을 결정하는 단계
    를 포함하는 근전도 신호를 이용하는 감정 인식 방법.
  5. 제 1항에 있어서,
    상기 근전도 신호는
    상기 사용자 안면부에 착용된 웨어러블 디바이스에서 측정된 신호인
    근전도 신호를 이용하는 감정 인식 방법.
  6. 사용자 안면부의 제1근전도 신호를 이용하여, 사용자에 대한 감정을 인식하는 단계;
    상기 인식된 감정에 대한 정확도를 분석하는 단계;
    상기 인식된 복수의 감정 중에서, 상기 정확도에 따라 선택된 감정을 포함하는 후보 감정 그룹을 결정하는 단계; 및
    상기 사용자 안면부의 제2근전도 신호를 이용하여, 상기 후보 감정 그룹에 포함된 감정 중 하나를 상기 사용자에 대한 감정으로 인식하는 단계
    를 포함하는 근전도 신호를 이용하는 감정 인식 방법.
  7. 제 6항에 있어서,
    상기 후보 감정 그룹에 포함된 감정 중 하나를 상기 사용자에 대한 감정으로 인식하는 단계는
    상기 제2근전도 신호로부터 추출된 특징값을 이용하여, 상기 사용자에 대한 감정을 인식하며,
    상기 특징값은
    샘플 엔트로피(sample entropy), RMS, 웨이브랭스 및 캡스트럴 계수(cepstral coefficient) 중 둘 이상을 포함하는
    근전도 신호를 이용하는 감정 인식 방법.
  8. 제 7항에 있어서,
    상기 제2근전도 신호로부터 추출되는 특징값은
    상기 후보 감정 그룹의 정확도에 따라서 결정되는
    근전도 신호를 이용하는 감정 인식 방법.
  9. 제 6항에 있어서,
    상기 제1 및 제2근전도 신호는
    상기 사용자 안면부에 착용된 웨어러블 디바이스에서 측정된 신호인
    근전도 신호를 이용하는 감정 인식 방법.
  10. 근전도 신호를 이용하는 웨어러블 디바이스 타입의 감정 인식 장치에 있어서,
    사용자 안면부의 근전도 신호를 측정하는 복수의 전극;
    상기 근전도 신호로부터 특징값을 추출하고, 상기 특징값을 이용하여 사용자에 대한 감정을 인식하는 감정 인식부; 및
    상기 인식된 감정에 기반하여 상기 사용자에 대한 아바타를 생성하는 이미지 처리부
    를 포함하는 근전도 신호를 이용하는 감정 인식 장치.
KR1020180080953A 2018-07-12 2018-07-12 근전도 신호를 이용하는 감정 인식 방법 및 장치 KR102216360B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180080953A KR102216360B1 (ko) 2018-07-12 2018-07-12 근전도 신호를 이용하는 감정 인식 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180080953A KR102216360B1 (ko) 2018-07-12 2018-07-12 근전도 신호를 이용하는 감정 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200007162A true KR20200007162A (ko) 2020-01-22
KR102216360B1 KR102216360B1 (ko) 2021-02-16

Family

ID=69368326

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180080953A KR102216360B1 (ko) 2018-07-12 2018-07-12 근전도 신호를 이용하는 감정 인식 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102216360B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115813389A (zh) * 2022-12-02 2023-03-21 复旦大学 基于皮肤电信号分析的孕妇分娩恐惧检测方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090038475A (ko) * 2006-09-13 2009-04-20 니뽄 덴신 덴와 가부시키가이샤 감정 검출 방법, 감정 검출 장치, 그 방법을 실장한 감정 검출 프로그램 및 그 프로그램을 기록한 기록 매체
KR101633057B1 (ko) * 2015-04-22 2016-06-23 재단법인 실감교류인체감응솔루션연구단 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법
KR20160085577A (ko) * 2015-01-08 2016-07-18 한국과학기술연구원 생체신호를 이용한 심리상태 판단 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090038475A (ko) * 2006-09-13 2009-04-20 니뽄 덴신 덴와 가부시키가이샤 감정 검출 방법, 감정 검출 장치, 그 방법을 실장한 감정 검출 프로그램 및 그 프로그램을 기록한 기록 매체
KR20160085577A (ko) * 2015-01-08 2016-07-18 한국과학기술연구원 생체신호를 이용한 심리상태 판단 장치 및 방법
KR101633057B1 (ko) * 2015-04-22 2016-06-23 재단법인 실감교류인체감응솔루션연구단 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115813389A (zh) * 2022-12-02 2023-03-21 复旦大学 基于皮肤电信号分析的孕妇分娩恐惧检测方法和系统

Also Published As

Publication number Publication date
KR102216360B1 (ko) 2021-02-16

Similar Documents

Publication Publication Date Title
CN110621228B (zh) 使用基于相机的感测来确定情绪
Jain et al. Cubic SVM classifier based feature extraction and emotion detection from speech signals
US9031293B2 (en) Multi-modal sensor based emotion recognition and emotional interface
JP6617053B2 (ja) 感情分類によって文脈意味の理解精度を高める発話意味分析プログラム、装置及び方法
US9715622B2 (en) System and method for predicting neurological disorders
US20190138096A1 (en) Method for detecting facial expressions and emotions of users
US20180240261A1 (en) System, method and apparatus for detecting facial expression in a virtual reality system
KR101738278B1 (ko) 영상을 이용한 감정 인식 방법
US11612341B2 (en) Systems and methods for assessment and measurement of reaction time in virtual/augmented reality
CN110464367B (zh) 基于多通道协同的心理异常检测方法和系统
WO2020170645A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
Maaoui et al. Automatic human stress detection based on webcam photoplethysmographic signals
CN113243918B (zh) 基于多模态隐匿信息测试的风险检测方法及装置
CN111920420A (zh) 一种基于统计学习的患者行为多模态分析与预测系统
Rao et al. Recognition of emotions from video using acoustic and facial features
Pereira et al. Physiotherapy Exercises Evaluation using a Combined Approach based on sEMG and Wearable Inertial Sensors.
Boelders et al. Detection of mild dyspnea from pairs of speech recordings
Rodrigues et al. Classification of facial expressions under partial occlusion for VR games
KR102216360B1 (ko) 근전도 신호를 이용하는 감정 인식 방법 및 장치
CN112800908B (zh) 一种基于视频中个体步态分析的焦虑感知模型的建立方法
Jaswal et al. Empirical analysis of multiple modalities for emotion recognition using convolutional neural network
CN113313795A (zh) 虚拟化身脸部表情生成系统和虚拟化身脸部表情生成方法
Joshi An automated framework for depression analysis
TWI646438B (zh) 情緒偵測系統及方法
Gervasi et al. A method for predicting words by interpreting labial movements

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant