KR102267741B1 - Ppg신호를 이용한 딥러닝 기반의 감정인식 시스템 및 감정인식 방법 - Google Patents
Ppg신호를 이용한 딥러닝 기반의 감정인식 시스템 및 감정인식 방법 Download PDFInfo
- Publication number
- KR102267741B1 KR102267741B1 KR1020190103008A KR20190103008A KR102267741B1 KR 102267741 B1 KR102267741 B1 KR 102267741B1 KR 1020190103008 A KR1020190103008 A KR 1020190103008A KR 20190103008 A KR20190103008 A KR 20190103008A KR 102267741 B1 KR102267741 B1 KR 102267741B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- ppg
- deep learning
- unit
- features
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 93
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000008451 emotion Effects 0.000 claims abstract description 71
- 238000007781 pre-processing Methods 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 71
- 238000013527 convolutional neural network Methods 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 230000017531 blood circulation Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 11
- 230000001788 irregular Effects 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 238000007635 classification algorithm Methods 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000037007 arousal Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012356 Product development Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cardiology (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Child & Adolescent Psychology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Power Engineering (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 PPG신호를 이용한 딥러닝 기반 감정인식 시스템 및 감정인식 방법에 관한 것으로, 더욱 자세하게는 신호감지부에서 실험자의 PPG신호를 감지하고, 감지된 PPG신호정보를 신호전처리부에서 추세를 제거한 후, 최고점을 검출하여 NN간격 데이터를 도출하여 PPG신호정보를 전처리하며 전처리 PPG데이터의 특징을 추출하고 감정분류부에서 추출된 특징을 융합하여 감정을 분류하는 PPG신호를 이용한 딥러닝 기반 감정인식 시스템 및 감정인식 방법에 관한 것이다.
Description
본 발명은 PPG신호를 이용한 딥러닝 기반의 감정인식 시스템 및 감정인식 방법에 관한 것이다.
감정인식기술이란, 인간의 감정을 측정하여 이를 분석함으로써 제품 개발이나 환경 설계에 적용하여 인간의 삶의 질적 향상을 도모하는 기술로, 인간의 특성을 파악하려는 생체측정기술, 인간의 오감 센서 및 감정 처리 기술, 감정 디자인 기술, 마이크로 가공 기술, 및 사용성 평가나 가상 현실 기술 등의 인간의 삶과 관련이 있는 기술이다. 현재 감정 인식 시스템은 인간 공학 시스템이 발달함에 따라 사람의 감정과 같이 사람의 상태를 분석하는 연구의 중요성이 증대되고 있다. 최근에는 인공지능 기술과 바이오 센서를 결합하여 감정을 분석하는 연구가 활발하게 진행되고 있다. 인공지능 기술 중에서도 기계 학습이나 딥러닝을 감정인식 기술분야와 접목하여 기계학습은 대량의 학습 데이터를 기계에게 읽혀서 분류나 판단과 같은 추론을 위한 법칙을 기계가 스스로 만들게 하는 장치이고, 딥러닝은 뇌 과학의 연구 성과를 기반으로 데이터의 분류 및 식별 기준을 사람이 가르치지 않아도 데이터를 해석함으로써 스스로 찾아낼 수 있는 기계학습의 방법 중 하나이다.
종래에는 딥러닝을 기반으로 감정을 인식하는 시스템에 관한 기술로서, 공개특허공보 10-2019-0056792("딥러닝 기반 얼굴 검출 및 감정 인식 시스템 및 방법", 2019.05.27., 이하 '선행문헌' 이라고 함)와 같은 기술에는 딥러닝을 기반으로 얼굴에 표출된 감정을 인식하는 기술이 개시되어 있다.
감정 인식 시스템은 Human computer interaction(HCI) 분야의 중요한 요소이며 감정을 인식함으로써 사용자 별 맞춤 서비스를 제공할 수 있다. 종래의 감정 인식 연구는 대상체의 얼굴 표정 변화와 목소리를 통해 진행하였는데 얼굴 표정과 목소리는 사용자가 임의로 감정을 숨길 수 있다는 문제점이 야기되고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서 본 발명의 목적은, PPG신호의 통계적 특징과 딥러닝의 특징을 융합한 PPG신호를 이용한 딥러닝 기반의 감정인식 시스템 및 감정인식 방법을 제공함에 있다.
본 발명의 PPG신호를 이용한 딥러닝 기반의 감정인식 시스템은, 실험자의 PPG신호정보를 감지하는 혈류측정센서를 포함하는 신호 감지부; 상기 신호 감지부에서 감지된 상기 PPG신호정보를 저장하고, 상기 PPG신호정보의 전처리 과정을 수행하는 신호전처리부; 상기 신호전처리부에서 도출된 전처리 PPG데이터를 통해 상기 PPG신호정보의 특징을 추출하는 신호추출부; 및 상기 신호추출부에서 추출된 복수개의 신호 특징을 융합하여 감정을 분류하는 감정분류부;를 포함하는 것을 특징으로 한다.
또한, 상기 신호전처리부는, 상기 신호감지부에서 검출한 신호의 추세를 제거한 후 최고점을 검출하는 최고점 검출부; 및 상기 최고점 검출부에서 검출된 최고점에서 상기 최고점과 최저점 사이의 간격을 도출하는 NN간격 데이터 도출부; 를 포함하는 것을 특징으로 한다.
또한, 상기 신호추출부는, 상기 전처리 PPG데이터에 대한 통계적 특징을 추출하는 통계적 특징 추출부; 및 상기 전처리 PPG데이터를 딥러닝 알고리즘에 적용하여 상기 전처리 PPG데이터에 대한 딥러닝 특징을 추출하는 딥러닝 특징 추출부;를 포함하는 것을 특징으로 한다.
또한, 상기 감정분류부는, 상기 통계적 특징 추출부에서 추출된 통계적 특징 및 상기 딥러닝 특징 추출부에서 추출된 딥러닝 특징을 융합하는 특징융합부; 및 상기 특징융합부에서 융합된 특징을 딥러닝 알고리즘에 적용하여 학습하고 감정을 분류하는 감정정보학습부;를 포함하는 것을 특징으로 한다.
또한, 상기 통계적 특징 추출부는, 상기 NN간격 데이터를 이용해 PPG신호정보의 시간 영역의 특징을 추출하는 시간 영역 특징 추출부; 및 상기 전처리 PPG데이터의 파워스펙트럼밀도를 이용해 주파수 영역의 특징을 추출하는 주파수 영역 특징 추출부;를 포함하는 것을 특징으로 한다.
또한, 상기 딥러닝 특징 추출부는, 컨벌루셔널 뉴럴 네트워크(Convolutional Neural Network : CNN) 구조를 포함하는 것을 특징으로 한다.
또한, 상기 딥러닝 특징 추출부는, 상기 전처리 PPG데이터, 상기 NN간격 데이터를 포함하는 2개의 병렬 컨벌루셔널 뉴럴 네트워크인 것을 포함하는 것을 특징으로 한다.
또한, 상기 신호추출부는, 피어슨 상관계수(Pearson's correlation) 구조를 포함하는 것을 특징으로 한다.
본 발명의 PPG신호를 이용한 딥러닝 기반의 감정인식 방법은, 신호감지부에서 혈류측정센서를 이용하여 실험자의 PPG신호정보를 감지하는 신호 감지단계; 상기 신호 감지단계에서 감지된 상기 PPG신호정보를 저장하고, 상기 신호전처리부에서 상기 PPG신호정보의 전처리 과정을 수행하는 신호전처리단계; 상기 신호 전처리단계에서 도출된 전처리 PPG데이터를 통해 상기 PPG신호정보의 특징을 추출하는 신호추출단계; 및 상기 신호추출단계에서 추출된 신호 특징을 융합하여 상기 감정분류부에서 감정을 분류하는 감정분류단계;를 포함하는 것을 특징으로 한다.
또한, 상기 신호전처리단계는, 상기 신호감지단계에서 검출한 신호의 추세를 제거한 후 최고점을 검출하고, 검출한 최고점과 최저점 사이의 간격을 계산하여 NN간격 데이터를 도출하는 것을 특징으로 한다.
또한, 상기 신호추출단계는, 상기 신호전처리단계로부터 도출된 데이터를 이용하여 PPG신호에 대한 통계적 특징 및 딥러닝 특징을 추출하는 것을 특징으로 한다.
또한, 상기 감정분류단계는, 상기 신호추출단계에서 추출된 통계적 특징 및 딥러닝 특징을 융합하고, 융합된 특징을 딥러닝 알고리즘에 적용하여 감정 분류 알고리즘을 학습하는 것을 특징으로 한다.
또한, 상기 신호추출단계는, 컨벌루셔널 뉴럴 네트워크(Convolutional Neural Network : CNN) 구조를 포함하는 것을 특징으로 한다.
또한, 상기 신호추출단계는, 상기 전처리 PPG데이터, 상기 NN간격 데이터를 포함하는 2개의 병렬 컨벌루셔널 뉴럴 네트워크인 것을 포함하는 것을 특징으로 한다.
또한, 상기 신호추출단계는, 피어슨 상관계수(Pearson's correlation) 구조를 포함하는 것을 특징으로 한다.
상기와 같은 구성에 의한 본 발명의 PPG신호를 이용한 딥러닝 기반의 감정인식 시스템 및 감정인식 방법은, PPG신호를 통해 감정을 인식할 수 있기 때문에 접근성이 좋다는 효과가 있어 다양한 산업 및 분야에서 활용할 수 있다는 장점이 있다.
또한, 본 발명에 의하면, PPG신호의 통계적 추출 특징, 딥러닝 추출 특징을 융합하여 감정을 인식할 수 있는 효과가 있다.
또한, 본 발명에 의하면, PPG신호를 이용하여 짧은 간격의 생체신호인 경우에 대한 감정 특징을 추출할 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 PPG신호를 이용한 딥러닝 기반의 감정인식 시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 PPG신호를 이용한 딥러닝 기반의 감정인식 시스템의 신호전처리부의 구성도이다.
도 3은 본 발명의 일실시예에 따른 PPG신호를 이용한 딥러닝 기반의 감정인식 시스템의 신호추출부의 구성도이다.
도 4는 본 발명의 일실시예에 따른 PPG신호를 이용한 딥러닝 기반의 감정인식 방법의 순서도이다.
도 2는 본 발명의 일실시예에 따른 PPG신호를 이용한 딥러닝 기반의 감정인식 시스템의 신호전처리부의 구성도이다.
도 3은 본 발명의 일실시예에 따른 PPG신호를 이용한 딥러닝 기반의 감정인식 시스템의 신호추출부의 구성도이다.
도 4는 본 발명의 일실시예에 따른 PPG신호를 이용한 딥러닝 기반의 감정인식 방법의 순서도이다.
이하, 본 발명의 기술적 사상을 첨부된 도면을 사용하여 더욱 구체적으로 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 본 발명의 기술적 사상을 첨부된 도면을 사용하여 더욱 구체적으로 설명한다. 첨부된 도면은 본 발명의 기술적 사상을 더욱 구체적으로 설명하기 위하여 도시한 일예에 불과하므로 본 발명의 기술적 사상이 첨부된 도면의 형태에 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 PPG신호를 이용한 딥러닝 기반의 감정인식 시스템의 구성도를 도시하는 것이다. 도 2에 도시된 바와 같이 본 발명의 일실시예에 따른 PPG신호를 이용한 딥러닝 기반의 감정인식 시스템(1000)은(이하 '감정인식 시스템(1000)'라고 함), 기본적으로는 신호감지부(100), 신호전처리부(200), 신호추출부(300), 감정분류부(400)를 포함하여 이루어질 수 있다.
상기 신호감지부(100)는 혈류측정센서를 포함하고 있고, 상기 혈류측정센서를 이용하여 실험자의 PPG신호정보를 감지한다. 여기서 PPG 신호는 광용적맥파신호로 자발적 반응인 생체신호이고 혈류량 변화에 대한 정보로 감정 별로 변화하는 신호 값을 측정하여 현재 실험자의 감정 상태를 파악할 수 있으며, 접근성이 좋기 때문에 신호를 취득하기 용이하다는 장점이 있다. 상기 실험자 신체에 연결된 전기 신호선으로부터 상기 PPG신호정보를 수신할 수 있다.
상기 신호전처리부(200)는 상기 신호 감지부에서 감지된 상기 PPG신호정보를 저장하고, 상기 PPG신호정보의 전처리관정을 수행한다. 더 자세하게 설명하자면, 상기 신호전처리부(200)는 상기 신호감지부(100)에서 획득한 PPG신호정보를 저장하고 추세 제거 및 최고점 값을 검출한다. 상기 신호전처리부(200)에 포함된 최고점 검출부(210) 및 NN간격 데이터 도출부(220)는 아래 도 2에서 더 자세하게 설명하기로 한다.
상기 신호추출부(300)는 상기 신호전처리부(200)에서 도출된 전처리 PPG데이터를 통해 상기 PPG신호정보의 특징을 추출한다. 더 자세하게 설명하자면, 상기 신호전처리부(200)에서 획득한 전처리 PPG데이터를 이용하여 통계적 특징 추출부(310) 및 딥러닝 특징 추출부(320)에서 특징을 추출하고, 상기 통계적 특징 추출부(310)는 시간적 영역 및 주파수 영역을 구분하여 특징을 추출하는 것이 바람직하다. 아래 도 3에서 더 자세하게 설명하기로 한다.
상기 감정분류부(400)는 상기 신호추출부(300)에서 추출된 신호 특징을 융합하여 감정을 분류한다. 상기 감정분류부(400)는 감정샘플정보를 포함하고 있고, 상기 감정샘플정보는 아래와 같이 표현될 수 있다.
하나의 실시예로써, 본 발명의 상기 감정샘플정보는 아래와 같이 표현될 수 있는데, 1)Arousal High, 2)Arousal Low, 3)Valence High, 4)Valence Low를 포함하여 이루어질 수 있으며, 상기 1), 2), 3), 4)로 실험자의 감정을 나타낼 수 있다. 물론 이로써 본 발명이 한정되는 것은 아니며, 더 세분화하여 감정을 나타낼 수 있다. 더불어, 상기 감정분류부(400)는 특징융합부(410) 및 감정정보학습부(420)를 포함하고 있으며, 아래 도 4에서 더 자세하게 설명하기로 한다.
도 2는 본 발명의 일실시예에 따른 PPG신호를 이용한 딥러닝 기반의 감정인식 시스템의 신호전처리부(200)의 구성도를 도시하는 것이다. 상기 신호전처리부(200)는 최고점 검출부(210), NN간격 데이터 도출부(220)를 포함하여 이루어질 수 있다.
상기 최고점 검출부(210)는 상기 신호감지부(100)에서 감지된 상기 PPG신호정보를 저장하고 추세를(baseline) 제거한 후, 최고점(peak)을 검출한다. 아래의 그림 1을 참조하여, 본 발명을 보다 상세하게 설명한다.
그림 1
본 발명의 일실시예에 따른 감정인식 시스템(1000)의 신호를 상기 신호전처리부(200)에서 전처리과정을 수행하기 전 상기 신호감지부(100)에서 취득한 상기 PPG신호정보는 그림 1과 같다. 상기 그림 1을 참조하면, 상기 PPG신호정보에 표시된 선과 같이 불규칙한 추세(baseline)가 포함되는데, 이러한 추세는 PPG신호를 감지하는 과정에서 상기 혈류측정센서의 움직임에 의해 발생될 수 있다. 이와 같이 추세는 예측이 불가능한 정보이기 때문에 제거되는 것이 바람직하고, 상기 PPG신호정보를 표현하는 고차항을 구한 후 원본 신호와의 차이를 통해 추세를 제거할 수 있다. 상기 최고점 검출부(210)에서 추세를 제거한 후 상기 그림 1에 도시된 바와 같이 주파수의 최고점을 검출한다. 여기서, 상기 고차항은 특정 상황에 따른 일시적인 신호나 일반적이지 않은 비정상적인 신호이다.
상기 NN간격 데이터 도출부(220)는 상기 최고점 검출부(210)에서 상기 최고점을 검출하고 최고점 사이의 간격을 도출한다. 더 자세하게 설명하자면, 상기 NN간격 데이터 도출부(220)는 상기 최고점을 이용하여 상기 최고점과 최저점 사이의 거리에 대한 데이터인 NN간격 데이터(normal-to-normal interval)와 0~1 사이의 값을 가지는 전처리된 PPG신호정보 데이터(이하, '전처리 PPG데이터'라고 함.)를 얻을 수 있다.
아래 그림 2는 상기 PPG신호정보의 NN간격 데이터에 대한 결과를 나타낸 그래프이다. 이때, y축은 nn interval에 대한 시간 값(ms)이고, x축은 PPG signal을 구성하는 data 중 하나의 실수(sample)이다.
그림 2
그림 3
상기 그림 3은 전처리 PPG데이터에 대한 결과를 나타낸 그래프이다. 상기 전처리 PPG데이터는 10초 간격으로 샘플링되고, NN간격 데이터와 전처리 PPG데이터는 같은 10초의 신호를 기준으로 검출되는 것이 바람직하다.
도 3은 본 발명의 일실시예에 따른 PPG신호를 이용한 딥러닝 기반의 감정인식 시스템의 신호추출부(300)의 구성도를 도시하는 것이다. 상기 신호추출부(300)는 통계적 특징 추출부(310), 딥러닝 특징 추출부(320)를 포함하여 이루어질 수 있다.
상기 통계적 특징 추출부(310)는 상기 신호전처리부(200)로부터 도출된 전처리 PPG데이터를 통해 PPG신호정보에 대한 통계적 특징을 추출한다. 더 자세하게 설명하자면, 상기 통계적 특징 추출부(310)는 시간 영역 특징 추출부(311), 주파수 영역 특징 추출부(312)를 포함하여 이루어질 수 있다.
상기 시간 영역 특징 추출부(311)는 상기 NN간격 데이터를 이용해 상기 전처리 PPG데이터의 시간영역의 특징을 추출할 수 있고, 상기 주파수 영역 특징 추출부(312)는 상기 전처리 PPG데이터의 파워스펙트럼밀도를 이용해 주파수 영역의 특징을 추출할 수 있다.
상기 주파수 영역 특징 추출은 3개의 주파수 영역에 대해 이루어질 수 있다. 상기 3개의 주파수 영역은 VLF(Very Low Frequency), LF(Low Frequency), HF(High Frequency)인 것이 바람직하다.
일반적인 주파수 영역 특징 추출은 60초 이상의 NN간격 데이터를 통해 이루어지지만, 본 발명의 일실시예에 따른 감정인식 시스템(1000)은 10초의 PPG신호정보를 사용하기 때문에 10초에 해당하는 NN 간격의 적용이 불가능하다. 이에 따라, 본 발명에서는 전처리 PPG데이터에 PSD(Power Spectral Density) 과정을 수행해서 주파수 영역 특징을 추출할 수 있다. 여기서, PSD 과정은 파형 분석에 있어서 분석 구간이 무한대인 경우, 퓨리에(Fourier)변환을 통하여 구한 단위 주파수 당 에너지의 분포이다.
상기 시간 영역 특징 추출부(311)에서 추출된 상기 시간 영역 특징 및 상기 주파수 영역 특징 추출부(312)에서 추출된 상기 주파수 영역 특징 값의 모든 값이 감정과 연관되어 있는 것은 아니기 때문에 감정과 연관되어있는 특징을 선정하기 위해 상기 시간 영역 특징 및 상기 주파수 영역 특징에 피어슨 상관계수(Pearson's correlation) 구조를 적용하고, 상기 피어슨 상관계수 구조에 따라 도출되는 결과에 따라 절댓값이 큰 수를 소정의 수만큼 선정하는 것이 바람직하다.
상기 딥러닝 특징 추출부(320)는 상기 신호전처리부(200)로부터 도출된 데이터를 딥러닝 알고리즘에 적용한다. 상기 딥러닝 알고리즘은 컨벌루셔널 뉴럴 네트워크(Convolutional Neural Network : CNN) 구조를 포함하여 이루어진다. 상기 컨벌루셔널 뉴럴 네트워크(이하 'CNN'이라고 함)를 사용하여 딥러닝을 수행하는 경우, 직접 학습하기 때문에 추출된 특징을 입력하지 않아도 기존 네트워크를 바탕으로 새로운 감정인식 작업을 수행하기 시작할 때 상기 CNN을 재학습하여 사용할 수 있다는 효과가 있다.
더 자세하게 설명하자면, 상기 딥러닝 특징 추출부(320)는 상기 전처리 PPG데이터, 상기 NN간격 데이터를 포함하는 2개의 병렬 CNN을 포함하여 이루어질 수 있다. 첫 번째 CNN은 전처리된 PPG신호정보를 통해 특징을 추출하며, 두 번째 CNN은 NN간격 데이터를 통해 특징을 추출하는 것이 바람직하다.
더불어, 상기 첫번째 CNN은 3개의 컨벌루션 계층으로 구성되고, 각 컨벌루션 계층은 max pooling 레이어, batch normalization으로 구성되는 것이 바람직하다. 여기서, max pooling은 pooling에서 최댓값을 도출하는 것이고, batch normalization은 입력한 데이터를 정규화하는 것이다. 본 발명의 일실시예에 따른 감정인식 시스템(1000)의 상기 첫 번째 CNN의 마지막 레이어는 200개의 노드를 가지는 dense 레이어로 구성되어 있다. 이에 따라 첫 번째 CNN을 통해 200개의 딥러닝 특징이 추출될 수 있고, 물론 이로써 본 발명의 딥러닝 특징의 개수가 한정되는 것은 아니고 상황에 따라 다양한 개수로 나타낼 수 있다.
상기 두 번째 CNN은 2개의 컨벌루션 레이어로 구성되고, 각 컨벌루션 레이어는 max pooling 레이어, batch normalization으로 구성된다. 본 발명의 일실시예에 따른 감정이식 시스템(1000)의 상기 두 번째 CNN을 통해 30개의 딥러닝 특징이 추출될 수 있고, 물론 이로써 본 발명의 딥러닝 특징의 개수가 한정되는 것은 아니고 상황에 따라 다양한 개수로 나타낼 수 있다.
도 4는 본 발명의 일실시예에 따른 PPG신호를 이용한 딥러닝 기반의 감정인식 시스템의 감정분류부(400)의 구성도이다. 상기 감정분류부(400)는 특징융합부(410) 및 감정정보학습부(420)를 포함하여 이루어질 수 있다.
상기 특징융합부(410)는 상기 통계적 특징 추출부(310)에서 추출된 상기 통계적 특징 및 상기 딥러닝 특징 추출부(320)에서 추출된 상기 딥러닝 특징을 융합한다. 더 자세하게 설명하자면, 상기 통계적 특징 및 상기 딥러닝 특징은 적어도 하나 이상의 특징이기 때문에 실험자가 어떠한 감정을 가지고 있는지 융합하여 가장 상위에 있는 값을 상기 감정정보학습부(420)에 전달한다.
상기 감정정보학습부(420)는 상기 특징융합부(410)에서 융합된 특징을 딥러닝 알고리즘에 적용하여 감정 분류 알고리즘을 학습한다.
다시 말해, 상기 특징융합부(410)는 상기 첫 번째 CNN을 통해 추출된 특징, 두 번째 CNN을 통해 추출된 특징 및 상기 통계적 특징 추출부(310)에서 추출된 상기 통계적 특징을 융합하는 것이 바람직하다. 이에 따라 상기 특징융합부(410)에서는 특정 개수의 특징이 추출되고, 소정의 node를 가지는 상기 감정정보학습부(420)를 통해 학습하여 감정을 분류하는 것이 바람직하다.
도 5는 본 발명의 일실시예에 따른 PPG신호를 이용한 딥러닝 기반의 감정인식 방법의 순서도로서, 상기 PPG신호를 이용한 딥러닝 기반의 감정인식 시스템(1000)을 이용한 방법으로 이하에서는 도 5를 더 참고하여 PPG신호를 이용한 딥러닝 기반의 감정인식 방법을 설명하기로 한다.
먼저, 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 감정인식 방법은, 신호감지단계(S100), 신호전처리단계(S200), 신호추출단계(S300), 감정분류단계로 이루어질 수 있다.
상기 신호감지단계(S100)는 상기 혈류측정센서를 이용하여 실험자의 PPG신호정보를 감지하는 단계이다. 상기 실험자 신체에 상기 혈류측정센서와 연결된 전기선을 부착하여 상기 PPG신호정보를 수신한다.
상기 신호전처리단계(S200)는 상기 신호감지단계(S100)를 수행한 후, 수행하는 것이 바람직하다. 상기 신호전처리단계(S200)는 상기 신호감지단계(S100)에서 감지된 상기 PPG신호정보를 저장하고, 상기 PPG신호정보의 전처리 과정을 수행하는 단계이다.
더 자세하게 설명하자면, 상기 신호감지부(100)에서 취득된 PPG신호정보에 포함된 신호 중 불규칙한 신호인 추세가 포함되면 예측이 불가능한 정보이기 때문에 제거하고, 상기 PPG신호정보를 표현하는 고차항을 구한 후, 원본 신호와의 차이를 통해 추세를 제거하고, 주파수의 최고점 값을 검출하는 과정을 수행한다. 이어서, 상기 최고점 값을 이용하여 상기 최고점 값과 최저점 사이의 거리에 대한 데이터인 NN간격 데이터와 0~1 사이의 값을 가지는 전처리 PPG신호정보 데이터를 얻는다. 이때, 상기 전처리된 PPG 신호는 10초 간격으로 샘플링되는 것이 바람직하고, 상기 NN간격 데이터와 전처리된 PPG데이터는 같은 10초의 신호를 기준으로 검출되는 것이 바람직하다.
상기 신호추출단계(S300)는 상기 신호전처리단계(S200)를 수행한 후, 수행하는 것이 바람직하다. 상기 신호 전처리단계에서 도출된 전처리 PPG데이터를 통해 상기 PPG신호정보의 특징을 추출하는 단계이다.
더 자세하게 설명하자면, 상기 신호전처리단계(S200)로부터 도출된 전처리 PPG데이터를 통해 통계적 특징 및 딥러닝 특징을 추출한다. 상기 통계적 특징은 상기 통계적 특징 추출부(310)에서 추출하는 것이 바람직하고, 시간적 영역 특징 및 주파수 영역 특징을 추출할 수 있다. 상기 시간적 영역 특징은 상기 시간적 영역 특징 추출부에서 상기 NN간격 데이터를 이용하여 상기 PPG신호정보의 시간영역의 특징을 추출할 수 있고, 상기 주파수 영역 특징은 상기 주파수 영역 특징 추출부(312)에서 상기 전처리 PPG데이터의 파워스펙트럼밀도를 이용해 주파수 영역의 특징을 추출하는 것이 바람직하다.
상기 시간적 영역 특징 및 상기 주파수 영역 특징은 상기 시간적 영역 특징 추출부 및 상기 주파수 영역 특징 추출부(312)에 피어슨 상관계수 구조를 적용하여 상기 피어슨 상관계수 구조에 따라 도출되는 결과에 따라 절댓값이 큰 수를 소정의 수만큼 선정하는 것이 바람직하다.
상기 딥러닝 특징은 상기 딥러닝 특징 추출부(320)에서 상기 전처리 PPG데이터에 딥러닝 알고리즘을 적용하여 도출되는 것이 바람직하다. 이때, 상기 딥러닝 알고리즘은 컨벌루셔널 뉴럴 네트워크(Convolutional Neural Network : CNN) 구조를 포함하여 이루어진다. 상기 컨벌루셔널 뉴럴 네트워크(이하 'CNN'이라고 함)를 사용하여 딥러닝을 수행하는 경우, 직접 학습하기 때문에 특징을 입력하지 않아도 기존 네트워크를 바탕으로 새로운 감정인식 작업을 수행하기 시작할 때 상기 CNN을 재학습하여 사용할 수 있다는 효과가 있다.
더 자세하게 설명하자면, 상기 딥러닝 특징 추출부(320)는 상기 전처리 PPG데이터, 상기 NN간격 데이터를 포함하는 2개의 병렬 CNN을 포함하여 이루어질 수 있다. 첫 번째 CNN은 전처리된 PPG신호정보를 통해 특징을 추출하며, 두 번째 CNN은 NN간격 데이터를 통해 특징을 추출하는 것이 바람직하다.
상기 감정분류단계(S400)는 상기 신호추출단계(S300)를 수행한 후, 수행하는 것이 바람직하다. 상기 감정분류단계(S400)는 상기 신호추출단계(S300)에서 추출된 신호 특징을 융합하여 감정을 분류하는 단계이다.
더 자세하게 설명하자면, 상기 감정분류단계(S400)는 상기 신호추출단계(S300)에서 추출된 통계적 특징 및 딥러닝 특징을 상기 특징융합부(410)에서 융합하고, 융합된 특징을 딥러닝 알고리즘에 적용하여 감정 분류 알고리즘을 학습한다. 상기 특징융합부(410)는 상기 첫 번째 CNN을 통해 추출된 특징, 두 번째 CNN을 통해 추출된 특징 및 상기 통계적 특징 추출부(310)에서 추출된 상기 통계적 특징을 융합하는 것이 바람직하다. 이에 따라 상기 특징융합부(410)에서는 특정 개수의 특징이 추출되고, 소정의 node를 가지는 상기 감정정보학습부(420)를 통해 학습하여 감정을 분류하는 것이 바람직하다.
즉, 다시 말하자면, 본 발명의 일실시예에 따른 PPG신호를 이용한 딥러닝 기반 감정인식 시스템(1000)은 상기 신호감지부(100), 상기 신호전처리부(200), 상기 신호추출부(300), 상기 감정분류부(400)로 구성되어있다. 상기 신호감지부(100)에서 실험자의 PPG신호를 감지하고, 상기 신호전처리부(200)에서 상기 PPG신호정보를 전처리하는 과정에서 상기 PPG신호정보의 추세를 제거하고 최고점을 검출하며, 검출된 최고점 값과 최저점 사이의 간격을 계산하여 NN간격 데이터를 도출한다. 상기 전처리 PPG데이터를 이용하여 시간 영역과 주파수 영역에 대한 통계적 특징을 추출할 수 있고, 딥러닝 알고리즘인 CNN을 통해 딥러닝 특징을 추출할 수 있다. 추출된 통계적 특징 및 딥러닝 특징을 상기 특징융합부(410)에서 융합한 후, 상기 감정분류부(400)에서 기저장된 감정으로 분류할 수 있다. 즉, 본 발명은 상기 PPG신호정보의 통계적 특징과 딥러닝 특징의 융합을 통해 접근성이 용이하고 짧은 간격의 생체신호에 대한 특징 추출이 가능하다는 효과를 가지고 있다. 더불어, 본 발명의 일실시예에 따른 PPG신호를 이용한 딥러닝 기반 감정인식 방법은 감정인식 시스템(1000)을 기반으로 한 방법으로 각 구성의 동작 수행방식을 방법으로 설명한 것이다.
이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
1000 : PPG신호를 이용한 딥러닝 기반 감정인식 시스템
100 : 신호감지부
200 : 신호전처리부
210 : 최고점 검출부 220 : NN간격 데이터 도출부
300 : 신호추출부
310 : 통계적 특징 추출부 311 : 시간 영역 특징 추출부
312 : 주파수 영역 특징 추출부 320 : 딥러닝 특징 추출부
400 : 감정분류부 410 : 특징융합부
420 : 감정정보학습부
100 : 신호감지부
200 : 신호전처리부
210 : 최고점 검출부 220 : NN간격 데이터 도출부
300 : 신호추출부
310 : 통계적 특징 추출부 311 : 시간 영역 특징 추출부
312 : 주파수 영역 특징 추출부 320 : 딥러닝 특징 추출부
400 : 감정분류부 410 : 특징융합부
420 : 감정정보학습부
Claims (15)
- 실험자의 PPG신호정보를 펄스 형태로 감지하는 혈류측정센서를 포함하는 신호 감지부;
상기 신호 감지부에서 감지된 상기 PPG신호정보를 저장하고, 상기 PPG신호정보의 전처리 과정을 수행하는 신호전처리부;
상기 신호전처리부에서 도출된 전처리 PPG데이터를 통해 상기 PPG신호정보의 특징을 추출하는 신호추출부; 및
상기 신호추출부에서 추출된 복수개의 신호 특징을 융합하여 감정을 분류하는 감정분류부;
를 포함하고,
상기 신호전처리부는,
불규칙한 추세에 해당하는 혈류 측정센서의 물리적인 움직임과 같은 특정상황에 따른 일시적인 신호 또는 비정상적인 신호를 나타내는 고차항을 구하고, 상기 신호 감지부에서 감지한 신호와의 차이를 통해 상기 불규칙한 추세를 제거한 후, 최고점을 검출하는 최고점 검출부; 및
상기 최고점 검출부에서 검출된 최고점에서 상기 최고점과 최저점 사이의 간격 값인 NN간격 데이터를 도출하는 NN간격 데이터 도출부; 를 포함하며,
상기 신호추출부는,
상기 전처리 PPG데이터에 대한 통계적 특징을 추출하는 통계적 특징 추출부를 포함하고, 상기 통계적 특징 추출부는 시간 영역 특징 추출부, 주파수 영역 특징 추출부를 포함하며,
상기 시간 영역 특징 추출부는 상기 NN간격 데이터를 이용해 상기 전처리 PPG데이터의 시간영역의 특징을 추출하고, 상기 주파수 영역 특징 추출부는 상기 전처리 PPG데이터의 파워스펙트럼밀도를 이용해 주파수 영역의 특징을 추출하는 것을 특징으로 하는 PPG신호를 이용한 딥러닝 기반 감정인식 시스템.
- 삭제
- 제 1항에 있어서,
상기 신호추출부는,
상기 전처리 PPG데이터를 딥러닝 알고리즘에 적용하여 상기 전처리 PPG데이터에 대한 딥러닝 특징을 추출하는 딥러닝 특징 추출부;
를 포함하는 것을 특징으로 하는 PPG신호를 이용한 딥러닝 기반 감정인식 시스템.
- 제 3항에 있어서,
상기 감정분류부는,
상기 통계적 특징 추출부에서 추출된 통계적 특징 및 상기 딥러닝 특징 추출부에서 추출된 딥러닝 특징을 융합하는 특징융합부; 및
상기 특징융합부에서 융합된 특징을 딥러닝 알고리즘에 적용하여 학습하고 감정을 분류하는 감정정보학습부;
를 포함하는 것을 특징으로 하는 PPG신호를 이용한 딥러닝 기반 감정인식 시스템.
- 제 3항에 있어서,
상기 통계적 특징 추출부는,
상기 NN간격 데이터를 이용해 PPG신호정보의 시간 영역의 특징을 추출하는 시간 영역 특징 추출부; 및
상기 전처리 PPG데이터의 파워스펙트럼밀도를 이용해 주파수 영역의 특징을 추출하는 주파수 영역 특징 추출부;
를 포함하는 것을 특징으로 하는 PPG신호를 이용한 딥러닝 기반 감정인식 시스템.
- 제3항에 있어서,
상기 딥러닝 특징 추출부는,
컨벌루셔널 뉴럴 네트워크(Convolutional Neural Network : CNN) 구조를 포함하는 것을 특징으로 하는 PPG신호를 이용한 딥러닝 기반 감정인식 시스템.
- 제6항에 있어서,
상기 딥러닝 특징 추출부는,
상기 전처리 PPG데이터, 상기 NN간격 데이터를 포함하는 2개의 병렬 컨벌루셔널 뉴럴 네트워크인 것을 포함하는 것을 특징으로 하는 PPG신호를 이용한 딥러닝 기반 감정인식 시스템.
- 제3항에 있어서,
상기 신호추출부는,
피어슨 상관계수(Pearson's correlation) 구조를 포함하는 것을 특징으로 하는 PPG신호를 이용한 딥러닝 기반 감정인식 시스템.
- 신호 감지부에서 혈류측정센서를 이용하여 실험자의 PPG신호정보를 펄스 형태로 감지하는 신호 감지단계;
상기 신호 감지단계에서 감지된 상기 PPG신호정보를 저장하고, 신호전처리부에서 상기 PPG신호정보의 전처리 과정을 수행하는 신호전처리단계;
상기 신호 전처리단계에서 도출된 전처리 PPG데이터를 통해 상기 PPG신호정보의 특징을 추출하는 신호추출단계; 및
상기 신호추출단계에서 추출된 신호 특징을 융합하여 감정분류부에서 감정을 분류하는 감정분류단계;
를 포함하고,
상기 신호전처리 단계는,
불규칙한 추세에 해당하는 혈류 측정센서의 물리적인 움직임과 같은 특정상황에 따른 일시적인 신호 또는 비정상적인 신호를 나타내는 고차항을 구하고, 상기 신호 감지부에서 감지한 신호와의 차이를 통해 상기 불규칙한 추세를 제거한 후, 최고점을 검출하고, 검출된 최고점에서 상기 최고점과 최저점 사이의 간격인 NN간격 데이터를 도출하며,
상기 신호추출 단계는,
상기 전처리 PPG데이터에 대한 시간 영역 특징과, 주파수 영역 특징을 포함한 통계적 특징을 추출하되,
상기 NN간격 데이터를 이용하여 상기 PPG신호정보의 시간영역의 특징을 추출하고, 상기 전처리 PPG데이터의 파워스펙트럼밀도를 이용해 주파수 영역의 특징을 추출하는 것을 특징으로 하는 PPG신호를 이용한 딥러닝 기반 감정인식 방법.
- 삭제
- 제 9항에 있어서,
상기 신호추출단계는,
상기 신호전처리단계로부터 도출된 데이터를 이용하여 PPG신호에 대한 딥러닝 특징을 추출하는 것을 특징으로 하는 PPG신호를 이용한 딥러닝 기반 감정인식 방법.
- 제 9항에 있어서,
상기 감정분류단계는,
상기 신호추출단계에서 추출된 통계적 특징 및 딥러닝 특징을 융합하고, 융합된 특징을 딥러닝 알고리즘에 적용하여 감정 분류 알고리즘을 학습하는 것을 특징으로 하는 PPG신호를 이용한 딥러닝 기반 감정인식 방법. - 제11항에 있어서,
상기 신호추출단계는,
컨벌루셔널 뉴럴 네트워크(Convolutional Neural Network : CNN) 구조를 포함하는 것을 특징으로 하는 PPG신호를 이용한 딥러닝 기반 감정인식 방법.
- 제13항에 있어서,
상기 신호추출단계는,
상기 전처리 PPG데이터, 상기 NN간격 데이터를 포함하는 2개의 병렬 컨벌루셔널 뉴럴 네트워크인 것을 포함하는 것을 특징으로 하는 PPG신호를 이용한 딥러닝 기반 감정인식 방법.
- 제9항에 있어서,
상기 신호추출단계는,
피어슨 상관계수(Pearson's correlation) 구조를 포함하는 것을 특징으로 하는 PPG신호를 이용한 딥러닝 기반 감정인식 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190103008A KR102267741B1 (ko) | 2019-08-22 | 2019-08-22 | Ppg신호를 이용한 딥러닝 기반의 감정인식 시스템 및 감정인식 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190103008A KR102267741B1 (ko) | 2019-08-22 | 2019-08-22 | Ppg신호를 이용한 딥러닝 기반의 감정인식 시스템 및 감정인식 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210023170A KR20210023170A (ko) | 2021-03-04 |
| KR102267741B1 true KR102267741B1 (ko) | 2021-06-22 |
Family
ID=75174877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190103008A KR102267741B1 (ko) | 2019-08-22 | 2019-08-22 | Ppg신호를 이용한 딥러닝 기반의 감정인식 시스템 및 감정인식 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102267741B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230106052A (ko) | 2022-01-05 | 2023-07-12 | 국민대학교산학협력단 | 과거 얼굴 이미지를 이용한 va 지표 예측을 위한 전자 장치 및 그 동작 방법 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114587311A (zh) * | 2022-04-02 | 2022-06-07 | 杭州华视诺维医疗科技有限公司 | 一种基于多阶多模态的非袖带式血压测量装置 |
| KR20240082543A (ko) | 2022-12-02 | 2024-06-11 | 경북대학교 산학협력단 | 광전용적맥파 신호를 이용한 사람 식별 장치 및 그 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102004197B1 (ko) * | 2018-10-18 | 2019-07-26 | 전남대학교산학협력단 | 다른 위치에서 동기화된 ppg와 pcg를 사용한 감정 인식 장치 및 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102060719B1 (ko) | 2017-11-17 | 2019-12-30 | 한국생산기술연구원 | 딥러닝 기반 얼굴 검출 및 감정 인식 시스템 및 방법 |
| KR20190080598A (ko) * | 2017-12-28 | 2019-07-08 | 클라트 주식회사 | 생체신호를 이용한 감성 검출 시스템 및 그 방법 |
-
2019
- 2019-08-22 KR KR1020190103008A patent/KR102267741B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102004197B1 (ko) * | 2018-10-18 | 2019-07-26 | 전남대학교산학협력단 | 다른 위치에서 동기화된 ppg와 pcg를 사용한 감정 인식 장치 및 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230106052A (ko) | 2022-01-05 | 2023-07-12 | 국민대학교산학협력단 | 과거 얼굴 이미지를 이용한 va 지표 예측을 위한 전자 장치 및 그 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210023170A (ko) | 2021-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Benalcázar et al. | Hand gesture recognition using machine learning and the Myo armband | |
| Coyle et al. | A time-series prediction approach for feature extraction in a brain-computer interface | |
| KR102267741B1 (ko) | Ppg신호를 이용한 딥러닝 기반의 감정인식 시스템 및 감정인식 방법 | |
| Palaniappan et al. | Biometrics from brain electrical activity: A machine learning approach | |
| Uddin et al. | Random forests based recognition of human activities and postural transitions on smartphone | |
| KR101025510B1 (ko) | 감성인식장치의 개인별 최적화시스템 및 그 최적화 방법 | |
| US20090062679A1 (en) | Categorizing perceptual stimuli by detecting subconcious responses | |
| KR100750662B1 (ko) | 심전도를 이용한 생체인식 시스템 및 방법 | |
| Palaniappan et al. | Improving visual evoked potential feature classification for person recognition using PCA and normalization | |
| CN107320115B (zh) | 一种自适应的精神疲劳评估装置及方法 | |
| KR20120052610A (ko) | 신경망 학습을 통한 동작 인식 방법 및 장치 | |
| Chang et al. | Emotion recognition with consideration of facial expression and physiological signals | |
| KR102277811B1 (ko) | 생체신호를 이용한 딥러닝 기반 실시간 감정인식 시스템 및 이를 이용한 방법 | |
| Devaraj et al. | Hand gesture signal classification using machine learning | |
| CN115273236A (zh) | 一种多模态的人体步态情感识别方法 | |
| Hettiarachchi et al. | Multivariate adaptive autoregressive modeling and Kalman filtering for motor imagery BCI | |
| Bashar et al. | Identification of arm movements using statistical features from EEG signals in wavelet packet domain | |
| CN115270855A (zh) | 情感识别方法、情感识别设备及情感识别系统 | |
| KR20230170466A (ko) | 딥러닝 모델을 이용하여 뇌파 기준으로 시각 객체를 분류하는 방법 및 분석장치 | |
| CN113536954A (zh) | 一种基于人体肌电信号的手势识别方法 | |
| Cambria et al. | Computational intelligence for natural language processing | |
| Ilyas et al. | An efficient emotion recognition frameworks for affective computing | |
| KR20210068884A (ko) | 스마트밴드 생체정보 기반 우울도 예측 모델 생성 시스템 및 방법 | |
| Abdulrahman et al. | Human Identification based on electroencephalography signals using sample entropy and horizontal visibility graphs | |
| KR20130097300A (ko) | 계층적 뇌파인식 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |