KR20220126041A - 심장의 동적 특성을 이용한 감성 인식 방법 및 시스템 - Google Patents
심장의 동적 특성을 이용한 감성 인식 방법 및 시스템 Download PDFInfo
- Publication number
- KR20220126041A KR20220126041A KR1020210030121A KR20210030121A KR20220126041A KR 20220126041 A KR20220126041 A KR 20220126041A KR 1020210030121 A KR1020210030121 A KR 1020210030121A KR 20210030121 A KR20210030121 A KR 20210030121A KR 20220126041 A KR20220126041 A KR 20220126041A
- Authority
- KR
- South Korea
- Prior art keywords
- hrv
- rsa
- power
- heart
- data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000008451 emotion Effects 0.000 title claims abstract description 28
- 238000011156 evaluation Methods 0.000 title claims abstract description 12
- 230000008909 emotion recognition Effects 0.000 claims abstract description 40
- 208000004301 Sinus Arrhythmia Diseases 0.000 claims abstract description 7
- 230000000241 respiratory effect Effects 0.000 claims abstract description 7
- 238000013135 deep learning Methods 0.000 claims abstract description 5
- 238000012706 support-vector machine Methods 0.000 claims description 14
- 230000002996 emotional effect Effects 0.000 claims description 11
- 230000037007 arousal Effects 0.000 claims description 10
- 208000030523 mesoaxial synostotic syndactyly with phalangeal reduction Diseases 0.000 claims description 6
- 238000010998 test method Methods 0.000 claims description 2
- 230000001953 sensory effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 16
- 238000002474 experimental method Methods 0.000 description 10
- 238000011551 log transformation method Methods 0.000 description 8
- 229920000333 poly(propyleneimine) Polymers 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000002354 daily effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000000540 analysis of variance Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 229910052709 silver Inorganic materials 0.000 description 3
- 239000004332 silver Substances 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000035581 baroreflex Effects 0.000 description 1
- 230000035565 breathing frequency Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000013632 homeostatic process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005037 parasympathetic nerve Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
Abstract
본 개시는 심장의 동적 특성을 이용한 검성감성 인식 방법 및 시스템에 관련된다. 방법:은 피험자로부터
맥파 신호로부터 PPI (Signal of Peak to Peak Interval)를 추출한 후, 심박 변이도(Heart Rate Variability, HRV) 및 호흡 동성 부정맥(Respiratory Sinus Arrhythmia, RSA) 신호를 추출하고, 상기 HRV 및 RSA 신호로부터 시간 도메인과 주파수 도메인 중 적어도 어느 하나의 도메인으로부터 적어도 하나의 HRV의 특성 파라미터와 적어도 하나의 RSA 파라미터를 추출하고, 상기 적어도 하나의 HRV 파라미터와 RSA 파라미터로부터 적어도 하나 이상의 HRV 및 RSA의 동적 특성 패턴 데이터를 각각 추출하고, 상기 동적 특성 패턴 신호들 중에서 감성 평가에 유효한 동적 특성 패턴을 이용해 딥러닝으로 훈련된 모델을 형성하고, 피검자의 PPG 신호로부터 비교 대상 HRV 및 RSA 동적 특성 패턴을 추출하고, 그리고 상기 훈련된 모델에 상기 피검자의 동적 특성 패턴을 적용하여 피검자의 감성을 평가하는 단계;를 포함한다.
맥파 신호로부터 PPI (Signal of Peak to Peak Interval)를 추출한 후, 심박 변이도(Heart Rate Variability, HRV) 및 호흡 동성 부정맥(Respiratory Sinus Arrhythmia, RSA) 신호를 추출하고, 상기 HRV 및 RSA 신호로부터 시간 도메인과 주파수 도메인 중 적어도 어느 하나의 도메인으로부터 적어도 하나의 HRV의 특성 파라미터와 적어도 하나의 RSA 파라미터를 추출하고, 상기 적어도 하나의 HRV 파라미터와 RSA 파라미터로부터 적어도 하나 이상의 HRV 및 RSA의 동적 특성 패턴 데이터를 각각 추출하고, 상기 동적 특성 패턴 신호들 중에서 감성 평가에 유효한 동적 특성 패턴을 이용해 딥러닝으로 훈련된 모델을 형성하고, 피검자의 PPG 신호로부터 비교 대상 HRV 및 RSA 동적 특성 패턴을 추출하고, 그리고 상기 훈련된 모델에 상기 피검자의 동적 특성 패턴을 적용하여 피검자의 감성을 평가하는 단계;를 포함한다.
Description
본 개시는 심장의 동적 특성을 이용한 감성 인식 방법 및 시스템에 관한 것으로, 상세하게는 심박변이도(Heart Rate Variability, HRV) 및 호흡 부정맥(Respiratory sinus arrhythmia, RSA)의 동적 특성 패턴(Dynamics Pattern)을 이용한 감성 인식 방법 및 시스템을 제시한다.
의식적으로 속이기 어려운 ECG, PPG 등 생체신호를 이용하여 감성을 인식하는 연구는 많이 진행되었다. 그러나 생체신호를 이용한 감성 인식은 주로 접촉식 센서를 이용했기 때문에 실험실 환경에서 진행되는 경우가 많았다 (Egger, Ley ＆ Hanke 2019; Schmidt, Reiss, Lin et al., 2018). 또한 실험실 환경은 감성, 내현적 반응에 영향을 줄 수 있는 요소들을 통제할 수 있기 때문에 실험실 환경에서 진행되는 경우가 많았다.
최근 웨어러블 기기가 발전하면서 실생활 환경에서 측정한 데이터를 이용하여 감성을 인식에 대한 수요가 점점 높아지고 있다. 실생활 환경에서의 감성 인식 수요는 증가하고 있으나 관련 연구는 실험실 기반 감성 인식에 비해 아직까지 적다 (Larradet, Niewiadomski, Barresi, Caldwell, ＆ Mattos et al., 2020; Gunes, Pantic, ＆ Piccardi 2008). 또한 감성 인식의 정확도가 실험실 환경보다 실생활 기반일 때 더 떨어지는 것으로 나타났다. 실험실 기반 대비 실생활 감성 인식 정확도가 떨어지는 데 영향을 미칠 것으로 분석되는 요인들은 1) 움직임으로 인한 노이즈 증가 2) 감성에 영향을 미치는 다양한 맥락정보 3) 시간의 흐름에 따른 감성변화가 있다 (Larradet, Niewiadomski, Barresi, Caldwell, ＆ Mattos et al., 2020; Gunes, Pantic, ＆ Piccardi 2008). 그러나 기존 연구의 경우 움직임으로 인한 노이즈에 대해서 연구하는 경우가 많았고 맥락정보나 시간의 흐름에 따른 감성변화를 반영하지 못한 채 실험실 기반의 데이터와 동일한 생체신호 분석방법을 적용하는 경우가 많았다. 따라서 이러한 부분을 보완하기 위한 새로운 방법의 연구가 요구된다.
Egger, M., Ley, M., and Hanke, S. (2019). Emotion recognition from physiological signal analysis: a review. Electronic Notes in Theoretical Computer Science, 343, 35-55.
Schmidt, P., Reiss, A., Duerichen, R., and Van Laerhoven, K. (2018). Wearable affect and stress recognition: A review. arXiv preprint arXiv:1811.08854.
Larradet, F., Niewiadomski, R., Barresi, G., Caldwell, D. G., and Mattos, L. S. (2020). Toward emotion recognition from physiological signals in the wild: approaching the methodological issues in real-life data collection. Frontiers in psychology, 11, 1111.
Gunes, H., Pantic, M., and Piccardi, M. (2008). From the lab to the real world: Affect recognition using multiple cues and modalities (pp. 185-218). INTECH Open Access Publisher.
Lewis, G. F., Furman, S. A., McCool, M. F., and Porges, S. W. (2012). Statistical strategies to quantify respiratory sinus arrhythmia: Are commonly used metrics equivalent?. Biological psychology, 89(2), 349-364.
Grossman, P., and Kollai, M. (1993). Respiratory sinus arrhythmia, cardiac vagal tone, and respiration: Within?and between?individual relations. Psychophysiology, 30(5), 486-495.
본 개시는 심장의 동적 특성(Dynamics)을 이용하여 생활 환경에서도 효과적으로 감성을 추론할 수 있는 심장 동적 특성 기반 감성 인식 방법 및 이를 적용하는 시스템을 제시한다.
본 개시는 심장의 HRV(Heart Rate Variability, 심박변이도)와 함께 RSA (Respiratory sinus arrhythmia, 호흡 부정맥) 양자의 동적 특성 파라미터(Dynamics Parameter) 를 이용하는 감성 인식 방법 및 시스템을 제안한다.
본 개시에 따른 동적 특성 기반 감성 인식 방법:은
피험자로부터 PPG 센서에 의해 맥파 신호를 추출하는 단계;
상기 맥파 신호로부터 PPI (Signal of Peak to Peak Interval)를 추출하는 단계;
상기 PPI로부터 심박 변이도(Heart Rate Variability, HRV) 및 호흡 동성 부정맥(Respiratory Sinus Arrhythmia, RSA) 신호를 추출하는 단계;
상기 HRV로부터 시간 도메인과 주파수 도메인 중 적어도 어느 하나의 도메인으로부터 적어도 하나의 HRV의 특성 파라미터를 추출하는 단계;
상기 RSA 신호로부터 시간 도메인과 주파수 도메인 중 적어도 어느 하나의 도메인으로부터 적어도 하나의 RSA 파라미터를 추출하는 단계;
상기 적어도 하나의 HRV 파라미터와 RSA 파라미터로부터 적어도 하나 이상의 HRV 및 RSA의 동적 특성 패턴 데이터를 각각 추출하는 단계;
상기 동적 특성 패턴 신호들 중에서 감성 평가에 유효한 동적 특성 패턴을 이용해 딥러닝으로 훈련된 모델을 형성하는 단계;
피검자의 PPG 신호로부터 비교 대상 HRV 및 RSA 동적 특성 패턴을 추출하는 단계; 그리고
상기 훈련된 모델에 상기 피검자의 동적 특성 패턴을 적용하여 피검자의 감성을 평가하는 단계;를 포함할 수 있다.
하나 또는 그 이상의 실시 예에 따르면, 상기 HRV의 시간 도메인의 파라미터는 HR(Heart Rate), SDNN(Standard Deviation of NN Interval), 그리고 pNN50(percentage of NN inverval over 50ms) 중의 적어도 어느 하나를 포함할 수 있다.
하나 또는 그 이상의 실시 예에 따르면, 상기 HRV의 주파수 도메인의 파라미터는 HF(High Frequency, 0.15 ~ 0.04Hz) 파워, VLF(Very Low Frequency, 0.0033 ~ 0.04Hz) 파워, LF(Low Frequency, 0.04 ~ 0.15Hz) 파워, VLF/LF, LF/HF, 토탈 파워(Total Power), 피크 파워(Peak Power), 도미넌트 파워(Dominant power between 0.04 ~ 0.26Hz), Coherence ratio(Peak power / (total power?peak power) 중에 적어도 어느 하나를 포함할 수 있다.
하나 또는 그 이상의 실시 예에 따르면, 상기 동적 특성 패턴은 HRV 파라미터와 RSA 파라미터에 대한 변동성(Variability), 불안정성(Instability) 및 일관성(Inertia) 계산에 의해 얻어지며, 변동성(Variability, var), 불안정성(Instability, MSSD) 및 일관성(Inertia or Autocorrelation, Acorr) 각각은 아래의 식 1, 2, 3 각각에 의해 얻어질 수 있다.
<식1>
<식2>
<식3>
N: 전체 데이터 수
xi: i번째 데이터
x: 현재 시점의 데이터
h: h 시점의 데이터
하나 또는 그 이상의 실시 예에 따르면, 상기 모델은 MLP(Multi-perceptron), k-NN(Nearest Neighbor), 또는 SVM(Support Vector Machine) 중의 어느 하나의 모델일 수 있다.
하나 또는 그 이상의 실시 예에 따르면, 상기 유효한 동적 특성 패턴의 선택에는 Kendall's Tau 방법 및 Anova F test 방법 모두를 적용하고, 상기 두 방법에 의해 모두 유의한 동적 특성 패턴을 유효한 것으로 판단될 수 있다.
하나 또는 그 이상의 실시 예에 따르면, 상기 모델은 각성-이완(Arousal) 또는 쾌-불쾌(Valence)의 감성에 대해 훈련될 수 있다.
상기 방법을 수행하는 심장의 동적 특성을 이용한 감성 인식 시스템:은
맥파 신호를 검출하는 센서;
상기 맥파 신호로부터 심박 동적 특성 패턴을 추출하는 비교 데이터 생성부와 상기 비교 데이터를 상기 메모리에 저장된 모델에 적용하여 감성을 인식하는 감성 평가부를 포함하는 프로세서; 그리고 상기 결과를 표시하는 디스플레이;를 포함할 수 있다.
하나 또는 그 이상의 실시 예에 따른 시스템에서, 상기 HRV의 주파수 도메인의 파라미터는 HF(High Frequency, 0.15 ~ 0.04Hz) 파워, VLF(Very Low Frequency, 0.0033 ~ 0.04Hz) 파워, LF(Low Frequency, 0.04 ~ 0.15Hz) 파워, VLF/LF, LF/HF, 토탈 파워(Total Power), 피크 파워(Peak Power), 도미넌트 파워(Dominant power between 0.04 ~ 0.26Hz), Coherence ratio(Peak power / (total power?peak power) 중에 적어도 어느 하나를 포함할 수 있다.
하나 또는 그 이상의 실시 예에 따른 시스템에서, 상기 동적 특성 패턴은 HRV 파라미터와 RSA 파라미터에 대한 변동성(Variability), 불안정성(Instability) 및 일관성(Inertia) 계산에 의해 얻어지며, 변동성(Variability, var), 불안정성(Instability, MSSD) 및 일관성(Inertia or Autocorrelation, Acorr) 각각은 아래의 식 1, 2, 3 각각에 의해 계산될 수 있다.
<식1>
<식2>
<식3>
N: 전체 데이터 수
xi: i번째 데이터
x: 현 시점의 데이터
h: h 시점의 데이터
하나 또는 그 이상의 실시 예에 따른 시스템에서, 상기 모델은 MLP(Multi-perceptron), k-NN(Nearest Neighbor), 또는 SVM(Support Vector Machine) 중의 어느 하나의 모델일 수 있다.
하나 또는 그 이상의 실시 예에 따른 시스템에서, 상기 모델은 각성-이완(Arousal) 또는 쾌-불쾌(Valence)의 감성에 대해 훈련될 수 있다.
도1은 하나 또는 그 이상의 실시 예에 따른 감성 인식 방법의 개략적 전체흐름도이다.
도2는 하나 또는 그 이상의 실시 예에 따른 감성 인식 방법에서, 맥파로부터 HRV와 RSA의 동적 특성 파라미터를 추출하는 과정의 흐름도이다.
도3은 또는 그 이상의 실시 예에 따른 감성 인식 방법에서, 맥파 추출 이후에 HRV 및 RSA 동적 특성 파라미터를 추출하는 상세 과정을 그 순서와 함께 각 단계에 대응하는 신호 처리 그래프를 보여준다.
도4는 하나 또는 그 이상의 실시 예에 따른 감성 인식 방법에서, 도출된 HRV, RSA 동적 특성 파라미터들 중 유효 특성 파라미터(유효 변수)를 도출하는 통계기법에 따른 유효 특성 파라미터의 추출 과정을 보인다
도5는 하나 또는 그 이상의 실시 예에 따른 감성 인식 방법에서, 실험 데이터를 수집하는 과정을 보이는 블록다이어그램이다.
도6은 하나 또는 그 이상의 실시 예에 따른 감성 인식 시스템에서, 인터페이스 화면을 예시한다.
도7은 하나 또는 그 이상의 실시 예에 따른 감성 인식 방법에서, 실제 일반 환경에서의 실험을 수행하는 장면을 보이는 사진이다.
도8은 하나 또는 그 이상의 실시 예에 따른 감성 인식 시스템의 개략적 구성을 예시한다.
도2는 하나 또는 그 이상의 실시 예에 따른 감성 인식 방법에서, 맥파로부터 HRV와 RSA의 동적 특성 파라미터를 추출하는 과정의 흐름도이다.
도3은 또는 그 이상의 실시 예에 따른 감성 인식 방법에서, 맥파 추출 이후에 HRV 및 RSA 동적 특성 파라미터를 추출하는 상세 과정을 그 순서와 함께 각 단계에 대응하는 신호 처리 그래프를 보여준다.
도4는 하나 또는 그 이상의 실시 예에 따른 감성 인식 방법에서, 도출된 HRV, RSA 동적 특성 파라미터들 중 유효 특성 파라미터(유효 변수)를 도출하는 통계기법에 따른 유효 특성 파라미터의 추출 과정을 보인다
도5는 하나 또는 그 이상의 실시 예에 따른 감성 인식 방법에서, 실험 데이터를 수집하는 과정을 보이는 블록다이어그램이다.
도6은 하나 또는 그 이상의 실시 예에 따른 감성 인식 시스템에서, 인터페이스 화면을 예시한다.
도7은 하나 또는 그 이상의 실시 예에 따른 감성 인식 방법에서, 실제 일반 환경에서의 실험을 수행하는 장면을 보이는 사진이다.
도8은 하나 또는 그 이상의 실시 예에 따른 감성 인식 시스템의 개략적 구성을 예시한다.
이하, 첨부도면을 참조하여 본 발명 개념의 바람직한 실시 예들을 상세히 설명하기로 한다. 그러나, 본 발명 개념의 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명 개념의 범위가 아래에서 상술하는 실시 예들로 인해 한정 되어 지는 것으로 해석되어져서는 안 된다. 본 발명 개념의 실시 예들은 당 업계에서 평균적인 지식을 가진 자에게 본 발명 개념을 보다 완전하게 설명하기 위해서 제공 되는 것으로 해석되는 것이 바람직하다. 동일한 부호는 시종 동일한 요소를 의미한다. 나아가, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명 개념은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어 지지 않는다.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는 데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지 않는다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명 개념의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 반대로 제 2 구성 요소는 제 1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로서, 본 발명 개념을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함한다” 또는 “갖는다” 등의 표현은 명세서에 기재된 특징, 개수, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
달리 정의되지 않는 한, 여기에 사용되는 모든 용어들은 기술 용어와 과학 용어를 포함하여 본 발명 개념이 속하는 기술 분야에서 통상의 지식을 가진 자가 공통적으로 이해하고 있는 바와 동일한 의미를 지닌다. 또한, 통상적으로 사용되는, 사전에 정의된 바와 같은 용어들은 관련되는 기술의 맥락에서 이들이 의미하는 바와 일관되는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의하지 않는 한 과도하게 형식적인 의미로 해석되어서는 아니 될 것임은 이해될 것이다.
어떤 실시 예가 달리 구현 가능한 경우에 특정한 과정의 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 과정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 수행될 수도 있다.
본 개시에 따른 실시 예는 심장 동적 특성을 이용한 감성 인식 방법 및 시스템에 관련한다.
복잡한 양상의 심박변이도(Heart rate variability, 이하 HRV)는 생체의 항상성 유지를 위한 다양한 형태의 반응을 반영한다. 호흡 동성 부정맥(Respiratory sinus arrhythmia, 이하 RSA)이 극대화되면 심박변이도의 강도가 증가하는 연관성을 가진다.
본 개시는 이러한 효과를 이용하여 HRV와 RSA의 동적 특성을 병합 처리하여 개인의 감성을 정량적으로 측정하고 이를 사용자에게 제공하는 방법을 제시한다.
즉, 본 개시에 따른 방법은 일반적인 생활환경에서도 정밀한 감성 측정이 가능하며, 특히 웨어러블 기기에의 적용을 통해 감성의 무의식적 실시간 측정이 가능하게 된다.
이를 위하여 본 개시에 따른 방법은 감성 인식을 위한 파라미터로서 심장의 심박변이도((Heart Rate Variability, HRV) 및 호흡동성부정맥(Respiratory sinus Arrhythmia, RSA)로부터 도출되는 동적 특성(dynamics)을 이용한다. HRV와 RSA의 동적 특성은 인간의 감성 상태 및 변화를 반영하며, 이러한 동적 특성의 분석을 통해 감성의 평가할 수 있다.
HRV는 심장 박동의 변이성을 나타내는 것으로 매 순간 인간이 겪는 환경적 요인에 크게 영향을 받으며, 특히 인간의 감성 상태에 크게 영향을 받는다.
RSA는 들숨과 날숨의 변화에 의한 순간 심박수의 증감을 의미하며, 이는 흉강압의 변화가 압반사(Baroreflex)를 매개로 심장의 교감, 부교감 신경에 반영되는 현상이다.
HRV를 이용한 기존의 감성 평가 방법의 실용상 한계성은 본 발명에따라 HRV와 함께 RSA의 동적 특성을 감성 평가를 위한 특성 파라미터를 사용함으로써 크게 개선이 될 것이다. HRV 및 RSA로 부터는 동적 특성 패턴이 추출되며, 이로부터 유효변수가 도출된다. 도출된 유효 변수는 각성-이완의 모델과 긍정-부정 모델로 훈련된다.
도1은 본 개시에 따른 감성 인식 평가 방법의 개략적 흐름도이다.
S1: 맥파 신호(데이터)를 얻는 단계로서 예를 들어 웨어러블 기기의 PPG 센서를 이용하여 맥파 신호를 실시간 추출한다.
S2: 맥파 신호로부터 HRV 및 RSA를 추출한다.
S3: HRV 및 RSA 로부터 다수의 동적 특성을 추출한다.
S4: 다수의 동적 특성을 두 개의 통계적 방법으로 유의도(p-value)를 평가한다.
S5: 두 통계적 방법 모두에 의해 유의한 결과를 보인 동적 특성을 감성 인식에 유효한 동적 특성으로 선택한다.
S6: 딥러닝 및 머신러닝에 기초한 모델 훈련을 실시하고 이를 이용한 AI 감성 평가를 수행한다.
도2는 맥파 신호 추출 후의 HRV 및 RSA의 동적 특성 파라미터를 추출하는 과정을 보이는 흐름도이며, 도3은 맥파 추출(S2) 이후에 HRV 및 RSA 동적 특성 파라미터를 추출하는 상세 과정을 그 순서와 함께 각 단계에 대응하는 신호 처리 그래프를 보여준다. 이하 HRV 및 RSA의 동적 특성 파라미터를 추출하는 과정을 상세히 설명한다.
<HRV 및 RSA의 추출>
도2에 도시된 바와 같이 맥파로부터 HRV 및 RSA가 추출되는데, 구체적으로HRV와 RSA로부터 모두 14개의 동적 특성 파라미터가 추출된다.
S21: Peak Detection
PPG 원형 데이터(Raw data)의 피크(peak)을 검출하여 피크와 피크 사이의 간격((peak to peak interval, PPI)을 계산한다.
S22: Noise Filtering
신체 특히 PPG 측정 부위에서의 움직임으로 인한 비정상적인 PPI를 노이즈를 제거한다. 이를 위하여 위의 단계에서 얻어진 PPI 신호 중, 움직임으로 인한 비정상적인 PPI를 2가지 방식으로 정의하여 비정상적인 PPI를 제거하거나 이전 정상 PPI의 4개 평균으로 대체한다.
i. Threshold 기법
BPF(Band Pass Filter)를 이용하여 정상 심박 범위 (45~180 BPM)에 해당하는 0.75~2.5Hz 대역의 신호만을 추출한다.
ii. Percentage change 기법
a. 위의 단계에서 추출된 PPI 신호(데이터)를 대상으로 이전 정상적 PPI의 소정 개수에 대한 평균을 기준으로 비정상적인 PPI를 인식한다. 예를 들어, 이전 정상 PPI 4개의 평균의 80%보다 적거나 130%보다 클 경우 움직임으로 인한 비정상적인 PPI로 인식한다.
b. 비정상적인 것으로 인식되는 PPI를 이전 정상 PPI들의 평균, 예를 들어 4개의 정상 PPI의 평균으로 대체한다.
c. PPI의 개수가 4개 미만일 경우, 처음 4개까지는 정상 PPI로 처리한다.
S23: HRV ＆ RSA 계산
위의 과정을 통해 전처리된 PPI 신호에 슬라이딩 윈도우 기법(sliding window)을 적용하여 HRV 및 RSA의 동적 특성 파라미터(Dynamics Parameter)를 계산한다. 이때에 조건은 예를 들어, 윈도우 사이즈(window size)는 300s, 간격 크기(interval size)는 60s로 설정하여 HRV의 동적 특성 파라미터를 추출한다.
i. Time domain of HRV
HRV의 시간 도메인에서는 아래와 같이 3개의 동적 특성 파라미터가 추출된다.
- HR (Heart rate): PPI로 부터 얻은 분당 심박수이다.
- SDNN (standard deviation of NN interval): 모든 피크와 피크 사이간격(PPI)의 표준 편차
- pNN50 (percentage of NN interval over 50ms): 50 msec 보다 큰 PPI의 차이의 비율 (%)
ii. Frequency domain of HRV
HRV의 주파수 도메인에서는 아래와 같이 8개의 동적 특성 파라미터가 추출된다. 주파수 도메인 HRV를 추출할 때는 앞서 추출한 PPI를 2Hz 의 주파수로 리샘플링(resampling)을 진행한 후 FFT를 이용하여 파워 스펙트럼(PSD)을 계산하고, 이어서 다음과 같은 변수를 추출한다.
- VLF(very low frequency): 0.0033~0.04Hz 대역에 해당하는 파워(power) 값의 로그 변환(log transformation) 값(lnVLF)
- LF(low frequency): 0.04~0.15Hz 대역에 해당하는 파워(power) 값의 로그변화(log transformation) 값(lnLF)
- VLF/LF: log transformation을 적용하지 않은 LF 파워 대비 VLF 파워의 비율
- LF/HF: 로그 변환(log transformation)이 적용되지 않은 HF 파워 대비 LF 파워의 비율
- total power (tPow): 전체 0.0033~0.4Hz 사이의 파워 스펙트럼 대역
- peak power(pPow): 파워 스펙트럼에서 가장 높은 peak의 파워 값
- dominant power(dPow): Peak Hz를 중심으로 -0.015 Hz 부터 0.015 Hz 사이의 파워 스펙트럼 대역 (peak Hz: 0.04~0.26 Hz 사이의 파워 스펙트럼 대역에서 가장 높은 Peak의 주파수 값 (Hz) )
- Coherence ratio (CohRatio): Peak power / (total power?peak power)
iii. time domain of RSA
RSA를 측정하기 위해서는 여러 가지 동적 특성 파라미터(parameter)가 사용될 수 있다. 따라서 본 실시 예에서는 시간 도메인 파라미터로서 Porges-Bohrer method (RSA_PB), rMSSD 및 주파수 도메인의 파라미터로서 HF 등 세 종류의 파라미터가 RSA의 동적 특성 파라미터로 측정되었다. 여기에서, rMSSD와 HF의 경우 평균 심박에 영향을 받을 수 있기 때문에 평균 PPI 정규화(normalization) 및 로그 변환(log transformation)이 함께 적용될 수 있다.
- RSA_PB: Porges-Bohrer가 제안한 방식으로 다음과 같은 방식으로 추출한다.
a. PPI 2Hz resampling 후 21 point cubic spline polynomial filter(3 order)를 거쳐 노이즈를 제거한다.
b. low pass filter를 이용해 노이즈로 작용할 수 있는 저주파수 대역(0.0095Hz 이하) 제거한다.
c. 그 후 BPF 를 이용하여 호흡 주파수 대역과 일치하는 대역대 (0.12~0.4Hz)의 범위를 추출한다.
d. 추출된 신호를 30초 윈도우로 자른 후 로그 변환(log transformation)을 실시한다. 각 윈도우 별 평균을 최종 RSA로 도출한다
- rMSSD: Peak과 Peak 사이의 차이의 제곱의 합의 평균의 제곱근이며 본 실시 예에서는 기본 심박 수준으로 인한 영향을 최소화하기 위해 PPI 정규화를 진행하였다. 이 과정에서 rMSSD / mean PPI 가 계산되었고 그 결과값에 대해 로그변환(log transformation)이 실시되었다.
- HF: 앞의 과정에서 얻어진 파워 스펙트럼(PSD)에서 0.15~0.04Hz에 해당하는 구간의 정규화 값이다. 본 실시 예에서는 기본심박 수준으로 인한 영향을 최소화하기 위해 PPI 정규화를 진행하였다. 정규화를 위하여, HF 파워/ mean PPI 가 계산되었고, 그 결과값에 대해 로그 변환(log transformation)이 이루어졌다.
< HRV, RSA의 동적 특성 패턴 추출>
위의 과정에서 추출된 총 14개의 HRV와 RSA 파라미터로부터 동적 특성 패턴(Dynamics Pattern )이 추출된다. 동적 특성 파라미터의 추출에는 HRV 및 RSA 파라미터에 대한 슬라이딩 윈도우 기법이 적용되며, 이때에 윈도우 크기는 10 분, 인터벌의 크기는 60초로 진행될 수 있다.
동적 특성 패턴은 다음과 같이 정의되는 바와 같이 Variability, Instability, Inertia 등의 3 가지 패턴이다.
i. 변동성(Variablity)
변동성은 시간의 흐름에 따른 변화 범위 또는 분산을 의미하며, 아래의 식1에의해 계산된다.
<식1>
N: 전체 데이터 수
xi: i번째 데이터
x: 현 시점의 데이터
ii. 불안정성 (Instability)
불안정성은 시간에 따른 패턴의 분산속도를 나타내는 것으로 순간적인 변화 범위를 반영되며, 아래의 식2에 의해 MSSD로 계산된다.
<식2>
N: 전체 데이터 수
xi: i번째 데이터
x: 현 시점의 데이터
iii. 일관성 (Inertia)
일관성은 시간의 흐름에 따른 자기 예측 정도, 관성을 나타내며 아래의 식으로 계산된다.
<식3>
N: 전체 데이터 수
xi: i번째 데이터
x: 현 시점의 데이터
h: h 시점의 데이터
위와 같은 3개의 동적 특성 패턴의 공식에 의해 앞의 과정에서 추출된 HRV 및 RSA 파라미터들으로 부터 총32개의 동적 특성 패턴이 추출된다.
(time domain 3개, frequency domain 8개, RSA 3개 총 14개 변수)의 다이나믹스 패턴 3가지를 추출하기 때문에 총 42개 변수가 도출된다.
<유효 파라미터 예측 및 선택>
도출된 HRV, RSA 동적 특성 파라미터들 중 유효 특성 파라미터(유효 변수)를 도출하기 위하여 Kendall’s Tau와 ANOVA F test를 이용하며, 도4는 이러한 통계기법에 따른 유효 특성 파라미터는 추출하는 과정을 보인다. 두 가지 통계기법을 적용하기 전 전체 유효 특성 패턴 데이터를 train, test (8:2) 로 나누어 train set만을 이용한다.
Kendall’s Tau: 비모수적인 상관관계 분석방법으로 다중클래스와 연속형 변수 간 관계가 유의하지 않는다면 감성 분류로 유효하지 않은 변수로 판단한다. 단, 실제 클래스간 상관성이 아닌 다중 비교로 인하여 p-value 가 낮아지는 현상을 방지하기 위해 유의도 임계(p-value threshold)를 새로 설정한다. 유의도 임계(P-value threshold)는 FDR(false discovery rate, FDR = false positive / total positive), 즉, 유의하다고 판단한 것 중 실제로 유의하지 않을 확률을 조정하여 결정되며, 이에 의해 유의도(p-value)를 보정한다. 이러한 보정에는 Benjamini-Yekutieli 보정이 적용될 수 있다.
ANOVA F test: 감성 클래스 별 차이가 존재하는 지 보고 유의한 차이가 없을 경우 감성분류로 유의하지 않는 변수로 판단한다. 단, 실제 클래스간 차이가 아닌 다중 비교로 인하여 유의도(p-value) 가 낮아지는 현상을 방지하기 위해 FDR(false discovery rate, FDR = false positive / total positive), 즉, 유의하다고 판단한 것 중 실제로 유의하지 않을 확률을 조정하여 결정되며, 이에 의해 유의도(p-value)를 보정한다. 보정방식은 Benjamini-Hochberg 보정을 사용한다.
위와 같은 Kendall’s Tau, ANOVA F test 두 가지 방법으로 동적 특성 파라미터에 대한 통계적 유효성을 검증한 후 각각의 유효 특성 파라미터(유효 변수)를 구한다. Kendall’s Tau, ANOVA F test 모두 유의한 파라미터(유효 변수)만을 최종 유효 파라미터(변수)로 판단한다. 어느 한쪽의 test만 유의할 경우, 해당 변수는 유효 파라미터에서 제외된다. 상기와 같은 통계적 방법은 Valence 및 Arousal 데이터에 대해 별개로 수행된다.
아래의 표1은 본 실시 예에 의해 추출된 Valence 유효 파라미터(변수)를 예시한다.
아래의 표2는 본 실시 예에 의해 추출된 Arousal 유효 파라미터를 예시한다.
< Emotion AI 구축 및 감성 인식>
딥러닝 및 머신러닝 기법을 이용하여 감성 인식 모델을 생성한다.
1) 감성 분류 클래스:
- 긍정도 (valence) : 7개 클래스 (1: 부정 ~ 7: 긍정) - 각성도 (arousal) : 7개 클래스 (1: 이완 ~ 7: 각성)
2) 사용 데이터:
- 유효변수 단계에서 도출된 유효 동적 특성 패턴(dynamics pattern)
- Train: test 비율: 0.8: 0.2
3) Cross validation: 5회
다음과 같은 다양한 모델을 사용하여 가장 높은 분류 정확도를 보인 모델을 선택하여 감성 인식 정확도를 도출한다
1) Multiperceptron (MLP)
본 실시 예에 따라 모델은 MLP 모델로 구성될 수 있으며, MLP는 다음과 같이 디자인하였습니다.
- 입력층(input layer): 유효변수로 판정된 HRV, RSA의 동적 특성 패턴(dynamics pattern)이 입력되는 데이터 레이어이다.
- 히든레이어(hidden layer): 본 실시예에서는 총 3개의 히든레이어를 구성되었으며 각 레이어의 노드는 4096, 2048, 1024개로 구성되었다.
오버피팅(overfitting)을 방지하기 위하여 각 층마다 드롭아웃 레이어(dropout layer)를 추가하였으며 드롭아웃(dropout) 비율을 0.2로 설정하여 학습 시 랜덤으로 80% 노드를 선택하여 학습하도록 하였다.
- 활성함수(Activation function)는 ReLU가 지정되었다.
- 출력층(output layer): 총 7개의 클래스로 분류되며 긍정도(valence) 및 각성도(arousal)에 대해 각각 별도로 진행된다.
2) k-NN(nearest neighbor)
본 실시 예에 따르면, 상기 모델은 k-NN 모델을 적용할 수 있다. k-NN에서는각 데이터에 맞는 k를 설정한 후 각 클래스에 가까운 데이터를 해당 클래스로 분류한다. 본 실시 예에서는 k-NN 모델에서 데이터 간 거리를 유클리드 거리로 측정하였으며 k는 클래스의 수인 7로 지정하였다.
3) SVM(support vector machine)
하나 또는 그 이상의 실시 예에 따르면, 모델 생성에 SVM 모델을 적용할 수 있다.
SVM 모델은 각 클래스를 구분하는 초평면(hyperplane)을 이용하여 데이터를 분류하는 알고리즘을 가지며, 초평면을 구별하는 커널 함수(kernel function)가 어떤 것으로 지정하지는 지에 따라 결과가 달라진다. 본 실시 예에서는 RBF(radial basis function)를 커널 함수로 사용하여 각 데이터를 분류(classification)하였다.
<실험 데이터>
도5는 본 실시 예에 따른 실험 데이터를 수집하는 과정을 보이는 블록다이어그램이며, 도6은 실험에 사용된 웨어러블 기기의 인터페이스 화면이며, 그리고 도7은 실제 일반 환경에서의 실험을 수행하는 장면을 보이는 사진이다.
본 실험은 실험실 환경이 아닌 일상생활에서 피험자의 움직임 등의 제한없이 최대한 일상생활과 가깝도록 진행한 실험이기 때문에 별도의 자극을 부여하지 않았다. 따라서 피험자들은 본인의 일상생활을 그대로 하면서 일상적인 자극에 노출되도록 하였다. 단, 실험기간 동안 매 시간마다 본인의 감성을 주관평가로 보고하도록 하였다.
본 실험에는 79명 피험자 (평균 연령 23.25, 표준편차 3.18세)들이 참여하였으며, 피험자들은 모두 심혈관 질환 병력이 없었으며 자발적으로 실험에 참여하였다.
실험 중 누락이 발생한 1명을 제외한 78명의 데이터가 사용되었다. 모든 피험자는 총 15일간 하루 5시간 (13:00 pm~ 18:00 pm) 동안 실험을 진행하였다. 피험자들은 실험 전 웨어러블 PPG 센서를 착용하였으며 실험 시작 후에는 별도의 제한 없이 일상생활을 하였다. 주관평가는 매 1시간마다 진행하였으며 긍정-부정 감성(부정 1, 긍정 7)과 각성-이완(이완 1, 각성 7)을 리커트 7점 척도로 평가하도록 하였다.
앞에서 상세히 설명되는 본 발명에 따른 감성 인식 방법은 일반적인 웨어러블 기기를 이용한 PPG 신호 검출 이에 연결되는 모바일 기기에 의해 실행가능하며, 또한 생성된 머신러닝 모델을 모바일 기기에 탑재하고, 이를 이용하는 어플리케이션(프로세서)에 의해 실생활 감성 인식이 가능할 것이다.
전순한 바와 같은 방법은 모바일 기기에 설치되는 어플리케이션에 의해 수행가능하며, 어플리케이션 내의 신호 처리 및 분석부를 통해서 목적하는 감성 인식이 가능하고 그 결과를 모바일 기기의 디스플레이 등을 통해서 표출이 가능하게 된다. 물론 본 개시에 따른 방법 및 시스템은 비단 모바일 기기뿐 아니라 일반적인 PC에서 수행이 가능할 것이다.
본 개시에 따른 감성 인식 시스템:은
상기 방법에 의해 얻어진 최종 모델 파일을 저장하는 메모리;
판별 대상 피험자로부터 PPG 신호를 검출하는 PPG 센서,
상기 PPG 신호로부터 심박 동적 특성 패턴을 추출하는 비교 데이터 생성부와 상기 비교 데이터를 상기 메모리에 저장된 모델에 적용하여 감성을 인식하는 감성 평가부를 포함하는 프로세서; 그리고 상기 결과를 표시하는 디스플레이;를 포함할 수 있다.
이상에서 살펴본 바와 같이 본 발명의 모범적 실시 예들에 대해 상세히 기술되었지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구 범위에 정의된 본 발명의 정신 및 범위를 벗어나지 않으면서 본 발명을 여러 가지로 변형하여 실시할 수 있을 것이다. 따라서 본 발명의 앞으로의 실시 예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.
Claims (15)
- 피험자로부터 PPG 센서에 의해 맥파 신호를 추출하는 단계;
상기 맥파 신호로부터 PPI (Signal of Peak to Peak Interval)를 추출하는 단계;
상기 PPI로부터 심박 변이도(Heart Rate Variability, HRV) 및 호흡 동성 부정맥(Respiratory Sinus Arrhythmia, RSA) 신호를 추출하는 단계;
상기 HRV로부터 시간 도메인과 주파수 도메인 중 적어도 어느 하나의 도메인으로부터 적어도 하나의 HRV의 특성 파라미터를 추출하는 단계;
상기 RSA 신호로부터 시간 도메인과 주파수 도메인 중 적어도 어느 하나의 도메인으로부터 적어도 하나의 RSA 파라미터를 추출하는 단계;
상기 적어도 하나의 HRV 파라미터와 RSA 파라미터로부터 적어도 하나 이상의 HRV 및 RSA의 동적 특성 패턴 데이터를 각각 추출하는 단계;
상기 동적 특성 패턴 신호들 중에서 감성 평가에 유효한 동적 특성 패턴을 이용해 딥러닝으로 훈련된 모델을 형성하는 단계;
피검자의 PPG 신호로부터 비교 대상 HRV 및 RSA 동적 특성 패턴을 추출하는 단계; 그리고
상기 훈련된 모델에 상기 피검자의 동적 특성 패턴을 적용하여 피검자의 감성을 평가하는 단계;를 포함하는, 심장의 동적 특성을 이용한 감성 인식 방법. - 제1항에 있어서,
상기 HRV의 시간 도메인의 파라미터는 HR(Heart Rate), SDNN(Standard Deviation of NN Interval), 그리고 pNN50(percentage of NN inverval over 50ms) 중의 적어도 어느 하나를 포함하는, 심장의 동적 특성을 이용한 감성 인식 방법. - 제1항 또는 제2항에 있어서,
상기 HRV의 주파수 도메인의 파라미터는 HF(High Frequency, 0.15 ~ 0.04Hz) 파워, VLF(Very Low Frequency, 0.0033 ~ 0.04Hz) 파워, LF(Low Frequency, 0.04 ~ 0.15Hz) 파워, VLF/LF, LF/HF, 토탈 파워(Total Power), 피크 파워(Peak Power), 도미넌트 파워(Dominant power between 0.04 ~ 0.26Hz), Coherence ratio(Peak power / (total power?peak power) 중에 적어도 어느 하나를 포함하는, 심장의 동적 특성을 이용한 감성 인식 방법. - 제3항에 있어서,
상기 동적 특성 패턴은 HRV 파라미터와 RSA 파라미터에 대한 변동성(Variability), 불안정성(Instability) 및 일관성(Inertia) 계산에 의해 얻어지며, 변동성(Variability, var), 불안정성(Instability, MSSD) 및 일관성(Inertia or Autocorrelation, Acorr) 각각은 아래의 식 1, 2, 3 각각에 의해 계산되는, 심장의 동적 특성을 이용한 감성 인식 방법.
<식1>
<식2>
<식3>
N: 전체 데이터 수
xi: i번째 데이터
x: 현 시점의 데이터
h: h 시점의 데이터 - 제1항 또는 제2항에 있어서,
상기 동적 특성 패턴은 HRV 파라미터와 RSA 파라미터에 대한 변동성(Variability), 불안정성(Instability) 및 일관성(Inertia) 계산에 의해 얻어지며, 변동성(Variability, var), 불안정성(Instability, MSSD) 및 일관성(Inertia or Autocorrelation, Acorr) 각각은 아래의 식 1, 2, 3 각각에 의해 계산되는, 심장의 동적 특성을 이용한 감성 인식 방법.
<식1>
<식2>
<식3>
N: 전체 데이터 수
xi: i번째 데이터
x: 현 시점의 데이터
h: h 시점의 데이터 - 제5항에 있어서,
상기 모델은 MLP(Multi-perceptron), k-NN(Nearest Neighbor), 또는 SVM(Support Vector Machine) 중의 어느 하나의 모델인, 심장의 동적 특성을 이용한 감성 인식 방법. - 제4항에 있어서,
상기 모델은 MLP(Multi-perceptron), k-NN(Nearest Neighbor), 또는 SVM(Support Vector Machine) 중의 어느 하나의 모델인, 심장의 동적 특성을 이용한 감성 인식 방법. - 제1항 또는 제2항에 있어서,
상기 유효한 동적 특성 패턴의 선택에는 Kendall's Tau 방법 및 Anova F test 방법 모두를 적용하고, 상기 두 방법에 의해 모두 유의한 동적 특성 패턴을 유효한 것으로 판단하는, 심장의 동적 특성을 이용한 감성 인식 방법. - 제1항 또는 제2항에 있어서,
상기 모델은 각성-이완(Arousal) 또는 쾌-불쾌(Valence)의 감성에 대해 훈련되어 있는, 심장의 동적 특성을 이용한 감성 인식 방법. - 제3항에 있어서,
상기 모델은 각성-이완(Arousal) 또는 쾌-불쾌(Valence)의 감성에 대해 훈련되어 있는, 심장의 동적 특성을 이용한 감성 인식 방법. - 제1항 또는 제2항에 기재된 방법을 수행하는 심장의 동적 특성을 이용한 감성 인식 시스템에 있어서,
맥파 신호를 검출하는 센서;
상기 맥파 신호로부터 심박 동적 특성 패턴을 추출하는 비교 데이터 생성부와 상기 비교 데이터를 상기 메모리에 저장된 모델에 적용하여 감성을 인식하는 감성 평가부를 포함하는 프로세서; 그리고 상기 결과를 표시하는 디스플레이;를 포함하는 심장의 동적 특성을 이용한 감성 인식 시스템. - 제11항에 있어서,
상기 HRV의 주파수 도메인의 파라미터는 HF(High Frequency, 0.15 ~ 0.04Hz) 파워, VLF(Very Low Frequency, 0.0033 ~ 0.04Hz) 파워, LF(Low Frequency, 0.04 ~ 0.15Hz) 파워, VLF/LF, LF/HF, 토탈 파워(Total Power), 피크 파워(Peak Power), 도미넌트 파워(Dominant power between 0.04 ~ 0.26Hz), Coherence ratio(Peak power / (total power?peak power) 중에 적어도 어느 하나를 포함하는, 심장의 동적 특성을 이용한 감성 인식 시스템. - 제11항에 있어서,
상기 동적 특성 패턴은 HRV 파라미터와 RSA 파라미터에 대한 변동성(Variability), 불안정성(Instability) 및 일관성(Inertia) 계산에 의해 얻어지며, 변동성(Variability, var), 불안정성(Instability, MSSD) 및 일관성(Inertia or Autocorrelation, Acorr) 각각은 아래의 식 1, 2, 3 각각에 의해 계산되는, 심장의 동적 특성을 이용한 감성 인식 시스템.
<식1>
<식2>
<식3>
N: 전체 데이터 수
xi: i번째 데이터
x: 현 시점의 데이터
h: h 시점의 데이터 - 제11항에 있어서,
상기 모델은 MLP(Multi-perceptron), k-NN(Nearest Neighbor), 또는 SVM(Support Vector Machine) 중의 어느 하나의 모델인, 심장의 동적 특성을 이용한 감성 인식 시스템. - 제11항에 있어서,
상기 모델은 각성-이완(Arousal) 또는 쾌-불쾌(Valence)의 감성에 대해 훈련되어 있는, 심장의 동적 특성을 이용한 감성 인식 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210030121A KR102488616B1 (ko) | 2021-03-08 | 2021-03-08 | 심장의 동적 특성을 이용한 감성 인식 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210030121A KR102488616B1 (ko) | 2021-03-08 | 2021-03-08 | 심장의 동적 특성을 이용한 감성 인식 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220126041A true KR20220126041A (ko) | 2022-09-15 |
| KR102488616B1 KR102488616B1 (ko) | 2023-01-13 |
Family
ID=83281502
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210030121A KR102488616B1 (ko) | 2021-03-08 | 2021-03-08 | 심장의 동적 특성을 이용한 감성 인식 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102488616B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117158970A (zh) * | 2023-09-22 | 2023-12-05 | 广东工业大学 | 一种情绪识别方法、系统、介质及计算机 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180122828A (ko) * | 2017-05-04 | 2018-11-14 | 상명대학교산학협력단 | 심장과 호흡의 연결성을 이용한 감성 인식 방법 및 시스템 |
-
2021
- 2021-03-08 KR KR1020210030121A patent/KR102488616B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180122828A (ko) * | 2017-05-04 | 2018-11-14 | 상명대학교산학협력단 | 심장과 호흡의 연결성을 이용한 감성 인식 방법 및 시스템 |
Non-Patent Citations (12)
| Title |
|---|
| Egger, M., Ley, M., and Hanke, S. (2019). Emotion recognition from physiological signal analysis: a review. Electronic Notes in Theoretical Computer Science, 343, 35-55. |
| Emotion recognition from physiological signal analysis: a review. Electronic Notes in Theoretical Computer Science, 343, 35-55. (2019) * |
| From the lab to the real world: Affect recognition using multiple cues and modalities (pp. 185-218). INTECH Open Access Publisher. (2008) * |
| Grossman, P., and Kollai, M. (1993). Respiratory sinus arrhythmia, cardiac vagal tone, and respiration: Within? and between? individual relations. Psychophysiology, 30(5), 486-495. |
| Gunes, H., Pantic, M., and Piccardi, M. (2008). From the lab to the real world: Affect recognition using multiple cues and modalities (pp. 185-218). INTECH Open Access Publisher. |
| Larradet, F., Niewiadomski, R., Barresi, G., Caldwell, D. G., and Mattos, L. S. (2020). Toward emotion recognition from physiological signals in the wild: approaching the methodological issues in real-life data collection. Frontiers in psychology, 11, 1111. |
| Lewis, G. F., Furman, S. A., McCool, M. F., and Porges, S. W. (2012). Statistical strategies to quantify respiratory sinus arrhythmia: Are commonly used metrics equivalent?. Biological psychology, 89(2), 349-364. |
| Respiratory sinus arrhythmia, cardiac vagal tone, and respiration: Within and between individual relations. Psychophysiology, 30(5), 486-495. (1993) * |
| Schmidt, P., Reiss, A., Duerichen, R., and Van Laerhoven, K. (2018). Wearable affect and stress recognition: A review. arXiv preprint arXiv:1811.08854. |
| Statistical strategies to quantify respiratory sinus arrhythmia: Are commonly used metrics equivalent?. Biological psychology, 89(2), 349-364. (2012) * |
| Toward emotion recognition from physiological signals in the wild: approaching the methodological issues in real-life data collection. Frontiers in psychology, 11, 1111. (2020) * |
| Wearable affect and stress recognition: A review. arXiv preprint arXiv:1811.08854. (2018) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117158970A (zh) * | 2023-09-22 | 2023-12-05 | 广东工业大学 | 一种情绪识别方法、系统、介质及计算机 |
| CN117158970B (zh) * | 2023-09-22 | 2024-04-09 | 广东工业大学 | 一种情绪识别方法、系统、介质及计算机 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102488616B1 (ko) | 2023-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sulaiman et al. | Novel methods for stress features identification using EEG signals | |
| Wang et al. | A k-nearest-neighbor classifier with heart rate variability feature-based transformation algorithm for driving stress recognition | |
| CN107106085B (zh) | 用于睡眠监测的设备和方法 | |
| US9655559B2 (en) | Automated sleep staging using wearable sensors | |
| Karthikeyan et al. | Detection of human stress using short-term ECG and HRV signals | |
| KR101025510B1 (ko) | 감성인식장치의 개인별 최적화시스템 및 그 최적화 방법 | |
| WO2018221750A1 (ja) | 睡眠判定装置、睡眠判定方法、および、睡眠判定プログラム | |
| AU2017363283B2 (en) | System and method for biometric identification using sleep physiology | |
| WO2014063160A1 (en) | Detection of emotional states | |
| WO2012158984A1 (en) | Methods and apparatus for assessment of atypical brain activity | |
| Yan et al. | Emotion classification with multichannel physiological signals using hybrid feature and adaptive decision fusion | |
| Long et al. | A scoping review on monitoring mental health using smart wearable devices | |
| Sulaiman et al. | Development of EEG-based stress index | |
| Nguyen et al. | Neural network approach for non-invasive detection of hyperglycemia using electrocardiographic signals | |
| Rahman et al. | Mental stress recognition using K-nearest neighbor (KNN) classifier on EEG signals | |
| Gao et al. | Obstructive sleep apnea syndrome detection based on ballistocardiogram via machine learning approach | |
| Maiorana | A survey on biometric recognition using wearable devices | |
| Vanitha et al. | Hierarchical SVM to detect mental stress in human beings using Heart Rate Variability | |
| JP2021048965A (ja) | 特徴量抽出装置、状態推定装置、特徴量抽出方法、状態推定方法及びプログラム | |
| KR102488616B1 (ko) | 심장의 동적 특성을 이용한 감성 인식 방법 및 시스템 | |
| Sriraam et al. | Multichannel EEG based inter-ictal seizures detection using Teager energy with backpropagation neural network classifier | |
| Athaya et al. | An efficient fingertip photoplethysmographic signal artifact detection method: A machine learning approach | |
| JP4609539B2 (ja) | 眠気検出装置 | |
| Lima et al. | Heart rate variability and electrodermal activity biosignal processing: predicting the autonomous nervous system response in mental stress | |
| Jegan et al. | Mental Stress Detection and Classification using SVM Classifier: A Pilot Study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |