KR102403404B1 - 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템 - Google Patents

호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템 Download PDF

Info

Publication number
KR102403404B1
KR102403404B1 KR1020190148350A KR20190148350A KR102403404B1 KR 102403404 B1 KR102403404 B1 KR 102403404B1 KR 1020190148350 A KR1020190148350 A KR 1020190148350A KR 20190148350 A KR20190148350 A KR 20190148350A KR 102403404 B1 KR102403404 B1 KR 102403404B1
Authority
KR
South Korea
Prior art keywords
respiration
electrocardiogram
mental stress
neural network
deep neural
Prior art date
Application number
KR1020190148350A
Other languages
English (en)
Other versions
KR20210060854A (ko
KR102403404B9 (ko
Inventor
박성민
서원주
김남호
오현우
이찬희
Original Assignee
포항공과대학교 산학협력단
한국전자통신연구원
주식회사 원소프트다임
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단, 한국전자통신연구원, 주식회사 원소프트다임 filed Critical 포항공과대학교 산학협력단
Priority to KR1020190148350A priority Critical patent/KR102403404B1/ko
Publication of KR20210060854A publication Critical patent/KR20210060854A/ko
Application granted granted Critical
Publication of KR102403404B1 publication Critical patent/KR102403404B1/ko
Publication of KR102403404B9 publication Critical patent/KR102403404B9/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Pulmonology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Educational Technology (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법은, 대상자가 착용한 웨어러블 디바이스에 의해 상기 대상자의 호흡 및 심전도 데이터를 수집하는 단계; 수집한 상기 호흡 및 심전도 데이터를 이용하여 심층 신경망 모델을 학습하는 단계; 및 학습된 상기 심층 신경망 모델을 이용하여 실시간으로 획득한 대상자의 호흡 및 심전도 신호를 기반으로 정신적 스트레스를 검출하는 단계를 포함할 수 있다.

Description

호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템 {Method and System for Recognizing Mental Stress Using Respiration and Electrocardiogram Signals}
본 출원은 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템에 관한 것이다.
현대 직장인들은 직장에서 높은 수준의 정신적 스트레스를 경험하고 있으며, 이로 인해 심혈관계 질환, 당뇨병, 암 및 복통과 같은 심각한 장기 질환과 우울증, 분노, 심지어 자살과 같은 정신 질환 등을 유발하여 의료 비용을 증대시킨다. 또한, 직장인에게 정신적 스트레스는 일의 효율을 낮추고, 결근율을 증가시키며, 이는 사회적, 경제적 비용을 증대시킨다. 따라서, 정신적 스트레스를 정확하게 인지하도록 하고, 더 나아가 정신적 스트레스를 예방하도록 할 필요가 있다.
기존에는 설문지 기반으로 주관적인 정신적 스트레스를 검출하거나, 생체신호를 기반으로 객관적인 정신적 스트레스를 검출하기 위해서 많은 연구들이 수행되었다. 그러나 기존의 방법은 검출 정확도가 떨어지거나, 하나의 생체신호만을 사용함에 따라 사람마다 다를 수 있는 정신적 스트레스에 대한 반응을 검출하는데 한계가 있었다.
Cho H-M, etc., Ambulatory and Laboratory Stress Detection Based on Raw Electrocardiogram Signals Using a Convolutional Neural Network. Sensors. 19, 4408, pp.1~18 (2019.10.11.) Masood K, Alghamdi M A, Modeling Mental Stress Using a Deep Learning Framework. IEEE Access. Vol.7, pp.68446~68454 (2019.06.06.)
따라서, 당해 기술분야에서는 생체신호를 기반으로 보다 정확하게 정신적 스트레스를 검출하기 위한 방안이 요구되고 있다.
상기 과제를 해결하기 위해서, 본 발명의 일 실시예는 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법을 제공한다.
상기 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법은, 대상자가 착용한 웨어러블 디바이스에 의해 상기 대상자의 호흡 및 심전도 데이터를 수집하는 단계; 수집한 상기 호흡 및 심전도 데이터를 이용하여 심층 신경망 모델을 학습하는 단계; 및 학습된 상기 심층 신경망 모델을 이용하여 실시간으로 획득한 대상자의 호흡 및 심전도 신호를 기반으로 정신적 스트레스를 검출하는 단계를 포함할 수 있다.
또한, 본 발명의 다른 실시예는 호흡-심전도 신호를 사용한 정신적 스트레스 검출 시스템을 제공한다.
상기 호흡-심전도 신호를 사용한 정신적 스트레스 검출 시스템은, 대상자가 착용한 웨어러블 디바이스에 의해 실시간으로 측정된 대상자의 심전도 및 호흡 신호를 수집하는 데이터 수집부; 및 심층 신경망 모델을 통해 상기 심전도 및 호흡 신호를 분석하여 상기 대상자의 정신적 스트레스를 검출하는 데이터 분석부를 포함하는 서버를 포함할 수 있다.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 정신적 스트레스를 검출하기 위해 정신적 스트레스 상황으로 인해서 변화되는 자율신경계의 결과인 생체신호의 반응들을 검출하여 이용함으로써, 기존의 기억이나 감정에 의존하는 설문지, 상담 방법에 비해서 높은 신뢰도로 정신적 스트레스를 검출할 수 있다.
또한, 서로 다른 생체신호의 정보를 통합하여 사용함으로써, 사람마다 다른 정신적 스트레스에 대한 반응을 검출할 수 있고, 신호 노이즈의 영향에 강인하다.
또한, 웨어러블 디바이스 및 휴대 단말과 연동하여 실시간으로 획득된 생체신호를 분석하여 정신적 스트레스를 검출할 수 있으며, 이를 통해 정신적 스트레스를 중재하여 정신적 스트레스를 완화하는데 도움이 될 수 있다.
도 1은 본 발명의 일 실시예에 따른 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 심층 신경망 모델의 구조를 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따라 심전도 신호의 첫 번째 정류 선형 유닛에서의 활성화를 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따라 호흡 신호의 첫 번째 정류 선형 유닛에서의 활성화를 도시하는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 호흡-심전도 신호를 사용한 정신적 스트레스 검출 시스템의 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법의 흐름도이다.
도 1을 참조하면, 우선, 대상자의 호흡 및 심전도 데이터를 수집할 수 있다(S110). 일 예에 따르면, 심층 신경망 모델을 학습시키기 위한 데이터를 수집하기 위해서 대상자는 호흡 및 심전도를 측정할 수 있는 웨어러블 디바이스를 착용한 상태에서 기 정해진 프로토콜에 따라서 이완 상태와 스트레스 상태를 반복적으로 경험하면서 대상자의 호흡 및 심전도를 측정할 수 있다. 여기서, 이완 상태는 신체적인 활동 없이 편안한 자세로 의자에 앉아 있는 것이고, 스트레스 상태는 예를 들어 수학 과제, 스트룹(Stroop) 과제 등과 같은 스트레스 요인을 제공받는 것일 수 있다.
이후, 수집한 데이터를 이용하여 심층 신경망 모델을 학습할 수 있다(S120). 본 발명의 실시예에 따른 심층 신경망 모델은 도 2를 참조하여 구체적으로 후술한다.
이후, 학습된 심층 신경망 모델을 이용하여 실시간으로 획득한 대상자의 호흡 및 심전도 신호를 기반으로 정신적 스트레스를 검출할 수 있다(S130).
이후, 호흡 및 심전도 신호 각각에 대한 심층 신경망 뉴런의 활성화를 시각화할 수 있다(S140). 본 발명의 실시예에 따라 심층 신경망 뉴런의 활성화를 시각화하는 내용은 도 3 및 도 4를 참조하여 구체적으로 후술한다.
도 1을 참조하여 상술한 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법은 도 3에 도시된 호흡-심전도 신호를 사용한 정신적 스트레스 검출 시스템에 의해 수행될 수 있다.
도 2는 본 발명의 일 실시예에 따른 심층 신경망 모델의 구조를 도시하는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 심층 신경망 모델은 심전도(ECG; Electrocardiogram)와 호흡(RESP; Respiration) 신호를 입력으로 받아서 정신적 스트레스의 여부를 분석할 수 있다.
여기서, 입력되는 심전도 신호 및 호흡 신호의 길이는 예를 들어 50초이며, 별도의 전처리 없이 심층 신경망 모델에 입력될 수 있다.
도 2에 도시된 심층 신경망 모델에 의해 각 신호의 특징들이 추출되고, 추출된 각 신호의 특징들이 통합되어 정신적 스트레스를 확률(예를 들어, 0 내지 1 사이의 확률)로 출력할 수 있다.
구체적으로, 입력된 심전도 신호 및 호흡 신호는 각각 배치 정규화 계층(BN; Batch-normalization layer)에서 정규화될 수 있다.
이후, 정규화된 각 신호는 1D 컨볼루션 계층(1DCONV; 1D-convolutional layer)과 최대 풀링 계층(MAXPOOL; Max-pooling layer)을 통과하면서 각각의 신호에서 스트레스와 관련된 특징, 즉 파형 패턴이 추출될 수 있다. 여기서, 정류 선형 유닛(ReLU; Rectified Linear Unit)이 활성화 기능으로서 사용될 수 있다.
이후, 각 신호는 또 다른 1D 컨볼루션 계층을 통과하게 된다. 이 경우, 이전 최대 풀링 계층에서 차원이 크게 줄어들었으므로 추가의 최대 풀링 계층은 필요로 하지 않는다.
이후, 이전의 컨볼루션 계층으로부터 추출된 특징들에 대한 순차적 정보를 얻기 위한 2 이상의 LSTM(Long-short term memory cell) 계층이 위치한다.
이후, 추출된 심전도 및 호흡 특징들을 연결하고(CONCAT; Concatenation), 완전 연결 계층(DENSE; Fully-connected layer)이 위치한다.
마지막으로, 시그모이드 활성화 기능(SIGMOID; Sigmoid activation function)이 있는 완전 연결 계층(DENSE)이 위치하며, 이를 통해 정신적 스트레스 유무를 분류할 수 있다.
또한, 과적합을 방지하기 위한 드롭 아웃 계층(DROPOUT; Dropout layer) 및 배치 정규화 계층(BN)을 추가할 수 있다.
하기의 표 1은 사람을 대상으로 한 실험을 통해 얻은 데이터를 바탕으로 상술한 본 발명의 실시예에 따른 심층 신경망 모델과 기존의 기계학습 모델을 학습시켜 분석한 결과를 나타내는 것으로, 평가 지표로서 정확도(Accuracy), F1 점수 (F1 score) 및 AUC(Area Under receiver operating characteristic Curve)가 사용되었다.
학습 모델 정확도(%) F1 점수 AUC
심층 신경망 83.9 ± 2.3 0.81 ± 0.05 0.92 ± 0.01
서포트 벡터 머신(SVM) 61.7 ± 3.4 0.62 ± 0.04 0.68 ± 0.05
랜덤 포레스트(RF) 71.8 ± 2.3 0.67 ± 0.04 0.80 ± 0.02
k-최근접 이웃 알고리즘(KNN) 64.0 ± 3.2 0.60 ± 0.02 0.67 ± 0.04
로지스틱 회귀모델(LR) 59.1 ± 2.5 0.55 ± 0.05 0.63 ± 0.04
의사 결정 트리(DT) 68.8 ± 1.6 0.66 ± 0.02 0.70 ± 0.02
구체적으로, 기존의 기계학습 모델들 중에서 RF가 가장 높은 평균 정확도(71.8 ± 2.3%), F1 점수(0.67 ± 0.04) 및 AUC(0.80 ± 0.02)를 나타냈다. 다음으로, DT, SVM, KNN이 뒤따르며, LR이 가장 낮은 성능을 나타냈다. 즉, 동일한 핸드 크레프트 특징점 세트에 대해 학습되더라도 모델마다 성능이 상이할 수 있으며, 각각의 문제에 대해 가장 적합한 모델을 찾아야 할 필요가 있다.
본 발명의 실시예에 따른 심층 신경망 모델은 가장 높은 평균 정확도(83.9 ± 2.3 %), F1 점수(0.81 ± 0.05) 및 AUC(0.92 ± 0.01)를 나타냈다. RF와 비교했을 때, 평균 정확도는 12.1 % 높았고, 평균 F1 점수는 0.14 더 높았으며, 평균 AUC는 0.12 더 높았다. 또한, 심층 신경망 모델의 AUC는 0.9보다 크므로 정신적 스트레스 검출에 매우 정확함을 알 수 있다. 즉, 본 발명의 실시예에 따른 심층 신경망 모델이 가장 높은 성능을 유의미하게 보여 주었다.
도 3은 본 발명의 일 실시예에 따라 심전도 신호의 첫 번째 정류 선형 유닛에서의 활성화를 도시하는 도면이고, 도 4는 본 발명의 일 실시예에 따라 호흡 신호의 첫 번째 정류 선형 유닛에서의 활성화를 도시하는 도면이다.
신경망의 뉴런의 활성화를 시각화하는 것은 신경망이 의사 결정을 내리는 방법을 이해하고 새로운 스트레스 관련 특징을 찾는데 도움을 줄 수 있기 때문에 유용할 수 있다.
본 발명의 일 실시예에 따르면, 첫 번째 교차 검증 기간 동안 훈련된 신경망과 심전도 및 호흡 데이터 샘플을 선택하고, 각 신호에 대한 신경망에서 활성화를 계산한 후, 첫 번째 배치 정규화 계층의 출력을 각 신호에 대한 첫 번째 정류 선형 유닛 이후의 활성화와 비교하였다. 입력 길이를 유지하기 위해 컨볼루션 계층에서 제로 패딩을 사용한 경우, 첫 번째 배치 정규화 계층의 출력에도 제로 패딩을 적용할 수 있다.
도 3에서는 활성화된 신호 패턴을 용이하게 확인하기 위해, 활성화 및 첫 번째 배치 정규화 계층의 출력을 0 내지 1 사이의 범위를 갖는 MinMax 스케일러로 정규화하였다. 또한, 도 3에서 파란색 선은 활성화를 나타내고, 빨간색 선은 출력을 나타낸다. 도 3에 도시된 그래프로부터 (a) 심전도 Q 및 T의 상승 파형과 (b) 심전도 QRS 및 T의 하강 파형 주변이 활성화됨을 알 수 있다. 이러한 결과로부터 심전도의 R-피크만을 고려하는 기존의 기계 학습 방식과 달리 필터가 이러한 고유한 심전도 파형을 추출할 수 있음을 알 수 있다.
한편, 도 4에서도 활성화된 신호 패턴을 용이하게 확인하기 위해, 활성화 및 첫 번째 배치 정규화 계층의 출력을 0 내지 1 사이의 범위를 갖는 MinMax 스케일러로 정규화하였다. 또한, 도 4에서 파란색 선은 활성화를 나타내고, 빨간색 선은 출력을 나타낸다. 도 4에 도시된 그래프로부터 (a) 호흡 피크(예를 들어, 흡기) 및 (b) 호흡 nadir(예를 들어, 호기) 주변이 활성화됨을 알 수 있다. 상술한 뉴런의 활성화의 시각화 결과로부터 본 발명에 따른 심층 신경망이 심전도 신호 및 호흡 신호에서 각각 서로 상이한 특정 파형에 활성화되어서 고유한 특징을 추출함을 알 수 있다. 이러한 결과는 신경망이 특정 파형(예를 들어, R- 피크), 주파수 영역 또는 시간 영역 특징을 고려하는 간단한 핸드 크래프트 기능보다 종합적인 특징을 추출할 수 있음을 나타낸다. 이는 신경망이 데이터에서 의미있는 스트레스 관련 특징을 학습했기에 가능한 것이다. 이에, 상술한 표 1과 같이 심층 신경망이 기존의 기계학습 모델보다 우수한 성능을 나타냄을 알 수 있다.
도 5는 본 발명의 다른 실시예에 따른 호흡-심전도 신호를 사용한 정신적 스트레스 검출 시스템의 구성도이다.
도 5를 참조하면, 서버(300)는 웨어러블 디바이스(100) 및 휴대 단말(200)과 연동하여, 실시간으로 획득한 생체신호를 분석하고 정신적 스트레스를 검출할 수 있다.
구체적으로, 서버(300)는 데이터 수집부(310)와 심층 신경망 모델을 구비한 데이터 분석부(320)를 포함할 수 있으며, 데이터 수집부(310)를 통해 웨어러블 디바이스(100)에 의해 실시간으로 측정된 대상자의 생체신호, 즉 심전도 및 호흡 신호를 수집하고, 데이터 분석부(320)를 통해 생체신호를 분석하여 정신적 스트레스를 검출할 수 있으며, 더 나아가 호흡 및 심전도 신호 각각에 대한 심층 신경망 뉴런의 활성화를 시각화할 수 있다. 여기서, 서버(300)는 심층 신경망 모델의 구현이 가능한 프로세싱 장치로 이루어질 수 있다.
정신적 스트레스 검출 결과는 휴대 단말(200)로 전송될 수 있으며, 이에 따라 대상자는 휴대 단말(200)에 설치된 애플리케이션 등을 통해 정신적 스트레스 검출 결과를 피드백 받고 이에 따른 적절한 조치를 취할 수 있다.
상술한 본 발명의 실시예에 따르면, 심전도 및 호흡 신호로부터 자동으로 특징을 추출하고, 추출된 특징을 통합하여 정신적 스트레스를 검출할 수 있다. 이와 같이 서로 다른 신호의 정보를 통합하여 사용함으로써, 사람마다 다른 정신적 스트레스에 대한 반응을 검출할 수 있으며, 신호 노이즈의 영향에도 강인하다. 또한, 기존의 기계학습 모델과 달리 설계자가 핸드 크래프트(hand-crafted) 특징점을 직접 추출하는 작업을 수행할 필요가 없어 복잡한 전처리 과정을 생략할 수 있다.
또한, 웨어러블 디바이스 및 휴대 단말과 연동하여 학습된 모델을 기반으로 실시간으로 정신적 스트레스를 검출할 수 있다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.
100: 웨어러블 디바이스
200: 휴대단말
300: 서버
310: 데이터 수집부
320: 데이터 분석부

Claims (5)

  1. 대상자가 착용한 웨어러블 디바이스에 의해 실시간으로 측정된 대상자의 심전도 및 호흡 신호를 수집하는 데이터 수집부; 및 심층 신경망 모델을 통해 상기 심전도 및 호흡 신호를 분석하여 상기 대상자의 정신적 스트레스를 검출하는 데이터 분석부를 포함하는 서버를 구비하는 호흡-심전도 신호를 사용한 정신적 스트레스 검출 시스템에 의해 수행되는 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법에 있어서,
    상기 데이터 수집부가, 상기 웨어러블 디바이스에 의해 측정된 상기 대상자의 호흡 및 심전도 데이터를 수집하는 단계;
    상기 데이터 분석부가, 수집한 상기 호흡 및 심전도 데이터를 이용하여 상기 심층 신경망 모델을 학습하는 단계; 및
    상기 데이터 분석부가, 학습된 상기 심층 신경망 모델에 실시간으로 획득한 대상자의 호흡 및 심전도 신호를 입력하여 정신적 스트레스를 검출하는 단계를 포함하며,
    상기 심층 신경망 모델은 심전도 신호 및 호흡 신호 각각의 특징을 추출하고, 추출된 각 신호의 특징을 연결(CONCAT) 연산자에 의해 연결한 후, 시그모이드 활성화 기능(SIGMOID; Sigmoid activation function)이 있는 완전 연결 계층(DENSE; Fully-connected layer)을 통해 정신적 스트레스 유무를 분류하여 정신적 스트레스를 확률로 출력하는 것을 특징으로 하는 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 데이터 분석부가, 상기 호흡 및 심전도 신호 각각에 대한 상기 심층 신경망의 뉴런의 활성화를 시각화하는 단계를 더 포함하는 것을 특징으로 하는 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법.
  5. 대상자가 착용한 웨어러블 디바이스에 의해 실시간으로 측정된 대상자의 심전도 및 호흡 신호를 수집하는 데이터 수집부; 및
    심층 신경망 모델을 통해 상기 심전도 및 호흡 신호를 분석하여 상기 대상자의 정신적 스트레스를 검출하는 데이터 분석부를 포함하는 서버를 구비하며,
    상기 데이터 분석부는, 기 수집한 호흡 및 심전도 데이터를 이용하여 상기 심층 신경망 모델을 학습하고, 학습된 상기 심층 신경망 모델에 실시간으로 측정된 대상자의 호흡 및 심전도 신호를 입력하여 정신적 스트레스를 검출하며,
    상기 심층 신경망 모델은 심전도 신호 및 호흡 신호 각각의 특징을 추출하고, 추출된 각 신호의 특징을 연결(CONCAT) 연산자에 의해 연결한 후, 시그모이드 활성화 기능(SIGMOID; Sigmoid activation function)이 있는 완전 연결 계층(DENSE; Fully-connected layer)을 통해 정신적 스트레스 유무를 분류하여 정신적 스트레스를 확률로 출력하는 것을 특징으로 하는 호흡-심전도 신호를 사용한 정신적 스트레스 검출 시스템.
KR1020190148350A 2019-11-19 2019-11-19 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템 KR102403404B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190148350A KR102403404B1 (ko) 2019-11-19 2019-11-19 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190148350A KR102403404B1 (ko) 2019-11-19 2019-11-19 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템

Publications (3)

Publication Number Publication Date
KR20210060854A KR20210060854A (ko) 2021-05-27
KR102403404B1 true KR102403404B1 (ko) 2022-05-31
KR102403404B9 KR102403404B9 (ko) 2023-04-12

Family

ID=76135679

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190148350A KR102403404B1 (ko) 2019-11-19 2019-11-19 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102403404B1 (ko)

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Cho H-M, etc., Ambulatory and Laboratory Stress Detection Based on Raw Electrocardiogram Signals Using a Convolutional Neural Network. Sensors. 19, 4408, pp.1~18 (2019.10.11.)*
Masood K, Alghamdi M A, Modeling Mental Stress Using a Deep Learning Framework. IEEE Access. Vol.7, pp.68446~68454 (2019.06.06.)*
Seo W, etc., Deep ECG-Respiration Network(DeepER Net) for Recognizing Mental Stress. Sensors. 19, 3021, pp.1~16 (2019.07.09.) (공지예외적용 미주장 문헌)*

Also Published As

Publication number Publication date
KR20210060854A (ko) 2021-05-27
KR102403404B9 (ko) 2023-04-12

Similar Documents

Publication Publication Date Title
Çınar et al. Classification of normal sinus rhythm, abnormal arrhythmia and congestive heart failure ECG signals using LSTM and hybrid CNN-SVM deep neural networks
EP3698707B1 (en) Electrocardiogram information dynamic monitoring system, computer program and computer readable storage medium
Wahabi et al. On evaluating ECG biometric systems: Session-dependence and body posture
US20190133468A1 (en) Method and apparatus for high accuracy photoplethysmogram based atrial fibrillation detection using wearable device
EP3363351B1 (en) System for detection of coronary artery disease in a person using a fusion approach
US11006874B2 (en) Real-time stress determination of an individual
Rahman et al. Robustness of electrocardiogram signal quality indices
Wu et al. Modeling perceived stress via HRV and accelerometer sensor streams
Kalaivani et al. Prediction of biomedical signals using deep learning techniques
JPWO2018221750A1 (ja) 睡眠判定装置、睡眠判定方法、および、睡眠判定プログラム
Huang et al. Hybrid intelligent methods for arrhythmia detection and geriatric depression diagnosis
Soghoyan et al. A toolbox and crowdsourcing platform for automatic labeling of independent components in electroencephalography
Diab et al. A review on ecg-based biometric authentication systems
Hosseinzadeh et al. Electrocardiogram signals-based user authentication systems using soft computing techniques
WO2023087512A1 (zh) 一种抑郁症客观筛查系统、方法及装置
Mortensen et al. Multi-class stress detection through heart rate variability: A deep neural network based study
Yu et al. An unobtrusive stress recognition system for the smart office
KR102403404B1 (ko) 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템
Ajjey et al. Scalogram based heart disease classification using hybrid cnn-naive bayes classifier
Hachem et al. ECG classification for Sleep Apnea detection
EP3831287B1 (en) Method, device and non-transitory machine readable information storage medium for capacitive touch panel based biosignal measurement
Javadi Combining neural networks and ANFIS classifiers for supervised examining of electrocardiogram beats
Alam et al. Sensor agnostic photoplethysmogram signal quality assessment using morphological analysis
Cho et al. Instant automated inference of perceived mental stress through smartphone ppg and thermal imaging
Cai et al. Fusion of electrocardiogram and arterial blood pressure signals for authentication in wearable medical systems

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]