KR102403404B1 - 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템 - Google Patents

호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템 Download PDF

Info

Publication number
KR102403404B1
KR102403404B1 KR1020190148350A KR20190148350A KR102403404B1 KR 102403404 B1 KR102403404 B1 KR 102403404B1 KR 1020190148350 A KR1020190148350 A KR 1020190148350A KR 20190148350 A KR20190148350 A KR 20190148350A KR 102403404 B1 KR102403404 B1 KR 102403404B1
Authority
KR
South Korea
Prior art keywords
respiration
electrocardiogram
mental stress
neural network
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190148350A
Other languages
English (en)
Other versions
KR20210060854A (ko
KR102403404B9 (ko
Inventor
박성민
서원주
김남호
오현우
이찬희
Original Assignee
포항공과대학교 산학협력단
한국전자통신연구원
주식회사 원소프트다임
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단, 한국전자통신연구원, 주식회사 원소프트다임 filed Critical 포항공과대학교 산학협력단
Priority to KR1020190148350A priority Critical patent/KR102403404B1/ko
Publication of KR20210060854A publication Critical patent/KR20210060854A/ko
Application granted granted Critical
Publication of KR102403404B1 publication Critical patent/KR102403404B1/ko
Publication of KR102403404B9 publication Critical patent/KR102403404B9/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Measuring devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Pulmonology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Educational Technology (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법은, 대상자가 착용한 웨어러블 디바이스에 의해 상기 대상자의 호흡 및 심전도 데이터를 수집하는 단계; 수집한 상기 호흡 및 심전도 데이터를 이용하여 심층 신경망 모델을 학습하는 단계; 및 학습된 상기 심층 신경망 모델을 이용하여 실시간으로 획득한 대상자의 호흡 및 심전도 신호를 기반으로 정신적 스트레스를 검출하는 단계를 포함할 수 있다.

Description

호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템 {Method and System for Recognizing Mental Stress Using Respiration and Electrocardiogram Signals}
본 출원은 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템에 관한 것이다.
현대 직장인들은 직장에서 높은 수준의 정신적 스트레스를 경험하고 있으며, 이로 인해 심혈관계 질환, 당뇨병, 암 및 복통과 같은 심각한 장기 질환과 우울증, 분노, 심지어 자살과 같은 정신 질환 등을 유발하여 의료 비용을 증대시킨다. 또한, 직장인에게 정신적 스트레스는 일의 효율을 낮추고, 결근율을 증가시키며, 이는 사회적, 경제적 비용을 증대시킨다. 따라서, 정신적 스트레스를 정확하게 인지하도록 하고, 더 나아가 정신적 스트레스를 예방하도록 할 필요가 있다.
기존에는 설문지 기반으로 주관적인 정신적 스트레스를 검출하거나, 생체신호를 기반으로 객관적인 정신적 스트레스를 검출하기 위해서 많은 연구들이 수행되었다. 그러나 기존의 방법은 검출 정확도가 떨어지거나, 하나의 생체신호만을 사용함에 따라 사람마다 다를 수 있는 정신적 스트레스에 대한 반응을 검출하는데 한계가 있었다.
Cho H-M, etc., Ambulatory and Laboratory Stress Detection Based on Raw Electrocardiogram Signals Using a Convolutional Neural Network. Sensors. 19, 4408, pp.1~18 (2019.10.11.) Masood K, Alghamdi M A, Modeling Mental Stress Using a Deep Learning Framework. IEEE Access. Vol.7, pp.68446~68454 (2019.06.06.)
따라서, 당해 기술분야에서는 생체신호를 기반으로 보다 정확하게 정신적 스트레스를 검출하기 위한 방안이 요구되고 있다.
상기 과제를 해결하기 위해서, 본 발명의 일 실시예는 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법을 제공한다.
상기 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법은, 대상자가 착용한 웨어러블 디바이스에 의해 상기 대상자의 호흡 및 심전도 데이터를 수집하는 단계; 수집한 상기 호흡 및 심전도 데이터를 이용하여 심층 신경망 모델을 학습하는 단계; 및 학습된 상기 심층 신경망 모델을 이용하여 실시간으로 획득한 대상자의 호흡 및 심전도 신호를 기반으로 정신적 스트레스를 검출하는 단계를 포함할 수 있다.
또한, 본 발명의 다른 실시예는 호흡-심전도 신호를 사용한 정신적 스트레스 검출 시스템을 제공한다.
상기 호흡-심전도 신호를 사용한 정신적 스트레스 검출 시스템은, 대상자가 착용한 웨어러블 디바이스에 의해 실시간으로 측정된 대상자의 심전도 및 호흡 신호를 수집하는 데이터 수집부; 및 심층 신경망 모델을 통해 상기 심전도 및 호흡 신호를 분석하여 상기 대상자의 정신적 스트레스를 검출하는 데이터 분석부를 포함하는 서버를 포함할 수 있다.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 정신적 스트레스를 검출하기 위해 정신적 스트레스 상황으로 인해서 변화되는 자율신경계의 결과인 생체신호의 반응들을 검출하여 이용함으로써, 기존의 기억이나 감정에 의존하는 설문지, 상담 방법에 비해서 높은 신뢰도로 정신적 스트레스를 검출할 수 있다.
또한, 서로 다른 생체신호의 정보를 통합하여 사용함으로써, 사람마다 다른 정신적 스트레스에 대한 반응을 검출할 수 있고, 신호 노이즈의 영향에 강인하다.
또한, 웨어러블 디바이스 및 휴대 단말과 연동하여 실시간으로 획득된 생체신호를 분석하여 정신적 스트레스를 검출할 수 있으며, 이를 통해 정신적 스트레스를 중재하여 정신적 스트레스를 완화하는데 도움이 될 수 있다.
도 1은 본 발명의 일 실시예에 따른 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 심층 신경망 모델의 구조를 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따라 심전도 신호의 첫 번째 정류 선형 유닛에서의 활성화를 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따라 호흡 신호의 첫 번째 정류 선형 유닛에서의 활성화를 도시하는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 호흡-심전도 신호를 사용한 정신적 스트레스 검출 시스템의 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법의 흐름도이다.
도 1을 참조하면, 우선, 대상자의 호흡 및 심전도 데이터를 수집할 수 있다(S110). 일 예에 따르면, 심층 신경망 모델을 학습시키기 위한 데이터를 수집하기 위해서 대상자는 호흡 및 심전도를 측정할 수 있는 웨어러블 디바이스를 착용한 상태에서 기 정해진 프로토콜에 따라서 이완 상태와 스트레스 상태를 반복적으로 경험하면서 대상자의 호흡 및 심전도를 측정할 수 있다. 여기서, 이완 상태는 신체적인 활동 없이 편안한 자세로 의자에 앉아 있는 것이고, 스트레스 상태는 예를 들어 수학 과제, 스트룹(Stroop) 과제 등과 같은 스트레스 요인을 제공받는 것일 수 있다.
이후, 수집한 데이터를 이용하여 심층 신경망 모델을 학습할 수 있다(S120). 본 발명의 실시예에 따른 심층 신경망 모델은 도 2를 참조하여 구체적으로 후술한다.
이후, 학습된 심층 신경망 모델을 이용하여 실시간으로 획득한 대상자의 호흡 및 심전도 신호를 기반으로 정신적 스트레스를 검출할 수 있다(S130).
이후, 호흡 및 심전도 신호 각각에 대한 심층 신경망 뉴런의 활성화를 시각화할 수 있다(S140). 본 발명의 실시예에 따라 심층 신경망 뉴런의 활성화를 시각화하는 내용은 도 3 및 도 4를 참조하여 구체적으로 후술한다.
도 1을 참조하여 상술한 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법은 도 3에 도시된 호흡-심전도 신호를 사용한 정신적 스트레스 검출 시스템에 의해 수행될 수 있다.
도 2는 본 발명의 일 실시예에 따른 심층 신경망 모델의 구조를 도시하는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 심층 신경망 모델은 심전도(ECG; Electrocardiogram)와 호흡(RESP; Respiration) 신호를 입력으로 받아서 정신적 스트레스의 여부를 분석할 수 있다.
여기서, 입력되는 심전도 신호 및 호흡 신호의 길이는 예를 들어 50초이며, 별도의 전처리 없이 심층 신경망 모델에 입력될 수 있다.
도 2에 도시된 심층 신경망 모델에 의해 각 신호의 특징들이 추출되고, 추출된 각 신호의 특징들이 통합되어 정신적 스트레스를 확률(예를 들어, 0 내지 1 사이의 확률)로 출력할 수 있다.
구체적으로, 입력된 심전도 신호 및 호흡 신호는 각각 배치 정규화 계층(BN; Batch-normalization layer)에서 정규화될 수 있다.
이후, 정규화된 각 신호는 1D 컨볼루션 계층(1DCONV; 1D-convolutional layer)과 최대 풀링 계층(MAXPOOL; Max-pooling layer)을 통과하면서 각각의 신호에서 스트레스와 관련된 특징, 즉 파형 패턴이 추출될 수 있다. 여기서, 정류 선형 유닛(ReLU; Rectified Linear Unit)이 활성화 기능으로서 사용될 수 있다.
이후, 각 신호는 또 다른 1D 컨볼루션 계층을 통과하게 된다. 이 경우, 이전 최대 풀링 계층에서 차원이 크게 줄어들었으므로 추가의 최대 풀링 계층은 필요로 하지 않는다.
이후, 이전의 컨볼루션 계층으로부터 추출된 특징들에 대한 순차적 정보를 얻기 위한 2 이상의 LSTM(Long-short term memory cell) 계층이 위치한다.
이후, 추출된 심전도 및 호흡 특징들을 연결하고(CONCAT; Concatenation), 완전 연결 계층(DENSE; Fully-connected layer)이 위치한다.
마지막으로, 시그모이드 활성화 기능(SIGMOID; Sigmoid activation function)이 있는 완전 연결 계층(DENSE)이 위치하며, 이를 통해 정신적 스트레스 유무를 분류할 수 있다.
또한, 과적합을 방지하기 위한 드롭 아웃 계층(DROPOUT; Dropout layer) 및 배치 정규화 계층(BN)을 추가할 수 있다.
하기의 표 1은 사람을 대상으로 한 실험을 통해 얻은 데이터를 바탕으로 상술한 본 발명의 실시예에 따른 심층 신경망 모델과 기존의 기계학습 모델을 학습시켜 분석한 결과를 나타내는 것으로, 평가 지표로서 정확도(Accuracy), F1 점수 (F1 score) 및 AUC(Area Under receiver operating characteristic Curve)가 사용되었다.
학습 모델 정확도(%) F1 점수 AUC
심층 신경망 83.9 ± 2.3 0.81 ± 0.05 0.92 ± 0.01
서포트 벡터 머신(SVM) 61.7 ± 3.4 0.62 ± 0.04 0.68 ± 0.05
랜덤 포레스트(RF) 71.8 ± 2.3 0.67 ± 0.04 0.80 ± 0.02
k-최근접 이웃 알고리즘(KNN) 64.0 ± 3.2 0.60 ± 0.02 0.67 ± 0.04
로지스틱 회귀모델(LR) 59.1 ± 2.5 0.55 ± 0.05 0.63 ± 0.04
의사 결정 트리(DT) 68.8 ± 1.6 0.66 ± 0.02 0.70 ± 0.02
구체적으로, 기존의 기계학습 모델들 중에서 RF가 가장 높은 평균 정확도(71.8 ± 2.3%), F1 점수(0.67 ± 0.04) 및 AUC(0.80 ± 0.02)를 나타냈다. 다음으로, DT, SVM, KNN이 뒤따르며, LR이 가장 낮은 성능을 나타냈다. 즉, 동일한 핸드 크레프트 특징점 세트에 대해 학습되더라도 모델마다 성능이 상이할 수 있으며, 각각의 문제에 대해 가장 적합한 모델을 찾아야 할 필요가 있다.
본 발명의 실시예에 따른 심층 신경망 모델은 가장 높은 평균 정확도(83.9 ± 2.3 %), F1 점수(0.81 ± 0.05) 및 AUC(0.92 ± 0.01)를 나타냈다. RF와 비교했을 때, 평균 정확도는 12.1 % 높았고, 평균 F1 점수는 0.14 더 높았으며, 평균 AUC는 0.12 더 높았다. 또한, 심층 신경망 모델의 AUC는 0.9보다 크므로 정신적 스트레스 검출에 매우 정확함을 알 수 있다. 즉, 본 발명의 실시예에 따른 심층 신경망 모델이 가장 높은 성능을 유의미하게 보여 주었다.
도 3은 본 발명의 일 실시예에 따라 심전도 신호의 첫 번째 정류 선형 유닛에서의 활성화를 도시하는 도면이고, 도 4는 본 발명의 일 실시예에 따라 호흡 신호의 첫 번째 정류 선형 유닛에서의 활성화를 도시하는 도면이다.
신경망의 뉴런의 활성화를 시각화하는 것은 신경망이 의사 결정을 내리는 방법을 이해하고 새로운 스트레스 관련 특징을 찾는데 도움을 줄 수 있기 때문에 유용할 수 있다.
본 발명의 일 실시예에 따르면, 첫 번째 교차 검증 기간 동안 훈련된 신경망과 심전도 및 호흡 데이터 샘플을 선택하고, 각 신호에 대한 신경망에서 활성화를 계산한 후, 첫 번째 배치 정규화 계층의 출력을 각 신호에 대한 첫 번째 정류 선형 유닛 이후의 활성화와 비교하였다. 입력 길이를 유지하기 위해 컨볼루션 계층에서 제로 패딩을 사용한 경우, 첫 번째 배치 정규화 계층의 출력에도 제로 패딩을 적용할 수 있다.
도 3에서는 활성화된 신호 패턴을 용이하게 확인하기 위해, 활성화 및 첫 번째 배치 정규화 계층의 출력을 0 내지 1 사이의 범위를 갖는 MinMax 스케일러로 정규화하였다. 또한, 도 3에서 파란색 선은 활성화를 나타내고, 빨간색 선은 출력을 나타낸다. 도 3에 도시된 그래프로부터 (a) 심전도 Q 및 T의 상승 파형과 (b) 심전도 QRS 및 T의 하강 파형 주변이 활성화됨을 알 수 있다. 이러한 결과로부터 심전도의 R-피크만을 고려하는 기존의 기계 학습 방식과 달리 필터가 이러한 고유한 심전도 파형을 추출할 수 있음을 알 수 있다.
한편, 도 4에서도 활성화된 신호 패턴을 용이하게 확인하기 위해, 활성화 및 첫 번째 배치 정규화 계층의 출력을 0 내지 1 사이의 범위를 갖는 MinMax 스케일러로 정규화하였다. 또한, 도 4에서 파란색 선은 활성화를 나타내고, 빨간색 선은 출력을 나타낸다. 도 4에 도시된 그래프로부터 (a) 호흡 피크(예를 들어, 흡기) 및 (b) 호흡 nadir(예를 들어, 호기) 주변이 활성화됨을 알 수 있다. 상술한 뉴런의 활성화의 시각화 결과로부터 본 발명에 따른 심층 신경망이 심전도 신호 및 호흡 신호에서 각각 서로 상이한 특정 파형에 활성화되어서 고유한 특징을 추출함을 알 수 있다. 이러한 결과는 신경망이 특정 파형(예를 들어, R- 피크), 주파수 영역 또는 시간 영역 특징을 고려하는 간단한 핸드 크래프트 기능보다 종합적인 특징을 추출할 수 있음을 나타낸다. 이는 신경망이 데이터에서 의미있는 스트레스 관련 특징을 학습했기에 가능한 것이다. 이에, 상술한 표 1과 같이 심층 신경망이 기존의 기계학습 모델보다 우수한 성능을 나타냄을 알 수 있다.
도 5는 본 발명의 다른 실시예에 따른 호흡-심전도 신호를 사용한 정신적 스트레스 검출 시스템의 구성도이다.
도 5를 참조하면, 서버(300)는 웨어러블 디바이스(100) 및 휴대 단말(200)과 연동하여, 실시간으로 획득한 생체신호를 분석하고 정신적 스트레스를 검출할 수 있다.
구체적으로, 서버(300)는 데이터 수집부(310)와 심층 신경망 모델을 구비한 데이터 분석부(320)를 포함할 수 있으며, 데이터 수집부(310)를 통해 웨어러블 디바이스(100)에 의해 실시간으로 측정된 대상자의 생체신호, 즉 심전도 및 호흡 신호를 수집하고, 데이터 분석부(320)를 통해 생체신호를 분석하여 정신적 스트레스를 검출할 수 있으며, 더 나아가 호흡 및 심전도 신호 각각에 대한 심층 신경망 뉴런의 활성화를 시각화할 수 있다. 여기서, 서버(300)는 심층 신경망 모델의 구현이 가능한 프로세싱 장치로 이루어질 수 있다.
정신적 스트레스 검출 결과는 휴대 단말(200)로 전송될 수 있으며, 이에 따라 대상자는 휴대 단말(200)에 설치된 애플리케이션 등을 통해 정신적 스트레스 검출 결과를 피드백 받고 이에 따른 적절한 조치를 취할 수 있다.
상술한 본 발명의 실시예에 따르면, 심전도 및 호흡 신호로부터 자동으로 특징을 추출하고, 추출된 특징을 통합하여 정신적 스트레스를 검출할 수 있다. 이와 같이 서로 다른 신호의 정보를 통합하여 사용함으로써, 사람마다 다른 정신적 스트레스에 대한 반응을 검출할 수 있으며, 신호 노이즈의 영향에도 강인하다. 또한, 기존의 기계학습 모델과 달리 설계자가 핸드 크래프트(hand-crafted) 특징점을 직접 추출하는 작업을 수행할 필요가 없어 복잡한 전처리 과정을 생략할 수 있다.
또한, 웨어러블 디바이스 및 휴대 단말과 연동하여 학습된 모델을 기반으로 실시간으로 정신적 스트레스를 검출할 수 있다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.
100: 웨어러블 디바이스
200: 휴대단말
300: 서버
310: 데이터 수집부
320: 데이터 분석부

Claims (5)

  1. 대상자가 착용한 웨어러블 디바이스에 의해 실시간으로 측정된 대상자의 심전도 및 호흡 신호를 수집하는 데이터 수집부; 및 심층 신경망 모델을 통해 상기 심전도 및 호흡 신호를 분석하여 상기 대상자의 정신적 스트레스를 검출하는 데이터 분석부를 포함하는 서버를 구비하는 호흡-심전도 신호를 사용한 정신적 스트레스 검출 시스템에 의해 수행되는 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법에 있어서,
    상기 데이터 수집부가, 상기 웨어러블 디바이스에 의해 측정된 상기 대상자의 호흡 및 심전도 데이터를 수집하는 단계;
    상기 데이터 분석부가, 수집한 상기 호흡 및 심전도 데이터를 이용하여 상기 심층 신경망 모델을 학습하는 단계; 및
    상기 데이터 분석부가, 학습된 상기 심층 신경망 모델에 실시간으로 획득한 대상자의 호흡 및 심전도 신호를 입력하여 정신적 스트레스를 검출하는 단계를 포함하며,
    상기 심층 신경망 모델은 심전도 신호 및 호흡 신호 각각의 특징을 추출하고, 추출된 각 신호의 특징을 연결(CONCAT) 연산자에 의해 연결한 후, 시그모이드 활성화 기능(SIGMOID; Sigmoid activation function)이 있는 완전 연결 계층(DENSE; Fully-connected layer)을 통해 정신적 스트레스 유무를 분류하여 정신적 스트레스를 확률로 출력하는 것을 특징으로 하는 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 데이터 분석부가, 상기 호흡 및 심전도 신호 각각에 대한 상기 심층 신경망의 뉴런의 활성화를 시각화하는 단계를 더 포함하는 것을 특징으로 하는 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법.
  5. 대상자가 착용한 웨어러블 디바이스에 의해 실시간으로 측정된 대상자의 심전도 및 호흡 신호를 수집하는 데이터 수집부; 및
    심층 신경망 모델을 통해 상기 심전도 및 호흡 신호를 분석하여 상기 대상자의 정신적 스트레스를 검출하는 데이터 분석부를 포함하는 서버를 구비하며,
    상기 데이터 분석부는, 기 수집한 호흡 및 심전도 데이터를 이용하여 상기 심층 신경망 모델을 학습하고, 학습된 상기 심층 신경망 모델에 실시간으로 측정된 대상자의 호흡 및 심전도 신호를 입력하여 정신적 스트레스를 검출하며,
    상기 심층 신경망 모델은 심전도 신호 및 호흡 신호 각각의 특징을 추출하고, 추출된 각 신호의 특징을 연결(CONCAT) 연산자에 의해 연결한 후, 시그모이드 활성화 기능(SIGMOID; Sigmoid activation function)이 있는 완전 연결 계층(DENSE; Fully-connected layer)을 통해 정신적 스트레스 유무를 분류하여 정신적 스트레스를 확률로 출력하는 것을 특징으로 하는 호흡-심전도 신호를 사용한 정신적 스트레스 검출 시스템.
KR1020190148350A 2019-11-19 2019-11-19 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템 Active KR102403404B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190148350A KR102403404B1 (ko) 2019-11-19 2019-11-19 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190148350A KR102403404B1 (ko) 2019-11-19 2019-11-19 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템

Publications (3)

Publication Number Publication Date
KR20210060854A KR20210060854A (ko) 2021-05-27
KR102403404B1 true KR102403404B1 (ko) 2022-05-31
KR102403404B9 KR102403404B9 (ko) 2023-04-12

Family

ID=76135679

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190148350A Active KR102403404B1 (ko) 2019-11-19 2019-11-19 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102403404B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025136078A1 (ko) * 2023-12-21 2025-06-26 포항공과대학교 산학협력단 다중 생체신호 모니터링 엣지 컴퓨팅 시스템, 방법 및 그 응용

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115998259A (zh) * 2023-01-11 2023-04-25 南京大学 基于hrv的生物反馈训练系统
CN120581214A (zh) * 2025-08-05 2025-09-02 厦门市和家健脑智能科技有限公司 一种基于深度学习的实时压力监测和干预方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Cho H-M, etc., Ambulatory and Laboratory Stress Detection Based on Raw Electrocardiogram Signals Using a Convolutional Neural Network. Sensors. 19, 4408, pp.1~18 (2019.10.11.)*
Masood K, Alghamdi M A, Modeling Mental Stress Using a Deep Learning Framework. IEEE Access. Vol.7, pp.68446~68454 (2019.06.06.)*
Seo W, etc., Deep ECG-Respiration Network(DeepER Net) for Recognizing Mental Stress. Sensors. 19, 3021, pp.1~16 (2019.07.09.) (공지예외적용 미주장 문헌)*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025136078A1 (ko) * 2023-12-21 2025-06-26 포항공과대학교 산학협력단 다중 생체신호 모니터링 엣지 컴퓨팅 시스템, 방법 및 그 응용

Also Published As

Publication number Publication date
KR20210060854A (ko) 2021-05-27
KR102403404B9 (ko) 2023-04-12

Similar Documents

Publication Publication Date Title
Çınar et al. Classification of normal sinus rhythm, abnormal arrhythmia and congestive heart failure ECG signals using LSTM and hybrid CNN-SVM deep neural networks
Bobade et al. Stress detection with machine learning and deep learning using multimodal physiological data
EP3698707B1 (en) Electrocardiogram information dynamic monitoring system, computer program and computer readable storage medium
Wahabi et al. On evaluating ECG biometric systems: Session-dependence and body posture
EP3363351B1 (en) System for detection of coronary artery disease in a person using a fusion approach
Cosoli et al. Measurement of multimodal physiological signals for stimulation detection by wearable devices
EP2698112B1 (en) Real-time stress determination of an individual
Yan et al. Emotion classification with multichannel physiological signals using hybrid feature and adaptive decision fusion
Wu et al. Modeling perceived stress via HRV and accelerometer sensor streams
Mortensen et al. Multi-class stress detection through heart rate variability: A deep neural network based study
WO2019161610A1 (zh) 心电信息处理方法和心电工作站系统
CN114027842B (zh) 一种抑郁症客观筛查系统、方法及装置
CN108577830A (zh) 一种面向用户的体征信息动态监护方法和动态监护系统
KR102403404B1 (ko) 호흡-심전도 신호를 사용한 정신적 스트레스 검출 방법 및 시스템
Huang et al. Hybrid intelligent methods for arrhythmia detection and geriatric depression diagnosis
Hosseinzadeh et al. Electrocardiogram signals-based user authentication systems using soft computing techniques
Diab et al. A review on ecg-based biometric authentication systems
CN111053552B (zh) 一种基于深度学习的qrs波检测方法
Yu et al. An unobtrusive stress recognition system for the smart office
Ajjey et al. Scalogram based heart disease classification using hybrid cnn-naive bayes classifier
Zhao et al. Intelligent Gateway Based Human Cardiopulmonary Health Monitoring System
KR20240018729A (ko) 멀티모달 생체신호에 기반하여 사용자의 건강 상태를 분석하는 시스템 및 그 방법
EP3831287B1 (en) Method, device and non-transitory machine readable information storage medium for capacitive touch panel based biosignal measurement
US20240081732A1 (en) Method of detecting sleep disorder based on eeg signal and device of the same
Hachem et al. ECG classification for Sleep Apnea detection

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20191119

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210624

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20211108

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220414

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220525

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220526

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
G170 Re-publication after modification of scope of protection [patent]
PG1701 Publication of correction

Patent event code: PG17011E01I

Patent event date: 20230405

Comment text: Request for Publication of Correction

Publication date: 20230412

PR1001 Payment of annual fee

Payment date: 20250324

Start annual number: 4

End annual number: 4