KR102043376B1 - 심층 신경망 알고리즘을 이용하는 실시간 스트레스 분석 방법 - Google Patents

심층 신경망 알고리즘을 이용하는 실시간 스트레스 분석 방법 Download PDF

Info

Publication number
KR102043376B1
KR102043376B1 KR1020180095468A KR20180095468A KR102043376B1 KR 102043376 B1 KR102043376 B1 KR 102043376B1 KR 1020180095468 A KR1020180095468 A KR 1020180095468A KR 20180095468 A KR20180095468 A KR 20180095468A KR 102043376 B1 KR102043376 B1 KR 102043376B1
Authority
KR
South Korea
Prior art keywords
stress level
stress
neural network
level value
network algorithm
Prior art date
Application number
KR1020180095468A
Other languages
English (en)
Inventor
윤인찬
최귀원
김형민
동서연
조현명
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020180095468A priority Critical patent/KR102043376B1/ko
Priority to US16/456,139 priority patent/US11317840B2/en
Application granted granted Critical
Publication of KR102043376B1 publication Critical patent/KR102043376B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4029—Detecting, measuring or recording for evaluating the nervous system for evaluating the peripheral nervous systems
    • A61B5/4035—Evaluating the autonomic nervous system

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Neurology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

본 발명은 피시험자로부터 생체 신호를 취득하는 단계; 생체 신호를 심층 신경망 알고리즘으로 처리하여 복수의 스트레스 레벨값 각각의 확률을 산출하는 단계; 복수의 스트레스 레벨값 중에서 확률이 최대인 스트레스 레벨값을 피시험자의 스트레스 레벨값으로 추정하는 단계; 추정 스트레스 레벨값의 유용성을 판단하는 단계; 및 유용성의 판단을 통해, 유용하다고 판단된 추정 스트레스 레벨값을 최종 스트레스 레벨로 출력하는 단계를 포함하는 스트레스 분석 방법에 관한 것이다.

Description

심층 신경망 알고리즘을 이용하는 실시간 스트레스 분석 방법{METHOD FOR REAL TIME ANALYZING STRESS USING DEEP NEURAL NETWORK ALGORITHM}
본 발명은 일상생활의 스트레스를 분석하는 방법에 관한 것으로서, 더욱 상세하게는 피시험자로부터 측정된 생체 신호를 기반으로 피시험자의 스트레스 상태를 실시간으로 결정하여 이를 피시험자에게 출력할 수 있는 스트레스 분석 방법에 관한 것이다.
스트레스는 삶의 질을 결정하는 요소로 판단되며, 축적된 스트레스는 우울증, 심장질환, 고혈압 등 다양한 질병을 유발시킬 가능성이 있다. 따라서, 일상생활 속에서 스트레스에 의한 질병 예방 및 건강관리 기능의 목적으로 스트레스 모니터링 시스템에 대한 활용 범위가 확대되고 있다.
일반적으로, 사람이 스트레스를 받게 되면, 신체 내의 작용에 있어 변화가 일어나고, 이러한 변화는 교감 신경 및 부교감 신경을 포함하는 자율신경계의 작용으로 이루어진다.
많은 연구들이 자율신경계와 스트레스의 관계를 알아내기 위해 여러 생체신호를 분석하였다. 대표적으로 자율신경계의 변화를 나타내는 생체신호에는 심전도, 뇌파, 피부전도도 등이 있다.
특히, 심전도의 경우 심장에서 나오는 전기적 신호를 측정하는 것으로, PQRST의 파형으로 불리는 신호 특성을 포함하여 측정된다.
구체적으로, 스트레스 분석에 있어 심전도 신호를 사용하는 경우, 심박 변이도라는 심장 박동의 변이도를 이용하게 되는데, 심박 변이도는 전술한 심전도 신호 특성 중 R피크의 간격을 측정하여 구할 수 있다.
즉, 종래의 기술들에 따르면, 스트레스 모니터링을 위해 적용되는 심박 변이도 파라미터를 산출하여 이를 소정의 지수로 산출하여 특정 시점에서의 스트레스 상태를 출력하는 형태로 활용된다.
그러나, 종래의 스트레스를 분석하는 방법은 스트레스 상태에 대한 분석이 최소 5분 이상의 심전도 신호로부터 심박 변이도를 추출해야만 유의미한 분석 결과를 얻을 수 있으며, 심전도 신호로부터 R피크를 추출하는 과정을 포함하고, 신체의 움직임 등과 같은 외부 잡음에 취약하기 때문에, 전처리 과정이 반드시 포함하게 된다.
또한, 종래의 스트레스를 분석하는 방법은 심박 변이도의 R피크 간격의 시간, 주파수, 비선형 특성 분석이기 때문에, R피크 검출 성능에 따라 그 분석 결과값이 크게 좌우되는 경우가 많았다.
결론적으로, 종래의 스트레스를 분석하는 방법에서는, 실시간으로 일상 생활에서의 R피크 검출을 정확하게 실시하기 위해, 다양한 노이즈 제거와 전처리 단계를 수반하게 되므로, 현실적으로 실시간 스트레스의 분석이 어렵다.
예를 들어, 도 6에 도시된 바와 같이, 특허문헌 1은 심전도 신호로부터 5분 간격으로 HRV를 추출하여, 스트레스 지수를 산출하고 평가하는 시스템(1000)을 기재하고 있다.
또한, 도 7에 도시된 바와 같이, 특허문헌 2는 HRV로부터 획득한 스트레스 지수를 이용하는 건강관리 시스템(2000)을 기재하고 있다.
그러나, 특허문헌 1 및 특허문헌 2에 기재된 시스템들은, 전술한 바와 같이, HRV를 사용하기 때문에, 실시간으로 스트레스의 분석이 어렵다는 문제점을 갖는다.
특허문헌 1: 한국특허공보 제10-1006534호 특허문헌 2: 한국특허공보 제10-1264156호
전술한 종래 기술들의 문제점들을 해결하기 위해, 본 발명은 피시험자의 일상 생활에서의 스트레스를 실시간으로 모니터링하기 위해, HRV와 같은 별도의 전처리 및 특징 추출이 필요 없이, 심층 신경망 알고리즘(DEEP NEURAL NETWORK ALGORITHM)을 통해, 단대단(end-to-end)으로 학습하는 방법을 이용하는 스트레스 분석 방법을 제공하고자 한다.
또한, 본 발명은 기학습된 인공 신경망 알고리즘 이용하여 별도의 신경망 학습을 요구하지 않으며, 피시험자의 심전도를 기반으로 가중치 업데이트가 이루어져 피시험자에게 맞춤형 스트레스 분석 방법을 제공하고자 한다.
또한, 본 발명은 시스템의 스트레스 레벨 추정을 정확하게 실시하기 위해, 심전도 이외에도 사용자의 자율신경계 변화를 표현할 수 있는 복수의 생체신호를 이용함으로써, 피시험자의 스트레스 레벨을 정확하게 분석할 수 있는 스트레스 분석 방법을 제공하고자 한다.
전술한 기술적 과제를 달성하기 위해, 본 발명은 피시험자로부터 생체 신호를 취득하는 단계; 생체 신호를 심층 신경망 알고리즘으로 처리하여 복수의 스트레스 레벨값 각각의 확률을 산출하는 단계; 복수의 스트레스 레벨값 중에서 확률이 최대인 스트레스 레벨값을 피시험자의 스트레스 레벨값으로 추정하는 단계; 추정 스트레스 레벨값의 유용성을 판단하는 단계; 및 유용성의 판단을 통해, 유용하다고 판단된 추정 스트레스 레벨값을 최종 스트레스 레벨로 출력하는 단계를 포함하는 스트레스 분석 방법을 제공할 수 있다.
또한, 본 발명의 추정 스트레스 레벨값의 유용성을 판단하는 단계는, 추정 스트레스 레벨값의 확률이 임계값 미만인 경우, 추정 스트레스 레벨값이 무용한 것으로 판단하고, 피시험자로부터 인식 스트레스 레벨값을 입력받아, 심층 신경망 알고리즘에 인식 스트레스 레벨값을 반영하여 심층 신경망 알고리즘을 업데이트하고, 업데이트된 심층 신경망 알고리즘을 통해 스트레스 분석을 반복하는 단계를 포함할 수 있다.
또한, 본 발명의 생체 신호는 연속적인 신호 데이터가 될 수 있으며, 이러한 생체 신호는 심전도, 뇌파, 피부 전도도를 포함하는 자율신경계의 변화를 나타내는 생체 신호 중에서 선택되는 하나 이상의 신호를 포함할 수 있다.
또한, 본 발명의 심층 신경망 알고리즘은, 합성곱 연산 신경망 알고리즘을 포함할 수 있다.
또한, 본 발명은 출력된 스트레스 레벨값이 피시험자가 입력한 위험 스트레스 레벨값보다 높은 경우, 피시험자에게 경보를 알리는 단계를 더 포함할 수 있다.
또한, 본 발명은 출력된 스트레스 레벨값을 데이터 베이스에 저장하고, 데이터 베이스에 저장된 값을 통계 분석하여 출력하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 심층 신경망 알고리즘의 초기 모델로서, 생체 신호 데이터베이스로 학습된 스트레스 측정 시스템을 이용할 수 있고, 피시험자의 생체 신호가 입력되기 시작하면 맞춤형 시스템으로서 학습 가중치를 업데이트할 수 있는 스트레스 분석 방법을 제공할 수 있다.
또한, 본 발명은 효율적인 시스템 업데이트를 위하여, 가중치 업데이트에 유용한 입력 데이터만을 이용하여 시스템 업데이트를 실행할 수 있다.
또한, 본 발명은 별도의 서버나 장치 없이 모바일이나 휴대 가능한 장치에도 구현 가능한 시스템을 구축할 수 있다.
도 1은 본 발명의 일 실시 형태에 따른 스트레스 분석 방법을 개략적으로 설명하기 위한 순서도이다.
도 2 및 도 3은 본 발명의 일 실시 형태에 따른 스트레스 분석 방법 중에서, 심층 신경망 알고리즘을 이용하여 스트레스를 측정하는 방법을 개략적으로 설명하기 위한 순서도로서, 도 2에서 처리된 값을 이용하여 도 3에서 각 스트레스 레벨값의 확률을 구하는 방법을 설명하고 있다.
도 4는 본 발명의 일 실시 형태에 따른 스트레스 분석 방법 중에서, 피시험자의 추정 스트레스 레벨값을 심층 신경망 알고리즘에 반영하는 것을 개략적으로 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시 형태에 따른 스트레스 분석 방법을 모바일 디바이스에 반영하여 출력하는 것을 개략적으로 나타내는 것이다.
도 6은 특허문헌 1에 따른 종래의 스트레스 분석 시스템을 개략적으로 나타낸 것이다.
도 7은 특허문헌 2에 따른 종래의 스트레스 분석 시스템을 개략적으로 나타낸 것이다.
이하, 첨부된 도면을 기준으로 본 발명의 바람직한 실시 형태를 통하여, 본 발명에 따른 스트레스 분석 방법에 대하여 설명하기로 한다.
여러 실시 형태에 있어서, 동일한 구성을 가지는 구성 요소에 대해서는 동일 부호를 사용하여 대표적으로 일 실시 형태에서 설명하고, 그 외의 실시 형태에서는 다른 구성 요소에 대해서만 설명하기로 한다.
설명에 앞서, 본 발명의 일 실시 형태에서 이용하는 심층 신경망 알고리즘(DEEP NEURAL NETWORK ALGORITHM)에 대하여 간략히 설명하기로 한다.
심층 신경망 알고리즘은, 최근 하드웨어 및 컴퓨팅 알고리즘의 발전으로 활발히 연구되고 있는데, 기존의 기계학습을 통해 하기 힘들었던 작업이나 적용 분야를 심층 신경망 알고리즘을 이용하여 실시하고 있다.
구체적으로, 심층 신경망 알고리즘은 마치 인간의 신경망처럼 여러 뉴런들이 서로 연결되어 있는 구조로 되어 있으며, 기계 학습을 통해 분류하지 못했던 것을 심층 신경망 알고리즘을 이용하여 분류하고 있으며, 많은 분야에서 심층 신경망 알고리즘을 적용하여 일의 효율을 높이거나 서비스 사용자에게 양질의 정보를 제공하고 있다.
또한, 심층 신경망 알고리즘 중 합성곱 신경망 알고리즘은 입력되는 데이터로부터 특징을 추출하여 이후 완전히 연결된 신경망에 해당 특징들을 학습시키는데 사용되고 있다.
따라서, 이하의 본 발명의 일 실시 형태에서는, 전술한 합성곱 신경망 알고리즘을 이용하도록 하겠으며, 후술하겠지만, 본 발명의 일 실시 형태는 전처리되지 않은 생체 신호를 직접적으로 입력받아, 합성곱 신경망과 같은 심층 신경망 알고리즘을 통해 스트레스를 분석하고자 한다.
도 1은 본 발명의 일 실시 형태에 따른 스트레스 분석 방법을 개략적으로 설명하기 위한 순서도이다.
도 1에 기재된 바와 같이, 피시험자의 스트레스 레벨 분석을 위해 피시험자의 생체 신호 데이터를 취득한다(S100). 이러한 생체 신호는 심전도, 뇌파, 피부전도도 등 피시험자의 자율신경계 활동을 표현할 수 있는 모든 생체 신호가 될 수 있다.
또한, 입력값은 하나 또는 복수의 생체 신호가 될 수 있으며, 예를 들어, 심전도를 사용하는 경우, 종래의 발명들은 전처리를 통해 R피크 값을 검출하고 이를 기반으로 심박 변이도를 추출하였지만, 본 발명에서는 이러한 전처리 과정 없이 생체 신호의 원신호가 심층 신경망 알고리즘으로 입력된다.
다음으로, 심층 신경망 알고리즘을 기반으로 스트레스 확률을 산출한다(S200). 각각의 가중치를 가지는 복수의 신경망을 통해, 입력 데이터를 기반으로 피시험자의 스트레스의 확률을 산출한다.
전술한 바와 같이, 심층 신경망은 하나 이상의 층(layer)으로 구성된 신경망으로, 하나의 층에는 다수의 뉴런(neuron)이 존재한다. 본 발명에서는 심층 신경망 알고리즘을 스트레스 분석에 활용하도록 하여, 이러한 심층 신경망의 최종 출력은 각각의 스트레스 레벨에 대한 확률이 될 수 있다.
다음으로, 추정 스트레스 레벨의 유용성을 검사한다(S300). 심층 신경망 알고리즘의 출력값 중 가장 높은 확률이 임계값 이하이면 해당 스트레스 레벨값의 유용성이 떨어진다고 판단하고, 피시험자에 맞게 심층 신경망 알고리즘의 가중치를 조정하기 위해, 피시험자로부터 스트레스 레벨에 대한 임의적인 인식값을 요청하여, 심층 신경망 알고리즘의 가중치를 업데이트 할 수 있다(S500).
만일, 스트레스 레벨값의 확률이 임계값을 초과하는 경우에는, 가중치 업데이트 없이, 바로 피시험자의 스트레스 레벨을 출력할 수 있고(S400), 이 때, 심층신경망 알고리즘의 출력값 중에서 가장 높은 확률을 가지는 스트레스 레벨값이 현재 피시험자의 스트레스 레벨로 분석할 수 있다.
도 2 및 도 3은 본 발명의 일 실시 형태에 따른 스트레스 분석 방법 중에서, 심층 신경망 알고리즘을 이용하여 스트레스를 분석하는 방법을 개략적으로 설명하기 위한 순서도이다.
도 2 및 도 3에 도시된 바와 같이, 합성곱 신경망은 합성곱 연산층, 풀링 층, 밀집층으로 구성될 수 있으며, 각각의 층에서의 역할과 구체적인 수식에 대하여 설명하기로 한다.
도 2에 있어서, 합성곱 연산층은 각각 가중치를 갖는 복수의 필터와 풀링 연산으로 구성되어 있으며, 필터와 원신호를 합성곱 연산하는 방법(S201)은, 심층 신경망 알고리즘이 원신호
Figure 112018080894811-pat00001
를 입력받고, 아래와 같이, 원신호와 각 필터의 합성곱(convolution) 연산을 수행한다.
Figure 112018080894811-pat00002
합성곱 연산을 수행할 때, 필터가 이동하는 거리(stride)는 1이상의 값이 될 수 있다. 신호의 크기, 이동하는 거리, 필터의 크기를 고려하여, 합성곱 연산의 원하는 출력수가 나오지 않는 경우, 신호에 0을 더해(Zero-padding) 합성곱 연산을 시행할 수 있다.
예를 들어, 1초 동안 100Hz로 샘플링 된 심전도 원신호
Figure 112018080894811-pat00003
를, 3의 크기를 가지는 필터 2개
Figure 112018080894811-pat00004
로 처리할 때, 필터 이동거리 1, 출력의 수를 원신호의 길이와 같게 설정하여 합성곱 연산을 수행하면, 아래와 같은 결과가 나올 수 있다.
Figure 112018080894811-pat00005
다음으로, 풀링연산을 통해 합성곱연산의 출력의 차원을 줄여준다(S202). 풀링 연산은 최대값 풀링 및 평균값 풀링이 있다. 최대값 풀링은 들어오는 입력값 중 가장 큰 값을 반환하고, 평균값 풀링은 해당 입력들의 평균값을 반환한다. 들어오는 입력값들을 최대값 또는 평균값 하나로 반환하여, 입력값의 차원을 줄여준다.
예를 들어, 입력 차원=(2, 100), 풀링 윈도우 5, 풀링 윈도우 이동거리 5를 갖는 최대값 풀링 연산을 수행하게 되면, 아래와 같은 결과를 가질 수 있다.
Figure 112018080894811-pat00006
최종적으로, (2,100)차원에서 (2, 20) 차원으로 감소되는 것을 확인할 수 있다.
정리하면, 도 2에 도시된 바와 같이, 중첩되는 합성곱 연산과 풀링 연산을 통해, 원신호로부터 신경망을 이용하여 신호의 특징을 추출할 수 있다. 원신호 또는 이전 연산의 출력과 필터의 합성곱 연산을 하여 특징을 추출하고, 풀링 연산을 통해 입력의 차원을 줄여, 최종적으로 도 3에 기재된 밀집층에 들어가는 입력의 차원수를 줄이고 그에 필요한 연산을 축소할 수 있다.
도 3에 있어서, 밀집층에서는 합성곱 연산층의 출력값을 입력값으로 받는다. 합성곱 연산층의 출력값은 원신호로부터 추출된 특징 및 풀링으로 차원이 축소된 출력값을 의미한다.
추출된 특징들을 각각의 가중치를 갖고, 모든 뉴런들이 연결된 완전 연결 신경층에 학습시켜, 최종적으로 각 스트레스 레벨값에 대한 확률을 구할 수 있다(S205).
예를 들어, k개의 스트레스 레벨, 2개의 완전 연결된 신경층, 합성곱 연산층의 출력을
Figure 112018080894811-pat00007
라 한다면, 아래와 같은 연산이 이루어진다.
Figure 112018080894811-pat00008
즉, k개의 스트레스 레벨에 대한 확률을 가지는 집합
Figure 112018080894811-pat00009
중에서 가장 높은 확률을 갖는 스트레스 레벨값을 피시험자의 현재 스트레스 레벨값으로 추정할 수 있다.
도 4는 본 발명의 일 실시 형태에 따른 스트레스 분석 방법 중에서, 피시험자의 추정 스트레스 레벨값을 심층 신경망 알고리즘에 반영하는 것을 개략적으로 설명하기 위한 순서도이다.
도 4에 도시된 바와 같이, 본 발명은 심층 신경망 알고리즘을 기반으로 피시험자의 스트레스를 추정한다. 개인적 특징에 따라, 스트레스 정도가 다를 수 있기 때문에, 기학습된 심층 신경망 알고리즘으로는 피시험자의 스트레스를 정확하게 추정할 수 없을 수 있다.
따라서, 임계점θ에 대하여
Figure 112018080894811-pat00010
이면, 피시험자로부터 현재 스트레스 레벨에 임의적인 임시값을 받아, 피시험자 맞춤형으로 가중치를 새로 업데이트할 수 있다. 구체적으로, 추정된 스트레스 레벨값과 피시험자의 인식 스트레스 레벨값을 서로 비교하여, 앞선 가중치를 갖는 신경망 알고리즘의 가중치를 변경할 수 있다. 비교에 사용되는 함수는 다양한 형태의 비교(cost)식을 사용할 수 있으며, 이 함수가 0에 가까워지도록 심층 신경망 알고리즘의 가중치를 업데이트할 수 있다.
예를 들어, 크로스-엔트로피(cross-entropy) 함수의 경우, 추정 스트레스 레벨값이 H(x)이고, 피시험자로부터 입력받는 인식 스트레스 레벨값이 y라 하면, 비교값(cost)는
Figure 112018080894811-pat00011
로 정의되며, 오류 역전파(Error back propagation)를 통해 해당 비교값(cost)이 0이 되도록 가중치를 업데이트 하여, 최종적으로 피시험자에 맞는 심층 신경망 알고리즘을 구성할 수 있게 된다.
도 5는 본 발명의 일 실시 형태에 따른 스트레스 분석 방법을 모바일 디바이스에 반영하여 출력하는 것을 개략적으로 나타내는 것이다.
도 5에 도시된 바와 같이, 심층 신경망 알고리즘 기반의 분석 방법을 모바일 디바이스에 적용시켜, 피시험자의 생체 신호를 받아 피시험자의 현재 스트레스를 표시할 수 있다. 이러한 모바일 디바이스는 생체 신호 수신, 스트레스 분석 및 측정된 스트레스 레벨값을 출력할 수 있다.
구체적으로, 센서로부터 스트레스 측정을 위한 데이터 수집하기 위해, 심전도를 예로 들면, 가슴에서 심전도를 측정하여 블루투스 또는 다른 무선 통신을 통해 해당 원신호를 모바일 디바이스로 전송할 수 있다.
또한, 생체 신호 기반의 피시험자의 스트레스를 분석하기 위해, 센서로부터 전송된 생체 신호가 모바일 디바이스로 전송되어, 원신호 그대로 본 발명의 심층 신경망 알고리즘에 입력된다. 전술한 설명들과 같이 심층 신경망 알고리즘을 기반으로 스트레스 레벨값이 측정되고, 결과값으로 각 스트레스 레벨에 대한 확률이 나온다.
또한, 모바일 어플리케이션을 통해 얻어진 스트레스 레벨에 대한 확률 중 가장 높은 레벨을 선택하여, 현재 피시험자의 스트레스 레벨값을 표시할 수 있다.
한편, 입력 데이터의 유용성을 검사하기 위해, 스트레스 레벨에 대한 확률 중 가장 높은값이 설정한 임계값보다 작으면, 피시험자에게 어플리케이션을 통해 현재 느끼고 있는 스트레스 정도를 입력하도록 요구할 수 있다.
피시험자는 현재 자신이 인식하고 있는 스트레스 레벨값을 임의로 입력하고, 심층 신경망 알고리즘은 해당값을 입력받아 피시험자에 맞추어 가중치를 업데이트하게 된다.
이후의 스트레스 분석은 전술한 바와 같이 업데이트된 심층 신경망 알고리즘을 기반으로 스트레스를 분석할 수 있기 때문에, 피시험자의 상태를 학습하여 정확한 스트레스 분석을 실시할 수 있다.
전술한 설명들을 참고하여, 본 발명이 속하는 기술 분야의 종사자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있음을 이해할 수 있을 것이다.
그러므로, 지금까지 전술한 실시 형태는 모든 면에서 예시적인 것으로서, 본 발명을 실시 형태들에 한정하기 위한 것이 아님을 이해하여야만 하고, 본 발명의 범위는 전술한 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 균등한 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (7)

  1. 생체 신호 측정장치로부터 피시험자의 생체 신호를 취득하는 단계;
    컴퓨팅 알고리즘 장치에서 상기 생체 신호를 심층 신경망 알고리즘으로 처리하여 복수의 스트레스 레벨값 각각의 확률을 산출하는 단계;
    컴퓨팅 알고리즘 장치에서 상기 복수의 스트레스 레벨값 중에서 확률이 최대인 스트레스 레벨값을 상기 피시험자의 스트레스 레벨값으로 추정하는 단계;
    컴퓨팅 알고리즘 장치에서 상기 추정 스트레스 레벨값의 유용성을 판단하는 단계; 및
    상기 유용성의 판단을 통해, 유용하다고 판단된 상기 추정 스트레스 레벨값을 출력 장치를 통해 최종 스트레스 레벨로 출력하는 단계를 포함하는 것을 특징으로 하는 스트레스 분석 방법.
  2. 제 1 항에 있어서,
    상기 추정 스트레스 레벨값의 유용성을 판단하는 단계는,
    상기 추정 스트레스 레벨값의 확률이 임계값 미만인 경우, 상기 추정 스트레스 레벨값이 무용한 것으로 판단하고, 상기 피시험자로부터 인식 스트레스 레벨값을 입력받아, 상기 심층 신경망 알고리즘에 상기 인식 스트레스 레벨값을 반영하여 상기 심층 신경망 알고리즘을 업데이트하고,
    상기 업데이트된 심층 신경망 알고리즘을 통해 스트레스 분석을 반복하는 단계를 포함하는 것을 특징으로 하는 스트레스 분석 방법.
  3. 제 2 항에 있어서,
    상기 생체 신호는 연속적인 신호 데이터인 것을 특징으로 하는 스트레스 분석 방법.
  4. 제 3 항에 있어서,
    상기 생체 신호는 심전도, 뇌파, 피부 전도도를 포함하는 자율신경계의 변화를 나타내는 생체 신호 중에서 선택되는 하나 이상의 신호를 포함하는 것을 특징으로 하는 스트레스 분석 방법.
  5. 제 2 항에 있어서,
    상기 심층 신경망 알고리즘은, 합성곱 연산 신경망 알고리즘을 포함하는 것을 특징으로 하는 스트레스 분석 방법.
  6. 제 2 항에 있어서,
    상기 최종 스트레스 레벨을 출력하는 단계 이후에, 상기 출력된 스트레스 레벨값이 피시험자가 입력한 위험 스트레스 레벨값보다 높은 경우, 상기 피시험자에게 경보를 알리는 단계를 더 포함하는 것을 특징으로 하는 스트레스 분석 방법.
  7. 제 2 항에 있어서,
    상기 최종 스트레스 레벨을 출력하는 단계 이후에, 상기 출력된 스트레스 레벨값을 데이터 베이스에 저장하고, 상기 데이터 베이스에 저장된 값을 통계 분석하여 출력하는 단계를 더 포함하는 것을 특징으로 하는 스트레스 분석 방법.
KR1020180095468A 2018-08-16 2018-08-16 심층 신경망 알고리즘을 이용하는 실시간 스트레스 분석 방법 KR102043376B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180095468A KR102043376B1 (ko) 2018-08-16 2018-08-16 심층 신경망 알고리즘을 이용하는 실시간 스트레스 분석 방법
US16/456,139 US11317840B2 (en) 2018-08-16 2019-06-28 Method for real time analyzing stress using deep neural network algorithm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180095468A KR102043376B1 (ko) 2018-08-16 2018-08-16 심층 신경망 알고리즘을 이용하는 실시간 스트레스 분석 방법

Publications (1)

Publication Number Publication Date
KR102043376B1 true KR102043376B1 (ko) 2019-11-11

Family

ID=68535881

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180095468A KR102043376B1 (ko) 2018-08-16 2018-08-16 심층 신경망 알고리즘을 이용하는 실시간 스트레스 분석 방법

Country Status (2)

Country Link
US (1) US11317840B2 (ko)
KR (1) KR102043376B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210169415A1 (en) * 2018-08-19 2021-06-10 Sensority Ltd. Machine classification of significant psychophysiological response
US11694333B1 (en) * 2020-02-05 2023-07-04 State Farm Mutual Automobile Insurance Company Performing semantic segmentation of 3D data using deep learning
CN111543977B (zh) * 2020-05-09 2023-04-07 益体康(北京)科技有限公司 基于12导联静息心电图的多级联人工智能排阴方法
WO2022008694A1 (en) 2020-07-08 2022-01-13 Olga Matveeva Method for determining probability of a mood disorder
US20240307651A1 (en) * 2021-10-22 2024-09-19 Innsightful, Inc. Devices, Systems, and Methods for Monitoring and Managing Resilience
WO2024073547A2 (en) * 2022-09-30 2024-04-04 Rebook, Inc. Systems and methods for predicting travel-related stress
CN117763399B (zh) * 2024-02-21 2024-05-14 电子科技大学 一种自适应变长信号输入的神经网络分类方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006172461A (ja) * 1996-02-09 2006-06-29 Adeza Biomedical Corp ニューラルネットワーク関連アプリケーションを使用して医療診断テストおよび生化学診断テストを選択する方法
KR20070061311A (ko) * 2005-12-08 2007-06-13 한국전자통신연구원 뇌파를 통한 스트레스 상태 인식과 음악을 이용한 이완시스템 및 방법
KR100829822B1 (ko) * 2006-07-24 2008-05-16 중앙대학교 산학협력단 신경회로망을 이용한 감정인식장치
JP2009521246A (ja) * 2005-09-12 2009-06-04 エモーティブ システムズ ピーティーワイ リミテッド 精神状態の検出およびそれを用いる対話
KR100994312B1 (ko) * 2008-07-09 2010-11-12 성균관대학교산학협력단 신경 회로망을 이용한 사용자 상태 측정 장치 및 그 방법
KR101006534B1 (ko) 2008-07-17 2011-01-07 가톨릭대학교 산학협력단 심전도 측정을 이용한 스트레스 모니터링 장치 및 방법
KR101264156B1 (ko) 2011-05-27 2013-05-14 전자부품연구원 Ｈｒｖ로부터 획득한 스트레스 지수를 이용한 건강관리 시스템 및 방법
KR101366348B1 (ko) * 2011-11-08 2014-02-24 가천대학교 산학협력단 우울증 진단을 위한 뉴로-퍼지 네트워크 기반의 데이터 분석 방법

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101435680B1 (ko) 2007-09-11 2014-09-02 삼성전자주식회사 다중 측정된 생체신호를 기반으로한 스트레스 분석방법
US20100016742A1 (en) 2008-07-19 2010-01-21 James Terry L System and Method for Monitoring, Measuring, and Addressing Stress
KR101004036B1 (ko) 2009-01-07 2010-12-31 썬메디텍 (주) 모바일 무선 스트레스 측정 시스템
US20170330029A1 (en) * 2010-06-07 2017-11-16 Affectiva, Inc. Computer based convolutional processing for image analysis
KR101306528B1 (ko) 2010-11-17 2013-09-09 서울대학교산학협력단 작업자의 신체활동량 및 종합스트레스지수 예측 시스템
KR101223889B1 (ko) 2011-02-28 2013-01-17 중앙대학교 산학협력단 스트레스 분석 장치 및 방법
KR101258984B1 (ko) 2011-03-31 2013-04-29 단국대학교 산학협력단 스트레스 완화 콘텐츠 제공 시스템 및 방법
CN103596493B (zh) 2011-04-14 2018-08-07 皇家飞利浦有限公司 压力测量设备和方法
US8617067B2 (en) * 2011-05-13 2013-12-31 Fujitsu Limited Continuous monitoring of stress using environmental data
KR101352479B1 (ko) 2012-02-15 2014-01-20 주식회사 두성기술 심박수 및 맥박수의 측정을 통한 스트레스 측정 시스템 및 그 측정 방법
US9307908B2 (en) 2012-10-30 2016-04-12 Vital Connect, Inc. Measuring psychological stress from cardiovascular and activity signals
US9980678B2 (en) 2012-10-30 2018-05-29 Vital Connect, Inc. Psychological acute stress measurement using a wireless sensor
KR20140095291A (ko) 2013-01-24 2014-08-01 삼성전자주식회사 사용자의 움직임과 심박수에 기초한 스트레스 측정 장치 및 방법
US9801553B2 (en) * 2014-09-26 2017-10-31 Design Interactive, Inc. System, method, and computer program product for the real-time mobile evaluation of physiological stress
AU2015345999A1 (en) 2014-11-11 2017-06-08 Global Stress Index Pty Ltd A system and a method for generating stress level and stress resilience level information for an individual
KR101694251B1 (ko) 2015-01-16 2017-01-23 대구한의대학교산학협력단 신체부착형 스트레스 완화시스템
US10130308B2 (en) * 2015-06-14 2018-11-20 Facense Ltd. Calculating respiratory parameters from thermal measurements
US10523852B2 (en) * 2015-06-14 2019-12-31 Facense Ltd. Wearable inward-facing camera utilizing the Scheimpflug principle
US10390764B2 (en) 2015-07-16 2019-08-27 Samsung Electronics Company, Ltd. Continuous stress measurement with built-in alarm fatigue reduction features
US20170127993A1 (en) 2015-11-06 2017-05-11 Lifeq Global Limited Non-Invasive Physiological Quantification of Stress Levels
US10130307B2 (en) * 2016-01-06 2018-11-20 Samsung Electronics Co., Ltd. Electrocardiogram (ECG) authentication method and apparatus
KR101664323B1 (ko) 2016-02-25 2016-10-10 서울대학교 산학협력단 건강 파라미터 추정 시스템 및 건강 파라미터 추정 방법
US20170251987A1 (en) 2016-03-04 2017-09-07 Ronda Collier System for Measuring and Managing Stress Using Generative Feedback
US11055063B2 (en) * 2016-05-02 2021-07-06 Marvell Asia Pte, Ltd. Systems and methods for deep learning processor
EP3251592A1 (en) 2016-06-03 2017-12-06 Tata Consultancy Services Limited Method and system for estimation of stress of a person using photoplethysmography
US20180090229A1 (en) * 2016-06-28 2018-03-29 Alodeep Sanyal Automated Continuous and Adaptive Health Monitoring
US20180032689A1 (en) 2016-07-29 2018-02-01 Qatar University Method and apparatus for performing feature classification on electrocardiogram data
JP6945127B2 (ja) 2016-09-16 2021-10-06 パナソニックＩｐマネジメント株式会社 ストレスマネジメントシステム、ストレスマネジメント方法及びコンピュータプログラム
US10178969B2 (en) 2016-09-19 2019-01-15 Intel Corporation Stress detection method and apparatus
KR102631381B1 (ko) * 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US10986994B2 (en) * 2017-01-05 2021-04-27 The Trustees Of Princeton University Stress detection and alleviation system and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006172461A (ja) * 1996-02-09 2006-06-29 Adeza Biomedical Corp ニューラルネットワーク関連アプリケーションを使用して医療診断テストおよび生化学診断テストを選択する方法
JP2009521246A (ja) * 2005-09-12 2009-06-04 エモーティブ システムズ ピーティーワイ リミテッド 精神状態の検出およびそれを用いる対話
KR20070061311A (ko) * 2005-12-08 2007-06-13 한국전자통신연구원 뇌파를 통한 스트레스 상태 인식과 음악을 이용한 이완시스템 및 방법
KR100829822B1 (ko) * 2006-07-24 2008-05-16 중앙대학교 산학협력단 신경회로망을 이용한 감정인식장치
KR100994312B1 (ko) * 2008-07-09 2010-11-12 성균관대학교산학협력단 신경 회로망을 이용한 사용자 상태 측정 장치 및 그 방법
KR101006534B1 (ko) 2008-07-17 2011-01-07 가톨릭대학교 산학협력단 심전도 측정을 이용한 스트레스 모니터링 장치 및 방법
KR101264156B1 (ko) 2011-05-27 2013-05-14 전자부품연구원 Ｈｒｖ로부터 획득한 스트레스 지수를 이용한 건강관리 시스템 및 방법
KR101366348B1 (ko) * 2011-11-08 2014-02-24 가천대학교 산학협력단 우울증 진단을 위한 뉴로-퍼지 네트워크 기반의 데이터 분석 방법

Also Published As

Publication number Publication date
US11317840B2 (en) 2022-05-03
US20200054262A1 (en) 2020-02-20

Similar Documents

Publication Publication Date Title
KR102043376B1 (ko) 심층 신경망 알고리즘을 이용하는 실시간 스트레스 분석 방법
CN113349752B (zh) 一种基于传感融合的可穿戴设备实时心率监测方法
CN110420019B (zh) 一种心冲击图信号的深度回归心率估计方法
US7547279B2 (en) System and method for recognizing user's emotional state using short-time monitoring of physiological signals
EP3895606A1 (en) Apparatus and method for extracting feature of bio-signal, and apparatus for detecting bio information
Koçer Classification of EMG signals using neuro-fuzzy system and diagnosis of neuromuscular diseases
WO2015200750A1 (en) Early detection of hemodynamic decompensation using taut-string transformation
CN112806977B (zh) 基于多尺度融合网络的生理参数测量方法
Kelwade et al. Prediction of cardiac arrhythmia using artificial neural network
KR100883185B1 (ko) 가중 퍼지 소속함수 기반 신경망 알고리즘을 이용한생체신호의 이상데이터 추출 장치 및 그 방법
CN113723557A (zh) 一种基于多频带时空卷积网络的抑郁脑电分类系统
CN115211858A (zh) 一种基于深度学习的情绪识别方法、系统及可存储介质
Thai et al. Toward an IoT-based expert system for heart disease diagnosis
Pombo et al. Big data reduction using RBFNN: A predictive model for ECG waveform for eHealth platform integration
Dzitac et al. Identification of ERD using fuzzy inference systems for brain-computer interface
KR20220158462A (ko) 근전도 신호 기반 인식 정보 추출 시스템과 이를 이용한 근전도 신호 기반 인식 정보 추출 방법
Satheeskumaran et al. IoT based ECG Signal Feature Extraction and Analysis for Heart Disease Risk Assessment
CN114366060A (zh) 一种基于心率变异性的健康预警方法、装置及电子设备
Mondal et al. Deep spectrogram feature based ECG signal quality assessment for false alarm reduction
Wen et al. Wearable integrated online fusion learning filter for heart PPG sensing tracking
CN115836847A (zh) 一种血压预测装置及设备
JP2023035888A (ja) 無線レーダー信号に基づいて心拍データを抽出するための装置及び方法
CA3234350A1 (en) Cardiac signal based biometric identification
EP3831287A1 (en) Method and device for capacitive touch panel based biosignal measurement
Orhan et al. Heart rate detection on single-arm ECG by using dual-median approach

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant