KR102352629B1 - 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법 및 장치 - Google Patents

피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법 및 장치 Download PDF

Info

Publication number
KR102352629B1
KR102352629B1 KR1020200059668A KR20200059668A KR102352629B1 KR 102352629 B1 KR102352629 B1 KR 102352629B1 KR 1020200059668 A KR1020200059668 A KR 1020200059668A KR 20200059668 A KR20200059668 A KR 20200059668A KR 102352629 B1 KR102352629 B1 KR 102352629B1
Authority
KR
South Korea
Prior art keywords
respiration
stress index
calculated
interval
user
Prior art date
Application number
KR1020200059668A
Other languages
English (en)
Other versions
KR20210142904A (ko
Inventor
홍광석
박진수
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020200059668A priority Critical patent/KR102352629B1/ko
Publication of KR20210142904A publication Critical patent/KR20210142904A/ko
Application granted granted Critical
Publication of KR102352629B1 publication Critical patent/KR102352629B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0088—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus modulated by a simulated respiratory frequency

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Pulmonology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Anesthesiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Epidemiology (AREA)
  • Hospice & Palliative Care (AREA)
  • Pain & Pain Management (AREA)
  • Hematology (AREA)
  • Acoustics & Sound (AREA)
  • Educational Technology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법 및 장치에 관한 것으로, 본 발명의 일 실시예에 따른 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법은, 피부 영상에서 복수 부위의 피부 관심 영역에서 색상 데이터를 산출하는 단계, 상기 산출된 색상 데이터로부터 호흡 신호를 산출하는 단계, 상기 산출된 호흡 신호로부터 호흡 피크 간격 데이터를 도출하는 단계, 상기 도출된 호흡 피크 간격 데이터를 분석하여 복수의 파라미터 값을 산출하는 단계, 및 상기 산출된 복수의 파라미터 값을 이용하여 제1 스트레스 지수를 산출하는 단계를 포함한다.

Description

피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법 및 장치{METHODS AND APPARATUSES FOR MEASURING AND MANAGING STRESS INDEX USING RESPIRATORY SIGNALS OF SKIN IMAGE}
본 발명은 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법 및 장치에 관한 것이다.
스트레스가 불러오는 병의 종류는 암으로부터 시작해서 사소한 감기와 발열에 이르기까지 다양하다. 스트레스는 만병의 근원이라고도 불리기 때문에 개개인의 스트레스 상태 측정 및 분석과 관련된 기술들이 주목받고 있다.
첫째, 설문조사를 이용한 스트레스 지수 측정 방법이 있다.
종래의 스트레스 지수 측정은 설문지나 전문 상담가의 상담 형식으로 피험자의 상태를 분석하고 스트레스를 줄이기 위한 목적으로 개발되었지만, 이 기술은 성별, 연령별로 적합하지 않은 설문 내용이 포함될 수 있다는 단점을 가지고 있다.
둘째, 접촉식 생체신호 측정 장치를 이용한 스트레스 지수 측정 방법이 있다.
설문조사를 이용한 스트레스 지수 측정 방법의 단점을 해결하기 위해 최근에는 접촉식 생체신호 측정 장비를 이용하여 생체신호를 측정하고 이 신호의 시계열 및 주파수 분석을 통해 사용자의 연령 및 성별 정보에 따른 스트레스 지수를 산출하는 기술이 개발되었다. 하지만, 이 기술을 이용하기 위해서는 별도의 생체신호 측정 장비가 필요하다.
셋째, 피부 영상에서 산출된 맥파 신호를 이용하여 비접촉식 스트레스 지수 측정 방법이 개발되었다. 하지만, 피부 영상의 맥파 신호를 이용한 스트레스 측정 기술에 관한 연구는 얼굴 영상에서 산출된 맥파 신호의 맥박수, RR 간격 등을 분석하여 스트레스 지수를 측정한다. 그러나 맥파 신호를 분석하여 스트레스 지수를 측정할 경우 맥박을 본인이 직접 조절할 수 없어 사용자의 스트레스를 완화 및 해소시키기 어렵다는 단점을 가지고 있다.
스트레스를 해소하는 방법으로 동양에서 유래된 적절한 호흡 조절을 이용한 몇 가지 호흡 기법을 개발하여 스트레스 해소 연구 및 임상에 널리 적용되고 있다.
일례로, 이완 호흡법은 생리적 긴장과 각성을 감소시키는 효율적인 스트레스 관리전략으로서 가장 흔히 사용되는 해소기법이며, 적절한 호흡은 신체적, 정신적 건강에 필수적인 요소이며 동시에 마음을 다스릴 수 있는 스트레스 해소제의 역할을 할 수 있다.
호흡은 신체의 상태와 기능을 나타내는 중요한 신호인 4대 활력징후(Vital Sign) 중 하나로서 심박변이도(Heart Rate Variability, HRV)와 깊은 관련이 있으며, 심장병 환자나 신생아의 호흡장애와 관련하여 중요한 생체신호의 한 요소이다. 최근 추가적인 하드웨어 모듈 장착 없이 사용자가 보유하고 있는 카메라가 탑재된 스마트 기기에서 비접촉식 영상을 이용한 호흡수를 측정할 수 있는 방식으로 피험자의 호흡수를 비접촉식으로 측정하기 위한 기술이 개발되었다.
따라서, 상기 문제점들의 개선 및 생체신호 측정 장비를 대체하고 호흡 신호를 이용하여 스트레스를 완화 및 해소하기 위해 추가적인 하드웨어 모듈 장착 없이 사용자가 보유하고 있는 일반 카메라, 적외선 카메라, 줌 카메라 등에서 비접촉식으로 피부 영상에서 산출된 호흡 신호를 이용하여 스트레스 지수를 측정하고 호흡 조절 훈련을 통해 스트레스를 관리하는 방법이 필요하다.
(특허문헌 1) 대한민국 공개특허 제10-2018-0114596호, 공개일자 2018년 10월 19일.
본 발명의 실시예들은 피부 영상의 호흡 신호를 이용하여 스트레스 지수를 측정하고, 호흡 조절 훈련을 통해 스트레스를 관리하기 위한, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법 및 장치를 제공하고자 한다.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위의 환경에서도 다양하게 확장될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 스트레스 지수 측정 및 관리 장치에 의해 수행되는 스트레스 지수 측정 및 관리 방법에 있어서, 피부 영상에서 복수 부위의 피부 관심 영역에서 색상 데이터를 산출하는 단계; 상기 산출된 색상 데이터로부터 호흡 신호를 산출하는 단계; 상기 산출된 호흡 신호로부터 호흡 피크 간격 데이터를 도출하는 단계; 상기 도출된 호흡 피크 간격 데이터를 분석하여 복수의 파라미터 값을 산출하는 단계; 및 상기 산출된 복수의 파라미터 값을 이용하여 제1 스트레스 지수를 산출하는 단계를 포함하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법이 제공될 수 있다.
상기 호흡 피크 간격 데이터를 도출하는 단계는, 상기 산출된 호흡 신호로부터 호흡 피크 검출 및 호흡 피크 간격 태코그램(Tachogram)을 도출할 수 있다.
상기 복수의 파라미터 값을 산출하는 단계는, 상기 도출된 호흡 피크 간격 태코그램의 시간 영역에서 시계열 분석을 통해 측정된 호흡수, 호흡 PP 간격 표준편차에 사용자의 신체 정보를 적용하여, 정규화 호흡 편향분포도, 정규화 호흡 PP 간격 표준편차 및 호흡 PP 간격의 복잡도를 산출 할 수 있다.
상기 복수의 파라미터 값을 산출하는 단계는, 상기 도출된 호흡 피크 간격 태코그램의 주파수 영역에서 주파수 분석을 통해 LF(Low Frequency) 대역의 파워 스펙트럼 밀도 값에 사용자의 신체 정보를 적용하여 정규화 LF 활성도 값을 계산할 수 있다.
상기 제1 스트레스 지수를 산출하는 단계는, 사용자의 신체 정보와 상기 산출된 복수의 파라미터 값을 이용하여 물리적 스트레스 지수와 심리적 스트레스 지수에 가중 평균 내어 상기 제1 스트레스 지수를 산출할 수 있다.
상기 제1 스트레스 지수를 산출하는 단계는, 사용자의 신체 정보와, 상기 산출된 복수의 파라미터 값에서 정규화 호흡편향분포도 및 LF 활성도를 이용하여 물리적 스트레스 지수를 산출할 수 있다.
상기 제1 스트레스 지수를 산출하는 단계는, 사용자의 신체 정보와, 상기 산출된 복수의 파라미터 값에서 정규화 호흡 PP 간격 표준편차 및 호흡 PP 간격의 복잡도를 이용하여 심리적 스트레스 지수를 산출 할 수 있다.
상기 방법은, PPG(Photoplethysmography) 측정기를 이용하여 측정된 제2 스트레스 지수를 획득하는 단계; 상기 산출된 제1 스트레스 지수와 상기 획득된 제2 스트레스 지수에 회귀분석을 적용하여 회귀 분석식을 산출하는 단계; 및 상기 산출된 제1 스트레스 지수를 상기 산출된 회귀 분석식에 적용하여 정확도가 개선된 제1 스트레스 지수를 추정하는 단계를 더 포함 할 수 있다.
상기 방법은, 상기 산출된 호흡 신호에 기초하여 호흡 조절 훈련을 통해 상기 산출된 제1 스트레스 지수를 관리하는 단계를 더 포함할 수 있다.
상기 산출된 제1 스트레스 지수를 관리하는 단계는, 호흡 높이 및 호흡 PP 간격 중에서 적어도 하나에 대한 호흡 조절 훈련을 통해 상기 제1 스트레스 지수를 관리할 수 있다.
상기 산출된 제1 스트레스 지수를 관리하는 단계는, 사용자에게 목표 들숨 높이 및 목표 날숨 높이와 목표 호흡 PP 간격이 포함된 목표 호흡 파형을 제공하고, 상기 사용자가 상기 제공된 목표 호흡 파형에 도달하도록 호흡 조절 훈련을 통해 상기 제1 스트레스 지수를 관리할 수 있다.
상기 산출된 제1 스트레스 지수를 관리하는 단계는, 사용자에게 정상인 호흡 소리를 제공하고, 상기 사용자가 상기 제공된 정상인 호흡 소리에 맞춰 호흡하도록 호흡 조절 훈련을 통해 상기 제1 스트레스 지수를 관리할 수 있다.
상기 산출된 제1 스트레스 지수를 관리하는 단계는, 사용자에게 목표 호흡에 맞는 맞춤 음원을 생성하고, 상기 생성된 목표 호흡에 맞는 맞춤 음원을 상기 사용자에게 제공하여, 상기 사용자가 상기 제공된 맞춤 음원에 맞게 호흡을 조절하도록 호흡 조절 훈련을 통해 상기 제1 스트레스 지수를 관리할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 피부 영상을 획득하는 영상 획득 모듈; 하나 이상의 프로그램을 저장하는 메모리; 및 상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 획득된 피부 영상에서 복수 부위의 피부 관심 영역에서 색상 데이터를 산출하고, 상기 산출된 색상 데이터로부터 호흡 신호를 산출하고, 상기 산출된 호흡 신호로부터 호흡 피크 간격 데이터를 도출하고, 상기 도출된 호흡 피크 간격 데이터를 분석하여 복수의 파라미터 값을 산출하고, 상기 산출된 복수의 파라미터 값을 이용하여 제1 스트레스 지수를 산출하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 장치가 제공될 수 있다.
상기 프로세서는, 상기 산출된 호흡 신호로부터 호흡 피크 검출 및 호흡 피크 간격 태코그램(Tachogram)을 도출할 수 있다.
상기 프로세서는, 상기 도출된 호흡 피크 간격 태코그램의 시간 영역에서 시계열 분석을 통해 측정된 호흡수, 호흡 PP 간격 표준편차에 사용자의 신체 정보를 적용하여, 정규화 호흡 편향분포도, 정규화 호흡 PP 간격 표준편차 및 호흡 PP 간격의 복잡도를 산출할 수 있다.
상기 프로세서는, 상기 도출된 호흡 피크 간격 태코그램의 주파수 영역에서 주파수 분석을 통해 LF(Low Frequency) 대역의 파워 스펙트럼 밀도 값에 사용자의 신체 정보를 적용하여 정규화 LF 활성도 값을 계산할 수 있다.
상기 프로세서는, 사용자의 신체 정보와 상기 산출된 복수의 파라미터 값을 이용하여 물리적 스트레스 지수와 심리적 스트레스 지수에 가중 평균 내어 상기 제1 스트레스 지수를 산출할 수 있다.
상기 프로세서는, 사용자의 신체 정보와, 상기 산출된 복수의 파라미터 값에서 정규화 호흡편향분포도 및 LF 활성도를 이용하여 물리적 스트레스 지수를 산출할 수 있다.
상기 프로세서는, 사용자의 신체 정보와, 상기 산출된 복수의 파라미터 값에서 정규화 호흡 PP 간격 표준편차 및 호흡 PP 간격의 복잡도를 이용하여 심리적 스트레스 지수를 산출할 수 있다.
상기 프로세서는, PPG(Photoplethysmography) 측정기를 이용하여 측정된 제2 스트레스 지수를 획득하고, 상기 산출된 제1 스트레스 지수와 상기 획득된 제2 스트레스 지수에 회귀분석을 적용하여 회귀 분석식을 산출하고, 상기 산출된 제1 스트레스 지수를 상기 산출된 회귀 분석식에 적용하여 정확도가 개선된 제1 스트레스 지수를 추정할 수 있다.
상기 장치는, 사용자와 인터페이스를 제공하는 인터페이스 모듈을 더 포함하고, 상기 프로세서는, 상기 산출된 호흡 신호에 기초하여 호흡 조절 훈련을 통해 상기 산출된 제1 스트레스 지수를 관리할 수 있다.
상기 프로세서는, 호흡 높이 및 호흡 PP 간격 중에서 적어도 하나에 대한 호흡 조절 훈련을 통해 상기 제1 스트레스 지수를 관리할 수 있다.
상기 프로세서는, 사용자에게 목표 들숨 높이 및 목표 날숨 높이와 목표 호흡 PP 간격이 포함된 목표 호흡 파형을 제공하고, 상기 사용자가 상기 제공된 목표 호흡 파형에 도달하도록 호흡 조절 훈련을 통해 상기 제1 스트레스 지수를 관리할 수 있다.
상기 프로세서는, 사용자에게 정상인 호흡 소리를 제공하고, 상기 사용자가 상기 제공된 정상인 호흡 소리에 맞춰 호흡하도록 호흡 조절 훈련을 통해 상기 제1 스트레스 지수를 관리할 수 있다.
상기 프로세서는, 사용자에게 목표 호흡에 맞는 맞춤 음원을 생성하고, 상기 생성된 목표 호흡에 맞는 맞춤 음원을 상기 사용자에게 제공하여, 상기 사용자가 상기 제공된 맞춤 음원에 맞게 호흡을 조절하도록 호흡 조절 훈련을 통해 상기 제1 스트레스 지수를 관리할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 피부 영상에서 복수 부위의 피부 관심 영역에서 색상 데이터를 산출하는 단계; 상기 산출된 색상 데이터로부터 호흡 신호를 산출하는 단계; 상기 산출된 호흡 신호로부터 호흡 피크 간격 데이터를 도출하는 단계; 상기 도출된 호흡 피크 간격 데이터를 분석하여 복수의 파라미터 값을 산출하는 단계; 및 상기 산출된 복수의 파라미터 값을 이용하여 제1 스트레스 지수를 산출하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 실시예들은 종래에 제시된 비접촉식 얼굴 피부 영상의 맥파 신호를 이용하여 스트레스 지수만을 측정하는 방식보다, 피부 영상의 호흡 신호를 이용하여 스트레스 지수를 측정할 수 있을 뿐만 아니라 호흡 조절 훈련(예컨대, 호흡 깊이, 호흡 PP 간격 등 조절)을 통해 사용자의 스트레스를 예방/관리할 수 있다.
본 발명의 실시예들은 카메라가 탑재되어 있는 스마트 기기를 이용하여 촬영한 피부 영상에서 피부 관심 영역을 검출하고 검출된 피부 관심 영역으로부터 계산된 파라미터(정규화 호흡편향분포도, 정규화 호흡 PP 간격 표준편차, 호흡 PP 간격의 복잡도 및 LF 활성도)를 이용하여 스트레스 지수를 추정할 수 있다.
본 발명의 실시예들은 복수 부위의 피부 관심 영역(Region of Interest, ROI)에서 계산된 스트레스 지수를 가중 평균 내어 조명 환경 등에 강인한 스트레스 지수를 측정할 수 있다.
본 발명의 실시예들은 측정된 스트레스 지수를 “스트레스 지수 회귀분석 식 DB”에 적용하여 더욱 강인한 스트레스 지수를 추정할 수 있다.
본 발명의 실시예들은 호흡 조절 훈련(예컨대, 호흡 깊이, 호흡 PP 간격 등 조절)을 통해 사용자의 스트레스를 예방/관리할 수 있다.
도 1은 본 발명의 일 실시예에 따른 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법을 나타낸 흐름도이다.
도 2 내지 도 6은 도 1에서의 단계별 동작을 개념적으로 표현한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 스트레스 지수 회귀분석 식을 생성하는 과정을 나타낸 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른 스트레스 지수 회귀분석 식 DB를 이용한 개선된 스트레스 지수 측정 및 관리 방법을 나타낸 흐름도이다.
도 9는 본 발명의 다른 실시예에 따른 강인한 스트레스 지수 측정 및 관리 방법을 나타낸 흐름도이다.
도 10은 피부 영상으로부터 검출된 복수 부위 각각의 복수 피부 관심 영역을 나타낸 도면이다.
도 11은 본 발명의 다른 실시예에 따른 호흡 조절 훈련을 통한 스트레스 지수 측정 및 관리 방법을 나타낸 흐름도이다.
도 12 내지 도 14는 본 발명의 다른 실시예에 따른 호흡 조절 훈련을 나타낸 흐름도이다.
도 15는 본 발명의 일 실시예에 따른 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 장치의 구성을 설명하기 위한 구성도이다.
본 발명은 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 발명에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
상기 기술적 과제를 달성하기 위해, 본 발명의 실시예들은 일반 카메라, 적외선 카메라, 줌 카메라 등을 이용하여 피부(예컨대, 얼굴, 손가락 등) 영상을 촬영하는 단계, 촬영된 피부 영상에서 복수개의 피부 관심 영역을 검출하는 단계, 검출된 피부 관심 영역에서 색상 데이터 평균값을 계산하는 단계, 계산된 색상 데이터 평균값에 호흡 관련 주파수 대역으로 BPF(Band Pass Filter), FFT(Fast Fourier Transform)를 적용하고 관심 주파수 선정 후 iFFT(Inverse Fast Fourier Transform)를 적용하여 호흡 신호를 산출하는 단계, 산출된 호흡 신호의 시계열 및 주파수 분석을 통해 파라미터 값(정규화 호흡편향분포도, 정규화 호흡 PP 간격 표준편차, 호흡 PP 간격의 복잡도 및 LF 활성도)을 계산하는 단계, 사용자의 신체 정보와 계산된 파라미터 값을 이용하여 물리적 스트레스 및 심리적 스트레스 지수를 산출하는 단계, 물리적 스트레스 지수와 심리적 스트레스 지수를 이용하여 스트레스 지수를 산출하는 단계, 계산된 복수 부위의 스트레스 지수를 가중 평균 내어 강인한 스트레스 지수를 측정하는 단계 및 측정된 스트레스 지수를 “스트레스 지수 회귀분석 식 DB”에 적용하여 더욱 강인한 스트레스 지수를 추정하는 단계, 산출된 호흡 관련 특징에 기초하여 호흡 조절 훈련(호흡 깊이, 호흡 PP 간격 등 조절)을 통해 사용자의 스트레스를 관리하는 단계를 포함한다.
한편, 본 발명의 실시예들은 피부 영상에서 산출된 호흡 신호를 이용하여 스트레스 지수를 측정하는 방법 및 호흡 조절 훈련을 통해 사용자의 스트레스를 관리하는 방법을 제공하는 것이다. 본 발명의 실시예들은 일반 카메라, 적외선 카메라, 줌 카메라 등을 이용하여 피부 영상(예컨대, 얼굴, 손 등)을 촬영하고 복수 부위의 피부 관심 영역(ROI, Regin of Interest)을 검출한다. 본 발명의 실시예들은 검출된 피부 관심 영역의 RGB 색상 체계를 YCgCo 색상 체계로 변환하여 계산된 Cg 색상 데이터 평균값에 호흡 관련 주파수 대역으로 BPF(Band Pass Filter), FFT(Fast Fourier Transform)를 적용한다. 그리고 본 발명의 실시예들은 호흡 관련 관심 주파수 선정 후 iFFT(Inverse Fast Fourier Transform) 등을 적용하여 호흡 신호를 산출한다. 그리고 본 발명의 실시예들은 산출된 호흡 신호로부터 호흡 PP 간격 태코그램(Tachogram)을 도출한다.
본 발명의 실시예들은 호흡 피크 간격 태코그램의 시간 영역에서는 시계열 분석을 통해 측정된 호흡수, 호흡 PP 간격 표준편차에 사용자의 연령 및 성별 정보를 적용하여 정규화 호흡 편향분포도, 정규화 호흡 PP 간격 표준편차 및 호흡 PP 간격의 복잡도를 산출한다. 본 발명의 실시예들은 호흡 PP 간격 태코그램의 주파수 영역에서는 주파수 분석을 통해 LF(Low Frequency) 대역의 파워 스펙트럼 밀도(Power spectral Density) 값(LF 활성도)에 사용자의 연령 및 성별 정보를 적용하여 정규화 LF 활성도 값을 계산한다. 본 발명의 실시예들은 계산된 파라미터(정규화 호흡편향분포도, 정규화 호흡 PP 간격 표준편차, 호흡 PP 간격의 복잡도 및 LF 활성도)를 이용하여 스트레스 지수를 측정하고 호흡 조절 훈련(예컨대, 호흡 깊이, 호흡 PP 간격 등 조절)을 통해 사용자의 스트레스를 관리하는 방법을 제공하는 것이다.
도 1은 본 발명의 일 실시예에 따른 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법을 나타낸 흐름도이다.
도 1은 피부 영상에서 산출된 호흡 신호를 이용하여 스트레스 지수를 측정하고 호흡 조절 훈련을 통해 스트레스를 관리하기 위한, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법을 나타낸다. 스트레스 지수 측정 및 관리 방법은 스트레스 지수 측정 및 관리 장치에 의해 수행된다. 스트레스 지수 측정 및 관리 장치는 사용자 단말 자체로 이루어지거나, 사용자 단말에 포함될 수 있다.
우선, 스트레스 지수 측정 및 관리 장치는 사용자의 연령 및 성별 정보를 입력 받는다(S101). 그리고 스트레스 지수 측정 및 관리 장치는 카메라가 탑재된 사용자 단말(예컨대, 스마트 기기)일 수 있다. 또는, 스트레스 지수 측정 및 관리 장치는 카메라가 탑재된 사용자 단말과 연동될 수 있다. 스트레스 지수 측정 및 관리 장치는 탑재된 카메라를 이용하여 피부 영상(예컨대, 얼굴, 손 등)을 촬영하고 복수 부위 각각에 대해 복수개의 피부 관심 영역(ROI1, ROI2)을 검출한다(S102). 스트레스 지수 측정 및 관리 장치는 복수 부위의 피부 관심 영역에서 색상 평균 신호를 산출한다(S103). 스트레스 지수 측정 및 관리 장치는 얼굴 및 피부 등 사용자의 상태를 잘 반영할 수 있는 영역을 촬영한 후, 다양한 색상 체계들 중 한 가지 예로 피부 영역의 RGB 색상 체계를 YCgCo 색상 체계로 변환하여 추출된 Cg 색상 데이터 평균값에 호흡 관련 주파수 대역으로 BPF, FFT를 적용하고 호흡 관련 관심 주파수 선정후 iFFT를 적용하여 호흡 신호를 산출하고 호흡 신호의 피크 지점을 검출할 수 있다(S104).
호흡 신호를 산출하는 데 있어서 다양한 색상 체계를 이용할 수 있으며, 본 발명의 일 실시예에서는 다양한 색상 체계 중 일례로 피부 영역의 RGB 색상 체계를 기설정된 YCgCo 색상 체계로 변환하여 Cg 신호를 산출하고, 산출된 Cg 신호에 FFT(Fast Fourier Transform)를 계산하고, 호흡 관련 주파수 영역(예컨대, 0.14~0.35Hz)을 선정한다. 본 발명의 일 실시예에서는 복수 부위 각각에 대한 피부 관심 영역에서 산출된 Cg 신호의 호흡 관련 주파수 영역의 주파수 값에 iFFT(Inverse Fast Fourier Transform)를 적용하여 호흡 신호를 산출한다.
그리고 스트레스 지수 측정 및 관리 장치는 호흡 신호로부터 호흡의 피크 위치를 검출하고, 검출된 호흡 피크를 이용하여 호흡 PP(Peak to Peak) 간격 태코그램(Tachogram)을 도출한다(S105). 스트레스 지수 측정 및 관리 장치는 도출된 태코그램의 시간 영역에서 시계열 분석을 통해 측정된 호흡수, 호흡 PP 간격 표준편차에 사용자의 연령 및 성별 정보를 적용하여 정규화 호흡 편향분포도, 정규화 호흡 PP 간격 표준편차, 호흡 PP 간격의 복잡도를 산출한다(S106). 스트레스 지수 측정 및 관리 장치는 주파수 영역에서 주파수 분석을 통해 LF 대역(0.04~0.15Hz)의 파워 스펙트럼 밀도(Power spectral Density) 값(LF 활성도)에 사용자의 연령 및 성별 정보를 적용하여 정규화 LF 활성도 값을 계산한다(S107).
LF 활성도(LF Activity, LF'A)는 신체에서 교감신경의 활성화정도를 나타낸다. LF 활성도란 호흡 PP 간격 태코그램에 FFT를 적용하여 변환된 주파수 영역에서 0.04~0.15Hz 사이 대역의 파워 스펙트럼 밀도 값을 의미한다.
LF 대역 파워 스펙트럼 밀도 값의 합에 자연로그(Natural Logarithm)를 취해 LF 활성도를 산출하였고, 이를 이용하여 정규화 LF 활성도(Normalization LF Activity, Norm LF'A)를 산출하였다. 이는 [수학식 1]과 같다.
Figure 112020050327294-pat00001
전체 연령에 대한 한국인 LF 활성도 평균값은 생체신호 측정 장비를 이용하여 피검자로부터 수차례 측정한 LF 활성도 결과 값의 평균을 적용하였고, 이 값들을 이용하여 LF 활성도 표준편차를 산출하였다. 산출된 전체 연령에 대한 한국인 LF 활성도 평균값은 약 5.83이고, LF 활성도 표준편차 값은 약 0.57로 알려져 있다. 그리고 실험에 따라 값이 바뀔 수 있다.
본 발명의 일 실시예에서 연령별 정규화 LF 활성도를 이용하여 스트레스 지수를 측정하기 위해서 연령별 한국인 LF 활성도 평균값이 필요한데 자료가 없기 때문에 전체 연령에 대한 한국인 LF 활성도 평균값과 미국 심장 연구 기관(
Figure 112020050327294-pat00002
)의 종합 심박변이 분석 가이드(“Autonomic Assessment Report: A Comprehensive Heart Rate Variability Analysis”)를 통해 제시된 미국인의 연령별 LF 활성도 평균값을 비교하여 평균이동을 적용하고, 20세~60세를 10세 기준으로 사분할하여 연령별 한국인 LF 활성도 평균값을 예측하여 산출하였다. 여기서, 국가마다 연령별 LF 활성도 평균은 서로 다른 통계치를 이용한다. 이는 아래 [표 1]과 같다. 여기서, 표준편차는 평균값을 평균 이동시켜도 동일한 값을 갖는다.
Figure 112020050327294-pat00003
태코그램의 주파수 분석을 통해 주파수 영역에서 스트레스 지수 측정을 위한 파라미터 값인 LF 활성도를 산출하고 시계열 분석을 통해 시간 영역에서 스트레스 지수 측정을 위한 파라미터 값인 호흡 PP 간격 표준편차, 호흡수를 산출한다.
산출된 파라미터 값과 사용자의 연령 및 성별 정보를 적용하여 정규화 LF 활성도, 정규화 호흡 PP 간격 편향분포도, 정규화 표준편차 값을 산출한다.
호흡편향분포도(Bias Distribution map of Respiratory Rate, BDRR)란 호흡수의 치우침(편향) 정도를 의미한다. 정규화 호흡편향분포도(Normalization Bias Distribution map of Respiratory Rate, Norm BDRR)란 측정된 평균 호흡수와 호흡 PP 간격 표준편차(Standard Deviation of Respiratory PP(Peak to Peak) intervals, SDPP)를 이용하여 정규화 과정을 통해 산출하고, 이는 [수학식 2]와 같다.
Figure 112020050327294-pat00004
정규화 호흡편향분포도(Norm BDRR)식에서 n은 1 ~ 20회까지의 호흡 편향 정도를 분석하기 위한 상수를 나타내며 호흡 관련 관심 주파수 영역에 따라 바뀔 수 있다. 또한, 호흡수 최빈값(측정된 분당 호흡수 중 가장 빈번하게 발생한 분당 호흡수), 측정 호흡 PP 간격 표준편차(Measurement SDPP, MSDPP), 연령별 평균 호흡수(mean Respiratory rate, mRR), 측정 평균 호흡수(Measuring average Respiratory rate, MRR)를 이용하여 계산한다.
호흡 PP 간격 표준편차(Standard Deviation of Respiratory PP(Peak to Peak) intervals, SDPP)는 호흡 PP 간격 평균 주변에 모여 있는 호흡 PP 간격의 변화 정도를 수치화한 값으로 호흡 PP 간격의 편차를 이용하여 산출한다. 이는 [수학식 3]과 같다.
Figure 112020050327294-pat00005
정규화 호흡 PP 간격 표준편차(Norm SDPP)는 측정 호흡 PP 간격 표준편차(Measurement SDPP, MSDPP), 연령별 평균 호흡 PP 간격 표준편차(mean SDNN, mSDNN)를 이용하여 계산한다.
호흡 PP 간격의 복잡한 정도를 나타낸 것으로 이는 피부 영상으로부터 측정된 호흡 신호를 이용하여 도출된 호흡 PP 간격 태코그램의 미분을 이용하여 산출된다. 이는 [수학식 4]와 같다.
Figure 112020050327294-pat00006
복잡도는 호흡 PP 간격 표준편차(SDPP)의 1차 미분을 통해 산출된 값과 1차 미분한 데이터를 2차 미분하여 산출된 값을 이용하여 호흡 PP 간격의 복잡한 정도를 산출하는 과정을 나타낸다.
스트레스 지수 측정 및 관리 장치는 상기 산출된 파라미터 값을 아래 [수학식 5]에 적용하여 물리적 스트레스 지수를 계산한다(S108).
Figure 112020050327294-pat00007
스트레스 지수 측정 및 관리 장치는 상기 산출된 파라미터 값을 아래 [수학식 6]에 적용하여 심리적 스트레스 지수를 계산한다(S109).
Figure 112020050327294-pat00008
스트레스 지수 측정 및 관리 장치는 상기 산출된 물리적 스트레스 지수와 심리적 스트레스 지수를 아래 [수학식 7]에 적용하여 스트레스 지수를 측정할 수 있다(S110).
Figure 112020050327294-pat00009
더 나아가, 스트레스 지수 측정 및 관리 장치는 상기 피부 영상에서 산출된 호흡 신호에 기초하여 호흡 조절 훈련(예컨대, 호흡 깊이, 호흡 PP 간격 등 조절)을 통해 사용자의 스트레스를 관리할 수 있다(S111).
도 2 내지 도 6은 도 1에서의 단계별 동작을 개념적으로 표현한 도면이다.
도 2 및 도 3에 도시된 바와 같이, 스트레스 지수 측정 및 관리 장치는 카메라가 탑재된 스마트 기기를 이용하여 촬영된 피부 영상에서 복수의 피부 관심 영역(ROI1, ROI2)을 검출하고 피부 영역의 RGB 색상 체계를 YCgCo 색상 체계로 변환하여 Cg 신호를 추출한다.
도 4에 도시된 바와 같이, 스트레스 지수 측정 및 관리 장치는 추출된 Cg 신호에 호흡 관련 주파수 대역으로 BPF, FFT를 적용하고 호흡 관련 관심 주파수 선정후 iFFT를 적용하여 호흡 신호를 추출하고 피크 지점을 검출한다.
도 5에 도시된 바와 같이, 스트레스 지수 측정 및 관리 장치는 검출된 피크 지점으로부터 호흡 PP(Peak to Peak) 간격을 산출하고 호흡 PP 간격 태코그램(Tachogram)을 도출한다. 스트레스 지수 측정 및 관리 장치는 도출된 호흡 PP 간격 태코그램의 시간 영역에서는 시계열 분석을 통해 측정된 호흡수, 호흡 PP 간격 표준편차에 사용자의 연령 및 성별 정보를 적용하여 정규화 호흡 편향분포도, 정규화 호흡 PP 간격 표준편차, 호흡 PP 간격의 복잡도를 산출한다. 주파수 영역에서는 주파수 분석을 통해 LF 대역의 파워 스펙트럼 밀도(Power spectral Density) 값(LF 활성도)에 사용자의 연령 및 성별 정보를 적용하여 정규화 LF 활성도 값을 계산한다.
이와 같이, 스트레스 지수 측정 및 관리 장치는 호흡 PP 간격 태코그램의 주파수 분석을 통해 주파수 영역에서 스트레스 지수 측정을 위한 파라미터 값인 LF 활성도를 산출하고, 시계열 분석을 통해 시간 영역에서 스트레스 지수 측정을 위한 파라미터 값인 호흡 PP 간격 표준편차, 호흡수를 산출한다. 스트레스 지수 측정 및 관리 장치는 산출된 파라미터 값과 사용자의 연령 및 성별 정보를 적용하여 정규화 LF 활성도, 정규화 호흡 PP 간격 편향분포도, 정규화 표준편차 값을 산출하고 이를 이용하여 물리적 스트레스 지수와 심리적 스트레스 지수를 구한 후 각각에 가중평균을 적용시켜 스트레스 지수를 산출한다.
도 6에 도시된 바와 같이, 스트레스 지수 측정 및 관리 장치는 산출된 스트레스 지수로부터 사용자의 스트레스 상태를 분석할 수 있으며, 산출된 호흡 신호에 기초하여 호흡 조절 훈련(예컨대, 호흡 깊이, 호흡 PP 간격 등 조절)을 통해 사용자의 스트레스를 관리할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 스트레스 지수 회귀분석 식을 생성하는 과정을 나타낸 흐름도이다.
도 7에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 스트레스 지수 회귀분석 식을 이용한 스트레스 지수 측정 및 관리 방법에는 개선된 스트레스 지수 측정 회귀분석 식(직선 또는 곡선 식)을 산출하여 “스트레스 지수 회귀분석 식 DB”를 저장하는 단계가 포함된다. 이를 위해, 스트레스 지수 측정 및 관리 장치는 카메라를 이용한 피부 영상을 촬영하고, PPG(Photoplethysmography) 측정기를 이용하여 스트레스 지수를 측정한다. 이하, 상세한 동작을 설명하기로 한다.
스트레스 지수 측정 및 관리 장치는 촬영한 피부 영상으로부터 복수개의 피부 관심 영역(ROI1, ROI2)을 검출한다(S201). 스트레스 지수 측정 및 관리 장치는 다양한 색상 체계 중 일례로 검출된 피부 관심 영역의 RGB 색상 체계를 YCgCo 색상 체계로 변환하여 Cg 신호를 산출한다(S202). 산출된 Cg 신호에 BPF(Band Pass Filter), FFT(Fast Fourier Transform)를 적용하고, 호흡 관련 관심 주파수 선정 후 iFFT(Inverse Fast Fourier Transform)를 적용하여 호흡 신호를 산출한다. 스트레스 지수 측정 및 관리 장치는 iFFT를 적용하여 산출된 호흡 신호로부터 호흡 피크의 위치를 검출하고(S203), 검출된 피크 각각에서 산출된 호흡 PP 간격(피크-피크 간격)을 이용하여 호흡 PP 간격 태코그램(Tachogram)을 도출한다(S204).
스트레스 지수 측정 및 관리 장치는 태코그램의 시간 영역에서는 시계열 분석을 통해 측정된 호흡수, 호흡 PP 간격 표준편차에 사용자의 연령 및 성별 정보를 적용하여 정규화 호흡 편향분포도, 정규화 호흡 PP 간격 표준편차, 호흡 PP 간격의 복잡도를 산출한다(S205). 스트레스 지수 측정 및 관리 장치는 주파수 영역에서는 주파수 분석을 통해 LF 대역(0.04~0.15Hz)의 파워 스펙트럼 밀도(Power spectral Density) 값(LF 활성도)에 사용자의 연령 및 성별 정보를 적용하여 정규화 LF 활성도 값을 계산한다(S206). 스트레스 지수 측정 및 관리 장치는 상기 산출된 파라미터 값(LF 활성도)을 적용하여 물리적 스트레스 지수를 계산하고(S207), 상기 산출된 파라미터 값(호흡수, 호흡 PP 간격 표준편차 및 호흡 PP 간격의 복잡도)을 적용하여 심리적 스트레스 지수를 계산한다(S208).
스트레스 지수 측정 및 관리 장치는 계산된 파라미터(정규화 호흡편향분포도, 정규화 호흡 PP 간격 표준편차, 호흡 PP 간격의 복잡도 및 LF 활성도)를 이용하여 스트레스 지수를 측정하고(S209), 이를 “피부 영상의 스트레스 지수 DB”에 저장한다(S210). 여기서, 피부 영상의 스트레스 지수 DB에 저장된 스트레스 지수를 제1 스트레스 지수로 지칭할 수 있다.
그리고, 스트레스 지수 측정 및 관리 장치는 PPG 측정기 통해 산출된 맥파 신호를 이용하여 스트레스 지수를 측정하고(S211), 측정한 스트레스 지수를 “PPG 측정기의 스트레스 지수 DB”에 저장한다(S212). 여기서, PPG 측정기의 스트레스 지수 DB에 저장된 스트레스 지수를 제2 스트레스 지수로 지칭할 수 있다.
스트레스 지수 측정 및 관리 장치는 상기 저장된 두 DB에 회귀분석을 적용하여(S213), 회귀분석(예컨대, 직선 또는 곡선) 식을 산출하며, 이를 “스트레스 지수 회귀분석 식 DB”에 저장한다(S214).
일례로, 상관도(Scatter diagram) 상의 점집합을 직선으로 대표시켜 구한 직선으로 두 변량 사이의 관계를 나타내며, 본 발명의 다른 실시예에서는 "피부 영상으로부터 추정된 피부 영상의 스트레스 지수 DB"와 “PPG 측정기를 이용하여 측정한 PPG 측정기의 스트레스 지수 DB”를 이용하여 회귀직선 식을 도출한다. 회귀직선 식은 [수학식 8]과 같다.
Figure 112020050327294-pat00010
여기서, y가 개선된 스트레스 지수, LF 활성도, 호흡편향분포도, 호흡 PP 간격 표준편차 및 호흡 PP 간격 복잡도 중에서 어느 하나일 수 있으며, x는 피부 영상의 호흡 신호로부터 추정된 스트레스 지수, LF 활성도, 호흡편향분포도, 호흡 PP 간격 표준편차 및 호흡 PP 간격 복잡도 중에서 어느 하나를 나타낸다. 실제 데이터를 적용하여 구한 결과는 사용하는 데이터에 따라 상수 a, b 값이 변할 수 있다.
다른 예로, 상관도(Scatter diagram) 상의 점집합을 곡선으로 대표시켜 구한 곡선으로 두 변량 사이의 관계를 나타내며, 본 발명에서는 "피부 영상으로부터 추정한 스트레스 지수 DB"와 “PPG 측정기를 이용하여 측정한 스트레스 지수 DB”를 이용하여 회귀곡선 식을 도출한다. 회귀곡선 식은 [수학식 9]와 같다.
Figure 112020050327294-pat00011
여기서, y가 개선된 스트레스 지수, LF 활성도, 호흡편향분포도, 호흡 PP 간격 표준편차 및 호흡 PP 간격 복잡도 중에서 어느 하나일 수 있으며, x는 피부 영상의 호흡 신호로부터 추정된 스트레스 지수, LF 활성도, 호흡편향분포도, 호흡 PP 간격 표준편차 및 호흡 PP 간격 복잡도 중에서 어느 하나를 나타낸다. 실제 데이터를 적용하여 구한 결과는 사용하는 데이터에 따라 상수 a, b, c 값이 변할 수 있다.
도 8은 본 발명의 다른 실시예에 따른 스트레스 지수 회귀분석 식 DB를 이용한 개선된 스트레스 지수 측정 및 관리 방법을 나타낸 흐름도이다.
도 8은 스트레스 지수 측정 및 관리 장치가 “스트레스 지수 회귀분석 식 DB”를 이용하여 개선된 스트레스 지수를 산출하고, 이를 이용하여 사용자의 스트레스 상태를 분석하는 과정을 나타낸다.
스트레스 지수 측정 및 관리 장치는 탑재된 카메라를 이용하여 촬영된 피부 영상에서 복수의 피부 관심 영역(ROI1, ROI2)을 검출하고(S301), 피부 영역의 RGB 색상 체계를 YCgCo 색상 체계로 변환하여 Cg 신호를 추출한다(S302). 스트레스 지수 측정 및 관리 장치는 추출된 Cg 신호를 주파수 대역으로 BPF, FFT를 적용하고 호흡 관련 관심 주파수 선정 후 iFFT를 적용하여 호흡 신호를 추출하며 피크 지점을 검출한다(S303). 그리고 스트레스 지수 측정 및 관리 장치는 검출된 피크 지점으로부터 호흡 PP 간격(피크_피크 간격)을 산출하여 호흡 PP 간격 태코그램(Tachogram)을 도출한다(S304).
스트레스 지수 측정 및 관리 장치는 도출된 호흡 PP 간격 태코그램의 시간 영역에서는 시계열 분석을 통해 측정된 호흡수, 호흡 PP 간격 표준편차에 사용자의 연령 및 성별 정보를 적용하여 정규화 호흡 편향분포도, 정규화 호흡 PP 간격 표준편차, 호흡 PP 간격의 복잡도를 산출한다(S305). 주파수 영역에서는 주파수 분석을 통해 LF 대역(0.04~0.15Hz)의 파워 스펙트럼 밀도(Power spectral Density) 값(LF 활성도)에 사용자의 연령 및 성별 정보를 적용하여 정규화 LF 활성도 값을 계산한다(S306).
이와 같이, 스트레스 지수 측정 및 관리 장치는 호흡 PP 간격 태코그램의 주파수 분석을 통해 주파수 영역에서 스트레스 지수 측정을 위한 파라미터 값인 LF 활성도를 산출하고 시계열 분석을 통해 시간 영역에서 스트레스 지수 측정을 위한 파라미터 값인 호흡 PP 간격 표준편차, 호흡수를 산출한다. 스트레스 지수 측정 및 관리 장치는 산출된 파라미터 값과 사용자의 연령 및 성별 정보를 적용하여 정규화 LF 활성도, 정규화 호흡 PP 간격 편향분포도, 정규화 표준편차 값을 산출하고, 이를 이용하여 물리적 스트레스 지수와 심리적 스트레스 지수를 구한다(S307, S308). 이후, 스트레스 지수 측정 및 관리 장치는 각각에 가중평균을 적용시켜 스트레스 지수를 산출한다(S309). 그리고 산출된 스트레스 지수를 “스트레스 지수 회귀분석 식 DB”에 적용하여 개선된 스트레스 지수를 산출할 수 있다(S310). 그리고 스트레스 지수 측정 및 관리 장치는 개선된 스트레스 지수를 이용하여 사용자의 스트레스 상태를 분석할 수 있다(S311).
도 9는 본 발명의 다른 실시예에 따른 강인한 스트레스 지수 측정 및 관리 방법을 나타낸 흐름도이다.
도 9는 복수 부위 각각의 복수개 피부 관심 영역에서 추정된 스트레스 지수를 이용한 강인한 스트레스 지수를 측정하는 과정을 나타낸다.
도 10은 피부 영상으로부터 검출된 복수 부위 각각의 복수개 피부 관심 영역을 나타낸 도면이다.
도 10에 도시된 바와 같이, 스트레스 지수 측정 및 관리 장치는 탑재된 카메라를 이용하여 피부 영상(예컨대, 얼굴, 손 등)을 촬영하고 복수 부위 각각에 대해 복수개의 피부 관심 영역(예컨대, 왼쪽 볼(ROI1, ROI2), 오른쪽 볼(ROI3, ROI4))을 검출한다(S401).
본 발명의 다른 실시예에서는 피부 영상의 볼 영역뿐만 아니라 다양한 부위의 피부 관심 영역을 이용하여 스트레스 지수를 측정할 수 있다. 일례로 스트레스 지수 측정 및 관리 장치는 복수 부위 각각에 대해 4개의 서로 다른 피부 관심 영역(왼쪽 볼(ROI1, ROI2), 오른쪽 볼(ROI3, ROI4))에서 추정된 스트레스 지수에 가중 평균을 적용하여 강인한 스트레스 지수를 측정할 수 있다.
스트레스 지수 측정 및 관리 장치는 다양한 피부 영역 중 오른쪽 볼과 왼쪽 볼 각각에 대한 서로 다른 두 피부 관심 영역을 사용한다. 스트레스 지수 측정 및 관리 장치는 서로 다른 두 피부 관심 영역 각각에 다양한 색상 체계 중 일례로 피부 영역의 RGB 색상 체계를 YCgCo 색상 체계로 변환하여 Cg 신호를 추출한다(S402).
스트레스 지수 측정 및 관리 장치는 복수 부위 각각의 피부 관심 영역(왼쪽 볼(ROI1, ROI2), 오른쪽 볼(ROI3, ROI4))에서 계산된 Cg 신호에 FFT(Fast Fourier Transform)를 적용하고, 호흡 관련 주파수 대역(0.13~0.4Hz) 각각의 주파수 값에 iFFT (Inverse Fast Fourier Transform)를 적용하여 호흡 신호를 산출한다. 스트레스 지수 측정 및 관리 장치는 iFFT를 적용하여 산출된 호흡 신호로부터 호흡 피크의 위치를 검출하고, 검출된 피크 각각에서 산출된 호흡 PP 간격(피크-피크 간격)을 이용하여 호흡 PP 간격을 계산한다(S403). 스트레스 지수 측정 및 관리 장치는 호흡 신호로부터 검출된 호흡 피크를 이용하여 호흡 PP 간격 태코그램(Tachogram)을 도출한다(S404).
그리고 스트레스 지수 측정 및 관리 장치는 호흡 PP 간격 태코그램의 시간 영역에서 시계열 분석을 통해 측정된 호흡수, 호흡 PP 간격 표준편차에 사용자의 연령 및 성별 정보를 적용하여 정규화 호흡 편향분포도, 정규화 호흡 PP 간격 표준편차, 호흡 PP 간격의 복잡도를 산출한다(S405). 스트레스 지수 측정 및 관리 장치는 호흡 PP 간격 태코그램의 주파수 영역에서 주파수 분석을 통해 LF 대역(0.04~0.15Hz)의 파워 스펙트럼 밀도(Power spectral Density) 값(LF 활성도)에 사용자의 연령 및 성별 정보를 적용하여 정규화 LF 활성도 값을 계산한다(S406). 스트레스 지수 측정 및 관리 장치는 스트레스 지수 측정 및 관리 장치는 산출된 파라미터 값과 사용자의 연령 및 성별 정보를 적용하여 정규화 LF 활성도, 정규화 호흡 PP 간격 편향분포도, 정규화 표준편차 값을 산출하고, 이를 이용하여 물리적 스트레스 지수와 심리적 스트레스 지수를 구한다(S407, S408).
스트레스 지수 측정 및 관리 장치는 계산된 파라미터(정규화 호흡편향분포도, 정규화 호흡 PP 간격 표준편차, 호흡 PP 간격의 복잡도 및 LF 활성도)를 이용하여 복수 부위의 스트레스 지수를 추정한다. 스트레스 지수 측정 및 관리 장치는 가중평균을 적용시킨 물리적 스트레스 지수와 심리적 스트레스 지수를 이용하여 스트레스 지수를 산출한다(S409). 스트레스 지수 측정 및 관리 장치는 복수 부위의 스트레스 지수를 가중 평균 내어 조명 환경 등에 강인한 스트레스 지수를 추정한다(S410). 그리고 스트레스 지수 측정 및 관리 장치는 강인한 스트레스 지수를 이용하여 사용자 스트레스 상태를 분석한다(S411).
또한, 스트레스 지수 측정 및 관리 장치는 상기 산출된 호흡 신호에 기초하여 호흡 조절 훈련(호흡 깊이, 호흡 PP 간격 등 조절)을 통해 사용자의 스트레스를 관리할 수 있다.
도 11은 본 발명의 다른 실시예에 따른 호흡 조절 훈련을 통한 스트레스 지수 측정 및 관리 방법을 나타낸 흐름도이다.
도 11은 피부 영상의 호흡 신호에 기초하여 호흡 조절 훈련을 통해 건강 관리를 하는 과정을 나타낸다.
스트레스 지수 측정 및 관리 장치는 사용자 단말(예컨대, 스마트 기기)에 구비된 일반 카메라, 적외선 카메라, 또는 줌 카메라 등을 이용하여 피부 영상(예컨대, 얼굴, 손 등)을 촬영하고 복수 부위의 피부 관심 영역(ROI, Regin of Interest)을 검출한다(S501). 스트레스 지수 측정 및 관리 장치는 검출된 피부 관심 영역의 RGB 색상 체계를 YCgCo 색상 체계로 변환하여 Cg 색상 평균 신호를 산출한다(S502). 그리고 스트레스 지수 측정 및 관리 장치는 계산된 Cg 색상 데이터 평균값에 호흡 관련 주파수 대역으로 BPF, FFT를 적용하여 관심 주파수 선정 후, iFFT를 적용하여 호흡 신호를 산출하고 피크 위치를 검출한다(S503).
스트레스 지수 측정 및 관리 장치는 산출된 호흡 신호로부터 호흡 깊이 및 호흡 피크를 검출한다(S504).
스트레스 지수 측정 및 관리 장치는 목표 호흡 파형 도달을 통한 호흡 조율 동작(S505), 정상 호흡 소리 등을 통한 호흡 조율 동작(S506), 및 목표 호흡에 맞는 맞춤 음원 생성을 통한 호흡 조율 동작(S507) 중에서 적어도 하나의 동작이 포함된 호흡 조절 훈련을 수행한다. 호흡 조절 훈련에는 목표 호흡 파형 도달을 통한 호흡 조율, 정상 호흡 소리를 통한 호흡 조율, 목표 호흡에 맞는 맞춤 음원 생성 및 호흡 조율 등의 호흡 조절 훈련이 포함될 수 있다. 스트레스 지수 측정 및 관리 장치는 이러한 호흡 조절 훈련을 통해 스트레스를 관리할 수 있다(S508).
도 12 내지 도 14는 본 발명의 다른 실시예에 따른 호흡 조절 훈련을 나타낸 흐름도이다.
본 발명의 다른 실시예에 따른 호흡 조절 훈련 중에서 목표 호흡 파형 도달을 통한 호흡 조율 동작이 도 12에 도시되어 있다. 스트레스 지수 측정 및 관리 장치는 사용자에게 목표 들숨 높이 및 목표 날숨 높이와 목표 호흡 PP 간격이 포함된 목표 호흡 파형을 제공하고, 사용자가 제공된 목표 호흡 파형에 도달하도록 호흡 조절 훈련을 수행한다.
본 발명의 다른 실시예에 따른 호흡 조절 훈련 중에서 정상 호흡 소리 등을 통한 호흡 조율 동작이 도 13에 도시되어 있다. 스트레스 지수 측정 및 관리 장치는 사용자에게 정상인 호흡 소리를 제공하고, 사용자가 제공된 정상인 호흡 소리에 맞춰 호흡하도록 호흡 조절 훈련을 수행한다.
본 발명의 다른 실시예에 따른 호흡 조절 훈련 중에서 목표 호흡에 맞는 맞춤 음원 생성을 통한 호흡 조율 동작이 도 13에 도시되어 있다. 스트레스 지수 측정 및 관리 장치는 목표 호흡에 맞는 맞춤 음원을 생성하고, 생성된 목표 호흡에 맞는 맞춤 음원을 사용자에게 제공하여, 사용자가 제공된 맞춤 음원에 맞게 호흡을 조절하도록 호흡 조절 훈련을 수행한다.
도 15는 본 발명의 일 실시예에 따른 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 장치의 구성을 설명하기 위한 구성도이다.
도 15에 도시된 바와 같이, 본 발명의 일 실시예에 따른 스트레스 지수 측정 및 관리 장치(100)는 영상 획득 모듈(110), 메모리(120) 및 프로세서(130)를 포함한다. 스트레스 지수 측정 및 관리 장치(100)는 인터페이스 모듈(140)을 더 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수 구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 스트레스 지수 측정 및 관리 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 스트레스 지수 측정 및 관리 장치(100)가 구현될 수 있다.
이하, 도 15의 스트레스 지수 측정 및 관리 장치(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
영상 획득 모듈(110)은 탑재된 카메라를 통해 촬영된 피부 영상을 획득한다.
메모리(120)는 하나 이상의 프로그램을 저장한다. 메모리(120)는 피부 영상의 스트레스 지수 DB와 PPG 측정기의 스트레스 지수 DB를 포함할 수 있다. 또한, 메모리(120)는 스트레스 지수 회귀분석 식 DB를 포함할 수 있다.
프로세서(130)는 메모리(120)에 저장된 하나 이상의 프로그램을 실행한다. 프로세서(130)는 획득된 피부 영상에서 복수 부위의 피부 관심 영역에서 색상 데이터 평균값을 산출하고, 산출된 색상 데이터로부터 호흡 신호를 산출하고, 산출된 호흡 신호로부터 호흡 피크 간격 데이터를 도출하고, 도출된 호흡 피크 간격 데이터를 분석하여 복수의 파라미터 값을 산출하고, 산출된 복수의 파라미터 값을 이용하여 제1 스트레스 지수를 산출한다.
실시예들에 따르면, 프로세서(130)는 호흡 PP(Peak to Peak) 간격 태코그램(Tachogram)을 도출할 수 있다.
실시예들에 따르면, 프로세서(130)는 도출된 호흡 PP 간격 태코그램의 시간 영역에서 시계열 분석을 통해 측정된 호흡수, 호흡 PP 간격 표준편차에 사용자의 연령 및 성별 정보를 적용하여, 정규화 호흡 편향분포도, 정규화 호흡 PP 간격 표준편차 및 호흡 PP 간격의 복잡도를 산출할 수 있다.
실시예들에 따르면, 프로세서(130)는 도출된 호흡 PP 간격 태코그램의 주파수 영역에서 주파수 분석을 통해 LF(Low Frequency) 대역(0.04~0.15Hz)의 파워 스펙트럼 밀도 값에 사용자의 연령 및 성별 정보를 적용하여 정규화 LF 활성도 값을 계산할 수 있다.
실시예들에 따르면, 프로세서(130)는 사용자의 신체 정보와 상기 산출된 복수의 파라미터 값을 이용하여 물리적 스트레스 지수와 심리적 스트레스 지수로 나누어서 제1 스트레스 지수를 산출할 수 있다.
실시예들에 따르면, 프로세서(130)는 사용자의 신체 정보와, 상기 산출된 복수의 파라미터 값에서 정규화 호흡편향분포도 및 LF 활성도를 이용하여 물리적 스트레스 지수를 산출할 수 있다.
실시예들에 따르면, 프로세서(130)는 사용자의 신체 정보와, 상기 산출된 복수의 파라미터 값에서 정규화 호흡 PP 간격 표준편차 및 호흡 PP 간격의 복잡도를 이용하여 심리적 스트레스 지수를 산출할 수 있다.
실시예들에 따르면, 프로세서는 PPG(Photoplethysmography) 측정기(11)를 이용하여 측정된 제2 스트레스 지수를 획득하고, 산출된 제1 스트레스 지수와 상기 획득된 제2 스트레스 지수에 회귀분석을 적용하여 회귀 분석식을 산출하고, 산출된 제1 스트레스 지수를 상기 산출된 회귀 분석식에 적용하여 정확도가 개선된 제1 스트레스 지수를 추정할 수 있다.
실시예들에 따르면, 인터페이스 모듈(140)은 사용자와 인터페이스를 제공한다. 프로세서(130)는 산출된 호흡 신호에 기초하여 인터페이스 모듈(140)을 통한 사용자와의 호흡 조절 훈련을 통해, 산출된 제1 스트레스 지수를 관리할 수 있다.
실시예들에 따르면, 프로세서(130)는 호흡 높이 및 호흡 PP 간격 중에서 적어도 하나에 대한 호흡 조절 훈련을 통해 제1 스트레스 지수를 관리할 수 있다.
한편, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 실험을 설명하기로 한다.
피부 영상을 이용한 스트레스 지수 측정 방식의 성능을 확인하기 위해 접촉식 생체신호 측정 장비와 스마트 기기의 카메라를 이용하여 실험하였다.
사용자 단말(예컨대, 스마트 기기)을 이용하여 피부 영상을 촬영하였고 검출된 피부 관심 영역에서 다양한 색상 체계를 이용하여 생체신호를 측정할 수 있다. 본 발명의 실시예들에서는 그 중 한 가지 예로 RGB 색상 체계를 YCgCo 색상 체계로 변환하여 추출된 Cg 색상 데이터 평균값을 이용하여 호흡 신호를 추출하여 스트레스 지수를 측정하였고, 접촉식 생체신호 측정 장비를 이용하여 측정된 스트레스 지수와 비교하여 오차율을 도출하였다.
실험 1회당 1분 동안 얼굴 영상과 접촉식 생체신호 측정 장비를 이용하여 생체신호를 동시에 측정하였고, 촬영은 초당 30프레임씩 진행하였다.
피험자는 총 3명(남성 2명, 여성1 명)으로 각 인원의 피부 영상 및 PPG 신호 측정 횟수는 각 5회씩 총 15회를 측정하여 스트레스 지수를 산출 하였다.
[표 2]는 각각의 스트레스 지수 측정 값을 나타낸 것으로, 피부 영상을 이용하여 스트레스 지수를 측정한 결과 값과 접촉식 생체신호 측정 장비를 이용하여 스트레스 지수를 측정한 결과 값을 나타낸다.
Figure 112020050327294-pat00012
아래 [표 3]은 상기 [표 2]에서 제시된 값의 오차 및 오차율을 측정한 값을 나타낸다.
Figure 112020050327294-pat00013
한편, 본 발명의 실시예들에 따른 실험 결과는 피부 영상을 이용하여 스트레스 지수를 측정함에 있어서 별도의 하드웨어 모듈 없이 사용자가 보유하고 있는 사용자 단말(예컨대, 스마트 기기)에서 피부 영상을 촬영하고 피부 관심 영역 검출을 통해 호흡 신호를 추출하고 이 신호를 이용하여 스트레스 지수를 측정할 수 있다.
이는 일반 사용자를 대상으로 빠르고 편리한 스트레스 지수 측정 시스템을 제공하는데 이용될 수 있다. 또한, 설문지나 전문 상담가의 상담을 통해 스트레스 지수를 확인하는 방법이나 접촉식 생체신호 측정 장비를 이용하여 측정하고 호흡 조절 훈련을 통해 스트레스 관리 방법을 효과적으로 대체할 수 있다.
한편, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 피부 영상에서 복수 부위의 피부 관심 영역에 대한 기설정된 색상 데이터를 산출하는 단계; 상기 산출된 색상 데이터로부터 호흡 신호를 산출하는 단계; 상기 산출된 호흡 신호로부터 호흡 피크 간격 데이터를 도출하는 단계; 상기 도출된 호흡 피크 간격 데이터를 분석하여 복수의 파라미터 값을 산출하는 단계; 및 상기 산출된 복수의 파라미터 값을 이용하여 제1 스트레스 지수를 산출하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 다양한 실시예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
또한, 상술한 다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 스트레스 지수 측정 및 관리 장치
110: 영상 획득 모듈
120: 메모리
130: 프로세서
140: 인터페이스 모듈
11: PPG 측정기

Claims (27)

  1. 스트레스 지수 측정 및 관리 장치에 의해 수행되는 스트레스 지수 측정 및 관리 방법에 있어서,
    피부 영상에서 복수 부위의 피부 관심 영역에서 색상 데이터를 산출하는 단계;
    상기 산출된 색상 데이터로부터 호흡 신호를 산출하는 단계;
    상기 산출된 호흡 신호로부터 호흡 피크 간격 데이터를 도출하는 단계;
    상기 도출된 호흡 피크 간격 데이터를 분석하여 복수의 파라미터 값을 산출하는 단계; 및
    상기 산출된 복수의 파라미터 값을 이용하여 제1 스트레스 지수를 산출하는 단계를 포함하고,
    상기 복수의 파라미터는 호흡 피크 간격 태코그램, 상기 도출된 호흡 피크 간격 태코그램의 시간 영역에서 시계열 분석을 통해 측정된 호흡수, 호흡 PP 간격 표준편차에 사용자의 신체 정보를 적용하여 산출된 정규화 호흡 편향분포도, 정규화 호흡 PP 간격 표준편차, 호흡 PP 간격의 복잡도, 상기 도출된 호흡 피크 간격 태코그램의 주파수 영역에서 주파수 분석을 통해 LF(Low Frequency) 대역의 파워 스펙트럼 밀도 값에 사용자의 신체 정보를 적용하여 계산된 정규화 LF 활성도 값을 포함하는
    피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 제1 스트레스 지수를 산출하는 단계는,
    사용자의 신체 정보와 상기 산출된 복수의 파라미터 값을 이용하여 물리적 스트레스 지수와 심리적 스트레스 지수에 가중 평균 내어 상기 제1 스트레스 지수를 산출하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법.
  6. 제1항에 있어서,
    상기 제1 스트레스 지수를 산출하는 단계는,
    사용자의 신체 정보와, 상기 산출된 복수의 파라미터 값에서 정규화 호흡편향분포도 및 LF 활성도를 이용하여 물리적 스트레스 지수를 산출하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법.
  7. 제1항에 있어서,
    상기 제1 스트레스 지수를 산출하는 단계는,
    사용자의 신체 정보와, 상기 산출된 복수의 파라미터 값에서 정규화 호흡 PP 간격 표준편차 및 호흡 PP 간격의 복잡도를 이용하여 심리적 스트레스 지수를 산출하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법.
  8. 제1항에 있어서,
    PPG(Photoplethysmography) 측정기를 이용하여 측정된 제2 스트레스 지수를 획득하는 단계;
    상기 산출된 제1 스트레스 지수와 상기 획득된 제2 스트레스 지수에 회귀분석을 적용하여 회귀 분석식을 산출하는 단계; 및
    상기 산출된 제1 스트레스 지수를 상기 산출된 회귀 분석식에 적용하여 정확도가 개선된 제1 스트레스 지수를 추정하는 단계를 더 포함하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법.
  9. 제1항에 있어서,
    상기 산출된 호흡 신호에 기초하여 호흡 조절 훈련을 통해 상기 산출된 제1 스트레스 지수를 관리하는 단계를 더 포함하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법.
  10. 제9항에 있어서,
    상기 산출된 제1 스트레스 지수를 관리하는 단계는,
    호흡 높이 및 호흡 PP 간격 중에서 적어도 하나에 대한 호흡 조절 훈련을 통해 상기 제1 스트레스 지수를 관리하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법.
  11. 제9항에 있어서,
    상기 산출된 제1 스트레스 지수를 관리하는 단계는,
    사용자에게 목표 들숨 높이 및 목표 날숨 높이와 목표 호흡 PP 간격이 포함된 목표 호흡 파형을 제공하고, 상기 사용자가 상기 제공된 목표 호흡 파형에 도달하도록 호흡 조절 훈련을 통해 상기 제1 스트레스 지수를 관리하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법.
  12. 제9항에 있어서,
    상기 산출된 제1 스트레스 지수를 관리하는 단계는,
    사용자에게 정상인 호흡 소리를 제공하고, 상기 사용자가 상기 제공된 정상인 호흡 소리에 맞춰 호흡하도록 호흡 조절 훈련을 통해 상기 제1 스트레스 지수를 관리하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법.
  13. 제9항에 있어서,
    상기 산출된 제1 스트레스 지수를 관리하는 단계는,
    사용자에게 목표 호흡에 맞는 맞춤 음원을 생성하고, 상기 생성된 목표 호흡에 맞는 맞춤 음원을 상기 사용자에게 제공하여, 상기 사용자가 상기 제공된 맞춤 음원에 맞게 호흡을 조절하도록 호흡 조절 훈련을 통해 상기 제1 스트레스 지수를 관리하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법.
  14. 피부 영상을 획득하는 영상 획득 모듈;
    하나 이상의 프로그램을 저장하는 메모리; 및
    상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고,
    상기 프로세서는, 상기 획득된 피부 영상에서 복수 부위의 피부 관심 영역에서 색상 데이터를 산출하고,
    상기 산출된 색상 데이터로부터 호흡 신호를 산출하고,
    상기 산출된 호흡 신호로부터 호흡 피크 간격 데이터를 도출하고,
    상기 도출된 호흡 피크 간격 데이터를 분석하여 복수의 파라미터 값을 산출하고,
    상기 산출된 복수의 파라미터 값을 이용하여 제1 스트레스 지수를 산출하고,
    상기 복수의 파라미터는 호흡 피크 간격 태코그램, 상기 도출된 호흡 피크 간격 태코그램의 시간 영역에서 시계열 분석을 통해 측정된 호흡수, 호흡 PP 간격 표준편차에 사용자의 신체 정보를 적용하여 산출된 정규화 호흡 편향분포도, 정규화 호흡 PP 간격 표준편차, 호흡 PP 간격의 복잡도, 상기 도출된 호흡 피크 간격 태코그램의 주파수 영역에서 주파수 분석을 통해 LF(Low Frequency) 대역의 파워 스펙트럼 밀도 값에 사용자의 신체 정보를 적용하여 계산된 정규화 LF 활성도 값을 포함하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 장치.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 제14항에 있어서,
    상기 프로세서는,
    사용자의 신체 정보와 상기 산출된 복수의 파라미터 값을 이용하여 물리적 스트레스 지수와 심리적 스트레스 지수에 가중 평균 내어 상기 제1 스트레스 지수를 산출하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 장치.
  19. 제14항에 있어서,
    상기 프로세서는,
    사용자의 신체 정보와, 상기 산출된 복수의 파라미터 값에서 정규화 호흡편향분포도 및 LF 활성도를 이용하여 물리적 스트레스 지수를 산출하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 장치.
  20. 제14항에 있어서,
    상기 프로세서는,
    사용자의 신체 정보와, 상기 산출된 복수의 파라미터 값에서 정규화 호흡 PP 간격 표준편차 및 호흡 PP 간격의 복잡도를 이용하여 심리적 스트레스 지수를 산출하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 장치.
  21. 제14항에 있어서,
    상기 프로세서는,
    PPG(Photoplethysmography) 측정기를 이용하여 측정된 제2 스트레스 지수를 획득하고,
    상기 산출된 제1 스트레스 지수와 상기 획득된 제2 스트레스 지수에 회귀분석을 적용하여 회귀 분석식을 산출하고,
    상기 산출된 제1 스트레스 지수를 상기 산출된 회귀 분석식에 적용하여 정확도가 개선된 제1 스트레스 지수를 추정하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 장치.
  22. 제14항에 있어서,
    사용자와 인터페이스를 제공하는 인터페이스 모듈을 더 포함하고,
    상기 프로세서는, 상기 산출된 호흡 신호에 기초하여 호흡 조절 훈련을 통해 상기 산출된 제1 스트레스 지수를 관리하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 장치.
  23. 제22항에 있어서,
    상기 프로세서는,
    호흡 높이 및 호흡 PP 간격 중에서 적어도 하나에 대한 호흡 조절 훈련을 통해 상기 제1 스트레스 지수를 관리하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 장치.
  24. 제22항에 있어서,
    상기 프로세서는,
    사용자에게 목표 들숨 높이 및 목표 날숨 높이와 목표 호흡 PP 간격이 포함된 목표 호흡 파형을 제공하고, 상기 사용자가 상기 제공된 목표 호흡 파형에 도달하도록 호흡 조절 훈련을 통해 상기 제1 스트레스 지수를 관리하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 장치.
  25. 제22항에 있어서,
    상기 프로세서는,
    사용자에게 정상인 호흡 소리를 제공하고, 상기 사용자가 상기 제공된 정상인 호흡 소리에 맞춰 호흡하도록 호흡 조절 훈련을 통해 상기 제1 스트레스 지수를 관리하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 장치.
  26. 제22항에 있어서,
    상기 프로세서는,
    사용자에게 목표 호흡에 맞는 맞춤 음원을 생성하고, 상기 생성된 목표 호흡에 맞는 맞춤 음원을 상기 사용자에게 제공하여, 상기 사용자가 상기 제공된 맞춤 음원에 맞게 호흡을 조절하도록 호흡 조절 훈련을 통해 상기 제1 스트레스 지수를 관리하는, 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 장치.
  27. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은:
    피부 영상에서 복수 부위의 피부 관심 영역에서 색상 데이터를 산출하는 단계;
    상기 산출된 색상 데이터로부터 호흡 신호를 산출하는 단계;
    상기 산출된 호흡 신호로부터 호흡 피크 간격 데이터를 도출하는 단계;
    상기 도출된 호흡 피크 간격 데이터를 분석하여 복수의 파라미터 값을 산출하는 단계; 및
    상기 산출된 복수의 파라미터 값을 이용하여 제1 스트레스 지수를 산출하는 단계를 포함하되,
    상기 복수의 파라미터는 호흡 피크 간격 태코그램, 상기 도출된 호흡 피크 간격 태코그램의 시간 영역에서 시계열 분석을 통해 측정된 호흡수, 호흡 PP 간격 표준편차에 사용자의 신체 정보를 적용하여 산출된 정규화 호흡 편향분포도, 정규화 호흡 PP 간격 표준편차, 호흡 PP 간격의 복잡도, 상기 도출된 호흡 피크 간격 태코그램의 주파수 영역에서 주파수 분석을 통해 LF(Low Frequency) 대역의 파워 스펙트럼 밀도 값에 사용자의 신체 정보를 적용하여 계산된 정규화 LF 활성도 값을 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체.
KR1020200059668A 2020-05-19 2020-05-19 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법 및 장치 KR102352629B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200059668A KR102352629B1 (ko) 2020-05-19 2020-05-19 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200059668A KR102352629B1 (ko) 2020-05-19 2020-05-19 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210142904A KR20210142904A (ko) 2021-11-26
KR102352629B1 true KR102352629B1 (ko) 2022-01-18

Family

ID=78700239

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200059668A KR102352629B1 (ko) 2020-05-19 2020-05-19 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102352629B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240098574A (ko) 2022-12-21 2024-06-28 (주)인더텍 홍채 센싱을 통한 직무 스트레스 측정 및 통합 케어 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2006236216A1 (en) * 2005-04-20 2006-10-26 Helicor, Inc. Methods and devices for relieving stress
KR101823658B1 (ko) * 2016-07-13 2018-03-14 성균관대학교산학협력단 영상을 이용한 스트레스 지수 산출 방법
KR101996996B1 (ko) * 2017-07-13 2019-07-05 성균관대학교산학협력단 적외선 영상을 이용한 생체신호 측정 방법 및 장치

Also Published As

Publication number Publication date
KR20210142904A (ko) 2021-11-26

Similar Documents

Publication Publication Date Title
KR101996996B1 (ko) 적외선 영상을 이용한 생체신호 측정 방법 및 장치
Lewis et al. A novel method for extracting respiration rate and relative tidal volume from infrared thermography
KR101535432B1 (ko) 콘텐츠 평가 시스템 및 이를 이용한 콘텐츠 평가 방법
US10448900B2 (en) Method and apparatus for physiological monitoring
EP3117766A1 (en) Processing biological data
KR101371299B1 (ko) 캡스트럼 기법을 이용한 마취 심도 측정 방법 및 장치
JP3790266B2 (ja) 疲労度評価装置、疲労度評価装置の制御方法、および疲労度評価プログラム、並びに該プログラムを記録した記録媒体
CN111386068B (zh) 基于摄像机的压力测量系统与方法
KR101738278B1 (ko) 영상을 이용한 감정 인식 방법
US20090247893A1 (en) Method and apparatus for measuring responsiveness of a subject
KR102243012B1 (ko) 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법
KR101823658B1 (ko) 영상을 이용한 스트레스 지수 산출 방법
US8401261B2 (en) Imaging facial signs of neuro-physiological responses
US20220022809A1 (en) Systems and methods to detect and treat obstructive sleep apnea and upper airway obstruction
Katiyar et al. FBSE-EWT-based approach for the determination of respiratory rate from PPG signals
Andreu-Cabedo et al. Mirror mirror on the wall… An intelligent multisensory mirror for well-being self-assessment
KR102352629B1 (ko) 피부 영상의 호흡 신호를 이용한 스트레스 지수 측정 및 관리 방법 및 장치
Haritha et al. Automating anxiety detection using respiratory signal analysis
KR101999317B1 (ko) 심장과 호흡의 연결성을 이용한 감성 인식 방법 및 장치
JP6201520B2 (ja) 生理指標を用いる視線分析システムおよび方法
Romero et al. OptiBreathe: An Earable-based PPG System for Continuous Respiration Rate, Breathing Phase, and Tidal Volume Monitoring
KR101919907B1 (ko) 다중 신경생리신호 기반 사용자 간 상호작용 모니터링 장치 및 방법
US20220039753A1 (en) Modulation model of photoplethysmography signal for vital sign extraction
KR102305309B1 (ko) 영상 이미지를 통해 사용자의 피부 및 건강 지표를 측정하는 방법 및 그를 이용한 장치
KR102487827B1 (ko) 전두엽 피부 영상을 이용한 치매 중증도 분석 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant