KR102355127B1 - 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치 및 방법 - Google Patents

생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치 및 방법 Download PDF

Info

Publication number
KR102355127B1
KR102355127B1 KR1020200005844A KR20200005844A KR102355127B1 KR 102355127 B1 KR102355127 B1 KR 102355127B1 KR 1020200005844 A KR1020200005844 A KR 1020200005844A KR 20200005844 A KR20200005844 A KR 20200005844A KR 102355127 B1 KR102355127 B1 KR 102355127B1
Authority
KR
South Korea
Prior art keywords
physiological signal
signal data
participation
patient
information
Prior art date
Application number
KR1020200005844A
Other languages
English (en)
Other versions
KR20210092446A (ko
Inventor
이성아
정봉근
김중연
Original Assignee
순천향대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천향대학교 산학협력단 filed Critical 순천향대학교 산학협력단
Priority to KR1020200005844A priority Critical patent/KR102355127B1/ko
Publication of KR20210092446A publication Critical patent/KR20210092446A/ko
Application granted granted Critical
Publication of KR102355127B1 publication Critical patent/KR102355127B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4833Assessment of subject's compliance to treatment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531Measuring skin impedance
    • A61B5/0533Measuring galvanic skin response
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Dermatology (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Acoustics & Sound (AREA)
  • Psychology (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Rehabilitation Tools (AREA)

Abstract

본 발명은 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치 및 방법을 개시한다. 본 발명의 일 측면에 따른 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 방법은, VR 컨텐츠를 이용하여 재활훈련을 수행하는 환자가 착용한 웨어러블 장치로부터, 상기 재활훈련을 수행함에 따라 발생하는 환자의 생리적 신호 데이터를 수집하는 단계; 상기 수집된 환자의 생리적 신호 데이터를 샘플링 처리하는 단계; 및 상기 샘플링 처리된 생리적 신호 데이터에 기초하여 재활치료를 수행하는 환자의 참여도를 평가하는 단계;를 포함한다.

Description

생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치 및 방법{A device and method for evaluation of participation in rehabilitation therapy based on machine learning using physiological signals}
본 발명은 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치 및 방법에 관한 것으로, 더욱 상세하게는 재활치료에 참여하는 환자의 참여도를 보다 객관적으로 평가할 수 있는 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치 및 방법에 관한 것이다.
재활치료는, 노인과 장애가 있는 사람들이 신체적, 인지적 능력을 유지, 회복 또는 향상시키는 것을 돕는 과정이다. 넓은 의미의 재활치료란, 장애를 가진 사람이 가질 수 있는 최적의 신체적, 감각적, 지능적, 심리적, 사회적 수준을 성취하고 유지하려는 노력으로 수행하는 모든 치료를 말하며, 또한 장애가 없더라도 통증이나 일시적 질환, 외상 등으로 인해 환자가 영위하는 삶의 질이 떨어질 때, 이를 회복시키기 위한 모든 치료를 뜻한다.
이러한 재활치료는 환자와 재활치료를 돕는 전문가인 재활 치료사가 서로 의사소통을 통해 재활치료의 방향을 설정할 수 있다. 또한, 상기 재활 치료사는 재활치료 훈련의 방향에 대한 정보를 얻기 위한 프레임워크를 참조한 다음, 신체적 또는 인지적 능력을 향상, 유지 또는 회복하기 위한 개별화된 전략의 정도를 결정하거나, 재활치료를 수행하는 환자를 직접 관찰하면서 재활치료의 효과 여부를 평가한다.
하지만, 상술한 바에 따르면, 재활 치료사가 재활치료를 수행하는 환자를 직접 관찰하여 참여도를 평가하여 참여도에 따른 재활치료의 효율을 평가하므로, 객관적이지 못해 정확한 평가를 할 수 없다는 문제점이 발생한다.
한국등록특허 제10-1911179호(2018.10.23 공고)
본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로서, 재활치료에 참여하는 환자의 생리적 신호를 이용해 재활치료에 참여하는 환자의 참여도를 보다 객관적으로 평가할 수 있는 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 일 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따른 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 방법은, VR 컨텐츠를 이용하여 재활훈련을 수행하는 환자가 착용한 웨어러블 장치로부터, 상기 재활훈련을 수행함에 따라 발생하는 상기 환자의 생리적 신호 데이터를 수집하는 단계; 상기 수집된 환자의 생리적 신호 데이터를 샘플링 처리하는 단계; 및 상기 샘플링 처리된 생리적 신호 데이터에 기초하여 재활치료를 수행하는 환자의 참여도를 평가하는 단계;를 포함하며, 상기 생리적 신호 데이터는, 상기 환자가 재활훈련을 수행함에 따라 발생하는 자율신경 응답기록 정보일 수 있으며, 광용적맥파(Photoplethysmograph, PPG), 피부 전기 활동(electrodermal activity, EDA), 피부 온도(Skin Remperature, ST) 정보 중 적어도 어느 하나를 포함하며, 상기 수집된 환자의 생리적 신호 데이터를 샘플링 처리하는 단계는, 상기 생리적 신호 데이터가 피부 전기 활동(EDA) 정보인 경우, 상기 피부 전기 활동(EDA) 정보를 cvxEDA 알고리즘을 사용하여 성분을 분해하고, Z 점수 변환을 적용하여 정규화하며, 아래의 수학식을 이용하여 상기 분해된 성분으로부터 부가적인 통계적 특징(
Figure 112021060878286-pat00032
)을 도출하며,
Figure 112021060878286-pat00033

(여기서, μx는 평균이고 σx는 x의 표준 편차임)
상기 생리적 신호 데이터가 광용적맥파(PPG) 정보인 경우, 상기 광용적맥파 정보를 인접한 비트 사이의 개별 간격을 식별하여 아래의 수학식 1을 이용하여 인터 비트 간격(
Figure 112021060878286-pat00034
)을 추정하고, 아래의 수학식 2 및 3을 이용하여 평균 인터 비트 간격(
Figure 112021060878286-pat00035
)과 평균 심박수(
Figure 112021060878286-pat00036
)를 계산하며,
[수학식 1]
Figure 112021060878286-pat00037

[수학식 2]
Figure 112021060878286-pat00038

[수학식 3]
Figure 112021060878286-pat00039

(여기서, t는 N 비트 시간이고 N은 전체 심장 박동임)
상기 샘플링 처리된 생리적 신호 데이터에 기초하여 재활치료를 수행하는 환자의 참여도를 평가하는 단계는, 상기 샘플링 처리된 생리적 신호 데이터로부터 유도된 특징에 신경망이 적용된 CNN(Convolutional Neural Network) 학습 알고리즘을 적용하여 재활치료 환자 중에서 재활치료를 수행하는 상기 환자의 참여도를 평가한다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
상기와 같은 목적을 달성하기 위한 본 발명의 다른 측면에 따른 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치는, VR 컨텐츠를 이용하여 재활훈련을 수행하는 환자가 착용한 웨어러블 장치로부터, 상기 재활훈련을 수행함에 따라 발생하는 상기 환자의 생리적 신호 데이터를 수집하는 생리적 신호 데이터 수집부; 상기 수집된 환자의 생리적 신호 데이터를 샘플링 처리하는 데이터 처리부; 및 상기 샘플링 처리된 생리적 신호 데이터에 기초하여 재활치료를 수행하는 상기 환자의 참여도를 평가하는 참여도 평가부;를 포함하며, 상기 생리적 신호 데이터는, 상기 환자가 재활훈련을 수행함에 따라 발생하는 자율신경 응답기록 정보일 수 있으며, 광용적맥파(Photoplethysmograph, PPG), 피부 전기 활동(electrodermal activity, EDA), 피부 온도(Skin Remperature, ST) 정보 중 적어도 어느 하나를 포함하며, 상기 데이터 처리부는, 상기 생리적 신호 데이터가 피부 전기 활동(EDA) 정보인 경우, 상기 피부 전기 활동(EDA) 정보를 cvxEDA 알고리즘을 사용하여 분해하고, Z 점수 변환을 적용하여 정규화하며, 아래의 수학식을 이용하여 상기 분해된 성분으로부터 부가적인 통계적 특징(
Figure 112021060878286-pat00040
)을 도출하며,
Figure 112021060878286-pat00041

(여기서, μx는 평균이고 σx는 x의 표준 편차임)
상기 생리적 신호 데이터가 광용적맥파(PPG) 정보인 경우, 상기 광용적맥파 정보를 인접한 비트 사이의 개별 간격을 식별하여 아래의 수학식 1과 같이, 인터 비트 간격(
Figure 112021060878286-pat00042
)을 추정하고, 아래의 수학식 2 및 3을 을 이용하여 평균 인터 비트 간격(
Figure 112021060878286-pat00043
)과 평균 심박수(
Figure 112021060878286-pat00044
)를 계산하며,
[수학식 1]
Figure 112021060878286-pat00045

[수학식 2]
Figure 112021060878286-pat00046

[수학식 3]
Figure 112021060878286-pat00047

(여기서, t는 N 비트 시간이고 N은 전체 심장 박동임)
상기 참여도 평가부는. 상기 샘플링 처리된 생리적 신호 데이터로부터 유도된 특징에 신경망이 적용된 CNN(Convolutional Neural Network) 학습 알고리즘을 적용하여 재활치료 환자 중에서 재활치료를 수행하는 환자의 참여도를 평가한다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
본 발명의 일 측면에 따르면, 재활치료에 참여하는 환자의 참여도를 보다 객관적으로 판단할 수 있어, 참여도에 따른 재활치료의 방법 등을 선택적으로 조정하여 재활치료의 효율을 높일 수 있는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명을 실시하기 위한 구체적인 내용들과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시예에 따른 재활치료 참여도 평가 시스템의 개략적인 구성도,
도 2는 본 발명의 일 실시예에 따른 재활치료 참여도 평가 장치의 개략적인 구성도,
도 3은 본 발명의 일 실시예에 따른 피부 전기 활동(EDA) 정보의 분해된 성분의 그래프,
도 4는 본 발명의 일 실시예에 따른 광용적맥파(PPG) 신호의 피크와 간격을 나타낸 그래프,
도 5는 본 발명의 일 실시예에 따른 재활치료 참여도 평가 방법의 개략적인 흐름도이다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “…부” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 재활치료 참여도 평가 시스템의 개략적인 구성도, 도 2는 본 발명의 일 실시예에 따른 재활치료 참여도 평가 장치의 개략적인 구성도, 도 3은 본 발명의 일 실시예에 따른 피부 전기 활동(EDA) 정보의 분해된 성분의 그래프, 도 4는 본 발명의 일 실시예에 따른 광용적맥파(PPG) 신호의 피크와 간격을 나타낸 그래프이다.
도 1을 참조하면, 본 실시예에 따른 재활치료 참여도 평가 시스템은 재활훈련 환자가 신체의 일부에 착용하는 웨어러블 디바이스(100) 및 재활치료 참여도 평가 장치(200)를 포함한다.
본 실시예에 따른 웨어러블 디바이스(100)와 재활치료 참여도 평가 장치(200)는 무선통신을 이용해 연결되어 정보를 송수신할 수 있다. 본 실시예에 따른 무선통신은 블루투스(Bluetooth)를 사용할 수 있다. 하지만, 이에 한하지 않으며, 웨어러블 디바이스(100)와 재활치료 참여도 평가 장치(200)는 다양한 근거리 통신 및/또는 원거리 통신 중 적어도 어느 하나를 이용하여 통신할 수 있다. 이때, 근거리 통신은 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, Wi-Fi (Wireless Fidelity) 기술을 포함하며, 상기 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.
웨어러블 디바이스(100)는 재활훈련을 수행하는 환자가 신체의 일부에 착용하는 장치일 수 있으며, 재활훈련을 수행하는 동안 발생하는 환자의 생리적 신호를 수집한다. 웨어러블 디바이스(100)는 환자의 생리적 신호를 측정하기 위한 센서를 포함할 수 있다. 웨어러블 디바이스(100)는 장갑 및/또는 밴드 형태일 수 있다. 한편, 웨어러블 디바이스(100)는 PPG 측정 센서, 전극 센서, 맥파 측정 센서, 피부 온도 측정 센서, 관성측정 센서, 벤딩 센서 등을 포함할 수 있다. 본 실시예에 따른 웨어러블 디바이스(100)는 환자의 손목 및/또는 발에 착용할 수 있으며, 재활훈련을 수행하는 환자의 자율신경 응답기록 정보 즉, 생리적 신호를 수집할 수 있다. 예컨대, 자율신경 응답기록 정보 즉, 생리적 신호는 광용적맥파(photoplethysmogram, PPG), 피부 전기 활동(electrodermal activity, EDA), 피부 온도(skin temperature, ST) 정보, 혈액 부피 압력(blood volume pressure, BVP) 정보 등일 수 있다. 이와 같은 자율신경 응답기록 정보 즉, 생리적 신호는 조작이 어려워 재활치료를 수행하는 환자를 보다 객관적으로 관찰할 수 있다. 본 실시예에 따른 웨어러블 디바이스(100)는 스마트 글러브일 수 있다. 스마트 글러브에는 사용자의 원위부 사지의 움직임과 자세를 추적하는 관성측정장치 센서(IMU)와 벤딩 센서 등 복수의 센서가 장착될 수 있다. 스마트 글러브에 내장된 IMU 센서는 환자의 원위부 사지의 3차원 방향을 인식할 수 있다. 가변 저항기의 일종인 굽힘센서는, 원위부 사지가 구부러지면서 변한다. 저항값은 손가락의 굽힘 정도를 추정하는 데 사용될 수 있다. 스마트 글러브의 기능은 기능적 이동을 위한 능동적 및 수동적 동작 범위를 평가하고 VR 기반 재활훈련을 수행하는 데 사용될 수 있다.
한편, 본 실시예에 따른 웨어러블 디바이스(100)는 재활치료를 위한 가상현실(virtual reality, VR) 교육을 제공하는 소프트웨어 장치(어플리케이션)와 동기화될 수 있으며, 소프트웨어 장치로부터 제공되는 가상현실 교육을 수행하는 환자의 생리적 신호를 수집할 수 있다.
재활치료 참여도 평가 장치(200)는 웨어러블 디바이스(100)로부터 VR 컨텐츠를 이용하여 재활훈련을 수행하는 환자의 생리적 신호 데이터를 수신하고, 수신한 생리적 신호 데이터를 기초로 재활치료를 수행하는 환자의 참여도를 평가할 수 있다.
도 2를 참조하면, 본 실시예에 따른 재활치료 참여도 평가 장치(200)는 생리적 신호 데이터 수집부(210), 데이터 처리부(230) 및 참여도 평가부(250)를 포함한다.
생리적 신호 데이터 수집부(210)는 VR 컨텐츠를 이용하여 재활훈련을 수행하는 환자가 착용한 웨어러블 장치로부터, 재활훈련을 수행함에 따라 발생하는 환자의 생리적 신호 데이터를 수집한다. 이때, 생리적 신호 데이터는, 환자가 재활훈련을 수행함에 따라 발생하는 자율신경 응답기록 정보일 수 있다. 예컨대, 생리적 신호 데이터는 광용적맥파(PPG), 피부 전기 활동(EDA), 피부 온도(ST) 정보 등을 포함할 수 있다.
생리적 신호 데이터 수집부(210)는 수집한 생리적 신호 데이터를 후술하는 참여도 평가 분석에 사용될 수 있도록 분류하여 하나의 데이터 셋으로 형성할 수 있다.
데이터 처리부(230)는 수집된 환자의 생리적 신호 데이터를 샘플링 처리한다. 모든 생리적 신호는 512Hz에서 샘플링될 수 있다. 피부 전기 활동(EDA) 정보는 cvxEDA 알고리즘을 사용하여 피부전도반응(Skin Conductance Response, SCR) 및 피부 전도도 수준(Skin Conductance Level, SCL) 구성 요소를 유도하기 위해 분해될 수 있다. 피부 전기 활동(EDA) 정보(y)는 cvxEDA 알고리즘을 사용하여 피부전도반응(r), 피부 전도도 수준(t) 및 독립적이고 동일하게 분포된 가우시안 잡음(ε)의 합으로 구해질 수 있다(아래의 수학식 1 참조).
[수학식 1]
Figure 112020005024568-pat00009
알고리즘에는 모든 측정 및 모델링 오류가 포함되기 때문에 사전 처리 단계가 필요하지 않다.
한편, 피부 전기 활동(EDA) 정보의 분해된 성분은 도 3에 도시된 바와 같다. 피크는 5초의 시간 범위 내에서 중요한 피부전도반응(SCR)의 수에 의해 결정될 수 있다. 한편, 아래의 수학식 2를 사용하여 분해된 성분으로부터 부가적인 통계적 특징(
Figure 112021060878286-pat00048
)을 도출할 수 있다. 수학식 2는 평균 및 단위 분산이 0 인 정규화 된 피부전도반응(SCR) 또는 피부 전도도 수준(SCL) 신호를 나타낼 수 있다.
[수학식 2]
Figure 112020005024568-pat00010
여기서, μx는 평균이고 σx는 x의 표준 편차이다.
다시 말해, 데이터 처리부(230)는 생리적 신호 데이터가 피부 전기 활동(EDA) 정보인 경우, 피부 전기 활동(EDA) 정보를 cvxEDA 알고리즘을 사용하여 분해하고, Z 점수 변환을 적용하여 정규화하며, 상술한 수학식 2를 사용해 분해된 성분으로부터 부가적인 통계적 특징을 도출할 수 있다.
한편, SCR(피부 전도도 응답) 및 SCL(피부 전도도 수준)에서 파생된 정규화 된 신호의 첫 번째 및 두 번째 미분의 평균(
Figure 112021060878286-pat00049
), 표준 편차(
Figure 112021060878286-pat00050
,
Figure 112021060878286-pat00051
) 및 평균 절대 값(
Figure 112021060878286-pat00052
)과 같은 통계적 특징은 아래의 수학식 3 내지 6과 같을 수 있다.
[수학식 3]
Figure 112020005024568-pat00011
[수학식 4]
Figure 112020005024568-pat00012
[수학식 5]
Figure 112020005024568-pat00013
[수학식 6]
Figure 112020005024568-pat00014
다음으로, 곡선 아래의 면적(AUC)는 아래의 수학식 7과 같이 산출할 수 있다.
[수학식 7]
Figure 112020005024568-pat00015
여기서, t는 시간을 나타내며 s는 신호의 값을 나타낸다. 또한, 신호의 최소 진폭과 최대 진폭의 상대적 위치와 신호의 최대 진폭과 최소 진폭 사이의 시간차는 피부 전기 활동(EDA) 기록에서 파생된 다양한 특징을 나타낼 수 있다.
한편, 광용적맥파(PPG) 신호는 0.8에서 60 Hz까지 대역 통과 필터링될 수 있다. 수집된 광용적맥파(PPG) 신호는 도 4에 도시된 바와 같은 피크와 간격으로 표시될 수 있다. 인터 비트 간격(
Figure 112021060878286-pat00053
)은 인접한 비트 사이의 개별 간격을 식별하여 기록된 광용적맥파(PPG) 신호로부터 추정될 수 있다.
다시 말해, 데이터 처리부(230)는 생리적 신호 데이터가 광용적맥파(PPG) 정보인 경우, 광용적맥파 정보를 인접한 비트 사이의 개별 간격을 식별하여 아래의 수학식 8과 같이 인터 비트 간격(
Figure 112021060878286-pat00054
)을 추정하고, 수학식 9 및 10을 이용하여 평균 인터 비트 간격(
Figure 112021060878286-pat00055
)과 평균 심박수(
Figure 112021060878286-pat00056
)를 계산한다.
[수학식 8]
Figure 112020005024568-pat00016
[수학식 9]
Figure 112020005024568-pat00017
[수학식 10]
Figure 112020005024568-pat00018
여기서, t는 N 비트 시간이고 N은 전체 심장 박동이다.
참여도 평가부(250)는 샘플링 처리된 생리적 신호 데이터에 기초하여 재활치료를 수행하는 환자의 참여도를 평가한다. 참여도 평가부(250)는 샘플링 처리된 생리적 신호 데이터로부터 유도된 특징에 통상의 기계 학습 알고리즘(예를 들어, CNN 학습 알고리즘)을 적용하여 재활치료를 수행하는 환자의 참여도를 평가할 수 있다. 다시 말해, 참여도 평가부(250)는 신경망이 적용된 통상의 기계 학습 알고리즘을 광용적맥파(PPG), 피부 전기 활동(EDA), 피부 온도(ST) 정보 등과 같은 자율신경 응답기록 정보로부터 유도된 특징을 적용하여 재활치료 환자 중에서 재활치료를 수행하는 환자의 참여도를 평가할 수 있다. 여기서, CNN 학습 알고리즘은 널리 공지되었기에, 이에 대한 자세한 설명은 생략된다.
도 5는 본 발명의 일 실시예에 따른 재활치료 참여도 평가 방법의 개략적인 흐름도이다.
도 5를 참조하면, 재활치료 참여도 평가 장치(200)는 VR 컨텐츠를 이용하여 재활훈련을 수행하는 환자가 착용한 웨어러블 장치로부터, 재활훈련을 수행함에 따라 발생하는 환자의 생리적 신호 데이터를 수집한다(S510). 이때, 생리적 신호 데이터는, 환자가 재활훈련을 수행함에 따라 발생하는 자율신경 응답기록 정보일 수 있으며, 광용적맥파(PPG), 피부 전기 활동(EDA), 피부 온도(ST) 정보 중 적어도 어느 하나를 포함할 수 있다.
다음으로, 재활치료 참여도 평가 장치(200)는 수집된 환자의 생리적 신호 데이터를 샘플링 처리한다(S520). 재활치료 참여도 평가 장치(200)는 생리적 신호 데이터가 피부 전기 활동(EDA) 정보인 경우, 상기 피부 전기 활동(EDA) 정보를 cvxEDA 알고리즘을 사용하여 분해하고, Z 점수 변환을 적용하여 정규화하며, 상술한 수학식 2를 사용해 분해된 성분으로부터 부가적인 통계적 특징을 도출할 수 있다. 또한, 재활치료 참여도 평가 장치(200)는 생리적 신호 데이터가 광용적맥파(PPG) 정보인 경우, 상기 광용적맥파 정보를 인접한 비트 사이의 개별 간격을 식별하여 인터 비트 간격(
Figure 112021060878286-pat00057
)을 추정하고, 상술한 수학식 8 내지 10을 이용하여 평균 인터 비트 간격(
Figure 112021060878286-pat00058
)과 평균 심박수(
Figure 112021060878286-pat00059
)를 계산할 수 있다.
다음으로, 재활치료 참여도 평가 장치(200)는 샘플링 처리된 생리적 신호 데이터에 기초하여 재활치료를 수행하는 환자의 참여도를 평가한다(S530). 재활치료 참여도 평가 장치(200)는 샘플링 처리된 생리적 신호 데이터로부터 유도된 특징에 통상의 기계 학습 알고리즘(예를 들어, CNN 학습 알고리즘)을 적용하여 재활치료를 수행하는 환자의 참여도를 평가할 수 있다.
상술한 바와 같은 본 발명에 따르면, 재활치료에 참여하는 환자의 참여도를 보다 객관적으로 판단할 수 있어, 참여도에 따른 재활치료의 방법 등을 선택적으로 조정하여 재활치료의 효율을 높일 수 있는 효과가 있다.
본 발명의 실시예에 따른 방법들은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는, 본 발명을 위한 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 아니 된다. 또한, 본 명세서의 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서의 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.
도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 앱 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니다.
100 : 웨어러블 디바이스
200 : 재활치료 참여도 평가 장치
210 : 생리적 신호 데이터 수집부
230 : 데이터 처리부
250 : 참여도 평가부

Claims (10)

  1. VR 컨텐츠를 이용하여 재활훈련을 수행하는 환자가 착용한 웨어러블 장치로부터, 상기 재활훈련을 수행함에 따라 발생하는 상기 환자의 생리적 신호 데이터를 수집하는 단계;
    상기 수집된 환자의 생리적 신호 데이터를 샘플링 처리하는 단계; 및
    상기 샘플링 처리된 생리적 신호 데이터에 기초하여 재활치료를 수행하는 환자의 참여도를 평가하는 단계;를 포함하며,
    상기 생리적 신호 데이터는,
    상기 환자가 재활훈련을 수행함에 따라 발생하는 자율신경 응답기록 정보일 수 있으며, 광용적맥파(Photoplethysmograph, PPG), 피부 전기 활동(electrodermal activity, EDA), 피부 온도(Skin Remperature, ST) 정보 중 적어도 어느 하나를 포함하며,
    상기 수집된 환자의 생리적 신호 데이터를 샘플링 처리하는 단계는,
    상기 생리적 신호 데이터가 피부 전기 활동(EDA) 정보인 경우, 상기 피부 전기 활동(EDA) 정보를 cvxEDA 알고리즘을 사용하여 성분을 분해하고, Z 점수 변환을 적용하여 정규화하며, 아래의 수학식을 이용하여 상기 분해된 성분으로부터 부가적인 통계적 특징(
    Figure 112021060878286-pat00060
    )을 도출하며,
    Figure 112021060878286-pat00061

    (여기서, μx는 평균이고 σx는 x의 표준 편차임)
    상기 생리적 신호 데이터가 광용적맥파(PPG) 정보인 경우, 상기 광용적맥파 정보를 인접한 비트 사이의 개별 간격을 식별하여 아래의 수학식 1을 이용하여 인터 비트 간격(
    Figure 112021060878286-pat00062
    )을 추정하고, 아래의 수학식 2 및 3을 이용하여 평균 인터 비트 간격(
    Figure 112021060878286-pat00063
    )과 평균 심박수(
    Figure 112021060878286-pat00064
    )를 계산하며,
    [수학식 1]
    Figure 112021060878286-pat00065

    [수학식 2]
    Figure 112021060878286-pat00066

    [수학식 3]
    Figure 112021060878286-pat00067

    (여기서, t는 N 비트 시간이고 N은 전체 심장 박동임)
    상기 샘플링 처리된 생리적 신호 데이터에 기초하여 재활치료를 수행하는 환자의 참여도를 평가하는 단계는,
    상기 샘플링 처리된 생리적 신호 데이터로부터 유도된 특징에 신경망이 적용된 CNN(Convolutional Neural Network) 학습 알고리즘을 적용하여 재활치료 환자 중에서 재활치료를 수행하는 상기 환자의 참여도를 평가하는 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. VR 컨텐츠를 이용하여 재활훈련을 수행하는 환자가 착용한 웨어러블 장치로부터, 상기 재활훈련을 수행함에 따라 발생하는 상기 환자의 생리적 신호 데이터를 수집하는 생리적 신호 데이터 수집부;
    상기 수집된 환자의 생리적 신호 데이터를 샘플링 처리하는 데이터 처리부; 및
    상기 샘플링 처리된 생리적 신호 데이터에 기초하여 재활치료를 수행하는 상기 환자의 참여도를 평가하는 참여도 평가부;를 포함하며,
    상기 생리적 신호 데이터는,
    상기 환자가 재활훈련을 수행함에 따라 발생하는 자율신경 응답기록 정보일 수 있으며, 광용적맥파(Photoplethysmograph, PPG), 피부 전기 활동(electrodermal activity, EDA), 피부 온도(Skin Remperature, ST) 정보 중 적어도 어느 하나를 포함하며,
    상기 데이터 처리부는,
    상기 생리적 신호 데이터가 피부 전기 활동(EDA) 정보인 경우, 상기 피부 전기 활동(EDA) 정보를 cvxEDA 알고리즘을 사용하여 분해하고, Z 점수 변환을 적용하여 정규화하며, 아래의 수학식을 이용하여 상기 분해된 성분으로부터 부가적인 통계적 특징(
    Figure 112021060878286-pat00068
    )을 도출하며,
    Figure 112021060878286-pat00069

    (여기서, μx는 평균이고 σx는 x의 표준 편차임)
    상기 생리적 신호 데이터가 광용적맥파(PPG) 정보인 경우, 상기 광용적맥파 정보를 인접한 비트 사이의 개별 간격을 식별하여 아래의 수학식 1과 같이, 인터 비트 간격(
    Figure 112021060878286-pat00070
    )을 추정하고, 아래의 수학식 2 및 3을 을 이용하여 평균 인터 비트 간격(
    Figure 112021060878286-pat00071
    )과 평균 심박수(
    Figure 112021060878286-pat00072
    )를 계산하며,
    [수학식 1]
    Figure 112021060878286-pat00073

    [수학식 2]
    Figure 112021060878286-pat00074

    [수학식 3]
    Figure 112021060878286-pat00075

    (여기서, t는 N 비트 시간이고 N은 전체 심장 박동임)
    상기 참여도 평가부는.
    상기 샘플링 처리된 생리적 신호 데이터로부터 유도된 특징에 신경망이 적용된 CNN(Convolutional Neural Network) 학습 알고리즘을 적용하여 재활치료 환자 중에서 재활치료를 수행하는 환자의 참여도를 평가하는 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치.

  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020200005844A 2020-01-16 2020-01-16 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치 및 방법 KR102355127B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200005844A KR102355127B1 (ko) 2020-01-16 2020-01-16 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200005844A KR102355127B1 (ko) 2020-01-16 2020-01-16 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210092446A KR20210092446A (ko) 2021-07-26
KR102355127B1 true KR102355127B1 (ko) 2022-01-25

Family

ID=77124880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200005844A KR102355127B1 (ko) 2020-01-16 2020-01-16 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102355127B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102419731B1 (ko) 2022-02-18 2022-07-12 신화건설㈜ 이동식 동작감응형 디지털 치료 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114403877A (zh) * 2022-01-21 2022-04-29 中山大学 基于二维连续模型的多生理信号情绪定量评估方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102050917B1 (ko) * 2019-06-03 2019-12-02 (주)인스파이어팩토리 가상현실을 활용한 치매 재활 훈련 시스템 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101429901B1 (ko) * 2012-12-06 2014-08-13 주식회사 솔미테크 감성 측정 장치 및 방법
KR101911179B1 (ko) 2017-06-07 2018-10-23 건양대학교산학협력단 가상현실과 근전도 피드백 기반 재활훈련시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102050917B1 (ko) * 2019-06-03 2019-12-02 (주)인스파이어팩토리 가상현실을 활용한 치매 재활 훈련 시스템 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102419731B1 (ko) 2022-02-18 2022-07-12 신화건설㈜ 이동식 동작감응형 디지털 치료 장치

Also Published As

Publication number Publication date
KR20210092446A (ko) 2021-07-26

Similar Documents

Publication Publication Date Title
Biswas et al. Heart rate estimation from wrist-worn photoplethysmography: A review
CN112955973B (zh) 基于深度神经网络来辨别精神行为属性的电子设备
US10278647B2 (en) Method and apparatus for removing motion artifacts from biomedical signals
Sun et al. Activity-aware mental stress detection using physiological sensors
Masood et al. Modeling mental stress using a deep learning framework
Novak et al. Psychophysiological measurements in a biocooperative feedback loop for upper extremity rehabilitation
US9107586B2 (en) Fitness monitoring
TW201918222A (zh) 事件檢測方法及設備、房顫檢測方法和非暫時性儲存介質
Iqbal et al. A sensitivity analysis of biophysiological responses of stress for wearable sensors in connected health
Prashant et al. Brain computer interface: A review
Lim et al. Adaptive template matching of photoplethysmogram pulses to detect motion artefact
KR102355127B1 (ko) 생리적 신호를 활용한 기계학습 기반의 재활치료 참여도 평가 장치 및 방법
Rhea et al. Patterned variability in gait behavior: How can it be measured and what does it mean
Sihem et al. A body area network for ubiquitous driver stress monitoring based on ECG signal
Mesin A neural algorithm for the non-uniform and adaptive sampling of biomedical data
Alamudun et al. Removal of subject-dependent and activity-dependent variation in physiological measures of stress
Aydemir et al. Sequential forward mother wavelet selection method for mental workload assessment on N-back task using photoplethysmography signals
Yang et al. Intelligent wearable systems: Opportunities and challenges in health and sports
Farrokhi et al. Human Activity Recognition Based on Wireless Electrocardiogram and Inertial Sensors
Prabakaran et al. Review on the wearable health-care monitoring system with robust motion artifacts reduction techniques
Candelieri et al. Automated rehabilitation exercises assessment in wearable sensor data streams
Belle et al. Frustration detection with electrocardiograph signal using wavelet transform
Rosli et al. Electrocardiographic (ECG) and Electromyographic (EMG) signals fusion for physiological device in rehab application
Salem et al. Nocturnal epileptic seizures detection using inertial and muscular sensors
KR20170004548A (ko) 동공 크기 변화율을 이용한 심장 시간 영역의 정보 추출 방법 및 그 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right