KR20220149967A - 비접촉 맥파 신호 복원 방법 및 장치 - Google Patents
비접촉 맥파 신호 복원 방법 및 장치 Download PDFInfo
- Publication number
- KR20220149967A KR20220149967A KR1020210057046A KR20210057046A KR20220149967A KR 20220149967 A KR20220149967 A KR 20220149967A KR 1020210057046 A KR1020210057046 A KR 1020210057046A KR 20210057046 A KR20210057046 A KR 20210057046A KR 20220149967 A KR20220149967 A KR 20220149967A
- Authority
- KR
- South Korea
- Prior art keywords
- pulse wave
- wave signal
- contact pulse
- contact
- learning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013186 photoplethysmography Methods 0.000 title description 8
- 238000013135 deep learning Methods 0.000 claims abstract description 14
- 238000013136 deep learning model Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 230000033228 biological regulation Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 abstract description 10
- IGODGTDUQSMDQU-UHFFFAOYSA-N 2-amino-2-cyclopropyl-2-(4-phosphonophenyl)acetic acid Chemical compound C=1C=C(P(O)(O)=O)C=CC=1C(N)(C(O)=O)C1CC1 IGODGTDUQSMDQU-UHFFFAOYSA-N 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 206010020772 Hypertension Diseases 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 206010003210 Arteriosclerosis Diseases 0.000 description 3
- 230000032683 aging Effects 0.000 description 3
- 208000011775 arteriosclerosis disease Diseases 0.000 description 3
- 238000009610 ballistocardiography Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000009532 heart rate measurement Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 210000001715 carotid artery Anatomy 0.000 description 1
- 238000002565 electrocardiography Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000030287 facial tremor Diseases 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000037380 skin damage Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
- 230000024883 vasodilation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1102—Ballistocardiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Cardiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
본 발명은 맥파 검출 방법에 관한 것으로, 보다 상세하게는 딥러닝 기술을 사용하여 비접촉 맥파 신호를 접촉 맥파 신호로 복원하는 방법 및 장치에 관한 것이다. 본 발명의 일 실시 예에 따르면, 비접촉 맥파 신호 복원 방법 및 장치는 심박 신호를 실시간으로 얻을 수 있다. 또한, 비접촉 맥파 신호 복원 방법 및 장치는 비접촉 신호 복원 전과 비교하여 보다 정확한 심박 신호를 측정할 수 있다. 그리고, 비접촉 맥파 신호 복원 방법 및 장치는 맥파 신호의 형태가 비접촉 신호 복원 전보다 명확하게 복원되어 맥파 신호의 형태학적 의미를 분석할 수 있다.
Description
본 발명은 맥파 검출 방법에 관한 것으로, 보다 상세하게는 딥러닝 기술을 사용하여 비접촉 맥파 신호를 접촉 맥파 신호로 복원하는 방법 및 장치에 관한 것이다.
심박수는 헬스케어 및 감성 서비스에 활용이 가능한 주요 생체 신호이다. 심박수를 측정하는 장치는 대부분 심전도(Electrocardiography, ECG), 광용적 맥파(Photoplethysmography, PPG), 심탄도(Ballistocardiography, BCG)와 같은 피부 접촉 센서를 기반으로 한다. 그러나 접촉 센서는 피험자의 심리적 부담, 피부 손상과 같은 측정 부담으로 인해 편리하지는 않다.
최근에는 카메라로 얼굴을 촬영하여 비접촉 방식으로 심박수를 측정할 수 있는 몇몇 방법들이 제안되었다.
지금까지의 카메라 기반 심박 측정 방법에는 광용적 맥파(PPG), 심탄도(BCG)를 이용하는 방법이 있다. 광용적 맥파(PPG)는 심장 박동에 의해 변동되는 혈류량을 얼굴 색상의 변화로부터 측정한다. 심탄도(BCG)는 경동맥을 통해 전달되는 심장 박동의 탄도를 미세한 얼굴 떨림으로부터 측정한다.
종래의 심박 측정 방법은 호의 맥동 성분이 접촉 기반 방법보다 훨씬 작고, 그 형태가 흐려 단순히 심박수 정보만을 얻을 수 있어, 맥파(PPG) 신호의 형태 정보를 얻을 수 없는 문제점이 있다.
본 발명은 이미지로 얼굴 영상을 통하여 비접촉 맥파 신호를 실시간으로 얻은 후, 해당 신호를 접촉 맥파 신호 수준으로 복원하여 맥파 신호의 심박수만 아니라 형태학적인 분석을 수행하는 비접촉 맥파 신호 복원 방법 및 장치를 제공한다.
본 발명의 일 측면에 따르면, 비접촉 맥파 신호 복원 방법 및 장치를 제공한다.
본 발명의 일 실시예에 따른 비접촉 맥파 신호 복원 장치는 접촉 맥파 신호 및 비접촉 맥파 신호를 피험자로부터 수집하는 입력부, 수집된 접촉 맥파 신호 및 비접촉 맥파 신호를 전처리하는 전처리부, 전처리된 접촉 맥파 신호 및 비접촉 맥파 신호를 SVR과 딥러닝에 기초하여 학습 모델을 생성하는 학습부 및 생성된 학습 모델에 기초하여 비접촉 맥파 신호를 접촉 맥파 신호에 대응하여 복원하는 출력부를 포함할 수 있다.
본 발명의 일 측면에 따르면, 비접촉 맥파 신호 복원 방법 및 이를 실행하는 컴퓨터 프로그램을 제공한다.
본 발명의 일 실시 예에 따른 비접촉 맥파 신호 복원 방법은 접촉 맥파 신호 및 비접촉 맥파 신호를 피험자로부터 수집하는 단계, 수집된 접촉 맥파 신호 및 비접촉 맥파 신호를 전처리하는 단계, 전처리된 접촉 맥파 신호 및 비접촉 맥파 신호를 SVR과 딥러닝에 기초하여 학습 모델을 생성하는 단계 및 생성된 학습 모델에 기초하여 비접촉 맥파 신호를 접촉 맥파 신호에 대응하여 복원하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 비접촉 맥파 신호 복원 방법 및 장치는 심박 신호를 실시간으로 얻을 수 있다.
또한, 비접촉 맥파 신호 복원 방법 및 장치는 비접촉 신호 복원 전과 비교하여 보다 정확한 심박 신호를 측정할 수 있다.
그리고, 비접촉 맥파 신호 복원 방법 및 장치는 맥파 신호의 형태가 비접촉 신호 복원 전보다 명확하게 복원되어 맥파 신호의 형태학적 의미를 분석할 수 있다.
도 1 내지 도2는 본 발명의 일 실시 예에 따른 비접촉 맥파 신호 복원 방법을 설명하기 위하 도면들이다.
도 3은 본 발명의 일 실시예에 따른 접촉 맥파 신호의 형태학적 정보를 설명하기 위한 도면이다.
도4는 본 발명의 일 실시예에 따른 비접촉 맥파 신호의 복원 결과를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 비접촉 맥파 신호 복원 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 접촉 맥파 신호의 형태학적 정보를 설명하기 위한 도면이다.
도4는 본 발명의 일 실시예에 따른 비접촉 맥파 신호의 복원 결과를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 비접촉 맥파 신호 복원 장치를 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1 내지 도2는 본 발명의 일 실시 예에 따른 비접촉 맥파 신호 복원 방법을 설명하기 위하 도면들이다.
도 1을 참조하면, 비접촉 맥파 신호 복원 장치는 피험자로부터 비접촉식으로 측정된 맥파(rppg: Remote Photoplethysmography) 및 접촉식으로 측정된 맥파(cppg: contact Photoplethysmography)에 딥러닝을 활용하는 비접촉 맥파 신호 복원 방법에 따라 비접촉 맥파 신호(rppg)로부터 접촉 맥파 신호(cppg)를 복원할 수 있다.
이때, 접촉 맥파 신호는 심장 박동으로 생성된 압력에 의해 혈관내에서 생긴 혈액의 흐름 즉, 혈류량의 변화로 인한 피부 광 흡수 변화를 접촉식으로 측정한 신호이다.
구체적으로, 비접촉 맥파 신호 복원 방법의 S10 단계에서 비접촉 맥파 신호 복원 장치는 생체 인식 장치가 동시에 측정한 접촉 맥파 신호 및 비접촉 맥파 신호를 수신할 수 있다.
S20 단계에서 비접촉 맥파 신호 복원 장치는 수집된 접촉 맥파 신호에서 노이즈를 제거할 수 있다.
실시 예에 따라, 비접촉 맥파 신호 복원 장치는 복수의 사람이 제1 기간 동안 측정한 접촉 맥파 신호 및 비접촉 맥파 신호를 수신하는 경우, 제1 기간에 해당하는 데이터를 모두 사용하지 않고 움직임 노이즈가 없는 부분만 사용하도록 노이즈 제거를 수행할 수 있다. 이때, 접촉 맥파 신호에 대한 고주파 노이즈 처리에는 FIR(finite impulse response) 필터가 사용될 수 있다.
S30단계에서 비접촉 맥파 신호 복원 장치는 노이즈 처리된 비접촉 맥파 신호와 접촉 맥파 신호를 단일 주기 단위로 분리할 수 있다.
S40단계에서 비접촉 맥파 신호 복원 장치는 단일 주기 단위로 분리된 비접촉 맥파 신호와 접촉 맥파 신호를 0~1사이로 정규화 할 수 있다. 이러한 정규화된 비접촉 맥파 신호와 접촉 맥파 신호의 주기는 한 쌍으로 대응된다. 이때, 정규화는 최소-최대(Min-Max) 정규화가 사용될 수 있다.
S50 단계에서 비접촉 맥파 신호 복원 장치는 정규화된 비접촉 맥파 신호와 접촉 맥파 신호의 단일 주기 쌍에서 시간에 의한 등간격으로 특징점을 추출할 수 있다.
실시예에 따라, 비접촉 맥파 신호 복원 장치가 추출하는 특징점의 수는 30개 일 수 있다.
S60 단계에서 비접촉 맥파 신호 복원 장치는 SVR 학습을 수행하고, 딥러닝 학습을 수행한다. 구체적으로, 비접촉 맥파 신호 복원 장치는 추출된 30개의 특징점 쌍을 입력으로 하여 SVR 학습을 수행 및 딥러닝 학습을 수행할 수 있다. 이때, 비접촉 맥파 신호 복원 장치는 전처리 과정을 통해 비접촉 맥파 신호와 접촉 맥파 신호에 기초하여 학습 데이터를 생성할 수 있다. 따라서, 비접촉 맥파 신호 복원 장치는 이를 단일 주기 데이터에서 추출한 30개의 대응 특징점을 추출하여 모델의 학습 데이터로 사용한다.
도 2에 도시된 바와 같이, 추출된 30개의 특징점 쌍은 입력데이터로 비접촉 맥파 신호, 타깃 데이터로 접촉 맥파 신호를 포함한다. 비접촉 맥파 신호 복원 장치는 SVR과 3개 층의 딥러닝 모델에 학습을 수행할 수 있다(S61, S62, S63, S64).
구체적으로 학습에 사용되는 총 데이터는 4551쌍이이고, SVR 학습을 수행에는 3640쌍의 학습용 데이터(train data)와 911쌍의 결과용 데이터(test data)가 사용되고, 딥러닝 학습에는 2912쌍의 학습용 데이터(train data), 911쌍의 결과용 데이터(test data), 728쌍의 검증용 데이터(validation data)가 사용되었다.
비접촉 맥파 신호 복원 장치에 사용되는 SVR의 파라미터는 오차 허용 범위에 대한 파라미터 코스트(cost)는 50이고, 몇 차수로 분류할지에 대한 파라미터 디그리(degree)는 4이고, 사용한 커널 함수는 폴리(poly)가 사용될 수 있다.
비접촉 맥파 신호 복원 장치에 사용되는 딥러닝은 3개의 층(Dense)으로 구성되며 각 층의 유닛(unit) 개수는 16개일 수 있다. 가중치 초기화에는 He 정규분포를 사용할 수 있고, 활성화 함수에는 기존 ReLU(Rectified Linear Unit)의 모든 장점을 포함하면서 Dying ReLU문제를 해결한 ELU(Exponential Linear Units)를 사용할 수 있고, L2가중치 규제를 추가해 과대 적합을 방지할 수 있다.
따라서, 비접촉 맥파 신호 복원 장치는 SVR과 간단한 3개 층의 딥러닝 모델을 거쳐 30개의 출력 데이터를 생성할 수 있다.
다시 도 1을 참조하면, S70 단계에서 비접촉 맥파 신호 복원 장치는 생성된 학습 모델에 기초하여 비접촉 맥파 신호를 접촉 맥파 신호와 근접한 형태를 가지도록 복원할 수 있다. 이를 통해, 한다면, 비접촉 맥파 신호를 통해 심박수 정보뿐만 아니라 의학적으로 의미 있는 형태학적 정보를 얻을 수 있을 것이다.
도 3은 본 발명의 일 실시예에 따른 접촉 맥파 신호의 형태학적 정보를 설명하기 위한 도면이다.
도 3을 참조하면, 맥파 신호(ppg)의 형태에는 노화, 고혈압, 동맥경화증에 대한 형태학적 정보를 포함한다. 즉, 비접촉 맥파 신호 복원 장치는 접촉 맥파 신호(cppg) 및 비접촉 맥파 신호(rppg)을 분석하여 형태학적 정보를 얻을 수 있다.
도 3의 도시된 도면과 같이, 맥파 신호(ppg)의 데이터에서 SX time 연장, P와 D사이의 시간 감소, C와 D의 높이 증가, D 손실 등에 기초하여 노화/고혈압/동맥경화증을 판단할 수 있다.
또한, 맥파 신호(ppg)의 데이터에서 알코올 투여 후 C 높이이 감소를 관찰해 C 높이가 혈관 확장에 대응하는 것을 판단할 수 있다. 맥파 신호(ppg)의 데이터에서 D는 일반적으로 건강한 동맥의 탄력을 가진 사람에 대응하는 것을 판단할 수 있다. 맥파 신호(ppg)의 데이터에서 파형의 감쇠는 혈관 경직도와 관련 있다는 것을 알 수 있다. 맥파 신호(ppg)의 데이터에서
혈관 질환, 고혈압환자는 SX time이 연장되는 것을 판단할 수 있다.
따라서, 비접촉 맥파 신호 복원 장치는 비접촉 맥파 신호(rppg) 를 접촉 맥파 신호(cppg) 와 같이 복원하여 심박수 정보뿐만 아니라 형태학적 정보를 얻을 수 있다. 이때, 형태학적 정보는 맥파 신호의 형태에 포함된 노화, 고혈압, 동맥경화증에 대한 정보일 수 있다.
도 4는 본 발명의 일 실시예에 따른 비접촉 맥파 신호의 복원 결과를 설명하기 위한 도면이다.
도 4를 참조하면, 제1 신호(410)는 입력된 비접촉 맥파 신호(rppg)이고, 제2 신호(420)는 입력된 접촉 맥파 신호(cppg)이고, 제3 그래프(430)는 SVR과 딥러닝에 따른 복원 결과를 나타낸다.
본 발명은 접촉 맥파 신호(cppg)에 비해 형태 흐리는 비접촉 맥파 신호(rppg)를 위와 같은 SVR 및 딥러닝 학습에 의해 처리함으로써 접촉 맥파 신호(cppg)에 인접한 형태를 가지는 복원 결과를 수집할 수 있다.
비접촉 맥파 신호 복원 장치는 제2신호(420)와 제3 신호(430)의 유사도 검증을 위해 Cosine similarity와 Pearson correlation coefficient을 사용하였다.
여기서, Cosine similarity는 두 벡터 간의 코사인 각도를 이용해 구할 수 있는 두 벡터의 유사도로, 벡터의 크기가 아닌 방향의 유사도를 판단한 값이다. 그리고, Pearson correlation coefficient는 두 변수 X 와 Y 간의 선형 상관 관계를 계량화한 수치로 두 변수의 공분산을 각각의 표준편차 곱으로 나누어 표준화한 값이다.
비접촉 맥파 신호 복원 장치가 신호의 유사도 평가를 위해, Cosine similarity와 Pearson correlation coefficient을 사용한 결과는 아래 표 1과 같다.
| 유사도 평가 지표 | 복원 전 | 복원 후 |
| Cosine similarity | 약 89.4% | 약 94.5% |
| Pearson correlation coefficient | 약 69.5% | 약 84.8% |
그 결과 Cosine similarity는 복원 전은 약 89.4%이고, 복원 후는 약 94.5%이다. Pearson correlation coefficient는 복원 전은 약 69.5%이고, 복원 후는 약 84.8%이다.
또한, 비접촉 맥파 신호 복원 장치가 학습에 사용하지 않았던 새로운 비접촉 맥파 신호(rppg)를 학습된 모델에 넣어 복원하여 성능을 평가한 결과는 아래 표2와 같다.
| 유사도 평가 지표 | 복원 전 | 복원 후 |
| Cosine similarity | 약 87.9% | 약 95.6% |
| Pearson correlation coefficient | 약 63.7% | 약 88% |
그 결과 Cosine similarity는 복원 전은 약 87.9%이고, 복원 후는 약 95.6%이다. Pearson correlation coefficient는 복원 전은 약 63.7%이고, 복원 후는 약 88%이다.
위의 표 1내지 2를 참조하면, 본 발명에 따른 비접촉 맥파 신호 복원 방법에 의해 복원된 PPG 신호(430)는 접촉 맥파 신호(420)와 비슷한 형태를 가지도록 복원된 것을 알 수 있다.
도 5는 본 발명의 일 실시 예에 따른 비접촉 맥파 신호 복원 장치를 설명하기 위한 도면이다.
도 5를 참조하면, 비접촉 맥파 신호 복원 장치는 입력부(100), 전처리부(200), 학습부(300) 및 출력부(400)를 포함할 수 있다.
입력부(100)는 접촉 맥파 신호 및 비접촉 맥파 신호를 피험자로부터 수집할 수 있다.
입력부(100)는 복수 개의 생체 인식 장치로부터 접촉 맥파 신호 및 비접촉 맥파 신호를 수신할 수 있다.
복수개의 생체 인식 장치는 제1 인증 장치와 제2인증 장치를 포함할 수 있다. 각 생체 인증 장치는 각각 다른 생체 정보를 인식하는 센서를 포함하여 다중으로 생체 인증이 가능하다.
제1인증 장치는 접촉 생체 인식 센서를 포함하는 장치이고, 제2 인증 장치는 카메라를 포함하여 사용자를 촬영할 수 있는 장치이다. 실시예에 따라, 제1인증 장치는 손목밴드 또는 시계에 부착된 착용형 생체 인식 센서로 심박을 인식할 수 있는 장치일 수 있고, 제2인증 장치는 카메라로 촬영을 통해 사용자의 심장 박동에 의해 변동되는 혈류량을 얼굴 색상의 변화로부터 측정 장치일 수 있다.
전처리부(200)는 수집된 접촉 맥파 신호 및 비접촉 맥파 신호를 전처리할 수 있다.
전처리부(200)는 수집된 접촉 맥파 신호에서 노이즈를 제거할 수 있다.
전처리부(200)는 노이즈 처리된 비접촉 맥파 신호와 접촉 맥파 신호를 단일 주기 단위로 분리할 수 있다.
전처리부(200)는 단일 주기 단위로 분리된 비접촉 맥파 신호와 접촉 맥파 신호를 0~1사이로 최소-최대(Min-Max)정규화 할 수 있다.
전처리부(200)는 상기 단일 주기 쌍에서 등간격으로 30개의 대응 추출점을 추출할 수 있다.
학습부(300)는 전처리된 접촉 맥파 신호 및 비접촉 맥파 신호를 SVR과 딥러닝에 기초하여 학습 모델을 생성할 수 있다.
학습부(300)는 전처리부(200)에서 추출된 특징점 쌍을 입력으로 하는 SVR 학습을 수행할 수 있다.
실시예에 따라, SVR 학습에서 파라미터 cost는 50이고, degree는 4이고, 커널 함수는 poly로 설정될 수 있다.
학습부(300)는 SVR 학습의 출력을 입력으로 하는 3개의 층으로 구성된 딥러닝 모델을 통한 학습을 수행할 수 있다.
실시예에 따라, 딥러닝 모델은3개 층 각 층의 유닛(unit) 개수는 16개이고, 가중치 초기화에 He 정규분포를 사용하고, 활성화 함수에 ELU를 사용하고, 과대 적합을 방지하기 위해 L2가중치 규제를 사용할 수 있다.
출력부(400)는 학습부에서 생성된 학습 모델에 기초하여 비접촉 맥파 신호를 접촉 맥파 신호에 대응하여 복원할 수 있다.
상술한 비접촉 맥파 신호 복원 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 입력부
200: 전처리부
300: 학습부
400: 출력부
200: 전처리부
300: 학습부
400: 출력부
Claims (9)
- 접촉 맥파 신호 및 비접촉 맥파 신호를 피험자로부터 수집하는 입력부;
수집된 접촉 맥파 신호 및 비접촉 맥파 신호를 전처리하는 전처리부;
전처리된 접촉 맥파 신호 및 비접촉 맥파 신호를 SVR과 딥러닝에 기초하여 학습 모델을 생성하는 학습부; 및
생성된 학습 모델에 기초하여 비접촉 맥파 신호를 접촉 맥파 신호에 대응하여 복원하는 출력부를 포함하는
비접촉 맥파 신호 복원 장치.
- 제1항에 있어서,
상기 학습부는
추출된 특징점 쌍을 입력으로 하는 SVR 학습을 수행하고,
SVR 학습의 출력을 입력으로 하는 3개의 층으로 구성된 딥러닝 모델을 통한 학습을 수행하는
비접촉 맥파 신호 복원 장치.
- 제2 항에 있어서,
상기 SVR 학습은
파라미터 cost는 50이고, degree는 4이고, 커널 함수는 poly인 것을 특징으로 하는
비접촉 맥파 신호 복원 장치.
- 제2항에 있어서,
상기 딥러닝 모델은
각 층의 유닛 개수는 16개이고,
가중치 초기화에 He 정규분포를 사용하고,
활성화 함수에 ELU를 사용하고,
과대 적합을 방지하기 위해 L2가중치 규제를 사용하는 것을 특징으로 하는
비접촉 맥파 신호 복원 장치.
- 접촉 맥파 신호 및 비접촉 맥파 신호를 피험자로부터 수집하는 단계;
수집된 접촉 맥파 신호 및 비접촉 맥파 신호를 전처리하는 단계;
전처리된 접촉 맥파 신호 및 비접촉 맥파 신호를 SVR과 딥러닝에 기초하여 학습 모델을 생성하는 단계; 및
생성된 학습 모델에 기초하여 비접촉 맥파 신호를 접촉 맥파 신호에 대응하여 복원하는 단계를 포함하는
비접촉 맥파 신호 복원 방법.
- 제5항에 있어서,
상기 전처리된 접촉 맥파 신호 및 비접촉 맥파 신호를 SVR과 딥러닝에 기초하여 학습 모델을 생성하는 단계는
추출된 특징점 쌍을 입력으로 하는 SVR 학습을 수행하는 단계; 및
3개의 층으로 구성된 딥러닝 모델을 통한 학습을 수행하는 단계를 포함하는
비접촉 맥파 신호 복원 방법.
- 제6항에 있어서,
상기 SVR 학습을 수행하는 단계는
파라미터 cost는 50이고, degree는 4이고, 커널 함수는 poly인 것을 특징으로 하는
비접촉 맥파 신호 복원 방법.
- 제6항에 있어서,
상기 딥러닝 모델을 통한 학습을 수행하는 단계는
각 층의 유닛 개수는 16개이고,
가중치 초기화에 He 정규분포를 사용하고,
활성화 함수에 ELU를 사용하고,
과대 적합을 방지하기 위해 L2가중치 규제를 사용하는 것을 특징으로 하는
비접촉 맥파 신호 복원 방법.
- 제5 항 내지 제8 항의 비접촉 맥파 신호 복원 방법 중 어느 하나를 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210057046A KR102598219B1 (ko) | 2021-05-03 | 2021-05-03 | 비접촉 맥파 신호 복원 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210057046A KR102598219B1 (ko) | 2021-05-03 | 2021-05-03 | 비접촉 맥파 신호 복원 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220149967A true KR20220149967A (ko) | 2022-11-10 |
| KR102598219B1 KR102598219B1 (ko) | 2023-11-06 |
Family
ID=84101763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210057046A KR102598219B1 (ko) | 2021-05-03 | 2021-05-03 | 비접촉 맥파 신호 복원 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102598219B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102661814B1 (ko) * | 2023-01-30 | 2024-04-30 | 상명대학교산학협력단 | 생체 신호 추정 방법 및 장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101483756B1 (ko) * | 2013-10-18 | 2015-01-16 | 상명대학교서울산학협력단 | 맥파 검출 방법 |
| KR20190141326A (ko) * | 2018-06-14 | 2019-12-24 | 한국과학기술원 | 심층 컨볼루션 신경망을 이용한 심전도 부정맥 분류 방법 및 장치 |
| KR20200122676A (ko) * | 2019-04-18 | 2020-10-28 | 광주과학기술원 | 비 접촉 센서를 이용한 신체 상태 정보 획득 방법 |
| KR102215557B1 (ko) | 2019-12-18 | 2021-02-15 | (주)감성과학연구센터 | 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템 |
-
2021
- 2021-05-03 KR KR1020210057046A patent/KR102598219B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101483756B1 (ko) * | 2013-10-18 | 2015-01-16 | 상명대학교서울산학협력단 | 맥파 검출 방법 |
| KR20190141326A (ko) * | 2018-06-14 | 2019-12-24 | 한국과학기술원 | 심층 컨볼루션 신경망을 이용한 심전도 부정맥 분류 방법 및 장치 |
| KR20200122676A (ko) * | 2019-04-18 | 2020-10-28 | 광주과학기술원 | 비 접촉 센서를 이용한 신체 상태 정보 획득 방법 |
| KR102215557B1 (ko) | 2019-12-18 | 2021-02-15 | (주)감성과학연구센터 | 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102661814B1 (ko) * | 2023-01-30 | 2024-04-30 | 상명대학교산학협력단 | 생체 신호 추정 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102598219B1 (ko) | 2023-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110191675B (zh) | 用于非接触式确定血压的系统和方法 | |
| Kavsaoğlu et al. | A novel feature ranking algorithm for biometric recognition with PPG signals | |
| Li et al. | The obf database: A large face video database for remote physiological signal measurement and atrial fibrillation detection | |
| Roy et al. | Improving photoplethysmographic measurements under motion artifacts using artificial neural network for personal healthcare | |
| Palaniappan et al. | Identifying individuals using ECG beats | |
| US20150126875A1 (en) | Method and system for screening of atrial fibrillation | |
| Luque et al. | End-to-end photopleth YsmographY (PPG) based biometric authentication by using convolutional neural networks | |
| Zokaee et al. | Human identification based on ECG and palmprint | |
| KR102202029B1 (ko) | 순환신경망을 이용한 구간혈압 추정 방법 및 그 방법을 구현하기 위한 구간 혈압 추정 장치 | |
| CN106999062A (zh) | 基于人体微动而提取心脏信息的方法 | |
| Moya-Albor et al. | A non-contact heart rate estimation method using video magnification and neural networks | |
| Kumar et al. | STSR: spectro-temporal super-resolution analysis of a reference signal less photoplethysmogram for heart rate estimation during physical activity | |
| Liu et al. | Detecting pulse wave from unstable facial videos recorded from consumer-level cameras: A disturbance-adaptive orthogonal matching pursuit | |
| Khan et al. | Computer-aided diagnosis system for cardiac disorders using variational mode decomposition and novel cepstral quinary patterns | |
| KR102598219B1 (ko) | 비접촉 맥파 신호 복원 방법 및 장치 | |
| Banerjee et al. | Non-invasive detection of coronary artery disease based on clinical information and cardiovascular signals: A two-stage classification approach | |
| Guo et al. | Ballistocardiogram-based person identification using correlation analysis | |
| CN115003215A (zh) | 根据光学数据进行脉搏传播时间测量的系统和方法 | |
| Arppana et al. | Real time heart beat monitoring using computer vision | |
| Aghakabi et al. | Fusing dorsal hand vein and ECG for personal identification | |
| Kim et al. | Development of person-independent emotion recognition system based on multiple physiological signals | |
| Le et al. | Heart Rate Estimation Based on Facial Image Sequence | |
| Sacramento et al. | A real-time software to the acquisition of heart rate and photoplethysmography signal using two region of interest simultaneously via webcam | |
| de Pinho Ferreira et al. | Ambient light contribution as a reference for motion artefacts reduction in photoplethysmography | |
| Jager | Feature extraction and shape representation of ambulatory electrocardiogram using the karhunen-lòeve transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |