KR102493879B1 - Method for analyzing parameter of photoplethysmography using deep neural network filters - Google Patents
Method for analyzing parameter of photoplethysmography using deep neural network filters Download PDFInfo
- Publication number
- KR102493879B1 KR102493879B1 KR1020200159618A KR20200159618A KR102493879B1 KR 102493879 B1 KR102493879 B1 KR 102493879B1 KR 1020200159618 A KR1020200159618 A KR 1020200159618A KR 20200159618 A KR20200159618 A KR 20200159618A KR 102493879 B1 KR102493879 B1 KR 102493879B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- ppg
- target
- dnn
- filter
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 title description 12
- 238000013186 photoplethysmography Methods 0.000 title description 3
- 238000004458 analytical method Methods 0.000 claims abstract description 80
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000005259 measurement Methods 0.000 claims abstract description 9
- 229910052760 oxygen Inorganic materials 0.000 claims description 27
- 238000009795 derivation Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 abstract description 4
- 230000003287 optical effect Effects 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 206010003119 arrhythmia Diseases 0.000 description 4
- 230000006793 arrhythmia Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 210000005259 peripheral blood Anatomy 0.000 description 1
- 239000011886 peripheral blood Substances 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/024—Measuring pulse rate or heart rate
- A61B5/02416—Measuring pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7239—Details of waveform analysis using differentiation including higher order derivatives
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Signal Processing (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Cardiology (AREA)
- Fuzzy Systems (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
PPG 측정 센서로부터 측정된 PPG 데이터를 수신하는 수신단계; 상기 수신단계에서 수신된 PPG 데이터를 미분한 미분데이터를 생성하는 미분데이터 생성단계; 상기 PPG 데이터 및 이와 대응되어 생성된 미분데이터를 기 설정된 분석구간마다 전처리하여 입력 데이터로 생성하는 신호처리단계; 기 정의된 분석 알고리즘을 통해 다수의 PPG 데이터와 각각의 PPG 데이터에 대응되는 미분데이터 내 목표특이점에 대한 레이블이 저장된 학습 데이터를 학습하면서 최적화된 분석 알고리즘을 이용하여 상기 신호처리단계에서 신호 처리된 임의의 입력 데이터 내 목표특이점을 검출하는 검출단계; 및 상기 검출단계에서 검출된 목표특이점으로부터 파라미터를 도출하는 판단단계; 를 포함하고, 상기 분석 알고리즘은, 입력층(Input layer)와 출력층(Output layer) 사이에 적어도 둘 이상의 은닉층(Hidden layer)로 구성된 DNN(Deep Neural Network) 필터인 것을 특징으로 하는 DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 방법을 제공한다. A receiving step of receiving PPG data measured from a PPG measurement sensor; a differential data generation step of generating differential data obtained by differentiating the PPG data received in the receiving step; a signal processing step of generating input data by pre-processing the PPG data and differential data generated corresponding thereto for each predetermined analysis section; Through a predefined analysis algorithm, while learning a plurality of PPG data and learning data in which a label for a target singularity in differential data corresponding to each PPG data is stored, using an optimized analysis algorithm, the signal is processed in the signal processing step. A detection step of detecting a target singularity within the input data of; and a determination step of deriving a parameter from the target singularity detected in the detection step. Including, wherein the analysis algorithm is a DNN (Deep Neural Network) filter composed of at least two or more hidden layers between an input layer and an output layer Optical using a DNN filter, characterized in that A volume pulse wave (PPG) parameter analysis method is provided.
Description
본 발명은 DNN 필터를 이용한 광용적맥파 파라미터 분석 방법에 관한 것이다. The present invention relates to a method for analyzing photoplethysmogram parameters using a DNN filter.
광용적맥파(Photoplethysmography ; PPG)는 심장박동에 따라 혈관 내의 혈액량의 변화를 빛의 흡수, 반사, 산란을 이용하여 측정하는 신호로서, 심전도(ECG)와 더불어 가장 많이 측정되는 생체신호 중 하나이다. 이러한 광용적맥파는 센싱된 PPG 신호의 파형변동 주기를 모니터링함으로써, 심박수(Herat Rate; HR), 심박수 변화(Heart Rate Variability; HRV), 산소포화도(SpO2) 등의 파라미터를 측정할 수 있다. 이때, 측정된 파라미터들은 부정맥, 혈압변화, 심장질환, 자율신경계 변화 등 다양한 진단에 적용되고 있다.Photoplethysmography (PPG) is a signal that measures the change in blood volume in blood vessels according to heartbeat using light absorption, reflection, and scattering, and is one of the most frequently measured biosignals along with electrocardiogram (ECG). Parameters such as heart rate (HR), heart rate variability (HRV), and oxygen saturation (SpO 2 ) can be measured by monitoring the waveform variation period of the PPG signal sensed in the photoplethysmogram. At this time, the measured parameters are applied to various diagnoses such as arrhythmia, blood pressure change, heart disease, and autonomic nervous system change.
즉, 광용적맥파는 혈관 내 혈액의 흐름 이상 여부에 관한 진단적 파라미터를 제공할 수 있는데, 광용적맥파 측정 센서를 통한 생체신호 측정 시 심장박동으로 발생하는 잡음과 피검자의 움직임으로 발생하는 동잡음 등으로 인해 파라미터(예컨대, HR)를 도출하기 위한 목표특이점들의 위치를 정확히 특정하기 어려웠으며, 피검자 개인의 특성차이가 커서 자동화된 알고리즘을 구현하기 어려운 문제점이 존재하였다.That is, the photoplethysmogram can provide a diagnostic parameter for abnormal blood flow in blood vessels. When measuring biosignals through the photoplethysmography sensor, noise generated by heartbeat and motion noise generated by the subject's movement etc., it was difficult to accurately specify the locations of target singularities for deriving parameters (eg, HR), and it was difficult to implement an automated algorithm due to large differences in individual characteristics of subjects.
이에, 선행기술1 내지 3에서는 광용적맥파 파라미터의 분석 정확도를 향상시키기 위한 다양한 분석 방법들을 제시한 바 있다. Accordingly,
선행기술1(하기 선행기술문헌 중 비특허문헌001)에서는 PPG 신호를 1차 미분, 2차 미분하여 PPG 신호의 최대값, 변곡점 등의 목표특이점을 추출하는 알고리즘을 제시한 바 있으나, 다음과 같은 문제점이 수반되었다. 2차 미분을 수행할 때, 동잡음의 영향을 크게 받아 잘못된 심박수로 오인되었으며, 2차 미분은 자동화 알고리즘을 만들기 용이하여 주로 사용되나 심장질환이 심한 중증환자인 경우 HR 측정 결과가 심전도를 이용해 측정한 HR과 차이가 크고, 부정맥으로 인해 심박출이 일시적으로 감소하는 경우 심박동을 감지하지 못하는 등의 그 정확도에 대한 문제가 지속적으로 제기되고 있다. 또한, 심장박동에 의한 파형의 변화와 말초혈관에서의 반사파에 의한 파형의 변화를 구분하기 힘들었다.Prior Art 1 (Non-Patent Document 001 among the following prior art documents) has proposed an algorithm for extracting target singular points such as the maximum value and inflection point of the PPG signal by first and second differentiation of the PPG signal, but the following problems ensued. When performing the second derivative, it was greatly affected by motion noise and was mistaken for an erroneous heart rate. The second derivative is mainly used because it is easy to create an automated algorithm. Problems with the accuracy of the HR, such as not detecting the heartbeat when the difference is large and the cardiac output temporarily decreases due to arrhythmia, have been continuously raised. In addition, it was difficult to distinguish the change in the waveform caused by the heartbeat and the change in the waveform caused by the reflected wave in the peripheral blood vessels.
선행기술2(하기 선행기술문헌 중 특허문헌001 내지 002)에서는 일정시간 측정한 PPG 파형 전체에 대한 주파수 분석을 통해 파라미터를 측정하는 기술을 제시한 바 있으나, 주파수 분석에 많은 계산 시간이 소요되며 빠른 측정결과를 제공하기 어려웠다. 또한, 파라미터 중 HR 측정에 적용될 경우에는 심박수 변화를 빠르게 감지하기 어렵고, 부정맥 환자의 경우 정확한 심박수 측정이 어려운 문제점이 있었다.Prior Art 2 (Patent Documents 001 to 002 among the following prior art documents) has proposed a technique for measuring parameters through frequency analysis of the entire PPG waveform measured for a certain period of time, but a lot of calculation time is required for frequency analysis and fast It was difficult to provide measurement results. In addition, when applied to HR measurement among parameters, it is difficult to quickly detect changes in heart rate, and in the case of arrhythmia patients, it is difficult to accurately measure heart rate.
선행기술3(하기 선행기술문헌 중 비특허문헌 002)에서는 CNN(CONVEOLUTION NEURAL NETWORK)과 같은 영상인식 인공지능 기술을 이용한 광용적맥파 분석 방법을 제시한 바 있으나, 다음과 같은 문제점이 수반되었다. 매우 많은 양의 학습데이터가 요구되어, 기계학습을 위한 고성능 컴퓨터 등 고가의 자원이 소요되며, 많은 입력데이터를 사용하기 때문에 실시간 분석이 어려웠고, PPG를 분석하여 측정한 심박수의 정확도가 객관적으로 검증되지 않았으며, 오차가 관찰된 사례도 보고된 바 있었다.In prior art 3 (Non-Patent Document 002 among the prior art documents below), an optical pulse wave analysis method using an image recognition artificial intelligence technology such as CNN (CONVEOLUTION NEURAL NETWORK) was proposed, but the following problems were accompanied. A very large amount of learning data is required, expensive resources such as high-performance computers for machine learning are required, real-time analysis is difficult because a lot of input data is used, and the accuracy of heart rate measured by analyzing PPG is not objectively verified. There have been reports of cases where errors have been observed.
본 발명은 상술한 문제점을 해결하기 위한 것으로, PPG 파형의 목표특이점 검출을 자동화하고, 종래 제안된 광용적맥파 분석 방법에서 구분하지 못한 잡음을 심박수 판정에서 제외함으로써 측정 파라미터의 신뢰성을 향상시킬 수 있는 DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 방법을 제공하는데 그 목적이 있다.The present invention is to solve the above-mentioned problems, and the reliability of the measurement parameter can be improved by automating the detection of target singularity of the PPG waveform and excluding noise that could not be distinguished in the conventionally proposed photoplethysmogram analysis method from the heart rate determination. An object of the present invention is to provide a method for analyzing PPG parameters using a DNN filter.
또한, 본 발명은 상술한 문제점을 해결하기 위한 것으로, 종래 제안된 광용적맥파 분석 방법 대비 적은 수의 입력 데이터를 사용하여 연산량을 줄임으로써 실시간 분석이 가능한 DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 방법을 제공하는데 그 목적이 있다.In addition, the present invention is intended to solve the above-mentioned problems, and PPG parameters using a DNN filter capable of real-time analysis by using a smaller number of input data and reducing the amount of calculation compared to the conventionally proposed photoplethysmogram analysis method. Its purpose is to provide an analysis method.
이러한 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 방법은 PPG 측정 센서로부터 측정된 PPG 데이터를 수신하는 수신단계; 상기 수신단계에서 수신된 PPG 데이터를 미분한 미분데이터를 생성하는 미분데이터 생성단계; 상기 PPG 데이터 및 이와 대응되어 생성된 미분데이터를 기 설정된 분석구간마다 전처리하여 입력 데이터로 생성하는 신호처리단계; 기 정의된 분석 알고리즘을 통해 다수의 PPG 데이터와 각각의 PPG 데이터에 대응되는 미분데이터 내 목표특이점에 대한 레이블이 저장된 학습 데이터를 학습하면서 최적화된 분석 알고리즘을 이용하여 상기 신호처리단계에서 신호 처리된 임의의 입력 데이터 내 목표특이점을 검출하는 검출단계; 및 상기 검출단계에서 검출된 목표특이점으로부터 파라미터를 도출하는 판단단계; 를 포함하고, 상기 분석 알고리즘은, 입력층(Input layer)와 출력층(Output layer) 사이에 적어도 둘 이상의 은닉층(Hidden layer)로 구성된 DNN(Deep Neural Network) 필터일 수 있다.To achieve this object, a PPG parameter analysis method using a DNN filter according to an embodiment of the present invention includes a receiving step of receiving PPG data measured from a PPG measuring sensor; a differential data generation step of generating differential data obtained by differentiating the PPG data received in the receiving step; a signal processing step of generating input data by pre-processing the PPG data and differential data generated corresponding thereto for each predetermined analysis section; Through a predefined analysis algorithm, while learning a plurality of PPG data and learning data in which a label for a target singularity in differential data corresponding to each PPG data is stored, using an optimized analysis algorithm, the signal is processed in the signal processing step. A detection step of detecting a target singularity within the input data of; and a determination step of deriving a parameter from the target singularity detected in the detection step. , and the analysis algorithm may be a Deep Neural Network (DNN) filter composed of at least two hidden layers between an input layer and an output layer.
여기서, 상기 신호처리단계는, 타겟 영역(Target zone)외 주변 데이터는 낮은 빈도로 선택하여 분석구간에 해당하는 상기 PPG 데이터 및 이와 대응되는 미분데이터에 포함된 데이터 크기를 축소하는 초점화(Focusing) 단계; 및 상기 초점화 단계에서 신호 처리된 PPG 데이터 및 이와 대응되는 미분데이터의 최대값 및 최소값을 1 내지 -1로 일반화(normalizing)하며 다수개의 입력 데이터로 변환하는 일반화 단계; 를 포함하고, 상기 분석구간은 상기 DNN 필터에 입력되는 입력 데이터의 구간을 결정하기 위한 윈도우의 크기 및 이동간격을 포함할 수 있다.Here, the signal processing step is a focusing step of reducing the data size included in the PPG data corresponding to the analysis section and the differential data corresponding thereto by selecting peripheral data other than the target zone at a low frequency. ; and a normalization step of normalizing the maximum and minimum values of the PPG data signal-processed in the focusing step and the differential data corresponding thereto to 1 to -1 and converting them into a plurality of input data; Including, the analysis interval may include the size and movement interval of the window for determining the interval of the input data input to the DNN filter.
이때, 상기 목표특이점은, 상기 PPG 데이터 중 심박동에 의한 최댓값 지점(Systolic, S), 심박동 직전의 최솟값 지점(Onset, O), 상기 미분 데이터 중 최댓값 지점(W), 상기 PPG 데이터 중 심박동을 측정할 수 없는 영역인 오류 영역(Error Region)의 시작지점(Error Start; ES) 및 상기 오류 영역의 끝 지점(Error End; EE) 중 적어도 어느 하나를 포함할 수 있다.At this time, the target singularity is the maximum value point (Systolic, S) by heartbeat among the PPG data, the minimum value point immediately before heartbeat (Onset, O), the maximum value point (W) among the differential data, and heartbeat measurement among the PPG data. It may include at least one of an error start point (ES) and an error end point (EE) of the error region, which is an unavailable region.
그리고, 상기 검출단계는, 상기 입력 데이터로부터 각각의 목표특이점을 검출하기 위한 다수개의 DNN 필터로부터 상기 목표특이점을 검출하되, 어느 하나의 입력 데이터를 분석한 뒤 다른 하나의 입력 데이터를 분석할 경우에, 상기 다른 하나의 입력 데이터를 결정하기 위한 윈도우가 이동하며 상기 어느 하나의 입력 데이터의 일부 영역이 오버랩되어, 오버랩 된 영역의 목표특이점이 중복 검출될 수 있다.In the detecting step, the target singularity is detected from a plurality of DNN filters for detecting each target singularity from the input data, but when one input data is analyzed and another input data is analyzed , the window for determining the other input data is moved and a partial region of the one input data overlaps, so that the target singularity of the overlapped region can be detected redundantly.
또한, 상기 판단단계는, 상기 검출단계에서 검출된 목표특이점을 통해 파라미터를 도출하는 도출단계; 상기 도출단계에서 도출된 파라미터에 대한 상기 DNN 필터의 인식도를 점수화한 인식도(Recognition Score)를 계산하는 점수화단계; 및 상기 점수화단계에서 계산된 인식도가 80점 내지 100점인 파라미터를 최종 파라미터로 결정하는 결정단계; 를 포함하고, 상기 인식도는 하기의 수학식으로부터 계산될 수 있다.In addition, the determining step may include a deriving step of deriving a parameter through the target singularity detected in the detecting step; a scoring step of calculating a recognition score obtained by scoring the recognition level of the DNN filter for the parameters derived in the deriving step; and a determination step of determining, as a final parameter, a parameter whose recognition degree calculated in the scoring step is 80 to 100 points. Including, the recognition degree can be calculated from the following equation.
[수학식][mathematical expression]
Recognition Score = max(RS[n])_0.2s+max(RO[n])_0.2s+max(RW[n])Recognition Score = max(R S [n])_0.2s+max(R O [n])_0.2s+max(R W [n])
+{sum(40-RES[n]-REE[n])_0.2s}+{sum(40-R ES [n]-R EE [n])_0.2s}
(여기서, RS[n], RO[n], RW[n], RES[n], REE[n]은 각각 DNN 필터에 의해 반복 감지된 S, O, W, ES, EE의 횟수, max(R[n])_0.2s는 RW[n]의 최댓값이 감지된 때로부터 0.2초 이내의 R[n]의 최댓값, sum(R[n])_0.2s는: RW[n]의 최댓값이 감지된 때로부터 0.2초 이내의 R[n]의 합) (Where, R S [n], R O [n], R W [n], R ES [n], and R EE [n] are S, O, W, ES, and EE repeatedly detected by the DNN filter, respectively. The number of times, max(R[n])_0.2s is the maximum value of R[n] within 0.2 seconds from when the maximum value of R W [n] is detected, sum(R[n])_0.2s is: R Sum of R[n] within 0.2 seconds from when the maximum value of W [n] is detected)
그리고, 본 발명이 제시하는 DNN 필터를 이용한 광용적맥파 파라미터 분석 방법은 상기 학습데이터를 저장하는 저장단계; 및 상기 DNN 필터를 통해 상기 학습데이터를 학습하면서 임의의 PPG 데이터 및 이와 대응되는 미분데이터 내 목표특이점 존재 유무 판단이 이루어지도록 상기 DNN 필터를 최적화하는 학습단계; 를 더 포함할 수 있다.Further, the method for analyzing pulse wave parameters using a DNN filter proposed by the present invention includes a storage step of storing the learning data; and a learning step of optimizing the DNN filter to determine whether a target singularity exists in arbitrary PPG data and differential data corresponding thereto while learning the learning data through the DNN filter. may further include.
이상에서 설명한 바와 같이 본 발명에 의하면, 다음과 같은 효과가 있다.As described above, according to the present invention, there are the following effects.
첫째, 종래 제안된 PPG 신호의 분석 방법 중 미분법 및 디지털 필터 등이 구분하지 못한 잡음을 파라미터 판정에서 제외함으로써 판정결과의 신뢰성을 향상시킬 수 있다.First, it is possible to improve the reliability of the decision result by excluding noise that cannot be distinguished by the differential method and the digital filter among the previously proposed PPG signal analysis methods from the parameter decision.
둘째, 개인차가 커 자동화하지 못했던 파형의 목표특이점 검출을 자동화하고, 주파수 분석법이나 기존의 인공지능 기술에 의한 PPG 신호의 분석 방법 대비 적은 수의 입력 데이터를 사용하며 연산량이 적어서 실시간 처리가 가능할 수 있다. 즉, PPG 측정 데이터로부터 실시간 분석된 파라미터 제공이 이루어질 수 있다.Second, it automates the target singularity detection of waveforms that could not be automated due to individual differences, and uses fewer input data compared to PPG signal analysis methods using frequency analysis or existing artificial intelligence technology. . That is, parameters analyzed in real time can be provided from PPG measurement data.
셋째, 학습데이터를 갱신하여 기계학습(딥러닝)을 수행함으로써 사람이 직접 프로그램을 수정하는 것보다 용이하게 정확성을 개선할 수 있다.Third, by updating learning data and performing machine learning (deep learning), accuracy can be improved more easily than when a person directly corrects a program.
넷째, 판정 결과의 신뢰도를 나타낼 수 있는 지표(예컨대, 인식도)를 제공하여, 판정 결과를 다른 목적으로 다양하게 활용하는 것이 가능하다.Fourth, it is possible to utilize the determination result in various ways for different purposes by providing an indicator (eg, recognition level) capable of indicating the reliability of the determination result.
도1은 본 발명의 일 실시예에 따른 DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 장치를 개략적으로 도시한 블록도이다.
도2는 본 발명의 일 실시예에 따른 DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 방법을 개략적으로 도시한 흐름도이다.
도3은 DNN 필터를 이용하여 목표특이점을 검출하는 알고리즘과 신호처리 과정을 개략적으로 도시한 것이다.
도4는 본 발명이 제시하는 DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 방법에서 데이터 처리과정을 개략적으로 도시한 것이다.
도5는 본 발명에서 딥 러닝과 평가에 사용된 학습데이터와 테스트데이터를 예시한 표이다.
도6은 본 발명에서 검출하고자 하는 PPG 데이터 및 미분데이터의 목표특이점들을 설명하기 위하여 예시한 것이다.
도7은 본 발명이 제시하는 DNN 필터를 이용한 광용적맥파 파라미터 분석 방법을 통해 도출된 결과들을 도시한 것으로, (a)는 PPG 데이터 및 이와 대응되는 미분데이터 (b) DNN 필터에 의해 인식된 목표특이점(S, O, W, ES, EE) 및 (c) 실시간 결정된 심박수(HR)를 나타낸다.
도8은 도5에 예시된 데이터들에 대하여 ECG 로부터 측정된 HR의 수와, DNN 필터에 의해 검출된 S, O, W의 수를 나타낸 표이다.
도9는 본 발명이 제시하는 DNN 필터를 통해 도출된 HR과 ECG로부터 측정된 HR의 상관관계를 도시한 것으로, (a), (b) 및 (c)는 인식도를 고려하지 않았을 때의 ECG로부터 측정된 HR과 S, O, W를 각각 비교한 것이고, (d), (e) 및 (f)는 인식도가 100점일 때 ECG로부터 측정된 HR과 S, O, W를 각각 비교한 것이며, (g), (h) 및 (i)는 인식도가 80점 이상일 때 ECG로부터 측정된 HR과 S, O, W를 각각 비교한 것이다. 1 is a block diagram schematically showing an apparatus for analyzing PPG parameters using a DNN filter according to an embodiment of the present invention.
2 is a flowchart schematically illustrating a method for analyzing PPG parameters using a DNN filter according to an embodiment of the present invention.
3 schematically illustrates an algorithm and a signal processing process for detecting a target singularity using a DNN filter.
4 schematically illustrates a data processing process in the PPG parameter analysis method using a DNN filter proposed by the present invention.
5 is a table illustrating training data and test data used in deep learning and evaluation in the present invention.
6 is an illustration to explain target singularities of PPG data and differential data to be detected in the present invention.
Figure 7 shows the results obtained through the photoplethysmogram parameter analysis method using the DNN filter proposed by the present invention. (a) PPG data and differential data corresponding thereto (b) target recognized by the DNN filter singularities (S, O, W, ES, EE) and (c) heart rate (HR) determined in real time.
FIG. 8 is a table showing the number of HRs measured from the ECG and the number of S, O, and W detected by the DNN filter for the data illustrated in FIG. 5 .
Figure 9 shows the correlation between HR derived through the DNN filter proposed by the present invention and HR measured from ECG. (a), (b) and (c) are from ECG when recognition is not considered (d), (e) and (f) are comparisons between HR and S, O, W measured from ECG when the recognition level is 100, ( g), (h) and (i) are comparisons of HR and S, O, and W measured from ECG when the recognition level is 80 points or higher, respectively.
본 발명의 바람직한 실시 예에 대하여 첨부된 도면을 참조하여 더 구체적으로 설명하되, 이미 주지되어진 기술적 부분에 대해서는 설명의 간결함을 위해 생략하거나 압축하기로 한다.A preferred embodiment of the present invention will be described in more detail with reference to the accompanying drawings, but for the sake of brevity, technical parts that have already been well-known will be omitted or compressed.
참고로, 본 발명이 제시하는 DNN 필터를 이용한 광용적맥파 파라미터 분석 방법 및 장치는 앞서 언급한 파라미터 중 HR을 측정하기 위해 고안된 것이나, 구성하기에 따라 다른 파라미터를 측정하는데 사용될 수 있음은 물론이다. For reference, the photoplethysmogram parameter analysis method and device using the DNN filter proposed in the present invention are designed to measure HR among the above-mentioned parameters, but can be used to measure other parameters according to configuration.
<DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 장치에 관한 간략한 설명><Brief description of photoplethysmogram (PPG) parameter analysis device using DNN filter>
도1은 본 발명의 일 실시예에 따른 DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 장치(이하, ‘PPG 분석 장치’라 칭함)를 개략적으로 도시한 것이다.1 schematically illustrates a photoplethysmogram (PPG) parameter analyzer (hereinafter, referred to as a 'PPG analyzer') using a DNN filter according to an embodiment of the present invention.
도1을 참조하면, 본 발명의 일 실시예에 따른 PPG 분석 장치(100)는 수신부(110), 미분데이터 생성부(120), 신호처리부(130), 저장부(140), 학습부(150), 검출부(160), 판단부(170) 및 제어부(180)를 포함하여 구성될 수 있다.Referring to FIG. 1, the
수신부(110)는 PPG 측정 센서로부터 측정된 PPG 데이터를 수신한다. 이때, 수신부(110)는 측정대상자로부터 실시간 측정된 PPG 데이터를 수신할 수 있고, 후술할 DNN 필터(미도시)를 학습시키기 위한 PPG 데이터를 수신할 수 있음은 물론이다.The receiving
미분데이터 생성부(120)는 상기 수신부(110)에서 수신된 PPG 데이터를 미분한 미분데이터를 생성한다. 이때, 미분데이터 생성부(120)는 PPG 분석 장치(100)를 통해 분석하고자 하는 파라미터에 따라 1차 미분 혹은 2차 미분을 수행할 수 있는데, 본 발명의 일 실시예에 따른 PPG 분석 장치(100)는 PPG 데이터 분석을 통해 HR을 획득하고자 하므로 1차 미분만을 수행하는 것이 바람직할 수 있다.The differential
신호처리부(130)는 수신부(110)가 수신한 PPG 데이터 및 이와 대응되어 생성된 미분데이터를 기 설정된 분석구간마다 전처리하여 입력 데이터로 생성하는 단계이다. 이때, 신호처리부(130)는 후술할 검출부(160)를 포함하는 DNN 필터의 뉴런 및 연산량을 줄일 수 있도록 분석구간에 해당하는 PPG 데이터 및 이와 대응되어 생성된 미분데이터의 크기를 축소하기 위한 초점화(focusing)와 초점화가 수행된 데이터들의 y축 범위를 -1 내지 1로 통일하기 위한 일반화(normalizing)를 통해 입력 데이터로 변환하는 신호 처리를 수행할 수 있다.The signal processing unit 130 is a step of preprocessing the PPG data received by the receiving
이때, 분석구간은 입력 데이터의 구간을 결정하기 위한 윈도우의 크기 및 이동간격을 포함한다. At this time, the analysis section includes the size and movement interval of the window for determining the section of the input data.
저장부(140)는 다수의 PPG 데이터와 각각의 PPG 데이터에 대응되는 미분데이터 내 목표특이점이 라벨링된 학습데이터가 저장된다. 이때, 저장부(140)에는 후술할 검출부(160)의 검출 결과 즉, DNN 필터의 출력데이터가 누적되어 추가 저장될 수 있음은 물론이다. The storage unit 140 stores a plurality of PPG data and training data labeled with a target singularity in differential data corresponding to each PPG data. At this time, it goes without saying that the detection result of the detection unit 160, that is, the output data of the DNN filter, which will be described later, can be accumulated and additionally stored in the storage unit 140.
이때, 목표특이점은, PPG 데이터 중 심박동에 의한 최댓값 지점(Systolic, S), 심박동 직전의 최솟값 지점(Onset, O), 미분데이터 중 최댓값 지점(W), 상기 PPG 데이터 중 심박동을 측정할 수 없는 영역인 오류 영역(Error Region)의 시작지점(Error Start; ES) 및 오류 영역의 끝 지점(Error End; EE)를 의미한다.At this time, the target singularity is the maximum value point by heartbeat among the PPG data (Systolic, S), the minimum value point just before the heartbeat (Onset, O), the maximum value point among the differential data (W), and the PPG data where the heartbeat cannot be measured. It means the start point (Error Start; ES) and the end point (Error End; EE) of the error region.
학습부(150)는 기 정의된 분석 알고리즘을 이용해 학습데이터를 학습하면서 임의의 PPG 데이터 및 이와 대응되는 미분데이터 내 목표특이점 검출이 이루어지도록 분석 알고리즘을 최적화한다. 즉, 학습부(150)는 저장부(140)에 저장된 학습데이터를 분석 알고리즘에 적용하여, 이를 기반으로 학습, 검증, 테스트를 수행하며 임의의 PPG 데이터 및 이와 대응되는 미분데이터가 주어졌을 경우에도 목표특이점 검출이 이루어질 수 있도록 높은 판단 정확도를 유지할 수 있다. The
참고로, 학습부(150)가 기 정의된 분석 알고리즘을 최적화한다는 것은 학습을 통해 기 정의된 분석 알고리즘 내 포함된 요소들의 가중치를 조정함으로써 정확한 판단결과가 나올 확률 즉, 판단의 정확도를 향상시키는 것을 의미한다. For reference, optimizing the predefined analysis algorithm by the
이때, 분석 알고리즘은 입력층(Input layer)와 출력층(Output layer) 사이에 적어도 둘 이상의 은닉층(Hidden layer)로 구성된 DNN(Deep Neural Network) 필터를 의미한다.In this case, the analysis algorithm means a Deep Neural Network (DNN) filter composed of at least two or more hidden layers between an input layer and an output layer.
검출부(160)는 학습부(150)를 통해 최적화된 분석 알고리즘을 이용하여 신호처리부(130)에서 신호 처리된 임의의 입력 데이터 내 목표특이점을 검출한다. The detection unit 160 detects a target singularity in any input data signal-processed by the signal processing unit 130 using the analysis algorithm optimized through the
이때, 검출부(160)는 입력 데이터로부터 각각의 목표특이점을 검출하기 위한 다수개의 DNN 필터로 구성될 수 있는데, 좀더 구체적으로는 S, O, W, ES, EE를 각각 검출하는 5개의 DNN 필터로 구성될 수 있다. At this time, the detection unit 160 may be composed of a plurality of DNN filters for detecting each target singularity from the input data, more specifically, five DNN filters for detecting S, O, W, ES, and EE, respectively. can be configured.
여기서, DNN 필터가 어느 하나의 입력 데이터를 분석한 뒤 분석 결과를 도출하면, 다른 하나의 입력 데이터를 결정하기 위한 윈도우가 이동하며 다른 하나의 입력 데이터가 연속적으로 입력되는데, 이때, 다른 하나의 입력 데이터에는 앞서 분석한 어느 하나의 입력 데이터의 일부 영역이 오버랩되어, 오버랩 된 영역의 목표특이점이 중복 검출될 수 있다.Here, when the DNN filter analyzes any one input data and derives the analysis result, the window for determining the other input data moves and the other input data is continuously input. In the data, a partial area of any one of the previously analyzed input data overlaps, so that a target singularity of the overlapped area may be detected redundantly.
참고로, 오버랩 된 영역에서의 중복 검출이 많아질수록 검출부(160)를 통한 분석 결과 즉, 목표특이점의 검출 정확도가 향상될 수 있다.For reference, an analysis result through the detection unit 160, that is, detection accuracy of a target singularity may be improved as the number of redundant detections in the overlapping area increases.
판단부(170)는 검출부(160)에서 검출된 목표특이점을 이용해 파라미터를 도출한다. 이때, 도출된 파라미터에 대한 DNN 필터의 인식도를 점수화한 인식도(Recognition Score)를 계산하고, 인식도가 80점 내지 100점에 해당하는 파라미터를 최종 파라미터로 결정하여 제공할 수 있다. The determination unit 170 derives a parameter using the target singularity detected by the detection unit 160 . At this time, a recognition score obtained by scoring the recognition level of the DNN filter for the derived parameter may be calculated, and a parameter corresponding to a recognition score of 80 to 100 may be determined and provided as a final parameter.
여기서, 인식도는 하기의 수학식으로부터 결정될 수 있다.Here, the degree of recognition may be determined from the following equation.
[수학식][mathematical expression]
Recognition Score = max(RS[n])_0.2s+max(RO[n])_0.2s+max(RW[n])Recognition Score = max(R S [n])_0.2s+max(R O [n])_0.2s+max(R W [n])
+{sum(40-RES[n]-REE[n])_0.2s}+{sum(40-R ES [n]-R EE [n])_0.2s}
(여기서, RS[n], RO[n], RW[n], RES[n], REE[n]은 각각 DNN 필터에 의해 반복 감지된 S, O, W, ES, EE의 횟수, max(R[n])_0.2s는 RW[n]의 최댓값이 감지된 때로부터 0.2초 이내의 R[n]의 최댓값, sum(R[n])_0.2s는: RW[n]의 최댓값이 감지된 때로부터 0.2초 이내의 R[n]의 합) (Where, R S [n], R O [n], R W [n], R ES [n], and R EE [n] are S, O, W, ES, and EE repeatedly detected by the DNN filter, respectively. The number of times, max(R[n])_0.2s is the maximum value of R[n] within 0.2 seconds from when the maximum value of R W [n] is detected, sum(R[n])_0.2s is: R Sum of R[n] within 0.2 seconds from when the maximum value of W [n] is detected)
제어부(180)는 상기한 각 부를 제어하는 구성으로, 외부에서 입력된 추가 데이터를 해당 데이터가 요구되는 각 부에 제공할 수 있다. 예를 들자면, 학습데이터가 입력될 경우에 이를 저장부(140)에 제공할 수 있다.The control unit 180 is a component that controls each unit described above and can provide additional data input from the outside to each unit that requires the corresponding data. For example, when learning data is input, it may be provided to the storage unit 140 .
이하에서는, PPG 분석 장치(100)에 의한 DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 방법에 대한 설명을 하고자 한다. 앞서 언급한 PPG 분석 장치(100)에서 그 구성에 대한 부족한 설명은 DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 방법을 설명하며 좀더 구체적으로 언급하고자 한다. Hereinafter, a method for analyzing PPG parameters using a DNN filter by the
<DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 방법에 관한 설명><Description of PPG parameter analysis method using DNN filter>
도2는 본 발명의 일 실시예에 따른 DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 방법(이하, ‘PPG 분석 방법’이라 칭함)을 개략적으로 도시한 흐름도이고, 도3은 DNN 필터를 이용하여 목표특이점을 검출하는 알고리즘과 신호처리 과정을 개략적으로 도시한 것이며, 도4는 본 발명이 제시하는 DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 방법에서 데이터 처리과정을 개략적으로 도시한 것이다.Figure 2 is a flowchart schematically showing a photoplethysmogram (PPG) parameter analysis method (hereinafter referred to as 'PPG analysis method') using a DNN filter according to an embodiment of the present invention, and Figure 3 is a DNN filter using Figure 4 schematically shows the data processing process in the photoplethysmogram (PPG) parameter analysis method using the DNN filter proposed by the present invention.
이하에서는, 도2 내지 도4를 참조하여 본 발명이 제시하는 PPG 분석 방법에 대해 구체적으로 설명하고자 한다.Hereinafter, the PPG analysis method proposed by the present invention will be described in detail with reference to FIGS. 2 to 4.
1. 수신단계<S100>1. Receiving step <S100>
수신단계(S100)는 PPG 측정 센서로부터 측정된 PPG 데이터를 수신하는 단계이다. 참고로, 수신단계(S100)에서는 후술할 학습단계(미도시)에서 학습이 이루어질 학습데이터를 수신할 수 있음은 물론이다.The receiving step (S100) is a step of receiving PPG data measured from a PPG measuring sensor. For reference, in the receiving step (S100), it is of course possible to receive learning data to be learned in a learning step (not shown) to be described later.
2. 미분데이터 생성단계<S200>2. Differential data generation step <S200>
미분데이터 생성단계(S200)는 수신단계(S100)에서 수신한 PPG 데이터를 미분한 미분데이터를 생성하는 단계이다. 이때, 측정하고자 하는 생체신호 파라미터에 따라 1차 미분 또는 2차 미분을 수행하여 적합한 미분데이터를 생성할 수 있다. 본 발명의 일 실시예에서는 HR을 생체신호 파라미터로 측정하고 있으므로, 미분데이터 생성단계(S200)에서는 PPG 데이터의 1차 미분을 수행한 미분데이터를 생성하는 것이 바람직하다.The differential data generation step (S200) is a step of generating differential data obtained by differentiating the PPG data received in the receiving step (S100). At this time, suitable differential data may be generated by performing primary differential or secondary differential according to biosignal parameters to be measured. Since HR is measured as a bio-signal parameter in an embodiment of the present invention, it is preferable to generate differential data obtained by performing a primary differential of PPG data in the differential data generation step (S200).
참고로, 도3을 참조하면, 1st STEP에서, 수신한 PPG 데이터의 파형은 0.2 s의 데이터 길이 내에서 국부적으로 높거나 낮은 피크들(HPs, LPs)이 검출될 수 있었고, PPG 데이터를 미분한 미분데이터에서는 국부적으로 높은 피크들이 검출될 수 있었다. 이때, 파라미터 측정을 자동화하기 위해서는 검출된 피크들이 맥동 또는 반사로부터 발생했는지 결정할 수 있어야 하므로, 본 발명에서는 PPG 데이터, 1차 미분데이터 및 그 목표특이점들을 평가하여 전문가의 판단 개입 없이도 그 판단의 정확도를 높일 수 있는 PPG 분석 방법을 제시하고자 한다. For reference, referring to FIG. 3, in the 1 st STEP, in the waveform of the received PPG data, local high or low peaks (HPs, LPs) could be detected within the data length of 0.2 s, and the PPG data was differentiated Locally high peaks could be detected in one differential data. At this time, in order to automate the parameter measurement, it should be possible to determine whether the detected peaks are generated from pulsation or reflection, so in the present invention, the accuracy of the judgment can be improved without expert judgment intervention by evaluating the PPG data, the first differential data, and their target singular points. We would like to present a PPG analysis method that can be improved.
3. 신호처리단계<S300> 3 . Signal processing step <S300>
신호처리단계(S300)는 PPG 데이터 및 이와 대응되는 미분데이터를 기 설정된 분석구간마다 전처리하여 입력 데이터로 생성하는 단계이다. 이때, 분석구간의 설정은 PPG 데이터가 수신되기 이전에 이루어지거나, PPG 데이터가 수신된 이후에 사용자에 의해 설정될 수 있음은 물론이다.The signal processing step (S300) is a step of generating input data by pre-processing the PPG data and differential data corresponding thereto for each preset analysis section. At this time, it goes without saying that the analysis section may be set before PPG data is received or set by the user after PPG data is received.
여기서, 신호처리단계(S300)는 초점화(Focusing) 단계(S310) 및 일반화(Normalizing) 단계(S320)를 포함할 수 있다. Here, the signal processing step (S300) may include a focusing step (S310) and a normalizing step (S320).
초점화 단계(S310)는 타겟 영역(Target zone)외 주변 데이터는 낮은 빈도로 선택하여 분석구간에 해당하는 PPG 데이터 및 이와 대응되는 미분데이터에 포함된 데이터 크기를 축소하는 단계이다.The focusing step (S310) is a step of reducing the data size included in the PPG data corresponding to the analysis section and the differential data corresponding thereto by selecting peripheral data other than the target zone at a low frequency.
일반화 단계(S320)는 초점화 단계(S320)에서 신호 처리된 PPG 데이터 및 이와 대응되는 미분데이터의 최댓값 및 최솟값을 1 내지 -1로 일반화(normalizing)하며 다수개의 입력 데이터로 변환하는 단계이다.The normalization step (S320) is a step of normalizing the maximum and minimum values of the PPG data signal-processed in the focusing step (S320) and the corresponding differential data to 1 to -1 and converting them into a plurality of input data.
참고로, 분석구간은 후술할 DNN 필터에 입력되는 입력 데이터의 구간을 결정하기 위한 윈도우의 크기 및 이동간격을 포함할 수 있다.For reference, the analysis section may include the size and movement interval of a window for determining a section of input data input to a DNN filter to be described later.
도3 내지 도4를 참조하여 좀더 구체적으로 설명하면, 도3의 2nd STEP에서, 신호처리단계(S300)를 통해 DNN 필터에 입력될 입력 데이터가 1st STEP에서 처리된 신호에서 재구성될 수 있다. 74개의 PPG 데이터와 이에 대응되는 미분 데이터는 신호처리단계(S300)를 거치며, 20개의 연속적인 PPG 데이터들과 이와 대응되는 미분데이터가 후술할 DNN 필터의 입력 데이터로 구성될 수 있는데, PPG 데이터가 P[n](이때, n은 0 내지 73)이면 목표특이점들이 나타나는 타겟 영역은 n이 27 내지 46인 영역일 수 있다. 이는 경우에 따라 가변될 수 있음은 물론이다. 3 to 4, in the 2 nd STEP of FIG. 3, the input data to be input to the DNN filter through the signal processing step (S300) can be reconstructed from the signal processed in 1 st STEP . The 74 PPG data and the corresponding differential data go through a signal processing step (S300), and the 20 consecutive PPG data and the corresponding differential data can be configured as input data of a DNN filter to be described later. If P[n] (where n is 0 to 73), the target area where target singularities appear may be an area where n is 27 to 46. Of course, this may vary depending on the case.
이후, 신호처리단계(S300)에서는 타겟 영역 즉, P[n+27] 내지 P[n+46]까지의 모든 데이터가 입력 데이터에 포함되되, n이 0 내지 26 및 47 내지 73인 데이터에서는 12개의 데이터만을 선택적으로 입력 데이터에 포함되도록 그 빈도를 조정하여 DNN 필터가 연산해야하는 데이터양을 축소시킬 수 있다.Thereafter, in the signal processing step (S300), all data from the target area, that is, P[n+27] to P[n+46], is included in the input data, but in data where n is 0 to 26 and 47 to 73, 12 It is possible to reduce the amount of data that the DNN filter has to calculate by adjusting the frequency so that only the data of the DNN filter is selectively included in the input data.
즉, 입력 데이터에는 32개의 PPG 데이터, 이와 대응되는 32개의 미분데이터, 타겟 영역에 위치한 20개의 목표특이점(S, W, O)이 포함되어 총 124 개의 입력 데이터(X[0] 내지 X[123])가 생성될 수 있었다. That is, the input data includes 32 PPG data, 32 differential data corresponding thereto, and 20 target singular points (S, W, O) located in the target area, for a total of 124 input data (X[0] to X[123 ]) could be generated.
참고로, 목표특이점은 PPG 데이터 중 심박동에 의한 최댓값 지점(Systolic, S), 심박동 직전의 최솟값 지점(Onset, O), 미분데이터 중 최댓값 지점(W), PPG 데이터 중 심박동을 측정할 수 없는 영역의 시작지점(Error Start; ES)과 끝지점(Error End; EE) 중 적어도 어느 하나를 포함할 수 있다. For reference, the target singularity is the point of maximum value by heartbeat among PPG data (Systolic, S), the point of minimum value right before heartbeat (Onset, O), the point of maximum value among differential data (W), and the area where heartbeat cannot be measured among PPG data. It may include at least one of the start point (Error Start; ES) and the end point (Error End; EE) of.
4. 검출단계<S400> 4 . Detection step <S400>
검출단계(S400)는 기 정의된 분석 알고리즘을 통해 다수의 PPG 데이터와 각각의 PPG 데이터에 대응되는 미분데이터 내 목표특이점에 대한 레이블이 저장된 학습데이터를 학습하면서 최적화된 분석 알고리즘을 이용하여 신호처리단계(S300)에서 신호 처리된 임의의 입력 데이터 내 목표특이점을 검출하는 단계이다.The detection step (S400) is a signal processing step using an optimized analysis algorithm while learning a plurality of PPG data through a predefined analysis algorithm and learning data in which a label for a target singularity in differential data corresponding to each PPG data is stored. This is a step of detecting a target singularity in any input data signal-processed in (S300).
여기서, 분석 알고리즘은 입력층(Input layer)와 출력층(Output layer) 사이에 적어도 둘 이상의 은닉층(Hidden layer)로 구성된 DNN(Deep Neural Network) 필터를 의미한다. 이는, 하나의 실시예이므로 사용자의 목적에 따라 가변될 수 있음은 물론이다.Here, the analysis algorithm means a Deep Neural Network (DNN) filter composed of at least two or more hidden layers between an input layer and an output layer. Since this is one embodiment, it can be varied according to the user's purpose, of course.
참고로, 본 발명이 제시하는 DNN 필터의 입력층은 124개의 뉴런으로 구성된 입력층, 248개의 뉴런으로 구성된 2개의 은닉층 및 21개의 뉴런으로 구성된 출력층으로 구성될 수 있다.For reference, the input layer of the DNN filter proposed by the present invention may consist of an input layer composed of 124 neurons, two hidden layers composed of 248 neurons, and an output layer composed of 21 neurons.
이때, 검출단계(S400)는 앞서 언급한 5개의 목표특이점을 각각 검출하기 위한 5개의 DNN 필터로부터 목표특이점들을 검출할 수 있다. 5개의 DNN 필터 중 3개는 심장박동으로 인한 S, O, W를 결정했으며, 2개의 필터는 의사 결정에서 제외되어야 하는 ES와 EE를 결정하였다. In this case, in the detection step (S400), target singular points may be detected from five DNN filters for each of the aforementioned five target singular points. Three of the five DNN filters determined S, O, and W due to heartbeat, and two filters determined ES and EE, which should be excluded from decision making.
그리고, 검출단계(S400)는 입력 데이터로부터 각각의 목표특이점을 검출하기 위한 다수개의 DNN 필터로부터 목표특이점을 검출하되, 어느 하나의 입력 데이터를 분석한 뒤 다른 하나의 입력 데이터를 분석할 경우에, 다른 하나의 입력 데이터를 결정하기 위한 윈도우가 이동하며 어느 하나의 입력 데이터의 일부 영역이 오버랩되어, 오버랩 된 영역의 목표특이점이 중복 검출된다.In the detection step (S400), the target singularity is detected from a plurality of DNN filters for detecting each target singularity from the input data, but when one input data is analyzed and then another input data is analyzed, A window for determining another input data is moved and a partial area of one input data overlaps, so that the target singularity of the overlapped area is detected redundantly.
이렇게 되면, DNN 필터가 연속적인 PPG 데이터의 대부분의 영역에 대해 재평가하게 되는데, 도3 내지 도4에 예시된 윈도우를 보면, 74개의 데이터를 포함하는 윈도우의 시간 길이는 1.184 s였고, 데이터는 0.016 s 마다 처리되어 DNN 필터에 입력되어, 0.32 s 길이의 타겟 영역 내 S, O, W, ES, EE의 위치를 결정할 수 있었다. 이때, 연속적인 PGG 데이터를 분석하기 위해 윈도우가 이동함에 따라 DNN 필터에서 분석이 이루어지는 분석구간은 20 개 부분이 겹치게 될 수 있다. 여기서, 오버랩되는 영역이 많아질수록 DNN 필터를 통한 목표특이점 검출의 신뢰성이 향상될 수 있다. 즉, 본 발명이 제시하는 PGG 분석 방법은 기존 인공지능 관련 PGG 분석모델 대비 구성 뉴런 수가 적지만 판정 결과의 정확도를 향상시킬 수 있게 된다.In this case, the DNN filter re-evaluates most of the continuous PPG data. Looking at the windows illustrated in FIGS. 3 and 4, the time length of the window containing 74 data was 1.184 s and the data was 0.016 Processed every s and input to the DNN filter, it was possible to determine the locations of S, O, W, ES, and EE within the 0.32 s long target region. At this time, as the window moves to analyze the continuous PGG data, 20 parts of the analysis section in which the analysis is performed in the DNN filter may overlap. Here, the reliability of target singularity detection through the DNN filter can be improved as the number of overlapping regions increases. That is, the PGG analysis method proposed by the present invention can improve the accuracy of the decision result although the number of constituent neurons is smaller than that of the existing artificial intelligence-related PGG analysis model.
그리고, 출력층에서의 출력은 1과 0으로 도출될 수 있는데, 예를 들어 S를 검출하기 위한 DNN 필터의 경우, n번째 PPG 데이터 블록에서 목표특이점 즉, S를 검출했을 때, RS[n]이 1 증가하고, 그렇지 않으면 증가하지 않았다. 만약, DNN 필터가 목표특이점을 찾지 못한 경우, 출력층의 21번째 값(YS[20], YO[20], YW[20], YES[20], YEE[20])은 1로 출력되고, 다른 모든 값은 0으로 출력될 수 있다. 즉, DNN 필터가 찾는 목표특이점이 없는 경우, 위치를 나타낸 출력(YS[0] 내지 YS[19], YO[0] 내지 YO[19], YW[0] 내지 YW[19], YES[0] 내지 YES[19], YEE[0] 내지 YEE[19])과 분리된 별도의 출력으로 표시된다.And, the output from the output layer can be derived as 1 and 0. For example, in the case of a DNN filter for detecting S, when the target singularity, that is, S is detected in the nth PPG data block, R S [n] is incremented by 1, otherwise it was not incremented. If the DNN filter does not find the target singularity, the 21st value of the output layer (Y S [20], Y O [20], Y W [20], Y ES [20], Y EE [20]) is 1 , and all other values may be output as 0. That is, if there is no target singularity that the DNN filter is looking for, the output indicating the location (Y S [0] to Y S [19], Y O [0] to Y O [19], Y W [0] to Y W [ 19], Y ES [0] to Y ES [19], Y EE [0] to Y EE [19]).
참고로, 검출단계(S400) 이전에는 학습데이터를 저장하는 저장단계(미도시) 및 DNN 필터를 통해 학습데이터를 학습하면서 임의의 PPG 데이터 및 이와 대응되는 미분데이터 내 목표특이점 존재 유무 판단이 이루어지도록 DNN 필터를 최적화하는 학습단계(미도시)가 선행될 수 있다.For reference, prior to the detection step (S400), while learning the learning data through a storage step (not shown) for storing learning data and a DNN filter, it is determined whether a target singularity exists in arbitrary PPG data and differential data corresponding thereto. A learning step (not shown) of optimizing the DNN filter may be preceded.
좀더 구체적으로 설명하면, 수신단계(S100)를 통해 학습을 위한 PPG 데이터인 학습데이터가 수신되면, 이후 앞서 언급한 미분데이터 생성단계(S200) 및 신호처리단계(S300)를 거쳐 전문가에 의해 라벨링되어 답이 미리 정해진 학습데이터를 기반으로 학습단계를 수행하며 분석 알고리즘 즉, DNN 필터를 최적화할 수 있다. 이때, 학습단계를 거치며 각 레이어에 포함된 뉴런들에 가중치를 부가하며 반복적으로 이에 대한 조정이 이루어지고, 이를 통해 높은 정확도의 판단결과를 제공하는 최적의 알고리즘이 구성될 수 있는 것이다. 참고로, DNN 필터의 딥 러닝 즉, 학습이 진행됨에 따라 S, O, W, ES 및 EE의 인식 정확도가 증가하였는데, 77,200개의 학습데이터를 사용하여 1000 epoch 진행하였을 때 그 정확도는 99.94 %(S), 99.29%(O), 99.96 %(W), 99.45 %(ES), 98.81 % (EE)였으며, 100 epoch 진행하였을 때 정확도는 98.81 %(S), 97.03 %(O), 98.59 %(W), 92.49 %(ES), 92.17 % (EE)로, 학습이 진행됨에 따라 그 정확도가 6.96 % 까지 증가하였음을 확인할 수 있었다. More specifically, when learning data, which is PPG data for learning, is received through the receiving step (S100), it is labeled by an expert through the aforementioned differential data generation step (S200) and signal processing step (S300). The learning step is performed based on the learning data for which the answer is predetermined, and the analysis algorithm, that is, the DNN filter can be optimized. At this time, weights are added to the neurons included in each layer through a learning step, and adjustments are made repeatedly. Through this, an optimal algorithm that provides highly accurate judgment results can be configured. For reference, the recognition accuracy of S, O, W, ES, and EE increased as the deep learning of the DNN filter, that is, the learning progressed. ), 99.29% (O), 99.96 % (W), 99.45 % (ES), and 98.81 % (EE), and when 100 epochs were performed, the accuracy was 98.81 % (S), 97.03 % (O), 98.59 % (W) ), 92.49 % (ES), and 92.17 % (EE), it was confirmed that the accuracy increased to 6.96 % as learning progressed.
본 발명이 제시하는 PPG 분석 방법에서, DNN 필터의 학습을 위한 학습데이터는 도5에 예시되었다. 참고로, 도5에 예시된 피험자 데이터는 전 세계 의료기관들이 임상 연구를 위해 혹은 따른 이유로 수집한 데이터를 오픈 데이터로서 배포하는 Physionet(physionet.org)에서 획득한 것이다.In the PPG analysis method proposed by the present invention, learning data for learning the DNN filter is illustrated in FIG. For reference, the subject data illustrated in FIG. 5 is obtained from Physionet (physionet.org), which distributes data collected by medical institutions around the world for clinical research or for other reasons as open data.
이때, 모든 데이터는 125 Hz에서 8분 동안 기록되었으며, 데이터를 DNN 필터에 제공하기 위한 샘플링 속도(125 Hz)는 62.5 Hz로 줄였다. 이는, DNN 필터의 딥 러닝 효율을 높이면서도 학습데이터의 양을 줄이기 위함이다.At this time, all data was recorded for 8 minutes at 125 Hz, and the sampling rate (125 Hz) to provide data to the DNN filter was reduced to 62.5 Hz. This is to reduce the amount of training data while increasing the deep learning efficiency of the DNN filter.
참고로, PPG 데이터와 미분데이터에서 LP, HP, S, O, W는 도6에 예시된 바와 같이 정의되었다. 이때, 학습단계를 통해 DNN 필터는 전문가에 의해 PPG 데이터 및 이와 대응되는 미분데이터에 S, O, W, ES, EE의 위치가 라벨링된 학습데이터를 학습하며 목표특이점을 출력 데이터로 출력할 수 있도록 최적화되는 것이다. For reference, in PPG data and differential data, LP, HP, S, O, and W are defined as illustrated in FIG. 6. At this time, through the learning step, the DNN filter learns the training data labeled with the positions of S, O, W, ES, and EE in the PPG data and the corresponding differential data by the expert, and outputs the target singularity as output data. it will be optimized
5. 판단단계<S500>5. Judgment step <S500>
판단단계(S500)는 검출단계(S400)에서 검출된 목표특이점들로부터 생체신호 파라미터를 도출하는 단계이다.The determination step (S500) is a step of deriving bio-signal parameters from the target singularities detected in the detection step (S400).
여기서, 판단단계(S500)는 도출단계(S510), 점수화단계(S520) 및 결정단계(S530)를 포함할 수 있다.Here, the determination step (S500) may include a derivation step (S510), a scoring step (S520) and a determination step (S530).
도출단계(S510)는 검출단계(S400)에서 검출된 목표특이점을 통해 파라미터(예컨대, HR)를 도출하는 단계이다. 이때, HR은 ns gap 차이와 RS[n], RO[n], RW[n]의 연속 최댓값 위치를 사용하여 계산되었다. 이때, 동잡음에 의한 판정 오류를 최소화하기 위해 후술할 점수화단계(S520) 및 결정단계(S530)를 거쳐 최종 HR을 결정하였다.The derivation step (S510) is a step of deriving a parameter (eg, HR) through the target singularity detected in the detection step (S400). At this time, HR was calculated using the ns gap difference and the position of the consecutive maxima of R S [n], R O [n], and R W [n]. At this time, the final HR was determined through a scoring step (S520) and a decision step (S530) to be described later in order to minimize a decision error due to motion noise.
점수화단계(S520)는 도출단계(S510)에서 도출된 파라미터에 대한 DNN 필터의 인식도를 점수화한 인식도(Recognition Score)를 계산하는 단계이다. 이때, 인식도는 하기의 수학식으로부터 계산될 수 있다.The scoring step (S520) is a step of calculating a recognition score obtained by scoring the recognition level of the DNN filter for the parameters derived in the derivation step (S510). In this case, the degree of recognition may be calculated from the following equation.
[수학식][mathematical expression]
Recognition Score = max(RS[n])_0.2s+max(RO[n])_0.2s+max(RW[n])Recognition Score = max(R S [n])_0.2s+max(R O [n])_0.2s+max(R W [n])
+{sum(40-RES[n]-REE[n])_0.2s}+{sum(40-R ES [n]-R EE [n])_0.2s}
(여기서, RS[n], RO[n]), RW[n], RES[n], REE[n]은 각각 DNN 필터에 의해 반복 감지된 S, O, W, ES, EE의 횟수, max(R[n])_0.2s는 RW[n]의 최댓값이 감지된 때로부터 0.2초 이내의 R[n]의 최댓값, sum(R[n])_0.2s는: RW[n]의 최댓값이 감지된 때로부터 0.2초 이내의 R[n]의 합) (Where, R S [n], R O [n]), R W [n], R ES [n], and R EE [n] are S, O, W, ES, and S repeatedly detected by the DNN filter, respectively. The number of EEs, max(R[n])_0.2s, is the maximum value of R[n] within 0.2 seconds from when the maximum value of R W [n] is detected, sum(R[n])_0.2s is: Sum of R[n] within 0.2 seconds from when the maximum value of R W [n] was detected)
이때, 점수화단계(S520)는 여러 DNN 필터가 목표특이점을 검출한 횟수를 합하거나 에러로 인식한 횟수를 감점하여 각 목표특이점에 의해 도출된 파라미터에 대해 DNN 필터가 인식하는 정도를 점수화 한 것이다. 즉, 5개의 DNN 필터가 HR을 인식하는 정도를 점수화한 것으로 W의 인식 횟수가 최대인 값을 기준으로 0.2 s 이내의 S, O의 최대 인식 정도를 합하고 ES 와 EE의 인식횟수의 합을 감점하는 방식이다. 앞서 언급한 수학식에서 S, O, W가 모두 20점, ES와 EE가 0점을 획득할 때 100점의 인식도를 획득할 수 있다.At this time, in the scoring step (S520), the degree to which the DNN filter recognizes the parameters derived by each target singularity is scored by summing the number of detections of the target singularity by several DNN filters or deducting the number of times the target singularity is recognized as an error. In other words, the degree of recognition of HR by the five DNN filters is scored. Based on the value of the maximum number of recognitions of W, the maximum recognition degree of S and O within 0.2 s is summed, and the sum of the recognition times of ES and EE is subtracted. way to do it In the above-mentioned equation, when S, O, and W all acquire 20 points and ES and EE acquire 0 points, 100 points of recognition can be obtained.
결정단계(S530)는 점수화단계(S520)에서 계산된 인식도가 80점 내지 100점인 파라미터를 최종 파라미터로 결정하는 단계이다. 참고로, 인식도가 100점에 가까울수록 허용 가능한 오류의 크기는 낮아지므로, 인식도가 100점인 경우, 오류가 전혀 없고, 확실한 목표특이점만을 구분하여 파라미터(예컨대, HR) 연산에 활용할 수 있는 것이다. The determining step (S530) is a step of determining, as a final parameter, a parameter whose recognition degree calculated in the scoring step (S520) is 80 to 100 points. For reference, as the recognition degree approaches 100 points, the allowable error size decreases. Therefore, when the recognition degree is 100 points, there is no error at all, and only certain target singularities are distinguished and used for parameter (eg, HR) calculation.
도7을 참조하면, 본 발명은 PPG 측정을 통해 획득한 PPG 데이터를 사용하여 상술한 일련의 과정을 통해 PPG 데이터와 이에 대응하는 미분데이터로부터 S, O, W를 검출하였으며, S, O, W의 이전 위치와 현재 위치 사이의 간격을 사용하여 심장박동에서 0.7 s 지연된 HR을 획득할 수 있었다. Referring to FIG. 7, the present invention detected S, O, and W from the PPG data and the corresponding differential data through the above-described series of processes using PPG data obtained through PPG measurement, and S, O, W We were able to acquire 0.7 s delayed HR from the heartbeat using the interval between the previous and current positions of .
이하에서는, 본 발명이 제안하는 PPG 분석 방법으로부터 결정된 파라미터(예컨대, HR)의 정확도에 대한 평가를 언급하고자 한다.Hereinafter, evaluation of the accuracy of parameters (eg, HR) determined from the PPG analysis method proposed by the present invention will be described.
먼저, 도8은 도5에 예시된 데이터들에 대하여 ECG QRS 검출 방법을 사용하여 측정된 HR의 수와, DNN 필터에 의해 검출된 S, O, W의 수를 나타낸 표이다. 이때, 학습데이터에 포함된 피검자데이터의 경우, ECG QRS로부터 측정된 HR과 DNN 필터에 의해 검출된 S, O, W의 HR 판단에 대한 일치 정도는 96 % 였으며, 테스트데이터에 포함된 피검자의 데이터의 경우에는 97.5 % 였다. First, FIG. 8 is a table showing the number of HRs measured using the ECG QRS detection method and the number of S, O, and W detected by the DNN filter for the data illustrated in FIG. 5 . At this time, in the case of the subject data included in the training data, the degree of agreement between the HR measured from the ECG QRS and the HR judgment of S, O, and W detected by the DNN filter was 96%, and the subject's data included in the test data In the case of , it was 97.5%.
그리고, 도9는 본 발명이 제시하는 DNN 필터를 통해 도출된 HR과 ECG QRS 검출 방법을 사용하여 측정된 HR을 비교한 것으로, (a), (b) 및 (c)는 인식도를 고려하지 않았을 때의 ECG로부터 측정된 HR과 S, O, W 각각의 상관관계를 나타낸 것이고, (d), (e) 및 (f)는 인식도가 100점일 때 ECG로부터 측정된 HR과 S, O, W 각각의 상관관계를 나타낸 것이며, (g), (h) 및 (i)는 인식도가 80점 이상일 때 ECG로부터 측정된 HR과 S, O, W각각의 상관관계를 나타낸 것이다. In addition, Figure 9 compares the HR derived through the DNN filter proposed by the present invention and the HR measured using the ECG QRS detection method, and (a), (b) and (c) do not consider recognition. (d), (e), and (f) show the correlation between HR measured from ECG and S, O, W, respectively, and (d), (e) and (f) are HR measured from ECG and S, O, W respectively (g), (h) and (i) show the correlation between HR measured from ECG and S, O, and W, respectively, when the recognition level is 80 points or higher.
이때, 도9의 (a), (b) 및 (c)는 5개의 DNN 필터에 의해 도출된 HR과 ECG로부터 측정된 HR의 상관관계를 나타낸 것으로, 피어슨 상관계수는 DNN 필터에 의해 감지된 일부 HR에서 오류로 인해, 각각 0.36(S), 0.33(O) 및 0.41(W)의 낮은 값을 가졌다. 이때, ECG로부터 측정된 HR과 DNN 필터에 의해 도출된 HR간 차이는 2.93±17.23 bpm(S), 3.20 ±18.38 bpm(O), 2.22±15.30 bpm(W)였다. 즉, 인식도를 고려하지 않고 DNN 필터의 판정결과를 100 % 수용했을 때는 비정상적인 판정의 수가 증가할 수 있었다.At this time, (a), (b) and (c) of FIG. 9 show the correlation between HR derived by the five DNN filters and HR measured from the ECG, and the Pearson correlation coefficient is a part detected by the DNN filter Due to errors in HR, they had low values of 0.36 (S), 0.33 (O) and 0.41 (W), respectively. At this time, the difference between the HR measured from the ECG and the HR derived by the DNN filter was 2.93±17.23 bpm(S), 3.20±18.38 bpm(O), and 2.22±15.30 bpm(W). That is, when the decision result of the DNN filter was accepted 100% without considering recognition, the number of abnormal decisions could increase.
그리고, 도9의 (d), (e) 및 (f)는 5개의 DNN 필터의 인식도가 100점일 때 도출된 HR과 ECG로부터 측정된 HR의 상관관계를 나타낸 것으로, 도5 및 도8에 제시된 학습데이터 및 테스트데이터에서 측정된 10,036 중 2456(24.47 %)가 100점을 획득하였으며, 피어슨 상관계수는 각각 0.914(S), 0.871(O) 및 0.922(W)의 높은 값을 나타냈다. 이때, ECG로부터 측정된 HR과 DNN 필터에 의해 도출된 HR간 차이는 -0.02±2.80 bpm(S), 0.55 ±3.58 bpm(O), 0.06±2.60 bpm(W)였다.And, (d), (e) and (f) of FIG. 9 show the correlation between HR derived when the recognition level of the five DNN filters is 100 and the HR measured from the ECG, as shown in FIGS. 5 and 8 Of the 10,036 measured in the training data and test data, 2456 (24.47%) scored 100 points, and Pearson's correlation coefficients showed high values of 0.914 (S), 0.871 (O), and 0.922 (W), respectively. At this time, the difference between the HR measured from the ECG and the HR derived by the DNN filter was -0.02±2.80 bpm(S), 0.55±3.58 bpm(O), and 0.06±2.60 bpm(W).
또한, 도9의 (g), (h) 및 (i)는 5개의 DNN 필터의 인식도가 80점 내지 100점일 때 도출된 HR과 ECG로부터 측정된 HR의 상관관계를 나타낸 것으로, 도5 및 도8에 제시된 학습데이터 및 테스트데이터에서 측정된 10,036 중 8643(86.12 %)가 80점 이상을 획득하였으며, 피어슨 상관계수는 각각 0.912(S), 0.850(O) 및 0.919(W)의 높은 값을 나타냈다. 이때, ECG로부터 측정된 HR과 DNN 필터에 의해 도출된 HR간 차이는 0.19±4.07 bpm(S), 0.43 ±5.62 bpm(O), 0.12±3.89 bpm(W)였다. In addition, (g), (h) and (i) of FIG. 9 show the correlation between HR derived from HR and HR measured from ECG when the recognition degree of the five DNN filters is 80 to 100 points, FIG. 5 and FIG. 8643 (86.12%) out of 10,036 measured in the training data and test data presented in Figure 8 obtained a score of 80 or higher, and Pearson's correlation coefficients showed high values of 0.912 (S), 0.850 (O), and 0.919 (W), respectively. . At this time, the difference between the HR measured from the ECG and the HR derived by the DNN filter was 0.19 ± 4.07 bpm (S), 0.43 ± 5.62 bpm (O), and 0.12 ± 3.89 bpm (W).
즉, 인식도가 80점 이상인 판정결과를 수용했을 경우에 ECG를 이용하여 측정한 HR 결과와 상관계수가 0.9로 높아졌다. 이에, 인식도가 80점 내지 100점인 경우의 판정데이터로부터 최종 HR을 결정하는 본 발명이 제시하는 PPG 분석 방법은 오류가 존재하는 영역 즉, 비정상적인 데이터를 상당 수 제거함으로써 최종적으로 결정된 HR의 신뢰성을 향상시킬 수 있었다. 이때, 인식도의 허용범위는 파라미터 즉, HR 연산과정에서 허용할 수 있는 오류의 크기 및 목표특이점의 정확도를 의미하기 때문에 사용자가 목적에 맞게 조정할 수 있다.In other words, when the judgment result with recognition level of 80 points or more was accepted, the correlation coefficient with the HR result measured using ECG increased to 0.9. Accordingly, the PPG analysis method proposed by the present invention, which determines the final HR from the judgment data when the recognition degree is 80 to 100 points, improves the reliability of the finally determined HR by removing a large number of error areas, that is, abnormal data. could make it At this time, since the permissible range of the degree of recognition means parameters, that is, the allowable error size and the accuracy of the target singularity in the HR calculation process, the user can adjust it according to the purpose.
참고로, 인식도가 1 점 내지 79 점인 수는 1356(13.51 %)로, 잡음등의 이유로 EE, ES의 점수가 높았으며, 일부 HR은 부정맥으로 인해 인식도가 0 점인 경우도 있었다. For reference, 1356 (13.51%) had a recognition score of 1 to 79, and EE and ES scores were high due to noise, etc., and some HRs had a recognition score of 0 due to arrhythmia.
위에서 설명한 바와 같이 본 발명에 대한 구체적인 설명은 첨부된 도면을 참조한 실시 예에 의해서 이루어졌지만, 상술한 실시 예는 본 발명의 바람직한 예를 들어 설명하였을 뿐이기 때문에, 본 발명이 상기의 실시 예에만 국한되는 것으로 이해되어져서는 아니 되며, 본 발명의 권리범위는 후술하는 청구범위 및 그 균등개념으로 이해되어져야 할 것이다.As described above, the detailed description of the present invention has been made by the embodiments with reference to the accompanying drawings, but since the above-described embodiments have only been described as preferred examples of the present invention, the present invention is limited to the above embodiments. It should not be understood as being, and the scope of the present invention should be understood as the following claims and equivalent concepts thereof.
100 : PPG 분석 장치
110 : 수신부
120 : 미분데이터 생성부
130 : 신호처리부
140 : 저장부
150 : 학습부
160 : 검출부
170 : 판단부
180 : 제어부100: PPG analysis device
110: receiver
120: differential data generation unit
130: signal processing unit
140: storage unit
150: learning unit
160: detection unit
170: judgment unit
180: control unit
Claims (6)
수신부가 상기 PPG 데이터를 수신하는 수신단계;
미분데이터 생성부가 상기 수신단계에서 수신된 PPG 데이터를 미분한 미분데이터를 생성하는 미분데이터 생성단계;
신호처리부가 상기 PPG 데이터 및 이와 대응되어 생성된 미분데이터 내 목표특이점이 나타나는 타겟 영역(Target zone)의 데이터는 모두 포함되되, 상기 타겟 영역외 주변 데이터는 선택적으로 포함되도록 기 설정된 분석구간마다 상기 PPG 데이터 및 이와 대응되어 생성된 미분데이터에 포함된 데이터 빈도를 조정하여 데이터 크기가 축소된 입력 데이터를 생성하는 신호 처리단계;
검출부가 기 정의된 분석 알고리즘을 통해 다수의 PPG 데이터와 각각의 PPG 데이터에 대응되는 미분데이터 내 목표특이점에 대한 레이블이 저장된 학습 데이터를 학습하면서 최적화된 분석 알고리즘을 이용하여 상기 신호처리단계에서 신호 처리된 임의의 입력 데이터 내 목표특이점을 검출하는 검출단계; 및
판단부가 상기 검출단계에서 검출된 목표특이점으로부터 파라미터를 도출하는 판단단계; 를 포함하고,
상기 분석 알고리즘은, 입력층(Input layer)와 출력층(Output layer) 사이에 적어도 둘 이상의 은닉층(Hidden layer)으로 구성된 DNN(Deep Neural Network) 필터이며,
상기 목표특이점은, 상기 PPG 데이터 중 심박동에 의한 최댓값 지점(Systolic, S), 심박동 직전의 최솟값 지점(Onset, O), 상기 미분 데이터 중 최댓값 지점(W), 상기 PPG 데이터 중 심박동을 측정할 수 없는 영역인 오류 영역(Error Region)의 시작지점(Error Start; ES) 및 상기 오류 영역의 끝 지점(Error End; EE) 중 적어도 어느 하나를 포함하는 것을 특징으로 하는
DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 방법.
As an analysis method for deriving PPG parameters from PPG data measured from a photoplethysmogram (PPG) measurement sensor using an analysis algorithm to which a deep neural network (DNN) filter is applied,
a reception step in which a reception unit receives the PPG data;
a differential data generation step in which a differential data generator generates differential data obtained by differentially dividing the PPG data received in the receiving step;
The PPG signal processing unit includes all the data of the target zone in which the target singularity appears in the PPG data and the differential data generated corresponding thereto, but selectively includes the PPG data outside the target zone for each predetermined analysis section. a signal processing step of generating input data having a reduced data size by adjusting a data frequency included in the data and differential data generated corresponding thereto;
Signal processing in the signal processing step by using an optimized analysis algorithm while the detection unit learns learning data in which labels for target singular points in a plurality of PPG data and differential data corresponding to each PPG data are stored through a predefined analysis algorithm random input data A detection step of detecting my target singularity; and
a determination step in which a determination unit derives a parameter from the target singularity detected in the detection step; including,
The analysis algorithm is a Deep Neural Network (DNN) filter composed of at least two hidden layers between an input layer and an output layer,
The target singularity may measure the maximum value point (Systolic, S) by heartbeat among the PPG data, the minimum value point immediately before heartbeat (Onset, O), the maximum value point (W) among the differential data, and the heartbeat among the PPG data. Characterized in that it includes at least one of the error region's start point (Error Start; ES) and the error region's end point (Error End; EE))
Photoplethysmogram (PPG) parameter analysis method using DNN filter.
상기 신호 처리단계는,
상기 타겟 영역외 주변 데이터는 낮은 빈도로 선택하여 분석구간에 해당하는 상기 PPG 데이터 및 이와 대응되는 미분데이터에 포함된 데이터 크기를 축소하는 초점화(Focusing) 단계; 및
상기 초점화 단계에서 신호 처리된 PPG 데이터 및 이와 대응되는 미분데이터의 최댓값 및 최솟값을 1 내지 -1로 일반화(normalizing)하며 입력 데이터로 변환하는 일반화 단계; 를 포함하고,
상기 분석구간은 상기 DNN 필터에 입력되는 입력 데이터의 구간을 결정하기 위한 윈도우의 크기 및 이동간격을 포함하는 것을 특징으로 하는
DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 방법.
According to claim 1,
The signal processing step,
a focusing step of selecting peripheral data other than the target area at a low frequency and reducing the data size included in the PPG data corresponding to the analysis section and the differential data corresponding thereto; and
a normalization step of normalizing the maximum and minimum values of the PPG data signal-processed in the focusing step and the differential data corresponding thereto to 1 to -1 and converting them into input data; including,
Characterized in that the analysis section includes a size and movement interval of a window for determining a section of input data input to the DNN filter.
Photoplethysmogram (PPG) parameter analysis method using DNN filter.
상기 검출단계는, 상기 목표특이점 중 어느 하나의 목표특이점을 검출하도록 상기 검출단계에서 검출하고자 하는 목표특이점 수와 대응되는 수로 구비된 DNN 필터로부터 상기 목표특이점을 각각 검출하는 것을 특징으로 하는
DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 방법.
According to claim 2,
The detecting step is characterized in that each of the target singular points is detected from a DNN filter equipped with a number corresponding to the number of target singular points to be detected in the detecting step so as to detect any one target singular point among the target singular points.
Photoplethysmogram (PPG) parameter analysis method using DNN filter.
상기 검출단계는, 어느 하나의 목표특이점을 검출하기 위한 단일의 DNN 필터를 이용하여 연속적인 PPG 데이터의 대부분의 영역에 대한 재평가가 이루어지도록 상기 윈도우가 이동함에 따라 상기 DNN 필터에 의해 분석이 이루어지는 입력 데이터의 분석구간 중 일부 영역이 오버랩되며, 오버랩 된 영역의 목표특이점을 중복 검출하는 것을 특징으로 하는
DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 방법.
According to claim 3,
In the detecting step, as the window moves so that most areas of continuous PPG data are re-evaluated using a single DNN filter for detecting any one target singularity, the input analyzed by the DNN filter Characterized in that some areas of the analysis section of the data overlap, and the target singularity of the overlapped area is redundantly detected
Photoplethysmogram (PPG) parameter analysis method using DNN filter.
상기 판단단계는,
상기 검출단계에서 검출된 목표특이점을 통해 파라미터를 도출하는 도출단계;
상기 S, O, W, ES 및 EE를 개별적으로 검출하기 위한 5개의 DNN 필터가 목표특이점을 반복 감지한 횟수를 가감하여, 상기 S, O, W 중 어느 하나의 이전 위치와 현재 위치 사이의 심장박동에서 상기 도출단계에서 도출된 파라미터에 대한 상기 DNN 필터들의 인식도(Recognition Score)를 점수화하는 점수화단계; 및
상기 점수화단계에서 계산된 인식도가 80점 내지 100점인 파라미터를 최종 파라미터로 결정하는 결정단계; 를 포함하고,
상기 인식도는 하기의 수학식
[수학식]
Recognition Score = max(RS[n])_0.2s+max(RO[n])_0.2s+max(RW[n])
+{sum(40-RES[n]-REE[n])_0.2s}
―여기서, RS[n], RO[n], RW[n], RES[n], REE[n]은 각각 DNN 필터에 의해 반복 감지된 S, O, W, ES, EE의 횟수, max(R[n])_0.2s는 RW[n]의 최댓값이 감지된 때로부터 0.2초 이내의 R[n]의 최댓값, sum(R[n])_0.2s는: RW[n]의 최댓값이 감지된 때로부터 0.2초 이내의 R[n]의 합임―
으로부터 계산되는 것을 특징으로 하는
DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 방법.
According to claim 4,
The judgment step is
a derivation step of deriving a parameter through the target singularity detected in the detection step;
The five DNN filters for individually detecting the S, O, W, ES, and EE increase or decrease the number of times the target singularity is repeatedly detected, and the heart between the previous position and the current position of any one of the S, O, and W a scoring step of scoring Recognition Scores of the DNN filters for the parameters derived in the derivation step in beats; and
a determination step of determining a parameter whose recognition degree calculated in the scoring step is between 80 and 100 points as a final parameter; including,
The recognition degree is expressed by the following equation
[mathematical expression]
Recognition Score = max(R S [n])_0.2s+max(R O [n])_0.2s+max(R W [n])
+{sum(40-R ES [n]-R EE [n])_0.2s}
―Where, R S [n], R O [n], R W [n], R ES [n], and R EE [n] are S, O, W, ES, and EE repeatedly detected by the DNN filter, respectively. The number of times, max(R[n])_0.2s is the maximum value of R[n] within 0.2 seconds from when the maximum value of R W [n] is detected, sum(R[n])_0.2s is: R Sum of R[n] within 0.2 seconds from when the maximum value of W [n] is detected—
characterized in that it is calculated from
Photoplethysmogram (PPG) parameter analysis method using DNN filter.
제어부가 상기 학습데이터를 저장부에 저장하는 저장단계; 및
학습부가 상기 DNN 필터를 통해 상기 학습데이터를 학습하면서 임의의 PPG 데이터 및 이와 대응되는 미분데이터 내 목표특이점 존재 유무 판단이 이루어지도록 상기 DNN 필터를 최적화하는 학습단계; 를 더 포함하는 것을 특징으로 하는
DNN 필터를 이용한 광용적맥파(PPG) 파라미터 분석 방법.According to claim 5,
a storage step in which the control unit stores the learning data in a storage unit; and
a learning step of optimizing the DNN filter so that a learning unit learns the learning data through the DNN filter and determines whether or not a target singularity exists in arbitrary PPG data and differential data corresponding thereto; characterized in that it further comprises
Photoplethysmogram (PPG) parameter analysis method using DNN filter.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200159618A KR102493879B1 (en) | 2020-11-25 | 2020-11-25 | Method for analyzing parameter of photoplethysmography using deep neural network filters |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200159618A KR102493879B1 (en) | 2020-11-25 | 2020-11-25 | Method for analyzing parameter of photoplethysmography using deep neural network filters |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220072231A KR20220072231A (en) | 2022-06-02 |
KR102493879B1 true KR102493879B1 (en) | 2023-02-06 |
Family
ID=81985009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200159618A KR102493879B1 (en) | 2020-11-25 | 2020-11-25 | Method for analyzing parameter of photoplethysmography using deep neural network filters |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102493879B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102707417B1 (en) | 2022-11-21 | 2024-09-19 | 주식회사 뉴엠 | A system for analyzing the status and identity of a person using photoplethysmography |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120021098A (en) | 2010-08-31 | 2012-03-08 | 상지대학교산학협력단 | Method for evaluting vascular aging using frequency domain analysis of pulse waves |
KR101409800B1 (en) | 2012-11-08 | 2014-06-24 | 상지대학교산학협력단 | A Respiration Ingredient Extraction Unit Using Pulse Wave and Method Thereof |
KR101453644B1 (en) * | 2013-01-15 | 2014-10-22 | 연세대학교 산학협력단 | Peak detection method, peak detection apparatus and fetal heart beat detection apparatus |
KR20180052943A (en) * | 2016-11-11 | 2018-05-21 | 충북도립대학산학협력단 | Atrial fibrillation discriminating device and atrial fibrillation discrimination method using a neural network |
KR102523994B1 (en) * | 2017-11-30 | 2023-04-21 | 주식회사 라이프사이언스테크놀로지 | Apparatus for judgment of drinking using vital sign and method thereof |
KR102008196B1 (en) * | 2017-12-05 | 2019-08-07 | 아주대학교 산학협력단 | Apparatus for generating of Potassium level determination model using ECG and method thereof |
-
2020
- 2020-11-25 KR KR1020200159618A patent/KR102493879B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20220072231A (en) | 2022-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Stetson | Determining heart rate from noisy pulse oximeter signals using fuzzy logic | |
KR100462182B1 (en) | Apparatus and method for detecting heart beat using ppg | |
US6931269B2 (en) | Multi-domain motion estimation and plethysmographic recognition using fuzzy neural-nets | |
US20240335155A1 (en) | Annotation of a wavefront | |
US20040039273A1 (en) | Cepstral domain pulse oximetry | |
EP1611847A1 (en) | Validating pulse oximetry signals in the potential presence of artifact | |
CN107837082A (en) | Electrocardiogram automatic analysis method and device based on artificial intelligence self study | |
KR20180010062A (en) | Apparatus and method for extracting bio-signal feature, apparatus for detecting bio-information | |
US9049994B2 (en) | System for cardiac arrhythmia detection and characterization | |
KR102154652B1 (en) | Method for estimating continuous blood pressure using recurrent neural network and apparatus thereof | |
KR102627661B1 (en) | Method for analyzing photoplethysmography data and recording medium storing program to implement the method | |
CN113397519B (en) | Cardiovascular health status detection device | |
Hao et al. | Spectro-temporal feature based multi-channel convolutional neural network for ecg beat classification | |
KR102493879B1 (en) | Method for analyzing parameter of photoplethysmography using deep neural network filters | |
KR102428259B1 (en) | Devices, methods and programs for predicting hypotension in patients during surgery | |
Cherif et al. | Detection of artifacts on photoplethysmography signals using random distortion testing | |
KR102403349B1 (en) | Method, program and system for analyzing the data related to stroke volume by using ai | |
KR20240015709A (en) | METHOD AND APPARATUS FOR NON-INVASIVE HbA1c OR GLUCOSE LEVEL MEASUREMENT USING MACHINE LEARNING | |
Utkarsh et al. | Classification of atrial arrhythmias using neural networks | |
CN118648883B (en) | Dual-mode blood pressure calculation method, device, equipment and storage medium | |
Tatulli et al. | Unsupervised segmentation of heart sounds from abrupt changes detection | |
US20230293112A1 (en) | Physiological Signal Feature Extraction Method and Physiological Signal Feature Extraction Device Thereof | |
JP2022523835A (en) | Atrial fibrillation prediction model and its prediction system | |
TWI846293B (en) | Apparatuses for detecting heartbeat and methods for detecting heartbeat | |
Santos et al. | Detection of the S2 split using the Hilbert and wavelet transforms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20201125 |
|
PA0201 | Request for examination | ||
PG1501 | Laying open of application | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220620 Patent event code: PE09021S01D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20230119 |
|
PG1601 | Publication of registration |