KR102493242B1 - Method and System for Judging Aortic Valve Stenosis Risk and Other Cardiovascular Diseases Risk from Photoplethysmography through Artificial Intelligence Learning - Google Patents
Method and System for Judging Aortic Valve Stenosis Risk and Other Cardiovascular Diseases Risk from Photoplethysmography through Artificial Intelligence Learning Download PDFInfo
- Publication number
- KR102493242B1 KR102493242B1 KR1020210039594A KR20210039594A KR102493242B1 KR 102493242 B1 KR102493242 B1 KR 102493242B1 KR 1020210039594 A KR1020210039594 A KR 1020210039594A KR 20210039594 A KR20210039594 A KR 20210039594A KR 102493242 B1 KR102493242 B1 KR 102493242B1
- Authority
- KR
- South Korea
- Prior art keywords
- risk
- aortic valve
- valve stenosis
- image
- photoplethysmogram
- Prior art date
Links
- 208000003017 Aortic Valve Stenosis Diseases 0.000 title claims abstract description 93
- 206010002906 aortic stenosis Diseases 0.000 title claims abstract description 93
- 238000013186 photoplethysmography Methods 0.000 title claims abstract description 61
- 208000024172 Cardiovascular disease Diseases 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013473 artificial intelligence Methods 0.000 title description 3
- 238000013528 artificial neural network Methods 0.000 claims abstract description 51
- 230000003287 optical effect Effects 0.000 claims abstract description 30
- 238000003384 imaging method Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 12
- 230000033001 locomotion Effects 0.000 claims description 44
- 238000007781 pre-processing Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 16
- 239000003086 colorant Substances 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000036772 blood pressure Effects 0.000 claims description 7
- 230000002060 circadian Effects 0.000 claims description 6
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 4
- 210000004204 blood vessel Anatomy 0.000 claims description 4
- 229910052760 oxygen Inorganic materials 0.000 claims description 4
- 239000001301 oxygen Substances 0.000 claims description 4
- 208000031481 Pathologic Constriction Diseases 0.000 claims description 2
- 210000001765 aortic valve Anatomy 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 208000037804 stenosis Diseases 0.000 claims description 2
- 230000036262 stenosis Effects 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 claims 8
- 238000012502 risk assessment Methods 0.000 claims 4
- 230000011218 segmentation Effects 0.000 claims 3
- 239000012528 membrane Substances 0.000 claims 1
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- 201000010099 disease Diseases 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 206010012601 diabetes mellitus Diseases 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000002565 electrocardiography Methods 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 239000000090 biomarker Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010027339 Menstruation irregular Diseases 0.000 description 1
- 206010042434 Sudden death Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 208000037998 chronic venous disease Diseases 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Abstract
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 방법을 제공한다. 본 발명의 실시예에 따른 방법은 (a) 이미지 생성 모듈이 정상인의 제1 광용적맥파(Photoplethysmography, PPG), 대동맥판막협착증 환자의 제2 광용적맥파 및 대동맥판막협착증과 심혈관 질환을 모두 갖는 환자의 제3 광용적맥파를 이미지화하여 학습 이미지들을 생성하는 단계, (b) 신경망(Neural Network)에 상기 (a) 단계에서 생성된 학습 이미지들이 학습되는 학습 단계로서, 상기 신경망의 입력층에 상기 학습 이미지들이 입력되고, 상기 신경망의 출력층을 통해 입력된 학습 이미지에 대한 대동막판막협착증 위험도 및 심혈관 질환 위험도가 출력되도록 학습되는, 학습 단계 및 (c) 학습이 완료된 상기 신경망에 임의의 개체로부터 획득한 광용적맥파의 이미지가 입력층을 통해 질의되고, 상기 신경망의 출력층을 통해 질의된 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 출력되는 단계를 포함할 수 있다.A method for determining the risk of aortic valve stenosis using photoplethysmography is provided. The method according to an embodiment of the present invention (a) includes a first photoplethysmography (PPG) of a normal person, a second photoplethysmography (PPG) of a patient with aortic valve stenosis, and a patient with both aortic valve stenosis and cardiovascular disease. A step of generating training images by imaging the third optical pulse wave of (b) a learning step in which the training images generated in step (a) are learned in a neural network, wherein the learning is applied to the input layer of the neural network A learning step in which images are input, and the aortic valve stenosis risk and cardiovascular disease risk are learned to be output for the training image input through the output layer of the neural network, and (c) obtained from an arbitrary individual to the neural network after learning is completed. The method may include querying an image of a photoplethysmogram through an input layer and outputting a risk of aortic valve stenosis and a risk of cardiovascular disease for the queryed image through an output layer of the neural network.
Description
본 발명은 인공지능 학습을 통해 광용적맥파로부터 대동맥판막협착증 및 기타 심혈관 질환 위험도를 판단하는 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for determining the risk of aortic valve stenosis and other cardiovascular diseases from photoplethysmography through artificial intelligence learning.
대동맥판막협착증은 대동맥 판막이 경화하는 질환으로, 노년층에서 가장 흔히 발견되는 심혈관 질환이다. 최근 고령화 사회로 접어듦에 따라, 대동맥판막협착증 환자는 2015년부터 2019년까지 약 69%가 증가하는 추세이다. 대동맥판막협착증은 장기간의 무증상으로 인해 초기 질병 진단이 어려우나, 질병 방치 시 심장마비 등의 급사 위험이 존재한다. 정확한 진단을 위해서는 고가의 초음파 장비를 사용하는 것이 필요하며, 그 검사 시간 또한 오래 소요된다.Aortic valve stenosis is a disease in which the aortic valve is hardened, and is the most common cardiovascular disease in the elderly. As we enter an aging society, the number of patients with aortic valve stenosis is increasing by about 69% from 2015 to 2019. Aortic valve stenosis is difficult to diagnose in its early stages due to the long-term asymptomatic nature, but there is a risk of sudden death such as heart attack if the disease is left untreated. For accurate diagnosis, it is necessary to use expensive ultrasound equipment, and the examination time is also long.
따라서, 의료기관 내원 없이 간편하고 빠르며 정확한 대동맥판막협착증 질병 판단 시스템의 개발이 요구되고 있는 실정이다.Therefore, there is a demand for the development of a simple, fast and accurate aortic valve stenosis disease determination system without visiting a medical institution.
관련 종래기술을 살펴보면 다음과 같다.The related prior art is as follows.
미국공개특허 제2016/0058308호는 광용적맥파 신호를 이용하여 당뇨병을 진단하는 기술을 제안하며, 당뇨병 진단 뿐 아니라 질병의 진행 정도, 발병 가능성, 당뇨병으로 인한 합병증 유무, 합병증 발생 가능성을 예측하는 기술에 관한 것이다. 광용적맥파를 기계학습함으로써 당뇨병을 예측할 수는 있지만, 생체 지표를 함께 학습하기 때문에 실제 당뇨병을 예측하기 위해서 광용적맥파 신호 이외에도 다수의 생체 지표를 모두 획득하여 입력하여야 하는 단점을 가지며, 2개의 광용적맥파 신호를 이용하여 맥파전달시간을 따로이 연산해야하는 단점을 갖는다.U.S. Patent Publication No. 2016/0058308 proposes a technology for diagnosing diabetes using a photoplethysmogram signal, and a technology for diagnosing diabetes as well as predicting the progress of the disease, the possibility of onset, the existence of complications due to diabetes, and the possibility of complications. It is about. Diabetes can be predicted by machine learning of photoplethysmograms, but since biomarkers are learned together, a number of biomarkers must be acquired and input in addition to photoplethysmogram signals in order to predict actual diabetes. It has a disadvantage in that the pulse wave propagation time must be separately calculated using the volumetric pulse wave signal.
중국공개특허 제106901723호는 비정상적인 ECG 신호를 패턴화하여 여러 종류의 비정상적 ECG를 분류하며, 보다 구체적으로 RNN, CNN 알고리즘을 이용하여 비정상적인 ECG 신호를 감지하는 기술을 제안한다. 이를 위해, 3개의 전극을 착용 또는 부착해야 하는 번거로움이 존재한다.Chinese Patent Publication No. 106901723 proposes a technique for classifying various types of abnormal ECGs by patterning abnormal ECG signals, and more specifically detecting abnormal ECG signals using RNN and CNN algorithms. To this end, there is a hassle of wearing or attaching three electrodes.
한국등록특허 제2108961호는 이미지 기반의 인공지능 딥러닝을 이용하여 혈압을 추정하는 기술을 제안한다. 카메라를 통해 촬영된 영상을 획득하여, 영상의 프레임마다 변화하는 색상 성분 값을 이용하여 광용적맥파 신호를 측정하고, 측정된 광용적맥파 신호에서 형태학적 특징과 스펙트럼 특징을 나누어 추출한 후 이를 이용하여 혈압을 추정하게 된다. 혈압을 측정하는 것에 그치고, 광용적맥파 신호를 측정하기 위해 RGB 영상을 처리하는 과정이 매우 복잡하다.Korean Patent Registration No. 2108961 proposes a technique for estimating blood pressure using image-based artificial intelligence deep learning. An image captured by a camera is acquired, a photoplethysmogram signal is measured using color component values that change for each frame of the image, and morphological and spectral features are extracted from the measured photoplethysmogram signal by dividing them, and then using this blood pressure is estimated. The process of processing an RGB image to measure a photoplethysmogram signal rather than just measuring blood pressure is very complicated.
본 발명은 전술한 종래기술의 문제점을 해결하기 위해 안출된 것으로, 기계학습의 입력으로 복잡성이 높은 광용적맥파 신호를 그대로 학습 데이터로 사용하는 대신에, 소정의 전처리 과정을 거쳐 광용적맥파 신호를 이미지화한 이미지를 학습 데이터로 사용함으로써, 학습의 결과로 생성된 예측 모델의 예측 정확성을 향상시키기 위한 방법 및 시스템을 제공하는 것에 그 목적이 있다.The present invention has been made to solve the above-mentioned problems of the prior art, and instead of using an optical pulse wave signal with high complexity as learning data as an input of machine learning, an optical pulse wave signal is obtained through a predetermined preprocessing process. An object of the present invention is to provide a method and system for improving the prediction accuracy of a predictive model generated as a result of learning by using an imaged image as training data.
또한, 본 발명은 시간-주파수 도메인에서 주파수 변화도에 따라 서로 다른 색으로 표현된 이미지를 학습 데이터로 사용함에 따라, 높은 정확도로 대동맥판막협착증 위험도 및/또는 심혈관 질환 위험도를 연산하는 방법 및 시스템을 제공하는 것에 그 목적이 있다.In addition, the present invention provides a method and system for calculating the risk of aortic valve stenosis and / or the risk of cardiovascular disease with high accuracy by using images represented in different colors according to the frequency gradient in the time-frequency domain as training data. Its purpose is to provide
또한, 본 발명은 광용적맥파 신호를 기설정된 시간마다 분할한 복수개의 분할 광용적맥파 신호를 각각 이미지화하여 신경망에 학습시키기 때문에, 임의의 개체로부터 상기 기설정된 시간만큼의 광용적맥파 신호만을 획득하여도 대동맥판막협착증 등의 심장 질환 위험도가 판단가능하게 되는 방법 및 시스템을 제공하는 것에 그 목적이 있다.In addition, since the present invention images a plurality of divided photoplethysmography signals obtained by dividing the photoplethysmogram signal at predetermined time intervals and trains the neural network, only the photoplethysmogram signal for the predetermined time period is obtained from an arbitrary individual. An object of the present invention is to provide a method and system in which the risk of heart disease such as aortic valve stenosis can be determined.
또한, 본 발명은 모션 센서를 통해 획득된 모션 데이터가 기설정된 기준을 모두 만족할 경우에 획득된 광용적맥파 신호가 유효한 것으로 판단하여, 판단이 정확성이 높은 방법 및 시스템을 제공하는 것에 그 목적이 있다.In addition, an object of the present invention is to provide a method and system with high accuracy in determining that an optical pulse wave signal obtained when motion data acquired through a motion sensor satisfies all predetermined criteria is valid. .
또한, 본 발명은 광용적맥파 신호, 온도 데이터 및 모션 데이터를 이용하여 개체의 다양한 생체 신호를 연산 가능한 방법 및 시스템을 제공하는 것에 그 목적이 있다.Another object of the present invention is to provide a method and system capable of calculating various biological signals of an individual using a photoplethysmogram signal, temperature data, and motion data.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예는, (a) 이미지 생성 모듈이 정상인의 제1 광용적맥파(Photoplethysmography, PPG), 대동맥판막협착증 환자의 제2 광용적맥파 및 대동맥판막협착증과 심혈관 질환을 모두 갖는 환자의 제3 광용적맥파를 이미지화하여 학습 이미지들을 생성하는 단계, (b) 신경망(Neural Network)에 상기 (a) 단계에서 생성된 학습 이미지들이 학습되는 학습 단계로서, 상기 신경망의 입력층에 상기 학습 이미지들이 입력되고, 상기 신경망의 출력층을 통해 입력된 학습 이미지에 대한 대동막판막협착증 위험도 및 심혈관 질환 위험도가 출력되도록 학습되는, 학습 단계 및 (c) 학습이 완료된 상기 신경망에 임의의 개체로부터 획득한 광용적맥파의 이미지가 입력층을 통해 질의되고, 상기 신경망의 출력층을 통해 질의된 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 출력되는 단계를 포함하는, 광용적맥파를 이용한 대동맥판막협착증 위험도 판단 방법을 제공한다.An embodiment of the present invention for solving the above problems is, (a) an image generating module is a first photoplethysmography (PPG) of a normal person, a second photoplethysmography of a patient with aortic valve stenosis, and aortic valve stenosis A step of generating learning images by imaging a third photoplethysmogram of a patient with both cardiovascular disease and cardiovascular disease, (b) a learning step of learning the learning images generated in step (a) in a neural network, wherein the A learning step in which the learning images are input to the input layer of the neural network, and learning to output the aortic valve stenosis risk and cardiovascular disease risk for the learning image input through the output layer of the neural network, and (c) the learning completed neural network a photoplethysmogram image obtained from an arbitrary individual is queried through an input layer, and the aortic valve stenosis risk and cardiovascular disease risk for the queryed image are output through an output layer of the neural network. Provides a method for determining the risk of aortic valve stenosis using
일 실시예에 있어서, 상기 학습 이미지는 2차원 이미지로서, 상기 2차원을 구성하는 어느 하나의 차원은 시간이고, 다른 하나의 차원은 주파수이며, 상기 2차원 상에서 광용적맥파 신호의 주파수 변화도에 따라 서로 다른 색으로 표현된 이미지일 수 있다.In one embodiment, the learning image is a two-dimensional image, one dimension constituting the two dimensions is time, and the other dimension is frequency, and the frequency gradient of the optical pulse wave signal on the two dimensions It may be an image expressed in different colors depending on the color.
일 실시예에 있어서, 상기 신경망은 CNN(Convolution Neural Network)일 수 있다.In one embodiment, the neural network may be a Convolution Neural Network (CNN).
일 실시예에 있어서, 상기 (a) 단계 이전, 전처리 모듈이 제1 내지 제3 광용적맥파를 기설정된 시간마다 분할하여 복수개의 분할 광용적맥파를 생성하는 단계를 더 포함하고, 상기 (a) 단계는, 상기 이미지 생성 모듈이 복수개의 분할 제1 내지 제3 광용적맥파 각각을 이미지화하여 복수개의 분할 학습 이미지를 생성하는 단계를 더 포함하며, 상기 (b) 단계는, 상기 신경망에 상기 분할 학습 이미지가 학습되는 단계를 더 포함할 수 있다.In one embodiment, the step of generating a plurality of split photoplethysmogram waves by dividing the first to third photoplethysmogram waves by a pre-processing module at predetermined time intervals before the step (a) is further included, and the step of (a) The step further includes generating, by the image generating module, a plurality of divided learning images by imaging each of the plurality of divided first to third optical pulse waves, wherein the step (b) is performed by the neural network. The step of learning the image may be further included.
일 실시예에 있어서, 상기 (b) 단계는, 상기 제1 광용적맥파와 상기 제2 광용적맥파가 상기 신경망에 분류 학습되거나, 상기 제1 광용적맥파와 상기 제3 광용적맥파가 상기 신경망에 분류 학습되거나, 상기 제2 광용적맥파와 상기 제3 광용적맥파가 상기 신경망에 분류 학습되는 단계를 더 포함할 수 있다.In an embodiment, in the step (b), the first PDW and the second PDW are classified and learned by the neural network, or the first PDW and the third PDW are classified and learned by the neural network. The method may further include classifying and learning the second photoplethysmogram wave and the third photoplethysmogram wave in the neural network.
일 실시예에 있어서, (d) 상기 (c) 단계에서 출력되는 대동맥판막협착증 위험도 및 심혈관 질환 위험도에 따라, 질의된 이미지가 획득된 상기 임의의 개체가 정상인 그룹, 대동맥판막협착증 그룹 및 대동맥판막협착증 및 심혈관 질환을 모두 갖는 그룹 중 어느 하나의 그룹으로 분류되는 단계를 더 포함할 수 있다.In one embodiment, (d) according to the risk of aortic valve stenosis and the risk of cardiovascular disease output in step (c), the random subject from which the query image was obtained is a normal group, an aortic valve stenosis group, and aortic valve stenosis group. And it may further include the step of being classified into any one of the groups having both cardiovascular diseases.
일 실시예에 있어서, (a) 임의의 개체로부터 획득한 광용적맥파의 이미지가 입력되는 단계 및 (b) 입력된 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 연산되고, 연산된 위험도가 출력되는 단계;를 포함하는, 광용적맥파를 이용한 대동막판막협착증 위험도 판단 방법으로서, 상기 입력된 광용적맥파 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도를 연산하는 모델은, 정상인의 제1 광용적맥파(Photoplethysmography, PPG), 대동맥판막협착증 환자의 제2 광용적맥파 및 대동맥판막협착증과 심혈관 질환을 모두 갖는 환자의 제3 광용적맥파를 이미지화하여 생성된 학습 이미지들을 학습한 신경망(Neural Network)으로서, 상기 신경망의 입력층에 상기 학습 이미지들이 입력되고, 상기 신경망의 출력층을 통해 입력된 학습 이미지들에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 출력되도록 학습한 것을 특징으로 하는, 광용적맥파를 이용한 대동맥판막협착증 위험도 판단 방법을 제공한다.In one embodiment, (a) inputting an image of a photoplethysmogram obtained from an individual; (b) calculating the aortic valve stenosis risk and cardiovascular disease risk for the input image; and outputting the calculated risk. A method for determining the risk of aortic valve stenosis using photoplethysmography, wherein the model for calculating the risk of aortic valve stenosis and the risk of cardiovascular disease for the input photoplethysmogram image is A neural network that learns the learning images generated by imaging the photoplethysmography (PPG), the second photoplethysmography (PPG) of a patient with aortic valve stenosis, and the third photoplethysmogram of a patient with both aortic valve stenosis and cardiovascular disease. , The learning images are input to the input layer of the neural network, and the aortic valve stenosis risk and cardiovascular disease risk are output for the learning images input through the output layer of the neural network. A method for determining the risk of aortic valve stenosis is provided.
또한, 본 발명은 상기 방법이 적용된 시스템으로서, 개체에 부착되어, 부착된 개체로부터 광용적맥파를 획득하도록 구성된 PPG센서(110)와, 상기 PPG 센서(110)에서 획득된 광용적맥파 신호를 외부 장치(200)에 전송하도록 구성된 통신 모듈(140)이 설치된, 패치(100) 및 상기 통신 모듈(140)과 상호 통신 가능하도록 구성되고, 상기 통신 모듈(140)로부터 전송된 광용적맥파 신호를 이미지화하고, 광용적맥파 신호 이미지를 상기 신경망의 입력층에 질의하여 출력층을 통해 질의된 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 출력되는 예측 모듈(230)을 포함하는, 외부 장치(200)를 포함하는, 광용적맥파를 이용한 대동맥판막협착증 위험도 판단 시스템을 제공한다.In addition, the present invention is a system to which the above method is applied, wherein the
일 실시예에 있어서, 상기 패치(100)는, 상기 개체의 온도를 측정하도록 구성된 온도 센서(120) 및 상기 개체의 움직임에 따른 모션 데이터를 출력하도록 구성된 모션 센서(130)를 더 포함하고, 상기 외부 장치(200)는, 상기 PPG 센서(110)에서 획득된 광용적맥파 신호, 상기 온도 센서(120)에서 측정된 온도 및 상기 모션 센서(130)에서 출력된 모션 데이터 중 적어도 하나를 이용하여 상기 개체의 생체 신호를 연산하도록 구성된, 생체 신호 연산 모듈(260)을 더 포함할 수 있다.In one embodiment, the
일 실시예에 있어서, 상기 외부 장치(200)는, 상기 광용적맥파 신호에 대해 제로크로싱법을 적용하여 설정된 제로크로싱 지점을 기준으로 복수의 일주기 파형 구간을 결정하고, 일주기 파형 구간에서의 최고점과 최저점을 광용적맥파 특징점으로 추출하도록 구성된 특징점 추출 모듈(250)을 더 포함하고, 상기 생체 신호 연산 모듈(260)은 상기 특징점 추출 모듈(250)에 의해 추출된 광용적맥파 특징점을 이용하여 상기 개체의 생체 신호를 연산하도록 구성될 수 있다.In one embodiment, the
일 실시예에 있어서, 상기 생체 신호 연산 모듈(260)은, 상기 광용적맥파 신호, 상기 온도 및 상기 모션 데이터를 이용하여 상기 개체의 심박수, 산소포화도, 혈관 나이, 혈압 및 심박변이도 중 적어도 하나를 연산하도록 구성될 수 있다.In an embodiment, the
또한, 본 발명은 상기 방법을 실행하도록 컴퓨터 판독 가능한 기록 매체에 저장된, 컴퓨터 프로그램을 제공한다.In addition, the present invention provides a computer program stored in a computer readable recording medium to execute the method.
본 발명에 따르면, 기계학습의 입력으로 복잡성이 높은 광용적맥파 신호를 그대로 학습 데이터로 사용하는 대신에, 소정의 전처리 과정을 거쳐 광용적맥파 신호를 이미지화한 이미지를 학습 데이터로 사용함으로써, 학습의 결과로 생성된 예측 모델의 예측 정확성이 향상된다.According to the present invention, instead of using an optical pulse wave signal with high complexity as learning data as an input for machine learning, an image of an optical pulse wave signal through a predetermined pre-processing process is used as learning data, The predictive accuracy of the resulting predictive model is improved.
또한, 본 발명은 시간-주파수 도메인에서 주파수 변화도에 따라 서로 다른 색으로 표현된 이미지를 학습 데이터로 사용함에 따라, 높은 정확도로 대동맥판막협착증 위험도 및/또는 심혈관 질환 위험도를 연산하는 것이 가능하다.In addition, as the present invention uses images expressed in different colors according to frequency gradients in the time-frequency domain as training data, it is possible to calculate the aortic valve stenosis risk and / or cardiovascular disease risk with high accuracy.
또한, 본 발명은 광용적맥파 신호를 기설정된 시간마다 분할한 복수개의 분할 광용적맥파 신호를 각각 이미지화하여 신경망에 학습시키기 때문에, 임의의 개체로부터 상기 기설정된 시간만큼의 광용적맥파 신호만을 획득하여도 대동맥판막협착증 등의 심장 질환이 판단 가능하다.In addition, since the present invention images a plurality of divided photoplethysmography signals obtained by dividing the photoplethysmogram signal at predetermined time intervals and trains the neural network, only the photoplethysmogram signal for the predetermined time period is obtained from an arbitrary individual. Cardiac diseases such as aortic valve stenosis can also be diagnosed.
또한, 본 발명은 모션 센서를 통해 획득된 모션 데이터가 기설정된 기준을 모두 만족할 경우에 획득된 광용적맥파 신호가 유효한 것으로 판단하여, 판단이 정확성이 높다.In addition, the present invention determines that the obtained photoplethysmogram signal is valid when the motion data acquired through the motion sensor satisfies all predetermined criteria, and thus the determination is highly accurate.
또한, 본 발명은 광용적맥파 신호, 온도 데이터 및 모션 데이터를 이용하여 개체의 다양한 생체 신호를 연산 가능하다.In addition, according to the present invention, it is possible to calculate various biological signals of an individual by using a photoplethysmogram signal, temperature data, and motion data.
도 1은 본 발명의 실시예에 따른 시스템의 전반적인 내용을 설명하기 위한 개략도이다.
도 2는 본 발명의 실시예에 따른 시스템에서, 광용적맥파를 학습하기 위한 구성들을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 시스템에서, 사전 학습된 신경망을 갖는 예측 모듈에 PPG 센서에서 획득된 광용적맥파 신호가 입력되는 과정을 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 시스템에서, 센서들에서 획득된 데이터를 이용하여 생체 신호를 연산하는 과정을 설명하기 위한 블록도이다.
도 5는 본 발명에서의 학습 과정을 전반적으로 설명하기 위한 도면으로서, 광용적맥파 신호가 전처리되는 과정에서의 데이터 형태를 설명하기 위한 도면이다.
도 6은 본 발명에 따른 시스템의 실제 실행 화면을 나타낸 도면이다.
도 7은 (a) 대동맥판막협착증 환자로부터 획득한 광용적맥파 신호를 2차원 이미지로 이미지화한 결과, (b) 정상인으로부터 획득한 광용적맥파 신호를 2차원 이미지로 이미지화한 결과, 그리고 (c) 대동맥판막협착증과 기타 심혈관 질환을 모두 갖는 환자로부터 획득한 광용적맥파 신호를 2차원 이미지로 이미지화한 결과를 나타낸 도면이다.
도 8은 도 7의 (a)와 (b)만을 분류학습 시켰을 때, (a)와 (c)만을 분류학습 시켰을 때, 그리고 (b)와 (c)만을 분류학습 시켰을 때의 성능을 테스트한 결과 도면이다.
도 9는 생체 신호 연산 모듈에 의한 생체 신호 연산 시, 광용적맥파 신호로부터 광용적맥파 특징점을 추출하기 위한 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 방법을 구체적으로 설명하기 위한 순서도이다.1 is a schematic diagram for explaining the overall contents of a system according to an embodiment of the present invention.
2 is a block diagram for explaining configurations for learning photoplethysmograms in a system according to an embodiment of the present invention.
3 is a block diagram illustrating a process of inputting a photoplethysmogram signal obtained from a PPG sensor to a prediction module having a pretrained neural network in a system according to an embodiment of the present invention.
4 is a block diagram illustrating a process of calculating a biosignal using data obtained from sensors in a system according to an embodiment of the present invention.
FIG. 5 is a diagram for generally explaining the learning process in the present invention, and a diagram for explaining data types in the process of preprocessing an optical pulse wave signal.
6 is a diagram showing an actual execution screen of the system according to the present invention.
7 shows (a) the result of imaging the photoplethysmogram signal obtained from a patient with aortic valve stenosis into a two-dimensional image, (b) the result of imaging the photoplethysmogram signal obtained from a normal person into a two-dimensional image, and (c) It is a diagram showing the result of imaging the photoplethysmogram signal obtained from a patient with both aortic valve stenosis and other cardiovascular diseases in a two-dimensional image.
8 is a test of performance when only (a) and (b) of FIG. 7 was classified and learned, only (a) and (c) were classified and learned, and only (b) and (c) This is the result drawing.
9 is a diagram for explaining a process for extracting a photoplethysmogram feature point from a photoplethysmogram signal during biosignal calculation by a biosignal calculation module.
10 is a flowchart for specifically explaining a method according to an embodiment of the present invention.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.In some cases, in order to avoid obscuring the concept of the present invention, well-known structures and devices may be omitted or may be shown in block diagram form centering on core functions of each structure and device.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.Throughout the specification, when a part is said to "comprising" or "including" a certain element, it means that it may further include other elements, not excluding other elements, unless otherwise stated. do. In addition, terms such as “… unit”, “… unit”, and “module” described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. there is. Also, "a or an", "one", "the" and similar related words in the context of describing the invention (particularly in the context of the claims below) Unless indicated or otherwise clearly contradicted by context, both the singular and the plural can be used.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the embodiment of the present invention, which may vary according to the intention or custom of a user or operator. Therefore, the definition should be made based on the contents throughout this specification.
이하에서, 용어 "대동맥판막협착증 위험도"는 해당 개체가 대동맥판막협착증 질환을 가질 확률을 수치화한 정보이고, "심혈관 질환 위험도"는 해당 개체가 대동맥판막협착증 이외의 다른 심혈관 질환을 가질 확률을 수치화한 정보를 의미한다.Hereinafter, the term "aortic valve stenosis risk" is information that quantifies the probability that the individual has aortic valve stenosis disease, and "cardiovascular disease risk" is information that quantifies the probability that the individual has other cardiovascular diseases other than aortic valve stenosis. means information.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1을 참조하면, 본 발명의 실시예에 따른 시스템은 패치(100) 및 외부 장치(200)를 포함한다.Referring to FIG. 1 , a system according to an embodiment of the present invention includes a
패치(100)는 일 예로 센서들이 설치되는 기판과, 기판과 연결되며 개체에 부착될 수 있도록 접착력을 제공하는 접착부로 구성될 수 있다.The
기판에는 패치(100)가 부착된 개체로부터 광용적맥파(Photoplethysmography, PPG) 신호를 획득하도록 구성된 PPG 센서(110)가 설치된다. PPG 센서(110)로부터 획득된 광용적맥파 신호는 도 2에 도시된 형태일 수 있다.A
본 발명의 실시예에 따른 패치(100)의 기판에는 PPG 센서(110) 이외에도, 온도 센서(120) 및 모션 센서(130)가 더 설치될 수 있다.In addition to the
온도 센서(120)는 패치(100)가 부착된 개체의 체온을 측정하도록 구성되고, 모션 센서(130)는 개체의 움직임에 따른 모션 데이터를 출력하도록 구성된다.The
본 발명에 따른 시스템은 PPG 센서(110)로부터 획득한 광용적맥파 신호를 이용하여 해당 개체의 대동맥판막협착증 등의 심혈관 질환 위험도를 판단할 수 있으며, 온도 센서(120)와 모션 센서(130)로부터 획득한 온도 데이터와 모션 데이터를 이용하여 해당 개체의 생체 신호까지도 연산하는 것이 가능하다. 이에 대한 자세한 설명은 후술한다.The system according to the present invention can determine the risk of cardiovascular diseases such as aortic valve stenosis of the subject using the photoplethysmogram signal obtained from the
패치(100)의 센서들(110, 120, 130)에서 획득된 데이터들(광용적맥파 신호, 온도 데이터 및 모션 데이터)는 통신 모듈(140)을 통해 외부 장치(200)에 전송된다. 통신 모듈(140)은 센서를 통해 획득한 데이터들이 유선/무선 통신 방식으로 외부 장치(200)에 전송되도록 구성될 수 있으며, 예를 들어 LAN(Local Area Network)와 같은 유선 통신 방식이나, 블루투스, Wifi와 같은 근거리 통신 네트워크, 셀룰러 네트워크 인터넷 또는 컴퓨터 네트워크와 같은 원거리 통신 네트워크를 통해 외부 장치(200)와 통신할 수 있다.Data acquired from the
외부 장치(200)는 통신 모듈(140)을 통해 패치(100)로부터 데이터들을 전송받아, 해당 데이터들이 획득된 개체의 대동맥판막협착증 등의 심혈관 질환 위험도, 그리고 생체 신호를 연산하도록 구성된다. 여기에서, 외부 장치(200)는 연산 기능을 갖춘 마이크로 컨트롤러 유닛(Micro Controller Unit, MCU)을 포함하는 장치일 수 있으며, 예를 들어 컴퓨터, 스마트폰, 태블릿 PC 등이 여기에 해당할 수 있다. The
도 2를 참조하면, 외부 장치(200)는 전처리 모듈(210), 이미지 생성 모듈(220), 예측 모듈(230) 및 출력 모듈(240)을 포함한다.Referring to FIG. 2 , the
전처리 모듈(210)은 패치(100)로부터 전송된 광용적맥파 신호를 기설정된 방법으로 전처리하도록 구성된다. 즉, 전처리 모듈(210)은 신경망(Neural Network)에의 학습 단계 이전, 광용적맥파 신호의 전처리를 통해 학습에 최적화된 형태로 만들게 된다.The
먼저, 전처리 모듈(210)은 순환 노치 필터(Notch Filter)를 통해 60Hz 대역의 주변 환경 신호와, 전원 노이즈 신호를 제거한다. 도 5를 참조하면, 노치 필터를 통과한 광용적맥파 신호(a)는 (b)의 신호 형태로 변환된다.First, the
다음, (b) 형태의 신호에서 베이스라인(Baseline)을 제거하여 (c)의 신호 형태로 변환한다.Next, the baseline is removed from the signal of the form (b) and converted to the signal form of (c).
다음, (c)의 신호 형태를 기설정된 시간마다 분할하여 복수개의 분할 광용적맥파 신호를 생성한다. 본 발명의 실시예에서는, (c)의 신호 형태를 5초 내지 10초마다 분할하여 복수개의 분할 광용적맥파 신호를 생성할 수 있으며(도 5(d) 참조), 보다 구체적으로는 5초마다 분할하여 복수개의 분할 광용적맥파 신호를 생성할 수 있다. 이를 통해, 임의의 개체로부터 5초 내지 10초의 짧은 시간만큼의 광용적맥파 신호를 획득하는 것만으로도 심혈관 질환을 판단할 수 있다는 장점을 갖는다.Next, the signal form of (c) is divided at predetermined time intervals to generate a plurality of divided photoplethysmogram signals. In an embodiment of the present invention, a plurality of divided photoplethysmogram signals can be generated by dividing the signal form of (c) every 5 to 10 seconds (see FIG. 5(d)), more specifically, every 5 seconds. It is possible to generate a plurality of divided photoplethysmogram signals by dividing. Through this, there is an advantage that cardiovascular disease can be determined only by acquiring a photoplethysmogram signal for a short time of 5 to 10 seconds from an individual.
전처리 모듈(210)에 의해 광용적맥파 신호의 전처리가 이루어지면, 어느 하나의 광용적맥파 신호마다 복수개의 분할 광용적맥파 신호가 생성된다.When the preprocessing of the optical pulse wave signal is performed by the
이미지 생성 모듈(220)은 복수개의 분할 광용적맥파 각각을 이미지화함으로써, 이미지를 생성한다.The
이미지 생성 모듈(220)에 의해 생성된 이미지는 2차원 이미지일 수 있고, 상기 2차원을 구성하는 어느 하나의 차원은 시간이고, 다른 하나의 차원은 주파수이며, 2차원 상에서 광용적맥파 신호의 주파수 변화도에 따라 서로 다른 색으로 표현된 2차원 이미지일 수 있다(도 5(e) 참조). 일 예로, 이미지 생성 모듈(220)은 연속 웨이블렛 변환(Continous Wavelet Transform)을 통해 불규칙적으로 시간과 주파수 단위를 분할하여 시간대 주파수 도메인으로 변환함으로써 상기 이미지를 생성하게 된다. 여기에서, 주파수 변화도는 해당 주파수에서의 신호 변동성을 나타내는 지표일 수 있으며(즉, 시간-주파수 도메인에서 주파수 신호의 기울기) 주파수 변화도가 클수록 빨간색에 가까워진 색을 나타내고, 주파수 변화가 작을수록 파란색에 가까워진 색을 나타낼 수 있다. 하지만, 이에 제한되지 않고 주파수 변화도에 따라 서로 다른색을 띄는 이미지이면 본 발명의 범주에 모두 포함될 수 있다. The image generated by the
도 7에는 (a) 대동맥판막협착증 환자(AS 환자), (b) 정상인(Non-AS 환자), (c) 대동맥판막협착증과 기타 심혈관 질환을 모두 보유한 환자(AS-CVD 환자)로부터 획득한 광용적맥파 신호를 전처리 모듈(210)과 이미지 생성 모듈(220)을 거쳐 생성된 이미지가 도시된다. AS 환자의 경우, 정상인 대비 광용적맥파 신호에 미세한 변화가 유발되고, 주파수 성분에서의 변화, 그리고 파형 자체가 정상인 광용적맥파 신호 대비 파형 자체가 다를 수 있다. 가공되지 않은 광용적맥파 신호는 기계학습 과정에서의 학습 데이터로 사용하기에는 복잡성이 많고, 따라서 학습이 완료되더라도 예측 모델의 연산 정확성이 낮은 문제점이 있다. 반면, 본 발명에서는 가공되지 않은 광용적맥파 신호를 학습 데이터로 사용하는 것이 아닌, 전처리 모듈(210)을 거쳐 전처리된 데이터, 그리고 전처리된 데이터를 이미지화한 데이터를 학습하기 때문에, 예측 모델의 연산 정확성이 높은 장점을 갖는다. 특히, 종래 스펙트로그램(spectrogram)에서 신호의 강도에 따라 서로 다른 색으로 표현되는 방식을 사용하는 반면, 본 발명에서는 시간-주파수을 도메인으로 한 이미지에서 "주파수 변화도"에 따라 서로 다른 색으로 표현되는 이미지를 사용함에 따라, 대동맥판막협착증 및/또는 기타 심혈관 질환을 높은 정확도로 연산할 수 있다라는 장점이 달성된다.7 shows light acquired from (a) aortic valve stenosis patients (AS patients), (b) normal persons (Non-AS patients), and (c) patients with both aortic valve stenosis and other cardiovascular diseases (AS-CVD patients). An image generated by passing the volumetric pulse wave signal through the
여기에서, 기계학습에 이용되는 학습 이미지는 대동맥판막협착증, 기타 심혈관 질환 환자에서 나타나는 미세한 광용적맥파 신호의 특징, 이 이미지화 됨으로써, 미세한 차이(일 예로, 특히 특정 시점/주파수에서의 주파수 변화도)가 색깔의 차이 또는 이미지 형태의 차이로 표현될 수 있으며, 이를 통해 학습의 효율화 및 예측 모델의 연산 정확성까지 모두 향상시킬 수 있다.Here, the learning image used for machine learning is the characteristics of minute photoplethysmogram signals appearing in patients with aortic valve stenosis and other cardiovascular diseases, and minute differences (eg, frequency change at a specific time point/frequency) by being imaged. can be expressed as a difference in color or a difference in image shape, and through this, it is possible to improve both the efficiency of learning and the computational accuracy of the predictive model.
이미지 생성 모듈(220)에 의해 복수개의 분할 광용적맥파 신호 각각의 이미지가 생성되면, 기설정된 구조를 갖는 신경망(Neural Network)에 이미지가 학습된다.When an image of each of a plurality of divided photoplethysmogram signals is generated by the
구체적으로, 복수개의 분할 광용적맥파 신호 각각의 이미지의 RGB 해상도를 높이는 단계(스케일링), 상기 이미지의 반전 및/또는 회전 단계 및 이미지 픽셀의 쉬프트 단계 중 하나 이상의 전처리 단계를 거친 후, 상기 신경망에 학습될 수 있다. 복수개의 분할 광용적맥파 신호를 이미지화한 학습 이미지를 단순 학습하는 경우와 비교하였을 때, 하나의 학습 이미지로 복수회 학습하는 효과가 달성된다.Specifically, after at least one preprocessing step of increasing the RGB resolution of each image of a plurality of divided photoplethysmogram signals (scaling), inverting and/or rotating the image, and shifting image pixels, the neural network can be learned Compared to the case of simple learning of a learning image obtained by imaging a plurality of divided photoplethysmogram signals, an effect of learning multiple times with one learning image is achieved.
구체적으로, 본 발명에 이용되는 신경망(Neural Network)는 이미지 학습에 적합한 컨벌루션 신경망(Convolution Neural Network, CNN)일 수 있으며, 특별히 이에 제한되지 않고 이미지 학습에 적합한 다양한 신경망 모델이 본 발명에 적용될 수 있다.Specifically, the neural network used in the present invention may be a Convolution Neural Network (CNN) suitable for image learning, and various neural network models suitable for image learning may be applied to the present invention without being particularly limited thereto. .
본 발명에서는 일 예로, 분류 학습 알고리즘이 적용될 수 있다. 즉, 정상인들로부터 획득한 제1 광용적맥파 신호, 대동맥판막협착증 환자들로부터 획득한 제2 광용적맥파 신호, 그리고 대동맥판막협착증과 기타 심혈관 질환을 모두 보유한 환자들로부터 획득한 제3 광용적맥파 신호를 구별할 수 있도록 분류 학습하는 과정이 적용될 수 있는 것이다. 제1 내지 제3 광용적맥파 신호는 구별을 위해 서로 다른 데이터가 라벨링(labeling)될 수 있다.In the present invention, for example, a classification learning algorithm may be applied. That is, the first pulse wave signal obtained from normal people, the second pulse wave signal acquired from patients with aortic valve stenosis, and the third pulse wave signal obtained from patients with both aortic valve stenosis and other cardiovascular diseases. A classification learning process can be applied to distinguish signals. The first to third photoplethysmogram signals may be labeled with different data for discrimination.
본 발명에서는, 제1 광용적맥파 신호와 제2 광용적맥파 신호만을 신경망에 분류 학습시켜 생성된 제1 예측 모델, 제1 광용적맥파 신호와 제3 광용적맥파 신호만을 신경망에 분류 학습시켜 생성된 제2 예측 모델, 그리고 제2 광용적맥파 신호와 제3 광용적맥파 신호만을 신경망에 분류 학습시켜 생성된 제3 예측 모델의 성능을 평가하는 실험을 수행하였다.In the present invention, the first prediction model generated by classifying and learning only the first and second photoplethysmogram signals and the second photoplethysmogram signal in the neural network, and generating the first prediction model by classifying and learning only the first and third photoplethysmogram signals in the neural network. An experiment was performed to evaluate the performance of the second predictive model and the third predictive model generated by classifying and learning only the second and third PDP signals through the neural network.
실험 결과, 제1 광용적맥파 신호와 제3 광용적맥파 신호를 분류 학습시킨 제2 예측 모델에서 가장 뛰어난 예측 성능을 보임을 확인할 수 있었다(도 8 참조).As a result of the experiment, it was confirmed that the second predictive model obtained by classifying and learning the first PPD signal and the third PPD signal showed the best prediction performance (see FIG. 8 ).
다만, 본 발명에서는 제1 내지 제3 광용적맥파 신호 중 2개의 광용적맥파 신호를 분류학습하는 실시예뿐만 아니라, 제1 내지 제3 광용적맥파 신호를 모두 분류학습하여 실시예도 가능하다는 것을 이해하여야 할 것이다. 제1 내지 제3 광용적맥파 신호를 모두 학습하는 경우, 2개의 광용적맥파 신호만을 분류학습하는 경우와 비교하였을 때, 보다 높은 예측 성능을 갖게 된다.However, it should be understood that in the present invention, not only an embodiment of classifying and learning two optical pulse wave signals among the first to third optical pulse wave signals, but also an embodiment of classifying and learning all of the first to third optical pulse wave signals. will have to In the case of learning all of the first to third PDP signals, higher prediction performance is obtained as compared to the case of classifying and learning only two PDP signals.
본 발명에 따른 신경망은 제1 내지 제3 광용적맥파 신호 중 적어도 2개의 광용적맥파 신호의 이미지를 학습하여, 입력층을 통해 질의되는 임의의 광용적맥파 신호 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 출력층을 통해 출력되도록 기계학습된다.The neural network according to the present invention learns images of at least two photoplethysmogram signals among the first to third photoplethysmogram signals, and measures the risk of aortic valve stenosis and cardiovascular disease for any photoplethysmogram signal image that is queried through the input layer. The disease risk is machine-learned to be output through the output layer.
예측 모듈(230)은 학습이 완료된 신경망을 이용하여 질의되는 임의의 광용적맥파 신호 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도를 출력하고, 출력된 위험도에 따라 해당 광용적맥파 신호가 획득된 개체가 정상인 그룹, 대동맥판막협착증 그룹, 대동맥판막협착증 및 기타 심혈관 질환을 모두 갖는 그룹 중 어느 하나의 그룹으로 분류하도록 구성된다.The
여기에서, 예측 모듈(230)에 질의되는 광용적맥파 신호 이미지는, 임의의 개체에 부착된 패치(100)의 PPG 센서(110)로부터 획득된 광용적맥파 신호가 전처리 모듈(210) 및 이미지 생성 모듈(220)을 거쳐 생성된 이미지를 의미한다.Here, the photoplethysmogram signal image that is queried to the
본 발명에서는 기준 대동맥판막협착증 위험도 및 기준 심혈관 질환 위험도가 미리 결정되어 있을 수 있다. 예측 모듈(230)에 입력된 광용적맥파 신호 이미지의 대동맥판막협착증 위험도가 상기 기준 대동맥판막협착증 위험도보다 낮고, 심혈관 질환 위험도가 상기 기준 심혈관 질환 위험도보다 낮은 경우 정상인 그룹으로 분류될 수 있다. 또한, 예측 모듈(230)에 입력된 광용적맥파 신호 이미지의 대동맥판막협착증 위험도가 상기 기준 대동막판막협착증 위험도보다 높고, 심혈관 질환 위험도가 상기 기준 심혈관 질환 위험도보다 낮은 경우 대동맥판막협착증 그룹으로 분류될 수 있다. 또한, 예측 모듈(230)에 입력된 광용적맥파 신호 이미지의 대동맥판막협착증 위험도가 상기 기준 대동막판막협착증 위험도보다 높고, 심혈관 질환 위험도가 상기 기준 심혈관 질환 위험도보다 높은 경우 대동막판막협착증 및 기타 심혈관 질환을 모두 갖는 그룹으로 분류될 수 있다(도 1 참조).In the present invention, the standard aortic valve stenosis risk and the standard cardiovascular disease risk may be determined in advance. If the risk of aortic valve stenosis of the photoplethysmogram signal image input to the
예측 모듈(230)의 대동맥판막협착증 위험도 및 심혈관 질환 위험도 연산에 따라 정상인 그룹, 대동막판막협착증 그룹 및 대동맥판막협착증 및 기타 심혈관 질환을 모두 갖는 그룹 중 어느 하나의 그룹으로 분류가 이루어지면, 출력 모듈(240)을 통해 해당 그룹의 명칭이 출력될 수 있다. 여기에서, 출력 모듈(240)은 모니터, 디스플레이, OLED 패널 등이 적용될 수 있으며, 이외에도 출력 모듈(240)을 통해 육안으로 식별 가능한 정보를 출력할 수 있는 구성이면 특별히 제한되지는 않는다.If classification is made into any one group among the normal group, the aortic valve stenosis group, and the group having both aortic valve stenosis and other cardiovascular diseases according to the calculation of the risk of aortic valve stenosis and the risk of cardiovascular disease of the
본 발명에 따른 시스템은 PPG 센서(110)로부터 획득된 광용적맥파 신호를 입력으로 하여 정상인/대동맥판막협착증/대동맥판막협착증 및 기타 심혈관 질환을 모두 갖는 그룹 중 어느 하나의 그룹으로 분류하는 기능뿐만 아니라, 온도 센서(120)와 모션 센서(130)를 이용하여 해당 개체의 생체 신호를 연산하는 기능도 수행할 수 있다. 보다 구체적인 내용은 후술한다.The system according to the present invention takes the photoplethysmogram signal obtained from the
먼저, 모션 센서(130)는 패치(100)가 부착된 개체의 움직임에 따른 모션 데이터를 출력하도록 구성된다. 예를 들어, 모션 센서(130)는 3축 가속도 센서, 자이로 센서 등이 적용될 수 있으나, 움직임에 따른 모션 데이터가 출력될 수 있는 센서이면 특별히 이에 제한되지는 않는다.First, the
본 발명에서 학습이 완료된 신경망에 질의되는 광용적맥파 신호 이미지는 적어도, 학습 과정에서 제1 내지 제3 광용적맥파 신호를 분할하는 과정에서 사용된 "기설정된 시간" 이상의 시간 동안 획득된 광용적맥파 신호로부터 변환된 이미지인 것이 바람직하다.In the present invention, the photoplethysmogram signal image that is queried to the neural network that has been trained is at least a photoplethysmogram obtained for a time longer than the “preset time” used in the process of dividing the first to third photoplethysmography signals in the learning process. It is preferably an image converted from a signal.
또한, 광용적맥파 신호가 획득되는 상기 "기설정된 시간"동안 모션 센서(130)에서 출력되는 모션 데이터가 "움직임 없음"에 대응하는 것이 바람직하다. 광용적맥파 신호를 획득하는 과정에서 패치(100)가 부착된 개체의 움직임이 관찰되는 경우, 정확한 광용적맥파 신호를 획득하기 어렵기 때문이다. 따라서, 본 발명에서는 유효 신호 검증 모듈이 더 구비된다. 유효 신호 검증 모듈은, 전처리 모듈(210)과 이미지 생성 모듈(220)에 의해 질의 데이터를 생성하기 이전 과정에서, PPG 센서(110)로부터 출력되는 광용적맥파 신호가 적어도 "기설정된 시간" 이상 동안 획득된 것인지, 또한 해당 "기설정된 시간" 이상 동안 모션 센서(130)에서 출력되는 모션 데이터가 "움직임 없음"에 대응하는 것인지 판별하여 해당 조건을 만족하지 않는 경우 노이즈 데이터로 판단하여 광용적맥파 신호를 다시 획득할 것을 요청하는 알람을 출력할 수 있으며, 해당 조건을 모두 만족하는 경우 유효 데이터로 판단하여 전처리 모듈(210)과 이미지 생성 모듈(220)를 거쳐 광용적맥파 신호 이미지를 생성하여 학습이 완료된 신경망의 입력층에 입력하게 된다. 이를 통해, 연산의 정확성을 향상시킬 수 있다.In addition, it is preferable that motion data output from the
본 발명에 따른 외부 장치(200)는 특징점 추출 모듈(250)과 생체 신호 연산 모듈(260)을 더 포함한다.The
PPG 센서(110)에서 획득된 광용적맥파 신호는 전처리 모듈(210)에 의한 전처리를 통해 도 9에 도시된 전처리 신호(필터링)가 생성될 수 있다. 특징점 추출 모듈(250)은 전처리 신호에 대해 제로크로싱법을 적용하고, 제로크로싱법에 따라 설정된 제로크로싱 지점(주기가 일정하지 않은 불규칙한 파형에서 제로크로싱법에 따라 기준선을 설정하고, 불규칙한 파형이 기준선과 만나는 지점)을 기준으로 일주기 파형 구간을 결정한다(도 9에서 복수의 일주기 파형 구간이 회색과 파란색으로 번갈아가며 도시됨). 이후, 일주기 파형 구간에서의 최고점과 최저점을 각각 광용적맥파 특징점으로 추출하게 된다. 최고점과 최저점 이외에도, 생체 신호 연산을 위한 다양한 광용적맥파 특징점이 추출될 수 있다.The preprocessing signal (filtering) shown in FIG. 9 may be generated through preprocessing by the
생체 신호 연산 모듈(260)은 특징점 추출 모듈(250)에 의해 추출된 광용적맥파 특징점, 온도 센서(120)에서 획득된 온도 데이터, 그리고 모션 센서(130)에서 획득된 모션 데이터를 이용하여 패치(100)가 부착된 개체의 생체 신호를 연산하도록 구성된다.The
생체 신호 연산 모듈(260)에 의해 연산되는 생체 신호는 심박수, 산소포화도, 혈관 나이, 혈압 및 심박변이도일 수 있고, 이외에도 다양한 생체 신호가 연산되어 출력 모듈(240)을 통해 연산된 생체 신호 지표가 출력될 수 있다.The biosignals calculated by the
다음, 도 10을 참조하여 본 발명의 실시예에 따른 방법을 구체적으로 설명한다.Next, a method according to an embodiment of the present invention will be described in detail with reference to FIG. 10 .
먼저, 정상인의 광용적맥파 신호인 제1 광용적맥파, 대동맥판막협착증 환자의 광용적맥파 신호인 제2 광용적맥파, 및 대동맥판막협착증과 기타 심혈관 질환을 모두 갖는 환자의 광용적맥파 신호인 제3 광용적맥파를 수집하는 과정이 필요하다. 해당 과정은 각각의 그룹에 PPG 센서를 부착하여 획득하는 방법으로 이루어질 수 있으나, 소정의 의학 데이터베이스에 미리 저장된 제1 내지 제3 광용적맥파를 수집하는 방법으로도 대체될 수 있다.First, the first pulse wave signal of a normal person, the second pulse wave signal of a patient with aortic valve stenosis, and the first pulse wave signal of a patient with both aortic valve stenosis and other cardiovascular diseases. 3 It is necessary to collect photoplethysmograms. This process may be performed by attaching a PPG sensor to each group for acquisition, but may also be substituted by a method of collecting the first to third photoplethysmograms stored in advance in a predetermined medical database.
다음, 전처리 모듈(210)이 수집된 제1 내지 제3 광용적맥파 각각에 대해, 전처리를 수행한다. 즉, 제1 내지 제3 광용적맥파(도 5(a))에 순환 노치 필터를 적용하여 기설정된 대역의 신호를 제거하고(도 5(b)), 기설정된 방법으로 베이스라인을 제거한다(도 5(c)). 이후, 기설정된 시간마다 신호를 분할하여 복수개의 분할 광용적맥파를 생성한다(도 5(d)).Next, the
다음, 이미지 생성 모듈(220)이 복수개의 분할 광용적맥파 각각에 대해, 이미지 알고리즘을 적용하여 도 5(e)와 같은 이미지를 생성한다. 생성된 이미지는 주파수 및 시간을 도메인으로 한 2차원 이미지일 수 있으며, 해당 도메인에서의 신호의 주파수 변화도가 서로 다른 색으로 표현된 2차원 이미지일 수 있다.Next, the
이렇게 생성된 이미지는 신경망(Neural Network)에 학습되며, 보다 구체적으로는 제1 및 제2 광용적맥파가 신경망에 분류학습되거나, 제1 및 제3 광용적맥파가 신경망에 분류학습되거나, 제2 및 제3 광용적맥파가 신경망에 분류학습될 수 있다. 다른 실시예에서는, 제1 내지 제3 광용적맥파 모두가 신경망에 분류학습되는 것도 가능하다.The image generated in this way is learned by a neural network, and more specifically, the first and second optical pulse waves are classified and learned by the neural network, the first and third optical pulse waves are classified and learned by the neural network, or the second optical pulse waves are classified and learned by the neural network. and the third photoplethysmogram may be classified and learned by the neural network. In another embodiment, all of the first to third photoplethysmograms may be classified and learned by the neural network.
보다 구체적으로는, 신경망에 질의되는 광용적맥파 신호 이미지의 대동맥판막협착증 위험도 및 심혈관 질환 위험도를 연산하여 출력층을 통해 출력하도록 상기 이미지들을 학습할 수 있다. More specifically, the images may be learned to calculate the risk of aortic valve stenosis and the risk of cardiovascular disease of the photoplethysmogram signal image that is queried to the neural network and output them through the output layer.
신경망의 학습이 완료되면, 패치(100)가 부착된 개체로부터 PPG 센서(110)를 통해 광용적맥파 신호가 획득되고, 전처리 모듈(210)과 이미지 생성 모듈(220)을 거쳐 생성된 이미지가 신경망의 입력층에 질의된다. 신경망은, 질의된 이미지의 대동맥판막협착증 위험도 및 심혈관 질환 위험도를 연산하여 출력하게 되며, 예측 모듈(230)은 연산된 위험도에 따라 해당 개체를 정상인 그룹/대동맥판막협착증 그룹/대동맥판막협착증 및 기타 심혈관 질환을 모두 갖는 그룹 중 어느 하나의 그룹으로 분류하게 된다. 예측 모듈(230)에 의해 분류된 그룹은 출력 모듈(240)을 통해 출력될 수 있다.When learning of the neural network is completed, a photoplethysmogram signal is obtained from the object to which the
또한, PPG 센서(110)를 통해 획득된 광용적맥파 신호가 전처리 모듈(210)을 통해 전처리되고, 특징점 추출 모듈(250)은 제로크로싱법을 적용하여 광용적맥파 특징점들을 추출할 수 있다.In addition, the PDP signal obtained through the
생체 신호 연산 모듈(260)은 추출된 광용적맥파 특징점, 온도 센서(120)에서 획득된 온도 데이터, 그리고 모션 센서(130)에서 획득된 모션 데이터를 이용하여 패치(100)가 부착된 개체의 생체 신호를 연산하게 된다. 생체 신호 연산 모듈(260)에 의해 연산되는 생체 신호는 심박수, 산소포화도, 혈관 나이, 혈압 및 심박변이도 중 적어도 하나일 수 있다. 연산된 생체 신호는 마찬가지로, 출력 모듈(240)을 통해 그 수치가 출력될 수 있음은 물론이다.The biological
본 발명의 실시예에 따른 광용적맥파를 이용한 대동맥판막협착증 및 기타 심혈관 질환 위험도 판단 시스템의 구성 전체 내지 적어도 일부는 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로도 구현될 수 있다.All or at least a part of the system for determining the risk of aortic valve stenosis and other cardiovascular diseases using photoplethysmography according to an embodiment of the present invention is implemented in the form of a hardware module or a software module, or a combination of a hardware module and a software module. can also be implemented.
여기서, 소프트웨어 모듈이란, 예컨대, 광용적맥파를 이용한 대동맥판막협착증 및 기타 심혈관 질환 판단 시스템 내에서 연산을 제어하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 광용적맥파를 이용한 대동맥판막협착증 및 기타 심혈관 질환 판단 시스템 내 메모리에 탑재된 형태를 가질 수 있을 것이다.Here, the software module may be understood as, for example, a command executed by a processor that controls an operation in a system for determining aortic valve stenosis and other cardiovascular diseases using photoplethysmography, and these commands are used to detect aortic valve stenosis using photoplethysmogram. It will be able to have a form loaded into the memory in the system for determining stenosis and other cardiovascular diseases.
이상, 본 명세서에는 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당업자라면 본 발명의 실시예로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 보호범위는 청구범위에 의해서 정해져야 할 것이다. In the above, the present specification has been described with reference to the embodiments shown in the drawings so that those skilled in the art can easily understand and reproduce the present invention, but this is only exemplary, and those skilled in the art can make various modifications and equivalents from the embodiments of the present invention. It will be appreciated that embodiments are possible. Therefore, the protection scope of the present invention should be defined by the claims.
100: 패치
110: PPG 센서
120: 온도 센서
130: 모션 센서
140: 통신 모듈
200: 외부 장치
210: 전처리 모듈
220: 이미지 생성 모듈
230: 예측 모듈
240: 출력 모듈
250: 특징점 추출 모듈
260: 생체 신호 연산 모듈100: patch
110: PPG sensor
120: temperature sensor
130: motion sensor
140: communication module
200: external device
210: preprocessing module
220: image generation module
230: prediction module
240: output module
250: feature point extraction module
260: biosignal calculation module
Claims (12)
(b) 외부 장치(200)에 의해, 컨벌루션 신경망(Convolution Neural Network)에 상기 (a) 단계에서 생성된 학습 이미지들이 학습되는 학습 단계로서, 상기 컨벌루션 신경망의 입력층에 상기 학습 이미지들이 입력되고, 상기 컨벌루션 신경망의 출력층을 통해 입력된 학습 이미지에 대한 대동막판막협착증 위험도 및 심혈관 질환 위험도가 출력되도록 학습되는, 학습 단계; 및
(c) 예측 모듈(230)을 통해, 임의의 개체로부터 획득한 질의 대상 광용적맥파의 이미지가 상기 컨벌루션 신경망의 입력층에 질의되고, 상기 컨벌루션 신경망의 출력층을 통해 질의된 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 출력되는 단계;를 포함하며,
상기 학습 이미지는 2차원 이미지로서, 상기 2차원을 구성하는 어느 하나의 차원은 시간이고, 다른 하나의 차원은 주파수이며, 상기 2차원 상에서 광용적맥파 신호의 주파수 변화도에 따라 서로 다른 색으로 표현된 이미지이고,
상기 (a) 단계 이전,
전처리 모듈(210)이 제1 내지 제3 광용적맥파를 기설정된 시간마다 분할하여 복수개의 분할 광용적맥파를 생성하는 단계를 더 포함하고,
상기 (a) 단계는, 상기 이미지 생성 모듈(220)이 복수개의 분할 제1 내지 제3 광용적맥파 각각을 이미지화하여 복수개의 분할 학습 이미지를 생성하는 단계를 더 포함하며,
상기 (b) 단계는, 상기 외부 장치(200)에 의해, 상기 신경망에 상기 분할 학습 이미지가 학습되는 단계를 더 포함하는,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 방법.
(a) The image generating module 220 generates a first photoplethysmography (PPG) of a normal person, a second photoplethysmography (PPG) of a patient with aortic valve stenosis, and a third photoplethysmography of a patient with both aortic valve stenosis and cardiovascular disease. imaging the pulse wave to generate learning images;
(b) a learning step in which the learning images generated in step (a) are learned in a convolutional neural network by an external device 200, the learning images are input to the input layer of the convolutional neural network, A learning step of learning to output a risk of aortic valve stenosis and a risk of cardiovascular disease for a training image input through an output layer of the convolutional neural network; and
(c) Through the prediction module 230, an image of a target photoplethysmogram obtained from an arbitrary subject is queried to the input layer of the convolutional neural network, and the aortic valve stenosis for the image queried through the output layer of the convolutional neural network Including; outputting the risk and cardiovascular disease risk;
The learning image is a two-dimensional image, wherein one dimension constituting the two dimensions is time, and the other dimension is frequency, and is expressed in different colors according to the frequency gradient of the photoplethysmogram signal on the two dimensions. is an image,
Before step (a) above,
The preprocessing module 210 further comprises generating a plurality of divided photoplethysmogram waves by dividing the first to third optical pulse waves at predetermined time intervals;
The step (a) further includes generating, by the image generating module 220, a plurality of divided learning images by imaging each of the plurality of divided first to third optical pulse waves,
The step (b) further comprises learning the segmentation training image in the neural network by the external device 200.
A method for determining the risk of aortic valve stenosis using photoplethysmography.
상기 (b) 단계는,
상기 외부 장치(200)에 의해, 상기 제1 광용적맥파와 상기 제2 광용적맥파가 상기 신경망에 분류 학습되거나, 상기 제1 광용적맥파와 상기 제3 광용적맥파가 상기 신경망에 분류 학습되거나, 상기 제2 광용적맥파와 상기 제3 광용적맥파가 상기 신경망에 분류 학습되는 단계를 더 포함하는,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 방법.
According to claim 1,
In step (b),
By the external device 200, the first PDW and the second PDP wave are classified and learned in the neural network, or the first PDP wave and the third PDP wave are classified and learned in the neural network, or Further comprising the step of classifying and learning the second photoplethysmogram and the third photoplethysmogram wave in the neural network.
A method for determining the risk of aortic valve stenosis using photoplethysmography.
(d) 상기 예측 모듈(230)이, 상기 (c) 단계에서 출력되는 대동맥판막협착증 위험도 및 심혈관 질환 위험도에 따라, 질의된 이미지가 획득된 상기 임의의 개체가 정상인 그룹, 대동맥판막협착증 그룹 및 대동맥판막협착증 및 심혈관 질환을 모두 갖는 그룹 중 어느 하나의 그룹으로 분류하는 단계;를 더 포함하는,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 방법.
According to claim 1,
(d) According to the risk of aortic valve stenosis and the risk of cardiovascular disease output in the step (c), the prediction module 230 determines that the random group, the aortic valve stenosis group, and the aortic valve from which the query image was acquired are normal. Classifying into any one of the groups having both membrane stenosis and cardiovascular disease; further comprising,
A method for determining the risk of aortic valve stenosis using photoplethysmography.
(b) 상기 예측 모듈(230)이 입력된 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도를 연산하고, 연산된 위험도를 출력하는 단계;를 포함하는, 광용적맥파를 이용한 대동막판막협착증 위험도 판단 방법으로서,
상기 입력된 광용적맥파 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도를 연산하는 모델은,
외부 장치(200)에 의해, 컨벌루션 신경망(Convolution Neural Network)이 정상인의 제1 광용적맥파(Photoplethysmography, PPG), 대동맥판막협착증 환자의 제2 광용적맥파 및 대동맥판막협착증과 심혈관 질환을 모두 갖는 환자의 제3 광용적맥파를 이미지화하여 생성된 학습 이미지들을 학습한 모델로서, 컨벌루션 신경망의 입력층에 상기 학습 이미지들이 입력되고, 상기 컨벌루션 신경망의 출력층을 통해 입력된 학습 이미지들에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 출력되도록 학습한 것이고,
상기 학습 이미지는 2차원 이미지로서, 상기 2차원을 구성하는 어느 하나의 차원은 시간이고, 다른 하나의 차원은 주파수이며, 상기 2차원 상에서 광용적맥파 신호의 주파수 변화도에 따라 서로 다른 색으로 표현된 이미지이며,
상기 학습 이전,
전처리 모듈(210)이 제1 내지 제3 광용적맥파를 기설정된 시간마다 분할하여 복수개의 분할 광용적맥파를 생성하고, 이미지 생성 모듈(220)이 복수개의 분할 제1 내지 제3 광용적맥파 각각을 이미지화하여 복수개의 분할 학습 이미지를 생성하며,
상기 컨벌루션 신경망은 상기 분할 학습 이미지를 학습하는,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 방법.
(a) inputting an image of a photoplethysmogram obtained from an object to the prediction module 230; and
(b) calculating the risk of aortic valve stenosis and the risk of cardiovascular disease for the image input by the prediction module 230, and outputting the calculated risk; determining the risk of aortic valve stenosis using the photoplethysmogram wave As a method,
The model for calculating the risk of aortic valve stenosis and the risk of cardiovascular disease for the input photoplethysmography image,
By using the external device 200, the convolution neural network generates the first photoplethysmography (PPG) of a normal person, the second photoplethysmography (PPG) of a patient with aortic valve stenosis, and a patient with both aortic valve stenosis and cardiovascular disease. A model obtained by learning training images generated by imaging the third photoplethysmogram of , wherein the training images are input to the input layer of the convolutional neural network and the risk of aortic valve stenosis for the training images input through the output layer of the convolutional neural network And it is learned to output the cardiovascular disease risk,
The learning image is a two-dimensional image, wherein one dimension constituting the two dimensions is time, and the other dimension is frequency, and is expressed in different colors according to the frequency gradient of the photoplethysmogram signal on the two dimensions. is an image,
Prior to the above learning,
The pre-processing module 210 divides the first to third optical pulse waves at predetermined time intervals to generate a plurality of divided optical pulse waves, and the image generating module 220 divides the plurality of divided first to third optical pulse waves, respectively. By imaging to generate a plurality of segmentation learning images,
The convolutional neural network learns the segmentation training image,
A method for determining the risk of aortic valve stenosis using photoplethysmography.
개체에 부착되어, 부착된 개체로부터 광용적맥파를 획득하도록 구성된 PPG센서(110)와, 상기 PPG 센서(110)에서 획득된 광용적맥파 신호를 외부 장치(200)에 전송하도록 구성된 통신 모듈(140)이 설치된, 패치(100); 및
상기 통신 모듈(140)과 상호 통신 가능하도록 구성되고, 상기 통신 모듈(140)로부터 전송된 광용적맥파 신호를 이미지화하고, 광용적맥파 신호 이미지를 상기 신경망의 입력층에 질의하여 출력층을 통해 질의된 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도를 출력하는 예측 모듈(230)을 포함하는, 외부 장치(200);를 포함하는,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 시스템.
A system to which the method according to any one of claims 1 and 5 to 7 is applied,
A PPG sensor 110 attached to an object and configured to obtain a photoplethysmogram from the attached object, and a communication module 140 configured to transmit the photoplethysmogram signal obtained from the PPG sensor 110 to the external device 200 ) is installed, patch 100; and
It is configured to be capable of mutual communication with the communication module 140, image the photoplethysmogram signal transmitted from the communication module 140, query the photoplethysmogram signal image to the input layer of the neural network, and query through the output layer. An external device 200, including a prediction module 230 that outputs the risk of aortic valve stenosis and the risk of cardiovascular disease for the image; including,
A risk assessment system for aortic valve stenosis using photoplethysmography.
상기 패치(100)는,
상기 개체의 온도를 측정하도록 구성된 온도 센서(120); 및
상기 개체의 움직임에 따른 모션 데이터를 출력하도록 구성된 모션 센서(130);를 더 포함하고,
상기 외부 장치(200)는,
상기 PPG 센서(110)에서 획득된 광용적맥파 신호, 상기 온도 센서(120)에서 측정된 온도 및 상기 모션 센서(130)에서 출력된 모션 데이터 중 적어도 하나를 이용하여 상기 개체의 생체 신호를 연산하도록 구성된, 생체 신호 연산 모듈(260)을 더 포함하는,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 시스템.
According to claim 8,
The patch 100,
a temperature sensor (120) configured to measure the temperature of the object; and
Further comprising a motion sensor 130 configured to output motion data according to the movement of the object,
The external device 200,
Calculate a biological signal of the subject using at least one of the photoplethysmogram signal obtained from the PPG sensor 110, the temperature measured by the temperature sensor 120, and the motion data output from the motion sensor 130. Further comprising a configured biosignal calculation module 260,
A risk assessment system for aortic valve stenosis using photoplethysmography.
상기 외부 장치(200)는,
상기 광용적맥파 신호에 대해 제로크로싱법을 적용하여 설정된 제로크로싱 지점을 기준으로 복수의 일주기 파형 구간을 결정하고, 일주기 파형 구간에서의 최고점과 최저점을 광용적맥파 특징점으로 추출하도록 구성된 특징점 추출 모듈(250)을 더 포함하고,
상기 생체 신호 연산 모듈(260)은 상기 특징점 추출 모듈(250)에 의해 추출된 광용적맥파 특징점을 이용하여 상기 개체의 생체 신호를 연산하도록 구성된,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 시스템.
According to claim 9,
The external device 200,
Feature point extraction configured to determine a plurality of circadian waveform sections based on the set zero-crossing point by applying the zero-crossing method to the optical pulse wave signal, and extract the highest and lowest points in the circadian waveform section as optical pulse wave feature points. further comprising module 250;
The biosignal calculation module 260 is configured to calculate the biosignal of the subject using the photoplethysmogram feature points extracted by the featurepoint extraction module 250.
A risk assessment system for aortic valve stenosis using photoplethysmography.
상기 생체 신호 연산 모듈(260)은,
상기 광용적맥파 신호, 상기 온도 및 상기 모션 데이터를 이용하여 상기 개체의 심박수, 산소포화도, 혈관 나이, 혈압 및 심박변이도 중 적어도 하나를 연산하도록 구성된,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 시스템.
According to claim 9,
The biosignal calculation module 260,
configured to calculate at least one of heart rate, oxygen saturation, blood vessel age, blood pressure, and heart rate variability of the subject using the photoplethysmogram signal, the temperature, and the motion data;
A risk assessment system for aortic valve stenosis using photoplethysmography.
컴퓨터 프로그램.Stored in a computer-readable recording medium to execute the method according to any one of claims 1 and 5 to 7,
computer program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210039594A KR102493242B1 (en) | 2021-03-26 | 2021-03-26 | Method and System for Judging Aortic Valve Stenosis Risk and Other Cardiovascular Diseases Risk from Photoplethysmography through Artificial Intelligence Learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210039594A KR102493242B1 (en) | 2021-03-26 | 2021-03-26 | Method and System for Judging Aortic Valve Stenosis Risk and Other Cardiovascular Diseases Risk from Photoplethysmography through Artificial Intelligence Learning |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220134216A KR20220134216A (en) | 2022-10-05 |
| KR102493242B1 true KR102493242B1 (en) | 2023-01-30 |
Family
ID=83596588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210039594A KR102493242B1 (en) | 2021-03-26 | 2021-03-26 | Method and System for Judging Aortic Valve Stenosis Risk and Other Cardiovascular Diseases Risk from Photoplethysmography through Artificial Intelligence Learning |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102493242B1 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101643912B1 (en) | 2014-11-14 | 2016-08-01 | 주식회사 지일렉트로닉스 | A chain-free bicycle using auto-generator with accelator |
| CN106901723A (en) | 2017-04-20 | 2017-06-30 | 济南浪潮高新科技投资发展有限公司 | A kind of electrocardiographic abnormality automatic diagnosis method |
| KR102270659B1 (en) * | 2018-07-06 | 2021-06-29 | 주식회사 메디웨일 | Fundus image management device and method for determining suitability of fundus image |
| KR20200054723A (en) * | 2018-11-12 | 2020-05-20 | 삼성전자주식회사 | Apparatus and method for measuring blood pressure |
| KR102108961B1 (en) | 2019-04-23 | 2020-05-11 | 주식회사 에프앤디파트너스 | An image-based artificial intelligence deep-learning based blood pressure estimation apparatus |
-
2021
- 2021-03-26 KR KR1020210039594A patent/KR102493242B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220134216A (en) | 2022-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fernandes et al. | A novel nonintrusive decision support approach for heart rate measurement | |
| Fan et al. | Robust blood pressure estimation using an RGB camera | |
| Zhang et al. | Webcam-based, non-contact, real-time measurement for the physiological parameters of drivers | |
| CN110191675A (en) | System and method for contactless determining blood pressure | |
| US20160317041A1 (en) | System and methods for measuring physiological parameters | |
| Nejati et al. | Smartphone and mobile image processing for assisted living: Health-monitoring apps powered by advanced mobile imaging algorithms | |
| Hasan et al. | SmartHeLP: Smartphone-based hemoglobin level prediction using an artificial neural network | |
| JP2017093760A (en) | Device and method for measuring periodic variation interlocking with heart beat | |
| Hong et al. | Detection of physical stress using multispectral imaging | |
| Przybyło | A deep learning approach for remote heart rate estimation | |
| Karthick et al. | Analysis of vital signs using remote photoplethysmography (RPPG) | |
| Li et al. | Hybrid D1DCnet using forehead iPPG for continuous and noncontact blood pressure measurement | |
| US20230397826A1 (en) | Operation method for measuring biometric index of a subject | |
| CN111820870B (en) | Biological image processing method and physiological information detection device | |
| KR102243017B1 (en) | Depression Index Estimation Method Using Skin Image | |
| KR102493242B1 (en) | Method and System for Judging Aortic Valve Stenosis Risk and Other Cardiovascular Diseases Risk from Photoplethysmography through Artificial Intelligence Learning | |
| Slapnicar et al. | Contact-free monitoring of physiological parameters in people with profound intellectual and multiple disabilities | |
| Frederick | PPG Signals for Hypertension Diagnosis: A Novel Method using Deep Learning Models | |
| WO2017085895A1 (en) | Information processing device, information processing method, and information processing program | |
| JP6201520B2 (en) | Gaze analysis system and method using physiological indices | |
| CN113598742B (en) | Atrial fibrillation classification model training method, atrial fibrillation identification method and atrial fibrillation classification model training system | |
| Karmuse et al. | A robust rppg approach for continuous heart rate measurement based on face | |
| WO2022211656A1 (en) | Method and system for heart rate extraction from rgb images | |
| Hilal et al. | Design of Intelligent Alzheimer Disease Diagnosis Model on CIoT Environment | |
| WO2021045616A1 (en) | A computer-implemented method and an apparatus for determining body positions and/or sleep stages of a person during sleep. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |