KR20220134216A - 인공지능 학습을 통해 광용적맥파로부터 대동맥판막협착증 및 기타 심혈관 질환 위험도를 판단하는 방법 및 시스템 - Google Patents
인공지능 학습을 통해 광용적맥파로부터 대동맥판막협착증 및 기타 심혈관 질환 위험도를 판단하는 방법 및 시스템 Download PDFInfo
- Publication number
- KR20220134216A KR20220134216A KR1020210039594A KR20210039594A KR20220134216A KR 20220134216 A KR20220134216 A KR 20220134216A KR 1020210039594 A KR1020210039594 A KR 1020210039594A KR 20210039594 A KR20210039594 A KR 20210039594A KR 20220134216 A KR20220134216 A KR 20220134216A
- Authority
- KR
- South Korea
- Prior art keywords
- risk
- photoplethysmography
- aortic valve
- image
- neural network
- Prior art date
Links
- 238000013186 photoplethysmography Methods 0.000 title claims abstract description 111
- 206010002906 aortic stenosis Diseases 0.000 title claims abstract description 76
- 208000003017 Aortic Valve Stenosis Diseases 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 67
- 208000024172 Cardiovascular disease Diseases 0.000 title claims abstract description 57
- 238000013473 artificial intelligence Methods 0.000 title description 3
- 238000013528 artificial neural network Methods 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 9
- 230000033001 locomotion Effects 0.000 claims description 44
- 238000007781 pre-processing Methods 0.000 claims description 24
- 208000031481 Pathologic Constriction Diseases 0.000 claims description 19
- 230000036262 stenosis Effects 0.000 claims description 19
- 208000037804 stenosis Diseases 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 13
- 239000003086 colorant Substances 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000036772 blood pressure Effects 0.000 claims description 7
- 230000002060 circadian Effects 0.000 claims description 5
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 4
- 229910052760 oxygen Inorganic materials 0.000 claims description 4
- 239000001301 oxygen Substances 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000002792 vascular Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 201000010099 disease Diseases 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 206010012601 diabetes mellitus Diseases 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 239000000758 substrate Substances 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 210000001765 aortic valve Anatomy 0.000 description 2
- 239000000090 biomarker Substances 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000034048 Asymptomatic disease Diseases 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 206010042434 Sudden death Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 208000037998 chronic venous disease Diseases 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Physiology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Artificial Intelligence (AREA)
- Veterinary Medicine (AREA)
- Data Mining & Analysis (AREA)
- Cardiology (AREA)
- Databases & Information Systems (AREA)
- Primary Health Care (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Vascular Medicine (AREA)
- Fuzzy Systems (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 방법을 제공한다. 본 발명의 실시예에 따른 방법은 (a) 이미지 생성 모듈이 정상인의 제1 광용적맥파(Photoplethysmography, PPG), 대동맥판막협착증 환자의 제2 광용적맥파 및 대동맥판막협착증과 심혈관 질환을 모두 갖는 환자의 제3 광용적맥파를 이미지화하여 학습 이미지들을 생성하는 단계, (b) 신경망(Neural Network)에 상기 (a) 단계에서 생성된 학습 이미지들이 학습되는 학습 단계로서, 상기 신경망의 입력층에 상기 학습 이미지들이 입력되고, 상기 신경망의 출력층을 통해 입력된 학습 이미지에 대한 대동막판막협착증 위험도 및 심혈관 질환 위험도가 출력되도록 학습되는, 학습 단계 및 (c) 학습이 완료된 상기 신경망에 임의의 개체로부터 획득한 광용적맥파의 이미지가 입력층을 통해 질의되고, 상기 신경망의 출력층을 통해 질의된 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 출력되는 단계를 포함할 수 있다.
Description
본 발명은 인공지능 학습을 통해 광용적맥파로부터 대동맥판막협착증 및 기타 심혈관 질환 위험도를 판단하는 방법 및 시스템에 관한 것이다.
대동맥판막협착증은 대동맥 판막이 경화하는 질환으로, 노년층에서 가장 흔히 발견되는 심혈관 질환이다. 최근 고령화 사회로 접어듦에 따라, 대동맥판막협착증 환자는 2015년부터 2019년까지 약 69%가 증가하는 추세이다. 대동맥판막협착증은 장기간의 무증상으로 인해 초기 질병 진단이 어려우나, 질병 방치 시 심장마비 등의 급사 위험이 존재한다. 정확한 진단을 위해서는 고가의 초음파 장비를 사용하는 것이 필요하며, 그 검사 시간 또한 오래 소요된다.
따라서, 의료기관 내원 없이 간편하고 빠르며 정확한 대동맥판막협착증 질병 판단 시스템의 개발이 요구되고 있는 실정이다.
관련 종래기술을 살펴보면 다음과 같다.
미국공개특허 제2016/0058308호는 광용적맥파 신호를 이용하여 당뇨병을 진단하는 기술을 제안하며, 당뇨병 진단 뿐 아니라 질병의 진행 정도, 발병 가능성, 당뇨병으로 인한 합병증 유무, 합병증 발생 가능성을 예측하는 기술에 관한 것이다. 광용적맥파를 기계학습함으로써 당뇨병을 예측할 수는 있지만, 생체 지표를 함께 학습하기 때문에 실제 당뇨병을 예측하기 위해서 광용적맥파 신호 이외에도 다수의 생체 지표를 모두 획득하여 입력하여야 하는 단점을 가지며, 2개의 광용적맥파 신호를 이용하여 맥파전달시간을 따로이 연산해야하는 단점을 갖는다.
중국공개특허 제106901723호는 비정상적인 ECG 신호를 패턴화하여 여러 종류의 비정상적 ECG를 분류하며, 보다 구체적으로 RNN, CNN 알고리즘을 이용하여 비정상적인 ECG 신호를 감지하는 기술을 제안한다. 이를 위해, 3개의 전극을 착용 또는 부착해야 하는 번거로움이 존재한다.
한국등록특허 제2108961호는 이미지 기반의 인공지능 딥러닝을 이용하여 혈압을 추정하는 기술을 제안한다. 카메라를 통해 촬영된 영상을 획득하여, 영상의 프레임마다 변화하는 색상 성분 값을 이용하여 광용적맥파 신호를 측정하고, 측정된 광용적맥파 신호에서 형태학적 특징과 스펙트럼 특징을 나누어 추출한 후 이를 이용하여 혈압을 추정하게 된다. 혈압을 측정하는 것에 그치고, 광용적맥파 신호를 측정하기 위해 RGB 영상을 처리하는 과정이 매우 복잡하다.
본 발명은 전술한 종래기술의 문제점을 해결하기 위해 안출된 것으로, 기계학습의 입력으로 복잡성이 높은 광용적맥파 신호를 그대로 학습 데이터로 사용하는 대신에, 소정의 전처리 과정을 거쳐 광용적맥파 신호를 이미지화한 이미지를 학습 데이터로 사용함으로써, 학습의 결과로 생성된 예측 모델의 예측 정확성을 향상시키기 위한 방법 및 시스템을 제공하는 것에 그 목적이 있다.
또한, 본 발명은 시간-주파수 도메인에서 주파수 변화도에 따라 서로 다른 색으로 표현된 이미지를 학습 데이터로 사용함에 따라, 높은 정확도로 대동맥판막협착증 위험도 및/또는 심혈관 질환 위험도를 연산하는 방법 및 시스템을 제공하는 것에 그 목적이 있다.
또한, 본 발명은 광용적맥파 신호를 기설정된 시간마다 분할한 복수개의 분할 광용적맥파 신호를 각각 이미지화하여 신경망에 학습시키기 때문에, 임의의 개체로부터 상기 기설정된 시간만큼의 광용적맥파 신호만을 획득하여도 대동맥판막협착증 등의 심장 질환 위험도가 판단가능하게 되는 방법 및 시스템을 제공하는 것에 그 목적이 있다.
또한, 본 발명은 모션 센서를 통해 획득된 모션 데이터가 기설정된 기준을 모두 만족할 경우에 획득된 광용적맥파 신호가 유효한 것으로 판단하여, 판단이 정확성이 높은 방법 및 시스템을 제공하는 것에 그 목적이 있다.
또한, 본 발명은 광용적맥파 신호, 온도 데이터 및 모션 데이터를 이용하여 개체의 다양한 생체 신호를 연산 가능한 방법 및 시스템을 제공하는 것에 그 목적이 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예는, (a) 이미지 생성 모듈이 정상인의 제1 광용적맥파(Photoplethysmography, PPG), 대동맥판막협착증 환자의 제2 광용적맥파 및 대동맥판막협착증과 심혈관 질환을 모두 갖는 환자의 제3 광용적맥파를 이미지화하여 학습 이미지들을 생성하는 단계, (b) 신경망(Neural Network)에 상기 (a) 단계에서 생성된 학습 이미지들이 학습되는 학습 단계로서, 상기 신경망의 입력층에 상기 학습 이미지들이 입력되고, 상기 신경망의 출력층을 통해 입력된 학습 이미지에 대한 대동막판막협착증 위험도 및 심혈관 질환 위험도가 출력되도록 학습되는, 학습 단계 및 (c) 학습이 완료된 상기 신경망에 임의의 개체로부터 획득한 광용적맥파의 이미지가 입력층을 통해 질의되고, 상기 신경망의 출력층을 통해 질의된 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 출력되는 단계를 포함하는, 광용적맥파를 이용한 대동맥판막협착증 위험도 판단 방법을 제공한다.
일 실시예에 있어서, 상기 학습 이미지는 2차원 이미지로서, 상기 2차원을 구성하는 어느 하나의 차원은 시간이고, 다른 하나의 차원은 주파수이며, 상기 2차원 상에서 광용적맥파 신호의 주파수 변화도에 따라 서로 다른 색으로 표현된 이미지일 수 있다.
일 실시예에 있어서, 상기 신경망은 CNN(Convolution Neural Network)일 수 있다.
일 실시예에 있어서, 상기 (a) 단계 이전, 전처리 모듈이 제1 내지 제3 광용적맥파를 기설정된 시간마다 분할하여 복수개의 분할 광용적맥파를 생성하는 단계를 더 포함하고, 상기 (a) 단계는, 상기 이미지 생성 모듈이 복수개의 분할 제1 내지 제3 광용적맥파 각각을 이미지화하여 복수개의 분할 학습 이미지를 생성하는 단계를 더 포함하며, 상기 (b) 단계는, 상기 신경망에 상기 분할 학습 이미지가 학습되는 단계를 더 포함할 수 있다.
일 실시예에 있어서, 상기 (b) 단계는, 상기 제1 광용적맥파와 상기 제2 광용적맥파가 상기 신경망에 분류 학습되거나, 상기 제1 광용적맥파와 상기 제3 광용적맥파가 상기 신경망에 분류 학습되거나, 상기 제2 광용적맥파와 상기 제3 광용적맥파가 상기 신경망에 분류 학습되는 단계를 더 포함할 수 있다.
일 실시예에 있어서, (d) 상기 (c) 단계에서 출력되는 대동맥판막협착증 위험도 및 심혈관 질환 위험도에 따라, 질의된 이미지가 획득된 상기 임의의 개체가 정상인 그룹, 대동맥판막협착증 그룹 및 대동맥판막협착증 및 심혈관 질환을 모두 갖는 그룹 중 어느 하나의 그룹으로 분류되는 단계를 더 포함할 수 있다.
일 실시예에 있어서, (a) 임의의 개체로부터 획득한 광용적맥파의 이미지가 입력되는 단계 및 (b) 입력된 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 연산되고, 연산된 위험도가 출력되는 단계;를 포함하는, 광용적맥파를 이용한 대동막판막협착증 위험도 판단 방법으로서, 상기 입력된 광용적맥파 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도를 연산하는 모델은, 정상인의 제1 광용적맥파(Photoplethysmography, PPG), 대동맥판막협착증 환자의 제2 광용적맥파 및 대동맥판막협착증과 심혈관 질환을 모두 갖는 환자의 제3 광용적맥파를 이미지화하여 생성된 학습 이미지들을 학습한 신경망(Neural Network)으로서, 상기 신경망의 입력층에 상기 학습 이미지들이 입력되고, 상기 신경망의 출력층을 통해 입력된 학습 이미지들에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 출력되도록 학습한 것을 특징으로 하는, 광용적맥파를 이용한 대동맥판막협착증 위험도 판단 방법을 제공한다.
또한, 본 발명은 상기 방법이 적용된 시스템으로서, 개체에 부착되어, 부착된 개체로부터 광용적맥파를 획득하도록 구성된 PPG센서(110)와, 상기 PPG 센서(110)에서 획득된 광용적맥파 신호를 외부 장치(200)에 전송하도록 구성된 통신 모듈(140)이 설치된, 패치(100) 및 상기 통신 모듈(140)과 상호 통신 가능하도록 구성되고, 상기 통신 모듈(140)로부터 전송된 광용적맥파 신호를 이미지화하고, 광용적맥파 신호 이미지를 상기 신경망의 입력층에 질의하여 출력층을 통해 질의된 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 출력되는 예측 모듈(230)을 포함하는, 외부 장치(200)를 포함하는, 광용적맥파를 이용한 대동맥판막협착증 위험도 판단 시스템을 제공한다.
일 실시예에 있어서, 상기 패치(100)는, 상기 개체의 온도를 측정하도록 구성된 온도 센서(120) 및 상기 개체의 움직임에 따른 모션 데이터를 출력하도록 구성된 모션 센서(130)를 더 포함하고, 상기 외부 장치(200)는, 상기 PPG 센서(110)에서 획득된 광용적맥파 신호, 상기 온도 센서(120)에서 측정된 온도 및 상기 모션 센서(130)에서 출력된 모션 데이터 중 적어도 하나를 이용하여 상기 개체의 생체 신호를 연산하도록 구성된, 생체 신호 연산 모듈(260)을 더 포함할 수 있다.
일 실시예에 있어서, 상기 외부 장치(200)는, 상기 광용적맥파 신호에 대해 제로크로싱법을 적용하여 설정된 제로크로싱 지점을 기준으로 복수의 일주기 파형 구간을 결정하고, 일주기 파형 구간에서의 최고점과 최저점을 광용적맥파 특징점으로 추출하도록 구성된 특징점 추출 모듈(250)을 더 포함하고, 상기 생체 신호 연산 모듈(260)은 상기 특징점 추출 모듈(250)에 의해 추출된 광용적맥파 특징점을 이용하여 상기 개체의 생체 신호를 연산하도록 구성될 수 있다.
일 실시예에 있어서, 상기 생체 신호 연산 모듈(260)은, 상기 광용적맥파 신호, 상기 온도 및 상기 모션 데이터를 이용하여 상기 개체의 심박수, 산소포화도, 혈관 나이, 혈압 및 심박변이도 중 적어도 하나를 연산하도록 구성될 수 있다.
또한, 본 발명은 상기 방법을 실행하도록 컴퓨터 판독 가능한 기록 매체에 저장된, 컴퓨터 프로그램을 제공한다.
본 발명에 따르면, 기계학습의 입력으로 복잡성이 높은 광용적맥파 신호를 그대로 학습 데이터로 사용하는 대신에, 소정의 전처리 과정을 거쳐 광용적맥파 신호를 이미지화한 이미지를 학습 데이터로 사용함으로써, 학습의 결과로 생성된 예측 모델의 예측 정확성이 향상된다.
또한, 본 발명은 시간-주파수 도메인에서 주파수 변화도에 따라 서로 다른 색으로 표현된 이미지를 학습 데이터로 사용함에 따라, 높은 정확도로 대동맥판막협착증 위험도 및/또는 심혈관 질환 위험도를 연산하는 것이 가능하다.
또한, 본 발명은 광용적맥파 신호를 기설정된 시간마다 분할한 복수개의 분할 광용적맥파 신호를 각각 이미지화하여 신경망에 학습시키기 때문에, 임의의 개체로부터 상기 기설정된 시간만큼의 광용적맥파 신호만을 획득하여도 대동맥판막협착증 등의 심장 질환이 판단 가능하다.
또한, 본 발명은 모션 센서를 통해 획득된 모션 데이터가 기설정된 기준을 모두 만족할 경우에 획득된 광용적맥파 신호가 유효한 것으로 판단하여, 판단이 정확성이 높다.
또한, 본 발명은 광용적맥파 신호, 온도 데이터 및 모션 데이터를 이용하여 개체의 다양한 생체 신호를 연산 가능하다.
도 1은 본 발명의 실시예에 따른 시스템의 전반적인 내용을 설명하기 위한 개략도이다.
도 2는 본 발명의 실시예에 따른 시스템에서, 광용적맥파를 학습하기 위한 구성들을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 시스템에서, 사전 학습된 신경망을 갖는 예측 모듈에 PPG 센서에서 획득된 광용적맥파 신호가 입력되는 과정을 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 시스템에서, 센서들에서 획득된 데이터를 이용하여 생체 신호를 연산하는 과정을 설명하기 위한 블록도이다.
도 5는 본 발명에서의 학습 과정을 전반적으로 설명하기 위한 도면으로서, 광용적맥파 신호가 전처리되는 과정에서의 데이터 형태를 설명하기 위한 도면이다.
도 6은 본 발명에 따른 시스템의 실제 실행 화면을 나타낸 도면이다.
도 7은 (a) 대동맥판막협착증 환자로부터 획득한 광용적맥파 신호를 2차원 이미지로 이미지화한 결과, (b) 정상인으로부터 획득한 광용적맥파 신호를 2차원 이미지로 이미지화한 결과, 그리고 (c) 대동맥판막협착증과 기타 심혈관 질환을 모두 갖는 환자로부터 획득한 광용적맥파 신호를 2차원 이미지로 이미지화한 결과를 나타낸 도면이다.
도 8은 도 7의 (a)와 (b)만을 분류학습 시켰을 때, (a)와 (c)만을 분류학습 시켰을 때, 그리고 (b)와 (c)만을 분류학습 시켰을 때의 성능을 테스트한 결과 도면이다.
도 9는 생체 신호 연산 모듈에 의한 생체 신호 연산 시, 광용적맥파 신호로부터 광용적맥파 특징점을 추출하기 위한 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 방법을 구체적으로 설명하기 위한 순서도이다.
도 2는 본 발명의 실시예에 따른 시스템에서, 광용적맥파를 학습하기 위한 구성들을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 시스템에서, 사전 학습된 신경망을 갖는 예측 모듈에 PPG 센서에서 획득된 광용적맥파 신호가 입력되는 과정을 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 시스템에서, 센서들에서 획득된 데이터를 이용하여 생체 신호를 연산하는 과정을 설명하기 위한 블록도이다.
도 5는 본 발명에서의 학습 과정을 전반적으로 설명하기 위한 도면으로서, 광용적맥파 신호가 전처리되는 과정에서의 데이터 형태를 설명하기 위한 도면이다.
도 6은 본 발명에 따른 시스템의 실제 실행 화면을 나타낸 도면이다.
도 7은 (a) 대동맥판막협착증 환자로부터 획득한 광용적맥파 신호를 2차원 이미지로 이미지화한 결과, (b) 정상인으로부터 획득한 광용적맥파 신호를 2차원 이미지로 이미지화한 결과, 그리고 (c) 대동맥판막협착증과 기타 심혈관 질환을 모두 갖는 환자로부터 획득한 광용적맥파 신호를 2차원 이미지로 이미지화한 결과를 나타낸 도면이다.
도 8은 도 7의 (a)와 (b)만을 분류학습 시켰을 때, (a)와 (c)만을 분류학습 시켰을 때, 그리고 (b)와 (c)만을 분류학습 시켰을 때의 성능을 테스트한 결과 도면이다.
도 9는 생체 신호 연산 모듈에 의한 생체 신호 연산 시, 광용적맥파 신호로부터 광용적맥파 특징점을 추출하기 위한 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 방법을 구체적으로 설명하기 위한 순서도이다.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하에서, 용어 "대동맥판막협착증 위험도"는 해당 개체가 대동맥판막협착증 질환을 가질 확률을 수치화한 정보이고, "심혈관 질환 위험도"는 해당 개체가 대동맥판막협착증 이외의 다른 심혈관 질환을 가질 확률을 수치화한 정보를 의미한다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
도 1을 참조하면, 본 발명의 실시예에 따른 시스템은 패치(100) 및 외부 장치(200)를 포함한다.
패치(100)는 일 예로 센서들이 설치되는 기판과, 기판과 연결되며 개체에 부착될 수 있도록 접착력을 제공하는 접착부로 구성될 수 있다.
기판에는 패치(100)가 부착된 개체로부터 광용적맥파(Photoplethysmography, PPG) 신호를 획득하도록 구성된 PPG 센서(110)가 설치된다. PPG 센서(110)로부터 획득된 광용적맥파 신호는 도 2에 도시된 형태일 수 있다.
본 발명의 실시예에 따른 패치(100)의 기판에는 PPG 센서(110) 이외에도, 온도 센서(120) 및 모션 센서(130)가 더 설치될 수 있다.
온도 센서(120)는 패치(100)가 부착된 개체의 체온을 측정하도록 구성되고, 모션 센서(130)는 개체의 움직임에 따른 모션 데이터를 출력하도록 구성된다.
본 발명에 따른 시스템은 PPG 센서(110)로부터 획득한 광용적맥파 신호를 이용하여 해당 개체의 대동맥판막협착증 등의 심혈관 질환 위험도를 판단할 수 있으며, 온도 센서(120)와 모션 센서(130)로부터 획득한 온도 데이터와 모션 데이터를 이용하여 해당 개체의 생체 신호까지도 연산하는 것이 가능하다. 이에 대한 자세한 설명은 후술한다.
패치(100)의 센서들(110, 120, 130)에서 획득된 데이터들(광용적맥파 신호, 온도 데이터 및 모션 데이터)는 통신 모듈(140)을 통해 외부 장치(200)에 전송된다. 통신 모듈(140)은 센서를 통해 획득한 데이터들이 유선/무선 통신 방식으로 외부 장치(200)에 전송되도록 구성될 수 있으며, 예를 들어 LAN(Local Area Network)와 같은 유선 통신 방식이나, 블루투스, Wifi와 같은 근거리 통신 네트워크, 셀룰러 네트워크 인터넷 또는 컴퓨터 네트워크와 같은 원거리 통신 네트워크를 통해 외부 장치(200)와 통신할 수 있다.
외부 장치(200)는 통신 모듈(140)을 통해 패치(100)로부터 데이터들을 전송받아, 해당 데이터들이 획득된 개체의 대동맥판막협착증 등의 심혈관 질환 위험도, 그리고 생체 신호를 연산하도록 구성된다. 여기에서, 외부 장치(200)는 연산 기능을 갖춘 마이크로 컨트롤러 유닛(Micro Controller Unit, MCU)을 포함하는 장치일 수 있으며, 예를 들어 컴퓨터, 스마트폰, 태블릿 PC 등이 여기에 해당할 수 있다.
도 2를 참조하면, 외부 장치(200)는 전처리 모듈(210), 이미지 생성 모듈(220), 예측 모듈(230) 및 출력 모듈(240)을 포함한다.
전처리 모듈(210)은 패치(100)로부터 전송된 광용적맥파 신호를 기설정된 방법으로 전처리하도록 구성된다. 즉, 전처리 모듈(210)은 신경망(Neural Network)에의 학습 단계 이전, 광용적맥파 신호의 전처리를 통해 학습에 최적화된 형태로 만들게 된다.
먼저, 전처리 모듈(210)은 순환 노치 필터(Notch Filter)를 통해 60Hz 대역의 주변 환경 신호와, 전원 노이즈 신호를 제거한다. 도 5를 참조하면, 노치 필터를 통과한 광용적맥파 신호(a)는 (b)의 신호 형태로 변환된다.
다음, (b) 형태의 신호에서 베이스라인(Baseline)을 제거하여 (c)의 신호 형태로 변환한다.
다음, (c)의 신호 형태를 기설정된 시간마다 분할하여 복수개의 분할 광용적맥파 신호를 생성한다. 본 발명의 실시예에서는, (c)의 신호 형태를 5초 내지 10초마다 분할하여 복수개의 분할 광용적맥파 신호를 생성할 수 있으며(도 5(d) 참조), 보다 구체적으로는 5초마다 분할하여 복수개의 분할 광용적맥파 신호를 생성할 수 있다. 이를 통해, 임의의 개체로부터 5초 내지 10초의 짧은 시간만큼의 광용적맥파 신호를 획득하는 것만으로도 심혈관 질환을 판단할 수 있다는 장점을 갖는다.
전처리 모듈(210)에 의해 광용적맥파 신호의 전처리가 이루어지면, 어느 하나의 광용적맥파 신호마다 복수개의 분할 광용적맥파 신호가 생성된다.
이미지 생성 모듈(220)은 복수개의 분할 광용적맥파 각각을 이미지화함으로써, 이미지를 생성한다.
이미지 생성 모듈(220)에 의해 생성된 이미지는 2차원 이미지일 수 있고, 상기 2차원을 구성하는 어느 하나의 차원은 시간이고, 다른 하나의 차원은 주파수이며, 2차원 상에서 광용적맥파 신호의 주파수 변화도에 따라 서로 다른 색으로 표현된 2차원 이미지일 수 있다(도 5(e) 참조). 일 예로, 이미지 생성 모듈(220)은 연속 웨이블렛 변환(Continous Wavelet Transform)을 통해 불규칙적으로 시간과 주파수 단위를 분할하여 시간대 주파수 도메인으로 변환함으로써 상기 이미지를 생성하게 된다. 여기에서, 주파수 변화도는 해당 주파수에서의 신호 변동성을 나타내는 지표일 수 있으며(즉, 시간-주파수 도메인에서 주파수 신호의 기울기) 주파수 변화도가 클수록 빨간색에 가까워진 색을 나타내고, 주파수 변화가 작을수록 파란색에 가까워진 색을 나타낼 수 있다. 하지만, 이에 제한되지 않고 주파수 변화도에 따라 서로 다른색을 띄는 이미지이면 본 발명의 범주에 모두 포함될 수 있다.
도 7에는 (a) 대동맥판막협착증 환자(AS 환자), (b) 정상인(Non-AS 환자), (c) 대동맥판막협착증과 기타 심혈관 질환을 모두 보유한 환자(AS-CVD 환자)로부터 획득한 광용적맥파 신호를 전처리 모듈(210)과 이미지 생성 모듈(220)을 거쳐 생성된 이미지가 도시된다. AS 환자의 경우, 정상인 대비 광용적맥파 신호에 미세한 변화가 유발되고, 주파수 성분에서의 변화, 그리고 파형 자체가 정상인 광용적맥파 신호 대비 파형 자체가 다를 수 있다. 가공되지 않은 광용적맥파 신호는 기계학습 과정에서의 학습 데이터로 사용하기에는 복잡성이 많고, 따라서 학습이 완료되더라도 예측 모델의 연산 정확성이 낮은 문제점이 있다. 반면, 본 발명에서는 가공되지 않은 광용적맥파 신호를 학습 데이터로 사용하는 것이 아닌, 전처리 모듈(210)을 거쳐 전처리된 데이터, 그리고 전처리된 데이터를 이미지화한 데이터를 학습하기 때문에, 예측 모델의 연산 정확성이 높은 장점을 갖는다. 특히, 종래 스펙트로그램(spectrogram)에서 신호의 강도에 따라 서로 다른 색으로 표현되는 방식을 사용하는 반면, 본 발명에서는 시간-주파수을 도메인으로 한 이미지에서 "주파수 변화도"에 따라 서로 다른 색으로 표현되는 이미지를 사용함에 따라, 대동맥판막협착증 및/또는 기타 심혈관 질환을 높은 정확도로 연산할 수 있다라는 장점이 달성된다.
여기에서, 기계학습에 이용되는 학습 이미지는 대동맥판막협착증, 기타 심혈관 질환 환자에서 나타나는 미세한 광용적맥파 신호의 특징, 이 이미지화 됨으로써, 미세한 차이(일 예로, 특히 특정 시점/주파수에서의 주파수 변화도)가 색깔의 차이 또는 이미지 형태의 차이로 표현될 수 있으며, 이를 통해 학습의 효율화 및 예측 모델의 연산 정확성까지 모두 향상시킬 수 있다.
이미지 생성 모듈(220)에 의해 복수개의 분할 광용적맥파 신호 각각의 이미지가 생성되면, 기설정된 구조를 갖는 신경망(Neural Network)에 이미지가 학습된다.
구체적으로, 복수개의 분할 광용적맥파 신호 각각의 이미지의 RGB 해상도를 높이는 단계(스케일링), 상기 이미지의 반전 및/또는 회전 단계 및 이미지 픽셀의 쉬프트 단계 중 하나 이상의 전처리 단계를 거친 후, 상기 신경망에 학습될 수 있다. 복수개의 분할 광용적맥파 신호를 이미지화한 학습 이미지를 단순 학습하는 경우와 비교하였을 때, 하나의 학습 이미지로 복수회 학습하는 효과가 달성된다.
구체적으로, 본 발명에 이용되는 신경망(Neural Network)는 이미지 학습에 적합한 컨벌루션 신경망(Convolution Neural Network, CNN)일 수 있으며, 특별히 이에 제한되지 않고 이미지 학습에 적합한 다양한 신경망 모델이 본 발명에 적용될 수 있다.
본 발명에서는 일 예로, 분류 학습 알고리즘이 적용될 수 있다. 즉, 정상인들로부터 획득한 제1 광용적맥파 신호, 대동맥판막협착증 환자들로부터 획득한 제2 광용적맥파 신호, 그리고 대동맥판막협착증과 기타 심혈관 질환을 모두 보유한 환자들로부터 획득한 제3 광용적맥파 신호를 구별할 수 있도록 분류 학습하는 과정이 적용될 수 있는 것이다. 제1 내지 제3 광용적맥파 신호는 구별을 위해 서로 다른 데이터가 라벨링(labeling)될 수 있다.
본 발명에서는, 제1 광용적맥파 신호와 제2 광용적맥파 신호만을 신경망에 분류 학습시켜 생성된 제1 예측 모델, 제1 광용적맥파 신호와 제3 광용적맥파 신호만을 신경망에 분류 학습시켜 생성된 제2 예측 모델, 그리고 제2 광용적맥파 신호와 제3 광용적맥파 신호만을 신경망에 분류 학습시켜 생성된 제3 예측 모델의 성능을 평가하는 실험을 수행하였다.
실험 결과, 제1 광용적맥파 신호와 제3 광용적맥파 신호를 분류 학습시킨 제2 예측 모델에서 가장 뛰어난 예측 성능을 보임을 확인할 수 있었다(도 8 참조).
다만, 본 발명에서는 제1 내지 제3 광용적맥파 신호 중 2개의 광용적맥파 신호를 분류학습하는 실시예뿐만 아니라, 제1 내지 제3 광용적맥파 신호를 모두 분류학습하여 실시예도 가능하다는 것을 이해하여야 할 것이다. 제1 내지 제3 광용적맥파 신호를 모두 학습하는 경우, 2개의 광용적맥파 신호만을 분류학습하는 경우와 비교하였을 때, 보다 높은 예측 성능을 갖게 된다.
본 발명에 따른 신경망은 제1 내지 제3 광용적맥파 신호 중 적어도 2개의 광용적맥파 신호의 이미지를 학습하여, 입력층을 통해 질의되는 임의의 광용적맥파 신호 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 출력층을 통해 출력되도록 기계학습된다.
예측 모듈(230)은 학습이 완료된 신경망을 이용하여 질의되는 임의의 광용적맥파 신호 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도를 출력하고, 출력된 위험도에 따라 해당 광용적맥파 신호가 획득된 개체가 정상인 그룹, 대동맥판막협착증 그룹, 대동맥판막협착증 및 기타 심혈관 질환을 모두 갖는 그룹 중 어느 하나의 그룹으로 분류하도록 구성된다.
여기에서, 예측 모듈(230)에 질의되는 광용적맥파 신호 이미지는, 임의의 개체에 부착된 패치(100)의 PPG 센서(110)로부터 획득된 광용적맥파 신호가 전처리 모듈(210) 및 이미지 생성 모듈(220)을 거쳐 생성된 이미지를 의미한다.
본 발명에서는 기준 대동맥판막협착증 위험도 및 기준 심혈관 질환 위험도가 미리 결정되어 있을 수 있다. 예측 모듈(230)에 입력된 광용적맥파 신호 이미지의 대동맥판막협착증 위험도가 상기 기준 대동맥판막협착증 위험도보다 낮고, 심혈관 질환 위험도가 상기 기준 심혈관 질환 위험도보다 낮은 경우 정상인 그룹으로 분류될 수 있다. 또한, 예측 모듈(230)에 입력된 광용적맥파 신호 이미지의 대동맥판막협착증 위험도가 상기 기준 대동막판막협착증 위험도보다 높고, 심혈관 질환 위험도가 상기 기준 심혈관 질환 위험도보다 낮은 경우 대동맥판막협착증 그룹으로 분류될 수 있다. 또한, 예측 모듈(230)에 입력된 광용적맥파 신호 이미지의 대동맥판막협착증 위험도가 상기 기준 대동막판막협착증 위험도보다 높고, 심혈관 질환 위험도가 상기 기준 심혈관 질환 위험도보다 높은 경우 대동막판막협착증 및 기타 심혈관 질환을 모두 갖는 그룹으로 분류될 수 있다(도 1 참조).
예측 모듈(230)의 대동맥판막협착증 위험도 및 심혈관 질환 위험도 연산에 따라 정상인 그룹, 대동막판막협착증 그룹 및 대동맥판막협착증 및 기타 심혈관 질환을 모두 갖는 그룹 중 어느 하나의 그룹으로 분류가 이루어지면, 출력 모듈(240)을 통해 해당 그룹의 명칭이 출력될 수 있다. 여기에서, 출력 모듈(240)은 모니터, 디스플레이, OLED 패널 등이 적용될 수 있으며, 이외에도 출력 모듈(240)을 통해 육안으로 식별 가능한 정보를 출력할 수 있는 구성이면 특별히 제한되지는 않는다.
본 발명에 따른 시스템은 PPG 센서(110)로부터 획득된 광용적맥파 신호를 입력으로 하여 정상인/대동맥판막협착증/대동맥판막협착증 및 기타 심혈관 질환을 모두 갖는 그룹 중 어느 하나의 그룹으로 분류하는 기능뿐만 아니라, 온도 센서(120)와 모션 센서(130)를 이용하여 해당 개체의 생체 신호를 연산하는 기능도 수행할 수 있다. 보다 구체적인 내용은 후술한다.
먼저, 모션 센서(130)는 패치(100)가 부착된 개체의 움직임에 따른 모션 데이터를 출력하도록 구성된다. 예를 들어, 모션 센서(130)는 3축 가속도 센서, 자이로 센서 등이 적용될 수 있으나, 움직임에 따른 모션 데이터가 출력될 수 있는 센서이면 특별히 이에 제한되지는 않는다.
본 발명에서 학습이 완료된 신경망에 질의되는 광용적맥파 신호 이미지는 적어도, 학습 과정에서 제1 내지 제3 광용적맥파 신호를 분할하는 과정에서 사용된 "기설정된 시간" 이상의 시간 동안 획득된 광용적맥파 신호로부터 변환된 이미지인 것이 바람직하다.
또한, 광용적맥파 신호가 획득되는 상기 "기설정된 시간"동안 모션 센서(130)에서 출력되는 모션 데이터가 "움직임 없음"에 대응하는 것이 바람직하다. 광용적맥파 신호를 획득하는 과정에서 패치(100)가 부착된 개체의 움직임이 관찰되는 경우, 정확한 광용적맥파 신호를 획득하기 어렵기 때문이다. 따라서, 본 발명에서는 유효 신호 검증 모듈이 더 구비된다. 유효 신호 검증 모듈은, 전처리 모듈(210)과 이미지 생성 모듈(220)에 의해 질의 데이터를 생성하기 이전 과정에서, PPG 센서(110)로부터 출력되는 광용적맥파 신호가 적어도 "기설정된 시간" 이상 동안 획득된 것인지, 또한 해당 "기설정된 시간" 이상 동안 모션 센서(130)에서 출력되는 모션 데이터가 "움직임 없음"에 대응하는 것인지 판별하여 해당 조건을 만족하지 않는 경우 노이즈 데이터로 판단하여 광용적맥파 신호를 다시 획득할 것을 요청하는 알람을 출력할 수 있으며, 해당 조건을 모두 만족하는 경우 유효 데이터로 판단하여 전처리 모듈(210)과 이미지 생성 모듈(220)를 거쳐 광용적맥파 신호 이미지를 생성하여 학습이 완료된 신경망의 입력층에 입력하게 된다. 이를 통해, 연산의 정확성을 향상시킬 수 있다.
본 발명에 따른 외부 장치(200)는 특징점 추출 모듈(250)과 생체 신호 연산 모듈(260)을 더 포함한다.
PPG 센서(110)에서 획득된 광용적맥파 신호는 전처리 모듈(210)에 의한 전처리를 통해 도 9에 도시된 전처리 신호(필터링)가 생성될 수 있다. 특징점 추출 모듈(250)은 전처리 신호에 대해 제로크로싱법을 적용하고, 제로크로싱법에 따라 설정된 제로크로싱 지점(주기가 일정하지 않은 불규칙한 파형에서 제로크로싱법에 따라 기준선을 설정하고, 불규칙한 파형이 기준선과 만나는 지점)을 기준으로 일주기 파형 구간을 결정한다(도 9에서 복수의 일주기 파형 구간이 회색과 파란색으로 번갈아가며 도시됨). 이후, 일주기 파형 구간에서의 최고점과 최저점을 각각 광용적맥파 특징점으로 추출하게 된다. 최고점과 최저점 이외에도, 생체 신호 연산을 위한 다양한 광용적맥파 특징점이 추출될 수 있다.
생체 신호 연산 모듈(260)은 특징점 추출 모듈(250)에 의해 추출된 광용적맥파 특징점, 온도 센서(120)에서 획득된 온도 데이터, 그리고 모션 센서(130)에서 획득된 모션 데이터를 이용하여 패치(100)가 부착된 개체의 생체 신호를 연산하도록 구성된다.
생체 신호 연산 모듈(260)에 의해 연산되는 생체 신호는 심박수, 산소포화도, 혈관 나이, 혈압 및 심박변이도일 수 있고, 이외에도 다양한 생체 신호가 연산되어 출력 모듈(240)을 통해 연산된 생체 신호 지표가 출력될 수 있다.
다음, 도 10을 참조하여 본 발명의 실시예에 따른 방법을 구체적으로 설명한다.
먼저, 정상인의 광용적맥파 신호인 제1 광용적맥파, 대동맥판막협착증 환자의 광용적맥파 신호인 제2 광용적맥파, 및 대동맥판막협착증과 기타 심혈관 질환을 모두 갖는 환자의 광용적맥파 신호인 제3 광용적맥파를 수집하는 과정이 필요하다. 해당 과정은 각각의 그룹에 PPG 센서를 부착하여 획득하는 방법으로 이루어질 수 있으나, 소정의 의학 데이터베이스에 미리 저장된 제1 내지 제3 광용적맥파를 수집하는 방법으로도 대체될 수 있다.
다음, 전처리 모듈(210)이 수집된 제1 내지 제3 광용적맥파 각각에 대해, 전처리를 수행한다. 즉, 제1 내지 제3 광용적맥파(도 5(a))에 순환 노치 필터를 적용하여 기설정된 대역의 신호를 제거하고(도 5(b)), 기설정된 방법으로 베이스라인을 제거한다(도 5(c)). 이후, 기설정된 시간마다 신호를 분할하여 복수개의 분할 광용적맥파를 생성한다(도 5(d)).
다음, 이미지 생성 모듈(220)이 복수개의 분할 광용적맥파 각각에 대해, 이미지 알고리즘을 적용하여 도 5(e)와 같은 이미지를 생성한다. 생성된 이미지는 주파수 및 시간을 도메인으로 한 2차원 이미지일 수 있으며, 해당 도메인에서의 신호의 주파수 변화도가 서로 다른 색으로 표현된 2차원 이미지일 수 있다.
이렇게 생성된 이미지는 신경망(Neural Network)에 학습되며, 보다 구체적으로는 제1 및 제2 광용적맥파가 신경망에 분류학습되거나, 제1 및 제3 광용적맥파가 신경망에 분류학습되거나, 제2 및 제3 광용적맥파가 신경망에 분류학습될 수 있다. 다른 실시예에서는, 제1 내지 제3 광용적맥파 모두가 신경망에 분류학습되는 것도 가능하다.
보다 구체적으로는, 신경망에 질의되는 광용적맥파 신호 이미지의 대동맥판막협착증 위험도 및 심혈관 질환 위험도를 연산하여 출력층을 통해 출력하도록 상기 이미지들을 학습할 수 있다.
신경망의 학습이 완료되면, 패치(100)가 부착된 개체로부터 PPG 센서(110)를 통해 광용적맥파 신호가 획득되고, 전처리 모듈(210)과 이미지 생성 모듈(220)을 거쳐 생성된 이미지가 신경망의 입력층에 질의된다. 신경망은, 질의된 이미지의 대동맥판막협착증 위험도 및 심혈관 질환 위험도를 연산하여 출력하게 되며, 예측 모듈(230)은 연산된 위험도에 따라 해당 개체를 정상인 그룹/대동맥판막협착증 그룹/대동맥판막협착증 및 기타 심혈관 질환을 모두 갖는 그룹 중 어느 하나의 그룹으로 분류하게 된다. 예측 모듈(230)에 의해 분류된 그룹은 출력 모듈(240)을 통해 출력될 수 있다.
또한, PPG 센서(110)를 통해 획득된 광용적맥파 신호가 전처리 모듈(210)을 통해 전처리되고, 특징점 추출 모듈(250)은 제로크로싱법을 적용하여 광용적맥파 특징점들을 추출할 수 있다.
생체 신호 연산 모듈(260)은 추출된 광용적맥파 특징점, 온도 센서(120)에서 획득된 온도 데이터, 그리고 모션 센서(130)에서 획득된 모션 데이터를 이용하여 패치(100)가 부착된 개체의 생체 신호를 연산하게 된다. 생체 신호 연산 모듈(260)에 의해 연산되는 생체 신호는 심박수, 산소포화도, 혈관 나이, 혈압 및 심박변이도 중 적어도 하나일 수 있다. 연산된 생체 신호는 마찬가지로, 출력 모듈(240)을 통해 그 수치가 출력될 수 있음은 물론이다.
본 발명의 실시예에 따른 광용적맥파를 이용한 대동맥판막협착증 및 기타 심혈관 질환 위험도 판단 시스템의 구성 전체 내지 적어도 일부는 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로도 구현될 수 있다.
여기서, 소프트웨어 모듈이란, 예컨대, 광용적맥파를 이용한 대동맥판막협착증 및 기타 심혈관 질환 판단 시스템 내에서 연산을 제어하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 광용적맥파를 이용한 대동맥판막협착증 및 기타 심혈관 질환 판단 시스템 내 메모리에 탑재된 형태를 가질 수 있을 것이다.
이상, 본 명세서에는 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당업자라면 본 발명의 실시예로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 보호범위는 청구범위에 의해서 정해져야 할 것이다.
100: 패치
110: PPG 센서
120: 온도 센서
130: 모션 센서
140: 통신 모듈
200: 외부 장치
210: 전처리 모듈
220: 이미지 생성 모듈
230: 예측 모듈
240: 출력 모듈
250: 특징점 추출 모듈
260: 생체 신호 연산 모듈
110: PPG 센서
120: 온도 센서
130: 모션 센서
140: 통신 모듈
200: 외부 장치
210: 전처리 모듈
220: 이미지 생성 모듈
230: 예측 모듈
240: 출력 모듈
250: 특징점 추출 모듈
260: 생체 신호 연산 모듈
Claims (12)
- (a) 이미지 생성 모듈이 정상인의 제1 광용적맥파(Photoplethysmography, PPG), 대동맥판막협착증 환자의 제2 광용적맥파 및 대동맥판막협착증과 심혈관 질환을 모두 갖는 환자의 제3 광용적맥파를 이미지화하여 학습 이미지들을 생성하는 단계;
(b) 신경망(Neural Network)에 상기 (a) 단계에서 생성된 학습 이미지들이 학습되는 학습 단계로서, 상기 신경망의 입력층에 상기 학습 이미지들이 입력되고, 상기 신경망의 출력층을 통해 입력된 학습 이미지에 대한 대동막판막협착증 위험도 및 심혈관 질환 위험도가 출력되도록 학습되는, 학습 단계; 및
(c) 학습이 완료된 상기 신경망에 임의의 개체로부터 획득한 광용적맥파의 이미지가 입력층을 통해 질의되고, 상기 신경망의 출력층을 통해 질의된 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 출력되는 단계;를 포함하는,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 방법.
- 제1항에 있어서,
상기 학습 이미지는 2차원 이미지로서, 상기 2차원을 구성하는 어느 하나의 차원은 시간이고, 다른 하나의 차원은 주파수이며, 상기 2차원 상에서 광용적맥파 신호의 주파수 변화도에 따라 서로 다른 색으로 표현된 이미지인,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 방법.
- 제2항에 있어서,
상기 신경망은 CNN(Convolution Neural Network)인,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 방법.
- 제3항에 있어서,
상기 (a) 단계 이전,
전처리 모듈이 제1 내지 제3 광용적맥파를 기설정된 시간마다 분할하여 복수개의 분할 광용적맥파를 생성하는 단계를 더 포함하고,
상기 (a) 단계는, 상기 이미지 생성 모듈이 복수개의 분할 제1 내지 제3 광용적맥파 각각을 이미지화하여 복수개의 분할 학습 이미지를 생성하는 단계를 더 포함하며,
상기 (b) 단계는, 상기 신경망에 상기 분할 학습 이미지가 학습되는 단계를 더 포함하는,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 방법.
- 제4항에 있어서,
상기 (b) 단계는,
상기 제1 광용적맥파와 상기 제2 광용적맥파가 상기 신경망에 분류 학습되거나, 상기 제1 광용적맥파와 상기 제3 광용적맥파가 상기 신경망에 분류 학습되거나, 상기 제2 광용적맥파와 상기 제3 광용적맥파가 상기 신경망에 분류 학습되는 단계를 더 포함하는,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 방법.
- 제1항에 있어서,
(d) 상기 (c) 단계에서 출력되는 대동맥판막협착증 위험도 및 심혈관 질환 위험도에 따라, 질의된 이미지가 획득된 상기 임의의 개체가 정상인 그룹, 대동맥판막협착증 그룹 및 대동맥판막협착증 및 심혈관 질환을 모두 갖는 그룹 중 어느 하나의 그룹으로 분류되는 단계;를 더 포함하는,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 방법.
- (a) 임의의 개체로부터 획득한 광용적맥파의 이미지가 입력되는 단계; 및
(b) 입력된 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 연산되고, 연산된 위험도가 출력되는 단계;를 포함하는, 광용적맥파를 이용한 대동막판막협착증 위험도 판단 방법으로서,
상기 입력된 광용적맥파 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도를 연산하는 모델은,
정상인의 제1 광용적맥파(Photoplethysmography, PPG), 대동맥판막협착증 환자의 제2 광용적맥파 및 대동맥판막협착증과 심혈관 질환을 모두 갖는 환자의 제3 광용적맥파를 이미지화하여 생성된 학습 이미지들을 학습한 신경망(Neural Network)으로서, 상기 신경망의 입력층에 상기 학습 이미지들이 입력되고, 상기 신경망의 출력층을 통해 입력된 학습 이미지들에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 출력되도록 학습한 것을 특징으로 하는,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 방법.
- 제1항 내지 제7항 중 어느 한 항에 따른 방법이 적용된 시스템으로서,
개체에 부착되어, 부착된 개체로부터 광용적맥파를 획득하도록 구성된 PPG센서(110)와, 상기 PPG 센서(110)에서 획득된 광용적맥파 신호를 외부 장치(200)에 전송하도록 구성된 통신 모듈(140)이 설치된, 패치(110); 및
상기 통신 모듈(140)과 상호 통신 가능하도록 구성되고, 상기 통신 모듈(140)로부터 전송된 광용적맥파 신호를 이미지화하고, 광용적맥파 신호 이미지를 상기 신경망의 입력층에 질의하여 출력층을 통해 질의된 이미지에 대한 대동맥판막협착증 위험도 및 심혈관 질환 위험도가 출력되는 예측 모듈(230)을 포함하는, 외부 장치(200);를 포함하는,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 시스템.
- 제8항에 있어서,
상기 패치(100)는,
상기 개체의 온도를 측정하도록 구성된 온도 센서(120); 및
상기 개체의 움직임에 따른 모션 데이터를 출력하도록 구성된 모션 센서(130);를 더 포함하고,
상기 외부 장치(200)는,
상기 PPG 센서(110)에서 획득된 광용적맥파 신호, 상기 온도 센서(120)에서 측정된 온도 및 상기 모션 센서(130)에서 출력된 모션 데이터 중 적어도 하나를 이용하여 상기 개체의 생체 신호를 연산하도록 구성된, 생체 신호 연산 모듈(260)을 더 포함하는,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 시스템.
- 제9항에 있어서,
상기 외부 장치(200)는,
상기 광용적맥파 신호에 대해 제로크로싱법을 적용하여 설정된 제로크로싱 지점을 기준으로 복수의 일주기 파형 구간을 결정하고, 일주기 파형 구간에서의 최고점과 최저점을 광용적맥파 특징점으로 추출하도록 구성된 특징점 추출 모듈(250)을 더 포함하고,
상기 생체 신호 연산 모듈(260)은 상기 특징점 추출 모듈(250)에 의해 추출된 광용적맥파 특징점을 이용하여 상기 개체의 생체 신호를 연산하도록 구성된,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 시스템.
- 제9항에 있어서,
상기 생체 신호 연산 모듈(260)은,
상기 광용적맥파 신호, 상기 온도 및 상기 모션 데이터를 이용하여 상기 개체의 심박수, 산소포화도, 혈관 나이, 혈압 및 심박변이도 중 적어도 하나를 연산하도록 구성된,
광용적맥파를 이용한 대동맥판막협착증 위험도 판단 시스템.
- 제1항 내지 제7항 중 어느 한 항에 따른 방법을 실행하도록 컴퓨터 판독 가능한 기록 매체에 저장된,
컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210039594A KR102493242B1 (ko) | 2021-03-26 | 2021-03-26 | 인공지능 학습을 통해 광용적맥파로부터 대동맥판막협착증 및 기타 심혈관 질환 위험도를 판단하는 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210039594A KR102493242B1 (ko) | 2021-03-26 | 2021-03-26 | 인공지능 학습을 통해 광용적맥파로부터 대동맥판막협착증 및 기타 심혈관 질환 위험도를 판단하는 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220134216A true KR20220134216A (ko) | 2022-10-05 |
| KR102493242B1 KR102493242B1 (ko) | 2023-01-30 |
Family
ID=83596588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210039594A KR102493242B1 (ko) | 2021-03-26 | 2021-03-26 | 인공지능 학습을 통해 광용적맥파로부터 대동맥판막협착증 및 기타 심혈관 질환 위험도를 판단하는 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102493242B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160058308A (ko) | 2014-11-14 | 2016-05-25 | 주식회사 지일렉트로닉스 | 가속기를 구비한 자가발전 무체인 자전거 |
| CN106901723A (zh) | 2017-04-20 | 2017-06-30 | 济南浪潮高新科技投资发展有限公司 | 一种心电图异常自动诊断方法 |
| KR20200005412A (ko) * | 2018-07-06 | 2020-01-15 | 연세대학교 산학협력단 | 심혈관 질병 진단 보조 방법 및 장치 |
| KR102108961B1 (ko) | 2019-04-23 | 2020-05-11 | 주식회사 에프앤디파트너스 | 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치 |
| KR20200054723A (ko) * | 2018-11-12 | 2020-05-20 | 삼성전자주식회사 | 혈압 측정 장치 및 방법 |
-
2021
- 2021-03-26 KR KR1020210039594A patent/KR102493242B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160058308A (ko) | 2014-11-14 | 2016-05-25 | 주식회사 지일렉트로닉스 | 가속기를 구비한 자가발전 무체인 자전거 |
| CN106901723A (zh) | 2017-04-20 | 2017-06-30 | 济南浪潮高新科技投资发展有限公司 | 一种心电图异常自动诊断方法 |
| KR20200005412A (ko) * | 2018-07-06 | 2020-01-15 | 연세대학교 산학협력단 | 심혈관 질병 진단 보조 방법 및 장치 |
| KR20200054723A (ko) * | 2018-11-12 | 2020-05-20 | 삼성전자주식회사 | 혈압 측정 장치 및 방법 |
| KR102108961B1 (ko) | 2019-04-23 | 2020-05-11 | 주식회사 에프앤디파트너스 | 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102493242B1 (ko) | 2023-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102200526B1 (ko) | 개방형 api 기반 의료 정보 제공 방법 및 시스템 | |
| JP7261811B2 (ja) | 訓練された予測モデルに基づく血圧降下の非侵襲的決定のためのシステム及び方法 | |
| Fan et al. | Robust blood pressure estimation using an RGB camera | |
| CN110191675A (zh) | 用于非接触式确定血压的系统和方法 | |
| JP2017093760A (ja) | 心拍に連動する周期的変動の計測装置及び計測方法 | |
| Zheng et al. | Heart rate prediction from facial video with masks using eye location and corrected by convolutional neural networks | |
| CN111820870B (zh) | 生物影像处理方法以及生理信息检测装置 | |
| WO2021045616A1 (en) | A computer-implemented method and an apparatus for determining body positions and/or sleep stages of a person during sleep. | |
| Li et al. | Hybrid D1DCnet using forehead iPPG for continuous and noncontact blood pressure measurement | |
| Sel et al. | Physics-informed neural networks for modeling physiological time series for cuffless blood pressure estimation | |
| KR102243017B1 (ko) | 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법 | |
| Ayesha et al. | A web application for experimenting and validating remote measurement of vital signs | |
| WO2017085895A1 (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
| Slapnicar et al. | Contact-free monitoring of physiological parameters in people with profound intellectual and multiple disabilities | |
| KR102493242B1 (ko) | 인공지능 학습을 통해 광용적맥파로부터 대동맥판막협착증 및 기타 심혈관 질환 위험도를 판단하는 방법 및 시스템 | |
| RU2289310C2 (ru) | Способ получения информации о психофизиологическом состоянии живого объекта | |
| JP6201520B2 (ja) | 生理指標を用いる視線分析システムおよび方法 | |
| Frederick | PPG signals for hypertension diagnosis: A novel method using deep learning models | |
| KR20230168891A (ko) | 컨볼루션 신경망 및 장단기 메모리 네트워크를 이용한 비가압적 혈압 예측 장치, 방법 및 컴퓨터로 판독 가능한 저장 매체 | |
| US20210117782A1 (en) | Interpretable neural networks for cuffless blood pressure estimation | |
| Liu et al. | Adaptive-weight network for imaging photoplethysmography signal extraction and heart rate estimation | |
| van Putten et al. | From video to vital signs: using personal device cameras to measure pulse rate and predict blood pressure using explainable AI | |
| Tarmizi et al. | A review of facial thermography assessment for vital signs estimation | |
| CN113598742B (zh) | 房颤分类模型训练方法、房颤识别方法及系统 | |
| US20230027320A1 (en) | Movement Disorder Diagnostics from Video Data Using Body Landmark Tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |