KR102596534B1 - 진단 보조 방법 및 장치 - Google Patents
진단 보조 방법 및 장치 Download PDFInfo
- Publication number
- KR102596534B1 KR102596534B1 KR1020220103813A KR20220103813A KR102596534B1 KR 102596534 B1 KR102596534 B1 KR 102596534B1 KR 1020220103813 A KR1020220103813 A KR 1020220103813A KR 20220103813 A KR20220103813 A KR 20220103813A KR 102596534 B1 KR102596534 B1 KR 102596534B1
- Authority
- KR
- South Korea
- Prior art keywords
- diagnostic
- neural network
- network model
- diagnostic assistance
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title description 406
- 238000003745 diagnosis Methods 0.000 title description 238
- 238000003062 neural network model Methods 0.000 claims abstract description 968
- 238000012545 processing Methods 0.000 claims abstract description 104
- 238000013528 artificial neural network Methods 0.000 claims description 68
- 210000001508 eye Anatomy 0.000 description 576
- 208000026106 cerebrovascular disease Diseases 0.000 description 181
- 230000008569 process Effects 0.000 description 160
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 158
- 201000010099 disease Diseases 0.000 description 157
- 238000010586 diagram Methods 0.000 description 138
- 238000012549 training Methods 0.000 description 111
- 208000030533 eye disease Diseases 0.000 description 75
- 238000007781 pre-processing Methods 0.000 description 64
- 229940121710 HMGCoA reductase inhibitor Drugs 0.000 description 61
- 230000002159 abnormal effect Effects 0.000 description 60
- 210000004351 coronary vessel Anatomy 0.000 description 57
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 52
- 239000011575 calcium Substances 0.000 description 52
- 229910052791 calcium Inorganic materials 0.000 description 52
- 208000029078 coronary artery disease Diseases 0.000 description 50
- 238000012795 verification Methods 0.000 description 43
- 238000005534 hematocrit Methods 0.000 description 40
- 239000003814 drug Substances 0.000 description 34
- 229940079593 drug Drugs 0.000 description 31
- 230000008859 change Effects 0.000 description 29
- 210000004204 blood vessel Anatomy 0.000 description 27
- 238000013527 convolutional neural network Methods 0.000 description 26
- 238000004422 calculation algorithm Methods 0.000 description 25
- 238000002405 diagnostic procedure Methods 0.000 description 25
- 208000024172 Cardiovascular disease Diseases 0.000 description 24
- 206010012689 Diabetic retinopathy Diseases 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 22
- 230000000007 visual effect Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 20
- 238000012360 testing method Methods 0.000 description 20
- 238000011282 treatment Methods 0.000 description 20
- 206010003211 Arteriosclerosis coronary artery Diseases 0.000 description 19
- 210000003733 optic disk Anatomy 0.000 description 19
- 102000001554 Hemoglobins Human genes 0.000 description 17
- 108010054147 Hemoglobins Proteins 0.000 description 17
- 238000004891 communication Methods 0.000 description 17
- 230000005856 abnormality Effects 0.000 description 16
- 239000003795 chemical substances by application Substances 0.000 description 16
- 238000012014 optical coherence tomography Methods 0.000 description 16
- 230000009471 action Effects 0.000 description 14
- 239000000284 extract Substances 0.000 description 14
- 210000002216 heart Anatomy 0.000 description 14
- 208000002780 macular degeneration Diseases 0.000 description 14
- 238000002360 preparation method Methods 0.000 description 14
- 230000009466 transformation Effects 0.000 description 14
- PVNIIMVLHYAWGP-UHFFFAOYSA-N Niacin Chemical compound OC(=O)C1=CC=CN=C1 PVNIIMVLHYAWGP-UHFFFAOYSA-N 0.000 description 12
- 238000012552 review Methods 0.000 description 12
- 230000009885 systemic effect Effects 0.000 description 12
- 239000002471 hydroxymethylglutaryl coenzyme A reductase inhibitor Substances 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 11
- 230000000391 smoking effect Effects 0.000 description 11
- 206010003210 Arteriosclerosis Diseases 0.000 description 10
- BSYNRYMUTXBXSQ-UHFFFAOYSA-N Aspirin Chemical compound CC(=O)OC1=CC=CC=C1C(O)=O BSYNRYMUTXBXSQ-UHFFFAOYSA-N 0.000 description 10
- 208000002177 Cataract Diseases 0.000 description 10
- 229960001138 acetylsalicylic acid Drugs 0.000 description 10
- DDRJAANPRJIHGJ-UHFFFAOYSA-N creatinine Chemical compound CN1CC(=O)NC1=N DDRJAANPRJIHGJ-UHFFFAOYSA-N 0.000 description 10
- 230000010365 information processing Effects 0.000 description 10
- 206010020772 Hypertension Diseases 0.000 description 9
- 230000004913 activation Effects 0.000 description 9
- 210000004369 blood Anatomy 0.000 description 9
- 239000008280 blood Substances 0.000 description 9
- 238000010200 validation analysis Methods 0.000 description 9
- 208000031226 Hyperlipidaemia Diseases 0.000 description 8
- 230000003416 augmentation Effects 0.000 description 8
- HVYWMOMLDIMFJA-DPAQBDIFSA-N cholesterol Chemical compound C1C=C2C[C@@H](O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2 HVYWMOMLDIMFJA-DPAQBDIFSA-N 0.000 description 8
- 208000019622 heart disease Diseases 0.000 description 8
- 201000001320 Atherosclerosis Diseases 0.000 description 7
- 208000010412 Glaucoma Diseases 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 7
- 210000004072 lung Anatomy 0.000 description 7
- 208000010125 myocardial infarction Diseases 0.000 description 7
- 230000006978 adaptation Effects 0.000 description 6
- 238000004820 blood count Methods 0.000 description 6
- 230000002308 calcification Effects 0.000 description 6
- 230000007547 defect Effects 0.000 description 6
- 210000003743 erythrocyte Anatomy 0.000 description 6
- 229960003512 nicotinic acid Drugs 0.000 description 6
- 235000001968 nicotinic acid Nutrition 0.000 description 6
- 239000011664 nicotinic acid Substances 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 206010019280 Heart failures Diseases 0.000 description 5
- 230000000747 cardiac effect Effects 0.000 description 5
- 206010008118 cerebral infarction Diseases 0.000 description 5
- 229940109239 creatinine Drugs 0.000 description 5
- 230000002792 vascular Effects 0.000 description 5
- 206010002383 Angina Pectoris Diseases 0.000 description 4
- 208000032928 Dyslipidaemia Diseases 0.000 description 4
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 206010024214 Lenticular opacities Diseases 0.000 description 4
- 208000017170 Lipid metabolism disease Diseases 0.000 description 4
- 208000006011 Stroke Diseases 0.000 description 4
- 238000002583 angiography Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 206010012601 diabetes mellitus Diseases 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- UFTFJSFQGQCHQW-UHFFFAOYSA-N triformin Chemical compound O=COCC(OC=O)COC=O UFTFJSFQGQCHQW-UHFFFAOYSA-N 0.000 description 4
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 3
- 108010010234 HDL Lipoproteins Proteins 0.000 description 3
- 102000015779 HDL Lipoproteins Human genes 0.000 description 3
- 206010021143 Hypoxia Diseases 0.000 description 3
- 206010023126 Jaundice Diseases 0.000 description 3
- 208000037111 Retinal Hemorrhage Diseases 0.000 description 3
- 206010038862 Retinal exudates Diseases 0.000 description 3
- 239000002220 antihypertensive agent Substances 0.000 description 3
- 229940030600 antihypertensive agent Drugs 0.000 description 3
- 239000003524 antilipemic agent Substances 0.000 description 3
- 208000011775 arteriosclerosis disease Diseases 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000018044 dehydration Effects 0.000 description 3
- 238000006297 dehydration reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000000416 exudates and transudate Anatomy 0.000 description 3
- 229940125753 fibrate Drugs 0.000 description 3
- 230000007954 hypoxia Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 210000003734 kidney Anatomy 0.000 description 3
- 208000031225 myocardial ischemia Diseases 0.000 description 3
- 230000002207 retinal effect Effects 0.000 description 3
- 102000002260 Alkaline Phosphatase Human genes 0.000 description 2
- 108020004774 Alkaline Phosphatase Proteins 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 2
- 200000000007 Arterial disease Diseases 0.000 description 2
- XUKUURHRXDUEBC-KAYWLYCHSA-N Atorvastatin Chemical compound C=1C=CC=CC=1C1=C(C=2C=CC(F)=CC=2)N(CC[C@@H](O)C[C@@H](O)CC(O)=O)C(C(C)C)=C1C(=O)NC1=CC=CC=C1 XUKUURHRXDUEBC-KAYWLYCHSA-N 0.000 description 2
- XUKUURHRXDUEBC-UHFFFAOYSA-N Atorvastatin Natural products C=1C=CC=CC=1C1=C(C=2C=CC(F)=CC=2)N(CCC(O)CC(O)CC(O)=O)C(C(C)C)=C1C(=O)NC1=CC=CC=C1 XUKUURHRXDUEBC-UHFFFAOYSA-N 0.000 description 2
- 208000037157 Azotemia Diseases 0.000 description 2
- 206010007559 Cardiac failure congestive Diseases 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 2
- 238000008214 LDL Cholesterol Methods 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 2
- 208000009857 Microaneurysm Diseases 0.000 description 2
- 208000018262 Peripheral vascular disease Diseases 0.000 description 2
- 208000027032 Renal vascular disease Diseases 0.000 description 2
- RYMZZMVNJRMUDD-UHFFFAOYSA-N SJ000286063 Natural products C12C(OC(=O)C(C)(C)CC)CC(C)C=C2C=CC(C)C1CCC1CC(O)CC(=O)O1 RYMZZMVNJRMUDD-UHFFFAOYSA-N 0.000 description 2
- 101000679735 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) 60S ribosomal protein L16-A Proteins 0.000 description 2
- 208000032109 Transient ischaemic attack Diseases 0.000 description 2
- 206010000891 acute myocardial infarction Diseases 0.000 description 2
- 208000007502 anemia Diseases 0.000 description 2
- 239000003146 anticoagulant agent Substances 0.000 description 2
- 229960005370 atorvastatin Drugs 0.000 description 2
- 229920000080 bile acid sequestrant Polymers 0.000 description 2
- 239000011230 binding agent Substances 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 210000001715 carotid artery Anatomy 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000035487 diastolic blood pressure Effects 0.000 description 2
- 230000005750 disease progression Effects 0.000 description 2
- OLNTVTPDXPETLC-XPWALMASSA-N ezetimibe Chemical compound N1([C@@H]([C@H](C1=O)CC[C@H](O)C=1C=CC(F)=CC=1)C=1C=CC(O)=CC=1)C1=CC=C(F)C=C1 OLNTVTPDXPETLC-XPWALMASSA-N 0.000 description 2
- 229960000815 ezetimibe Drugs 0.000 description 2
- 208000035474 group of disease Diseases 0.000 description 2
- 208000018578 heart valve disease Diseases 0.000 description 2
- 208000006454 hepatitis Diseases 0.000 description 2
- 231100000283 hepatitis Toxicity 0.000 description 2
- 238000007417 hierarchical cluster analysis Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 208000017169 kidney disease Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229940096701 plain lipid modifying drug hmg coa reductase inhibitors Drugs 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 235000018102 proteins Nutrition 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 208000015670 renal artery disease Diseases 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 229960000672 rosuvastatin Drugs 0.000 description 2
- BPRHUIZQVSMCRT-VEUZHWNKSA-N rosuvastatin Chemical compound CC(C)C1=NC(N(C)S(C)(=O)=O)=NC(C=2C=CC(F)=CC=2)=C1\C=C\[C@@H](O)C[C@@H](O)CC(O)=O BPRHUIZQVSMCRT-VEUZHWNKSA-N 0.000 description 2
- 229960002855 simvastatin Drugs 0.000 description 2
- RYMZZMVNJRMUDD-HGQWONQESA-N simvastatin Chemical compound C([C@H]1[C@@H](C)C=CC2=C[C@H](C)C[C@@H]([C@H]12)OC(=O)C(C)(C)CC)C[C@@H]1C[C@@H](O)CC(=O)O1 RYMZZMVNJRMUDD-HGQWONQESA-N 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000009469 supplementation Effects 0.000 description 2
- 230000035488 systolic blood pressure Effects 0.000 description 2
- 201000010875 transient cerebral ischemia Diseases 0.000 description 2
- 208000009852 uremia Diseases 0.000 description 2
- 230000006496 vascular abnormality Effects 0.000 description 2
- 238000010626 work up procedure Methods 0.000 description 2
- HSINOMROUCMIEA-FGVHQWLLSA-N (2s,4r)-4-[(3r,5s,6r,7r,8s,9s,10s,13r,14s,17r)-6-ethyl-3,7-dihydroxy-10,13-dimethyl-2,3,4,5,6,7,8,9,11,12,14,15,16,17-tetradecahydro-1h-cyclopenta[a]phenanthren-17-yl]-2-methylpentanoic acid Chemical compound C([C@@]12C)C[C@@H](O)C[C@H]1[C@@H](CC)[C@@H](O)[C@@H]1[C@@H]2CC[C@]2(C)[C@@H]([C@H](C)C[C@H](C)C(O)=O)CC[C@H]21 HSINOMROUCMIEA-FGVHQWLLSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 102000009027 Albumins Human genes 0.000 description 1
- 108010088751 Albumins Proteins 0.000 description 1
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- DCXYFEDJOCDNAF-UHFFFAOYSA-N Asparagine Natural products OC(=O)C(N)CC(N)=O DCXYFEDJOCDNAF-UHFFFAOYSA-N 0.000 description 1
- 101000856500 Bacillus subtilis subsp. natto Glutathione hydrolase proenzyme Proteins 0.000 description 1
- BVKZGUZCCUSVTD-UHFFFAOYSA-M Bicarbonate Chemical compound OC([O-])=O BVKZGUZCCUSVTD-UHFFFAOYSA-M 0.000 description 1
- 208000014644 Brain disease Diseases 0.000 description 1
- 240000001548 Camellia japonica Species 0.000 description 1
- 201000006306 Cor pulmonale Diseases 0.000 description 1
- 241000701022 Cytomegalovirus Species 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 208000002249 Diabetes Complications Diseases 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 102000008857 Ferritin Human genes 0.000 description 1
- 108050000784 Ferritin Proteins 0.000 description 1
- 238000008416 Ferritin Methods 0.000 description 1
- 102000006395 Globulins Human genes 0.000 description 1
- 108010044091 Globulins Proteins 0.000 description 1
- 101710173228 Glutathione hydrolase proenzyme Proteins 0.000 description 1
- 102000017011 Glycated Hemoglobin A Human genes 0.000 description 1
- 108010023302 HDL Cholesterol Proteins 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 208000035150 Hypercholesterolemia Diseases 0.000 description 1
- 102000008133 Iron-Binding Proteins Human genes 0.000 description 1
- 108010035210 Iron-Binding Proteins Proteins 0.000 description 1
- 108010028554 LDL Cholesterol Proteins 0.000 description 1
- 108010007622 LDL Lipoproteins Proteins 0.000 description 1
- 102000007330 LDL Lipoproteins Human genes 0.000 description 1
- 208000008589 Obesity Diseases 0.000 description 1
- 208000022873 Ocular disease Diseases 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 208000001647 Renal Insufficiency Diseases 0.000 description 1
- 208000002367 Retinal Perforations Diseases 0.000 description 1
- 201000007737 Retinal degeneration Diseases 0.000 description 1
- 206010038933 Retinopathy of prematurity Diseases 0.000 description 1
- 206010040943 Skin Ulcer Diseases 0.000 description 1
- 102000003929 Transaminases Human genes 0.000 description 1
- 108090000340 Transaminases Proteins 0.000 description 1
- 108090000992 Transferases Proteins 0.000 description 1
- 102000004357 Transferases Human genes 0.000 description 1
- LEHOTFFKMJEONL-UHFFFAOYSA-N Uric Acid Chemical compound N1C(=O)NC(=O)C2=C1NC(=O)N2 LEHOTFFKMJEONL-UHFFFAOYSA-N 0.000 description 1
- TVWHNULVHGKJHS-UHFFFAOYSA-N Uric acid Natural products N1C(=O)NC(=O)C2NC(=O)NC21 TVWHNULVHGKJHS-UHFFFAOYSA-N 0.000 description 1
- 108010069201 VLDL Cholesterol Proteins 0.000 description 1
- PNNCWTXUWKENPE-UHFFFAOYSA-N [N].NC(N)=O Chemical compound [N].NC(N)=O PNNCWTXUWKENPE-UHFFFAOYSA-N 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 210000002159 anterior chamber Anatomy 0.000 description 1
- 229940127219 anticoagulant drug Drugs 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 229960004676 antithrombotic agent Drugs 0.000 description 1
- 229940127217 antithrombotic drug Drugs 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 229960001230 asparagine Drugs 0.000 description 1
- 235000009582 asparagine Nutrition 0.000 description 1
- 239000003613 bile acid Substances 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000005189 cardiac health Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 235000012000 cholesterol Nutrition 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 235000018597 common camellia Nutrition 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- CYQFCXCEBYINGO-IAGOWNOFSA-N delta1-THC Chemical compound C1=C(C)CC[C@H]2C(C)(C)OC3=CC(CCCCC)=CC(O)=C3[C@@H]21 CYQFCXCEBYINGO-IAGOWNOFSA-N 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000502 dialysis Methods 0.000 description 1
- 208000010643 digestive system disease Diseases 0.000 description 1
- 239000002934 diuretic Substances 0.000 description 1
- 229940030606 diuretics Drugs 0.000 description 1
- 238000002651 drug therapy Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- WGXUDTHMEITUBO-YFKPBYRVSA-N glutaurine Chemical compound OC(=O)[C@@H](N)CCC(=O)NCCS(O)(=O)=O WGXUDTHMEITUBO-YFKPBYRVSA-N 0.000 description 1
- 108091005995 glycated hemoglobin Proteins 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 208000006575 hypertriglyceridemia Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 229940082629 iron antianemic preparations Drugs 0.000 description 1
- 201000006370 kidney failure Diseases 0.000 description 1
- 230000003907 kidney function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 208000029233 macular holes Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002483 medication Methods 0.000 description 1
- 230000004089 microcirculation Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000013546 non-drug therapy Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 229940012843 omega-3 fatty acid Drugs 0.000 description 1
- 235000020660 omega-3 fatty acid Nutrition 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 208000030613 peripheral artery disease Diseases 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 210000001927 retinal artery Anatomy 0.000 description 1
- 208000002492 retinal drusen Diseases 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 201000001184 retinal microaneurysm Diseases 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 231100000019 skin ulcer Toxicity 0.000 description 1
- 150000003431 steroids Chemical class 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 229940116269 uric acid Drugs 0.000 description 1
- 230000003966 vascular damage Effects 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4842—Monitoring progression or stage of a disease
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Ophthalmology & Optometry (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Biodiversity & Conservation Biology (AREA)
- Fuzzy Systems (AREA)
Abstract
본 발명의 일 양태는 신경망 모델을 이용하고 안구 이미지에 기초하여 진단 보조 정보를 획득하는 진단 보조 장치에 있어서, 대상 안구 이미지를 획득하는 안구 이미지 획득부 및 진단 보조 정보를 획득하도록 학습된 신경망 모델을 이용하고, 대상 안구 이미지에 기초하여 진단 보조 정보를 획득하는 처리부를 포함하되, 신경망 모델은, 제1 진단 보조 신경망 모델 및 제2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델을 포함하되, 제1 진단 보조 신경망 모델은 제1 특징 세트를 획득하는 제1 공통 부분 및 제1 진단 보조 정보를 획득하는 제1 개별 부분을 포함하고, 제2 진단 보조 신경망 모델은, 제1 특징 세트를 획득하는 제1 공통 부분 및 제2 진단 보조 정보를 획득하는 제2 개별 부분을 포함하는, 진단 보조 장치에 대한 것이다.
Description
본 발명은 신경망 모델을 이용하는 진단 보조 방법 및 장치에 대한 것으로서, 복수의 진단 보조 정보를 획득하는 진단 보조 방법 및 장치에 관한 것이다.
안저 검사는 망막, 시신경 및 황반부의 이상을 관찰할 수 있으며 비교적 간단하게 촬영을 통하여 결과를 확인할 수 있어 안과에서 빈번하게 활용되는 진단 보조 자료이다. 최근에는 안저 검사를 통하여 안질환 뿐 아니라 고혈압, 당뇨 등의 만성 질환에 의한 혈관 손상 정도를 비침습적 방법으로 관찰할 수 있다는 점에서 더욱 그 쓰임새가 늘어나고 있는 추세이다.
한편, 근래의 딥러닝 기술의 도약적인 발전에 의해, 의료 진단 분야, 특히 이미지 기반의 진단 분야에서 진단 인공지능의 개발이 활발하게 이루어지고 있다. 구글, IBM 등의 글로벌 기업들에서도 의료계와의 협업으로 대규모 데이터를 투입하는 등, 다양한 영상 의료 데이터 분석을 위한 인공지능 개발에 투자를 아끼지 않고 있으며, 일부 기업에서는 우수한 진단 결과를 출력하는 인공지능 진단 툴 개발에 성공하기도 하였다.
다만, 안저 이미지를 이용하면 체내 혈관을 비침습적으로 관찰할 수 있는 바, 안질환 뿐 아니라 전신 질환과 관련하여서도 안저 이미지를 이용한 진단 적용의 확장이 요청되고 있다.
본 발명의 일 과제는, 복수의 정보를 획득하는 진단 보조 신경망 모델을 제공하는 것이다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 양태에 따르면, 적어도 하나의 신경망 레이어를 포함하는 신경망 모델을 이용하고 안구 이미지에 기초하여 진단 보조 정보를 획득하는 진단 보조 장치에 있어서, 피검체의 안구로부터 획득된 대상 안구 이미지를 획득하는 안구 이미지 획득부 및 안구 이미지에 기초하여 진단 보조 정보를 획득하도록 학습된 신경망 모델을 이용하고, 대상 안구 이미지에 기초하여 진단 보조 정보를 획득하는 처리부를 포함하고, 신경망 모델은, 대상 안구 이미지에 기초하여 제1 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델 및 대상 안구 이미지에 기초하여 제1 진단 보조 정보와 상이한 제2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델을 포함하되, 제1 진단 보조 신경망 모델은 대상 안구 이미지에 기초하여 제1 특징 세트를 획득하는 제1 공통 부분 및 제1 특징 세트에 기초하여 제1 진단 보조 정보를 획득하는 제1 개별 부분을 포함하고, 제2 진단 보조 신경망 모델은, 대상 안구 이미지에 기초하여 제1 특징 세트를 획득하는 제1 공통 부분 및 제1 특징 세트에 기초하여 제2 진단 보조 정보를 획득하는 제2 개별 부분을 포함하되, 제1 개별 부분은 제1 학습 데이터에 기초하여 학습되고, 제1 개별 부분은 제1 학습 데이터와 적어도 일부 상이한 제2 학습 데이터에 기초하여 학습되는 진단 보조 장치가 제공될 수 있다.
본 발명의 다른 일 양태에 따르면, 안구 이미지를 획득하는 안구 이미지 획득부 및 적어도 하나의 신경망 레이어를 포함하고 안구 이미지에 기초하여 진단 보조 정보를 획득하도록 학습된 신경망 모델을 이용하여 안구 이미지에 기초하여 진단 보조 정보를 획득하는 처리부를 포함하는 진단 보조 장치를 이용하여 진단을 보조하는 방법에 있어서, 신경망 모델은, 안구 이미지에 기초하여 제1 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델 및 안구 이미지에 기초하여 제2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델을 포함하고, 제1 진단 보조 신경망 모델은 제1 공통 부분 및 제1 개별 부분을 포함하고, 제2 진단 보조 신경망 모델은 제1 공통 부분 및 제2 개별 부분을 포함하고, 진단 보조 방법은, 안구 이미지 획득부를 통하여 피검체의 안구로부터 획득된 대상 안구 이미지를 획득하는 단계, 처리부를 통하여, 제1 공통 부분을 통하여 대상 안구 이미지에 기초하여 제1 특징 세트를 획득하는 단계, 처리부를 통하여, 제1 개별 부분을 통하여 제1 특징 세트에 적어도 일부 기초하여 제1 진단 보조 정보를 획득하는 단계 및 처리부를 통하여, 제2 개별 부분을 통하여 제1 특징 세트에 적어도 일부 기초하여 제2 진단 보조 정보를 획득하는 단계를 포함하되, 제1 개별 부분은 제1 학습 데이터에 기초하여 학습되고, 제2 개별 부분은 제1 학습 데이터와 적어도 일부 상이한 제2 학습 데이터에 기초하여 학습되는진단 보조 방법이 제공될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 의하면, 안구 이미지에 기초하여 진단을 보조하는 방법 또는 장치가 제공될 수 있다.
본 발명에 의하면, 안구 이미지에 기초하여 복수의 진단 보조 정보를 획득하는 진단을 보조하는 방법 또는 장치가 제공될 수 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 진단 보조 시스템을 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 학습 장치를 설명하기 위한 블럭도이다.
도 3은 본 발명의 다른 일 실시예에 따른 학습 장치를 보다 구체적으로 설명하기 위한 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 진단 장치를 설명하기 위한 블럭도이다.
도 5는 본 발명의 다른 일 실시예에 따른 진단 장치를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 진단 보조 시스템을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 클라이언트 장치를 설명하기 위한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 학습부의 구성을 설명하기 위한 도면이다.
도 10는 본 발명의 일 실시예에 따른 이미지 데이터 세트를 설명하기 위한 개념도이다.
도 11은 본 발명의 일 실시예에 따른 이미지 리사이징을 설명하기 위한 도면이다.
도 12은 본 발명의 일 실시예에 따른 이미지 데이터 세트의 확장을 설명하기 위한 도면이다.
도 13는 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블럭도이다.
도 14은 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블럭도이다.
도 15는 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 18은 본 발명의 일 실시예에 따른 진단부의 구성을 설명하기 위한 도면이다.
도 19는 본 발명의 일 예에 따른 진단 대상 데이터를 설명하기 위한 도면이다.
도 20은 본 발명의 일 실시예에 따른 진단 프로세스를 설명하기 위한 도면이다.
도 21은 본 발명의 몇몇 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다.
도 22는 본 발명의 몇몇 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다.
도 23은 본 발명의 일 실시예에 따른 복수의 학습부를 포함하는 학습 장치의 구성을 설명하기 위한 도면이다.
도 24는 본 발명의 일 실시예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다.
도 25는 본 발명의 다른 일 실시예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다.
도 26은 본 발명의 일 실시예에 따른 진단부를 설명하기 위한 블록도이다.
도 27은 본 발명의 일 실시예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다.
도 28은 본 발명의 일 실시예에 따른 진단 보조 시스템을 설명하기 위한 도면이다.
도 29는 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 설명하기 위한 도면이다.
도 30은 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 설명하기 위한 도면이다.
도 31은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 32는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 33은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 34는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 35는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 36은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 37은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 38은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 39는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 40은 본 발명의 일 실시예에 따른 학습 데이터 세트를 설명하기 위한 도면이다.
도 41은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 42는 본 발명의 몇몇 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다.
도 43은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 44는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 45는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 46은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 47은 본 발명의 일 실시예에 따른 학습 데이터 세트를 설명하기 위한 도면이다.
도 48은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 49는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 50은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 51은 본 발명의 일 실시예에 따른 진단 보조 방법을 설명하기 위한 도면이다.
도 52는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 53은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 54는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 55는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 56은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 57은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 58은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 59는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 60은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 61은 본 발명의 일 실시예에 따른 진단 보조 방법을 설명하기 위한 도면이다.
도 62는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 63은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 64는 일 실시예에 따른 진단 보조 방법을 설명하기 위한 도면이다.
도 65는 본 발명의 일 실시예에 따른 이미지 형식 변경 방법을 설명하기 위한 도면이다.
도 66은 일 실시예에 따른 안구 이미지의 분류 방법을 설명하기 위한 도면이다.
도 67은 본 발명의 일 실시예에 따른 이미지 전처리를 설명하기 위한 도면이다.
도 68은 안구 이미지가 소정의 기준을 만족하는지 판단하기 위한 일 실시예를 설명하기 위한 도면이다.
도 69는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 70은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 71은 본 발명의 일 실시예에 따른 진단 보조 방법을 설명하기 위한 도면이다.
도 72는 본 발명의 일 실시예에 따른 진단 보조 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 학습 장치를 설명하기 위한 블럭도이다.
도 3은 본 발명의 다른 일 실시예에 따른 학습 장치를 보다 구체적으로 설명하기 위한 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 진단 장치를 설명하기 위한 블럭도이다.
도 5는 본 발명의 다른 일 실시예에 따른 진단 장치를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 진단 보조 시스템을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 클라이언트 장치를 설명하기 위한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 학습부의 구성을 설명하기 위한 도면이다.
도 10는 본 발명의 일 실시예에 따른 이미지 데이터 세트를 설명하기 위한 개념도이다.
도 11은 본 발명의 일 실시예에 따른 이미지 리사이징을 설명하기 위한 도면이다.
도 12은 본 발명의 일 실시예에 따른 이미지 데이터 세트의 확장을 설명하기 위한 도면이다.
도 13는 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블럭도이다.
도 14은 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블럭도이다.
도 15는 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 18은 본 발명의 일 실시예에 따른 진단부의 구성을 설명하기 위한 도면이다.
도 19는 본 발명의 일 예에 따른 진단 대상 데이터를 설명하기 위한 도면이다.
도 20은 본 발명의 일 실시예에 따른 진단 프로세스를 설명하기 위한 도면이다.
도 21은 본 발명의 몇몇 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다.
도 22는 본 발명의 몇몇 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다.
도 23은 본 발명의 일 실시예에 따른 복수의 학습부를 포함하는 학습 장치의 구성을 설명하기 위한 도면이다.
도 24는 본 발명의 일 실시예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다.
도 25는 본 발명의 다른 일 실시예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다.
도 26은 본 발명의 일 실시예에 따른 진단부를 설명하기 위한 블록도이다.
도 27은 본 발명의 일 실시예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다.
도 28은 본 발명의 일 실시예에 따른 진단 보조 시스템을 설명하기 위한 도면이다.
도 29는 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 설명하기 위한 도면이다.
도 30은 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 설명하기 위한 도면이다.
도 31은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 32는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 33은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 34는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 35는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 36은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 37은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 38은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 39는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 40은 본 발명의 일 실시예에 따른 학습 데이터 세트를 설명하기 위한 도면이다.
도 41은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 42는 본 발명의 몇몇 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다.
도 43은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 44는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 45는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 46은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 47은 본 발명의 일 실시예에 따른 학습 데이터 세트를 설명하기 위한 도면이다.
도 48은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 49는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 50은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 51은 본 발명의 일 실시예에 따른 진단 보조 방법을 설명하기 위한 도면이다.
도 52는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 53은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 54는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 55는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 56은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 57은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 58은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 59는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 60은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 61은 본 발명의 일 실시예에 따른 진단 보조 방법을 설명하기 위한 도면이다.
도 62는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 63은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 64는 일 실시예에 따른 진단 보조 방법을 설명하기 위한 도면이다.
도 65는 본 발명의 일 실시예에 따른 이미지 형식 변경 방법을 설명하기 위한 도면이다.
도 66은 일 실시예에 따른 안구 이미지의 분류 방법을 설명하기 위한 도면이다.
도 67은 본 발명의 일 실시예에 따른 이미지 전처리를 설명하기 위한 도면이다.
도 68은 안구 이미지가 소정의 기준을 만족하는지 판단하기 위한 일 실시예를 설명하기 위한 도면이다.
도 69는 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 70은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다.
도 71은 본 발명의 일 실시예에 따른 진단 보조 방법을 설명하기 위한 도면이다.
도 72는 본 발명의 일 실시예에 따른 진단 보조 방법을 설명하기 위한 도면이다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장된 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조 부호를 사용하여 설명한다.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별 기호에 불과하다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함 만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
1. 안저 이미지를 이용한 진단 보조
1.1 진단 보조 시스템 및 프로세스
1.1.1 목적 및 정의
이하에서는, 안저 이미지에 기초하여 질병 또는 질환의 유무 또는 그 판단의 근거가 되는 이상 여부 등의 판단을 보조하기 위한 진단 보조 시스템 및 방법 등에 대하여 설명한다. 특히, 딥러닝 기법을 이용하여 질환을 진단하기 위한 머신 러닝 모델을 구축하고, 구축된 모델을 이용하여 질환 유무 또는 이상 소견의 검출을 보조하는 진단 보조 시스템 또는 방법에 대하여 설명한다.
본 명세서에서 설명하는 머신 러닝 모델은 다양한 머신 러닝 라이브러리에 기초하여 설계될 수 있다. 예컨대, 머신 러닝 모델은 결정 트리, 랜덤 포레스트 알고리즘, 확률적 경사 하강 알고리즘, 신경망 알고리즘, k-최근접 이웃 알고리즘, 선형 회귀, 로지스틱 회귀, 서포트 벡터 머신, k-평균, 계층 군집 분석(HCA, Hierarchical Cluster Analysis), 기댓값 최대화(Expectation Maximazation), 주성분 분석(PCA, Principal Component Analysis), 커널 PCA(Kernel PCA), 지역적 선형 임베딩(LLE, Locally-Linear Embedding), t-SNE(t-distributed Stochastic Neighbor Embedding), 어프라이어리(Apriori), 이클렛(Eclat) 등의 지도, 비지도, 준지도 또는 강화 학습 인공 지능 알고리즘에 기초하여 설계된 다양한 형태의 모델을 의미할 수 있다.
이하에서는 특별한 설명이 없는 한, 머신 러닝 모델을 편의를 위하여 신경망 모델로 설명하나, 이는 반드시 신경망 알고리즘에 기초한 모델 형태만을 의미하지는 아니하며, 본 명세서에서 설명하는 발명의 기능 및 목적 범위 하에서 다른 알고리즘에 기초한 모델로 대체될 수 있음은 자명하다.
본 발명의 일 실시예에 따르면, 안저 이미지에 기초하여 질병의 유무와 관련된 진단 정보 또는 질병 유무의 진단에 이용되는 소견 정보 등을 획득하고, 이를 이용하여 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다.
본 발명의 일 실시예에 의하면, 안저 이미지에 기초하여 안질환의 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다. 예를 들어, 검사 대상자의 녹내장, 백내장, 황반 변성, 미숙아 망막증의 유무와 관련된 진단 정보를 획득하여 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다.
본 발명의 다른 일 실시예에 의하면, 안질환이 아닌 타 질환(예컨대, 전신 질환 또는 만성 질환)의 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다. 예를 들어, 고혈압, 당뇨병, 알츠하이머, 거대 세포 바이러스, 뇌졸중, 심장 질환, 동맥 경화증 등의 전신 질환의 진단 정보를 획득하여 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다.
본 발명의 또 다른 일 실시예에 의하면, 안질환 또는 타 질환의 진단에 이용될 수 있는 이상 안저 소견을 검출하기 위한 진단 보조 시스템 또는 방법이 제공될 수 있다. 예를 들어, 안저 전반의 색상 이상, 수정체 혼탁(Opacity), 시신경 유두의 비율(C/D ratio; cup to disc ratio)의 이상, 황반 이상(예를 들어, 황반 원공), 혈관의 직경, 주행 등의 이상, 망막 동맥의 직경 이상, 망막의 출혈, 삼출물의 발생, 드루젠(drusen) 등의 소견 정보를 획득하는 진단 보조 시스템 또는 방법이 제공될 수 있다.
본 명세서에서, 진단 보조 정보라 함은, 질환 유무의 판단에 따른 진단 정보 또는 그 기초가 되는 소견 정보 등을 포괄하는 것으로 이해될 수 있다.
1.1.2 진단 보조 시스템 구성
본 발명의 일 실시예에 따르면, 진단 보조 시스템이 제공될 수 있다.
도 1은 본 발명의 일 실시예에 따른 진단 보조 시스템(10)을 도시한 것이다. 도 1을 참조하면, 진단 보조 시스템(10)은 진단 모델을 트레이닝하는 학습 장치(1000), 진단 모델을 이용하여 진단을 수행하는 진단 장치(2000) 및 진단 요청을 획득하는 클라이언트 장치(3000)를 포함할 수 있다. 진단 보조 시스템(10)은 복수의 학습 장치, 복수의 진단 장치 또는 복수의 클라이언트 장치를 포함할 수 있다.
학습 장치(1000)는 학습부(100)를 포함할 수 있다. 학습부(100)는 신경망 모델의 트레이닝을 수행할 수 있다. 일 예로, 학습부(100)는 안저 이미지 데이터 세트를 획득하고, 안저 이미지로부터 질환 또는 이상 소견을 검출하는 신경망 모델의 트레이닝을 수행할 수 있다.
진단 장치(2000)는 진단부(200)를 포함할 수 있다. 진단부(200)는 신경망 모델을 이용하여 질환의 진단 또는 진단에 이용되는 보조 정보의 획득을 수행할 수 있다. 일 예로, 진단부(200)는 학습부에 의하여 트레이닝된 진단 모델을 이용하여 진단 보조 정보의 획득을 수행할 수 있다.
클라이언트 장치(3000)는 촬상부(300)를 포함할 수 있다. 촬상부(300)는 안저 이미지를 촬상할 수 있다. 클라이언트 장치는 안과용 안저 촬영 장치일 수 있다. 또는, 클라이언트 장치(3000)는 스마트폰, 태블릿 PC 등의 휴대용(handheld) 디바이스일 수 있다.
본 실시예에 따른 진단 보조 시스템(10)에서, 학습 장치(1000)는 데이터 세트를 획득하여 신경망 모델의 학습을 수행함으로써 진단 보조에 이용하기 위한 신경망 모델을 결정하고, 진단 장치는 클라이언트로부터 정보 요청이 획득되면 결정된 신경망 모델을 이용하여 진단 대상 이미지에 따른 진단 보조 정보를 획득하고, 클라이언트 장치는 진단 장치로 정보를 요청하고 이에 응답하여 전송된 진단 보조 정보를 획득할 수 있다.
다른 일 실시예에 따른 진단 보조 시스템은, 진단 모델의 학습 및 이를 이용한 진단을 수행하는 진단 장치 및 클라이언트 장치를 포함할 수 있다. 또 다른 일 실시예에 따른 진단 보조 시스템은, 진단 모델의 학습, 진단 요청의 획득 및 진단을 수행하는 진단 장치를 포함할 수 있다. 또 다른 일 실시예에 따른 진단 보조 시스템은, 진단 모델의 학습을 수행하는 학습 장치 및 진단 요청을 획득하고 진단을 수행하는 진단 장치를 포함할 수 있다.
본 명세서에서 개시하는 진단 보조 시스템이 위에서 설명한 실시 예들에 한정되는 것은 아니고, 모델의 학습을 수행하는 학습부, 학습된 모델에 따라 진단 보조 정보를 획득하는 진단부 및 진단 대상 이미지를 획득하는 촬상부를 포함하는 어떠한 형태로든 구현될 수 있다.
이하에서는, 시스템을 구성하는 각 장치의 몇몇 실시예에 대하여 설명한다.
1.1.2.1 학습 장치
본 발명의 일 실시예에 따른 학습 장치는 진단을 보조하는 신경망 모델의 트레이닝을 수행할 수 있다.
도 2는 본 발명의 일 실시예에 따른 학습 장치(1000)를 설명하기 위한 블럭도이다. 도 2를 참조하면, 학습 장치(1000)는 제어부(1200) 및 메모리부(1100)를 포함할 수 있다.
학습 장치(1000)는 제어부(1200)를 포함할 수 있다. 제어부(1200)는 학습 장치(1000)의 동작을 제어할 수 있다.
제어부(1200)는 CPU(Central Processing Unit), RAM(Random Access Memory), GPU(Graphic Processing Unit), 하나 이상의 마이크로 프로세서 및 기타 미리 정해진 논리에 따라 입력된 데이터를 처리할 수 있는 전자 부품 중 하나 이상을 포함할 수 있다.
제어부(1200)는 메모리부(1100)에 저장된 시스템 프로그램 및 다양한 프로세싱 프로그램을 판독할 수 있다. 일 예로, 제어부(1200)는 후술하는 진단 보조의 수행을 위한 데이터 가공 프로세스, 진단 프로세스 등을 RAM상에 전개하고, 전개된 프로그램에 따라 각종 처리를 수행할 수 있다. 제어부(1200)는 후술하는 신경망 모델의 학습을 수행할 수 있다.
학습 장치(1000)는 메모리부(1100)를 포함할 수 있다. 메모리부(1100)는 학습에 필요한 데이터 및 학습 모델을 저장할 수 있다.
메모리부(1100)는 비휘발성 반도체 메모리, 하드 디스크, 플래시 메모리, RAM, ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 또는 그 외에 유형의(tangible) 비휘발성의 기록 매체 등으로 구현될 수 있다.
메모리부(1100)는 각종 프로세싱 프로그램, 프로그램의 프로세싱을 수행하기 위한 파라미터 또는 이러한 프로세싱 결과 데이터 등을 저장할 수 있다. 일 예로, 메모리부(1100)는 후술하는 진단 보조의 수행을 위한 데이터 가공 프로세스 프로그램, 진단 프로세스 프로그램, 각 프로그램의 수행을 위한 파라미터 및 이러한 프로그램의 수행에 따라 얻어진 데이터(예컨대, 가공된 데이터 또는 진단 결과값) 등을 저장할 수 있다.
학습 장치(1000)는 별도의 학습부(또는 학습 모듈)를 포함할 수 있다. 학습부는 신경망 모델의 학습을 수행할 수 있다. 학습의 수행과 관련하여서는 이하의 목차 2. 학습 프로세스 에서 보다 상세히 설명하기로 한다.
학습부는 전술한 제어부(1200)에 포함될 수 있다. 학습부는 전술한 메모리부(1100)에 저장될 수 있다. 학습부는 전술한 제어부(1200) 및 메모리부(1100)의 일부 구성에 의하여 구현될 수 있다. 예컨대, 학습부는 메모리부(1100)에 저장되고, 제어부(1200)에 의하여 구동될 수 있다.
학습 장치(1000)는 통신부(1300)를 더 포함할 수 있다. 통신부(1300)는 외부 장치와 통신을 수행할 수 있다. 예컨대, 통신부(1300)는 후술하는 진단 장치, 서버 장치 또는 클라이언트 장치와 통신할 수 있다. 통신부(1300)는 유선 또는 무선 통신을 수행할 수 있다. 통신부(1300)는 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다.
도 3은 본 발명의 다른 일 실시예에 따른 학습 장치(1000)를 보다 구체적으로 설명하기 위한 블럭도이다. 도 3을 참조하면, 학습 장치(1000)는 프로세서(1050), 휘발성 메모리(1010), 비휘발성 메모리(1030), 대용량 저장 장치(1070) 및 통신 인터페이스(1090)를 포함할 수 있다.
학습 장치(1000)의 프로세서(1050)는 데이터 가공 모듈(1051) 및 학습 모듈(1053)을 포함할 수 있다. 프로세서(1050)는 데이터 가공 모듈(1051)을 통하여 대용량 저장 장치 또는 비휘발성 메모리에 저장된 데이터 세트를 가공할 수 있다. 프로세서(1050)는 학습 모듈(1053)을 통하여, 진단 보조 신경망 모델의 트레이닝을 수행할 수 있다. 프로세서(1050)는 로컬 메모리를 포함할 수 있다. 통신 인터페이스(1090)는 네트워크(1110)와 연결될 수 있다.
다만 도 3에서 도시하는 학습 장치(1000)는, 예시에 불과하며, 본 발명에 따른 학습 장치(1000)의 구성이 이에 한정되지는 아니한다. 특히, 데이터 가공 모듈 또는 학습 모듈은 도 3에서 도시하는 것과 다른 위치에 마련될 수 있다.
1.1.2.2 진단 장치
진단 장치는 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다.
도 4는 본 발명의 일 실시예에 따른 진단 장치(2000)를 설명하기 위한 블럭도이다. 도 4를 참조하면, 진단 장치(2000)는 제어부(2200) 및 메모리부(2100)를 포함할 수 있다.
제어부(2200)는 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 생성할 수 있다. 제어부(2200)는 진단을 위한 진단 데이터(예컨대, 피검자의 안저 데이터)를 획득하고 학습된 진단 보조 신경망 모델을 이용하여 진단 데이터에 의해 예측되는 진단 보조 정보를 획득할 수 있다.
메모리부(2100)는 학습된 진단 보조 신경망 모델을 저장할 수 있다. 메모리부(2100)는 진단 보조 신경망 모델의 파라미터, 변수 등을 저장할 수 있다.
진단 장치(2000)는 통신부(2300)를 더 포함할 수 있다. 통신부(2300)는 학습 장치 및/또는 클라이언트 장치와 통신할 수 있다. 일 예로, 진단 장치(2000)는 클라이언트 장치와 통신하는 서버 형태로 마련될 수 있다. 이와 관련하여, 이하에서 보다 상세히 설명한다.
도 5는 본 발명의 다른 일 실시예에 따른 진단 장치(2000)를 설명하기 위한 도면이다. 도 5를 참조하면, 본 발명의 일 실시예에 따른 진단 장치(2000)는 프로세서(2050), 휘발성 메모리(2030), 비휘발성 메모리(2010), 대용량 저장 장치(2070) 및 통신 인터페이스(2090)를 포함할 수 있다.
진단 장치의 프로세서(2050)는 데이터 가공 모듈(2051) 및 진단 모듈(2053)을 포함할 수 있다. 프로세서(2050)는 데이터 가공 모듈(2051)을 통하여 진단 데이터의 가공을 수행하고, 진단 모듈(2053)을 통하여 진단 데이터에 따른 진단 보조 정보를 획득할 수 있다.
1.1.2.3 서버 장치
본 발명의 일 실시예에 따르면, 진단 보조 시스템은 서버 장치를 포함할 수 있다. 본 발명의 일 실시예에 따른 진단 보조 시스템은, 복수의 서버 장치를 포함할 수도 있다.
서버 장치는 신경망 모델을 저장 및/또는 구동할 수 있다. 서버 장치는 학습된 신경망 모델을 구성하는 가중치 값들을 저장할 수 있다. 서버 장치는 진단 보조에 이용되는 데이터를 수집 또는 저장할 수 있다.
서버 장치는 신경망 모델을 이용한 진단 보조 프로세스의 결과를 클라이언트 장치로 출력할 수 있다. 서버 장치는 클라이언트 장치로부터 피드백을 획득할 수 있다. 서버 장치는 전술한 진단 장치와 유사하게 동작할 수 있다.
도 6은 본 발명의 일 실시예에 따른 진단 보조 시스템(20)을 도시한 것이다. 도 6를 참조하면, 본 발명의 일 실시예에 따른 진단 보조 시스템(20)은 진단 서버(4000), 학습 장치 및 클라이언트 장치를 포함할 수 있다.
진단 서버(4000), 즉, 서버 장치는 복수의 학습 장치 또는 복수의 진단 장치와 통신할 수 있다. 도 6을 참조하면, 진단 서버(4000)는 제1 학습 장치(1000a) 및 제2 학습 장치(1000b)와 통신할 수 있다. 도 6을 참조하면, 진단 서버(4000)는 제1 클라이언트 장치(3000a) 및 제2 클라이언트 장치(3000b)와 통신할 수 있다.
예컨대, 진단 서버(4000)는 제1 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델을 학습시키는 제1 학습 장치(1000a) 및 제2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델을 학습시키는 제2 학습 장치(1000b)와 통신할 수 있다.
진단 서버(4000)는 제1 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델 및 2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델을 저장하고, 제1 클라이언트 장치(3000a) 또는 제2 클라이언트 장치(3000b)로부터의 진단 보조 정보 획득 요청에 응답하여 진단 보조 정보를 획득하고, 획득된 진단 보조 정보를 제1 클라이언트 장치(3000a) 또는 제2 클라이언트 장치(3000b)로 전송할 수 있다.
또는, 진단 서버(4000)는 제1 진단 보조 정보를 요청하는 제1 클라이언트 장치(3000a) 및 제2 진단 보조 정보를 요청하는 제2 클라이언트 장치(3000b)와 통신할 수도 있다.
1.1.2.4 클라이언트 장치
클라이언트 장치는 진단 장치 또는 서버 장치로 진단 보조 정보를 요청할 수 있다. 클라이언트 장치는 진단에 필요한 데이터를 획득하고, 진단 장치로 획득한 획득한 데이터를 전송할 수 있다.
클라이언트 장치는 데이터 획득부를 포함할 수 있다. 데이터 획득부는 진단 보조에 필요한 데이터를 획득할 수 있다. 데이터 획득부는 진단 보조 모델에 이용되는 이미지를 획득하는 촬상부일 수 있다.
도 7은 본 발명의 일 실시예에 따른 클라이언트 장치(3000)를 설명하기 위한 블록도이다. 도 7을 참조하면, 본 발명의 일 실시예에 따른 클라이언트 장치(3000)는 촬상부(3100), 제어부(3200) 및 통신부(3300)를 포함할 수 있다.
촬상부(3100)는 이미지 또는 영상 데이터를 획득할 수 있다. 촬상부(3100)는 안저 이미지를 획득할 수 있다. 다만, 클라이언트 장치(3000)는 촬상부(3100)가 아닌 다른 형태의 데이터 획득부로 대체될 수도 있다.
통신부(3300)는 외부 장치, 예컨대 진단 장치 또는 서버 장치와 통신할 수 있다. 통신부(3300)는 유선 또는 무선 통신을 수행할 수 있다.
제어부(3200)는 촬상부(3100)가 이미지 또는 데이터를 획득하도록 제어할 수 있다. 제어부(3200)는 촬상부(3100)가 안저 이미지를 획득하도록 제어할 수 있다. 제어부(3200)는 획득된 안저 이미지를 진단 장치로 전송할 수 있다. 제어부는 촬상부(3100)를 통하여 획득한 이미지를 통신부(3300)를 통하여 서버 장치로 전송하고, 이에 기초하여 생성된 진단 보조 정보를 획득할 수 있다.
도시하지는 아니하였으나, 클라이언트 장치는 출력부를 더 포함할 수 있다. 출력부는 영상 또는 이미지를 출력하는 디스플레이 또는 음성을 출력하는 스피커를 포함할 수 있다. 출력부는 획득된 촬상부에 의해 획득된 영상 또는 이미지 데이터를 출력할 수 있다. 출력부는 진단 장치로부터 획득된 진단 보조 정보를 출력할 수 있다.
도시하지는 아니하였으나, 클라이언트 장치는 입력부를 더 포함할 수 있다. 입력부는 사용자 입력을 획득할 수 있다. 예컨대, 입력부는 진단 보조 정보를 요청하는 사용자 입력을 획득할 수 있다. 입력부는 진단 장치로부터 획득된 진단 보조 정보를 평가하는 사용자 정보를 획득할 수 있다.
또한, 도시하지는 아니하였으나, 클라이언트 장치는 메모리부를 더 포함할 수 있다. 메모리부는 촬상부에 의해 획득된 이미지를 저장할 수 있다.
1.1.3 진단 보조 프로세스 개요
본 명세서에서 개시하는 진단 보조 시스템 또는 진단 보조 장치에 의하여 진단 보조 프로세스가 수행될 수 있다. 진단 보조 프로세스는 크게 진단 보조에 이용되는 진단 보조 모델을 학습하는 트레이닝 프로세스, 진단 보조 모델을 이용하는 진단 프로세스로 나누어 고려될 수 있다.
도 8은 본 발명의 일 실시예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다. 도 8을 참조하면, 본 발명의 일 실시예에 따른 진단 보조 프로세스는, 데이터를 획득하고, 가공하여(S110) 신경망 모델을 학습하고(S130), 학습된 신경망 모델의 변수를 획득(S150)하는 학습 프로세스 및 진단 대상 데이터를 획득하고(S210) 진단 대상 데이터에 기초하여 학습된 신경망 모델(S230)을 이용하여 진단 보조 정보를 획득(S250)하는 진단 보조 프로세스를 포함할 수 있다.
보다 구체적으로, 트레이닝 프로세스는 입력된 학습 이미지 데이터를 가공하여 모델의 트레이닝에 이용될 수 있는 상태로 가공하는 데이터 가공 프로세스 및 가공된 데이터를 이용하여 모델을 트레이닝하는 학습 프로세스를 포함할 수 있다. 트레이닝 프로세스는 전술한 학습 장치에 의하여 수행될 수 있다.
진단 프로세스는 입력된 검사 대상 이미지 데이터를 가공하여 신경망 모델을 이용한 진단을 수행할 수 있는 상태로 가공하는 데이터 가공 프로세스 및 가공된 데이터를 이용하여 진단을 수행하는 진단 프로세스를 포함할 수 있다. 진단 프로세스는 전술한 진단 장치 또는 서버 장치에 의하여 수행될 수 있다.
이하에서는, 각 프로세스에 대하여 설명한다.
1.2 트레이닝 프로세스
본 발명의 일 실시예에 따르면, 신경망 모델을 트레이닝하는 프로세스가 제공될 수 있다. 구체적인 예로, 안저 이미지에 기초하여 진단을 수행하거나 보조하는 신경망 모델을 트레이닝하는 프로세스가 개시될 수 있다.
이하에서 설명하는 트레이닝 프로세스는 전술한 학습 장치에 의하여 수행될 수 있다.
1.2.1 학습부
본 발명의 일 실시예에 따르면, 트레이닝 프로세스는 학습부에 의해 수행될 수 있다. 학습부는 전술한 학습 장치 내에 마련될 수 있다.
도 9는 본 발명의 일 실시예에 따른 학습부(100)의 구성을 설명하기 위한 도면이다. 도 9를 참조하면, 학습부(100)는 데이터 가공 모듈(110), 큐 모듈(130), 학습 모듈(150) 및 학습 결과 획득 모듈(170)을 포함할 수 있다. 각각의 모듈은 후술하는 바와 같이 데이터 가공 프로세스 및 학습 프로세스의 개별 단계들을 수행할 수 있다. 다만 도 9에서 설명하는 구성 요소들 및 각 요소들이 수행하는 기능이 모두 필수적이지는 아니하며, 학습 형태에 따라, 일부 요소가 추가되거나 일부 요소들이 생략될 수 있다.
1.2.2 데이터 가공 프로세스
1.2.2.1 이미지 데이터 획득
본 발명의 일 실시예에 따르면, 데이터 세트가 획득될 수 있다. 본 발명의 일 실시예에 따르면, 데이터 가공 모듈은 데이터 세트를 획득할 수 있다.
데이터 세트는 이미지 데이터 세트일 수 있다.
일 예로, 안저 이미지 데이터 세트일 수 있다. 안저 이미지 데이터 세트는 일반적인 무산동 안저 카메라 등을 이용하여 획득될 수 있다. 안저 이미지는 파노라마 안저 이미지 또는 와이드 안저 이미지일 수 있다. 안저 이미지는 레드프리(Red-free) 이미지일 수 있다. 안저 이미지는 적외선 촬영된 이미지일 수 있다. 안저 이미지는 자가형광 촬영된 이미지일 수 있다. 이미지 데이터는 JPG, PNG, DCM(DICOM), BMP, GIF, TIFF 중 어느 하나의 형태로 획득될 수 있다.
다른 예로, 데이터 세트는 OCT(Optical Coherence Tomography) 이미지, OCT 혈관 조영 이미지 또는 안저 혈관 조영 이미지 중 어느 하나를 포함하는 이미지 데이터 세트일 수 있다. 이때, OCT 이미지, OCT 혈관 조영 이미지 또는 안저 혈관 조영 이미지를 포함하는 데이터 세트를 이용하여 학습된 신경망 모델은, 대상 OCT 이미지, 대상 OCT 혈관 조영 이미지 또는 대상 안저 혈관 조영 이미지에 기초하여 진단 보조 정보(또는 라벨)를 예측 또는 출력할 수 있다.
데이터 세트는 트레이닝 데이터 세트를 포함할 수 있다. 데이터 세트는 테스트 데이터 세트를 포함할 수 있다. 데이터 세트는 검증(validation) 데이터 세트를 포함할 수 있다. 다시 말해, 데이터 세트는 트레이닝 데이터 세트, 테스트 데이터 세트 및 검증 데이터 세트 중 적어도 하나의 데이터 세트로 할당될 수 있다.
데이터 세트는 해당 데이터 세트를 통해 학습되는 신경망 모델을 이용하여 획득하고자 하는 진단 보조 정보를 고려하여 결정될 수 있다. 예컨대, 백내장과 관련된 진단 보조 정보를 획득하는 신경망 모델을 학습시키고자 하는 경우, 획득되는 데이터 세트는 적외선 안저 이미지 데이터 세트로 결정될 수 있다. 또는, 황반 변성과 관련된 진단 보조 정보를 획득하는 신경망 모델을 학습시키고자 하는 경우, 획득되는 데이터 세트는 자가형광 촬영된 안저 이미지 데이터 세트일 수 있다.
데이터 세트에 포함되는 개별 데이터는 라벨을 포함할 수 있다. 라벨은 복수개일 수 있다. 다시 말해, 데이터 세트에 포함되는 개별 데이터는 적어도 하나의 특징에 대하여 라벨링되어 있을 수 있다. 일 예로, 데이터 세트는 복수의 안저 이미지 데이터를 포함하는 안저 이미지 데이터 세트이고, 각각의 안저 이미지 데이터는 해당 이미지에 따른 진단 정보 라벨(예컨대, 특정 질환의 유무) 및/또는 소견 정보(예컨대, 특정 부위의 이상 여부) 라벨을 포함할 수 있다.
다른 예로, 데이터 세트는 안저 이미지 데이터 세트이고 각각의 안저 이미지 데이터는 해당 이미지에 대한 주변 정보 라벨을 포함할 수 있다. 예컨대, 각각의 안저 이미지 데이터는 해당 안저 이미지가 좌안의 이미지인지 또는 우안의 이미지인지에 대한 좌우안 정보, 여성의 안저 이미지인지 또는 남성의 안저 이미지인지에 대한 성별 정보, 해당 안저 이미지를 촬영한 피검자의 나이에 대한 나이 정보 등을 포함하는 주변 정보 라벨을 포함할 수 있다.
도 10는 본 발명의 일 실시예에 따른 이미지 데이터 세트(DS)를 설명하기 위한 개념도이다. 도 10를 참조하면, 본 발명의 일 실시예에 따른 이미지 데이터 세트(DS)는 복수의 이미지 데이터(ID)를 포함할 수 있다. 각 이미지 데이터(ID)는 이미지(I) 및 이미지에 할당된 라벨(L)을 포함할 수 있다. 도 10을 참조하면, 이미지 데이터 세트(DS)는 제1 이미지 데이터(ID1) 및 제2 이미지 데이터(ID2)를 포함할 수 있다. 제1 이미지 데이터(ID1)은 제1 이미지(I1) 및 제1 이미지에 대응되는 제1 라벨(L1)을 포함할 수 있다.
도 10에서는 하나의 이미지 데이터가 하나의 라벨을 포함하는 경우를 기준으로 설명하였으나, 전술한 바와 같이 하나의 이미지 데이터는 복수의 라벨을 포함할 수 있다.
1.2.2.2 이미지 리사이징
본 발명의 일 실시예에 따르면, 획득된 이미지 데이터의 크기가 조정될 수 있다. 즉, 이미지들이 리사이징 될 수 있다. 본 발명의 일 실시예에 따르면, 전술한 학습부의 데이터 가공 모듈에 의하여 이미지 리사이징이 수행될 수 있다.
이미지의 크기 또는 종횡비가 조정될 수 있다. 획득된 복수의 이미지들은 일정한 크기를 가지도록 그 크기가 조정될 수 있다. 또는, 이미지들은 일정한 종횡비(aspect ratio)를 가지도록 그 크기가 조정될 수 있다. 이미지를 리사이징 하는 것은 이미지에 이미지 변환 필터를 적용하는 것일 수 있다.
획득된 개별 이미지들의 사이즈 또는 용량이 과도하게 크거나 작은 경우에, 이미지의 사이즈 또는 용량을 조정하여 적절한 사이즈로 변환할 수 있다. 또는 개별 이미지들의 사이즈 또는 용량이 다양한 경우에, 리사이징을 통하여 사이즈 또는 용량을 통일시킬 수 있다.
일 실시예에 따르면, 이미지의 용량이 조정될 수 있다. 예컨대, 이미지의 용량이 적정 범위를 초과하는 경우에, 다운샘플링(down sampling)을 통하여 이미지를 축소시킬 수 있다. 또는, 이미지의 용량이 적정 범위에 못 미치는 경우에, 업샘플링(upsampling) 또는 보간(interpolating)을 통하여 이미지를 확대할 수 있다.
다른 일 실시예에 따르면, 이미지를 자르거나 획득한 이미지에 픽셀을 덧붙여 이미지의 사이즈 또는 종횡비를 조정할 수 있다. 예컨대, 이미지에 학습에 불필요한 부분이 포함되어 있는 경우에, 이를 제거하기 위하여 이미지 일부를 크롭할 수 있다. 또는, 이미지의 일부가 잘려나가 종횡비가 맞지 않는 경우에 칼럼(column) 또는 로(row)을 추가하여 이미지 종횡비를 조정할 수도 있다. 다시 말해, 이미지에 마진 또는 패딩을 추가하여 종횡비를 조정할 수 있다.
또 다른 일 실시예에 따르면, 이미지의 용량 및 사이즈 또는 종횡비가 함께 조정될 수 있다. 일 예로, 이미지의 용량이 큰 경우에 이미지를 다운샘플링 하여 이미지 용량을 축소하고, 축소된 이미지에 포함된 불필요한 부분을 크롭하여 적절한 이미지 데이터로 변환할 수 있다.
또한, 본 발명의 다른 일 실시예에 따르면, 이미지 데이터의 방향(orientation)이 변경될 수도 있다.
구체적인 예로, 데이터 세트로서 안저 이미지 데이터 세트가 이용되는 경우, 각각의 안저 이미지는 그 용량이 조절되거나, 사이즈가 조정될 수 있다. 안저 이미지의 안저 부분을 제외한 여백 부분을 제거하기 위한 크롭핑 또는 안저 이미지의 잘린 부분을 보충하여 종횡비를 조정하기 위한 패딩을 수행할 수 있다.
도 11은 본 발명의 일 실시예에 따른 이미지 리사이징을 설명하기 위한 도면이다. 도 11을 참조하면, 본 발명의 일 실시예에 따른 이미지 리사이징 프로세스에 의하여, 획득된 안저 이미지가 리사이징될 수 있다.
구체적으로, 원본 안저 이미지(a)는 진단 정보 획득에 불필요한 여백 부분이 크롭되고(b) 학습 효율의 증진을 위하여 그 크기가 축소(c)될 수 있다.
1.2.2.3 이미지 전처리
본 발명의 일 실시예에 따르면, 이미지의 전처리가 수행될 수 있다. 이미지를 입력된 그대로 학습에 이용할 경우, 불필요한 특성들에 대한 학습 결과 과적합 현상 등이 발생할 수 있고 학습 효율 역시 저하될 수 있다.
이를 방지하기 위하여, 이미지 데이터를 학습의 목적에 부합하도록 적절히 전처리하여 이용함으로써 학습 효율 및 성능을 향상시킬 수 있다. 예컨대, 안저 이미지에 대하여 안질환의 이상 징후를 검출하기에 용이하도록 하는 전처리 또는 망막 혈관 내지 혈류 변화가 강조되도록 하는 전처리가 수행될 수 있다.
전술한 학습부의 데이터 가공 모듈에 의하여 이미지의 전처리가 수행될 수 있다. 데이터 가공 모듈은 리사이징된 이미지를 획득하고 학습에 요청되는 전처리를 수행할 수 있다.
이미지의 전처리는 전술한 리사이징 처리가 완료된 이미지에 대하여 수행될 수 있다. 다만, 본 명세서에서 개시하는 발명의 내용이 이에 한정되는 것은 아니고, 리사이징 처리를 생략하고 이미지에 대한 전처리가 수행될 수도 있다. 이미지의 전처리를 가하는 것은 이미지에 전처리 필터를 적용하는 것일 수 있다.
일 실시예에 따르면, 이미지에 블러(blur) 필터가 적용될 수 있다. 이미지에 가우시안 필터가 적용될 될 수 있다. 이미지에 가우시안 블러 필터가 적용될 수도 있다. 또는, 이미지에 이미지를 선명하게 하는 디블러(deblur) 필터가 적용될 수 있다.
다른 일 실시예에 따르면, 이미지의 색상을 조정 또는 변조하는 필터가 적용될 수 있다. 예컨대, 이미지를 구성하는 RGB 값 중 일부 성분의 값을 변경하거나, 또는, 이미지를 이진화하는 필터가 적용될 수도 있다.
또 다른 일 실시예에 따르면, 이미지에 특정 요소가 강조되도록 하는 필터가 적용될 수 있다. 예컨대, 안저 이미지 데이터에 대하여, 각 이미지로부터 혈관 요소가 강조되도록 하는 전처리가 수행될 수 있다. 이때, 혈관 요소가 강조되도록 하는 전처리는 하나 이상의 필터를 순차적으로 또는 조합하여 적용하는 것일 수 있다.
본 발명의 일 실시예에 따르면, 이미지의 전처리는 획득하고자 하는 진단 보조 정보의 특성을 고려하여 수행될 수 있다. 예컨대, 망막의 출혈, 드루젠, 미세혈관류, 삼출물 등의 소견과 관련된 진단 보조 정보를 획득하고자 하는 경우에는 획득된 안저 이미지를 레드프리 안저 이미지 형태로 변환하는 전처리를 수행할 수 있다.
1.2.2.4 이미지 증강(augmentation)
본 발명의 일 실시예에 따르면, 이미지가 증강 또는 확장될 수 있다. 전술한 학습부의 데이터 가공 모듈에 의하여 이미지의 증강이 수행될 수 있다.
증강된 이미지들은 신경망 모델의 트레이닝 성능 개선을 위하여 이용될 수 있다. 예컨대, 신경망 모델의 트레이닝을 위한 데이터의 양이 부족한 경우에, 트레이닝을 위한 데이터 수의 확대를 위하여 존재하는 트레이닝 이미지 데이터의 변조를 실시하고, 변조(또는 변화)된 이미지를 원본 이미지와 함께 이용함으로써 트레이닝 이미지 데이터 수를 늘릴 수 있다. 이에 따라 과학습(overfitting)이 억제되고 모델의 레이어를 보다 깊이 형성할 수 있으며, 예측 정확도가 향상될 수 있다.
예를 들어, 이미지 데이터의 확장은, 이미지의 좌우를 반전시키거나, 이미지의 일부를 오려내거나, 이미지의 색상 값을 보정하거나, 또는 인위적인 노이즈를 추가하여 수행될 수 있다. 구체적인 예로, 이미지의 일부를 오려내는 것은 이미지를 구성하는 요소의 일부 영역을 오려내거나, 일부 영역들을 랜덤하게 오려내는 방식으로 수행될 수 있다. 보다 많은 예로, 이미지 데이터를 좌우 반전, 상하 반전, 회전, 일정 비율 리사이징, 크롭핑, 패딩, 색상 조정 또는 밝기 조정 함으로써 이미지 데이터를 확장할 수 있다.
일 예로, 상술한 이미지 데이터의 증강 또는 확장은 일반적으로, 트레이닝 데이터 세트에 대하여 적용될 수 있다. 다만, 이외의 데이터 세트, 예컨대 테스트 데이터 세트, 즉 트레이닝 데이터를 이용한 학습 및 검증 데이터를 이용한 검증이 끝난 모델의 테스트를 위한 데이터 세트에도 적용될 수 있다.
구체적인 예로, 데이터 세트로서 안저 이미지 데이터 세트가 이용되는 경우에, 데이터의 수를 늘리기 위하여 이미지를 반전시키거나, 오려내거나, 노이즈를 추가하거나, 색상을 변경하는 것 중 하나 이상의 처리를 랜덤하게 적용하여 증강된 안저 이미지 데이터 세트를 획득할 수 있다.
도 12은 본 발명의 일 실시예에 따른 이미지 데이터 세트의 확장을 설명하기 위한 도면이다. 도 12을 참조하면, 본 발명의 일 실시예들에 따른 이미지는 신경망 모델의 예측 정확도를 향상시키기 위하여 변형될 수 있다.
구체적으로, 도 12를 참조하면, 본 발명의 일 실시예들에 따른 이미지는 일부 영역이 드롭아웃되거나(a), 좌우가 반전되거나(b), 중심점이 이동되거나 (c, d) 일부 영역의 색상이 변조(e)될 수 있다.
1.2.2.5 이미지 직렬화(serialization)
본 발명의 일 실시예에 따르면, 이미지 데이터는 직렬화(linearization) 될 수 있다. 이미지는 전술한 학습부의 데이터 가공 모듈에 의하여 직렬화될 수 있다. 직렬화 모듈은 전처리된 이미지 데이터를 직렬화하고 큐 모듈로 전달할 수 있다.
이미지 데이터를 그대로 이용하여 학습에 이용하게 되면, 이미지 데이터는 JPG, PNB, DCM 등의 이미지 파일 형태를 가지기 때문에 디코딩이 필요한데, 매번 디코딩을 거쳐 학습을 수행하게 되면 모델 학습의 성능이 저하될 수 있다. 이에 따라, 이미지 파일을 그대로 학습에 이용하지 않고 직렬화하여 학습을 수행할 수 있다. 따라서, 학습 성능 및 속도를 향상시키기 위하여 이미지 데이터의 직렬화를 수행할 수 있다. 직렬화되는 이미지 데이터는 전술한 이미지 리사이징 및 이미지 전처리 중 하나 이상의 단계가 적용된 이미지 데이터이거나, 둘 다 처리되지 아니한 이미지 데이터일 수 있다.
이미지 데이터 세트에 포함되는 각 이미지 데이터는 스트링 형태로 변환될 수 있다. 이미지 데이터는 이진화된 데이터 형태로 변환될 수 있다. 특히, 이미지 데이터는 신경망 모델의 학습에 이용되기에 적합한 데이터 형태로 변환될 수 있다. 일 예로, 이미지 데이터는 텐서플로우(tensorflow)를 이용한 신경망 모델 학습에 이용하기 위한 TFRecord 형태로 변환될 수 있다.
구체적인 예로, 데이터 세트로서 안저 이미지 세트가 이용되는 경우에, 획득된 안저 이미지 세트는 TFRecord 형태로 변환되어 신경망 모델의 학습에 이용될 수 있다.
1.2.2.6 큐(Queue)
데이터의 병목 현상을 해소하기 위하여 큐(Queue)가 이용될 수 있다. 전술한 학습부의 큐 모듈은 이미지 데이터를 큐에 저장하고, 학습 모델 모듈로 전달할 수 있다.
특히 CPU(Central Processing Unit)와 GPU(Graphic Processing Unit)를 함께 이용하여 학습 프로세스를 진행하는 경우에, 큐를 이용함으로써, CPU와 GPU 사이의 병목현상을 최소화하고 데이터베이스에 대한 접근이 원활하게 하며 메모리 사용 효율을 증진할 수 있다.
큐는 신경망 모델의 학습에 이용되는 데이터를 저장할 수 있다. 큐는 이미지 데이터를 저장할 수 있다. 큐에 저장되는 이미지 데이터는 전술한 데이터 가공 프로세스(즉, 리사이징, 전처리 및 증강) 중 적어도 하나가 처리된 이미지 데이터이거나 획득된 상태 그대로의 이미지일 수 있다.
큐는 이미지 데이터, 바람직하게는 전술한 바와 같이 직렬화된 이미지 데이터를 저장할 수 있다. 큐는 이미지 데이터를 저장하고, 신경망 모델로 이미지 데이터를 공급할 수 있다. 큐는 신경망 모델로 배치(batch) 사이즈 단위로 이미지 데이터를 전달할 수 있다.
큐는 이미지 데이터를 제공할 수 있다. 큐는 후술하는 학습 모듈에 데이터를 제공할 수 있다. 학습 모듈에서 데이터를 추출함에 따라 큐에 축적된 데이터 수가 줄어들 수 있다.
신경망 모델의 학습이 진행됨에 큐에 저장된 데이터 수가 기준 이하로 감소하면, 큐는 데이터의 보충을 요청할 수 있다. 큐는 특정 종류 데이터의 보충을 요청할 수 있다. 큐는 학습부는 데이터의 보충이 요청되면, 큐에 데이터를 보충할 수 있다.
큐는 학습 장치의 시스템 메모리에 마련될 수 있다. 예컨대, 큐는 중앙 처리 장치(CPU)의 RAM(Random Access Memory)에 형성될 수 있다. 이 경우, 큐의 크기 즉, 용량은 CPU의 RAM 용량에 따라 정해질 수 있다. 큐로는 선입선출(FIFO; First In First Out) 큐, 우선순위 큐(Primary Queue) 또는 랜덤 큐가 이용될 수 있다.
1.2.3 학습 프로세스
본 발명의 일 실시예에 의하면, 신경망 모델의 학습 프로세스가 개시될 수 있다.
본 발명의 일 실시예에 따르면, 신경망 모델의 학습은 전술한 학습 장치에 의하여 수행될 수 있다. 학습 프로세스는 학습 장치의 제어부에 의해 수행될 수 있다. 학습 프로세스는 전술한 학습부의 학습 모듈에 의하여 수행될 수 있다.
도 13는 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블럭도이다. 도 13을 참조하면, 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스는 데이터를 획득(S1010)하고, 신경망 모델을 학습(S1030)하고, 학습된 모델을 검증(S1050)하고, 학습된 모델의 변수를 획득(S1070)하여 수행될 수 있다.
이하에서는, 도 13을 참조하여, 신경망 모델의 학습 프로세스에 대하여 몇몇 실시예를 들어 설명한다.
1.2.3.1 데이터 입력
진단 보조 신경망 모델의 학습을 위한 데이터 세트가 획득될 수 있다.
획득되는 데이터는 전술한 데이터 가공 프로세스에 의하여 처리된 이미지 데이터 세트일 수 있다. 일 예로, 데이터 세트는 사이즈가 조정되고 전처리 필터가 적용되고 데이터가 증강된 후 직렬화된 안저 이미지 데이터를 포함할 수 있다.
신경망 모델의 학습 단계에서는 트레이닝 데이터 세트가 획득 및 이용될 수 있다. 신경망 모델의 검증 단계에서는 검증 데이터 세트가 획득 및 이용될 수 있다. 신경망 모델의 테스트 단계에서는 테스트 데이터 세트가 획득 및 이용될 수 있다. 각 데이터 세트는 안저 이미지 및 라벨을 포함할 수 있다.
데이터 세트는 큐로부터 획득될 수 있다. 데이터 세트는 큐로부터 배치 사이즈 단위로 획득될 수 있다. 예컨대, 배치 사이즈로서 60개가 지정된 경우, 데이터 세트는 큐로부터 60개 단위로 추출될 수 있다. 배치 사이즈의 사이즈는 GPU의 RAM 용량에 의해 제한될 수 있다.
데이터 세트는 큐로부터 학습 모듈로 랜덤하게 획득될 수 있다. 데이터 세트는 큐에 축적된 순서대로 획득될 수도 있다.
학습 모듈은 큐로부터 획득되는 데이터 세트의 구성을 지정하여 추출할 수 있다. 일 예로, 학습 모듈은 특정 피검자의 좌안 라벨을 가지는 안저 이미지와 우안 라벨을 가지는 안저 이미지 데이터가 함께 학습에 이용되도록 추출할 수 있다.
학습 모듈은 큐로부터 특정 라벨의 데이터 세트를 획득할 수 있다. 일 예로, 학습 모듈은 큐로부터 진단 정보 라벨이 비정상인 안저 이미지 데이터 세트를 획득할 수 있다. 학습 모듈은 큐로부터 라벨에 따른 데이터 수의 비율을 지정하여 데이터 세트를 획득할 수 있다. 일 예로, 학습 모듈은 큐로부터 진단 정보 라벨이 비정상인 안저 이미지 데이터의 수와 진단 정보 라벨이 정상인 안저 이미지 데이터의 수가 1 대 1이 되도록 안저 이미지 데이터 세트를 획득할 수 있다.
1.2.3.2 모델의 설계
신경망 모델은 이미지 데이터에 기초하여 진단 보조 정보를 출력하는 진단 보조 모델일 수 있다. 진단 보조 정보 획득을 위한 진단 보조 신경망 모델의 구조는 미리 정해진 형태를 가질 수 있다. 신경망 모델은 복수의 계층 또는 레이어를 포함할 수 있다.
신경망 모델은 진단 보조 정보를 생성하는 분류기(classifier)의 형태로 구현될 수 있다. 분류기는 이중 분류 또는 다중 분류를 수행할 수 있다. 예컨대, 신경망 모델은 입력 데이터를 특정 질병 또는 이상 징후 등의 타겟 진단 보조 정보에 대하여 정상 또는 비정상 클래스로 분류하는 이진 분류 모델일 수 있다. 또는, 신경망 모델은 입력 데이터를 특정 특성(예컨대, 질병의 진행 정도)에 대한 복수의 등급 클래스로 분류하는 다중 분류 모델일 수 있다. 또는, 신경망 모델은 특정 질병과 관련된 특정 수치를 출력하는 회귀 형태의 모델로 구현될 수도 있다.
신경망 모델은 합성곱 신경망(CNN; Convolutional Neural Network)을 포함할 수 있다. 수 있다. CNN 구조로서, AlexNet, LENET, NIN, VGGNet, ResNet, WideResnet, GoogleNet, FractaNet, DenseNet, FitNet, RitResNet, HighwayNet, MobileNet, DeeplySupervisedNet 중 적어도 하나가 이용될 수 있다. 신경망 모델은 복수의 CNN 구조를 이용하여 구현될 수 있다.
일 예로, 신경망 모델은 복수의 VGGNet 블록을 포함하도록 구현될 수 있다. 보다 구체적인 예로, 신경망 모델은 3x3 크기의 64개의 필터를 가지는 CNN 레이어, BN(Batch Normalization) 레이어 및 ReLu 레이어가 순차적으로 결합된 제1 구조 및 3x3 크기의 128개의 필터를 가지는 CNN 레이어, ReLu 레이어 및 BN 레이어가 순차적으로 결합된 제2 블록이 결합되어 마련될 수 있다.
신경망 모델은 각 CNN 블록에 이어서, 맥스 풀링 레이어를 포함하고, 종단에는 GAP(Global Average pooling) 레이어, FC(Fully Connected) 레이어 및 활성화 레이어(예컨대, 시그모이드, 소프트맥스 등)를 포함할 수 있다.
1.2.3.3 모델의 학습
신경망 모델은 트레이닝 데이터 세트를 이용하여 학습될 수 있다.
신경망 모델은 라벨링된 데이터 세트를 이용하여 학습될 수 있다. 다만, 본 명세서에서 설명하는 진단 보조 신경망 모델의 학습 프로세스가 이에 한정되는 것은 아니며, 신경망 모델은 라벨링되지 아니한 데이터를 이용하여 비지도 형태로 학습될 수도 있다.
신경망 모델의 학습은, 트레이닝 이미지 데이터에 기초하여, 임의의 가중치 값들이 부여된 신경망 모델을 이용하여 결과값을 획득하고, 획득된 결과값을 트레이닝 데이터의 라벨값과 비교하고 그 오차에 따라 역전파를 수행하여, 가중치 값들을 최적화함으로써 수행할 수 있다. 또한, 신경망 모델의 학습은 후술하는 모델의 검증 결과, 테스트 결과 및/또는 진단 단계로부터의 피드백으로부터 영향을 받을 수 있다.
상술한 신경망 모델의 학습은 텐서플로우를 이용하여 수행될 수 있다. 다만, 본 발명이 이에 한정되지는 아니하며, 티아노(Theano), 케라스(Keras), 카페(Caffe), 토치(Torch), CNTK(Microsoft Cognitive Toolkit) 등의 프레임워크가 신경망 모델의 학습에 이용될 수도 있다.
1.2.3.4 모델의 검증(validation)
신경망 모델은 검증 데이터 세트를 이용하여 검증될 수 있다. 신경망 모델의 검증은 학습이 진행된 신경망 모델로부터 검증 데이터 세트에 대한 결과값을 획득하고, 결과값과 검증 데이터 세트의 라벨을 비교하여 수행될 수 있다. 검증은 결과값의 정확도(accuracy)를 측정하여 수행될 수 있다. 검증 결과에 따라, 신경망 모델의 파라미터(예컨대, 가중치 및/또는 편향) 또는 하이퍼 파라미터(예컨대, 학습률)이 조정될 수 있다.
일 예로, 본 발명의 일 실시예에 따른 학습 장치는, 안저 이미지에 기초하여 진단 보조 정보를 예측하는 신경망 모델을 학습시키고, 학습된 모델의 검증 안저 이미지에 대한 진단 보조 정보를 검증 안저 이미지에 대응되는 검증 라벨과 비교함으로써 진단 보조 신경망 모델의 검증을 수행할 수 있다.
신경망 모델의 검증에는, 별도의 검증 세트(external data set), 즉 트레이닝 데이터 세트에는 포함되지 않은 구별되는 요인을 가지는 데이터 세트가 이용될 수 있다. 예를 들어, 별도의 검증 세트는 트레이닝 데이터 세트와 인종, 환경, 나이, 성별 등의 요인이 구별되는 데이터 세트일 수 있다.
1.2.3.5 모델의 테스트
신경망 모델은 테스트 데이터 세트를 이용하여 테스트될 수 있다.
도 13에서 도시하지는 아니하였으나, 본 발명의 일 실시예에 따른 학습 프로세스에 의하면, 신경망 모델을 트레이닝 데이터 세트 및 검증 데이터 세트와 구분되는 테스트 데이터 세트를 이용하여 테스트할 수 있다. 테스트 결과에 따라, 신경망 모델의 파라미터(예컨대, 가중치 및/또는 편향) 또는 하이퍼 파라미터(예컨대, 학습률)이 조정될 수 있다.
일 예로, 본 발명의 일 실시예에 따른 학습 장치는 안저 이미지에 기초하여 진단 보조 정보를 예측하도록 학습된 신경망 모델로부터, 트레이닝 및 검증에 이용되지 않은 테스트 안저 이미지 데이터를 입력으로 하는 결과 값을 획득하여, 학습 및 검증된 진단 보조 신경망 모델의 테스트를 수행할 수 있다.
신경망 모델의 테스트에는, 별도로 마련된 검증 세트(external data set), 즉 트레이닝 및/또는 검증 데이터와 구별되는 요인을 가지는 데이터 세트가 이용될 수 있다.
1.2.3.6 결과의 출력
신경망 모델의 학습 결과, 최적화된 모델의 파라미터 값이 획득될 수 있다. 전술한 바와 같이 테스트 데이터 세트를 이용하여 모델의 학습을 반복적으로 진행함에 따라, 보다 적절한 파라미터(또는 변수) 값이 얻어질 수 있다. 학습이 충분히 진행되면, 가중치(weight) 및/또는 편향(bias)의 최적화된 값이 획득될 수 있다.
본 발명의 일 실시예에 따르면, 학습된 신경망 모델 및/또는 학습된 신경망 모델의 파라미터 또는 변수는 학습 장치 및/또는 진단 장치(또는 서버)에 저장될 수 있다. 학습된 신경망 모델은 진단 장치 및/또는 클라이언트 장치 등에 의하여 진단 보조 정보의 예측에 이용될 수 있다. 또한 학습된 신경망 모델의 파라미터 또는 변수는 진단 장치 또는 클라이언트 장치로부터 획득된 피드백에 의하여 갱신될 수도 있다.
1.2.3.7 모델 앙상블(ensemble)
본 발명의 일 실시예에 따르면, 하나의 진단 보조 신경망 모델을 학습하는 과정에서, 복수의 서브 모델이 동시에 학습될 수 있다. 복수의 서브 모델은 서로 다른 계층 구조를 가질 수 있다.
이때, 본 발명의 일 실시예에 따른 진단 보조 신경망 모델은 복수의 서브 신경망 모델을 조합하여 구현될 수 있다. 다시 말해, 복수의 서브 신경망을 조합하는 앙상블 기법을 이용하여 신경망 모델의 학습을 수행할 수 있다.
앙상블을 형성하여 진단 보조 신경망 모델을 구성할 경우, 다양한 형태의 서브 신경망 모델로부터 예측되는 결과를 종합하여 예측을 수행할 수 있어, 결과 예측의 정확도가 보다 향상될 수 있다.
도 14은 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블럭도이다. 도 14를 참조하면, 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스는, 데이터 세트를 획득(S1011)하고, 획득된 데이터를 이용하여 제1 모델(즉, 제1 신경망 모델) 및 제2 모델(즉, 제2 신경망 모델)을 학습(S1031, S1033)하고, 학습된 제1 신경망 모델 및 제2 신경망 모델을 검증(S1051)하고, 최종 신경망 모델을 결정하고 그 파라미터 또는 변수를 획득(S10721)할 수 있다.
이하에서는, 도 14을 참조하여, 신경망 모델의 학습 프로세스에 대하여 몇몇 실시예를 들어 설명한다.
본 발명의 일 실시예에 따르면 복수의 서브 신경망 모델은 동일한 트레이닝 데이터 세트를 획득하고, 개별적으로 출력값을 생성할 수 있다. 이때, 복수의 서브 신경망 모델의 앙상블을 최종 신경망 모델로 결정하고, 복수의 서브 신경망 모델 각각에 대한 파라미터 값이 학습 결과로 얻어질 수 있다. 최종 신경망 모델의 출력값은 각각의 서브 신경망 모델에 의한 출력값의 평균값으로 정해질 수 있다. 또는, 최종 신경망 모델의 출력값은 각각의 서브 신경망 모델 각각에 대한 검증 결과 얻어진 정확도를 고려하여, 각각의 서브 신경망 모델의 출력값에 대한 가중 평균값으로 정해질 수 있다.
보다 구체적인 예로, 신경망 모델이 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 을 포함할 때, 기계 학습에 의하여 제1 서브 신경망 모델에 대한 최적화된 파라미터 값 및 제2 서브 신경망 모델의 최적화된 파라미터 값을 획득할 수 있다. 이때, 제1 서브 신경망 모델 및 제2 서브 신경망 모델로부터 각각 획득되는 출력값(예컨대, 특정 진단 보조 정보에 대한 확률 값)들에 대한 평균값을 최종 신경망 모델의 출력값으로 결정할 수 있다.
본 발명의 다른 일 실시예에 따르면, 복수의 서브 신경망 모델 각각에 의한 출력값에 기초하여 개별 서브 신경망 모델의 정확도를 평가할 수 있다. 이때, 정확도에 기초하여 복수의 서브 신경망 모델 중 어느 하나의 모델을 선택하여 최종 서브 신경망 모델로 결정할 수 있다. 결정된 서브 신경망 모델의 구조 및 학습 결과 얻어진 결정된 서브 신경망 모델의 파라미터 값들은 저장될 수 있다.
보다 구체적인 예로, 신경망 모델이 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 을 포함할 때, 제1 서브 신경망 모델 및 제2 서브 신경망 모델 각각에 따른 정확도를 획득하고, 보다 정확한 서브 신경망 모델을 최종 신경망 모델로 결정할 수 있다.
본 발명의 또 다른 일 실시예에 따르면, 복수의 신경망 모델 중 적어도 하나의 서브 신경망을 조합하고, 조합된 적어도 하나의 서브 신경망 모델의 앙상블을 형성하고, 각각의 앙상블에 대하여 평가하되, 복수의 앙상블 중 정확도가 높은 앙상블을 형성하는 서브 신경망 모델의 조합을 최종 신경망 모델로 결정할 수 있다. 이때, 복수의 서브 신경망 모델 중 적어도 하나를 선택하는 가능한 모든 경우의 수에 대하여 앙상블을 수행하고, 가장 정확도가 높은 것으로 평가된 서브 신경망 조합을 최종 신경망 모델로 결정할 수도 있다.
보다 구체적인 예로, 신경망 모델이 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 을 포함할 때, 제1 서브 신경망 모델의 정확도, 제2 서브 신경망 모델의 정확도 및 제1 및 제2 서브 신경망 모델의 앙상블에 의한 정확도를 비교하고, 가장 정확한 경우의 서브 신경망 모델 구성을 최종 신경망 모델로 결정할 수 있다.
1.2.4 실시예 1 - 학습 장치의 제어 방법.
도 15는 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 15를 참조하면, 본 발명의 일 실시예에 따른 학습 장치의 제어 방법은 제1 안저 이미지의 전처리를 수행하는 단계(S110), 전처리된 제1 안저 이미지를 직렬화하는 단계(S130), 제1 신경망 모델을 학습시키는 단계(S150)를 포함할 수 있다.
본 발명의 일 실시예에 따른 학습 장치의 제어 방법은 복수의 안저 이미지를 포함하는 제1 트레이닝 데이터 세트를 획득하고, 제1 트레이닝 데이터 세트에 포함된 안저 이미지를 가공하고, 제1 트레이닝 데이터 세트를 이용하여, 제1 신경망 모델을 학습시키는 학습 장치, 진단 보조 정보를 획득하기 위한 대상 안저 이미지를 획득하고, 학습된 제1 신경망 모델을 이용하여 대상 안저 이미지에 기초하여 진단 보조 정보를 획득하는 진단 장치를 포함하는 시스템에 포함되는 학습 장치의 제어 방법일 수 있다.
제1 안저 이미지의 전처리를 수행하는 단계(S110)는 제1 트레이닝 데이터 세트에 포함된 제1 안저 이미지가 제1 신경망 모델의 학습에 적절한 형태로 변환되도록 제1 안저 이미지의 전처리를 수행하는 것을 더 포함할 수 있다.
본 발명의 일 실시예에 따른 학습 장치의 제어 방법은, 전처리된 제1 안저 이미지를 직렬화하는 단계(S130)를 포함할 수 있다. 제1 안저 이미지는 신경망 모델의 학습에 용이한 형태로 직렬화될 수 있다.
이때, 제1 신경망 모델을 학습시키는 단계(S150)는 직렬화된 제1 안저 이미지를 이용하여, 대상 안저 이미지를 제1 라벨 또는 제2 라벨로 분류하는 제1 신경망 모델을 학습시키는 것을 더 포함할 수 있다.
학습 장치는 복수의 안저 이미지를 포함하고 제1 트레이닝 데이터 세트와 적어도 일부 상이한 제2 트레이닝 데이터 세트를 획득하고, 제2 트레이닝 데이터 세트를 이용하여, 제2 신경망 모델을 학습시킬 수 있다.
본 발명의 일 실시예에 따르면, 학습 장치의 제어 방법은 제2 트레이닝 세트에 포함된 제2 안저 이미지가 제2 신경망 모델의 학습에 적합하도록 제2 안저 이미지의 전처리를 수행하는 단계, 전처리된 제2 안저 이미지를 직렬화하는 단계 및 직렬화된 제2 안저 이미지를 이용하여, 대상 안저 이미지를 제3 라벨 또는 제4 라벨로 분류하는 제2 신경망 모델을 학습시키는 단계를 더 포함할 수 있다.
도 16은 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다. 도 16을 참조하면, 본 발명의 일 실시예에 따른 학습 장치의 제어 방법은 제2 안저 이미지의 전처리를 수행하는 단계(S210), 전처리된 제2 안저 이미지를 직렬화하는 단계(S230), 제2 신경망 모델을 학습시키는 단계(S250)를 포함할 수 있다.
도 16에서는 설명의 편의를 위하여, 제1 안저 이미지의 전처리, 제1 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습에 이어서 제1 안저 이미지의 전처리, 제2 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습에 이어서 수행되는 것으로 묘사하였으나, 본 발명의 내용이 이에 한정되는 것은 아니다.
제2 트레이닝 세트에 포함된 제2 안저 이미지의 전처리, 및 제2 안저 이미지의 직렬화 및 제2 안저 이미지를 이용한 학습은, 전술한 제1 안저 이미지의 전처리, 제1 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습과 독립적으로 수행될 수 있다. 제2 트레이닝 세트에 포함된 제2 안저 이미지의 전처리, 및 제2 안저 이미지의 직렬화 및 제2 안저 이미지를 이용한 학습은, 전술한 제1 안저 이미지의 전처리, 제1 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습과 병렬적으로 수행될 수 있다. 다시 말해, 제2 트레이닝 세트에 포함된 제2 안저 이미지의 전처리, 및 제2 안저 이미지의 직렬화 및 제2 안저 이미지를 이용한 학습은, 반드시 전술한 제1 안저 이미지의 전처리, 제1 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습 이후에 이루어지거나, 이전에 이루어져야 하는 것은 아니며, 제1 안저 이미지에 대한 처리 및 제2 안저 이미지에 대한 처리는 상호 의존관계 없이 수행될 수 있다.
제1 트레이닝 데이터 세트에 포함된 안저 이미지에 대하여 수행되는 제1 전처리는 제2 트레이닝 데이터 세트에 포함된 안저 이미지에 대하여 수행되는 제2 전처리와 구별될 수 있다. 예컨대, 제1 전처리는 혈관 강조 전처리이고, 제2 전처리는 색상 변조 전처리일 수 있다. 각 전처리는 각 신경망 모델을 통하여 획득하고자 하는 진단 보조 정보를 고려하여 결정될 수 있다.
본 발명의 일 실시예에 따른 학습 장치의 제어 방법은, 제1 트레이닝 데이터 세트와 적어도 일부 구별되는 제1 검증 데이터 세트를 이용하여, 학습된 제1 신경망 모델의 정확도(accuracy)를 평가하여, 제1 신경망 모델을 검증하는 단계 및 제2 트레이닝 데이터 세트와 적어도 일부 구별되는 제2 검증 데이터 세트를 이용하여, 학습된 제1 신경망 모델의 정확도(accuracy)를 평가하여, 제2 신경망 모델을 검증하는 단계를 더 포함할 수 있다. 이때, 제1 신경망 모델의 및 제2 신경망 모델의 검증은 독립적으로 수행될 수 있다.
직렬화된 제1 안저 이미지는 제1 큐에 순차적으로 저장되고, 제1 큐에 저장된 직렬화된 안저 이미지는 제1 큐로부터 미리 정해진 용량 단위로 제1 신경망 모델의 학습에 이용되고, 직렬화된 제2 안저 이미지는 제1 큐와 구별되는 제2 큐에 순차적으로 저장되고, 제2 큐에 저장된 직렬화된 안저 이미지는 제2 큐로부터 미리 정해진 용량 단위로 제1 신경망 모델의 학습에 이용될 수 있다.
제1 신경망 모델은 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 포함할 수 있다. 이때, 대상 안저 이미지를 제1 라벨 또는 제2 라벨로 분류하는 것은 제1 서브 신경망 모델에 의해 예측되는 제1 예측값 및 제2 서브 신경망 모델에 의해 예측되는 제2 예측값을 함께 고려하여 수행될 수 있다.
제2 신경망 모델은 제3 서브 신경망 모델 및 제4 서브 신경망 모델을 포함할 수 있다. 이때, 대상 안저 이미지를 제3 라벨 또는 제4 라벨로 분류하는 것은 제3 서브 신경망 모델에 의해 예측되는 제3 예측값 및 제4 서브 신경망 모델에 의해 예측되는 제4 예측값을 함께 고려하여 수행될 수 있다.
제1 트레이닝 데이터 세트는 제1 라벨로 라벨링된 안저 이미지를 적어도 일부 포함하고, 제2 트레이닝 데이터 세트는 제3 라벨로 라벨링된 안저 이미지를 적어도 일부 포함할 수 있다. 이때, 제1 라벨로 라벨링된 안저 이미지 및 제3 라벨로 라벨링된 적어도 일부의 안저 이미지는 일부 공통될 수 있다.
제1 라벨은 대상 안저 이미지에 대응되는 피검체가 제1 소견에 대하여 정상임을 지시하는 정상 라벨이고, 제2 라벨은 피검체가 상긴 제2 소견에 대하여 비정상임을 지시하는 비정상 라벨일 수 있다.
제1 안저 이미지의 전처리를 수행하는 단계는, 제1 안저 이미지가 기준 종횡비를 만족하도록 크롭하고, 제1 안저 이미지의 사이즈를 변경하는 것을 포함할 수 있다.
제1 안저 이미지의 전처리를 수행하는 단계는, 가공부가 제1 안저 이미지에 포함된 혈관이 강조되도록 안저 이미지에 혈관 강조 필터를 적용하는 것을 더 포함할 수 있다.
직렬화된 제1 안저 이미지는 큐에 순차적으로 저장되고, 큐에 저장된 직렬화된 제1 안저 이미지는 큐로부터 미리 정해진 용량 단위로 제1 신경망 모델의 학습에 이용될 수 있다. 큐는 제1 학습에 이용되지 않은 직렬화된 제1 안저 이미지가 기준 용량 이하로 감소하면 직렬화된 제1 안저 이미지의 보충을 요청할 수 있다.
제1 소견은 망막 출혈 소견, 망막 삼출물 발생 소견, 수정체 혼탁 소견, 당뇨 망막증 소견 중 어느 하나일 수 있다.
도 17은 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 17을 참조하면, 본 발명의 일 실시예에 따른 학습 장치의 제어 방법은 제1 신경망 모델을 검증하는 단계(S170) 및 제1 신경망 모델을 갱신하는 단계(S190)를 더 포함할 수 있다.
제1 신경망 모델을 검증하는 단계(S170)는 제1 트레이닝 데이터 세트와 적어도 일부 구별되는 제1 검증 데이터 세트를 이용하여, 학습된 제1 신경망 모델의 정확도(accuracy)를 평가하여 1 신경망 모델을 검증하는 것을 더 포함할 수 있다.
제1 신경망 모델을 갱신하는 단계(S190), 제1 신경망 모델을 검증하는 단계(S170)로부터 얻어진 검증 결과를 반영하여, 제1 신경망 모델을 갱신하는 단계를 더 포함할 수 있다.
한편, 제1 신경망 모델은 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 포함할 수 있다. 이때, 제1 신경망 모델을 학습시키는 단계는 제1 검증 데이터 세트를 이용하여 제1 서브 신경망 모델을 검증하여 제1 서브 신경망 모델의 정확도를 획득하고, 제1 검증 데이터 세트를 이용하여 제2 서브 신경망 모델을 검증하여 제2 서브 신경망 모델의 정확도를 획득하고, 제1 서브 신경망 모델의 정확도 및 제2 서브 신경망 모델의 정확도를 비교하여 보다 정확한 서브 신경망 모델을 최종 신경망 모델로 결정하는 것을 포함할 수 있다.
1.3 진단 보조 프로세스
본 발명의 일 실시예에 따르면, 신경망 모델을 이용하여 진단 보조 정보를 획득하는 진단 보조 프로세스(또는 진단 프로세스)가 제공될 수 있다. 구체적인 예로, 진단 보조 프로세스에 의하여, 안저 이미지를 이용하고 학습된 진단 보조 신경망 모델을 통하여 진단 보조 정보(예컨대, 진단 정보 또는 소견 정보)가 예측될 수 있다.
이하에서 설명하는 진단 보조 프로세스는 진단 장치에 의하여 수행될 수 있다.
1.3.1 진단부
본 발명의 일 실시예에 따르면, 진단 프로세스는 진단부(200)에 의해 수행될 수 있다. 진단부(200)는 전술한 진단 장치 내에 마련될 수 있다.
도 18은 본 발명의 일 실시예에 따른 진단부(200)의 구성을 설명하기 위한 도면이다. 도 18을 참조하면, 진단부(200)는 진단 요청 획득 모듈(210), 데이터 가공 모듈(230), 진단 모듈(250) 및 출력 모듈(270)을 포함할 수 있다.
각각의 모듈은 후술하는 바와 같이 데이터 가공 프로세스 및 학습 프로세스의 개별 단계들을 수행할 수 있다. 다만 도 16에서 설명하는 구성 요소들 및 각 요소들이 수행하는 기능이 모두 필수적인 것은 아니며, 진단의 양태에 따라 일부 요소가 추가되거나 일부 요소가 생략될 수 있다.
1.3.2 데이터 획득 및 진단 요청
본 발명의 일 실시예에 따른 진단 장치는 진단 대상 데이터를 획득하고, 이에 기초하여 진단 보조 정보를 획득할 수 있다. 진단 대상 데이터는 이미지 데이터일 수 있다. 전술한 진단부의 진단 요청 획득 모듈에 의하여 데이터 획득 및 진단 요청의 획득이 수행될 수 있다.
도 19는 본 발명의 일 예에 따른 진단 대상 데이터(TD)를 설명하기 위한 도면이다. 도 19를 참조하면, 진단 대상 데이터(TD)는 진단 대상 이미지(TI) 및 진단 대상 객체 정보(PI; patient information)를 포함할 수 있다.
진단 대상 이미지(TI)는 진단 대상 객체에 대한 진단 보조 정보를 획득하기 위한 이미지일 수 있다. 예컨대, 진단 대상 이미지는 안저 이미지일 수 있다. 진단 대상 (TI)JPG, PNG, DCM(DICOM), BMP, GIF, TIFF 중 어느 하나의 포맷을 가질 수 있다.
진단 객체 정보(PI)는 진단 대상 객체를 식별하기 위한 정보일 수 있다. 또는, 진단 객체 정보(PI)는 진단 대상 객체 또는 이미지의 특성 정보일 수 있다. 예컨대, 진단 객체 정보(PI)는 진단 대상 이미지의 촬상 일시, 촬영 장비, 진단 대상 피검체의 식별 번호, ID, 성명, 성별, 나이 또는 몸무게 등의 정보를 포함할 수 있다. 진단 대상 이미지가 안저 이미지인 경우, 진단 객체 정보(PI)는 좌안인지 우안인지를 나타내는 양안 정보 등의 안구 관련 정보를 더 포함할 수 있다.
진단 장치는 진단 요청을 획득할 수 있다. 진단 장치는 진단 요청과 함께 진단 대상 데이터를 획득할 수 있다. 진단 장치는 진단 요청이 획득되면, 학습된 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다. 진단 장치는 클라이언트 장치로부터 진단 요청을 획득할 수 있다. 또는, 진단 장치는 별도로 마련된 입력 수단을 통하여 사용자로부터 진단 요청을 획득할 수 있다.
1.3.3 데이터 가공 프로세스
획득된 데이터는 가공될 수 있다. 데이터의 가공은 전술한 진단부의 데이터 가공 모듈에 의하여 수행될 수 있다.
데이터 가공 프로세스는 일반적으로, 전술한 학습 프로세스에서의 데이터 가공 프로세스와 유사하게 수행될 수 있다. 이하에서는, 학습 프로세스에서의 데이터 가공 프로세스와의 차이점을 중심으로, 진단 프로세스에서의 데이터 가공 프로세스에 대하여 설명한다.
진단 프로세스에서, 진단 장치는 학습 프로세스에서와 마찬가지로 데이터를 획득할 수 있다. 이때, 획득되는 데이터는 학습 프로세스에서 획득되는 데이터와 동일한 형식일 수 있다. 예를 들어, 학습 프로세스에서 학습 장치가 DCM 형식의 이미지 데이터를 이용하여 진단 보조 신경망 모델을 학습시킨 경우, 진단 장치는 DCM 이미지를 획득하고 학습된 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다.
진단 프로세스에서, 획득된 진단 대상 이미지는 학습 프로세스에서 이용된 이미지 데이터와 유사하게, 리사이징될 수 있다. 진단 대상 이미지는, 학습된 진단 보조 신경망 모델을 통한 진단 보조 정보 예측을 효율적으로 수행하기 위하여, 적절한 용량, 크기 및/또는 종횡비를 가지도록 그 형태가 조정될 수 있다.
예를 들어, 진단 대상 이미지가 안저 이미지인 경우, 안저 이미지에 기초한 진단 정보의 예측을 위하여, 이미지의 불필요한 부분을 크롭하거나, 그 사이즈를 축소하는 등의 리사이징이 수행될 수 있다.
진단 프로세스에서, 획득된 진단 대상 이미지에는, 학습 프로세스에서 이용된 이미지 데이터와 유사하게, 전처리 필터가 적용될 수 있다. 진단 대상 이미지는, 학습된 진단 보조 신경망 모델을 통한 진단 보조 정보 예측의 정확도가 보다 향상되도록, 적절한 필터가 적용될 수 있다.
예를 들어, 진단 대상 이미지가 안저 이미지인 경우, 정 진단 정보의 예측이 용이하도록 하는 전처리, 예컨대 혈관이 강조되도록 하는 이미지 전처리 또는 특정 색상이 강조되거나 약화되도록 하는 이미지 전처리가 진단 대상 이미지에 적용될 수 있다.
진단 프로세스에서, 획득된 진단 대상 이미지는, 학습 프로세스에서 이용된 이미지 데이터와 유사하게, 직렬화될 수 있다. 진단 대상 이미지는 특정 워크프레임에서의 진단 모델 구동이 용이한 형태로 변환 또는 직렬화 수 있다.
진단 대상 이미지의 직렬화는 생략될 수 있다. 이는, 학습 단계에서와 달리 진단 단계에서는 프로세서가 한번에 처리하는 데이터의 수가 많지 않아, 데이터 처리 속도에 대한 부담이 상대적으로 적기 때문일 수 있다.
진단 프로세스에서, 획득된 진단 대상 이미지는, 학습 프로세스에서 이용된 이미지 데이터와 유사하게, 큐에 저장될 수 있다. 다만, 진단 프로세스에서는 처리 데이터 수가 학습 프로세스에 비하여 적으므로, 데이터를 큐에 저장하는 단계는 생략될 수도 있다.
한편, 진단 프로세스에서는, 데이터 수의 증가가 요구되지 않으므로, 정확한 진단 보조 정보의 획득을 위하여, 학습 프로세스와 달리 데이터 증강 또는 이미지 증강 절차는 이용하지 않음이 바람직할 것이다.
1.3.4 진단 프로세스
본 발명의 일 실시예에 따르면, 학습된 신경망 모델을 이용한 진단 프로세스가 개시될 수 있다. 진단 프로세스는 전술한 진단 장치에서 수행될 수 있다. 진단 프로세스는 전술한 진단 서버에서 수행될 수 있다. 진단 프로세스는 전술한 진단 장치의 제어부에서 수행될 수 있다. 진단 프로세스는 전술한 진단부의 진단 모듈에 의하여 수행될 수 있다.
도 20은 본 발명의 일 실시예에 따른 진단 프로세스를 설명하기 위한 도면이다. 도 20을 참조하면, 진단 프로세스는 진단 대상 데이터를 획득(S2010)하고, 학습된 신경망 모델을 이용하여(S2030), 획득된 진단 대상 데이터에 대응되는 결과를 획득하여 수행(S2050)될 수 있다. 다만, 데이터의 가공은 선택적으로 수행될 수 있다.
이하에서는 도 20을 참조하여, 진단 프로세스의 각 단계에 대하여 설명한다.
1.3.4.1 데이터 입력
본 발명의 일 실시예에 따르면, 진단 모듈은 진단 대상 데이터를 획득할 수 있다. 획득된 데이터는, 전술한 바와 같이 가공된 데이터일 수 있다. 일 예로, 획득된 데이터는 사이즈가 조절되고 혈관이 강조되도록 하는 전처리가 적용된 피검자의 안저 이미지 데이터일 수 있다. 본 발명의 일 실시예에 따르면, 하나의 피검자의 좌안 이미지 및 우안 이미지는 함께 진단 대상 데이터로 입력될 수 있다.
1.3.4.2 데이터 분류
분류기 형태로 마련된 진단 보조 신경망 모델은 입력된 진단 대상 이미지를 소정의 라벨에 대하여 긍정 또는 부정 클래스로 분류할 수 있다.
학습된 진단 보조 신경망 모델은 진단 대상 데이터를 입력받고, 예측되는 라벨을 출력할 수 있다. 학습된 진단 보조 신경망 모델은 진단 보조 정보의 예측값을 출력할 수 있다. 학습된 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다. 진단 보조 정보는 예측되는 라벨에 기초하여 결정될 수 있다.
예를 들어, 진단 보조 신경망 모델은 피검체의 안질환 또는 전신 질환에 대한 진단 정보(즉, 질병의 유무에 대한 정보) 또는 소견 정보(즉, 이상 소견의 유무에 대한 정보)를 예측할 수 있다. 이때, 진단 정보 또는 소견 정보는 확률 형태로 출력될 수 있다. 예컨대, 피검체가 특정 질병을 보유할 확률 또는 피검체의 안저 이미지체 특정 이상 소견이 있을 확률이 출력될 수 있다. 분류기 형태로 마련된 진단 보조 신경망 모델을 이용하는 경우에, 예측되는 라벨은 출력되는 확률값(또는 예측 점수)이 임계값을 초과하는지 여부를 고려하여 결정될 수 있다.
구체적인 예로, 진단 보조 신경망 모델은 피검체의 안저 사진을 진단 대상 이미지로 하여, 피검체의 당뇨 망막증 유무를 확률값으로 출력할 수 있다. 1을 정상으로 하는 분류기 형태의 진단 보조 신경망 모델을 이용하는 경우, 피검체의 안저 사진을 진단 보조 신경망 모델에 입력하고, 피검체의 당뇨 망막증 보유 여부에 대하여, 정상 : 비정상 의 확률 값을 0.74:0.26 등의 형태로 획득할 수 있다.
여기에서는 분류기 형태의 진단 보조 신경망 모델을 이용하여 데이터를 분류하는 경우를 기준으로 설명하였으나, 본 발명이 이에 한정되지는 아니하며, 회귀 모델 형태로 구현된 진단 보조 신경망 모델을 이용하여 특정한 진단 보조 수치(예컨대, 혈압 등)를 예측할 수도 있다.
본 발명의 다른 일 실시예에 따르면, 이미지의 적합성 정보가 획득될 수 있다. 적합성 정보는 진단 대상 이미지가 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득하기에 적합한지 여부를 나타낼 수 있다.
이미지의 적합성 정보는 이미지의 품질 정보일 수 있다. 품질 정보 또는 적합성 정보는, 진단 대상 이미지가 기준 레벨에 미치는지 여부를 나타낼 수 있다.
예컨대, 진단 대상 이미지가 촬영 장비의 결함 또는 촬영시 조명의 영향 등으로 인하여 결함을 가지는 경우, 해당 진단 대상 이미지에 대하여는 적합성 정보로서 부적합 결과가 출력될 수 있다. 진단 대상 이미지에 노이즈가 일정 수준 이상 포함된 경우, 그 진단 대상 이미지는 부적합한 것으로 판단될 수 있다.
적합성 정보는 신경망 모델을 이용하여 예측된 값일 수 있다. 또는, 적합성 정보는 별도의 이미지 분석 프로세스를 통하여 획득된 정보일 수 있다.
일 실시예에 따르면, 이미지가 부적합한 것으로 분류된 경우에도, 부적합한 이미지에 기초하여 획득된 진단 보조 정보가 획득될 수 있다.
일 실시예에 따르면, 부적합한 것으로 분류된 이미지는 진단 보조 신경망 모델에 의하여 재검토될 수 있다.
이때, 재검토를 수행하는 진단 보조 신경망 모델은, 최초 검토를 수행하는 진단 보조 신경망 모델과 상이할 수 있다. 예를 들어, 진단 장치는 제1 진단 보조 신경망 모델 및 제2 진단 보조 신경망 모델을 저장하고, 제1 진단 보조 신경망 모델을 통하여 부적합한 것으로 분류된 이미지는 제2 진단 보조 신경망 모델을 통하여 검토될 수 있다.
본 발명의 또 다른 일 실시예에 따르면, 학습된 신경망 모델로부터 CAM(Class Activation Map)이 획득될 수 있다. 진단 보조 정보는 CAM을 포함할 수 있다. CAM은 다른 진단 보조 정보와 함께 획득될 수 있다.
CAM의 경우, 선택적으로 획득될 수 있다. 예를 들어, CAM의 경우, 진단 보조 모델에 의하여 획득된 진단 정보 또는 소견 정보가 비정상 클래스로 분류된 경우에 CAM이 추출 및/또는 출력될 수 있다.
1.3.5 진단 보조 정보의 출력
진단 보조 정보는, 진단 보조 신경망 모델로부터 예측된 라벨에 기초하여 결정될 수 있다.
진단 보조 정보의 출력은 전술한 진단부의 출력 모듈에 의하여 수행될 수 있다. 진단 보조 정보는 진단 장치로부터 클라이언트 장치로 출력될 수 있다. 진단 보조 정보는 진단 장치로부터 서버 장치로 출력될 수 있다. 진단 보조 정보는 진단 장치 또는 진단 서버에 저장될 수 있다. 진단 보조 정보는 별도로 마련된 서버 장치 등에 저장될 수 있다.
진단 보조 정보는 데이터베이스화 되어 관리될 수 있다. 예컨대, 획득된 진단 보조 정보는 피검체의 식별 번호에 따라 해당 피검체의 진단 대상 이미지와 함께 저장 및 관리될 수 있다. 이때, 피검체의 진단 대상 이미지 및 진단 보조 정보는 시간 순서에 따라 관리될 수 있다. 진단 보조 정보 및 진단 대상 이미지를 시계열적으로 관리함으로써, 개인별 진단 정보의 추적 및 이력 관리가 용이해질 수 있다.
진단 보조 정보는 사용자에게 제공될 수 있다. 진단 보조 정보는 진단 장치 또는 클라이언트 장치의 출력 수단을 통하여 사용자에게 제공될 수 있다. 진단 보조 정보는 진단 장치 또는 클라이언트 장치에 마련된 시각적 또는 청각적 출력 수단을 통하여 사용자가 인지할 수 있도록 출력될 수 있다.
본 발명의 일 실시예에 따르면, 사용자에게 진단 보조 정보를 효과적으로 제공하기 위한 인터페이스가 제공될 수 있다. 이러한 사용자 인터페이스와 관련하여서는 후술하는 5. 사용자 인터페이스 에서 보다 상세히 설명한다.
신경망 모델에 의하여 CAM이 획득된 경우, CAM의 이미지가 함께 제공될 수 있다. CAM 이미지의 경우 선택적으로 제공될 수 있다. 예컨대, 진단 보조 신경망 모델을 통하여 획득된 진단 정보가 정상 소견 정보 또는 정상 진단 정보인 경우 CAM 이미지를 제공하지 않고, 획득된 진단 정보가 비정상 소견 정보 또는 비정상 진단 정보인 경우, 보다 정확한 임상 진단을 위하여 CAM 이미지가 함께 제공될 수 있다.
이미지가 부적합한 것으로 분류된 경우, 이미지의 적합성 정보가 함께 제공될 수 있다. 일 예로, 이미지가 부적합한 것으로 분류된 경우, 해당 이미지에 따라 획득된 진단 보조 정보 및 부적합 판정 정보가 함께 제공될 수 있다.
부적합한 것으로 판정된 진단 대상 이미지는 재촬영 대상 이미지로 분류될 수도 있다. 이때, 재촬영 대상으로 분류된 이미지의 대상 객체에 대한 재촬영 안내가 적합성 정보와 함께 제공될 수 있다.
한편, 신경망 모델을 통하여 획득된 진단 보조 정보를 제공하는 것에 응답하여, 신경망 모델의 학습과 관련된 피드백이 획득될 수 있다. 예컨대, 신경망 모델의 학습과 관련된 파라미터 또는 하이퍼 파라미터를 조정하기 위한 피드백이 획득될 수 있다. 피드백은 진단 장치 또는 클라이언트 장치에 마련된 사용자 입력부를 통하여 획득될 수 있다.
본 발명의 일 실시예에 따르면, 진단 대상 이미지에 대응되는 진단 보조 정보는 등급 정보를 포함할 수 있다. 등급 정보는 복수의 등급 중 선택될 수 있다. 등급 정보는 신경망 모델을 통하여 획득된 진단 정보 및/또는 소견 정보에 기초하여 결정될 수 있다. 등급 정보는 진단 대상 이미지의 적합성 정보 또는 품질 정보를 고려하여 결정될 수 있다. 신경망 모델이 다중 분류를 수행하는 분류기 모델인 경우, 등급 정보는 진단 대상 이미지가 신경망 모델에 의하여 분류된 클래스를 고려하여 결정될 수 있다. 신경망 모델이 특정 질병과 관련된 수치를 출력하는 회귀 모델인 경우, 등급 정보는 출력되는 수치를 고려하여 결정될 수 있다.
예를 들어, 진단 대상 이미지에 대응하여 획득된 진단 보조 정보는 제1 등급 정보 또는 제2 등급 정보 중 선택된 어느 하나의 등급 정보를 포함할 수 있다. 등급 정보는, 신경망 모델을 통하여 비정상 소견 정보 또는 비정상 진단 정보가 획득된 경우, 제1 등급 정보로 선택될 수 있다. 등급 정보는 신경망 모델을 통하여 비정상 소견 정보 또는 비정상 진단 정보가 획득되지 않은 경우, 제2 등급 정보로 선택될 수 있다. 또는, 등급 정보는, 신경망 모델을 통하여 획득된 수치가 기준 수치를 초과하는 경우 제1 등급 정보로 선택되고, 획득된 수치가 기준 수치에 못 미치는 경우 제2 등급 정보로 선택될 수도 있다. 제1 등급 정보는 제2 등급 정보에 비하여, 진단 대상 이미지에 강한 비정상 정보가 존재함을 나타낼 수 있다.
한편, 등급 정보는, 이미지 분석 또는 신경망 모델을 이용하여, 진단 대상 이미지의 품질이 기준 이하인 것으로 판단된 경우, 제3 등급 정보로 선택될 수 있다. 혹은, 진단 보조 정보는 제3 등급 정보를 제1 또는 제2 등급 정보와 함께 포함할 수 있다.
진단 보조 정보가 제1 등급 정보를 포함하는 경우, 제1 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제1 사용자 안내는, 진단 보조 정보에 대응되는 피검체(즉, 환자)에 대하여 보다 정밀한 검사가 요구됨을 지시할 수 있다. 예컨대, 제1 사용자 안내는 피검체에 대한 2차 진단(예를 들어, 별도의 의료 기관에서의 진단 또는 전원 절차)가 요구됨을 지시할 수 있다. 또는, 제1 사용자 안내는 피검체에 대하여 요구되는 처치를 지시할 수 있다. 구체적인 예로, 진단 보조 정보에 의하여, 피검체의 황반 변성에 대한 비정상 정보가 획득된 경우, 제1 사용자 안내는 피검체에 대한 주사 처방 및 전원 절차에 대한 안내(예를 들어, 전원이 가능한 병원의 리스트)를 포함할 수 있다.
진단 보조 정보가 제2 등급 정보를 포함하는 경우, 제2 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제2 사용자 안내는 진단 보조 정보에 대응되는 피검체에 대한 추후 관리 방안을 포함할 수 있다. 예컨대, 제2 사용자 안내는 피검체의 다음 진료 시기, 다음 진료 과목 등을 지시할 수 있다.
진단 대상 정보가 제3 등급 정보를 포함하는 경우, 제3 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제3 사용자 안내는 진단 대상 이미지에 재촬영이 요구됨을 지시할 수 있다. 제3 사용자 안내는 진단 대상 이미지의 품질에 대한 정보를 포함할 수 있다. 예컨대, 제3 사용자 안내는 진단 대상 이미지에 존재하는 흠결의 정보(예컨대, bright artifact 인지 또는 dark artifact 인지, 혹은 그 정도)를 포함할 수 있다.
1.4 복수 라벨 대한 진단 보조 시스템
본 발명의 일 실시예에 따르면, 복수 라벨(예컨대, 복수의 진단 보조 정보)에 대하여 예측하기 위한 진단 보조 시스템이 제공될 수 있다. 이를 위하여, 전술한 진단 보조 시스템의 진단 보조 신경망을 복수의 라벨에 대하여 예측하도록 설계할 수 있다.
또는, 위와 전술한 진단 보조 시스템에 있어서, 서로 다른 라벨에 대하여 예측하는 복수의 진단 보조 신경망이 병렬적으로 이용될 수 있다. 이하에서는, 이러한 병렬 진단 보조 시스템에 대하여 설명한다.
1.4.1 병렬 진단 보조 시스템 구성
본 발명의 일 실시예에 따르면, 복수의 진단 보조 정보를 획득하기 위한 병렬 진단 보조 시스템이 제공될 수 있다. 병렬 진단 보조 시스템은 복수의 진단 보조 정보를 획득하기 위한 복수의 신경망 모델을 학습시키고, 학습된 복수의 신경망 모델을 이용하여 복수의 진단 보조 정보를 획득할 수 있다.
예컨대, 병렬 진단 보조 시스템은 안저 이미지에 기초하여, 피검체의 안질환 유무와 관련된 제1 진단 보조 정보를 획득하는 제1 신경망 모델 및 피검체의 전신 질환 유무와 관련된 제2 진단 보조 정보를 획득하는 제2 신경망 모델을 학습시키고, 학습된 제1 신경망 모델 및 제2 신경망 모델을 이용하여 피검체의 안질환 유무 및 전신 질환 유무에 관한 진단 보조 정보를 출력할 수 있다.
도 21 및 22는 본 발명의 몇몇 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다. 도 21 및 22를 참조하면, 병렬 진단 보조 시스템은 복수의 학습부를 포함할 수 있다.
도 21을 참조하면, 본 발명의 일 실시예에 따른 병렬 진단 보조 시스템(30)은 학습 장치(1000), 진단 장치(2000) 및 클라이언트 장치(3000)를 포함할 수 있다. 이때, 학습 장치(1000)는 복수의 학습부를 포함할 수 있다. 예를 들어, 학습 장치(1000)는 제1 학습부(100a) 및 제2 학습부(100b)를 포함할 수 있다.
도 22를 참조하면, 본 발명의 일 실시예에 따른 병렬 진단 보조 시스템(40)은 제1 학습 장치(1000a), 제2 학습 장치(1000b), 진단 장치(2000) 및 클라이언트 장치(3000)를 포함할 수 있다. 제1 학습 장치(1000a)는 제1 학습부(100a)를 포함할 수 있다. 제2 학습 장치(1000b)는 제2 학습부(100b)를 포함할 수 있다.
도 21 및 22를 참조하면, 제1 학습부(100a)는 제1 데이터 세트를 획득하고, 제1 신경망 모델에 대하여 학습 결과 얻어진 제1 신경망 모델의 제1 파라미터 세트를 출력할 수 있다. 제2 학습부(100b)는 제2 데이터 세트를 획득하고, 제2 신경망 모델에 대하여 학습 결과 얻어진 제2 신경망 모델의 제2 파라미터 세트를 출력할 수 있다.
진단 장치(2000)는 진단부(200)를 포함할 수 있다. 진단 장치(2000) 및 진단부(200)에 대하여는 도 1과 관련하여 설명한 내용이 유사하게 적용될 수 있다. 진단부(200)는 제1 학습부(100a) 및 제2 학습부(100b)로부터 각각 학습된 제1 신경망 모델 및 제2 신경망 모델을 이용하여 제1 진단 보조 정보 및 제2 진단 보조 정보를 획득할 수 있다. 진단부(2000)는 제1 학습부(100a) 및 제2 학습부(100b)로부터 획득한 학습된 제1 신경망 모델의 파라미터 및 학습된 제2 신경망 모델의 파라미터를 저장할 수 있다.
클라이언트 장치(3000)는 데이터 획득부 예컨대, 촬상부(300)를 포함할 수 있다. 다만, 촬상부(300)는 기타 진단 보조 정보의 획득에 이용되는 데이터의 획득 수단으로 대체될 수 있다. 클라이언트 장치는 진단 장치로 진단 요청 및 진단 대상 데이터(예컨대, 촬상부로부터 획득된 안저 이미지)를 전송할 수 있다. 클라이언트 장치(3000)는 진단 요청을 전송하는 것에 응답하여, 진단 장치로부터, 전송한 진단 대상 데이터에 따른 복수의 진단 보조 정보를 획득할 수 있다.
한편, 도 21 및 22에서는 진단 보조 시스템(40)이 제1 학습부(100a) 및 제2 학습부(100b)를 포함하는 경우를 기준으로 설명하였으나, 본 발명의 내용이 이에 한정되는 것은 아니다. 본 발명의 다른 실시예에 따르면, 학습 장치는 3개 이상의 서로 다른 진단 보조 정보를 획득하는 학습부를 포함할 수 있다. 또는, 진단 보조 시스템은 서로 다른 진단 보조 정보를 획득하는 복수의 학습 장치를 포함할 수도 있다.
학습 장치, 진단 장치 및 클라이언트 장치의 보다 구체적인 동작에 대하여는 이하에서 보다 상세하게 설명하기로 한다.
1.4.2 병렬 트레이닝 프로세스
본 발명의 일 실시예에 따르면, 복수의 신경망 모델이 학습될 수 있다. 각각의 신경망 모델을 학습하는 트레이닝 프로세스는 병렬적으로 수행될 수 있다.
1.4.2.1 병렬 학습부
트레이닝 프로세스는 복수의 학습부에 의해 수행될 수 있다. 각각의 트레이닝 프로세스는 서로 독립적으로 수행될 수 있다. 복수의 학습부는 하나의 학습 장치에 마련되거나 복수의 학습 장치에 각각 마련될 수 있다.
도 23은 본 발명의 일 실시예에 따른 복수의 학습부를 포함하는 학습 장치의 구성을 설명하기 위한 도면이다. 제1 학습부(100a) 및 제2 학습부(100b) 각각의 구성 및 동작은 도 9와 관련하여 전술한 것과 유사하게 구현될 수 있다.
도 23을 참조하면, 본 발명의 일 실시예에 따른 신경망 모델의 프로세스는, 제1 데이터 가공 모듈(110a), 제1 큐 모듈(130a), 제1 학습 모듈(150a) 및 제1 학습 결과 획득 모듈(170a)을 포함하는 제1 학습부(100a) 및 제2 데이터 가공 모듈(110b), 제2 큐 모듈(130b), 제2 학습 모듈(150b) 및 제2 학습 결과 획득 모듈(170b)을 포함하는 제2 학습부(100b)를 포함하는 학습 장치(1000)에 의하여 수행될 수 있다.
도 23을 참조하면, 본 발명의 일 실시예에 따른 신경망 모델의 트레이닝 프로세스는 제1 학습부(100a) 및 제2 학습부(100b)에 의하여 각각 수행될 수 있다. 제1 학습부(100a) 및 제2 학습부(100b)는 독립적으로 제1 신경망 모델 및 제2 신경망 모델의 학습을 수행할 수 있다. 도 23을 참조하면, 제1 학습부(100a) 및 제2 학습부(100b)는 전술한 학습 장치 내에 마련될 수 있다. 또는, 제1 학습부 및 제2 학습부는 서로 다른 학습 장치 내에 마련될 수도 있다.
1.4.2.2 병렬 데이터 획득
본 발명의 일 실시예에 따르면, 복수의 학습부는 데이터를 획득할 수 있다. 복수의 학습부는 서로 다른 데이터 세트를 획득할 수 있다. 또는, 복수의 학습부는 동일한 데이터 세트를 획득할 수도 있다. 경우에 따라, 복수의 학습부는 일부가 공통되는 데이터 세트를 획득할 수도 있다. 데이터 세트는 안저 이미지 데이터 세트일 수 있다.
제1 학습부는 제1 데이터 세트를 획득하고, 제2 학습부는 제2 데이터 세트를 획득할 수 있다. 제1 데이터 세트 및 제2 데이터 세트는 구별될 수 있다. 제1 데이터 세트 및 제2 데이터 세트는 일부 공통될 수 있다. 제1 데이터 세트 및 제2 데이터 세트는 라벨링된 안저 이미지 데이터 세트일 수 있다.
제1 데이터 세트는 제1 특징에 대하여 정상(normal)으로 라벨링된 데이터 및 제1 특징에 대하여 비정상(abnormal)으로 라벨링된 데이터를 포함할 수 있다. 예를 들어, 제1 데이터 세트는 수정체 혼탁과 관련하여, 정상인 것으로 라벨링된 안저 이미지 및 비정상인 것으로 라벨링된 안저 이미지를 포함할 수 있다.
제2 데이터 세트는 (제1 특징과 구별되는)제2 특징에 대하여 정상으로 라벨링된 데이터 및 제2 특징에 대하여 비정상으로 라벨링된 데이터를 포함할 수 있다. 예를 들어, 제2 데이터 세트는 당뇨 망막증과 관련하여, 정상인 것으로 라벨링된 안저 이미지 및 비정상인 것으로 라벨링된 안저 이미지를 포함할 수 있다.
제1 데이터 세트 및 제2 데이터 세트 각각에 포함된 제1 특징에 대하여 정상으로 라벨링된 데이터 세트 및 제2 특징에 대하여 정상으로 라벨링된 데이터는 공통될 수 있다. 예를 들어, 제1 데이터 세트는 수정체 혼탁과 관련하여 정상인 것으로 라벨링된 안저 이미지 및 비정상인 것으로 라벨링된 안저 이미지를 포함하고, 제2 데이터 세트는 당뇨 망막증과 관련하여 정상인 것으로 라벨링된 안저 이미지 및 비정상인 것으로 라벨링된 안저 이미지를 포함하되, 제1 데이터 세트에 포함된 수정체 혼탁과 관련하여 정상인 것으로 라벨링된 안저 이미지 및 제2 데이터 세트에 포함된 당뇨 망막증과 관련하여 정상인 것으로 라벨링된 안저 이미지는 공통될 수 있다.
또는, 제1 데이터 세트 및 제2 데이터 세트 각각에 포함된 제1 특징에 대하여 비정상으로 라벨링된 데이터 및 제2 특징에 대하여 비정상으로 라벨링된 데이터가 공통될 수도 있다. 즉, 복수 특징에 대하여 라벨링된 데이터가 복수 특징에 대한 신경망 모델의 학습에 이용될 수도 있다.
한편, 제1 데이터 세트는 제1 방법으로 촬영된 안저 이미지 데이터 세트이고, 제2 데이터 세트는 제2 방법으로 촬영된 안저 이미지 데이터 세트일 수 있다. 제1 방법 및 제2 방법은 레드프리 촬영, 파노라마 촬영, 자가형광 촬영, 적외선 촬영 등으로부터 선택된 어느 하나의 방법일 수 있다.
각 학습부에서 이용되는 데이터 세트는, 학습되는 신경망에 의하여 획득되는 진단 보조 정보를 고려하여 결정될 수 있다. 예를 들어, 제1 학습부는 망막 이상 소견(예를 들어, 미세혈관류, 삼출물 등)과 관련된 진단 보조 정보를 획득하고자 하는 제1 신경망 모델을 학습시키는 경우, 레드프리 촬영된 제1 안저 이미지 데이터 세트를 획득할 수 있다. 또는, 제2 학습부는 황반 변성과 관련된 진단 보조 정보를 획득하고자 하는 제2 신경망 모델을 학습시키는 경우, 자가형광 촬영된 제2 안저 이미지 데이터 세트를 획득할 수 있다.
1.4.3 병렬 데이터 가공
복수의 학습부는 각각 획득된 데이터를 가공할 수 있다. 전술한 2.2 데이터 가공 프로세스 에서 설명한 것과 같이, 각각의 학습부는, 획득된 데이터에 대하여, 이미지 리사이징, 전처리 필터 적용, 이미지 증강 및 이미지 직렬화 프로세스 중 하나 이상을 적용하여 데이터를 가공할 수 있다. 제1 학습부의 제1 데이터 가공 모듈은 제1 데이터 세트를 가공하고, 제2 학습부의 제2 데이터 가공 모듈은 제2 데이터 세트를 가공할 수 있다.
복수의 학습부에 포함되는 제1 학습부 및 제2 학습부는 각각에 의해 학습되는 신경망 모델로부터 획득되는 진단 보조 정보를 고려하여 획득된 데이터 세트를 달리 가공할 수 있다. 예를 들어, 제1 학습부는 고혈압과 관련된 제1 진단 보조 정보를 획득하기 위한 제1 신경망 모델을 학습시키기 위하여, 제1 안저 이미지 데이터 세트에 포함된 안저 이미지들에 대하여 혈관이 강조되도록 하는 전처리를 수행할 수 있다. 또는, 제2 학습부는 망막의 삼출물, 미세 혈관 등의 이상 소견과 관련된 제2 진단 보조 정보를 획득하기 위한 제2 신경망 모델을 학습시키기 위하여, 제2 안저 이미지 데이터 세트에 포함된 안저 이미지들에 대하여 레드프리 이미지로 변환하는 전처리를 수행할 수도 있다.
1.4.3.1 병렬 큐
복수의 학습부는 데이터를 큐에 저장할 수 있다. 전술한 2.2.6 큐 에서 설명한 것과 같이, 각각의 학습부는 처리된 데이터를 큐에 저장하고 학습 모듈로 전달할 수 있다. 예를 들어, 제1 학습부는 제1 데이터 세트를 제1 큐 모듈에 저장하고 제1 학습 모듈에 순차적으로 또는 랜덤하게 제공할 수 있다. 제2 학습 모듈은 제2 데이터 세트를 제2 큐 모듈에 저장하고 제2 학습 모듈에 순차적으로 또는 랜덤하게 제공할 수 있다.
1.4.3.2 병렬 학습 프로세스
복수의 학습부는 신경망 모델을 학습시킬 수 있다. 각각의 학습 모듈은 트레이닝 데이터 세트를 이용하여 서로 다른 라벨에 대하여 예측하는 진단 보조 신경망 모델을 각각 독립적으로 학습시킬 수 있다. 제1 학습부의 제1 학습 모듈은 제1 신경망 모델을 학습시키고, 제2 학습부의 제2 학습 모듈은 제2 신경망 모듈을 학습시킬 수 있다.
복수의 진단 보조 신경망 모델은 병렬적 및/또는 독립적으로 학습될 수 있다. 이와 같이 복수의 신경망 모델을 통하여 서로 다른 라벨에 대하여 예측하도록 모델을 학습시킴으로써, 각 라벨에 대한 예측 정확도가 향상되고, 예측 동작의 효율이 증가될 수 있다.
각각의 진단 보조 신경망 모델은 2.3.2 모델의 설계 에서 설명한 것과 유사하게 마련될 수 있다. 각각의 서브 학습 프로세스는 2.3.1 내지 2.3.5 에서 전술한 것과 유사하게 수행될 수 있다.
본 발명의 일 실시예에 따른 병렬 학습 프로세스는, 서로 다른 라벨을 예측하는 진단 보조 신경망 모델을 학습시키는 것을 포함할 수 있다. 제1 학습부는 제1 라벨을 예측하는 제1 진단 보조 신경망 모델을 학습시킬 수 있다. 제2 학습부는 제2 라벨을 예측하는 제2 진단 보조 신경망 모델을 학습시킬 수 있다.
제1 학습부는 제1 데이터 세트를 획득하고 제1 라벨을 예측하는 제1 진단 보조 신경망 모델을 학습시킬 수 있다. 예컨대, 제1 학습부는 황반 변성 여부에 대하여 라벨링된 안저 이미지 트레이닝 데이터 세트를 이용하여, 안저 이미지로부터 피검체의 황반 변성 여부를 예측하는 제1 진단 보조 신경망 모델을 학습시킬 수 있다.
제2 학습부는 제2 데이터 세트를 획득하고 제2 라벨을 예측하는 제1 진단 보조 신경망 모델을 학습시킬 수 있다. 예컨대, 제2 학습부는 당뇨 망막증 해당 여부에 대하여 라벨링된 안저 이미지 트레이닝 데이터 세트를 이용하여, 안저 이미지로부터 피검체의 당뇨 망막증 해당 여부를 예측하는 제2 진단 보조 신경망 모델을 학습시킬 수 있다.
신경망 모델의 학습 프로세스에 대하여는 이하에서 도 24 및 25를 참조하여 보다 구체적으로 설명한다.
도 24는 본 발명의 일 실시예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다. 병렬 학습 프로세스는, 병렬 진단 보조 시스템이 도 21과 같이 구현된 경우, 도 22과 같이 구현된 경우 및 그 외의 형태로 구현된 경우 모두에 적용될 수 있다. 다만, 설명의 편의를 위하여, 이하에서는 도 21과 같이 구현된 병렬 진단 보조 시스템을 기준으로 설명한다.
도 24를 참조하면, 병렬 학습 프로세스는 서로 다른 라벨을 예측하는 복수의 진단 보조 신경망 모델을 각각 학습시키는 복수의 서브 학습 프로세스를 포함할 수 있다. 병렬 학습 프로세스는 제1 신경망 모델을 학습시키는 제1 서브 학습 프로세스 및 제2 신경망 모델을 학습시키는 제2 서브 학습 프로세스를 포함할 수 있다.
예컨대, 제1 서브 학습 프로세스는 제1 데이터를 획득하고(S1010a), 제1 신경망 모델을 이용하고(S1030a), 제1 모델(즉, 제1 진단 보조 신경망 모델)을 검증하고(S1050a) 제1 신경망 모델의 파라미터를 획득(S1070a)하여 수행될 수 있다. 제2 서브 학습 프로세스는 제2 데이터를 획득하고(S1010b), 제2 신경망 모델을 이용하고(S1030b), 제2 신경망 모델을 검증(즉, 제2 진단 보조 신경망 모델)하고(S1050b) 제2 신경망 모델의 파라미터를 획득(S1070b)하여 수행될 수 있다.
서브 학습 프로세스는 서브 신경망 모델에 트레이닝 데이터를 입력하고, 출력으로 얻어진 라벨 값을 입력 트레이닝 데이터와 비교하여 모델을 검증하고, 검증 결과를 다시 서브 신경망 모델에 반영함으로써 신경망 모델을 학습시키는 것을 포함할 수 있다.
각각의 서브 학습 프로세스는, 임의의 가중치 값들이 부여된 신경망 모델을 이용하여 결과값을 획득하고, 획득된 결과값을 트레이닝 데이터의 라벨값과 비교하고 그 오차에 따라 역전파를 수행하여, 가중치 값들을 최적화하는 것을 포함할 수 있다.
각각의 서브 학습 프로세스에서, 진단 보조 신경망 모델은 트레이닝 데이터 세트와 구별되는 검증 데이터 세트를 통하여 검증될 수 있다. 제1 신경망 모델 및 제2 신경망 모델을 검증하기 위한 검증 데이터 세트는 구별될 수 있다.
복수의 학습부는 학습 결과를 획득할 수 있다. 각각의 학습 결과 획득 모듈은 학습 모듈로부터 학습된 신경망 모듈에 관한 정보를 획득할 수 있다. 각각의 학습 결과 획득 모듈은 학습부로부터 학습된 신경망 모듈의 파라미터 값들을 획득할 수 있다. 제1 학습부의 제1 학습 결과 획득 모듈은 제1 학습 모듈로부터 학습된 제1 신경망 모델의 제1 파라미터 세트를 획득할 수 있다. 제2 학습부의 제2 학습 결과 획득 모듈은 제2 학습 모듈로부터 학습된 제2 신경망 모델의 제2 파라미터 세트를 획득할 수 있다.
각각의 서브 학습 프로세스에 의하여, 학습된 신경망 모델의 최적화된 파라미터 값들, 즉 파라미터 세트가 획득될 수 있다. 보다 많은 트레이닝 데이터 세트를 이용하여 학습을 진행함에 따라, 보다 적절한 파라미터 값들이 얻어질 수 있다.
제1 서브 학습 프로세스에 의하여 학습된 제1 진단 보조 신경망 모델의 제1 파라미터 세트가 획득될 수 있다. 제2 서브 학습 프로세스에 의하여 학습된 제2 진단 보조 신경망 모델의 제2 파라미터 세트가 획득될 수 있다. 학습이 충분히 진행됨에 따라, 제1 진단 보조 신경망 모델의 및 제2 진단 보조 신경망 모델의 가중치(weight) 및/또는 편향(bias)의 최적화된 값이 획득될 수 있다.
획득된 각 신경망 모델의 파라미터 세트는 학습 장치 및/또는 진단 장치(또는 서버)에 저장될 수 있다. 제1 진단 보조 신경망 모델의 제1 파라미터 세트 및 제2 진단 보조 신경망 모델의 제2 파라미터 세트는 함께 또는 따로 저장될 수 있다. 학습된 각 신경망 모델의 파라미터 세트는 진단 장치 또는 클라이언트 장치로부터 획득된 피드백에 의하여 갱신될 수도 있다.
1.4.3.3 병렬 앙상블 학습 프로세스
복수의 신경망 모델을 병렬적으로 학습시키는 경우에도, 전술한 앙상블 형태의 모델 학습이 이용될 수 있다. 각각의 서브 학습 프로세스는 복수의 서브 신경망 모델을 학습시키는 것을 포함할 수 있다. 복수의 서브 모델은 서로 다른 계층 구조를 가질 수 있다. 이하에서, 별다른 언급이 없는 한 2.3.7 에서 설명한 내용이 유사하게 적용될 수 있다.
복수의 진단 보조 신경망 모델이 병렬적으로 학습되는 경우에, 각각의 진단 보조 신경망 모델을 학습시키는 서브 학습 프로세스 중 일부 서브 학습 프로세스는 단일 모델을 학습시키고, 일부 서브 학습 프로세스는 복수의 서브 모델을 함께 학습시키는 형태로 구현될 수도 있다.
각 서브 학습 프로세스에서 앙상블을 이용하여 모델을 학습시킴에 따라, 각각의 서브 프로세스에서 보다 최적화된 신경망 모델의 형태를 획득하고, 예측의 오차가 감소될 수 있다.
도 25는 본 발명의 다른 일 실시예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다. 도 25를 참조하면, 각 학습 프로세스는 복수의 서브 신경망 모델을 학습시키는 것을 포함할 수 있다.
도 25를 참조하면, 제1 서브 학습 프로세스는 제1 데이터를 획득하고(S1011a), 제 1-1 신경망 모델 및 제1-2 신경망 모델을 이용하고(S1031a, S1033a) 제 1-1 신경망 모델 및 제1-2 신경망 모델을 검증(S1051a)하여, 제1 신경망 모델의 최종 형태 및 그 파라미터를 결정(S1071a)하여 수행될 수 있다. 제2 서브 학습 프로세스는 제2 데이터를 획득하고(S1011b), 제 2-1 신경망 모델 및 제2-2 신경망 모델을 이용하고(S1031b, S1033b) 제 2-1 신경망 모델 및 제2-2 신경망 모델을 검증(S1051b)하여, 제1 모델(즉, 제1 진단 보조 신경망 모델)의 최종 형태 및 그 파라미터를 결정(S1071b)하여 수행될 수 있다.
제1 서브 학습 프로세스에서 학습되는 제1 신경망은 제1-1 신경망 모델, 제1-2 신경망 모델을 포함할 수 있다. 제1-1 신경망 모델 및 제1-2 신경망 모델은 서로 다른 계층 구조로 마련될 수 있다. 제1-1 신경망 모델 및 제1-2 신경망 모델은 제1 데이터 세트를 획득하고 예측되는 라벨을 각각 출력할 수 있다. 또는, 제1-1 신경망 모델 및 제1-2 신경망 모델의 앙상블에 의한 예측되는 라벨을 최종 예측 라벨로 결정할 수 있다.
이때, 제1-1 신경망 모델 및 제1-2 신경망 모델을 검증 데이터 세트를 이용하여 검증하고, 정확도가 높은 신경망 모델을 최종 신경망 모델로 결정할 수 있다. 또는, 제1-1 신경망 모델, 제1-2 신경망 모델 및 제1-1 신경망 모델 및 제1-2 신경망 모델의 앙상블을 검증하고, 그 중 정확도가 높은 경우의 신경망 모델 형태를 최종 제1 신경망 모델로 결정할 수도 있다.
제2 서브 학습 프로세스에 대하여도 마찬가지로, 제2-1 신경망 모델, 제2-2 신경망 모델 및 제2-1 신경망 모델, 제2-2 신경망 모델의 앙상블 중 정확도가 높은 형태의 신경망을 최종 제2 모델(즉, 제2 진단 보조 신경망 모델)로 결정할 수 있다.
한편, 도 25에서는, 편의를 위하여 각 서브 학습 프로세스가 두 개의 서브 모델을 포함하는 경우를 기준으로 설명하였으나, 이는 예시에 불과하며, 본 발명이 이에 한정되지는 않는다. 각 서브 학습 프로세스에서 학습되는 신경망 모델은, 하나의 신경망 모델만을 포함하거나, 세 개 이상의 서브 모델을 포함할 수도 있다.
1.4.4 병렬 진단 프로세스
본 발명의 일 실시예에 의하면, 복수의 진단 보조 정보를 획득하는 진단 프로세스가 제공될 수 있다. 복수의 진단 보조 정보를 획득하는 진단 프로세스는 서로 독립적인 복수의 진단 프로세스를 포함하는 병렬 진단 보조 프로세스 형태로 구현될 수 있다.
1.4.4.1 병렬 진단부
본 발명의 일 실시예에 따르면, 진단 보조 프로세스는 복수의 진단 모듈에 의하여 수행될 수 있다. 각각의 진단 보조 프로세스는 독립적으로 수행될 수 있다.
도 26은 본 발명의 일 실시예에 따른 진단부(200)를 설명하기 위한 블록도이다.
도 26을 참조하면, 본 발명의 일 실시예에 따른 진단부(200)는 진단 요청 획득 모듈(211), 데이터 가공 모듈(231), 제1 진단 모듈(251), 제2 진단 모듈(253) 및 출력 모듈(271)을 포함할 수 있다. 진단부(200)의 각 모듈은 특별한 언급이 없는 한, 도 18에서 도시하는 진단부의 진단 모듈과 유사하게 동작할 수 있다.
도 26에서는, 진단부(200)가 복수의 진단 모듈을 포함하는 경우에도, 진단 요청 획득 모듈(211), 데이터 가공 모듈(231) 및 출력 모듈(271)은 공통되는 것으로 도시하였으나, 본 발명이 이러한 구성에 한정되는 것은 아니며, 진단 요청 획득 모듈, 데이터 가공 모듈 및/또는 출력 모듈 역시 복수로 마련될 수도 있다. 복수의 진단 요청 획득 모듈, 데이터 가공 모듈 및/또는 출력 모듈 역시 병렬적으로 동작할 수도 있다.
예를 들어, 진단부(200)는 입력된 진단 대상 이미지에 대하여 제1 가공을 수행하는 제1 데이터 가공 모듈 및 진단 대상 이미지에 대하여 제2 데이터 가공을 수행하는 제2 가공 모듈을 포함하고, 제1 진단 모듈은 제1 가공된 진단 대상 이미지에 기초하여 제1 진단 보조 정보를 획득하고, 제2 진단 모듈은 제2 가공된 진단 대상 이미지에 기초하여 제2 진단 보조 정보를 획득할 수 있다. 제1 가공 및/또는 제2 가공은 이미지 리사이징, 이미지의 색상 변조, 블러 필터 적용, 혈관 강조 처리, 레드프리 변환, 일부 영역 크롭, 일부 요소 추출 중 선택된 어느 하나일 수 있다.
복수의 진단 모듈은 서로 다른 진단 보조 정보를 획득할 수 있다. 복수의 진단 모듈은 서로 다른 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다. 예를 들어, 제1 진단 모듈은 피검체의 안질환 해당 여부를 예측하는 제1 신경망 모델을 이용하여 피검체의 안질환 해당 여부와 관련된 제1 진단 보조 정보를 획득하고, 제2 진단 모듈은 피검체의 전신 질환 해당 여부를 예측하는 제2 신경망 모델을 이용하여 피검체의 전신 질환 해당 여부와 관련된 제2 진단 보조 정보를 획득할 수 있다.
보다 구체적인 예로, 제1 진단 모듈은 안저 이미지에 기초하여 피검체의 당뇨 망막증 해당 여부를 예측하는 제1 진단 보조 신경망 모델을 이용하여 피검체의 당뇨 망막증 해당 여부에 관한 제1 진단 보조 정보를 획득하고, 제2 진단 모듈은 안저 이미지에 기초하여 피검체의 고혈압 해당 여부를 예측하는 제2 진단 보조 신경망 모델을 이용하여 피검체의 고혈압 해당 여부와 관련된 제2 진단 보조 정보를 획득할 수 있다.
1.4.4.2 병렬 진단 프로세스
본 발명의 일 실시예에 따른 진단 보조 프로세스는 복수의 서브 진단 프로세스를 포함할 수 있다. 각각의 서브 진단 프로세스는 서로 다른 진단 보조 신경망 모델을 이용하여 수행될 수 있다. 각각의 서브 진단 프로세스는 서로 다른 진단 모듈에서 수행될 수 있다. 예컨대, 제1 진단 모듈은 제1 진단 보조 신경망 모델을 통하여 제1 진단 보조 정보를 획득하는 제1 서브 진단 프로세스를 수행할 수 있다. 또는, 제2 진단 모듈은 제2 진단 보조 신경망 모델을 통하여 제2 진단 보조 정보를 획득하는 제2 서브 진단 프로세스를 수행할 수 있다.
학습된 복수의 신경망 모델은 진단 대상 데이터를 입력으로 하여, 예측되는 라벨 또는 확률을 출력할 수 있다. 각각의 신경망 모델은 분류기 형태로 마련되고, 입력되는 진단 대상 데이터를 소정의 라벨에 대하여 분류할 수 있다. 이때, 복수의 신경망 모델은 서로 다른 특성에 대하여 학습된 분류기 형태로 마련될 수 있다. 각각의 신경망 모델은 3.4.2 에서 전술한 것과 같이 진단 대상 데이터를 분류할 수 있다.
한편, 각각의 진단 보조 신경망 모델로부터, CAM이 획득될 수 있다, CAM은 선택적으로 획득될 수 있다. CAM은 미리 정해진 조건이 만족되는 경우에 추출될 수 있다. 예를 들어, 제1 진단 보조 정보가 피검체가 제1 특성에 대하여 비정상임을 지시하는 경우에 제1 진단 보조 신경망 모델로부터 제1 CAM이 획득될 수 있다.
도 27은 본 발명의 일 실시예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다.
도 27을 참조하면, 본 발명의 일 실시예에 따른 진단 보조 프로세스는 진단 대상 데이터를 획득(S2011)하고, 제1 진단 보조 신경망 모델 및 제2 진단 보조 신경망 모델을 이용하여(S2031a, S2031b) 진단 대상 데이터에 따른 진단 보조 정보를 획득(S2051)하는 것을 포함할 수 있다. 진단 대상 데이터는 가공된 데이터일 수 있다.
본 발명의 일 실시예에 따른 진단 보조 프로세스는 학습된 제1 진단 보조 신경망 모델을 통하여 제1 진단 보조 정보를 획득하고, 학습된 제2 진단 보조 신경망 모델을 통하여 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다. 제1 진단 보조 신경망 모델 및 제2 진단 보조 신경망 모델은 동일한 진단 대상 데이터에 기초하여 각각 제1 진단 보조 정보 및 제2 진단 보조 정보를 획득할 수 있다.
예를 들어, 제1 진단 보조 신경망 모델 및 제2 진단 보조 신경망 모델은 진단 대상 안저 이미지에 기초하여, 피검체의 황반 변성 여부에 관한 제1 진단 보조 정보 및 피검체의 당뇨 망막증 해당 여부에 관한 제2 진단 보조 정보를 각각 획득할 수 있다.
이외에도, 특별한 언급이 없는 한, 도 27과 관련하여 설명하는 진단 보조 프로세스는 도 20과 관련하여 전술한 진단 보조 프로세스와 유사하게 구현될 수 있다.
1.4.4.3 진단 보조 정보의 출력
본 발명의 일 실시예에 따르면, 병렬 진단 보조 프로세스에 의하여 획득된 진단 보조 정보가 획득될 수 있다. 획득된 진단 보조 정보는 진단 장치, 서버 장치 및/또는 클라이언트 장치에 저장될 수 있다. 획득된 진단 보조 정보는 외부 장치로 전달될 수 있다.
복수의 진단 보조 정보는, 복수의 진단 보조 신경망 모델에 의하여 예측되는 복수의 라벨을 각각 지시할 수 있다. 복수의 진단 보조 정보는 복수의 진단 보조 신경망 모델에 의하여 예측되는 복수의 라벨에 각각 대응될 수 있다. 또는, 진단 보조 정보는 복수의 진단 보조 신경망 모델에 의하여 예측된 복수의 라벨에 기초하여 결정된 정보일 수 있다. 진단 보조 정보는 복수의 진단 보조 신경망 모델에 의하여 예측되는 복수의 라벨에 대응될 수 있다.
다시 말해, 제1 진단 보조 정보는 제1 진단 보조 신경망 모델을 통하여 예측된 제1 라벨에 대응되는 진단 보조 정보일 수 있다. 또는, 제1 진단 보조 정보는 제1 진단 보조 신경망 모델을 통하여 예측된 제1 라벨 및 제2 진단 보조 신경망 모델을 통하여 예측된 제2 라벨을 함께 고려하여 결정된 진단 보조 정보일 수 있다.
한편, 복수의 진단 보조 신경망 모델로부터 획득된 CAM의 이미지가 출력될 수 있다. CAM 이미지는 미리 정해진 조건이 만족되는 경우에 출력될 수 있다. 예를 들어, 제1 진단 보조 정보가 피검체가 제1 특성에 대하여 비정상임을 지시하는 경우 또는 제2 진단 보조 정보가 피검체가 제2 특성에 대하여 비정상임을 지시하는 경우 중 어느 하나의 경우에, 비정상임인 것으로 지시된 진단 보조 정보가 출력된 진단 보조 신경망 모델로부터 획득된 CAM 이미지가 출력될 수 있다.
복수의 진단 보조 정보 및/또는 CAM 이미지는 사용자에게 제공될 수 있다. 복수의 진단 보조 정보 등은 진단 장치 또는 클라이언트 장치의 출력 수단을 통하여 사용자에게 제공될 수 있다. 진단 보조 정보는 시각적으로 출력될 수 있다. 이와 관련하여, 5. 사용자 인터페이스에서 보다 상세하게 설명한다.
본 발명의 일 실시예에 따르면, 진단 대상 이미지에 대응되는 진단 보조 정보는 등급 정보를 포함할 수 있다. 등급 정보는 복수의 등급 중 선택될 수 있다. 등급 정보는 신경망 모델을 통하여 획득된 복수의 진단 정보 및/또는 소견 정보에 기초하여 결정될 수 있다. 등급 정보는 진단 대상 이미지의 적합성 정보 또는 품질 정보를 고려하여 결정될 수 있다. 등급 정보는 진단 대상 이미지가 복수의 신경망 모델에 의하여 분류된 클래스를 고려하여 결정될 수 있다. 등급 정보는 복수의 신경망 모델로부터 출력되는 수치를 고려하여 결정될 수 있다.
예를 들어, 진단 대상 이미지에 대응하여 획득된 진단 보조 정보는 제1 등급 정보 또는 제2 등급 정보 중 선택된 어느 하나의 등급 정보를 포함할 수 있다. 등급 정보는, 복수의 신경망 모델을 통하여 획득된 진단 정보 중, 적어도 하나의 비정상 소견 정보 또는 비정상 진단 정보가 획득된 경우, 제1 등급 정보로 선택될 수 있다. 등급 정보는 신경망 모델을 통하여 획득된 진단 정보 중, 비정상 소견 정보 또는 비정상 진단 정보가 획득되지 않은 경우, 제2 등급 정보로 선택될 수 있다.
등급 정보는, 신경망 모델을 통하여 획득된 수치들 중 적어도 하나의 수치가 기준 수치를 초과하는 경우 제1 등급 정보로 선택되고, 획득된 수치들 모두가 기준 수치에 못 미치는 경우 제2 등급 정보로 선택될 수도 있다. 제1 등급 정보는 제2 등급 정보에 비하여, 진단 대상 이미지에 강한 비정상 정보가 존재함을 나타낼 수 있다.
등급 정보는, 이미지 분석 또는 신경망 모델을 이용하여, 진단 대상 이미지의 품질이 기준 이하인 것으로 판단된 경우, 제3 등급 정보로 선택될 수 있다. 혹은, 진단 보조 정보는 제3 등급 정보를 제1 또는 제2 등급 정보와 함께 포함할 수 있다.
진단 보조 정보가 제1 등급 정보를 포함하는 경우, 제1 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제1 사용자 안내는, 진단 보조 정보에 포함된 적어도 하나의 비정상 소견 정보 또는 비정상 진단 정보에 대응되는 사항을 포함할 수 있다. 예컨대, 제1 사용자 안내는, 진단 보조 정보에 포함된 비정상 정보에 대응되는 피검체(즉, 환자)에 대하여 보다 정밀한 검사가 요구됨을 지시할 수 있다. 예컨대, 제1 사용자 안내는 피검체에 대한 2차 진단(예를 들어, 별도의 의료 기관에서의 진단 또는 전원 절차)가 요구됨을 지시할 수 있다. 또는, 제1 사용자 안내는 피검체에 대하여 요구되는 처치를 지시할 수 있다. 구체적인 예로, 진단 보조 정보에 의하여, 피검체의 황반 변성에 대한 비정상 정보가 획득된 경우, 제1 사용자 안내는 피검체에 대한 주사 처방 및 전원 절차에 대한 안내(예를 들어, 전원이 가능한 병원의 리스트)를 포함할 수 있다.
진단 보조 정보가 제2 등급 정보를 포함하는 경우, 제2 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제2 사용자 안내는 진단 보조 정보에 대응되는 피검체에 대한 추후 관리 방안을 포함할 수 있다. 예컨대, 제2 사용자 안내는 피검체의 다음 진료 시기, 다음 진료 과목 등을 지시할 수 있다.
진단 대상 정보가 제3 등급 정보를 포함하는 경우, 제3 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제3 사용자 안내는 진단 대상 이미지에 재촬영이 요구됨을 지시할 수 있다. 제3 사용자 안내는 진단 대상 이미지의 품질에 대한 정보를 포함할 수 있다. 예컨대, 제3 사용자 안내는 진단 대상 이미지에 존재하는 흠결의 정보(예컨대, bright artifact 인지 또는 dark artifact 인지, 혹은 그 정도)를 포함할 수 있다.
제1 내지 제3 등급 정보는, 클라이언트 장치 또는 진단 장치의 출력부에 의해 출력될 수 있다. 구체적으로, 후술하는 사용자 인터페이스를 통해 출력될 수 있다.
1.4.5 실시예 2 - 진단 보조 시스템
본 발명의 일 실시예에 따른 진단 보조 시스템은 안저 이미지 획득부, 제1 처리부, 제2 처리부, 제3 처리부 및 진단 정보 출력부를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 진단 보조 시스템은 진단 장치를 포함할 수 있다. 진단 장치는 안저 이미지 획득부, 제1 처리부, 제2 처리부, 제3 처리부 및/또는 진단 정보 출력부를 포함할 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 진단 보조 시스템에 포함되는 각 부는 학습 장치, 진단 장치, 학습 진단 서버 및/또는 클라이언트 장치 상의 적절한 위치에 각각 위치될 수 있다. 이하에서는, 편의를 위하여 진단 보조 시스템의 진단 장치가 안저 이미지 획득부, 제1 처리부, 제2 처리부, 제3 처리부 및 진단 정보 출력부를 포함하는 경우를 기준으로 설명한다.
도 28은 본 발명의 일 실시예에 따른 진단 보조 시스템을 설명하기 위한 도면이다. 도 28을 참조하면, 진단 보조 시스템은 진단 장치를 포함하고, 진단 장치는 안저 이미지 획득부, 제1 처리부, 제2 처리부, 제3 처리부 및 진단 정보 출력부를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 안저 이미지에 기초하여 복수의 질병에 대한 진단을 보조하는 진단 보조 시스템은, 피검체에 대한 진단 보조 정보 획득의 기초가 되는 대상 안저 이미지를 획득하는 안저 이미지 획득부, 대상 안저 이미지에 대하여 제1 신경망 모델 - 제1 신경망 모델은 제1 안저 이미지 세트를 기초로 기계 학습됨 - 을 이용하여 피검체에 대한 제1 소견과 관련된 제1 결과를 획득하는 제1 처리부, 대상 안저 이미지에 대하여 제2 신경망 모델 - 제2 신경망 모델은 제1 안저 이미지 세트와 적어도 일부가 상이한 제2 안저 이미지 세트를 기초로 기계 학습됨 - 을 이용하여 피검체에 대한 제2 소견과 관련된 제2 결과를 획득하는 제2 처리부, 제1 결과 및 제2 결과에 기초하여, 피검체에 대한 진단 정보를 결정하는 제3 처리부 및 사용자에게 결정된 진단 정보를 제공하는 진단 정보 출력부를 포함할 수 있다. 이때, 제1 소견 및 제2 소견은 서로 다른 질병에 대한 진단에 이용될 수 있다.
제1 신경망 모델은 입력된 안저 이미지를 제1 소견과 관련하여 정상 라벨 및 비정상 라벨 중 어느 하나로 분류하도록 학습되고, 제1 처리부는 제1 신경망 모델을 이용하여 대상 안저 이미지를 정상 라벨 또는 비정상 라벨 중 어느 하나로 분류하여 제1 결과를 획득할 수 있다.
제3 처리부는 제1 결과 및 제2 결과를 함께 고려하여, 대상 안저 이미지에 따른 진단 정보가 정상 정보인지 비정상 정보인지 결정할 수 있다.
제3 처리부는, 진단 정확도가 향상되도록, 비정상 라벨에 우선권을 부여하여 피검체에 대한 진단 정보를 결정할 수 있다.
제3 처리부는 제1 라벨이 제1 소견에 대한 정상 라벨이고, 제2 라벨이 제2 소견에 대한 정상 라벨인 경우, 진단 정보를 정상으로 결정하고, 제1 라벨이 제1 소견에 대한 정상 라벨이 아니거나 제2 라벨이 제2 소견에 대한 정상 라벨이 아닌 경우, 진단 정보를 비정상으로 결정할 수 있다.
제1 소견은 안질환과 관련되고, 제1 결과는 피검체의 안질환에 대한 정상 여부를 지시할 수 있다. 제2 소견은 전신 질환과 관련되고, 제2 결과는 피검체의 전신 질환에 대한 정상 여부를 지시할 수 있다.
제1 소견은 제1 안질환과 관련되고, 제1 결과는 피검체의 제1 안질환에 대한 정상 여부를 지시하고, 제2 소견은 제1 안질환과 구별되는 제2 안질환과 관련되고, 제2 결과는 피검체의 제2 안질환에 대한 정상 여부를 지시할 수 있다.
제1 소견은 제1 안질환을 진단하기 위한 소견이고, 제1 결과는 피검체의 제1 안질환에 대한 정상 여부를 지시하고, 제2 소견은 제1 안질환을 진단하기 위한 제1 소견과 구별되는 소견이고, 제2 결과는 피검체의 제2 안질환에 대한 정상 여부를 지시할 수 있다.
제1 신경망 모델은 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 포함하고, 제1 결과는 제1 서브 신경망 모델에 의해 예측되는 제1 예측값 및 제2 서브 신경망 모델에 의해 예측되는 제2 예측값을 함께 고려하여 결정될 수 있다.
제1 처리부는 제1 신경망 모델을 통하여 제1 라벨과 관련된 CAM(Class Activation Map)을 획득하고, 진단 정보 출력부는 CAM의 이미지를 출력할 수 있다.
진단 정보 출력부는 제3 처리부에 의하여 획득된 진단 정보가 비정상 진단 정보인 경우 CAM의 이미지를 출력할 수 있다.
진단 보조 시스템은 대상 안저 이미지의 품질 정보를 획득하는 제4 처리부를 더 포함하고, 진단 정보 출력부는 제4 처리부에 의하여 획득된 대상 안저 이미지의 품질 정보를 출력할 수 있다.
제4 처리부에서 대상 안저 이미지의 품질 정보가 미리 정해진 품질 레벨 이하인 것으로 판단된 경우, 진단 정보 출력부는, 사용자에게 결정된 진단 정보와 함께 대상 안저 이미지의 품질 정보가 미리 정해진 품질 레벨 이하인 것을 지시하는 정보를 함께 제공할 수 있다.
1.5 사용자 인터페이스
본 발명의 일 실시예에 따르면, 전술한 클라이언트 장치 또는 진단 장치는 진단 보조 정보를 사용자에게 제공하기 위한 표시부를 가질 수 있다. 이때, 표시부는 사용자에게 진단 보조 정보를 명확히 전달하고, 사용자로부터의 피드백 획득이 용이하도록 마련될 수 있다.
표시부의 일 예로서, 사용자에게 시각 정보를 제공하는 디스플레이가 제공될 수 있다. 이때, 사용자에게 진단 보조 정보를 시각적으로 전달하기 위한 그래픽 사용자 인터페이스가 이용될 수 있다. 예컨대, 안저 이미지에 기초하여 진단 보조 정보를 획득하는 안저 진단 보조 시스템에 있어서, 획득된 진단 보조 정보를 효과적으로 표시하고 사용자의 이해를 돕기 위한 그래픽 사용자 인터페이스가 제공될 수 있다.
도 29 및 30은 본 발명의 몇몇 실시예에 따른 사용자에게 진단 정보를 제공하기 위한 그래픽 사용자 인터페이스를 설명하기 위한 도면이다. 이하에서는, 도 29 및 30을 참조하여, 안저 진단 보조 시스템에서 이용될 수 있는 사용자 인터페이스에 대하여 몇몇 실시예를 들어 설명한다.
도 29를 참조하면, 본 발명의 일 실시예에 따른 사용자 인터페이스는 진단 대상 안저 이미지에 대응되는 피검체의 식별 정보를 표시할 수 있다. 사용자 인터페이스는 피검체(즉, 환자)의 식별 정보 및/또는 진단 대상 안저 이미지의 촬영 정보(예컨대, 촬영 날짜)를 표시하는 대상 이미지 식별 정보 표시부(401)를 포함할 수 있다.
본 발명의 일 실시예에 따른 사용자 인터페이스는, 동일한 피검체의 좌안의 안저 이미지 및 우안의 안저 이미지를 각각 표시하는 안저 이미지 표시부(405)를 포함할 수 있다. 안저 이미지 표시부(405)는 CAM 이미지를 표시할 수도 있다.
본 발명의 일 실시예에 따른 사용자 인터페이스는 좌안의 안저 이미지 및 우안의 안저 이미지 각각에 대하여 좌안 또는 우안의 이미지임을 표시하고, 각 이미지의 진단 정보 및 사용자 확인 여부를 지시하는 진단 정보 지시자가 표시되는 진단 정보 지시부(403)를 포함할 수 있다.
진단 정보 지시자의 색상은 대상 안저 이미지에 기초하여 얻어진 진단 보조 정보를 고려하여 결정될 수 있다. 진단 정보 지시자는 진단 보조 정보에 따라 제1 색상 또는 제2 색상으로 표시될 수 있다. 일 예로, 하나의 대상 안저 이미지에 제1 내지 제3 진단 보조 정보를 획득한 경우, 하나의 진단 보조 정보라도 비정상(즉, 이상 소견 있음) 정보를 포함하는 경우, 진단 정보 지시자는 적색으로 표시되고, 모든 진단 보조 정보가 정상(즉, 이상 소견 없음) 정보를 포함하는 경우, 진단 정보 지시자는 녹색으로 표시될 수 있다.
진단 정보 지시자의 형태는 사용자의 확인 여부에 따라 결정될 수 있다. 진단 정보 지시자는 사용자의 확인 여부에 따라 제1 형태 또는 제2 형태로 표시될 수 있다. 일 예로, 도 25를 참조하면, 사용자에 의해 검토가 완료된 대상 안저 이미지에 대응되는 진단 정보 지시자는 채워진 원으로 표시되고, 사용자에 의해 미검토된 대상 안저 이미지에 대응되는 진단 정보 지시자는 채워진 반원으로 표시될 수 있다.
본 발명의 일 실시예에 따른 사용자 인터페이스는, 진단 보조 정보를 지시하는 진단 정보 지시부(407)를 포함할 수 있다. 진단 보조 정보 지시부는 좌안 및 우안 이미지에 각각 위치될 수 있다. 진단 보조 정보 지시부는 복수의 소견 정보 또는 진단 정보를 지시할 수 있다.
진단 보조 정보 지시부는 적어도 하나의 진단 보조 정보 지시자를 포함할 수 있다. 진단 보조 정보 지시자는 색상 변화를 통하여 각각 대응되는 진단 보조 정보를 지시할 수 있다.
예를 들어, 진단 대상 안저 이미지에 대하여, 제1 진단 보조 신경망 모델을 통하여 수정체 혼탁 유무를 지시하는 제1 진단 보조 정보, 제2 진단 보조 신경망 모델을 통하여 당뇨 망막증 소견 유무를 지시하는 제2 진단 보조 정보, 제3 진단 보조 신경망 모델을 통하여 망막 이상 소견 유무를 지시하는 제3 진단 보조 정보가 획득된 경우에, 진단 정보 지시부는 제1 진단 보조 정보, 제2 진단 보조, 제3 진단 보조 정보를 각각 지시하는 제1 내지 제3 진단 보조 정보 지시자를 포함할 수 있다.
보다 구체적인 예로, 도 29를 참조하면, 좌안 안저 이미지와 관련하여, 진단 정보 지시부(407)는 피검체의 좌안 안저 이미지에 기초하여 획득된 진단 보조 정보가 수정체 혼탁 비정상임을 지시하는 제1 진단 보조 정보, 당뇨 망막증 정상(이상 소견 없음)을 지시하는 제2 진단 보조 정보 및 망막 비정상(이상 소견 있음)을 지시하는 제3 진단 보조 정보가 획득된 경우에, 제1 색상을 띠는 제1 진단 보조 정보 지시자, 제2 색상을 띠는 제1 진단 보조 정보 지시자 및 제1 색상을 띠는 제3 진단 보조 정보 지시자를 표시할 수 있다.
본 발명의 일 실시예에 따른 사용자 인터페이스는, 사용자로부터 진단 대상 안저 이미지에 대한 사용자 코멘트를 획득할 수 있다. 사용자 인터페이스는 사용자 코멘트 오브젝트(409)를 포함하고, 사용자 코멘트 오브젝트에 대한 사용자 선택에 응답하여, 사용자 입력창을 표시할 수 있다. 사용자로부터 획득된 코멘트는 진단 보조 신경망 모델의 갱신에 이용될 수도 있다. 예컨대, 사용자 코멘트 오브젝트에 대한 선택에 응답하여 표시되는 사용자 입력창은, 신경망을 통한 진단 보조 정보에 대한 사용자 평가를 획득할 수 있고, 획득된 사용자 평가는 신경망 모델의 갱신에 이용될 수 있다.
본 발명의 일 실시예에 따른 사용자 인터페이스는, 각 진단 대상 안저 이미지에 대한 사용자 검토 여부를 표시하는 검토 지시 오브젝트(411)를 포함할 수 있다. 검토 지시 오브젝트는 각 진단 대상 이미지에 대한 사용자 검토가 완료되었음을 나타내는 사용자 입력을 획득 받고, 제1 상태에서 제2 상태로 그 표시가 변경될 수 있다. 예컨대, 도 29 및 도 30을 참조하면, 검토 지시 오브젝트는 확인 요청 문구를 표시하는 제1 상태에서, 사용자 입력이 획득되면, 확인 되었음을 나타내는 제2 상태로 변경될 수 있다.
진단 대상 안저 이미지의 목록(413)이 표시될 수 있다. 목록에는 피검체의 식별 정보, 이미지 촬영 날짜 및 양안 이미지에 대한 검토 여부 지시자(403)가 함께 표시될 수 있다.
진단 대상 안저 이미지의 목록(413)에는 검토가 완료된 진단 대상 안저 이미지를 나타내는 검토 완료 지시자(415)가 표시될 수 있다. 검토 완료 지시자(415)는 해당 이미지의 양안에 대한 검토 지시 오브젝트(411) 모두에 대하여 사용자 선택이 발생한 경우에 표시될 수 있다.
도 30을 참조하면, 사용자 그래픽 인터페이스는, 진단 대상 안저 이미지에 품질 이상이 있는 것으로 판단된 경우에, 사용자에게 대상 안저 이미지의 품질에 이상이 있음을 지시하는 저품질 경고 오브젝트(417)를 포함할 수 있다. 저품질 경고 오브젝트(417)는, 진단부로부터 진단 대상 안저 이미지가 진단 보조 신경망 모델로부터 적절한 진단 보조 정보가 예측될 수 있는 수준의 품질(즉, 기준 품질 레벨)에 미치지 아니하는 것으로 판단된 경우에 표시될 수 있다.
또한, 도 28을 참조하면 진단 대상 안저 이미지의 목록(413)에도 저품질 경고 오브젝트(419)가 표시될 수 있다.
2. 복수 정보 획득 모델
한편, 본 명세서에서 설명하는 발명에 의하면, 복수의 진단 보조 정보를 획득하는 진단 보조 신경망 모델 또는 진단 보조 장치가 제공될 수 있다.
이하의 실시예들에서 설명하는 바와 같이, 복수의 진단 보조 정보 획득에 공통 부분 및 개별 부분을 포함하는 신경망 모델을 이용함으로써, 신경망 모델을 통하여 획득되는 진단 보조 정보의 정확도가 향상될 수 있다. 이하의 실시예들에서와 같이 안구 이미지에 기초하여 다양한 진단 보조 정보를 예측하고자 하는 경우, 각각의 진단 보조 정보를 예측하기 위하여 복수의 신경망 모델을 개별적으로 설계하는 경우에, 서로 다른 진단 보조 정보 예측을 위한 신경망 모델들에 있어서, 안구 이미지로부터 추상화된 특징들을 추출하는 초기 수 개의 레이어들의 구조 내지 이러한 레이어들로부터 추출되는 특징들은 서로 유사성을 띨 수 있다. 이에, 복수의 진단 보조 정보를 획득하기 위하여 머신 러닝을 이용하는 경우에, 컴퓨팅 프로세스가 보다 효율적으로 수행될 수 있도록, 공유 레이어들 및 개별 레이어들을 포함하는 진단 보조 신경망 모델이 이용될 수 있다.
이하에서는, 복수의 진단 보조 정보를 획득하는 진단 보조 모델 등에 대하여, 몇몇 실시예를 들어 설명한다.
2.1 복수 정보 획득 모델 구조
본 명세서에서 설명하는 발명의 일 실시예에 따르면, 동일한 입력에 기초하여 복수의 진단 보조 정보를 예측하는 진단 보조 신경망 모델이 제공될 수 있다. 복수의 진단 보조 정보를 예측하는 진단 보조 신경망 모델은 멀티 태스크 모델 형태를 가질 수 있다. 예측되는 복수의 진단 보조 정보는 본 명세서에서 예시하는 다양한 형태의 진단 보조 정보일 수 있다.
진단 보조 정보는 피검체에 대한 진단 대상 질병의 유무, 위험 정도 또는 질병과 관련된 지수(또는 점수) 등의 정보일 수 있다.
예컨대, 진단 보조 정보는 안질환의 진단에 이용되는 진단 보조 정보일 수 있다. 진단 보조 정보는 녹내장, 백내장, 당뇨 망막증, 황반 변성, 출혈, 드루젠, 맥락막 이상, 망막 혈관 이상, 신경섬유층결손 등의 안질환과 관련된 진단 보조 정보일 수 있다. 진단 보조 정보는 피검체에 대한 대상 안질환의 유무, 대상 안질환 위험 정도, 대상 안질환 관련 수치 정보 등일 수 있다.
또 예컨대, 진단 보조 정보는 심뇌혈관 질병의 진단에 이용되는 진단 보조 정보일 수 있다. 진단 보조 정보는 심근 경색(heart attack) 또는 협심증(angina) 등의 관상동맥 질환, 심장 동맥병, 허혈성 심장 질환, 울혈성 심부전, 말초 혈관 질환, 심장 마비, 심장 판막 질환, 뇌혈관 질환(예컨대, 뇌졸중, 뇌경색, 뇌출혈 또는 일과성 허혈 발작) 및 신장 혈관 질환 등을 포함하는 뇌, 심장 내지 혈관과 관련된 질병과 관련된 진단 보조 정보일 수 있다. 진단 보조 정보는 피검체에 대한 대상 심뇌혈관 질병의 유무, 대상 심뇌혈관 질병 위험 정도 또는 대상 심뇌혈관 질병과 관련된 수치 정보 등일 수 있다.
본 명세서에서 설명하는 발명의 일 실시예에 따르면, 복수의 진단 보조 정보를 예측하는 진단 보조 신경망 모델은 공통 부분 및 개별 부분을 가질 수 있다. 진단 보조 신경망 모델은 복수 진단 보조 정보의 획득에 이용되는 하나 이상의 신경망 레이어를 포함하는 공통 부분(또는 공유 부분)을 포함할 수 있다. 또는, 제1 진단 보조 정보에 예측되는 제1 진단 보조 신경망 모델 및 제2 진단 보조 정보의 예측에 이용되는 제2 진단 보조 신경망 모델은 서로 공통되는 하나 이상의 신경망 레이어를 포함하는 공통 부분(또는 공유 부분)을 포함할 수 있다. 진단 보조 신경망 모델은 하나 이상의 진단 보조 정보 예측에 이용되는 공통 부분 및 일부 진단 보조 정보의 예측에 영향을 미치지 아니하는 개별 부분을 가질 수 있다.
2.1.1 제1 타입 복수 정보 획득 모델
일 실시예에 따르면, 서로 다른 진단 보조 정보를 예측하기 위하여 서로 구별되는 레이어가 이용되는 진단 보조 신경망 모델이 이용될 수 있다. 예컨대, 일 실시예에 따르면, 여러 작업을 동시에 할 수 있도록, 각각의 작업에 할당된 복수의 개별 부분을 가지는 진단 보조 신경망 모델이 제공될 수 있다.
도 31은 본 명세서에서 설명하는 진단 보조 신경망 모델의 일 실시예를 설명하기 위한 도면이다. 도 31을 참조하면, 일 실시예에 따른 진단 보조 신경망 모델은 공통 부분, 제1 개별 부분 및 제2 개별 부분을 포함할 수 있다.
공통 부분은 복수의 진단 보조 정보 예측에 관여할 수 있다. 공통 부분은 복수의 진단 보조 정보 예측에 기여하는 복수의 특징을 추출하는 특징 추출 신경망으로 기능할 수 있다. 공통 부분은 입력 데이터에 기초하여 복수의 특징 세트를 획득할 수 있다. 공통 부분은 피검체의 안구로부터 획득된 안구 이미지를 입력으로 하여 복수의 특징 세트를 획득할 수 있다. 공통 부분은 하나 이상의 2차원 특징 맵을 획득할 수도 있다.
공통 부분은 하나 이상의 레이어를 포함하는 신경망으로 마련될 수 있다. 공통 부분은 적어도 하나의 합성곱 레이어 또는 풀링 레이어를 포함할 수 있다. 공통 부분은 복수의 합성곱 레이어를 포함하고 안구 이미지에 기초하여 복수의 특징 값을 획득할 수 있다. 공통 부분은 완전 연결(fully connected) 레이어를 포함할 수 있다.
공통 부분은 안구 이미지에 기초하여 복수의 특징 값 또는 복수의 특징 맵을 획득할 수 있다.
복수의 특징 맵은, 이미지에 포함된 복수의 구성 요소에 대응되는 복수의 특징 맵을 포함할 수 있다. 예컨대, 복수의 특징 맵은, 안구 이미지에 포함된 혈관 요소에 대응되는 제1 특징 맵 및 안구 이미지에 포함되는 황반 요소에 대응되는 제2 특징 맵을 포함할 수 있다.
특징 세트는, 안구 이미지에 포함된 복수의 요소에 대응되는 복수의 특징 값을 포함할 수 있다. 예컨대, 복수의 특징 값은 안구 이미지에 포함된 혈관 요소에 대응되는 제1 특징 값 및 안구 이미지에 포함되는 황반 요소에 대응되는 제2 특징 값을 포함할 수 있다.
제1 개별 부분 또는 제2 개별 부분은 공통 부분에 의하여 획득되는 하나 이상의 특징값 또는 하나 이상의 특징 맵에 기초하여 제1 진단 보조 정보 또는 제2 진단 보조 정보를 획득할 수 있다.
제1 개별 부분은 공통 부분으로부터 획득된 특징 세트 중 적어도 일부에 기초하여 제1 진단 보조 정보를 획득할 수 있다. 제1 개별 부분은 공통 부분으로부터 획득된 특징 세트에 기초하여 제1 진단 보조 정보를 획득하도록 학습될 수 있다.
제2 개별 부분은 공통 부분에 의해 추출된 특징 세트 중 적어도 일부에 기초하여 제2 진단 보조 정보를 획득할 수 있다. 제2 개별 부분은 공통 부분으로부터 획득된 특징 세트에 기초하여 제2 진단 보조 정보를 획득하도록 학습될 수 있다.
제1 개별 부분 또는 제2 개별 부분은 하나 이상의 신경망 레이어를 포함할 수 있다.
제1 개별 부분 또는 제2 개별 부분은 공통 부분에 의해 추출된 특징 세트를 입력값으로 하고 제1 진단 보조 정보 또는 제2 진단 보조 정보를 출력하는 출력 레이어를 포함할 수 있다. 제1 개별 부분 또는 제2 개별 부분은 입력 레이어와 출력 레이어 사이에 적어도 하나의 중간층(또는 은닉층)을 가질 수 있다.
제1 개별 부분 또는 제2 개별 부분은 완전 연결(fully connected) 레이어를 포함할 수 있다. 제1 개별 부분 또는 제2 개별 부분은 적어도 하나의 합성곱 레이어 또는 풀링 레이어를 포함할 수 있다.
제1 개별 부분과 제2 개별 부분은 서로 다른 계층 구조를 가질 수 있다. 예컨대, 제1 개별 부분에 포함되는 레이어의 수와 제2 개별 부분에 포함되는 레이어의 수는 다를 수 있다. 또는, 제1 개별 부분에 포함되는 레이어의 노드 수와 제2 개별 부분에 포함되는 레이어의 노드 수는 상이할 수 있다. 제1 개별 부분에 포함되는 특정 레이어의 노드 수와 제2 개별 부분에 포함되는 레이어 중 제1 개별 부분의 특정 레이어에 대응되는 레이어의 노드 수는 상이할 수 있다.
도 32는 본 명세서에서 설명하는 진단 보조 신경망 모델의 일 실시예를 설명하기 위한 도면이다. 도 31에서 예시하는 진단 보조 신경망 모델은 도 32에서와 예시하는 바와 같이 구현될 수 있다.
도 32를 참조하면, 진단 보조 신경망 모델은, 제1 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델 및 제2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델을 포함할 수 있다.
제1 진단 보조 신경망 모델은 입력 데이터(예컨대, 안구 이미지)에 기초하여 제1 진단 보조 정보를 획득할 수 있다. 제2 진단 보조 신경망 모델은 입력 데이터에 기초하여 제2 진단 보조 정보를 획득할 수 있다.
제1 진단 보조 신경망 모델은 공통 부분 및 제1 개별 부분을 포함할 수 있다. 제2 진단 보조 신경망 모델은 공통 부분 및 제2 개별 부분을 포함할 수 있다.
제1 진단 보조 신경망의 및 제2 진단 보조 신경망은 서로 공통되는 공통 부분을 가질 수 있다. 제1 진단 보조 신경망의 공통 부분 및 제2 진단 보조 신경망의 공통 부분은 적어도 하나의 합성곱 신경망을 포함하고, 안구 이미지에 기초하여 복수의 특징을 추출할 수 있다.
제1 진단 보조 신경망의 공통 부분 및 제2 진단 보조 신경망의 공통 부분은 서로 같은 계층 구조를 가지는 신경망 모델일 수 있다. 제1 진단 보조 신경망 모델의 공통 부분 및 제2 진단 보조 신경망 모델의 공통 부분은 동일한 계층 구조 및 가중치를 가질 수 있다. 또는, 제1 진단 보조 신경망 모델의 공통 부분 및 제2 진단 보조 신경망 모델의 공통 부분은 동일한 계층 구조를 가지나, 각 노드의 가중치는 다르게 마련될 수 있다.
제2 진단 보조 신경망의 공통 부분은 제1 진단 보조 신경망의 공통 부분을 전이(transfer)하여 마련될 수 있다. 제2 진단 보조 신경망의 공통 부분은 제1 진단 보조 신경망의 공통 부분을 파인 튜닝 전이하여 마련될 수 있다. 제2 진단 보조 신경망의 공통 부분은 제1 진단 보조 신경망의 공통 부분을 선학습(pre-trained)된 모델로 이용하고, 제1 진단 보조 신경망의 공통 부분과 동일한 가중치를 가질 수 있다. 제2 진단 보조 신경망의 공통 부분은 제1 진단 보조 신경망의 공통 부분의 일부 레이어를 재사용하거나, 도메인 어댑테이션 하여 마련될 수 있다.
제1 진단 보조 신경망의 제1 개별 부분 및 제2 진단 보조 신경망의 제2 개별 부분은 서로 다른 계층 구조를 가질 수 있다. 제1 개별 부분 및 제2 개별 부분은 레이어의 수, 노드의 수 또는 가중치 값 등이 상이할 수 있다.
도 33은 본 명세서에서 설명하는 진단 보조 신경망 모델의 일 실시예를 설명하기 위한 도면이다.
도 33을 참조하면, 일 실시예에 따른 진단 보조 신경망 모델은, 복수의 합성곱 신경망 레이어를 포함하는 공통 부분 및 전연결 레이어를 포함하는 개별 부분을 포함할 수 있다.
공통 부분은 입력 레이어(L11)를 포함할 수 있다. 공통 부분은 입력 레이어(L1)에 제1 합성곱 필터를 적용하여 획득된 제1 합성곱 레이어(L12)를 포함할 수 있다. 공통 부분은 제1 합성곱 레이어(L12)에 제2 합성곱 필터를 적용하여 획득된 제2 합성곱 레이어(L3)를 포함할 수 있다. 공통 부분은 제2 합성곱 레이어(L13)에 제3 합성곱 필터를 적용하여 획득된 제3 합성곱 레이어(L14)를 포함할 수 있다. 제1 내지 제3 합성곱 레이어는 직전 레이어에 합성곱 필터 및 풀링(e.g., max pooling)을 적용하여 획득될 수 있다. 도 33에서는 3개의 합성곱 레이어를 예시하였지만, 진단 보조 신경망 모델은 이보다 많거나 적은 합성곱 레이어를 포함할 수 있다.
도 33을 참조하면, 개별 부분은 제1 진단 보조 정보를 획득하는 제1 개별 부분 및 제2 진단 보조 정보를 획득하는 제2 개별 부분을 포함할 수 있다. 제1 개별 부분은 공통 부분의 최종 레이어, 본 예시에서는 제3 합성곱 레이어(L14)에 기초하여, 제1 개별 합성곱 필터를 적용하여 획득된 제1 개별 레이어(L15)를 포함할 수 있다. 제1 개별부분은, 제1 개별 레이어(L15)를 플래튼하여 획득된 제2 개별 레이어(L16)를 포함할 수 있다. 제1 개별 부분은 제2 개별 레이어(L16)와 전연결되고 제2 개별 레이어(L16)와 동일한 노드 수를 가지는 제3 개별 레이어(L17)를 포함할 수 있다. 제1 개별 부분은 제3 개별 레이어(L17)와 전연결되고 제3 개별 레이어(L17)보다 적은 수의 노드를 가지는 제4 개별 레이어(L18)를 포함할 수 있다. 제1 개별 부분은 제4 개별 레이어(L18)와 전연결된 출력 레이어(L19)를 포함할 수 있다.
도 33를 참조하면, 제2 개별 부분은 제1 개별 부분과 유사한 형태로 구현될 수 있다. 도33에서는 제1 개별 부분 및 제2 개별 부분이 유사한 계층 구조를 가지는 경우를 기준으로 도시하였으나, 각 개별 부분은 서로 다른 구조로 설계될 수 있다. 제2 개별 부분은, 제1 개별 부분과 상이한 레이어 수, 노드 수, 가중치 또는 출력 형태를 가지도록 구현될 수 있다.
진단 보조 신경망 모델에 포함되는 개별 부분은, 도 33에서 예시하는 것 보다 많거나 적은 수의 합성곱 레이어 또는 전연결 레이어를 포함할 수 있다. 개별 부분은, 도 33에서 예시하는 것 보다 많거나 적은 수의 노드를 가지는 출력 레이어를 포함할 수 있다.
일 실시예에 따르면, 진단 보조 신경망 모델은 공통 부분, 제1 개별 부분 및 제2 개별 부분을 포함하는 하나의 신경망 모델로 마련될 수 있다. 또는, 진단 보조 신경망 모델은, 공통 부분 및 제1 개별 부분을 포함하는 제1 진단 보조 신경망 모델과 공통 부분 및 제2 개별 부분을 포함하는 제2 진단 보조 신경망 모델을 포함하는 제2 진단 보조 신경망 모델로 마련될 수 있다.
도 33에서는, 공통 부분은 합성곱 신경망 레이어를 포함하고 개별 부분은 전연결 레이어를 포함하는 경우를 기준으로 설명하였으나, 본 명세서에서 설명하는 진단 보조 신경망 모델이 이에 한정되지는 아니한다. 예컨대, 공통 부분이 전연결 레이어를 포함하거나, 개별 부분이 합성곱 신경망을 포함할 수도 있다.
2.1.2 제2 타입 복수 정보 획득 모델
일 실시예에 따르면, 개별 부분은 공통 부분의 앞에 위치될 수도 있다. 서로 다른 진단 보조 정보의 예측에, 안구 이미지의 다른 특징 이용이 요구되는 경우 공통 부분의 앞에 위치된 개별 부분이 이용될 수 있다. 또는, 안구 이미지의 서로 다른 특징 추출이 요구되는 경우, 공통 부분의 앞에 복수의 개별 부분이 위치되는 진단 보조 신경망 모델이 이용될 수 있다.
도 34는 본 명세서에서 설명하는 진단 보조 신경망 모델의 다른 일 실시예를 설명하기 위한 도면이다. 도 34를 참조하면, 일 실시예에 따른 진단 보조 신경망 모델은, 개별 부분 사이에 위치된 공통 부분을 포함할 수 있다.
도 34를 참조하면, 진단 보조 신경망 모델은 안구 이미지를 입력 데이터로 하여 제1 특징 세트를 획득하는 제1 공통 부분, 제1 특징 세트에 기초하여 제2 특징 세트를 획득하는 제1 개별 부분, 제1 특징 세트에 기초하여 제3 특징 세트를 획득하는 제2 개별 부분, 제2 특징 세트 및/또는 제3 특징 세트에 기초하여 제4 특징 세트를 획득하는 제2 공통 부분, 제4 특징 세트에 기초하여 제1 진단 보조 정보를 획득하는 제3 개별 부분 및 제4 특징 세트에 기초하여 제2 진단 보조 정보를 획득하는 제4 개별 부분을 포함할 수 있다. 제1 내지 제4 특징 세트는 적어도 하나의 2차원 특징 맵 또는 적어도 하나의 특징 값들을 포함할 수 있다. 일 실시예에 따른 진단 보조 신경망 모델은, 도 34에서 예시하는 공통 부분 및 개별 부분이 반복되는 구조를 포함할 수 있다. 다른 일 실시예에 따르면, 제1 공통 부분은 생략될 수 있다.
제1 공통 부분은, 안구 이미지에 기초하여 적어도 하나의 특징을 포함하는 제1 특징 세트를 획득할 수 있다. 제1 공통 부분은 적어도 하나의 합성곱 신경망 레이어를 포함하고, 제1 특징 세트는 적어도 하나의 특징 맵을 포함할 수 있다. 제1 특징 세트는 제1 진단 보조 정보와 관련된 특징 세트일 수 있다.
제1 개별 부분 및 제2 개별 부분은 적어도 하나의 합성곱 신경망 레이어를 포함할 수 있다. 제1 개별 부분 및 제2 개별 부분은 동일한 안구 이미지를 입력으로 하고, 서로 다른 특징 세트를 획득할 수 있다.
제1 개별 부분 및 제2 개별 부분은 서로 다른 계층 구조를 가질 수 있다. 제1 개별 부분 및 제2 개별 부분은 서로 다른 노드 수, 레이어 수, 가중치 또는 합성곱 필터를 가질 수 있다.
제1 개별 부분 및 제2 개별 부분은 적어도 일부 공통되는 입력 데이터에 기초하여 서로 다른 특징을 추출할 수 있다. 예컨대, 제1 개별 부분은 제1 공통 부분에 의해 획득되는 제1 특징 세트에 기초하여 제2 특징 세트를 획득하고, 제2 개별 부분은, 제1 특징 세트에 기초하여 제3 특징 세트를 획득할 수 있다. 제2 특징 세트 및 제3 특징 세트는 동종의 특징 세트일 수 있다.
일 실시예에 따르면, 제1 공통 부분은 생략되고, 제1 개별 부분 및 제2 개별 부분은 서로 다른 입력 데이터에 기초하여 특징을 추출할 수 있다. 제1 개별 부분 및 제2 개별 부분은 서로 다른 전처리가 수행된 안구 이미지에 기초하여 특징을 추출할 수 있다. 예컨대, 제1 개별 부분은 안구 이미지에 기초하여 제2 특징을 추출하고, 제2 개별 부분은 혈관이 강조된 안구 이미지에 기초하여 제3 특징을 추출할 수 있다. 일 실시예에 따르면, 제1 공통 부분은 생략되고, 제1 개별 부분은 안구 이미지에 기초하여 제2 특징을 추출하고, 제2 개별 부분은 혈관이 강조된 안구 이미지에 기초하여 제3 특징을 추출할 수 있다.
제2 특징 세트는 제1 진단 보조 정보와 관련된 특징 세트일 수 있다. 제3 특징 세트는 제2 진단 보조 정보와 관련된 특징 세트일 수 있다.
제2 공통 부분은 제1 특징 세트 및/또는 제2 특징 세트에 기초하여 제4 특징 세트를 추출할 수 있다. 제4 특징 세트는 제1 진단 보조 정보 및/또는 제2 진단 보조 정보에 관련된 특징 세트일 수 있다.
제3 개별 부분 및 제4 개별 부분은 제4 특징 세트에 적어도 일부 기초하여 진단 보조 정보를 획득할 수 있다. 제3 개별 부분 및 제4 개별 부분은 서로 다른 계층 구조를 가질 수 있다. 제3 개별 부분 및 제4 개별 부분은 서로 다른 노드 수, 레이어 수, 가중치 또는 합성곱 필터를 가질 수 있다.
도 35는, 본 명세서에서 설명하는 진단 보조 신경망 모델의 일 실시예를 설명하기 위한 도면이다. 도 34에서 예시하는 진단 보조 신경망 모델은 도 35에서와 예시하는 바와 같이 구현될 수 있다.
도 35를 참조하면, 진단 보조 신경망 모델은, 제1 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델 및 제2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델을 포함할 수 있다.
제1 진단 보조 신경망 모델은 제1 공통 부분, 제1 개별 부분, 제2 공통 부분 및 제3 개별 부분을 포함할 수 있다. 제2 진단 보조 신경망 모델은 제2 개별 부분, 공통 부분 및 제4 개별 부분을 포함할 수 있다. 각 개별 부분 및 각 공통 부분에 대하여는 도 34와 관련하여 전술한 내용이 유사하게 적용될 수 있다.
제1 진단 보조 신경망 모델의 각 공통 부분 및 제2 진단 보조 신경망 모델의 각 공통 부분은 동일한 계층 구조를 가질 수 있다. 제1 진단 보조 신경망 모델의 각 공통 부분 및 제2 진단 보조 신경망 모델의 각 공통 부분은 동일한 계층 구조를 가지고 함께 학습된 동일(identical) 레이어들을 포함할 수 있다. 또는, 제1 진단 보조 신경망 모델의 공통 부분 및 제2 진단 보조 신경망 모델의 공통 부분은 동일 계층 구조를 가지고 각각 따로 학습되어 마련될 수도 있다.
제2 진단 보조 신경망의 공통 부분은 제1 진단 보조 신경망의 공통 부분을 전이(transfer)하여 마련될 수 있다. 제2 진단 보조 신경망의 공통 부분은 제1 진단 보조 신경망의 공통 부분을 파인 튜닝하거나, 선학습(pre-trained) 모델로 이용하거나, 일부 레이어를 재사용하거나, 도메인 어댑테이션 하여 마련될 수 있다.
도 36은 본 명세서에서 설명하는 진단 보조 신경망 모델의 보다 구체적인 일 실시예를 설명하기 위한 도면이다. 도 34에서 예시하는 진단 보조 신경망 모델은 도 36에서 예시하는 바와 같이 구현될 수 있다. 도 36에서 설명하는 진단 보조 신경망 모델은, 특별한 설명이 없는 한 도 34과 유사하게 구현될 수 있다.
도 36을 참조하면, 진단 보조 신경망 모델은, 제1 공통 부분, 제1 개별 부분, 제2 개별 부분, 제2 공통 부분, 제3 개별 부분 및 제4 개별 부분을 포함할 수 있다. 제1 개별 부분 및 제2 개별 부분은 제1 공통 부분 후 및 제2 공통 부분 전에 위치되고, 제3 개별 부분 및 제4 개별 부분은 제2 공통 부분 후에 위치될 수 있다. 도 36을 참조하면, 제1 특징 세트, 제2 특징 세트 및 제3 특징 세트는 각각 합성곱 필터를 통하여 획득된 복수의 특징 맵일 수 있다.
도 36을 참조하면, 제1 공통 부분은, 입력 레이어인 Lc11 레이어, Lc11 레이어에 제1 합성곱 필터를 적용하여 획득되는 Lc12 레이어를 포함할 수 있다. 제1 개별 부분은 제11a 레이어(L11a) 및 제11a 레이어에 제2 합성곱 필터를 적용하여 획득된 제12a 레이어(L12a), 제12a 레이어에 제3 합성곱 필터를 적용하여 획득된 13a 레이어(L13a)를 포함할 수 있다. 도 36을 참조하면, 제2 개별 부분은 21a 레이어(L21a), 제21a 레이어에 제4 합성곱 필터를 적용하여 획득된 22a 레이어(L22a) 및 제22a 레이어에 제5 합성곱 필터를 적용하여 획득된 23a 레이어(L23a)를 포함할 수 있다. 각 개별 부분은 도 34에서 예시하는 것보다 많거나 적은 수의 합성곱 레이어를 포함할 수 있다.
도 34를 참조하면, 제2 공통 부분은 제1 개별 부분에 의해 획득된 제1 특징 맵 세트 및/또는 제2 개별 부분에 의해 획득된 제2 특징 맵 세트를 입력으로 하여 제4 특징 세트를 획득할 수 있다. 도 34의 예시를 참조하면, 제4 특징 세트는 복수의 특징 값일 수 있다.
도 36을 참조하면, 공통 부분은 제13a 레이어(L13a) 및 제23a 레이어(L23a)에 기초하여 획득되고 복수의 특징 맵을 포함하는 제1 공통 레이어(Lc1) 및 제1 공통 레이어(Lc1)에 기초하여 획득되고 복수의 특징 값을 포함하는 제2 공통 레이어(Lc2), 제2 공통 레이어(Lc2)의 각 노드들과 전연결된 전연결 레이어인 제3 공통 레이어(Lc3) 및 제3 공통 레이어(Lc3)의 각 노드들과 전연결된 제4 공통 레이어(Lc4)를 포함할 수 있다. 공통 부분은 도 34에서 예시하는 것보다 많거나 적은 수의 레이어 또는 노드를 포함할 수 있다.
제3 개별 부분은 제3 특징 세트에 기초하여 제1 진단 보조 정보를 획득할 수 있다. 제4 개별 부분은 제3 특징 세트에 기초하여 제1 진단 보조 정보와 다른 제2 진단 보조 정보를 획득할 수 있다. 도 36을 참조하면, 제3 개별 부분 및 제4 개별 부분은 공통 부분에 의해 획득된 복수의 특징 값을 포함하는 입력에 기초하여 복수의 전연결 레이어를 포함하는 신경망을 통하여 진단 보조 정보를 획득할 수 있다.
도 36을 참조하면, 제3 개별 부분은 제4 공통 레이어 (Lc4)에 기초하여 획득된 제11b 레이어(L11b), 제11b 레이어(L11b)와 전연결된 은닉 레이어인 제12b 레이어(L12b), 제12b 레이어(L12b)와 전연결된 은닉 레이어인 제13b 레이어(L13b), 제13b 레이어(L13b)와 전연결된 은닉 레이어인 제14b 레이어(L14b) 및 제14b 레이어(L14b)와 연결된 출력 레이어인 제15b 레이어(L15b)를 포함할 수 있다. 도 36을 참조하면, 제4 개별 부분은 제4 공통 레이어 (Lc4)에 기초하여 획득된 제21b 레이어(L21b), 제21b 레이어(L21b)와 전연결된 은닉 레이어인 제22b 레이어(L22b), 제22b 레이어(L22b)와 전연결된 은닉 레이어인 제23b 레이어(L23b), 제23b 레이어(L23b)와 전연결된 은닉 레이어인 제24b 레이어(L24b) 및 제24b 레이어(L24b)와 연결된 출력 레이어인 제25b 레이어(L25b)를 포함할 수 있다. 각 개별 부분은 도 36에서 예시하는 것보다 많거나 적은 수의 합성곱 레이어를 포함할 수 있다.
2.1.3 제3 타입 복수 정보 획득 모델
도 37은 본 명세서에서 설명하는 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다. 도 37을 참조하면, 일 실시예에 따른 진단 보조 신경망 모델은 제1 진단 보조 정보, 제2 진단 보조 정보 및 제3 진단 보조 정보를 획득할 수 있다.
도 37을 참조하면, 일 실시예에 따른 진단 보조 신경망 모델은, 안구 이미지에 기초하여 제1 특징 세트를 획득하는 제1 공통 부분, 제1 특징 세트에 적어도 일부 기초하여 제2 특징 세트를 획득하는 제2 공통 부분, 제2 특징 세트에 적어도 일부 기초하여 제1 진단 보조 정보를 획득하는 제1 개별 부분, 제2 특징 세트에 적어도 일부 기초하여 제2 진단 보조 정보를 획득하는 제2 개별 부분 및 제1 특징 세트에 적어도 일부 기초하여 제3 진단 보조 정보를 획득하는 제3 개별 부분을 포함할 수 있다.
제1 공통 부분은 안구 이미지를 획득하고, 적어도 하나의 합성곱 신경망 레이어를 통하여 제1 특징 세트를 획득할 수 있다. 제1 특징 세트는 복수의 특징 맵 또는 특징 값들을 포함할 수 있다. 제1 공통 부분은 제1, 제2 및 제3 진단 보조 정보에 연관된 복수의 레이어를 포함할 수 있다.
제2 공통 부분은 제1 특징 세트의 적어도 일부에 기초하고, 적어도 하나의 합성곱 신경망 레이어 또는 적어도 하나의 전연결 레이어를 통하여 제2 특징 세트를 획득할 수 있다. 예컨대, 제1 특징 세트가 복수의 특징 맵을 포함하는 경우 제2 공통 부분은 적어도 하나의 합성곱 신경망 레이어를 포함하고 제2 특징 세트를 획득할 수 있다. 예컨대, 제1 특징 세트가 복수의 특징 값들을 포함하는 경우 제2 공통 부분은 적어도 하나의 전연결 레이어를 포함하고 제2 특징 세트를 획득할 수 있다. 제2 특징 세트는 복수의 특징 맵 또는 복수의 특징 값들을 포함할 수 있다. 제2 공통 부분은 제1 및 제2 진단 보조 정보에 연관된 복수의 레이어를 포함할 수 있다.
제1 공통 부분은 안구 이미지에 기초하여 복수의 특징 맵 또는 복수의 특징 값을 포함하는 제1 특징 세트를 획득할 수 있다. 제1 특징 세트는 안구 이미지에 포함된 복수의 구성 요소에 대응되는 복수의 특징 맵을 포함할 수 있다. 예컨대, 제1 특징 세트는, 안구 이미지에 포함된 혈관 요소에 대응되는 제1 특징 맵 및 안구 이미지에 포함되는 황반 요소에 대응되는 제2 특징 맵을 포함할 수 있다. 제1 특징 세트는 안구 이미지에 포함된 복수의 요소에 대응되는 복수의 특징 값을 포함할 수도 있다. 예컨대, 제1 특징 세트는 안구 이미지에 포함된 혈관 요소에 대응되는 제1 특징 값 및 안구 이미지에 포함되는 황반 요소에 대응되는 제2 특징 값을 포함할 수 있다.
제2 공통 부분은 안구 이미지에 기초하여 복수의 특징 맵 또는 복수의 특징 값을 포함하는 제2 특징 세트를 획득할 수 있다. 제2 특징 세트는 안구 이미지에 포함된 복수의 구성 요소에 대응되는 복수의 특징 맵을 포함할 수 있다. 또는, 제2 특징 세트는, 제1 특징 세트에 포함되는 특징 맵 또는 특징 값이 대응되는 요소보다 구체화된 요소에 대응되는 특징 맵 또는 특징 값을 포함할 수 있다. 예컨대, 제2 특징 세트는 안구 이미지에 포함되는 드루젠에 대응되는 제1 특징 맵(또는 제1 특징 값) 및 안구 이미지에 포함되는 황반 변성에 대응되는 제2 특징 맵(또는 제2 특징 값)을 포함할 수 있다.
제1 개별 부분은 제2 특징 세트의 적어도 일부에 기초하고, 적어도 하나의 합성곱 신경망 레이어 또는 적어도 하나의 전연결 레이어를 통하여 제1 진단 보조 정보를 획득할 수 있다. 예컨대, 제2 특징 세트가 복수의 특징 맵을 포함하는 경우 제1 개별 부분은 적어도 하나의 합성곱 신경망 레이어 및 적어도 하나의 전연결 레이어를 통하여 제1 진단 보조 정보를 획득할 수 있다. 제2 특징 세트가 복수의 특징 값을 포함하는 경우, 제1 개별 부분은 적어도 하나의 전연결 레이어를 통하여 제1 진단 보조 정보를 획득할 수 있다.
제2 개별 부분은 제2 특징 세트의 적어도 일부에 기초하고, 적어도 하나의 합성곱 신경망 레이어 또는 적어도 하나의 전연결 레이어를 통하여 제2 진단 보조 정보를 획득할 수 있다. 예컨대, 제2 특징 세트가 복수의 특징 맵을 포함하는 경우 제2 개별 부분은 적어도 하나의 합성곱 신경망 레이어 및 적어도 하나의 전연결 레이어를 통하여 제2 진단 보조 정보를 획득할 수 있다. 제2 특징 세트가 복수의 특징 값을 포함하는 경우, 제2 개별 부분은 적어도 하나의 전연결 레이어를 통하여 제2 진단 보조 정보를 획득할 수 있다.
제2 진단 보조 정보는 제1 진단 보조 정보와 다른 진단 보조 정보일 수 있다. 제2 진단 보조 정보는 제1 진단 보조 정보와 동일한 질병에 대한 다른 형식의 진단 보조 정보일 수 있다. 예컨대, 제1 진단 보조 정보는 특정 안질환에 대한 유무 정보이고, 제2 진단 보조 정보는 특정 안질환에 대한 스코어 정보일 수 있다. 또 예컨대, 제1 진단 보조 정보는 특정 뇌심혈관 질환에 대한 유무 정보이고, 제2 진단 보조 정보는 특정 뇌심혈관 질환과 관련된 스코어(예컨대, 관상동맥 칼슘 스코어)일 수 있다.
제3 개별 부분은 제1 특징 세트에 적어도 일부 기초하고, 적어도 하나의 합성곱 신경망 레이어 및/또는 적어도 하나의 전연결 레이어를 통하여 제3 진단 보조 정보를 획득할 수 있다. 예컨대, 제3 개별 부분은, 제1 특징 세트가 복수의 특징 맵을 포함하는 경우 적어도 하나의 합성곱 신경망 레이어를 통하여 제3 진단 보조 정보를 획득하고, 제1 특징 세트가 복수의 특징 값들을 포함하는 경우 적어도 하나의 전연결 레이어를 통하여 제3 진단 보조 정보를 획득할 수 있다.
제3 진단 보조 정보는 제1 진단 보조 및 제2 진단 보조 정보와 다른 진단 보조 정보일 수 있다. 제3 진단 보조 정보는 제1 진단 보조 정보 및 제2 진단 보조 정보와 다른 군(group)에 속하는 진단 보조 정보일 수 있다. 예컨대, 제1 "G 제2 진단 보조 정보는 안질환에 관련된 진단 보조 정보이고 제3 진단 보조 정보는 비-안질환(예컨대, 전신 질환 또는 뇌심혈관 질환)에 관련된 진단 보조 정보일 수 있다.
진단 보조 신경망 모델은, 서로 연관된 진단 보조 정보의 경우, 각 진단 보조 정보와 연관된 레이어의 공통 부분이 더 많도록 설계될 수 있다. 다시 말해, 제1 진단 보조 정보 및 제2 진단 보조 정보가 서로 연관되고, 제3 진단 보조 정보는 제1 또는 제2 진단 보조 정보와 연관성이 상대적으로 적을 수 있다. 이때, 제1 진단 보조 정보와 연관된 레이어들 및 제2 진단 보조 정보와 연관된 레이어들의 공통 부분은, 제1 또는 제2 진단 보조 정보와 연관된 레이어들과 제3 진단 보조 정보와 연관된 레이어들의 공통 부분보다 많은 수의 레이어를 포함할 수 있다. 도 37을 참조하면, 제1, 제2 및 제3 진단 보조 정보 모두와 연관되는 공통 부분은 제1 공통 부분이고, 서로 연관된 제1 및 제2 진단 보조 정보와 연관되는 공통 부분은 제1 공통 부분 및 제2 공통 부분일 수 있다.
한편, 도 37에서는 진단 보조 신경망 모델에 의하여 제1 내지 제3 진단 보조 정보가 획득되는 실시예를 기준으로 설명하였으나, 본 명세서에서 설명하는 발명에 따르면, 도 37에서 예시하는 것보다 많은 진단 보조 정보를 획득하는 진단 보조 신경망 모델이 제공될 수 있다.
일 실시예에 따르면, 진단 보조 신경망 모델에 의해 예측되는 복수의 진단 보조 정보는 그 연관성에 따라 분류(group)될 수 있다. 예컨대, 복수의 진단 보조 정보는 제1 그룹 및 제2 그룹을 포함할 수 있다. 제1 그룹은 제1 진단 보조 정보 및 제2 진단 보조 정보를 포함하고, 제2 그룹은 제3 진단 보조 정보 및 제4 진단 보조 정보를 포함할 수 있다.
각 그룹에 포함되는 진단 보조 정보는 상호 연관성을 가질 수 있다. 예컨대, 제1 그룹에 포함되는 제1 진단 보조 정보 및 제2 진단 보조 정보는 제1 질병에 관련된 진단 보조 정보이고, 제2 그룹에 포함되는 제3 진단 보조 정보 및 제4 진단 보조 정보는 제1 질병과 다른 제2 질병에 관련된 진단 보조 정보일 수 있다. 예컨대, 제1 그룹에 포함되는 진단 보조 정보는 안질환과 관련된 진단 보조 정보이고, 제2 그룹에 포함되는 진단 보조 정보는 전실 진환(또는 뇌심혈관 질환)과 관련된 진단 보조 정보일 수 있다.
도 38은 본 명세서에서 설명하는 발명의 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다. 일 실시예에 따르면, 도 37에서 예시하는 진단 보조 신경망 모델은 도 38에서와 예시하는 바와 같이 구현될 수 있다.
도 38을 참조하면, 본 명세서에서 설명하는 발명의 일 실시예에 따르면, 제1 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델, 제2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델 및 제3 진단 보조 정보를 획득하는 제3 진단 보조 신경망 모델이 제공될 수 있다.
제1 진단 보조 신경망 모델은 안구 이미지를 획득하고 제1 특징 세트를 추출하는 제1 공통 부분, 제1 특징 세트에 기초하여 제2 특징 세트를 추출하는 제2 공통 부분 및 제2 특징 세트에 기초하여 제1 진단 보조 정보를 추출하는 제1 개별 부분을 포함할 수 있다.
제2 진단 보조 신경망 모델은 안구 이미지를 획득하고 제1 특징 세트를 추출하는 제1 공통 부분, 제1 특징 세트에 기초하여 제2 특징 세트를 추출하는 제2 공통 부분 및 제2 특징 세트에 기초하여 제2 진단 보조 정보를 추출하는 제2 개별 부분을 포함할 수 있다.
제3 진단 보조 신경망 모델은 안구 이미지를 획득하고 제1 특징 세트를 획득하는 제1 공통 부분, 제1 특징 세트에 기초하여 제3 진단 보조 정보를 획득하는 제3 개별 부분을 포함할 수 있다.
제1 내지 제3 진단 보조 신경망 모델의 제1 공통 부분은 서로 동일한 레이어들을 포함할 수 있다. 각 제1 공통 부분은 동일한 계층 구조 및/또는 가중치 값들을 가질 수 있다. 각 제1 공통 부분은 동일한 계층 구조를 가지고 따로 학습되어 마련될 수 있다. 제1 및 제2 진단 보조 신경망 모델의 제2 공통 부분은 서로 동일한 레이어들을 포함할 수 있다. 각 제2 공통 부분은 동일한 계층 구조 및/또는 가중치 값들을 가질 수 있다.
제2 및 제3 진단 보조 신경망 모델의 제1 공통 부분은 제1 진단 보조 신경망(또는 제3 진단 보조 신경망)의 제1 공통 부분을 전이(transfer)하여 마련될 수 있다. 제2 및 제3 진단 보조 신경망 모델의 제1 공통 부분은 제1 진단 보조 신경망(또는 제3 진단 보조 신경망)의 제1 공통 부분을 파인 튜닝하거나, 선학습(pre-trained) 모델로 이용하거나, 일부 레이어를 재사용하거나, 도메인 어댑테이션 하여 마련될 수 있다.
제2 진단 보조 신경망 모델의 제2 공통 부분은 제1 진단 보조 신경망의 제2 공통 부분을 전이(transfer)하여 마련될 수 있다. 제2 진단 보조 신경망 모델의 제2 공통 부분은 제1 진단 보조 신경망의 제2 공통 부분을 파인 튜닝하거나, 선학습(pre-trained) 모델로 이용하거나, 일부 레이어를 재사용하거나, 도메인 어댑테이션 하여 마련될 수 있다.
도 39는은 본 명세서에서 설명하는 발명의 일 실시예에 따른 진단 보조 신경망 모델의 보다 상세한 예시를 설명하기 위한 도면이다. 도 39에서 예시하는 진단 보조 신경망 모델에 대하여, 특별한 설명이 없는 한 도 37 내지 38에서 예시한 내용이 유사하게 적용될 수 있다. 이하에서는, 제2 공통 부분을 중심으로 설명한다.
도 39를 참조하면, 일 실시예에 따른 진단 보조 신경망 모델은 제1 공통 부분, 제2 공통 부분, 제1 개별 부분, 제2 개별 부분 및 제3 개별 부분을 포함할 수 있다.
제1 공통 부분은 안구 이미지에 따른 입력 레이어인 제11 공통 레이어(Lc11), 제11 공통 레이어(Lc11)에 제1 합성곱 필터를 적용하여 획득되는 제12 공통 레이어(Lc12), 제12 공통 레이어(Lc12)에 제2 합성곱 필터를 적용하여 획득되는 제13 공통 레이어(Lc13) 및 제12 공통 레이어(Lc12)에 제3 합성곱 필터를 적용하여 획득되는 제14 공통 레이어(Lc14)를 포함할 수 있다. 제14 공통 레이어(Lc14)는 제1 특징 세트를 제공할 수 있다.
제2 공통 부분은 제14 공통 레이어(Lc14)로부터 특징 세트(도 39의 예시에서는 복수의 특징 맵)를 획득하는 제21 공통 레이어(Lc21) 및 제21 공통 레이어(Lc21)에 기초하여 획득되는 제22 공통 레이어(Lc22)를 포함할 수 있다. 제22 공통 레이어(Lc22)는 제2 특징 세트를 제공할 수 있다.
제1 개별 부분은 제1 특징 세트에 기초하여 제1 진단 보조 정보를 획득할 수 있다. 제1 개별 부분은 제1 특징 세트에 기초하여 복수의 특징 값을 획득하는 플래튼 레이어 및 복수의 전연결 레이어를 포함하고 제1 진단 보조 정보를 획득할 수 있다. 제2 개별 부분은 제2 특징 세트에 기초하여 제2 진단 보조 정보를 획득할 수 있다. 제2 개별 부분은 제2 특징 세트에 기초하여 복수의 특징 값을 획득하는 플래튼 레이어 및 복수의 전연결 레이어를 포함하고 제2 진단 보조 정보를 획득할 수 있다. 제2 개별 부분은 제2 특징 세트에 기초하여 제2 진단 보조 정보를 획득할 수 있다. 제3 개별 부분은 제2 특징 세트에 기초하여 복수의 특징 값을 획득하는 플래튼 레이어 및 복수의 전연결 레이어를 포함하고 제3 진단 보조 정보를 획득할 수 있다. 각 개별 부분의 구성에 대하여는 도 39와 관련하여 전술한 내용이 유사하게 적용될 수 있다.
각 공통 부분 및 각 개별 부분은 도 39에서 예시하는 것 보다 많거나 적은 수의 레이어 또는 노드를 포함할 수 있다. 각 공통 부분 또는 개별 부분을 구성하는 레이어는 다른 부분에 포함될 수 있다.
한편 도 31 내지 39에서 예시하는 형태 외에도, 복수의 진단 보조 정보를 예측하는 다양한 형태의 진단 보조 신경망 모델이 구현될 수 있다. 예컨대, 본 명세서에서 설명하는 발명에 의하면, 복수의 공통 부분, 공통 부분 앞에 위치되는 개별 부분 및 공통 부분 뒤에 위치되는 개별 부분을 가지는 진단 보조 신경망 모델이 이용될 수도 있다.
도 69는 일 실시예에 따른 진단 보조 신경망 장치를 설명하기 위한 도면이다. 도 69를 참조하면, 진단 보조 신경망 장치는, 입력 데이터를 획득하고, 제1 공통 부분, 제1 개별 부분 및 제2 개별 부분을 통하여 제1 진단 보조 정보 및 제2 진단 보조 정보를 획득할 수 있다.
일 실시예에 따르면, 적어도 하나의 신경망 레이어를 포함하는 신경망 모델을 이용하고 안구 이미지에 기초하여 진단 보조 정보를 획득하는 진단 보조 장치에 있어서, 피검체의 안구로부터 획득된 대상 안구 이미지를 획득하는 안구 이미지 획득부 및 안구 이미지에 기초하여 진단 보조 정보를 획득하도록 학습된 신경망 모델을 이용하고, 대상 안구 이미지에 기초하여 진단 보조 정보를 획득하는 처리부를 포함하는 진단 보조 장치가 제공될 수 있다.
신경망 모델은, 대상 안구 이미지에 기초하여 제1 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델 및 대상 안구 이미지에 기초하여 제1 진단 보조 정보와 상이한 제2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델을 포함할 수 있다.
제1 진단 보조 신경망 모델은 대상 안구 이미지에 기초하여 제1 특징 세트를 획득하는 제1 공통 부분 및 제1 특징 세트에 기초하여 제1 진단 보조 정보를 획득하는 제1 개별 부분을 포함하고, 제2 진단 보조 신경망 모델은, 대상 안구 이미지에 기초하여 제1 특징 세트를 획득하는 제1 공통 부분 및 제1 특징 세트에 기초하여 제2 진단 보조 정보를 획득하는 제2 개별 부분을 포함할 수 있다.
제1 개별 부분은 제1 학습 데이터에 기초하여 학습되고, 제1 개별 부분은 제1 학습 데이터와 적어도 일부 상이한 제2 학습 데이터에 기초하여 학습될 수 있다.
제1 개별 부분은 안구 이미지 및 제1 라벨을 포함하는 제1 학습 데이터에 기초하여 학습될 수 있다. 제2 개별 부분은 안구 이미지 및 제2 라벨을 포함하는 제2 학습 데이터에 기초하여 학습될 수 있다. 제1 라벨 및 제2 라벨은 서로 다른 질병에 대한 정보를 포함할 수 있다. 예컨대, 제1 라벨은 피검체의 제1 안질환 대한 질병 유무를 나타내고, 제2 라벨은 피검체의 제2 안질환 대한 질병 유무를 나타낼 수 있다. 또는, 제1 라벨은 피검체의 제1 안질환에 대한 해당 여부를 나타내고, 제2 라벨은 피검체의 제1 뇌심혈관계 질환에 대한 해당 여부를 나타낼 수 있다.
일 실시예에 따르면, 제1 진단 보조 정보는 제1 안질환에 관련된 적어도 하나의 진단 보조 정보를 포함하고, 제2 진단 보조 정보는 제1 안질환과 다른 제2 안질환과 관련된 적어도 하나의 진단 보조 정보를 포함할 수 있다.
제1 특징 세트는 제1 진단 보조 정보 및 제2 진단 보조 정보에 연관되는 복수의 특징 값들을 포함할 수 있다. 제1 개별 부분은 제1 특징 세트에 포함된 적어도 하나의 특징 값에 기초하여 제1 진단 보조 정보를 획득할 수 있다. 제2 개별 부분은 제1 특징 세트에 포함된 적어도 하나의 특징 값에 기초하여 제2 진단 보조 정보를 획득할 수 있다.
도 70은 일 실시예에 따른 진단 보조 장치를 설명하기 위한 도면이다. 도 70을 참조하면, 일 실시예에 따른 진단 보조 장치는, 제1 공통 부분, 제2 공통 부분, 제1 서브 부분, 제2 서브 부분 및 제2 개별 부분을 포함하는 신경망 모델을 이용하여, 제1 진단 보조 정보 및 제2 진단 보조 정보를 획득할 수 있다.
일 실시예에 따르면, 제1 진단 보조 정보는 제1 정보 및 제2 정보를 포함할 수 있다.
제1 개별 부분은, 제1 특징 세트에 적어도 일부 기초하여, 제1 정보 및 제2 정보에 연관된 복수의 특징 값들을 포함하는 제2 특징 세트를 획득하는 제2 공통 부분, 제2 특징 세트에 적어도 일부 기초하여 제1 정보를 획득하는 제1 서브 부분 및 제2 특징 세트에 적어도 일부 기초하여 제2 정보를 획득하는 제2 서브 부분을 포함할 수 있다.
제1 정보 및 제2 정보는 인체의 제1 부분과 관련된 질환과 관련된 진단 보조 정보이고, 제2 진단 보조 정보는 인체의 제2 부분과 관련된 질환과 관련된 진단 보조 정보일 수 있다. 제2 부분은 제1 부분과 상이할 수 있다.
예컨대, 제1 정보는 피검체의 안구의 녹내장 해당 여부를 나타내는 진단 보조 정보이고, 제2 정보는 피검체의 안구의 당뇨 망막증 해당 여부를 나타내는 진단 보조 정보이고, 제2 진단 보조 정보는 피검체의 관상동맥의 석회화 정도를 나타내는 진단 보조 정보일 수 있다.
제1 진단 보조 정보는 안질환에 관련된 적어도 하나의 진단 보조 정보를 포함하고, 제2 진단 보조 정보는 뇌심혈관계 질환에 관련된 적어도 하나의 진단 보조 정보를 포함할 수 있다.
제1 진단 보조 정보는 제1 안질환에 관련된 적어도 하나의 진단 보조 정보를 포함하고, 제2 진단 보조 정보는 제1 안질환과 다른 제2 안질환과 관련된 적어도 하나의 진단 보조 정보를 포함할 수 있다.
제1 진단 보조 정보는 녹내장과 관련된 진단 보조 정보를 포함하고, 제2 진단 보조 정보는 관상동맥질환과 관련된 진단 보조 정보를 포함할 수 있다.
처리부는, 대상 안구 이미지에 포함된 혈관을 강조하는 전처리를 수행하여 혈관 강조 안구 이미지를 획득하는 전처리부를 더 포함할 수 있다. 제1 공통 부분은, 혈관 강조 안구 이미지에 기초하여 제1 특징 세트를 획득할 수 있다.
일 실시예에 따르면, 제1 특징 세트 및/또는 제2 특징 세트는 적어도 하나의 특징 맵을 포함할 수 있다. 예컨대, 제1 특징 세트는 적어도 하나의 특징 맵을 포함하고, 제2 특징 세트는 적어도 하나의 특징 값을 포함할 수 있다. 제1 특징 세트 및/또는 제2 특징 세트는 안구 이미지에 포함된 요소에 대응되는 특징 맵 및/또는 특징 값을 포함할 수 있다.
2.2 복수 정보 예측 모델 학습
본 명세서에서 설명하는 발명의 일 실시 예에 따르면, 전술한 복수의 진단 보조 정보를 예측하는 신경망 모델을 안구 이미지 데이터에 기초하여 학습하는 방법이 제공될 수 있다.
이하에서, 특별한 설명이 없는 한 전술한 트레이닝 프로세스의 내용이 유사하게 적용될 수 있다. 예컨대, 이하에서 설명되는 복수 진단 보조 정보를 예측하는 신경망 모델의 학습 프로세스에서는, 전술한 이미지 리사이징, 전처리, 어그멘테이션 등의 데이터 가공 프로세스에 따라 처리된 이미지가 학습 데이터로 이용될 수 있다. 또한, 이하에서 설명되는 복수 진단 보조 정보를 예측하는 신경망 모델의 학습 프로세스에서는, 전술한 학습 프로세스의 내용, 예컨대 모델의 일반적인 학습 프로세스, 테스트, 앙상블 등이 준용될 수 있다. 이하에서 설명하는 진단 보조 신경망 모델의 학습은, 티아노(Theano), 케라스(Keras), 카페(Caffe), 토치(Torch), CNTK(Microsoft Cognitive Toolkit), 아파치(Apache) MXNet 등의 프레임웍을 통하여 수행될 수 있다.
이하에서는 복수의 진단 보조 정보를 예측하는 신경망 모델의 학습 방법에 대하여 몇몇 실시예를 들어 설명한다.
2.2.1 제1 타입 모델 학습
본 명세서에서 설명하는 발명의 일 실시예에 따르면, 복수의 진단 보조 정보를 예측하는 진단 보조 신경망 모델은 복수 라벨을 포함하는 안구 이미지 학습 데이터를 이용하여 학습될 수 있다.
복수의 진단 보조 정보를 예측하는 진단 보조 신경망 모델은 복수의 안구 이미지 데이터를 포함하는 안구 이미지 데이터 세트를 통하여 학습될 수 있다.
도 40은 일 실시예에 따른 안구 이미지 데이터를 설명하기 위한 도면이다. 도 40의 (a)를 참조하면, 일 실시예에 따른 안구 이미지 데이터는 안구 이미지, 안구 이미지에 대응되는 제1 라벨 및 안구 이미지에 대응되는 제2 라벨을 포함할 수 있다. 도 40의 (b)를 참조하면, 일 실시예에 따른 안구 이미지 데이터는 안구 이미지와 안구 이미지에 대응되는 제1 라벨을 포함하는 제1 안구 이미지 데이터 및 안구 이미지와 안구 이미지에 대응되는 제2 라벨을 포함하는 제2 안구 이미지 데이터를 포함할 수 있다.
제1 라벨은 제1 진단 보조 정보에 대응되는 제1 라벨일 수 있다. 예컨대, 제1 라벨은 제1 질병의 진단에 이용되는 질병 유무 정보, 질병 위험 정도, 질병과 관련된 수치 정보, 질병과 관련된 점수 정보, 질병과 연관성이 있는 객체 정보(키, 흡연 여부, 나이, 성별 등) 등의 진단 정보 라벨일 수 있다.
제2 라벨은 제2 진단 보조 정보에 대응되는 라벨일 수 있다. 예컨대, 제2 라벨은 제2 질병의 진단에 이용되는 질병 유무 정보, 질병 위험 정도, 질병과 관련된 수치 정보, 질병과 관련된 점수 정보, 질병과 연관성이 있는 객체 정보(좌우안 여부, 키, 흡연 여부, 나이, 성별 등) 등의 진단 정보 라벨일 수 있다.
제2 라벨은 제1 라벨과 다른 제2 질병에 대한 라벨일 수 있다. 그러나, 본 명세서에서 설명하는 발명이 이에 한정되지는 아니한다. 예컨대, 제1 라벨과 제2 라벨은 각각 다른 객체 정보일 수 있다. 예를 들어, 제1 라벨은 피검체의 나이 정보이고 제2 라벨은 피검체의 성별 정보일 수 있다.
한편, 안구 이미지 데이터는 도 40에서 예시하는 것 보다 많은 수의 라벨을 포함할 수 있다. 예컨대, 안구 이미지 데이터는 질병의 진단과 관련된 진단 정보 라벨, 피검체의 식별을 위한 ID 라벨, 피검체의 성별을 나타내는 성별 라벨 등을 함께 포함할 수 있다.
도 41은 본 명세서에서 설명하는 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다. 도 41을 참조하면, 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법은, 안구 이미지 데이터 세트를 획득하는 단계(S1100), 제1 진단 보조 정보를 획득하는 단계(S1300), 제2 진단 보조 정보를 획득하는 단계(S1500) 및 진단 보조 신경망 모델을 갱신하는 단계(S1700)를 포함할 수 있다.
안구 이미지 데이터 세트를 획득하는 단계(S1100)는 본 명세서(도 40)에서 전술한 안구 이미지 및 적어도 하나의 라벨을 포함하는 데이터 세트를 획득하는 것을 포함할 수 있다. 안구 이미지 데이터 세트를 획득하는 단계(S1100)는 제1 라벨 및 제2 라벨을 포함하는 안구 이미지 데이터를 포함하는 안구 이미지 데이터 세트를 획득하는 것을 포함할 수 있다. 안구 이미지 데이터 세트를 획득하는 단계(S1100)는 제1 라벨을 포함하는 제1 안구 이미지 데이터를 포함하는 제1 안구 이미지 데이터 세트 및/또는 제2 라벨을 포함하는 제2 안구 이미지 데이터를 포함하는 제2 안구 이미지 데이터 세트를 획득하는 것을 포함할 수 있다.
제1 진단 보조 정보를 획득하는 단계(S1300)는 진단 보조 신경망 모델을 통하여 안구 이미지에 대응되는 제1 진단 보조 정보를 획득하는 것을 포함할 수 있다. 제1 진단 보조 정보는 제1 라벨에 대응되고 진단 보조 신경망 모델에 의해 획득되는 정보일 수 있다.
제2 진단 보조 정보를 획득하는 단계(S1500)는 진단 보조 신경망 모델을 통하여 안구 이미지에 대응되는 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다. 제2 진단 보조 정보는 제2 라벨에 대응되고 진단 보조 신경망 모델에 의해 획득되는 정보일 수 있다.
진단 보조 신경망 모델을 갱신하는 단계(S1700)는 제1 진단 보조 정보 및 제1 라벨에 기초하여 제1 진단 보조 정보에 연관된 신경망 레이어를 갱신하는 것을 포함할 수 있다. 진단 보조 신경망 모델을 갱신하는 단계(S1700)는 제2 진단 보조 정보 및 제2 라벨에 기초하여 제2 진단 보조 정보에 연관된 신경망 레이어를 갱신하는 것을 포함할 수 있다. 진단 보조 신경망 모델을 갱신하는 단계(S1700)는 진단 보조 정보 및 라벨의 차이에 기초하여 오차역전파법 또는 경사하강법(확률적 경사 하강법, 모멘텀, 네스테로프 모멘텀, 아다그라드, 알엠에스프롭, 아담 등)을 통하여 진단 보조 신경망 모델을 갱신하는 것을 포함할 수 있다.
진단 보조 신경망 모델을 학습하는 방법은, 제1 진단 보조 정보를 획득하는 단계(S1300), 제2 진단 보조 정보를 획득하는 단계(S1500) 및 진단 보조 신경망 모델을 갱신하는 단계(S1700)를 반복적으로 수행하는 것을 포함할 수 있다. 진단 보조 신경망 모델을 학습하는 방법은, 진단 보조 신경망 모델의 정확도가 일정 수준 이상을 만족할 때까지 S1300 내지 S1700 단계를 만족하는 것을 포함할 수 있다.
한편, 제1 진단 보조 정보를 획득하는 단계(S1300) 또는 제2 진단 보조 정보를 획득하는 단계(S1500)는 도 41에서 예시하는 것과 다른 순서로 수행될 수 있다. 예컨대, 각 진단 보조 정보는, 진단 보조 신경망 모델을 갱신하는 단계(S1700) 내에서 획득될 수 있다. 도 41에서는 진단 보조 신경망 모델의 학습이, 진단 보조 정보를 획득한 후 신경망 모델의 각 부분을 갱신하여 수행되는 경우를 기준으로 설명하였으나, 이는 필수적인 구성은 아니다. 예컨대, 진단 보조 신경망 모델의 학습 방법은 제1 진단 보조 정보를 획득한 후 제1 진단 보조 정보를 획득하는 제1 개별 부분(도 31 참조)을 갱신하고, 제1 개별 부분을 갱신한 후 제2 진단 보조 정보를 획득한 후 제2 개별 부분(도 31 참조)을 갱신하는 것을 포함할 수 있다.
이하에서는, 도 41에서 설명하는 진단 보조 신경망 모델의 학습 방법을 참조하여 신경망 모델의 갱신 단계에 대하여 보다 구체적인 몇몇 실시예를 들어 설명한다.
본 명세서에서 설명하는 발명의 일 실시예에 따르면, 복수 진단 보조 정보를 획득하는 진단 보조 신경망 모델은 복수 진단 정보 라벨에 대하여 일괄적으로 갱신되어 학습될 수 있다.
도 42는 본 명세서에서 설명하는 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다. 도 42에서 예시하는 진단 보조 신경망 모델의 학습 방법은, 도 42에서 예시하는 진단 보조 신경망 모델을 학습하는 방법을 예시한 것이다. 도 42을 참조하면, 진단 보조 신경망 모델의 학습 방법에 있어서, 진단 보조 신경망 모델을 갱신하는 단계(S1700)는, 제1 개별 부분을 갱신하는 단계(S1711), 제2 개별 부분을 갱신하는 단계(S1713) 및 공통 부분을 갱신하는 단계(S1715)를 포함할 수 있다.
제1 개별 부분을 갱신하는 단계(S1711)는 진단 보조 신경망 모델의 제1 개별 부분에 의하여 획득된 제1 진단 보조 정보와 제1 라벨을 비교하고, 오차에 기초하여 제1 개별 부분의 파라미터(가중치 또는 편향)를 갱신하는 것을 포함할 수 있다.
제2 개별 부분을 갱신하는 단계(S1713)는 진단 보조 신경망 모델의 제2 개별 부분에 의해 획득된 제2 진단 보조 정보와 제2 라벨을 비교하고, 오차에 기초하여 제2 개별 부분의 파라미터를 갱신하는 것을 포함할 수 있다.
공통 부분을 갱신하는 단계(S1715)는 갱신된 제1 개별 부분 및 제2 개별 부분에 기초하여 공통 부분의 파라미터를 갱신하는 것을 포함할 수 있다. 갱신된 제1 개별 부분 및 제2 개별 부분에 기초하여 공통 부분의 파라미터를 갱신하는 것은, 제1 개별 부분의 최종 레이어(이하, 공통 부분에 접하는 레이어)의 각 노드에 의한 공통 부분의 파라미터 변화율 및 제2 개별 부분의 최종 레이어의 각 노드에 의한 공통 부분의 파라미터 변화율의 평균에 따라 공통 부분의 파라미터를 갱신하는 것을 포함할 수 있다. 갱신된 제1 개별 부분 및 제2 개별 부분에 기초하여 공통 부분의 파라미터를 갱신하는 것은, 제1 개별 부분의 최종 레이어의 각 노드에 의한 공통 부분의 파라미터 변화율 및 제2 개별 부분의 최종 레이어의 각 노드에 의한 공통 부분의 파라미터 변화율 각각에 대하여 소정의 가중치를 부여하여 공통 부분의 파라미터를 갱신하는 것을 포함할 수 있다.
본 명세서에서 설명하는 발명의 일 실시예에 따르면, 복수 진단 보조 정보를 획득하는 진단 보조 신경망 모델은 복수 진단 정보 라벨에 대하여 순차적으로 갱신되어 학습될 수 있다.
도 43은 본 명세서에서 설명하는 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다. 도 43을 참조하면 일 실시예에 따른 진단 보조 신경망 모델을 갱신하는 것은, 제1 개별 부분을 갱신하는 단계(S1721), 공통 부분을 갱신하는 단계(S1722), 제2 개별 부분을 갱신하는 단계(S1723) 및 공통 부분을 재차 갱신하는 단계(S1724)를 포함할 수 있다.
제1 개별 부분을 갱신하는 단계(S1721)는 전술한 것과 유사하게 수행될 수 있다.
공통 부분을 갱신하는 단계(S1722)는, 제1 진단 보조 정보와 제1 라벨 간의 차이에 기초하여 공통 부분을 갱신하는 것을 포함할 수 있다. 공통 부분을 갱신하는 단계(S1722)는, 제1 개별 부분의 최종 레이어의 각 노드로부터 역전파되는 파라미터 변화율을 통하여 공통 부분을 갱신하는 것을 포함할 수 있다.
한편, 전술한 것과 같이, 제1 라벨 또는 제2 라벨은 신경망 갱신 단계 중에 획득될 수 있다. 예컨대, 제2 개별 부분을 갱신하는 단계(S1723) 갱신된 공통 부분에 기초하여 획득된 제2 라벨 및 제2 진단 보조 정보의 차이에 기초하여 제2 개별 부분을 갱신하는 것을 포함할 수 있다.
공통 부분을 재 갱신하는 단계(S1724)는 제2 라벨 및 제2 진단 보조 정보의 차이에 기초하여 공통 부분을 갱신하는 것을 포함할 수 있다. 공통 부분을 재 갱신하는 단계(S1724)는 제2 개별 부분의 최종 레이어의 각 노드로부터 역전파되는 파라미터 변화율을 통하여 공통 부분을 갱신하는 것을 포함할 수 있다.
한편, 위 실시예에서는 제1 진단 보조 정보 및 제2 진단 보조 정보를 예측하는 진단 보조 신경망 모델이 도 31과 같은 단일 모델 형태로 구현되는 경우를 기준으로 설명하였으나, 제1 진단 보조 정보 및 제2 진단 보조 정보를 예측하는 진단 보조 신경망 모델은 도 32와 같이 구현될 수도 있다.
본 명세서에서 설명하는 발명의 일 실시예에 따르면, 복수 진단 보조 정보를 획득하는 진단 보조 신경망 모델은 도 32에서 예시하는 바와 같이, 대응되는 공통 부분을 가지고 구분되는 개별 부분을 가지는 복수의 진단 보조 신경망 모델로 구현될 수 있다.
이때, 일 실시예에 따르면, 진단 보조 신경망 모델의 공통 부분은 선학습된(pre-trained) 신경망이 이용될 수 있다. 진단 보조 신경망 모델의 공통 부분은 전이 학습(transfer learning) 방식을 통하여 마련될 수 있다.
예컨대, 안구 이미지에 기초하여 제1 특징 세트를 획득하는 공통 부분 및 특징 세트에 기초하여 제1 진단 보조 정보를 획득하는 제1 개별 부분을 포함하고 제1 진단 정보 라벨 및 안구 이미지를 포함하는 안구 이미지 학습 데이터에 기초하여 학습된 제1 진단 보조 신경망 모델로부터 추출된 공통 부분이 제2 진단 보조 정보를 획득하는 신경망 모델에 공통 부분으로 이용될 수 있다. 예컨대, 제1 진단 보조 신경망 모델의 공통 부분 및 제2 개별 부분을 포함하고 안구 이미지 및 제2 진단 정보 라벨을 포함하는 안구 이미지 데이터에 기초하여 학습된 제2 진단 보조 신경망 모델이 제공될 수 있다.
공통 부분 및 제1 개별 부분을 포함하는 제1 진단 보조 신경망 모델 및 공통 부분 및 제2 개별 부분을 포함하는 제2 진단 보조 신경망 모델은 순차적으로 학습될 수 있다. 예컨대, 제1 진단 보조 신경망 모델은 제1 개별 부분을 갱신하는 단계 및 공통 부분을 갱신하는 단계를 반복 수행하여 학습될 수 있다. 제2 진단 보조 신경망 모델은, 학습된 제1 진단 보조 신경망 모델로부터 획득된 공통 부분 및 제2 개별 부분을 포함하고, 제2 개별 부분을 갱신하는 단계 및 공통 부분을 갱신하는 단계를 반복 수행하여 학습될 수 있다.
2.2.2 제2 타입 모델 학습
일 실시예에 따르면, 도 34에서 예시한 것과 같은 공통 부분의 전 및 후에 개별 부분이 위치되는 진단 보조 신경망 모델에 대한 학습 방법이 제공될 수 있다. 이하에서는, 도 41 내지 43에서 전술한 학습 방법의 실시예를 참조하여 설명한다. 이하에서는, 도 40에서 전술한 실시 예에 따른 안구 이미지 데이터 세트를 획득하고, 제1 진단 보조 정보 및 제2 진단 보조 정보를 획득하고, 진단 보조 신경망 모델을 갱신하는 경우에 있어서, 도 34를 참조하여, 진단 보조 신경망 모델의 갱신 방법에 대하여 몇몇 실시 예들을 들어 설명한다.
도 44는 본 명세서에서 설명하는 진단 보조 신경망 모델의 학습 방법의 일 실시예를 설명하기 위한 도면이다. 도 44을 참조하면, 진단 보조 신경망 모델을 갱신하는 단계는, 제3 개별 부분을 갱신하는 단계(S1731), 제4 개별 부분을 갱신하는 단계(S1732), 공통 부분을 갱신하는 단계(S1733) 및 제1 개별 부분과 제2 개별 부분을 갱신하는 단계(S1734)를 포함할 수 있다.
특별한 언급이 없는 한, 제3 개별 부분을 갱신하는 단계(S1731) 및 제4 개별 부분을 갱신하는 단계(S1732)는 각각, 도 42 내지 43에서 전술한 제1 개별 부분을 갱신하는 단계 및 제2 개별 부분을 갱신하는 단계와 유사하게 구현될 수 있다.
제3 개별 부분을 갱신하는 단계(S1731)는 제1 라벨 및 제1 진단 보조 정보의 차이에 기초하여 제3 개별 부분을 갱신하는 것을 포함할 수 있다. 제4 개별 부분을 갱신하는 단계(S1732)는 제2 라벨 및 제2 진단 보조 정보의 차이에 기초하여 제4 개별 부분을 갱신하는 것을 포함할 수 있다.
공통 부분을 갱신하는 단계는 제1 라벨 및 제1 진단 보조 정보의 차이 및 제2 라벨 및 제2 진단 보조 정보의 차이에 기초하여 공통 부분을 갱신하는 것을 포함할 수 있다. 공통 부분의 갱신은 도 42 내지 43 에서 전술한 것과 유사하게 수행될 수 있다.
제1 개별 부분과 제2 개별 부분을 갱신하는 단계(S1734)는 제1 라벨 및 제1 진단 보조 정보의 차이에 기초하여 제1 개별 부분 및/또는 제2 개별 부분을 갱신하는 것을 포함할 수 있다. 제1 개별 부분과 제2 개별 부분을 갱신하는 단계(S1734)는 제2 라벨 및 제2 진단 보조 정보의 차이에 기초하여 제1 개별 부분 및/또는 제2 개별 부분을 갱신하는 것을 포함할 수 있다. 제1 개별 부분과 제2 개별 부분을 갱신하는 단계(S1734)는 제1 라벨 및 제1 진단 보조 정보의 차이에 따른 파라미터 변화 및 제2 라벨 및 제2 진단 보조 정보의 차이에 따른 파라미터의 변화의 조합에 기초하여 제1 개별 부분 및/또는 제2 개별 부분의 파라미터를 갱신하는 것을 포함할 수 있다.
도 45는 본 명세서에서 설명하는 진단 보조 신경망 모델의 학습 방법의 일 실시예를 설명하기 위한 도면이다.
도 45를 참조하면, 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법은 제3 개별 부분을 갱신하는 단계(S1741), 공통 부분을 갱신하는 단계(S1742), 제4 개별 부분을 갱신하는 단계(S1743), 공통 부분을 재 갱신하는 단계(S1744) 및 제1 개별 부분과 제2 개별 부분을 갱신하는 단계(S1745)를 포함할 수 있다.
제3 개별 부분을 갱신하는 단계(S1741)는 전술한 것과 유사하게 수행될 수 있다. 공통 부분을 갱신하는 단계(S1742)는 전술한 것과 유사하게 수행될 수 있다. 공통 부분을 갱신하는 것은 제1 진단 보조 정보 및 제1 라벨의 차이에 따라 공통 부분을 갱신하는 것을 포함할 수 있다.
제4 개별 부분을 갱신하는 단계(S1743)는 전술한 것과 유사하게 수행될 수 있다. 한편, 도 41과 관련하여 설명하였던 제2 라벨을 획득하는 단계는 진단 보조 신경망 모델을 학습하는 단계 내에서 수행될 수 있다. 예컨대, 제4 개별 부분을 갱신하는 단계(S1743)는 제1 라벨 및 제1 진단 보조 정보의 차이에 기초하여 갱신된 공통 부분을 통하여 획득된 제2 라벨 및 제2 진단 보조 정보의 차이에 기초하여 제4 개별 부분의 파라미터를 갱신하는 것을 포함할 수 있다.
공통 부분을 재 갱신하는 단계(S1744)는 제2 진단 보조 정보와 제2 라벨의 차이에 기초하여 공통 부분의 파라미터를 갱신하는 것을 포함할 수 있다. 공통 부분을 재 갱신하는 것은, 전술한 바와 같이 제1 라벨 및 제1 진단 보조 정보의 차이에 기초하여 갱신된 공통 부분을 통하여 획득된 제2 라벨 및 제2 진단 보조 정보의 차이에 기초하여 공통 부분을 재 갱신하는 것을 포함할 수 있다.
제1 개별 부분과 제2 개별 부분을 갱신하는 단계(S1745)는 전술한 것과 유사하게 구현될 수 있다.
도 46은 본 명세서에서 설명하는 진단 보조 신경망 모델의 학습 방법의 일 실시예를 설명하기 위한 도면이다.
도 46을 참조하면, 진단 보조 신경망 모델의 학습 방법은 제3 개별 부분을 갱신하는 단계(S1751), 공통 부분을 갱신하는 단계(S1752), 제1 개별 부분과 제2 개별 부분을 갱신하는 단계(S1753), 제4 개별 부분을 갱신하는 단계(S1754), 공통 부분을 재 갱신하는 단계(S1755) 및 제1 개별 부분과 제2 개별 부분을 갱신하는 단계(S1756)를 포함할 수 있다. 각 단계는 전술한 실시 예들과 유사하게 구현될 수 있다.
도 45과 비교하면, 제1 개별 부분과 제2 개별 부분의 갱신은 공통 부분을 갱신하는 단계(S1752) 및 공통 부분을 재 갱신하는 단계(S1755)후에 수행될 수 있다.
제1 개별 부분과 제2 개별 부분을 갱신하는 단계(S1753)는 제1 라벨과 제1 진단 보조 정보의 차이에 기초하여 제1 개별 부분과 제2 개별 부분을 갱신하는 것을 포함할 수 있다. 제1 개별 부분과 제2 개별 부분을 갱신하는 단계(S1756)는 제2 라벨과 제2 진단 보조 정보의 차이에 기초하여 제1 개별 부분과 제2 개별 부분을 갱신하는 것을 포함할 수 있다.
한편, 일 실시예에 따르면, 도 35에서 예시한 것과 같은 제1 진단 보조 신경망 모델 및 제2 진단 보조 신경망 모델에 대한 학습 방법이 제공될 수 있다.
일 실시예에 따르면, 제1 개별 부분, 공통 부분 및 제3 개별 부분을 포함하는 제1 진단 보조 신경망 모델 및 제2 개별 부분, 공통 부분 및 제4 개별 부분을 포함하는 제2 진단 보조 신경망 모델을 학습하는 방법이 제공될 수 있다.
일 실시예에 따른 진단 보조 신경망 모델의 학습 방법은, 제1 진단 보조 신경망 모델의 제3 개별 부분을 갱신하는 단계(S1751), 제1 진단 보조 신경망 모델의 공통 부분을 갱신하는 단계(S1752), 제1 진단 보조 신경망 모델의 제1 개별 부분을 갱신하는 단계(S1753), 제2 진단 보조 신경망 모델의 제4 개별 부분을 갱신하는 단계(S1754), 제2 진단 보조 신경망 모델의 공통 부분을 갱신하는 단계(S1755) 및 제2 진단 보조 신경망 모델의 제2 개별 부분을 갱신하는 단계(S1756)를 포함할 수 있다. 각 단계는 전술한 실시 예에서와 유사하게 구현될 수 있다.
제2 진단 보조 신경망 모델의 공통 부분을 갱신하는 단계(S1755)는, 제1 진단 보조 신경망 모델의 공통 부분을 이전 학습 하는 것을 포함할 수 있다. 다시 말해, 제2 진단 보조 신경망 모델의 공통 부분을 갱신하는 단계(S1755)는, 제1 진단 보조 신경망 모델의 공통 부분을 이전하여 마련된 제2 진단 보조 신경망 모델의 공통 부분을 파인 튜닝 하거나, 선학습(pre-trained) 모델로 이용하거나, 일부 레이어를 재사용하거나, 도메인 어댑테이션하여 갱신하는 것을 포함할 수 있다.
2.2.3 제3 타입 모델 학습
일 실시예에 따르면, 도 37 내지 39에서 예시한 것과 같이 제1 공통 부분 및 제2 공통 부분을 포함하는 진단 보조 신경망 모델에 대한 학습 방법이 제공될 수 있다. 이하에서는, 도 41 내지 46에서 전술한 학습 방법의 실시예를 참조하여 설명한다.
도 47은 몇몇 실시예에 따른 안구 이미지 데이터를 설명하기 위한 도면이다.
도 47을 참조하면, 안구 이미지 데이터 세트를 획득하는 단계는 제1 라벨, 제2 라벨 및 제3 라벨을 포함하는 안구 이미지 데이터를 포함하는 안구 이미지 데이터 세트를 획득하는 것을 포함할 수 있다.
또는, 안구 이미지 데이터 세트를 획득하는 단계는, 제1 안구 이미지 및 제1 라벨을 포함하는 제1 안구 이미지 데이터를 포함하는 제1 안구 이미지 데이터 세트, 제2 안구 이미지 및 제2 라벨을 포함하는 제2 안구 이미지 데이터를 포함하는 제2 안구 이미지 데이터 세트 및 제3 안구 이미지 및 제3 라벨을 포함하는 제3 안구 이미지 데이터를 포함하는 제3 안구 이미지 데이터 세트를 획득하는 것을 포함할 수 있다.
이하에서는, 도 47에서 예시하는 실시 예에 따른 안구 이미지 데이터 세트에 기초하여 진단 보조 신경망 모델을 학습하는 방법에 대하여 설명한다.
도 48은 본 명세서에서 설명하는 진단 보조 신경망 모델의 학습 방법의 일 실시예를 설명하기 위한 도면이다.
도 48을 참조하면, 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법은 제1 개별 부분을 갱신하는 단계(S1761), 제2 개별 부분을 갱신하는 단계(S1762), 제2 공통 부분을 갱신하는 단계(S1763), 제3 개별 부분을 갱신하는 단계(S1764) 및 제1 공통 부분을 갱신하는 단계(S1765)를 포함할 수 있다. 각 단계는 전술한 실시 예들과 유사하게 구현될 수 있다.
제1 개별 부분을 갱신하는 단계(S1761)는 제1 라벨 및 제1 진단 보조 정보의 차이에 기초하여 제1 개별 부분의 파라미터를 갱신하는 것을 포함할 수 있다. 제2 개별 부분을 갱신하는 단계(S1762)는 제2 라벨 및 제2 진단 보조 정보의 차이에 기초하여 제2 개별 부분의 파라미터를 갱신하는 것을 포함할 수 있다.
제2 공통 부분을 갱신하는 단계(S1763)는 제1 라벨 및 제1 진단 보조 정보의 차이 및 제2 라벨 및 제2 진단 보조 정보의 차이에 기초하여 제2 공통 부분의 파라미터를 갱신하는 것을 포함할 수 있다.
제3 개별 부분을 갱신하는 단계(S1764)는 제3 라벨 및 제3 진단 보조 정보의 차이에 기초하여 제3 개별 부분의 파라미터를 갱신하는 것을 포함할 수 있다.
제1 공통 부분을 갱신하는 단계(S1765)는 제1 라벨 및 제1 진단 보조 정보의 차이, 제2 라벨 및 제2 진단 보조 정보의 차이 및 제3 라벨 및 제3 진단 보조 정보의 차이에 기초하여 제1 공통 부분을 갱신하는 것을 포함할 수 있다.
제1 공통 부분을 갱신하는 단계(S1765)는 제2 공통 부분 파라미터의 변화율 및 제3 개별 부분 파라미터의 변화율에 기초하여 제1 공통 부분의 파라미터를 갱신하는 것을 포함할 수 있다. 제1 공통 부분을 갱신하는 단계(S1765)는 제2 공통 부분 파라미터의 변화율에 제3 개별 부분 파라미터의 변화율보다 큰 가중치를 부여하여 제1 공통 부분의 파라미터를 갱신하는 것을 포함할 수 있다.
도 49는 본 명세서에서 설명하는 진단 보조 신경망 모델의 학습 방법의 일 실시예를 설명하기 위한 도면이다.
도 49를 참조하면, 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법은 제1 개별 부분을 갱신하는 단계(S1771), 제2 공통 부분을 갱신하는 단계(S1772), 제2 개별 부분을 갱신하는 단계(S1773), 제2 공통 부분을 갱신하는 단계(S1773), 제3 개별 부분을 갱신하는 단계(S1774) 및 제1 공통 부분을 갱신하는 단계(S1775)를 포함할 수 있다. 각 단계는 전술한 실시 예와 유사하게 구현될 수 있다.
도 48의 실시예와 비교하면, 제1 개별 부분 갱신 후에 제2 공통 부분을 갱신하고, 제2 개별 부분 갱신 후에 제2 공통 부분을 재차 갱신할 수 있다.
제2 개별 부분을 갱신하는 단계(S1773)는 제1 라벨 및 제1 진단 보조 정보의 차이에 기초하여 갱신된 제2 공통 부분에 의하여 획득된 제2 라벨 및 제2 진단 보조 정보의 차이에 기초하여 제2 개별 부분의 파라미터를 갱신하는 것을 포함할 수 있다.
제2 공통 부분을 갱신하는 단계(S1774)는 제1 라벨 및 제1 진단 보조 정보의 차이에 기초하여 갱신된 제2 공통 부분에 의하여 획득된 제2 라벨 및 제2 진단 보조 정보의 차이에 기초하여 제2 공통 부분의 파라미터를 갱신하는 것을 포함할 수 있다.
제1 공통 부분을 갱신하는 단계는 제1 라벨 및 제1 진단 보조 정보의 차이, 제2 라벨 및 제2 진단 보조 정보의 차이 및 제3 라벨 및 제3 진단 보조 정보의 차이에 기초하여 제1 공통 부분을 갱신하는 것을 포함하되, 제1 라벨 및 제1 진단 보조 정보의 차이 및 제2 라벨 및 제2 진단 보조 정보의 차이에 의한 제1 공통 부분 파라미터의 변화율은 제3 라벨 및 제3 진단 보조 정보의 차이에 의한 제1 공통 부분 파라미터의 변화율과 다를 수 있다. 제1 라벨 및 제1 진단 보조 정보의 차이 및 제2 라벨 및 제2 진단 보조 정보의 차이에 의한 제1 공통 부분 파라미터의 변화율은 제3 라벨 및 제3 진단 보조 정보의 차이에 의한 제1 공통 부분 파라미터의 변화율보다 클 수 있다. 예컨대, 제2 공통 부분으로부터 제1 공통 부분으로 전달되는 오차 역전파에 의한 학습률은, 제3 개별 부분으로부터 제1 공통 부분으로 전달되는 오차 역전파에 의한 학습률보다 클 수 있다. 다만, 본 명세서에서 설명하는 발명이 이에 한정되는 것은 아니며, 데이터의 수 또는 특성에 따라 제1 라벨 및 제1 진단 보조 정보의 차이 및 제2 라벨 및 제2 진단 보조 정보의 차이에 의한 제1 공통 부분 파라미터의 변화율은 제3 라벨 및 제3 진단 보조 정보의 차이에 의한 제1 공통 부분 파라미터의 변화율보다 작을 수 있다. 제2 공통 부분으로부터 제1 공통 부분으로 전달되는 오차 역전파에 의한 학습률은, 제3 개별 부분으로부터 제1 공통 부분으로 전달되는 오차 역전파에 의한 학습률보다 작을 수 있다.
도 50은 본 명세서에서 설명하는 진단 보조 신경망 모델의 학습 방법의 일 실시예를 설명하기 위한 도면이다.
도 50을 참조하면, 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법은 제1 개별 부분을 갱신하는 단계(S1781), 제2 공통 부분을 갱신하는 단계(S1782), 제1 공통 부분을 갱신하는 단계(S1783), 제2 개별 부분을 갱신하는 단계(S1784), 제2 공통 부분을 갱신하는 단계(S1785), 제1 공통 부분을 갱신하는 단계(S1786), 제3 개별 부분을 갱신하는 단계(S1787) 및 제1 공통 부분을 갱신하는 단계(S1788)를 포함할 수 있다. 각 단계는 전술한 실시 예들과 유사하게 구현될 수 있다.
도 48 또는 49와 비교하면, 도 50에 따른 학습 방법에 의하면, 제1 공통 부분이 제1 개별 부분 및 제2 공통 부분의 갱신 이후에 1차 갱신되고(S1783), 제2 개별 부분 및 제2 공통 부분의 갱신 이후에 2차 갱신되고(S1786), 제3 개별 부분의 갱신 이후에 3차 갱신(S1788)될 수 있다.
이때, 각 갱신에서의 제1 공통 부분의 파라미터 변화율(또는 학습률)은 상이할 수 있다. 예컨대, 1차 갱신(S1783) 또는 2차 갱신(S1786)에서 제1 공통 부분의 파라미터 변화율은 3차 갱신(S1788)에서의 파라미터 변화율 보다 낮을 수 있다. 또는, 1차 갱신(S1783) 또는 2차 갱신(S1786)에서 제1 공통 부분의 파라미터 변화율은 3차 갱신(S1788)에서의 파라미터 변화율 보다 높을 수 있다.
2.3 복수 진단 보조 정보를 획득하는 모델을 통한 진단 보조
일 실시예에 따르면, 복수의 진단 보조 정보를 획득하는 신경망 모델을 이용하여 피검체의 대상 질병에 대한 진단 보조를 수행하는 진단 보조 방법이 제공될 수 있다.
도 51은 일 실시예에 따른 진단 보조 방법을 설명하기 위한 도면이다. 도 51을 참조하면, 일 실시예에 따른 진단 보조 방법은, 대상 안구 이미지를 획득하는 단계(S2100), 대상 안구 이미지에 기초하여 복수의 진단 보조 정보를 획득하는 단계(S2300), 진단 보조 정보를 출력하는 단계(S2500)를 포함할 수 있다.
대상 안구 이미지를 획득하는 단계(S2100)는 정보 처리 장치 또는 서버가 이들과 통신하거나 별도로 마련된 안구 이미지 촬상 장치를 통하여 획득된 대상 안구 이미지를 획득하는 것을 포함할 수 있다.
대상 안구 이미지를 획득하는 단계(S2100)는 대상체(object), 즉, 피검체의 안구로부터 획득된 안구 이미지, 예컨대 안저 이미지, 망막 이미지, OCT 이미지 또는 홍채 이미지 등을 획득하는 것을 포함할 수 있다.
일 실시예에 따르면, 대상 안구 이미지를 획득하는 단계(S2100)는 하나 이상의 안구 이미지를 획득하는 것을 포함할 수 있다. 예컨대, 대상 안구 이미지를 획득하는 단계(S2100)는 피검체의 제1 안구 이미지 및 피검체의 제2 안구 이미지를 획득하는 것을 포함할 수 있다.
대상 안구 이미지를 획득하는 단계(S2100)는 동종의 안구 이미지를 복수 개 획득하는 것을 포함 할 수 있다. 예컨대, 대상 안구 이미지를 획득하는 단계(S2100)는 피검체의 제1 안구 이미지 및 피검체의 제2 안구 이미지를 획득하는 것을 포함하고, 제1 안구 이미지는 제1 안저 이미지이고 제2 안구 이미지는 제2 안저 이미지일 수 있다. 이때, 진단 보조 방법은, 제1 안저 이미지 및 제2 안저 이미지에 기초하여 진단 보조 정보를 획득하는 것을 포함할 수 있다.
또는, 대상 안구 이미지를 획득하는 단계(S2100)는 복수의 이종의 안구 이미지를 획득하는 것을 포함할 수 있다. 예컨대, 대상 안구 이미지를 획득하는 단계(S2100)는 피검체의 제1 안구 이미지 및 피검체의 제2 안구 이미지를 획득하는 것을 포함하고, 제1 안구 이미지는 안저 이미지이고 제2 안구 이미지는 OCT 이미지일 수 있다. 이때, 진단 보조 방법은, 안저 이미지 및 OCT 이미지에 기초하여 진단 보조 정보를 획득하는 것을 포함할 수 있다.
또는, 대상 안구 이미지를 획득하는 단계(S2100)는 피검체의 제1 안구 이미지 및 피검체의 제2 안구 이미지를 획득하는 것을 포함하고, 제1 안구 이미지는 피검체의 좌안의 안구 이미지이고 제2 안구 이미지는 피검체의 우안의 안구 이미지일 수 있다. 이때, 진단 보조 방법은, 좌안 안구 이미지 및 우안 안구 이미지에 기초하여 진단 보조 정보를 획득하는 것을 포함할 수 있다.
대상 안구 이미지는 하나 이상의 이미지에 전처리를 수행한 이미지일 수 있다. 대상 안구 이미지는 하나 이상의 안구 관련 이미지를 중첩한 이미지일 수 있다. 대상 안구 이미지는 하나 이상의 안구 관련 이미지를 연결한 이미지일 수 있다.
대상 안구 이미지를 획득하는 단계(S2100)는 대상 안구 이미지 외에 추가적인 데이터를 획득하는 것을 더 포함할 수 있다.
추가로 획득되는 데이터는 안구와 관련되지 않은 이미지일 수 있다. 예컨대, 추가로 획득되는 데이터는 피검체의 안구 외의 장기를 촬영한 이미지일 수 있다. 예를 들어, 대상 안구 이미지를 획득하는 단계(S2100)는 피검체의 폐, 뇌, 심장 또는 신장을 촬영한 이미지를 획득하는 것을 포함할 수 있다.
추가로 획득되는 데이터는 비-시각적 데이터일 수 있다. 예컨대, 추가로 획득되는 데이터는 피검체의 신체, 생활 습관 내지 대상 질병과 관련된 비-시각적 정보를 포함할 수 있다. 예를 들어, 대상 안구 이미지를 획득하는 단계(S2100)는 피검체의 나이, 키, 성별, 흡연 여부, 복용약, 가족력 유무, 혈압 등의 정보를 획득하는 것을 포함할 수 있다.
대상 안구 이미지에 기초하여 복수의 진단 보조 정보를 획득하는 단계(S2300)는 정보 처리 장치에 저장된 프로세서 또는 서버가, 미리 저장된 진단 보조 신경망 모델을 통하여 대상 안구 이미지에 기초하여 복수의 진단 보조 정보를 획득하는 것을 포함할 수 있다.
대상 안구 이미지에 기초하여 복수의 진단 보조 정보를 획득하는 단계(S2300)는 대상 안구 이미지를 입력으로 하고 전술한 복수 진단 보조 정보를 획득하는 진단 보조 신경망 모델을 통하여 복수의 진단 보조 정보를 획득하는 것을 포함할 수 있다.
대상 안구 이미지에 기초하여 복수의 진단 보조 정보를 획득하는 단계(S2300)는 제1 진단 보조 정보 및 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다. 대상 안구 이미지에 기초하여 복수의 진단 보조 정보를 획득하는 단계(S2300)는 전술한 공통 부분, 제1 개별 부분 및 제2 개별 부분을 포함하는 진단 보조 신경망 모델을 통하여 제1 진단 보조 정보 및 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다. 대상 안구 이미지에 기초하여 복수의 진단 보조 정보를 획득하는 단계(S2300)는 전술한 공통 부분과 제1 개별 부분을 포함하는 제1 진단 보조 신경망 모델 및 공통 부분과 제2 개별 부분을 포함하는 제2 진단 보조 신경망 모델을 통하여 제1 진단 보조 정보 및 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다.
복수의 진단 보조 정보를 획득하는 단계(S2300)는, 진단 보조 신경망 모델의 공통 부분을 통하여 대상 안구 이미지에 기초하여 획득된 제1 특징 세트를 획득하고는 것을 포함할 수 있다. 복수의 진단 보조 정보를 획득하는 단계(S2300)는, 제1 개별 부분을 통하여 제1 특징 세트에 적어도 일부 기초하여 제1 진단 보조 정보를 획득하는 것을 포함할 수 있다. 복수의 진단 보조 정보를 획득하는 단계(S2300)는, 제2 개별 부분을 통하여 제1 특징 세트에 적어도 일부 기초하여 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다.
제1 진단 보조 정보 및 제2 진단 보조 정보는 하나의 질병에 대한 다른 진단 보조 정보일 수 있다. 일 실시예에 따르면, 제1 진단 보조 정보는 피검체의 당뇨망막증 해당 여부를 지시하는 진단 보조 정보이고, 제2 진단 보조 정보는 피검체의 당뇨망막증 위험 정도를 지시하는 진단 보조 정보 또는 피검체의 향후 5년 이내 당뇨망막증 발병 여부를 지시하는 진단 보조 정보일 수 있다.
제1 진단 보조 정보 및 제2 진단 보조 정보는 서로 다른 질병에 대한 진단 보조 정보일 수 있다. 일 실시예에 따르면, 제1 진단 보조 정보는 안질환과 관련된 진단 보조 정보이고, 제2 진단 보조 정보는 안질환이 아닌 질환, 예컨대, 전신 질환과 관련된 진단 보조 정보일 수 있다. 제1 진단 보조 정보는 안질환과 관련된 진단 보조 정보이고 제2 진단 보조 정보는 뇌심혈관 질환과 관련된 진단 보조 정보일 수 있다.
대상 안구 이미지에 기초하여 복수의 진단 보조 정보를 획득하는 단계(S2300)는 제1 진단 보조 정보, 제2 진단 보조 정보 및 제3 진단 보조 정보를 획득하는 것을 포함할 수 있다. 대상 안구 이미지에 기초하여 복수의 진단 보조 정보를 획득하는 단계(S2300)는 전술한 제1 공통 부분, 제2 공통 부분, 제1 개별 부분, 제2 개별 부분 및 제3 개별 부분을 포함하는 진단 보조 신경망 모델을 통하여 제1 진단 보조 정보, 제2 진단 보조 정보 및 제3 진단 보조 정보를 획득하는 것을 포함할 수 있다.
대상 안구 이미지에 기초하여 복수의 진단 보조 정보를 획득하는 단계(S2300)는 전술한 제1 공통 부분, 제2 공통 부분 및 제1 개별 부분을 포함하는 제1 진단 보조 신경망 모델을 통하여 제1 진단 보조 정보를 획득하고, 제1 공통 부분, 제2 공통 부분 및 제2 개별 부분을 포함하는 제2 진단 보조 신경망 모델을 통하여 제2 진단 보조 정보를 획득하고, 제1 공통 부분 및 제3 개별 부분을 포함하는 제3 진단 보조 신경망 모델을 통하여 제3 진단 보조 정보를 획득하는 것을 포함할 수 있다.
복수의 진단 보조 정보를 획득하는 단계(S2300)는, 제1 공통 부분을 통하여 대상 안구 이미지에 기초하여 획득된 제1 특징 세트를 획득하는 것을 포함할 수 있다. 복수의 진단 보조 정보를 획득하는 단계(S2300)는, 제2 공통 부분을 통하여 제1 특징 세트에 적어도 일부 기초하여 제2 특징 세트를 획득하는 것을 포함할 수 있다. 복수의 진단 보조 정보를 획득하는 단계(S2300)는, 제2 특징 세트에 적어도 일부 기초하고 제1 개별 부분을 통하여 제1 진단 보조 정보를 획득하는 것을 포함할 수 있다. 복수의 진단 보조 정보를 획득하는 단계(S2300)는, 제2 특징 세트에 적어도 일부 기초하고 제2 개별 부분을 통하여 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다. 복수의 진단 보조 정보를 획득하는 단계(S2300)는, 제1 특징 세트에 적어도 일부 기초하고 제3 개별 부분을 통하여 제3 진단 보조 정보를 획득하는 것을 포함할 수 있다.
일 실시예에 따르면, 제1 내지 제3 진단 보조 정보는 하나의 질병에 대한 서로 다른 진단 보조 정보일 수 있다. 일 실시예에 따르면, 제1 내지 제3 진단 보조 정보는 서로 다른 질병에 대한 서로 다른 진단 보조 정보일 수 있다.
일 실시예에 따르면, 제1 진단 보조 정보는 제1 질병군에 속하는 제1 질병에 대한 진단 보조 정보이고, 제2 진단 보조 정보는 제1 질병군에 속하는 제2 질병에 대한 진단 보조 정보일 수 있다. 제3 진단 보조 정보는 제1 질병군과 구분되는 제2 질병군에 속하는 제3 질병에 대한 진단 보조 정보일 수 있다. 각 질병군은, 발병 부위에 따라 구분될 수 있다. 예컨대, 각 질병군은, 안질환군, 뇌심혈관 질병군, 순환계통 질병군, 소화기 질병군, 심폐기 질병군 중 어느 하나일 수 있다.
예를 들어, 제1 진단 보조 정보는 안질환군에 속하는 녹내장에 관련된 진단 보조 정보이고, 제2 진단 보조 정보는 안질환군에 속하는 황반변성에 관련된 진단 보조 정보이고, 제3 진단 보조 정보는 뇌심혈관질병군에 속하는 관상동맥질환에 관련된 진단 보조 정보일 수 있다.
일 실시예에 따르면, 제1 및 제2 진단 보조 정보는 제1 질병에 대한 서로 다른 진단 보조 정보일 수 있다. 제3 진단 보조 정보는 제1 질병과 다른 제2 질병에 대한 진단 보조 정보일 수 있다.
예를 들어, 제1 진단 보조 정보는 피검체의 당뇨망막증에 대한 위험 정도를 나타내는 진단 보조 정보이고, 제2 진단 보조 정보는 피검체의 당뇨망막증 해당 여부를 나타내는 진단 보조 정보이고, 제3 진단 보조 관상동맥질환에 관련된 진단 보조 정보일 수 있다.
또는, 제1 진단 보조 정보는 제1 질병에 대한 진단 보조 정보이고, 제2 진단 보조 정보는 제1 질병과 다른 제2 질병에 대한 진단 보조 정보이고, 제3 진단 보조 정보는 제1 및 제2 질병과 다른 제3 질병에 대한 진단 보조 정보일 수 있다.
예를 들어, 제1 진단 보조 정보는 녹내장에 관련된 진단 보조 정보이고, 제2 진단 보조 정보는 당뇨망막증과 관련된 진단 보조 정보이고, 제3 진단 보조 정보는 백내장과 관련된 진단 보조 정보일 수 있다.
예컨대, 동일 질병에 대한 진단 보조 정보 또는 동일 질병군에 대한 진단 보조 정보를 획득하는 진단 보조 신경망 모델 아키텍처들은, 다른 질병에 대한 진단 보조 정보를 획득하는 진단 보조 신경망 모델 아키텍처보다 공통되는 레이어가 많을 수 있다.
진단 보조 정보를 출력하는 단계(S2500)는 정보 처리 장치의 제어부 또는 서버가, 출력 수단을 통하여 진단 보조 정보를 출력하는 것을 포함할 수 있다. 진단 보조 정보의 출력은 전술한 사용자 인터페이스를 통하여 수행될 수 있다.
진단 보조 정보를 출력하는 단계(S2500)는 신경망 모델을 통하여 획득된 진단 보조 정보에 기초하여 획득된 출력 정보를 출력하는 것을 더 포함할 수 있다. 출력 정보는 진단 보조 정보를 가공하여 획득되고 사용자에게 제공되는 정보일 수 있다. 예컨대, 출력 정보는 진단 보조 정보에 기초하여 획득된 질병 위험 정도를 나타내기 위한 등급 정보 또는 위험 정도를 나타내는 이미지일 수 있다.
진단 보조 정보를 출력하는 단계(S2500)는 제1 진단 보조 정보 및 제2 진단 보조 정보를 출력하는 것을 포함할 수 있다. 진단 보조 정보를 출력하는 단계(S2500)는 제1 진단 보조 정보 및/또는 제2 진단 보조 정보 및/또는 제1 진단 보조 정보와 제2 진단 보조 정보에 기초하여 획득된 제3 진단 보조 정보를 출력하는 것을 포함할 수 있다. 예컨대, 진단 보조 정보를 출력하는 단계(S2500)는 관상동맥 질병 해당 확률을 지시하는 제1 진단 보조 정보 및 관상동맥 칼슘 스코어 추정값을 지시하는 제2 진단 보조 정보에 기초하여 획득되고, 관상동맥 CT 촬영 필요 여부를 나타내는 제3 진단 보조 정보를 출력하는 것을 포함할 수 있다.
도 71은 일 실시예에 따른 진단 보조 방법을 설명하기 위한 도면이다. 도 71을 참조하면, 일 실시예에 따른 진단 보조 방법은, 대상 안구 이미지를 획득하는 단계(S9100), 제1 특징 세트를 획득하는 단계(S9200), 제1 진단 보조 정보를 획득하는 단계(S9300) 및 제2 진단 보조 정보를 획득하는 단계(S9400)를 포함할 수 있다.
보다 구체적으로, 일 실시예에 따르면, 안구 이미지를 획득하는 안구 이미지 획득부 및 적어도 하나의 신경망 레이어를 포함하고 안구 이미지에 기초하여 진단 보조 정보를 획득하도록 학습된 신경망 모델을 이용하여 안구 이미지에 기초하여 진단 보조 정보를 획득하는 처리부를 포함하는 진단 보조 장치를 이용하여 진단을 보조하는 방법이 제공될 수 있다.
신경망 모델은, 안구 이미지에 기초하여 제1 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델 및 안구 이미지에 기초하여 제2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델을 포함할 수 있다.
제1 진단 보조 신경망 모델은 제1 공통 부분 및 제1 개별 부분을 포함하고, 제2 진단 보조 신경망 모델은 제1 공통 부분 및 제2 개별 부분을 포함할 수 있다.
진단 보조 방법은, 안구 이미지 획득부를 통하여 피검체의 안구로부터 획득된 대상 안구 이미지를 획득하는 단계(S9100), 처리부를 통하여, 제1 공통 부분을 통하여 대상 안구 이미지에 기초하여 제1 특징 세트를 획득하는 단계(S9200), 처리부를 통하여, 제1 개별 부분을 통하여 제1 특징 세트에 적어도 일부 기초하여 제1 진단 보조 정보를 획득하는 단계(S9300) 및 처리부를 통하여, 제2 개별 부분을 통하여 제1 특징 세트에 적어도 일부 기초하여 제2 진단 보조 정보를 획득하는 단계(S9400)를 포함할 수 있다.
제1 개별 부분은 제1 학습 데이터에 기초하여 학습되고, 제2 개별 부분은 제1 학습 데이터와 적어도 일부 상이한 제2 학습 데이터에 기초하여 학습될 수 있다.
제1 개별 부분은 안구 이미지 및 제1 라벨을 포함하는 제1 학습 데이터에 기초하여 학습될 수 있다. 제2 개별 부분은 안구 이미지 및 제2 라벨을 포함하는 제2 학습 데이터에 기초하여 학습될 수 있다. 제1 라벨 및 제2 라벨은 서로 다른 질병에 대한 정보를 포함할 수 있다. 예컨대, 제1 라벨은 피검체의 제1 안질환 대한 질병 유무를 나타내고, 제2 라벨은 피검체의 제2 안질환 대한 질병 유무를 나타낼 수 있다. 또는, 제1 라벨은 피검체의 제1 안질환에 대한 해당 여부를 나타내고, 제2 라벨은 피검체의 제1 뇌심혈관계 질환에 대한 해당 여부를 나타낼 수 있다.
일 실시예에 따르면, 제1 진단 보조 정보는 제1 안질환에 관련된 적어도 하나의 진단 보조 정보를 포함하고, 제2 진단 보조 정보는 제1 안질환과 다른 제2 안질환과 관련된 적어도 하나의 진단 보조 정보를 포함할 수 있다.
제1 진단 보조 정보는 제1 정보 및 제2 정보를 포함하고, 제1 개별 부분은 제2 공통 부분, 제1 서브 부분 및 제2 서브 부분을 포함할 수 있다.
도 72는 일 실시예에 따른 진단 보조 방법의 보다 상세한 일 예를 설명하기 위한 도면이다. 제1 진단 보조 정보를 획득하는 단계(S9300)는, 제2 공통 부분을 통하여, 제1 특징 세트에 적어도 일부 기초하여 제1 정보 및 제2 정보에 연관된 제2 특징 세트를 획득하는 단계(S9310), 제1 서브 부분을 통하여, 제2 특징 세트에 적어도 일부 기초하여 제1 정보를 획득하는 단계(S9330) 및 제2 서브 부분을 통하여, 제2 특징 세트에 적어도 일부 기초하여 제2 정보를 획득하는 단계(S9350)를 포함할 수 있다.
제1 정보 및 제2 정보는 인체의 제1 부분과 관련된 질환과 관련된 진단 보조 정보이고, 제2 진단 보조 정보는 인체의 제2 부분과 관련된 질환과 관련된 진단 보조 정보일 수 있다. 제2 부분은 제1 부분과 상이한 부분일 수 있다.
예컨대, 제1 부분은 안구이고 제1 정보는 안구 관련 질환에 대한 진단 보조 정보일 수 있다. 제2 부분은 심장이고 제2 정보는 심혈관계 질환에 대한 진단 보조 정보일 수 있다.
제1 진단 보조 정보는 안구 관련 질환들을 포함하는 제1 군 질환에 포함되는 질환과 관련된 진단 보조 정보를 포함할 수 있다. 제2 진단 보조 정보는 뇌심혈관계 질환들을 포함하는 제2 군 질환에 포함되는 질환과 관련된 진단 보조 정보를 포함할 수 있다. 제1 진단 보조 정보 또는 제2 진단 보조 정보는, 피검체에 대한 객체 정보를 나타내는 진단 보조 정보를 포함할수 있다.
제1 진단 보조 정보는 안질환에 관련된 적어도 하나의 진단 보조 정보를 포함하고, 제2 진단 보조 정보는 뇌심혈관계 질환에 관련된 적어도 하나의 진단 보조 정보를 포함할 수 있다.
일 실시예에 따르면, 제1 특징 세트 및/또는 제2 특징 세트는 적어도 하나의 특징 맵을 포함할 수 있다. 예컨대, 제1 특징 세트는 적어도 하나의 특징 맵을 포함하고, 제2 특징 세트는 적어도 하나의 특징 값을 포함할 수 있다. 제1 특징 세트 및/또는 제2 특징 세트는 안구 이미지에 포함된 요소에 대응되는 특징 맵 및/또는 특징 값을 포함할 수 있다.
한편, 처리부는, 대상 안구 이미지에 포함된 혈관을 강조하는 전처리를 수행하여 혈관 강조 안구 이미지를 획득하는 전처리부를 더 포함할 수 있다. 제1 특징 세트를 획득하는 단계는, 제1 공통 부분을 통하여 혈관 강조 안구 이미지에 기초하여 상기 제1 특징 세트를 획득하는 것을 더 포함할 수 있다.
한편, 진단 보조 방법은, 이를 수행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 형태로 제공될 수도 있다.
3. 직렬 연결 모델
일 실시예에 따르면, 복수의 신경망 모델이 직렬 연결된 형태의 진단 보조 신경망 모델이 제공될 수 있다. 이하에서는, 직렬 타입의 진단 보조 신경망 모델에 대하여 몇몇 실시예를 들어 설명한다.
3.1 직렬 진단 보조 신경망 모델의 구조
도 52는 일 실시예에 따른 직렬 진단 보조 신경망 모델을 설명하기 위한 도면이다. 도 52를 참조하면, 진단 보조 신경망 모델은 제1 서브 모델 및 제2 서브 모델을 포함할 수 있다.
제1 서브 모델은 안구 이미지를 포함하는 입력 데이터를 획득하고, 제1 출력(또는 중간 출력)을 획득할 수 있다.
제1 서브 모델은 안구 이미지 및/또는 그 외의 의료 진단용 이미지 및/또는 비-시각적 진단 보조 자료를 포함하는 입력 데이터를 획득할 수 있다. 입력 데이터는 안저 이미지, OCT 이미지, 홍채 이미지, 안구조영 이미지, 폐 CT 이미지, 폐 CT 이미지, 심장 CT 이미지, 폐 X-ray 이미지, 심장 X-ray 이미지, 신장 X-ray 이미지, 기타 단층 촬영 이미지, MRI 이미지 또는 X-ray 이미지를 포함할 수 있다. 입력 데이터는, 피검체의 나이, 키, 성별, 흡연 여부, 가족력 등을 나타내는 데이터를 포함할 수 있다.
제1 출력은 제1 서브 모델의 출력층에 의해 획득되는 값일 수 있다. 예컨대, 제1 서브 모델은 분류기 모델이고 제1 출력은 제1 서브 모델의 출력층의 복수 노드에서의 출력값을 포함할 수 있다. 또 예컨대, 제1 서브 모델은 회귀 모델이고 제1 출력은 제1 서브 모델에 의해 획득되는 수치를 포함할 수 있다.
제1 출력은, 제1 서브 모델의 일부 레이어에 의해 제공되는 값일 수 있다. 예컨대, 제1 출력은 제1 서브 모델의 출력층의 값에 기초하여 획득되는 값일 수 있다. 또는, 제1 출력은 제1 서브 모델의 은닉층의 값에 기초하여 획득되는 값일 수도 있다.
일 실시예에 따르면, 제1 출력은 제1 서브 모델의 출력층에서 활성화 함수에 의해 획득된 값일 수 있다. 제1 서브 모델의 출력층이 복수의 노드(또는 뉴런)를 포함하는 경우, 제1 출력은 복수의 노드 각각에 따른 출력 값 또는 각각의 출력 값에 기초하여 미리 정해진 함수(예컨대, 합산)를 통하여 획득되는 값을 포함할 수 있다.
활성화 함수는, 시그모이드 함수, 하이퍼볼릭탄젠트 함수, ReLu(Rectified Linear Unit) 함수, PReLu, Leaky ReLU 함수, 항등함수 (Identity Function), ELU(Exponential Linear Unit) 함수, Maxout 함수 중 어느 하나일 수 있다.
제1 출력은, 대상 질병과 관련된 특징 맵 또는 특징 값일 수 있다. 제1 출력은 대상 질병과 관련된 확률 맵, 샐리언시 맵, 히트 맵 등일 수 있다. 제2 서브 모델은 대상 질병과 관련된 특징맵 또는 특징 값에 기초하여 진단 보조 정보를 획득하도록 마련될 수 있다.
제1 출력은, 대상 질병과 관련된 확률 표현형일 수 있다. 예컨대, 대상 질병이 관상동맥 질환이고, 진단 보조 정보는 대상 관상동맥 질환과 관련된 수치 정보인 경우, 제1 출력은 안구 이미지에 기초하여 획득된 피검체의 대상 관상동맥 질환 해당 확률일 수 있다. 제2 서브 모델은 대상 질병과 관련된 확률 표현에 기초하여 대상 질병에 대한 진단 보조 정보를 획득하도록 마련될 수 있다.
제2 서브 모델은 제1 출력에 기초하여 제2 출력(또는 진단 보조 정보)를 획득할 수 있다. 제2 서브 모델은 제1 출력을 입력으로 하여 제2 출력을 획득하도록 학습된 진단 보조 신경망 모델일 수 있다. 제2 출력은 본 명세서에서 설명하는 다양한 형태의 진단 보조 정보일 수 있다.
도 53은, 일 실시예에 따른 진단 보조 신경망 모델을 보다 상세히 예시하기 위한 도면이다. 도 53을 참조하면, 일 실시예에 따른 진단 보조 신경망 모델은 복수의 레이어를 포함하는 제1 서브 모델 및 복수의 레이어를 포함하는 제2 서브 모델을 포함할 수 있다.
도 53을 참조하면, 제1 서브 모델은 복수의 합성곱 신경망 레이어를 포함할 수 있다. 제1 서브 모델은, 안구 이미지에 따른 입력 레이어인 제31 레이어(L31), 제31 레이어(L31)에 제1 합성곱 필터를 적용하여 획득된 제32 레이어(L32), 제32 레이어(L32)에 제2 합성곱 필터를 적용하여 획득된 제33 레이어(L33), 제33 레이어(L33)에 제3 합성곱 필터를 적용하여 획득된 제34 레이어(L34), 제34 레이어(L34)를 플래튼하여 획득되는 제35 레이어(L35), 제35 레이어(L35)에 포함된 노드와 전연결되는 제36레이어(L36), 제36레이어(L36)와 전연결되는 제37 레이어(L37) 및 제37 레이어(L37)에 전연결되고 활성화 함수가 적용되는 출력층인 제38 레이어(L38)를 포함할 수 있다. 제38 레이어(L38)는 제1 출력, 예컨대, 대상 질병과 관련된 확률 출력을 제공할 수 있다. 제1 서브 모델은 도 53에서 예시하는 것보다 많거나 적은 수의 레이어를 포함할 수 있다.
도 53을 참조하면, 제2 서브 모델은, 제1 서브 모델에 의해 제공되는 제1 출력을 포함하는 입력 레이어인 제41 레이어(L41), 제41 레이어와 전연결되는 제42 레이어(L42), 제42 레이어(L42)와 전연결되는 제43 레이어(L43), 및 제43 레이어와 전연결되는 제44 레이어(L44), 제44 레이어(L44)와 전연결되는 제45 레이어(L45) 및 제45 레이어(L45)와 전연결되고 활성화 함수가 적용되는 출력층인 제46 레이어(L46)을 포함할 수 있다. 제46 레이어(L46) 레이어는 제2 출력, 예컨대, 대상 질병과 관련된 수치 정보, 위험도 정보 등을 출력할 수 있다. 제2 서브 모델은 도 53에서 예시하는 것보다 많거나 적은 수의 레이어를 포함할 수 있다.
도 54는 일 실시예에 따른 직렬 진단 보조 신경망 모델을 설명하기 위한 도면이다. 도 54를 참조하면, 진단 보조 신경망 모델은 제1 서브 모델 및 제2 서브 모델을 포함할 수 있다.
제1 서브 모델은 안구 이미지를 포함하는 입력 데이터를 획득하고, 제1 출력(중간 출력)을 획득할 수 있다. 제2 서브 모델은 제1 출력 및 제2 입력에 기초하여 진단 보조 정보를 획득할 수 있다.
제2 입력은, 제1 입력과 동일한 입력 데이터일 수 있다. 예컨대, 제1 서브 모델은 안구 이미지에 기초하여 제1 출력을 획득하고, 제2 서브 모델은 제1 출력 및 안구 이미지에 기초하여 진단 보조 정보를 획득할 수 있다.
제2 입력은 제1 입력에 기초하여 획득된 입력 데이터일 수 있다. 예컨대, 제2 입력은 안구 이미지에 이미지 처리를 수행하여 획득된 입력 데이터일 수 있다. 예컨대, 제2 입력은 흑백 처리된 안구 이미지, 혈관이 강조된 안구 이미지, 안구 이미지로부터 추출된 혈관 이미지 또는 혈관이 제거된 안구 이미지일 수 있다.
제2 입력은 제1 입력과 적어도 일부 상이한 입력 데이터일 수 있다.
제2 입력은 제1 입력과 다른 이미지 데이터일 수 있다. 제2 입력은 안저 이미지, OCT 이미지, 홍채 이미지, 안구조영 이미지, 폐 CT 이미지, 폐 CT 이미지, 심장 CT 이미지, 폐 X-ray 이미지, 심장 X-ray 이미지, 신장 X-ray 이미지, 기타 단층 촬영 이미지, MRI 이미지 또는 X-ray 이미지를 포함할 수 있다.
제2 입력은 피검체에 관한 비-시각적 정보를 포함할 수 있다. 예컨대, 제1 서브 모델은 안구 이미지에 기초하여 대상 질병에 관한 제1 출력을 획득하고, 제2 서브 모델은 제1 출력 및 피검체의 객체 정보(피검체의 나이, 성별, 흡연 여부 등)에 기초하여 진단 보조 정보를 획득할 수 있다. 제2 입력은 피검체의 나이, 키, 성별, 흡연 여부, 가족력 등을 나타내는 데이터를 포함할 수 있다.
도 55는, 일 실시예에 따른 진단 보조 신경망 모델을 보다 상세히 예시하기 위한 도면이다. 도 55를 참조하면, 제1 서브 모델은 안구 이미지에 기초하여 생성된 제1 입력 레이어(Li1), 복수의 합성곱 신경망 레이어, 복수의 전연결 레이어 및 제1 출력 레이어(Lo1)를 포함할 수 있다. 각 레이어에 대하여는 전술한 실시예의 내용이 유사하게 적용될 수 있다.
도 55를 참조하면, 제2 서브 모델은 입력 레이어(Li2) 및 출력 레이어(Lo2)를 포함할 수 있다. 도 55를 참조하면, 제2 서브 모델은 복수의 노드를 포함하는 제1 입력 레이어(Li2), 복수의 전연결 신경망 및 제2 출력 레이어(Lo2)를 포함하고, 제1 서브 모델의 제1 출력 레이어(Lo1)에 적어도 일부 기초하여 진단 보조 정보를 획득할 수 있다.
제2 서브 모델의 제2 입력 레이어(Li2)는 제1 서브 모델의 제1 출력 레이어(Lo1)에 의해 획득되는 제1 출력에 기초하여 마련될 수 있다. 제2 입력 레이어(Li2)는 제1 출력 레이어(Lo1)에 의해 획득되는 제1 출력에 대응되는 노드를 포함할 수 있다. 제1 출력에 대응되는 노드는 제1 출력 값을 입력 값으로 가질 수 있다.
제2 입력 레이어(Li2)는 제1 출력 레이어(Lo1)에 의해 획득되는 제1 출력 및 제2 입력을 입력으로 획득할 수 있다. 제2 입력 레이어(Li2)는 복수의 입력 값을 획득하고, 복수의 입력 값은 제1 서브 모델을 구성하는 복수 레이어 중 어느 하나로부터 획득되는 특징 값 또는 특징 맵에 기초하여 획득되는 적어도 하나의 특징 값을 포함할 수 있다.
제2 출력 레이어(Lo2)는 제1 출력 레이어(Lo1)로부터 획득된 정보에 적어도 일부 기초하여, 진단 보조 정보를 획득할 수 있다. 제2 출력 레이어(Lo2)는 하나 이상의 노드를 포함하고 활성화 함수를 통하여 하나 이상의 출력 값을 획득할 수 있다.
한편 도 55에서는, 제1 서브 모델이 안구 이미지에 기초하여 제1 출력을 획득하고, 제2 서브 모델이 제1 출력 및 비-시각적 정보에 기초하여 진단 보조 정보를 획득하는 경우를 기준으로 설명하였으나, 본 명세서에서 설명하는 발명이 이에 한정되지는 아니한다. 예컨대, 일 실시예에 따른 진단 보조 신경망 모델은, 제1 서브 모델이 비-시각적 정보에 기초하여 제1 출력을 획득하고, 제2 서브 모델이 제1 출력 및 안구 이미지에 기초하여 진단 보조 정보를 획득하도록 마련될 수 있다.
도 56은 일 실시예에 따른 직렬 진단 보조 신경망 모델을 설명하기 위한 도면이다. 도 56을 참조하면, 진단 보조 신경망 모델은 제1 서브 모델 및 제2 서브 모델을 포함할 수 있다.
도 54와 비교하면, 진단 보조 신경망 모델에 의하여, 제1 서브 모델에 의해 획득된 제1 진단 보조 정보가 더 획득될 수 있다. 진단 보조 신경망 모델은, 중간 진단 보조 정보 및 중간 진단 보조 정보에 기초하여 획득된 2차 진단 보조 정보를 획득할 수 있다.
진단 보조 신경망 모델은 제1 진단 보조 정보 및 제2 진단 보조 정보를 획득할 수 있다. 제1 서브 모델은 안구 이미지를 포함하는 입력 데이터를 획득하고, 제1 출력(제1 진단 보조 정보 또는 중간 출력)을 획득할 수 있다. 진단 보조 신경망 모델은 제1 출력에 기초하여 제1 진단 보조 정보를 획득할 수 있다. 제2 서브 모델은 제1 출력에 적어도 일부 기초하여 제2 진단 보조 정보를 획득할 수 있다. 진단 보조 신경망 모델은 제1 출력에 적어도 일부 기초하고, 안구 이미지로부터 추출된 다른 정보를 함께 고려하여 제2 진단 보조 정보를 획득할 수 있다.
제1 진단 보조 정보 및 제2 진단 보조 정보는 동일한 대상 질병에 대한 진단 보조 정보일 수 있다. 제1 진단 보조 정보는 안구 이미지에 기초하여 (임상적으로 또는 기계 학습된 모델을 통하여)획득될 수 있는 진단 보조 정보, 예컨대, 안질환 유무, 혈관 이상, 심혈관 질병 유무 등에 확률 표현일 수 있다.
제2 진단 보조 정보는 제1 진단 보조 정보 보다 상세한 진단 보조 정보를 나타낼 수 있다. 예컨대, 제2 진단 보조 정보는 제1 진단 보조 정보와 동일한 대상 질병에 대하여, 대상 질병에 대한 위험도를 나타내는 등급 정보 내지 대상 질병과 관련된 점수를 나타내는 점수 정보를 포함할 수 있다.
제2 진단 보조 정보는 제1 진단 보조 정보와 연관되되, 이미지 외의 정보를 더 고려하여 획득될 수 있는 진단 보조 정보, 예컨대, 안질환 진행 정도, 당뇨 망막증 진행 정도, 관상동맥 칼슘 스코어 등을 포함할 수 있다.
한편, 제1 진단 보조 정보와 제2 진단 보조 정보는 서로 다른 질병에 대한 진단 보조 정보일 수 있다. 제1 진단 보조 정보와 제2 진단 보조 정보는 동일 군에 속하는 서로 다른 질병에 대한 진단 보조 정보일 수 있다. 예컨대, 제1 진단 보조 정보는 안질환군에 속하는 녹내장과 관련된 진단 보조 정보이고 제2 진단 보조 정보는 안질환군에 속하는 황반 변성과 관련된 진단 보조 정보일 수 있다. 예컨대, 제1 진단 보조 정보는 안질환군에 속하는 드루젠과 관련된 진단 보조 정보이고 제2 진단 보조 정보는 안질환군에 속하는 당뇨 망막증과 관련된 진단 보조 정보일 수 있다.
제1 진단 보조 정보와 제2 진단 보조 정보는 서로 다른 군에 속하는 서로 다른 질병에 대한 진단 보조 정보일 수 있다. 예컨대, 제1 진단 보조 정보는 안질환군에 속하는 황반 변성 또는 드루젠 등과 관련된 진단 보조 정보이고, 제2 진단 보조 정보는 뇌심혈관계 질환군에 속하는 고지혈증에 관련된 진단 보조 정보일 수 있다.
도 57은, 일 실시예에 따른 진단 보조 신경망 모델을 보다 상세히 예시하기 위한 도면이다. 도 57에 관하여, 특별한 설명이 없는 한 도 53 및 도 55의 내용이 유사하게 적용될 수 있다.
도 57을 참조하면, 진단 보조 신경망 모델은 제1 서브 모델의 제1 출력 레이어(Lo1)을 통하여 제1 진단 보조 정보를 획득하고, 제2 서브 모델의 제2 출력 레이어(Lo2)를 통하여 제2 진단 보조 정보를 획득할 수 있다. 제2 서브 모델은 제1 진단 보조 신경망 모델을 통하여 획득되는 제1 진단 보조 정보에 기초하여 제2 진단 보조 정보를 획득할 수 있다. 또는, 제2 서브 모델은 제1 진단 보조 신경망 모델을 통하여 획득되는 제1 출력에 기초하여 제2 진단 보조 정보를 획득할 수 있다. 제1 진단 보조 정보는 제1 출력에 소정의 함수를 적용하여 획득될 수 있다.
도 57에서는, 제2 서브 모델의 제2 입력 레이어(Li2)의 노드 수가 제1 출력 레이어(Lo1)의 노드 수와 대응되는 경우를 기준으로 설명하였으나, 이는 필수적인 것은 아니다. 예컨대, 도 57에서와 같이 제1 진단 보조 정보를 출력 진단 보조 정보로 이용하는 경우에도, 제2 입력 레이어(Li2)는, 도 55에서 도시한 바와 같이 제1 출력 레이어(Lo1)에 대응되는 노드 외에 추가적인 노드를 더 포함할 수도 있다.
위 실시예들에서는, 진단 보조 신경망 모델이 제1 서브 모델 및 제2 서브 모델을 가지는 경우를 기준으로 설명하였으나, 진단 보조 신경망 모델은 더 많은 수의 서브 모델을 포함할 수도 있다. 또한, 각 서브 모델은 전술한 병렬 연결 또는 직렬 연결을 통하여 연결될 수 있다.
3.2 직렬 진단 보조 신경망 모델의 학습
본 명세서에서 설명하는 발명의 일 실시예에 따르면, 안구 이미지 학습 데이터를 통하여 전술한 직렬 연결된 서브 모델을 가지는 진단 보조 신경망 모델을 학습하는 방법이 제공될 수 있다.
이하에서, 특별한 설명이 없는 한 전술한 트레이닝 프로세스의 내용이 유사하게 적용될 수 있다. 예컨대, 이하에서 설명되는 직렬 진단 보조 신경망 모델의 학습 프로세스에서는, 전술한 이미지 리사이징, 전처리, 어그멘테이션 등의 데이터 가공 프로세스가 이용될 수 있다. 또한, 이하에서 설명되는 복수 진단 보조 정보를 예측하는 신경망 모델의 학습 프로세스에서는, 전술한 신경망 모델의 학습 프로세스, 테스트, 앙상블 등이 준용될 수 있다.
이하에서는 복수의 진단 보조 정보를 예측하는 신경망 모델의 학습 방법에 대하여 몇몇 실시예를 들어 설명한다.
도 58은 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다. 도 58에서 도시하는 진단 보조 신경망 모델의 학습 방법은, 정보 처리 장치 또는 정보 처리 장치의 제어부에 의해 수행될 수 있다. 이하에서는, 도 52에서 예시하는, 제1 서브 모델 및 제2 서브 모델을 포함하는 진단 보조 신경망 모델의 학습 방법에 대하여 설명한다.
도 58을 참조하면, 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법은, 데이터 세트를 획득하는 단계(S3100), 진단 보조 정보를 획득하는 단계(S3300), 진단 보조 신경망 모델을 갱신하는 단계(S3500)를 포함할 수 있다.
데이터 세트를 획득하는 단계(S3100)는 제1 서브 모델 및/또는 제2 서브 모델의 학습에 필요한 하나 이상의 학습 데이터 세트를 획득하는 것을 포함할 수 있다. 안구 이미지 학습 데이터는 복수의 안구 이미지 데이터를 포함할 수 있다. 안구 이미지 학습 데이터는 도 47과 관련하여 전술한 실시 예들에 따른 형태로 마련될 수 있다.
안구 이미지 데이터는 안구 이미지 및 안구 이미지에 대응되는 제1 라벨을 포함할 수 있다. 제1 라벨은 제1 서브 모델에 의해 획득되는 제1 진단 보조 정보에 대응되는 라벨일 수 있다. 예컨대, 제1 라벨은 안구 이미지에 대응되는 피검체의 대상 안질환 위험 등급을 나타내는 등급 라벨일 수 있다. 이때, 진단 보조 정보는 피검체의 대상 안질환에 대한 위험 등급 정보를 포함할 수 있다.
안구 이미지 데이터는 안구 이미지 및 안구 이미지에 대응되는 제2 라벨을 포함할 수 있다. 제2 라벨은 제2 서브 모델에 의해 획득되는 제2 출력에 대응되는 라벨일 수 있다. 예컨대, 제2 라벨은 피검체의 대상 안질환 해당 여부를 나타낼 수 있다. 이때, 제1 출력은 피검체의 해당 안질환 대한 해당 여부에 대한 확률 표현을 포함할 수 있다.
안구 이미지 학습 데이터는 안구 이미지 외의 데이터를 더 포함할 수 있다. 안구 이미지 학습 데이터는 비-시각적 객체 정보를 더 포함할 수 있다. 비-시각적 객체 정보는, 피검체의 나이, 성별, 흡연 여부, 대상 질병이 아닌 타 질병 해당 여부, 대상 질병에 대한 가족력 유무, 고혈압 유무 등의 정보를 포함할 수 있다.
데이터 세트를 획득하는 단계(S3100)는 제1 학습 데이터 세트 및 제2 학습 데이터 세트를 획득하는 것을 포함할 수 있다. 안구 이미지 데이터 세트를 획득하는 단계(S3100)는 복수의 제1 라벨이 부여된 안구 이미지를 포함하는 제1 안구 이미지 데이터 세트 및 복수의 제2 라벨이 부여된 안구 이미지를 포함하는 제2 안구 이미지 데이터 세트를 획득하는 것을 포함할 수 있다. 이때, 제1 안구 이미지 데이터 세트 및 제2 안구 이미지 데이터 세트에 포함되는 안구 이미지는 적어도 일부 구별될 수 있다.
구체적인 예로, 데이터 세트를 획득하는 단계(S3100)는, 제1 피검체 군(group)에 대한 제1 안질환 해당 여부를 나타내는 제1 라벨이 부여된 복수의 안구 이미지를 포함하는 제1 안구 이미지 데이터 세트 및 제2 피검체 군에 대한 제2 안질환 해당 여부를 나타내는 제2 라벨이 부여된 복수의 안구 이미지를 포함하는 제2 안구 이미지 데이터 세트를 획득하는 것을 포함할 수 있다. 제2 피검체 군 및 제2 피검체 군은 적어도 일부 상이할 수 있다.
또는, 데이터 세트를 획득하는 단계(S3100)는 복수의 제1 라벨 및 제2 라벨이 부여된 안구 이미지 데이터 세트를 획득하는 것을 포함할 수 있다.
구체적인 예로, 안구 이미지 데이터 세트를 획득하는 단계(S3100)는 제1 피검체 군에 대한 제1 안질환 해당 여부를 나타내는 제1 라벨 및 제2 안질환 해당 여부를 나타내는 제2 라벨이 부여된 안구 이미지를 포함하는 안구 이미지 데이터 세트를 획득하는 것을 포함할 수 있다.
위 실시예들에서는 제1 라벨이 제1 안질환에 관련되고 제2 라벨이 제2 안질환에 관련된 경우를 예로 들어 설명하였으나, 이는 필수적인 구성은 아니며, 각 라벨은 안질환 외의 질병, 예컨대 뇌심혈관계 질병에 관련된 라벨일 수 있다.
데이터 세트를 획득하는 단계(S3100)는, 제2 라벨이 부여된 제1 정보(제1 서브 모델에 의해 획득되고 제2 서브 모델에 입력으로 이용되는 제1 진단 보조 정보에 대응되는 정보)를 포함하는 제1 정보 데이터 세트를 획득하는 것을 포함할 수 있다. 제1 정보 데이터 세트는 제2 서브 모델의 학습에 이용될 수 있다. 구체적인 예로, 제1 서브 모델에 의해 획득되는 진단 보조 정보가 피검체의 관상동맥질환 해당 여부(또는 그 확률)를 나타내는 제1 정보인 경우, 제1 정보 데이터 세트는, 피검체의 관상동맥질환 해당 여부 및 피검체의 관상동맥 칼슘 스코어가 매칭된 단위 데이터를 복수 개 포함하는 학습 데이터일 수 있다. 제1 정보 데이터 세트에 포함되는 피검체의 관상동맥질환 해당 여부는 제1 서브 모델에 의해 획득되거나 실제 진단을 통하여 획득된 정보일 수 있다.
진단 보조 정보를 획득하는 단계(S3300)는 제1 진단 보조 정보 및/또는 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다. 진단 보조 정보를 획득하는 단계(S3300)는 제1 서브 모델을 통하여 안구 이미지에 기초하여 제1 진단 보조 정보를 획득하는 것을 포함할 수 있다. 진단 보조 정보를 획득하는 단계(S3300)는 안구 이미지 및 비-시각적 객체 정보에 기초하여 제1 진단 보조 정보를 획득하는 것을 포함할 수 있다. 진단 보조 정보를 획득하는 단계(S3300)는 안구 이미지 및 다른 의료 이미지에 기초하여 제1 진단 보조 정보를 획득하는 것을 포함할 수 있다.
진단 보조 정보를 획득하는 단계(S3300)는 제1 진단 보조 정보에 적어도 일부 기초하고 제2 서브 모델을 통하여 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다. 진단 보조 정보를 획득하는 단계(S3300)는 제1 진단 보조 정보 및 비-시각적 객체 정보에 기초하여 2 서브 모델을 통하여 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다. 진단 보조 정보를 획득하는 단계(S3300)는 제1 진단 보조 정보 및 다른 의료 이미지에 기초하여 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다.
진단 보조 신경망 모델을 갱신하는 단계(S3500)는 제1 서브 모델 및/또는 제2 서브 모델을 갱신하는 것을 포함할 수 있다. 이하에서, 신경망 모델의 전부 또는 일부를 갱신/학습하는 것은, 주어진 라벨과 모델을 통하여 획득된 정보를 비교하고 그 오차에 따라 역전파를 수행하여, 모델의 전부 또는 일부 가중치 값들을 최적화함으로써 수행할 수 있다.
도 59는 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다. 도 59를 참조하면, 제1 서브 모델 및 제2 서브 모델은 함께 학습될 수 있다.
도 59를 참조하면, 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법의 신경망 모델 갱신 단계(S3500)는, 제2 서브 모델을 갱신하는 단계(S3510) 및 제1 서브 모델을 갱신하는 단계(S3520)를 포함할 수 있다.
제2 서브 모델을 갱신하는 단계(S3510)는 제2 진단 보조 정보 및 제2 라벨의 차이에 기초하여 제2 서브 모델의 파라미터를 갱신하는 것을 포함할 수 있다. 제2 서브 모델을 갱신하는 단계(S3510)는 제1 라벨 및 제2 라벨이 부여된 안구 이미지에 기초하여 획득된 제1 진단 보조 정보에 기초하여 획득된 제2 진단 보조 정보 및 제2 라벨을 비교하여 제2 서브 모델을 갱신하는 것을 포함할 수 있다. 제2 서브 모델을 갱신하는 단계(S3510)는 제2 라벨이 부여된 안구 이미지에 기초하여 획득된 제2 진단 보조 정보 및 제2 라벨을 비교하여 제2 서브 모델을 갱신하는 것을 포함할 수 있다.
제1 서브 모델을 갱신하는 단계(S3520)는 제1 진단 보조 정보 및 제1 라벨의 차이에 기초하여 제1 서브 모델의 파라미터를 갱신하는 것을 포함할 수 있다. 제1 서브 모델을 갱신하는 것은 제2 진단 보조 정보 및 제2 라벨의 차이를 더 고려하여 제1 서브 모델의 파라미터를 갱신하는 것을 포함할 수 있다. 제1 서브 모델을 갱신하는 것은 제1 라벨 및 제2 라벨이 부여된 안구 이미지에 기초하여 획득된 제1 진단 보조 정보에 기초하여 획득된 제2 진단 보조 정보 및 제2 라벨을 비교하여 제1 서브 모델을 갱신하는 것을 포함할 수 있다.
도 60은 다른 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다. 일 실시예에 따르면, 진단 보조 신경망 모델을 구성하는 각 서브 모델은 순차적으로 또는 개별적으로 학습될 수 있다.
도 60을 참조하면, 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법은 안구 이미지 데이터 세트를 획득하는 단계(S3010), 제1 서브 모델을 학습하는 단계(S3020) 및 제2 서브 모델을 학습하는 단계(S3030)를 포함할 수 있다. 안구 이미지 데이터 세트에 대하여는 전술한 내용이 적용될 수 있다.
제1 서브 모델을 학습하는 단계(S3020)는 제1 서브 모델이 소정의 정확도를 만족하도록 학습하는 것을 포함할 수 있다. 제1 서브 모델을 학습하는 것은 제1 라벨 및 제1 진단 보조 정보의 차이에 기초하여 제1 서브 모델의 파라미터를 갱신하는 것을 반복 수행하는 것을 포함할 수 있다.
제1 서브 모델을 학습하는 것은 안구 이미지 및 안구 이미지에 대응되는 제1 라벨을 포함하는 안구 이미지 학습 데이터를 이용하여 제1 서브 모델을 학습하는 것을 포함할 수 있다. 제1 서브 모델을 학습하는 것은 안구 이미지 및 안구 이미지에 대응되는 제1 라벨 및 제2 라벨을 포함하는 안구 이미지 학습 데이터를 이용하여 제1 서브 모델을 학습하는 것을 포함할 수 있다.
제1 서브 모델을 학습하는 것은, 제1 서브 모델의 정확도가 임계치 이상이 되거나 학습 데이터가 소진될 때까지 제1 서브 모델의 파라미터 갱신을 반복하는 것을 포함할 수 있다.
제2 서브 모델을 학습하는 단계(S3030)는 제1 서브 모델이 소정의 정확도를 만족하도록 학습하고, 제2 서브 모델이 소정의 정확도를 만족하도록 학습하는 것을 포함할 수 있다. 제2 서브 모델을 학습하는 것은 제2 서브 모델의 정확도가 임계치 이상이 되거나 학습 데이터가 소진될 때까지 제2 서브 모델의 파라미터 갱신을 반복하는 것을 포함할 수 있다.
제2 서브 모델을 학습하는 것은, 안구 이미지 및 안구 이미지에 부여된 제2 라벨을 포함하는 안구 이미지 학습 데이터를 통하여 수행될 수 있다. 제2 서브 모델을 학습하는 것은, 안구 이미지 및 안구 이미지에 부여된 제1 라벨 및 제2 라벨을 포함하는 안구 이미지 학습 데이터를 통하여 수행될 수 있다. 제2 서브 모델을 학습하는 것은 안구 이미지에 기초하여 제2 서브 모델을 통하여 획득된 제2 진단 보조 정보 및 제2 라벨의 차이에 기초하여 제2 서브 모델의 파라미터를 갱신하는 것을 포함할 수 있다.
제2 서브 모델을 학습하는 것은, 제1 정보 및 제1 정보에 매칭된 제2 라벨을 포함하는 제1 정보 데이터 세트를 이용하여 수행될 수 있다. 제2 서브 모델을 학습하는 것은 제1 정보에 기초하여 획득된 제2 진단 보조 정보 및 제2 라벨의 오차에 기초하여 제2 서브 모델의 파라미터를 갱신하는 것을 포함할 수 있다.
제2 서브 모델을 학습하는 것은 제2 서브 모델을 제1 서브 모델에 의해 획득되는 제1 출력에 대응되는 제1 라벨에 기초하여 제2 진단 보조 정보를 획득하도록 학습시키는 것을 포함할 수 있다.
제2 서브 모델을 학습하는 것은, 제1 서브 모델 및 제2 서브 모델이, 안구 이미지에 기초하여 제2 진단 보조 정보를 획득하도록 학습하는 것을 포함할 수 있다.
3.3 직렬 진단 보조 신경망 모델을 통한 진단 보조
본 명세서에서 설명하는 발명의 일 실시예에 따르면, 직렬 연결된 서브 모델을 포함하는 진단 보조 신경망 모델을 통한 진단 보조 방법이 제공될 수 있다.
도 61을 참조하면, 일 실시예에 따른 진단 보조 방법은 입력 데이터를 획득하는 단계(S4100), 제1 진단 보조 정보를 획득하는 단계(S4200) 및 제2 진단 보조 정보를 획득하는 단계(S4300)를 포함할 수 있다.
입력 데이터를 획득하는 단계(S4100)는 피검체의 안구 이미지를 획득하는 것을 포함할 수 있다. 입력 데이터를 획득하는 단계(S4100)는 피검체의 안구 외 신체 부위에 대한 의료 이미지를 획득하는 것을 더 포함할 수 있다. 입력 데이터를 획득하는 단계(S4100)는 피검체에 대한 비-시각적 정보를 획득하는 것을 더 포함할 수 있다. 입력 데이터를 획득하는 단계(S4100)는 피검체의 안구 이미지에 대하여 진단 보조 정보 획득에 필요한 전처리를 수행하는 것을 더 포함할 수 있다.
제1 진단 보조 정보를 획득하는 단계(S4200)는 안구 이미지에 기초하고 제1 서브 모델을 통하여 피검체에 대한 제1 진단 보조 정보를 획득하는 것을 포함할 수 있다. 제1 진단 보조 정보를 획득하는 것은, 제1 질병과 관련된 진단 보조 정보를 획득하는 것일 수 있다. 예를 들어, 제1 진단 보조 정보를 획득하는 것은, 안구 이미지에 기초하여 피검체의 대상 심혈관 질병 보유 확률을 나타내는 제1 진단 보조 정보를 획득하는 것을 포함할 수 있다.
제2 진단 보조 정보를 획득하는 단계(S4300)는 제1 진단 보조 정보에 기초하고 제2 서브 모델을 통하여 피검체에 대한 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다.
제2 진단 보조 정보를 획득하는 것은, 제1 질병과 관련되고 제1 진단 보조 정보와 다른 진단 보조 정보를 획득하는 것을 포함할 수 있다. 예를 들어, 제1 진단 보조 정보를 획득하는 것은 피검체의 대상 심혈관 질병 보유 확률을 나타내는 제1 진단 보조 정보를 획득하는 것을 포함하고, 제2 진단 보조 정보를 획득하는 것은, 피검체의 대상 심혈관 보유 확률을 나타내는 제1 진단 보조 정보에 기초하여 피검체의 대상 심혈관 질병 보유 여부와 관련된 점수(예컨대, 관상 동맥 칼슘 스코어)를 나타내는 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다.
또는, 제2 진단 보조 정보를 획득하는 것은, 제1 질병과 다른 제2 질병과 관련된 진단 보조 정보를 획득하는 것을 포함할 수 있다. 예를 들어, 제1 진단 보조 정보를 획득하는 것은 피검체의 대상 안질환 보유 여부를 나타내는 제1 진단 보조 정보를 획득하는 것을 포함하고, 제2 진단 보조 정보를 획득하는 것은 피검체의 뇌심혈관계 질환 보유 여부를 나타내는 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다.
일 실시예에 따르면 입력 데이터는 안구 이미지 외의 데이터를 더 포함할 수 있다. 예컨대, 입력 데이터는 안구 이미지 및 비-시각적 데이터를 더 포함할 수 있다. 비-시각적 데이터는 본 명세서에서 예시하는 비-시각적 객체 정보, 예컨대 피검체의 성별, 나이 등일 수 있다.
제1 진단 보조 정보를 획득하는 단계(S4200)는 안구 이미지 및 비-시각적 데이터에 기초하고 제1 서브 모델을 통하여 피검체에 대한 제1 진단 보조 정보를 획득하는 것을 포함할 수 있다.
제2 진단 보조 정보를 획득하는 단계(S4300)는 제1 진단 보조 정보 및 비-시각적 데이터에 기초하고 제2 서브 모델을 통하여 피검체에 대한 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다. 예컨대, 제2 진단 보조 정보를 획득하는 것은, 피검체의 대상 심혈관 보유 확률을 나타내는 제1 진단 보조 정보 및 피검체의 나이, 성별 및/또는 흡연 여부에 기초하여 피검체의 대상 심혈관 질병 보유 여부와 관련된 점수(예컨대, 관상 동맥 칼슘 스코어)를 나타내는 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다.
이상에서 설명한 진단 보조 신경망 모델을 통한 진단 보조에 대하여, 이하에서 구체적인 실시 예를 들어 상세히 설명한다.
4. 뇌심혈관계 질병 진단 보조
본 명세서에서 설명하는 다양한 형태의 진단 보조 신경망 모델은 뇌심혈관계 질병의 진단 보조에 이용될 수 있다. 이하에서 설명되는 뇌심혈관계 질병은 심근 경색(heart attack) 또는 협심증(angina) 등의 관상동맥 질환, 심장 동맥병, 허혈성 심장 질환, 울혈성 심부전, 말초 혈관 질환, 심장 마비, 심장 판막 질환, 뇌혈관 질환(예컨대, 뇌졸중, 뇌경색, 뇌출혈 또는 일과성 허혈 발작) 및 신장 혈관 질환 등을 포함하는 뇌, 심장 내지 혈관과 관련된 질환을 의미할 수 있다. 심혈관 질병은 합병증을 동반할 수 있다. 예컨대, 심혈관 질환은 심장 마비, 심부전, 뇌졸중, 동맥류, 말초동맥 질환, 신부전, 치매 또는 피부 궤양을 합병증으로 동반할 수 있다. 본 명세서에서 설명하는 심혈관 계통 질병은 이러한 합병증을 의미할 수도 있다.
이하에서, 특별한 설명이 없는 한, 본 명세서 전반에 걸쳐 설명되는 진단 보조 신경망 모델, 진단 보조 신경망 모델의 학습 방법 또는 진단 보조 신경망 모델을 이용한 진단 보조 방법에 대한 내용이 유사하게 적용될 수 있다.
이하에서는, 뇌심혈관계 질병의 진단 보조를 위한 진단 보조 신경망 모델의 학습 및 학습된 진단 보조 신경망 모델을 통한 뇌심혈관계 질병의 진단 보조에 대하여 설명한다.
4.1 뇌심혈관계 질병 진단 보조 신경망 모델 구조
일 실시예에 따르면, 뇌심혈관계 질병 진단 보조 신경망 모델은, 전술한 합성곱 신경망 및 전연결 신경망을 포함하고, 안구 이미지에 기초하여 뇌심혈관계 질병과 관련된 진단 보조 정보를 획득할 수 있다.
뇌심혈관계 질병 진단 보조 신경망 모델은 피검체의 안구 이미지 및/또는 피검체의 안구 외 신체 부위의 의료 이미지 및/또는 피검체의 신체 정보에 기초하여 피검체에 대한 뇌심혈관계 질병과 관련된 진단 보조 정보를 획득할 수 있다. 뇌심혈관계 질병과 관련된 진단 보조 정보는, 뇌심혈관계 질병과 관련된 파라미터 값, 뇌심혈관계 질병의 위험도를 지시하는 등급 또는 뇌심혈관계 질병의 유무 정보를 포함할 수 있다.
뇌심혈관계 질병의 진단을 보조하는 점수는 피검체로부터 측정될 수 있는 점수 또는 피검체로부터 측정된 값들 및/또는 피검체의 개인 정보를 조합하여 계산된 점수 등일 수 있다. 뇌심혈관계 질병의 진단을 보조하는 점수는 심장 석회화 정도를 나타내는 심장 석회화 지수, 관상동맥 칼슘 점수, 동맥 경화 위험 점수, 경동맥 내중막 두께(Carotid Intima-Media Thickness, CIMT) 값, 프래밍험(Framingham) 관상동맥 위험 점수, 프래밍험 위험 점수에 포함되는 적어도 하나의 인자의 값, QRISK 점수, ASCVD(Atherosclerotic Cardiovascular Disease)에 따른 값, SCORE(European Systematic Coronary Risk Evaluation)에 따른 점수 중 어느 하나일 수 있다.
관상동맥 칼슘 점수(또는 심장 석회화 지수)의 경우, 관상 동맥(Coronary artery)의 석회화에 대한 판단 지표로 이용될 수 있다. 혈관 내에 플라크(plaque)가 축적됨에 따라 관상동맥(Coronary artery)이 석회화되면, 심장 혈관 벽이 좁아지게 되면서, 심장 동맥병, 심근경색, 협심증, 허혈성 심장 질환 등 다양한 심장 질환의 원인이 되는 바, 관상동맥 칼슘 지수는 다양한 심장 질환의 위험도 판단의 기초로 이용될 수 있다. 예컨대, 관상동맥 칼슘 점수 값이 큰 경우, 관상동맥질환의 위험도가 큰 것으로 판단될 수 있다.
특히, 관상동맥 칼슘 점수는 흡연 여부, 나이, 성별 등 심장질환과 간접적으로 연관된 인자들에 비하여 심장질환, 특히 관상동맥 질환(심장 석회화)과 직접적으로 관련된 것으로서, 심장 건강에 대한 강력한 바이오 마커로 이용될 수 있다.
뇌심혈관계 질병 진단 보조 모듈은 뇌심혈관계 질병 진단 보조 신경망 모델을 이용하여, 대상 질병의 치료를 위한 소정의 의료적 처방의 필요성을 판단하기 위한 점수 값을 획득할 수 있다. 예컨대, 뇌심혈관계 질병 진단 보조 모듈은 뇌심혈관계 질병 진단 보조 신경망 모델을 이용하여, 피검체에 대한 스타틴 제제의 처방 필요성을 판단하기 위한 점수 값(예컨대, ASCVD 위험 스코어 값)을 획득할 수 있다
심혈관 질병의 진단을 보조하는 점수 등의 진단 보조 정보는 특정한 의료적 처치 또는 처방 대상을 선별하기 위한 기준으로 이용될 수도 있다. 예컨대, 관상동맥 칼슘 점수는 관상동맥 정밀검사 대상을 선별하는데 이용될 수 있다. 또 예컨대, 관상동맥 칼슘 점수는 항고 지혈제 복용 대상 선별에 이용될 수 있다. 관상동맥 칼슘 점수는 스타틴(statin) 등의 항고 지질혈증제의 처방 기준으로 이용될 수 있다.
다른 예로, 프래밍험 위험 점수 값 또는 프래밍험 위험 점수를 계산하기 위하여 이용되는 값이 관상동맥 질환의 위험도 판단을 위한 진단 보조 정보로서 획득 및 제공될 수 있다. 예컨대, 프래밍험 위험 점수가 높을수록, 관상동맥질환의 위험도가 높은 것으로 판단될 수 있다.
또 다른 예로, 경동맥 내중막 두께 값의 경우, 뇌경색 또는 급성 심근경색증의 위험도를 판단하기 위한 진단 보조 정보로서 획득 및 제공될 수 있다. 예컨대, 경동맥 내중막 두께가 두꺼울수록 뇌경색 또는 급성 심근경색증의 위험도가 큰 것으로 판단될 수 있다.
뇌심혈관계 질병의 진단을 보조하는 등급은 뇌심혈관계 질병의 위험도를 지시하는 적어도 하나의 등급일 수 있다. 예컨대, 뇌심혈관계 질병 진단 보조 점수 등을 대신하여 또는 점수 등과 함께, 등급(grade)이 이용될 수 있다.
진단 보조 정보는 뇌심혈관계 질병 진단 보조 등급을 포함할 수 있다. 뇌심혈관계 질병 진단 보조 등급은 피검체가 대상 뇌심혈관계 질병에 대하여 정상임을 지시하는 정상 등급 및 피검체가 대상 뇌심혈관계 질병에 대하여 비정상임을 지시하는 비정상 등급을 포함할 수 있다. 또는, 등급은 피검체의 대상 뇌심혈관계 질병에 대한 위험 정도를 나타내는 복수의 등급을 포함할 수도 있다.
뇌심혈관계 질병 진단 보조 정보는 피검체의 뇌심혈관계 질병 해당 여부를 지시하는 진단 보조 정보(예를 들어, 대상 질병 해당 확률 값)일 수 있다.
일 실시예에 따르면, 뇌심혈관계 질병 진단 보조 신경망 모델은 분류기 형태로 마련될 수 있다. 뇌심혈관계 질병 진단 보조 신경망 모델은 복수의 출력 노드를 포함하는 출력 레이어를 포함하고, 안구 이미지를 대상 뇌심혈관계 질병에 대하여 정상 내지 비정상으로 분류할 수 있다.
뇌심혈관계 질병 진단 보조 신경망 모델은 복수의 출력 노드를 포함하는 출력 레이어를 포함하고, 안구 이미지를 복수의 그룹으로 분류하도록 마련될 수 있다. 뇌심혈관계 질병 진단 보조 신경망 모델은, 피검체의 뇌심혈관계 질병(예컨대, 관상동맥 질환 또는 고지혈증)에 대한 위험 정도를 나타내는 복수의 레벨 각각에 대응되는 복수의 노드를 포함하는 출력 레이어를 포함할 수 있다. 뇌심혈관계 질병 진단 보조 신경망 모델은, 입력된 안구 이미지를, 뇌심혈관계 질병에 대한 위험 정도를 나타내는 복수의 레벨에 대하여 분류할 수 있다. 뇌심혈관계 질병 진단 보조 신경망 모델은, 입력된 안구 이미지를, 관상동맥 칼슘 점수의 복수 구간에 대하여 분류할 수 있다.
본 발명의 일 실시예에 따르면, 안구 이미지에 기초하여 뇌심혈관계 질병과 관련된 의료 행위의 필요 여부 결정을 보조하는 뇌심혈관계 질병 진단 보조 신경망 모델이 제공될 수 있다.
일 실시예에 따른 뇌심혈관계 질병 진단 보조 신경망 모델은, 복수의 안구 이미지를 피검체에 대한 특정 의료 행위의 필요성에 따라 구분되는 두 개의 클래스로 분류하도록 마련될 수 있다. 예컨대, 뇌심혈관계 질병 진단 보조 신경망 모델은 안구 이미지를 특정 의료 행위가 필요한 제1 클래스 또는 특정 의료 행위가 필요하지 않은 제2 클래스로 분류할 수 있다.
본 발명의 일 실시예에 따르면, 안구 이미지에 기초하여 뇌심혈관계 질병과 관련된 의료 행위의 처방 여부 결정을 보조하는 뇌심혈관계 질병 진단 보조 신경망 모델이 제공될 수 있다.
일 실시예에 따른 뇌심혈관계 질병 진단 보조 신경망 모델은, 복수의 안구 이미지를 피검체에 대한 특정 의료 행위의 필요성에 따라 구분되는 두 개의 클래스로 분류하는 이진 신경망 모델로 학습될 수 있다. 예컨대, 뇌심혈관계 질병 진단 보조 신경망 모델은 안구 이미지를 특정 의료 행위가 필요한 제1 클래스 또는 특정 의료 행위가 필요하지 않은 제2 클래스로 분류하도록 학습될 수 있다.
또 예컨대, 뇌심혈관계 질병 진단 보조 신경망 모델은 안구 이미지를 특정 의료 행위가 빠른 시일 내에(예컨대, 당장) 필요한 제1 클래스, 특정 의료 행위가 소정 기간 내에(예컨대, 3년 이내에) 필요한 제2 클래스, 특정 의료 행위의 필요성이 없는 제3 클래스로 분류하도록 학습될 수 있다.
특정 의료 행위는 협심증, 관상동맥질환, 심장마비, 심근경색, 심부전증, 동맥경화증, 부정맥, 뇌출혈, 뇌경색, 이상지질혈증, 고지혈증, 고혈압 등에 관련된 의료적 처치 또는 처방일 수 있다.
특정 의료 행위는 피검체의 대상 질병에 대한 호전을 위하여 권장되는 약물 또는 비약물요법을 포함할 수 있다.
특정 의료 행위는 특정 의약 내지 제재의 투약 또는 그 처방일 수 있다. 예컨대, 특정 의료 행위는 HMG-CoA 환원효소 억제제(HMGCoA reductase inhibitor)인 스타틴 (statin)(simvastatin, atorvastatin, rosuvastatin 등 다양한 제제를 포함함) 계열의 약물, 아스피린, 담즙산 결합제 (bile acid sequestrant) 및 니코틴산(nicotinic acid), 오메가3 지방산(Omega-3 fatty acid), 에제티미브(ezetimibe), 파이브레이트(fibrate) 중 하나 이상의 처방일 수 있다.
특정 의료 행위는, 피검체의 상태 및/또는 대상 질병에 따라 변경될 수 있다. 예컨대, 대상 질병이 고콜레스테롤혈증(Hypercholesterolemia)인 경우, 특정 의료 행위는, 스타틴 제제 및 다른 약제(예컨대, 에제티미브, 니코틴산 또는 담즙산 결합제)의 복용 처방일 수 있다. 대상 질병이 고중성지방혈증(Hypertriglyceridemia)인 경우, 특정 의료 행위는 스타틴 제제 및 니코틴산 또는 파이브레이트의 복용 처방일 수 있다. 피검체가 당뇨성을 가지고 대상 질병이 고지혈증인 경우에, 특정 의료 행위는, 스타틴 제제 또는 스타틴 제제 및 니코틴산 또는 파이브레이트의 복용 처방일 수 있다.
예컨대, 뇌심혈관계 질병 진단 보조 신경망 모델은, 복수의 안구 이미지를, 피검체의 스타틴 또는 아스피린 제제의 복용이 불필요한 제1 클래스 또는 피검체의 스타틴 또는 아스피린 제제의 복용이 필요한 제2 클래스로 분류하도록 학습될 수 있다. 제1 클래스는 본 명세서에서 설명하는 제1 등급과 유사하게 취급될 수 있다. 제2 클래스는 본 명세서에서 설명하는 제2 등급과 유사하게 취급될 수 있다.
예컨대, 뇌심혈관계 질병 진단 보조 신경망 모델은, 복수의 안구 이미지를, 피검체의 소정의 질병(예컨대, 관상동맥질환)에 대한 위험도가 미미하여 피검체에 스타틴(또는 아스피린) 제제의 복용이 권장되지 아니하는 제1 클래스 또는 피검체의 소정의 질병에 대한 위험도가 상당하여 피검체에 스타틴(또는 아스피린) 제제의 복용이 권장되는 제2 클래스로 분류하도록 학습될 수 있다.
구체적인 예로, 뇌심혈관계 질병 진단 보조 신경망 모델은, 복수의 안구 이미지를, 특정 점수 값(예컨대, 관상동맥 석회화 점수 값)이 스타틴 제제 의 복용이 필요한 기준 값 이하인 제1 클래스 또는 특정 점수 값이 스타틴 제제 의 복용이 필요한 기준 값 이상인 제2 클래스로 분류하도록 학습될 수 있다.
또 예컨대, 뇌심혈관계 질병 진단 보조 신경망 모델은, 복수의 안구 이미지를, 피검체의 스타틴(또는 아스피린) 제제 의 복용이 불필요한 제1 클래스, 피검체의 스타틴 제제의 복용 요부가 불명확한 제2 클래스(예컨대, 추가적인 진단 검사가 요구되는 대상군) 또는 피검체의 스타틴 제제 의 복용이 필요한 제3 클래스(예컨대, 추가적인 진단 검사의 필요성이 낮으며 스타틴 제제 또는 아스피린 복용시 확실한 이득이 예상되는 대상군)로 분류하도록 학습될 수 있다. 제1 내지 제3 클래스는, 각각 본 명세서에서 설명하는 제1 내지 제3 등급과 유사하게 취급될 수 있다.
구체적인 예로, 뇌심혈관계 질병 진단 보조 신경망 모델은, 복수의 안구 이미지를, 스타틴(또는 아스피린) 제제의 복용과 관련된 특정 점수 값이 제1 기준 값 이하인 제1 클래스, 스타틴 복용과 관련된 특정 점수 값이 제1 기준 값 이상이고 제2 기준 값 이하인 제2 클래스 또는 스타틴 복용과 관련된 특정 점수 값이 제2 기준 값 이상인 제3 클래스로 분류할 수 있다. 예컨대, 뇌심혈관계 질병 진단 보조 신경망 모델은, 복수의 안구 이미지를, 관상동맥 석회화 점수 값이 제1 기준 값(예컨대, 20) 이하인 제1 클래스, 관상동맥 석회화 점수 값이 제1 기준 값(예컨대, 20) 이상이고 제2 기준 값(예컨대, 100) 이하인 제2 클래스 또는 관상동맥 석회화 점수 값이 제2 기준 값(예컨대, 100) 이상인 제3 클래스로 분류할 수 있다. 또 예컨대, 뇌심혈관계 질병 진단 보조 신경망 모델은, 복수의 안구 이미지를, 스타틴 제제 처방이 필요하지 않은 제1 클래스, 1차 스타틴 처방이 권장되는 제2 클래스 및 2차 스타틴 처방(예컨대, 1차 스타틴 처방보다 스타틴 제제의 양이 많거나 추가적인 약제를 포함하는 처방)이 권장되는 제3 클래스로 분류할 수 있다.
구체적인 예로, 뇌심혈관계 질병 진단 보조 신경망 모델은, 복수의 안구 이미지를, 10-year ASCVD risk가 제1 기준 값(5%) 이하인 제1 클래스, 10-year ASCVD risk가 제1 기준 값(5%) 이상이고 제2 기준 값(7.5%) 이하인 제2 클래스, 10-year ASCVD risk가 제2 기준 값(7.5%) 이상이고 제3 기준 값(20%) 이하인 제3 클래스 및 10-year ASCVD risk가 제3 기준 값(20%) 이상인 제4 클래스로 분류할 수 있다. 제1 내지 제4 클래스에 대하여, 스타틴 복용과 관련된 상이한 처방 정보가 대응될 수 있다. 예컨대, 뇌심혈관계 질병 진단 보조 신경망 모델은, 복수의 안구 이미지를, 스타틴 제제의 복용이 권장되지 않는 제1 클래스, 다른 인자(예컨대, 관상동맥 석회화 점수)를 추가로 고려하여 스타틴 제제의 복용 여부 결정이 필요한 제2 클래스, 스타틴 제제의 중등도 처방이 요구되는 제3 클래스, 스타틴 제제의 고등도 처방이 요구되는 제4 클래스로 분류할 수 있다.
위 실시예들에서의 특정 점수 값은 본 명세서에서 설명되는 뇌심혈관계 질병 위험도의 평가를 위한 다양한 점수, 지수 또는 인자의 값일 수 있다.
다른 일 실시예에 따르면, 1차 신경망 모델(제1 서브 모델) 및 2차 신경망 모델(제2 서브 모델)을 포함하고, 피검체의 대상 질병과 관련된 등급을 획득하는 뇌심혈관계 질병 진단 보조 신경망 모델이 제공될 수 있다.
예컨대, 일 실시예에 따른 뇌심혈관계 질병 진단 보조 신경망 모델은, 피검체의 안구 이미지 및/또는 부가 정보에 기초하여 피검체가 대상 뇌심혈관계 질병에 해당할 확률 또는 피검체의 대상 뇌심혈관계 질병과 관련된 수치(예컨대, 관상동맥 질환과 관련된 관상동맥 칼슘 스코어)를 획득하는 1차 신경망 모델을 포함할 수 있다. 또한, 뇌심혈관계 질병 진단 보조 신경망 모델은, 1차 신경망 모델의 출력 정보를 입력으로 하여 피검체를 대상 뇌심혈관계 질병과 관련된 복수의 클래스 또는 등급에 대하여 분류하는 2차 신경망 모델을 포함할 수 있다.
예컨대, 일 실시예에 따른 뇌심혈관계 질병 진단 보조 신경망 모델은, 피검체의 안구 이미지에 기초하여 피검체의 관상동맥질환 해당 확률을 획득하는 제1 서브 모델 및 피검체의 관상동맥질환 해당 확률에 기초하여 피검체의 관상동맥질환 위험 등급을 판단하는 2차 신경망 모델을 포함하고, 피검체의 관상동맥질환과 관련된 위험 등급을 판단할 수 있다.
일 실시예에 따르면, 뇌심혈관계 질병 진단 보조 신경망 모델은, 안구 이미지 외의 피검체의 진단 수치를 함께 입력 값으로 하여 뇌심혈관계 질병 진단 보조 정보를 획득할 수 있다. 예컨대, 일 실시예에 따르면, 뇌심혈관계 질병 진단 보조 모듈은, 안구 이미지 외의 피검체의 진단 수치를 함께 입력 값으로 하여 뇌심혈관계 질병 진단 보조 정보를 획득할 수 있다. 예컨대, 뇌심혈관계 질병 진단 보조 신경망 모델은, 안구 이미지 외에, 피검체의 콜레스테롤 수치, 중성지방 수치, 저밀도지단백 콜레스테롤 수치, 고밀도지단백 콜레스테롤 수치 및/또는 초저밀도지단백 콜레스테롤 수치를 안구 이미지와 함께 입력 데이터로 하여 뇌심혈관계 질병 진단 보조 정보를 획득할 수 있다.
일 실시예에 따르면, 뇌심혈관계 질병 진단 보조 신경망 모델은, 대상 뇌심혈관계 질병에 대한 1차 진단 보조 정보(예컨대, 피검체의 관상동맥질환 해당 확률) 를 획득하는 1차 신경망 모델 및 1차 진단 보조 정보에 적어도 일부 기초하여 2차 진단 보조 정보(예컨대, 피검체의 관상동맥 칼슘 점수)를 획득하고 1차 신경망 모델과 직렬적으로 연결된 2차 신경망 모델을 포함할 수 있다.
일 실시예에 따르면, 뇌심혈관계 질병 진단 보조 신경망 모델은 회귀 모델 형태로 마련될 수 있다. 뇌심혈관계 질병 진단 보조 신경망 모델은, 대상 뇌심혈관계 질병의 진단에 이용되는 수치 정보를 획득하는 회귀 모델로 마련될 수 있다. 예컨대, 뇌심혈관계 질병 진단 보조 신경망 모델은, 안구 이미지에 기초하여 관상동맥 칼슘 스코어를 획득하도록 마련될 수 있다.
다른 일 실시예에 따르면, 뇌심혈관계 질병 진단 보조 신경망 모델은 복수의 진단 보조 정보를 획득하는 진단 보조 신경망 모델 형태로 마련될 수 있다. 예컨대. 뇌심혈관계 질병 진단 보조 신경망 모델은 안구 이미지에 적어도 일부 기초하여, 피검체의 관상동맥질환 해당 여부 및 관상동맥 칼슘 스코어를 획득할 수 있다. 또 예컨대. 뇌심혈관계 질병 진단 보조 신경망 모델은 안구 이미지에 적어도 일부 기초하여, 피검체의 관상동백질환 해당 여부 및 안질환 해당 여부를 획득할 수 있다.
또 다른 일 실시예에 따르면, 뇌심혈관계 질병 진단 보조 신경망 모델은, 복수의 모델이 직렬 형태로 연결된 진단 보조 신경망 모델일 수 있다. 예컨대, 뇌심혈관계 질병 진단 보조 신경망 모델은 제1 진단 보조 정보를 획득하는 제1 서브 모델 및 제2 진단 보조 정보를 획득하는 제2 서브 모델을 포함할 수 있다. 제1 진단 보조 정보는 피검체의 고혈압 해당 여부를 나타내고, 제2 진단 보조 정보는 피검체의 고지혈증 해당 여부를 나타낼 수 있다.
구체적인 예로, 뇌심혈관계 진단 보조 신경망 모델은, 피검체의 관상동맥 질환 보유 여부를 나타내는 제1 진단 보조 정보를 획득하는 제1 서브 모델 및 피검체의 관상동맥 질환 보유 여부(또는 관상동맥 질환 보유 확률)에 기초하여 피검체의 관상동맥 칼슘 점수(또는 피검체의 관상동맥 칼슘 점수가 해당하는 점수 구간)를 지시하는 제2 진단 보조 정보를 획득하는 제2 서브 모델을 포함할 수 있다.
다른 구체적인 예로, 뇌심혈관계 진단 보조 신경망 모델은, 피검체의 관상동맥 칼슘 스코어가 0 이상일 확률을 나타내는 제1 진단 보조 정보를 획득하는 제1 서브 모델 및 피검체의 관상동맥 칼슘 점수(또는 피검체의 관상동맥 칼슘 점수가 해당하는 점수 구간)를 지시하는 제2 진단 보조 정보를 획득하는 제2 서브 모델을 포함할 수 있다.
4.2 신경망 모델 학습
일 실시예에 따르면, 뇌심혈관계 질병 진단 보조 신경망 모델을 학습하는 방법이 제공될 수 있다. 뇌심혈관계 질병 진단 보조 신경망 모델을 학습하는 방법은, 정보처리 장치 또는 그 제어부에 의해 수행될 수 있다.
뇌심혈관계 질병 진단 보조 신경망 모델을 학습하는 방법은 학습 데이터 세트를 획득하는 것을 포함할 수 있다. 학습 데이터 세트는 안구 이미지 및 안구 이미지에 부여된 뇌심혈관계 질병과 관련된 제1 라벨을 포함할 수 있다. 학습 데이터 세트는 안구 이미지 및 안구 이미지에 부여된 제1 라벨 및 제2 라벨을 포함할 수 있다. 학습 데이터 세트는 안구 이미지와 안구 이미지에 부여된 제1 라벨을 포함하는 제1 학습 데이터 세트 및 안구 이미지와 안구 이미지에 부여된 제2 라벨을 포함하는 제2 학습 데이터 세트를 포함할 수 있다.
제1 라벨 및/또는 제2 라벨은 뇌심혈관계 질병의 진단과 관련된 정보를 나타낼 수 있다. 예컨대, 제1 라벨 및/또는 제2 라벨은 뇌심혈관계 질병과 관련된 파라미터 값, 뇌심혈관계 질병의 위험도를 지시하는 등급 또는 뇌심혈관계 질병의 유무를 지시할 수 있다. 구체적인 예로, 제1 라벨 및/또는 제2 라벨은 피검체의 고지혈증 해당 여부, 관상동맥 질환 해당 여부, 관상동맥 석회화 점수, 프래밍험 위험 점수, QRISK 점수, 관상동맥 질환 위험 정도(등급) 등의 뇌심혈관계 질병 진단 보조 정보 중 어느 하나일 수 있다.
뇌심혈관계 질병 진단 보조 신경망 모델을 학습하는 방법은, 학습 데이터에 포함된 라벨에 기초하여 심혈관 질병 진단 보조 신경망 모델의 파라미터를 갱신하는 것을 포함될 수 있다.
일 실시예에 따르면, 뇌심혈관계 질병 진단 보조 신경망 모델은 안구 이미지에 기초하여 진단 보조 정보를 획득하도록 학습될 수 있다. 일 실시예에 따르면, 뇌심혈관계 진단 보조 신경망 모델은 병렬 연결된 복수의 진단 보조 신경망 모델을 포함하고, 안구 이미지에 기초하여 적어도 하나의 뇌심혈관계 질병 진단 보조 정보를 획득하도록 학습될 수 있다. 일 실시예에 따른 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 안구 이미지 및 안구 이미지에 부여된 뇌심혈관계 질병과 관련된 라벨을 포함하는 학습 데이터 세트를 이용하여 뇌심혈관계 질병 진단 보조 신경망 모델을 학습하는 것을 포함할 수 있다.
일 실시예에 따르면, 뇌심혈관계 진단 보조 신경망 모델은 적어도 하나의 공통 부분 및 적어도 하나의 개별 부분을 포함하고, 안구 이미지에 기초하여 적어도 하나의 뇌심혈관계 질병 진단 보조 정보를 획득하도록 학습될 수 있다. 일 실시예에 따른 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 안구 이미지 및 안구 이미지에 부여된 제1 라벨 및 제2 라벨을 포함하는 학습 데이터 세트를 이용하여 뇌심혈관계 질병 진단 보조 신경망 모델을 학습하는 것을 포함할 수 있다. 일 실시예에 따른 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 안구 이미지 및 안구 이미지에 부여된 제1 라벨을 포함하는 제1 학습 데이터 세트 및 안구 이미지 및 안구 이미지에 부여된 및 제2 라벨을 포함하는 제2 학습 데이터 세트를 이용하여 뇌심혈관계 질병 진단 보조 신경망 모델을 학습하는 것을 포함할 수 있다.
일 실시예에 따르면, 뇌심혈관계 진단 보조 신경망 모델은 직렬 연결된 복수의 서브 모델을 포함하고, 안구 이미지에 기초하여 적어도 하나의 뇌심혈관계 질병 진단 보조 정보를 획득하도록 학습될 수 있다.
일 실시예에 따른 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 안구 이미지 및 안구 이미지에 부여된 제1 라벨을 포함하는 제1 학습 데이터 세트, 안구 이미지 및 안구 이미지에 부여된 제2 라벨을 포함하는 제2 학습 데이터 세트를 통하여, 뇌심혈관계 질병과 관련된 제1 라벨 및 제2 라벨을 획득하도록 학습하는 것을 포함할 수 있다. 일 실시예에 따른 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 안구 이미지 및 안구 이미지에 부여된 제1 라벨 및 제2 라벨을 포함하는 학습 데이터 세트를 통하여, 뇌심혈관계 질병과 관련된 제1 라벨 및 제2 라벨을 획득하도록 학습될 수 있다.
구체적인 예로, 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 안구 이미지 및 안구 이미지에 부여되고 피검체의 관상동맥 질환 해당 여부를 나타내는 제1 라벨을 포함하는 제1 학습 데이터 세트를 이용하여 제1 서브 모델을 학습하는 단계 및 안구 이미지 및 안구 이미지에 부여되고 피검체의 관상동맥 칼슘 스코어를 나타내는 제2 라벨을 포함하는 제2 학습 데이터 세트를 이용하여 제2 서브 모델을 학습하는 단계를 포함할 수 있다.
다른 구체적인 예로, 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 안구 이미지 및 안구 이미지에 부여되고 피검체의 관상동맥 질환 해당 확률을 나타내는 제1 라벨을 포함하는 제1 학습 데이터 세트를 이용하여 제1 서브 모델을 학습하는 단계 및 피검체의 관상동맥 질환 해당 확률 및 피검체의 관상동맥 질환 해당 확률과 매칭되고 피검체의 관상동맥 칼슘 스코어를 나타내는 제2 라벨을 포함하는 제2 학습 데이터 세트를 이용하여 제2 서브 모델을 학습하는 단계를 포함할 수 있다.
다른 구체적인 예로, 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 안구 이미지 및 안구 이미지에 부여되고 피검체의 관상동맥 질환 해당 확률을 나타내는 제1 라벨 및 안구 이미지에 부여되고 피검체의 관상동맥 칼슘 스코어를 나타내는 제2 라벨을 포함하는 학습 데이터 세트를 이용하여 제1 서브 모델 및 제2 서브 모델을 학습하는 단계를 포함할 수 있다.
다른 구체적인 예로, 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 안구 이미지 및 안구 이미지에 부여된 피검체의 관상동맥 칼슘 점수를 포함하는 학습 데이터 세트를 이용하여, 제1 서브 모델을 안구 이미지에 기초하여 피검체의 관상동맥 칼슘 스코어가 0 이상일 확률을 획득하도록 학습하는 것을 포함할 수 있다. 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 제2 서브 모델을 안구 이미지 및/또는 피검체의 관상동맥 칼슘 스코어가 0 이상일 확률에 기초하여 피검체의 관상동맥 칼슘 스코어(또는 피검체의 관상동맥 칼슘 스코어가 해당하는 수치 구간)를 지시하는 제2 진단 보조 정보를 획득하도록 학습하는 것을 포함할 수 있다. 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 제1 서브 모델을 통하여 획득된 피검체의 관상동맥 칼슘 스코어가 0 이상일 확률과 이에 매칭되는 피검체의 실제 측정된 관상동맥 칼슘 점수를 포함하는 학습 데이터 세트를 이용하여 제2 서브 모델을 학습하는 것을 포함할 수 있다.
다른 구체적인 예로, 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 뇌심혈관계 질병 진단 보조 신경망 모델이 안구 이미지를 피검체가 대상 뇌심혈관계 질병을 가지지 않음을 지시하는 정상 클래스 또는 피검체의 대상 뇌심혈관계 질병에 대한 위험이 소정의 약물 복용이 필요한 수준(약물 복용에 따른 이득이 손해를 초과하는 수준)임을 지시하는 비정상 클래스로 분류하도록 학습하는 것을 포함할 수 있다.
예컨대, 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 뇌심혈관계 질병 진단 보조 신경망 모델을, 피검체가 관상동맥 질환에 의한 스타틴 복용이 필요하지 않음을 지시하는 제1 라벨 또는 피검체가 관상동맥 질환에 의한 스타틴 또는 아스피린의 복용이 필요함을 지시하는 제2 라벨이 부여된 복수의 안구 이미지를 포함하는 안구 이미지 학습 데이터 세트를 이용하여, 학습하는 것을 포함할 수 있다.
다른 구체적인 예로, 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 뇌심혈관계 질병 진단 보조 신경망 모델이 안구 이미지를, 피검체가 관상동맥 질환을 가지지 않음을 지시하는 제1 클래스 또는 피검체가 관상동맥 질환을 가지며 스타틴 복용이 권장됨을 지시하는 제2 클래스를 포함하는 복수의 클래스 중 어느 하나로 분류하도록 학습하는 것을 포함할 수 있다.
예컨대, 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 뇌심혈관계 질병 진단 보조 신경망 모델을, 피검체가 관상동맥 질환을 가지지 아니함을 지시하는 제1 라벨 또는 피검체가 관상동맥 질환을 가짐을 지시하는 제2 라벨이 부여된 복수의 안구 이미지를 포함하는 안구 이미지 학습 데이터 세트를 이용하여 학습하는 것을 포함할 수 있다.
다른 구체적인 예로, 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 특정 처방에 관련된 라벨 및 안구 이미지를 포함하는 안구 이미지 학습 데이터 세트를 이용하여 뇌심혈관계 질병 진단 보조 신경망 모델을 학습하는 것을 포함할 수 있다.
예컨대, 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 스타틴 제제의 복용 여부와 관련된 처방 라벨 및 안구 이미지를 포함하는 안구 이미지 학습 데이터 세트를 이용하여 뇌심혈관계 질병 진단 보조 신경망 모델을 학습하는 것을 포함할 수 있다. 구체적인 예로, 안구 이미지 학습 데이터 세트는 스타틴 제제의 복용이 필요하지 않음을 지시하는 제1 라벨 또는 스타틴 제제의 복용이 필요함을 지시하는 제2 라벨이 부여된 복수의 안구 이미지 데이터를 포함하는 안구 이미지 학습 데이터 세트일 수 있다.
또 예컨대, 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 스타틴 제제의 처방이 빠른 시일 내에(예컨대, 당장) 필요함을 지시하는 제1 라벨, 스타틴 제제의 처방이 소정 기간 내에(예컨대, 3년 이내에) 필요한 것으로 강하게 예상됨을 지시하는 제2 라벨 또는 스타틴 제제의 처방이 필요하지 않음을 지시하는 제3 라벨이 부여된 복수의 안구 이미지를 포함하는 학습 데이터 세트를 이용하여, 피검자의 안구 이미지에 기초하여 스타틴 제제의 처방 요부를 결정하도록 뇌심혈관계 질병 진단 보조 신경망 모델을 학습하는 것을 포함할 수 있다.
뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 대상 처방과 관련된 인자 정보를 더 포함하는 안구 이미지 학습 데이터 세트를 이용하여 뇌심혈관계 질병 진단 보조 신경망 모델을 학습하는 것을 포함할 수 있다. 예컨대, 뇌심혈관계 질병 진단 보조 신경망 모델의 학습 방법은, 스타틴 제제의 복용과 관련된 처방 라벨 및 스타틴 제제에 의해 그 증상이 완화될 수 있는 이상지질혈증과 관련된 인자 정보(예컨대, 가족력, 당뇨 유병, 신장기능, 당뇨 합병증, 아스피린 복용 여부, 비만 유무, 몸무게, 키, 흡연 여부, 성별 등)가 부여된 안구 이미지를 포함하는 안구 이미지 학습 데이터 세트를 이용하여, 뇌심혈관계 질병 진단 보조 신경망 모델이 스타틴 제제의 복용과 관련된 처방 정보를 획득하도록 학습하는 것을 포함할 수 있다.
4.3 뇌심혈관계 질병 진단 보조
일 실시예에 따르면, 전술한 뇌심혈관계 질병 진단 보조 신경망 모델을 통하여 뇌심혈관계 질병의 진단을 보조하는 방법이 제공될 수 있다.
일 실시예에 따르면, 뇌심혈관계 질병의 진단 보조 방법은, 뇌심혈관계 질병의 진단 보조 신경망 모델을 통하여 대상 안구 이미지에 기초하여 뇌심혈관계 질병의 진단을 보조하기 위한 진단 보조 정보를 획득하는 것을 포함할 수 있다.
일 실시예에 따르면, 뇌심혈관계 질병의 진단 보조 방법은, 병렬 연결된 복수의 진단 보조 신경망 모델을 포함하는 뇌심혈관계 진단 보조 신경망 모델을 통하여, 안구 이미지에 기초하여 적어도 하나의 뇌심혈관계 진단 보조 정보를 획득하는 것을 포함할 수 있다.
일 실시예에 따르면, 뇌심혈관계 질병의 진단 보조 방법은, 적어도 하나의 공통 부분 및 적어도 하나의 개별 부분을 포함하는 뇌심혈관계 진단 보조 신경망 모델을 통하여, 안구 이미지에 기초하여 적어도 하나의 뇌심혈관계 진단 보조 정보를 획득하는 것을 포함할 수 있다.
일 실시예에 따르면, 뇌심혈관계 질병의 진단 보조 방법은, 직렬 연결된 복수의 서브 모델을 포함하는 뇌심혈관계 진단 보조 신경망 모델을 통하여, 안구 이미지에 기초하여 적어도 하나의 뇌심혈관계 진단 보조 정보를 획득하는 것을 포함할 수 있다.
구체적인 예로, 뇌심혈관계 질병의 진단 보조 방법은, 제1 서브 모델을 통하여 안구 이미지에 기초하여 피검체의 관상동맥 질환 해당 여부를 나타내는 제1 진단 보조 정보를 획득하고, 제2 서브 모델을 통하여 안구 이미지에 기초하여 피검체의 관상동맥 칼슘 스코어를 나타내는 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다.
다른 구체적인 예로, 뇌심혈관계 질병의 진단 보조 방법은, 제1 서브 모델을 통하여 안구 이미지에 기초하여 피검체의 관상동맥 질환 해당 확률을 나타내는 제1 진단 보조 정보를 획득하고, 제2 서브 모델을 통하여 제1 진단 보조 정보에 적어도 일부 기초하여 피검체의 관상동맥 칼슘 스코어를 나타내는 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다.
다른 구체적인 예로, 뇌심혈관계 질병의 진단 보조 방법은, 제1 서브 모델을 통하여 안구 이미지에 기초하여 피검체의 관상동맥 칼슘 스코어가 0 이상일 확률을 나타내는 제1 진단 보조 정보를 획득하는 것을 포함할 수 있다. 뇌심혈관계 질병의 진단 보조 방법은, 제2 서브 모델을 통하여 제1 서브 모델을 통하여 획득된 관상동맥 칼슘 스코어가 0 이상일 확률에 적어도 일부 기초하여 피검체의 관상동맥 칼슘 스코어(또는 피검체의 관상동맥 칼슘 스코어가 해당하는 수치 구간)를 지시하는 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다.
뇌심혈관계 질병의 진단 보조 방법은 획득된 진단 보조 정보에 기초하여 사용자에게 처치 정보, 지시 정보, 예후 정보, 예측 정보 등의 2차적 정보를 획득하는 것을 포함할 수 있다.
진단 보조 방법은 처방 정보를 획득하는 것을 더 포함할 수 있다. 처방 정보는 사용자에게 투여할 의약의 종류, 투약 시기 및 의약의 투여량 등을 포함할 수 있다. 예컨대, 처방 정보는 항고 지질혈증제의 처방 정보를 포함할 수 있다. 처방 정보는, 고지혈증 약물, 고혈압 약물, 항혈전 약물 등 대상 뇌심혈관계 질병과 관련하여 피검체에게 처방될 수 있는 약물 정보를 포함할 수 있다. 예컨대, 처방 정보는 HMG-CoA 환원효소 억제제(HMGCoA reductase inhibitor)인 스타틴 (statin)(simvastatin, atorvastatin, rosuvastatin 등 다양한 제제를 포함함) 계열의 약물, 담즙산 결합제 (bile acid sequestrant), 니코틴산(nicotinic acid) 등의 제제의 피검체에 대한 투약 요부/투약량/투약 시기 등에 관한 투약 정보를 포함할 수 있다.
처방 정보는 진단 보조 정보에 매칭되도록 미리 저장될 수 있다. 처방 정보는 진단 보조 정보에 따른 사용자의 처방 행위가 저장된 데이터베이스를 이용하여 결정될 수 있다. 일 예로, 스타틴 투약과 관련된 처방 정보는, 고지혈증 기타 이상지질혈증에 대한 위험 등급 및 각 등급에 따른 스타틴 투약 필요성이 매칭된 데이터베이스를 이용하여 획득될 수 있다.
일 실시예에 따르면, 진단 보조 정보가 심혈관계 질병의 위험도를 판단하기 위한 점수 정보인 경우, 점수 정보에 대한 2차 정보로서 처방 정보가 획득될 수 있다. 예를 들어, 진단 보조 정보가 이상지질혈증의 판단을 위한 ASCVD risk 또는 SCORE 점수인 경우, 획득된 점수가 기준 값 이하인 경우 피검체의 스타틴 복용 필요성이 낮음을 지시하는 제1 처방 정보가 획득되고, 획득된 점수가 기준 값 이하인 경우 피검체의 스타틴 복용 필요성이 상당함을 나타내는 제2 처방 정보가 획득될 수 있다.
일 실시예에 따르면, 획득된 진단 정보가 관상동맥 석회화 점수(CACs)인 경우, 관상동맥 석회화 점수가 기준 값(예컨대, 100)을 초과하는 경우에는, 미리 정해진 가이드라인(예컨대,)에 따라 피검체에게 스타틴 제제의 복용을 권장하는 처방 정보가 획득되고, 관상동맥 석회화 점수가 기준 값에 못미치는 경우에는, 스타틴 제제의 복용을 보류하는 처방 정보가 획득될 수 있다.
처방 정보는 진단 보조 정보에 따른 사용자의 처방 행위 정보를 포함하는 학습 데이터를 이용하여 학습된 신경망 모델을 통하여 획득될 수 있다. 구체적인 예로, 진단 보조 정보 출력에 응답하여 사용자로부터 입력된 처방 데이터를 획득하고, 진단 보조 정보에 처방 데이터 라벨이 부여된 처방 정보 학습 데이터를 획득하고, 획득된 처방 정보 학습 데이터를 이용하여 진단 보조 정보를 입력으로 하여 처방 정보를 출력하도록 학습된 처방 보조 신경망 모델이 제공될 수 있다. 처방 보조 신경망 모델을 이용하여 획득된 처방 정보는 진단 보조 정보와 함께 또는 별도로 사용자에게 제공될 수 있다. 예컨대, 진단 장치는 , 진단 보조 정보 획득 모듈을 통하여 진단 보조 정보(예컨대, 등급 정보 또는 점수 정보)를 획득하는 것에 응답하여 사용자에 의해 제공된 소정 의약(예컨대, 스타틴)에 대한 처방 데이터를 획득하여, 처방 데이터가 라벨링된 입력 안구 이미지를 포함하는 학습 데이터를 획득할 수 있다.
심혈관 질병의 진단을 보조하는 점수 등의 진단 보조 정보는 특정한 의료적 처치 또는 처방 대상을 선별하기 위한 기준으로 이용될 수도 있다. 예컨대, 관상동맥 칼슘 점수는 관상동맥 정밀검사 대상을 선별하는데 이용될 수 있다. 또 예컨대, 관상동맥 칼슘 점수는 항고 지혈제 복용 대상 선별에 이용될 수 있다. 관상동맥 칼슘 점수는 스타틴(statin) 등의 항고 지질혈증제의 처방 기준으로 이용될 수 있다.
진단 보조 방법은 지시 정보를 획득하는 것을 더 포함할 수 있다. 지시 정보는 의료적 처치 방법에 대한 정보를 포함할 수 있다. 예컨대, 진단 보조 정보에 기초하여, 사용자에게 환자에게 적절할 것으로 예상되는 적어도 하나의 후보 조치를 제공하기 위한 지시 정보가 획득될 수 있다. 지시 정보는, 추가적으로 요구되는 검사, 다음 내원 시기, 전원할 병원의 제안, 권유되는 수술 내지 처치 등의 조치 등을 지시할 수 있다. 지시 정보는 진단 보조 정보에 매칭되도록 미리 저장될 수 있다. 지시 정보는 진단 보조 정보에 따른 사용자의 지시 행위가 저장된 데이터베이스를 이용하여 결정될 수 있다.
예컨대, 지시 정보는 피검체에게 권유되는 생활 습관, 운동 처방등 대상 뇌심혈관계 질병과 관련된 관리 가이드라인 정보를 포함할 수 있다.
또 예컨대, 지시 정보는, 권장되는 정밀 검사의 종류를 지시하는 추가 검사 정보를 포함할 수 있다. 예를 들어, 획득된 진단 정보가 피검체의 스타틴 복용 필요성이 불확실함을 나타내는 경우(예컨대, 점수 정보가 제1 기준값 이상 제2 기준값 이하인 경우 또는 대상 안구 이미지가 제1 내지 3 등급 중 제2 등급으로 분류된 경우), 진단 장치는 관상동맥의 CT 촬영(또는, 발목-상완지수(Ankle-Brachial Index), 혈관경직도 검사(맥파 속도 분석, Pulse Wave Velocity), 24시간 홀터 모니터링(24 hours Holter Monitoring) 등)을 권장하는 지시 정보를 획득 및/또는 출력할 수 있다.
지시 정보는 진단 보조 정보에 따른 지시 행위 정보를 포함하는 학습 데이터를 이용하여 학습된 신경망 모델을 통하여 획득될 수 있다. 구체적인 예로, 사용자에게 진단 보조 정보를 제공하는 것에 응답하여 사용자로부터 입력된 지시 데이터를 획득하고, 진단 보조 정보에 따른 지시 데이터 라벨이 부여된 지시 정보 학습 데이터를 획득하고, 획득된 지시 정보 데이터베이스를 이용하여 진단 보조 정보를 입력으로 하여 지시 정보를 출력하도록 학습된 지시 보조 신경망 모델이 제공될 수 있다. 지시 보조 신경망 모델을 이용하여 획득된 지시 정보는 진단 보조 정보와 함께 또는 별도로 사용자에게 제공될 수 있다.
진단 보조 방법은 예측(또는 예후) 정보를 획득하는 것을 더 포함할 수 있다. 예측 정보는 피검체의 대상 뇌심혈관계 질병과 관련된 예후에 대한 정보를 포함할 수 있다. 예컨대, 예측 정보는, 피검체의 대상 뇌심혈관계 질병과 관련하여 향후 5년 내 사망 확률 또는 향후 10년 내 사망 확률을 나타내는 사망 확률 정보를 포함할 수 있다.
일 예에 따르면, 진단 보조 정보에 의해 획득되는 2차 정보들 각각 및/또는 진단 보조 정보는 함께 출력될 수 있다.
예컨대, 예측 정보 지시 정보 또는 처방 정보는 함께 제공될 수 있다. 예컨대, 2차 정보는 특정 지시 정보 및 처방 정보와 함께, 해당 정보에서 지시하는 후속 절차가 수행된 경우의 예측 정보를 포함할 수 있다.
예를 들어, 2차 정보는, 피검체가 약물을 복용하지 않은 경우의 피검체의 사망 확률을 포함하는 제1 예측 정보 및 획득된 뇌심혈관계 질병 진단 보조 정보에 따라 결정된 처방 정보에 따라 약물이 권장량 투여된 경우에 피검체의 사망 확률을 포함하는 제2 예측 정보를 포함할 수 있다.
다른 예를 들어, 2차 정보는 피검체가 획득된 뇌심혈관계 질병 진단 보조 정보에 따라 결정된 지시 정보에 따른 가이드라인을 준수한 경우의 사망 확률 또는 사망 확률 감소에 대한 예측 정보를 포함할 수도 있다.
뇌심혈관계 질병의 진단 보조 방법은, 진단 보조 신경망 모델을 통하여 획득된 특징 맵, 샐리언시 맵, 예컨대, 클래스 액티베이션 맵 등을 사용자에게 제공하는 것을 포함할 수 있다. 뇌심혈관계 질병의 진단 보조 방법은, 진단 보조 신경망 모델을 통하여 획득된 결과와 입력 이미지의 연관성을 표시하는 특징 맵 등을 사용자에게 제공하는 것을 포함할 수 있다.
뇌심혈관계 질병의 진단 보조 방법은, 본 명세서에서 설명하는 그래픽 인터페이스를 통하여 사용자에게 뇌심혈관계 질병에 대한 진단 보조 정보 및/또는 이에 기초하여 획득된 2차 정보를 제공하는 것을 포함할 수 있다.
일 실시예에 따르면, 그래픽 인터페이스는, 피검체의 관상동맥 석회화 점수가 0 인 경우 0% 채워진 심장 이미지를 표시하고, 피검체의 관상동맥 석회화 점수가 1 내지 10 인 경우, 20% 채워진 심장 이미지를 표시하고, 피검체의 관상동맥 석회화 점수가 10 내지 100인 경우 50% 채워진 심장 이미지를 표시하고, 피검체의 관상동맥 석회화 점수가 100 내지 400인 경우 70% 채워진 심장 이미지를 표시하고, 피검체의 관상동맥 석회화 점수가 400 이상인 경우, 90% 채워진 심장 이미지를 표시하는 점수 표시부를 포함할 수 있다
일 실시예에 따른 그래픽 인터페이스는, 피검체의 대상 뇌심혈관계 질병에 대한 위험도와 연관된 처방 정보를 함께 표시할 수 잇다. 예컨대, 그래픽 인터페이스는, 피검체의 대상 심혈관 질병에 대한 점수와 연관된 처방 정보를 함께 표시할 수 있다. 그래픽 인터페이스는, 관상동맥 석회화 점수와 연관된 스타틴 제제의 처방 정보를 표시할 수 있다. 그래픽 인터페이스는, 미리 저장된 매칭 테이블에 따라 관상동맥 석회화 점수와 연관된 스타틴 제제의 처방 정보를 표시할 수 있다. 그래픽 인터페이스는, 미리 저장된 매칭 테이블에 기초하여, 관상동맥 석회화 점수 및 피검체의 다른 정보(예컨대, HDL 콜레스테롤 수치, LDL 콜레스테롤 수치, 중성지방 수치, 나이, 성별, 흡연 여부 등)에 따라 산출되는 스타틴 제제의 처방 정보를 표시할 수 있다.
5. 파라미터 획득 신경망 모델
일 실시예에 따르면, 안구 이미지에 기초하여 다양한 파라미터를 획득하는 진단 보조 신경망 모델이 제공될 수 있다. 복수의 파라미터를 획득하는 진단 보조 신경망 모델은 전술한 다양한 형태의 신경망 구조를 포함할 수 있다.
진단 보조 신경망 모델을 통하여 획득되는 파라미터는, 피검체의 성별, 나이, 키, 몸무게, BMI 지수, 체질량, 체지방률, 체근육량 등의 피검체의 신체 정보를 나타내는 파라미터일 수 있다. 또는, 파라미터는 헤마토크릿 수치, 적혈구 수, 백혈구 수, 헤모글로빈 수치, 혈소판 수, 총철결합능(TIBC), 철분 수치, 페리틴(저장철단백질) 수치, 총단백 수치, 알부민 수치, 아스파라긴 트란스페라제 수치(AST), 아미노 트란스페라제 수치, γ-GTP, γ-GT, 알카라인 포스타파제(ALP) 수치, 글로불린 수치, 간염 항원 수치, 간염 항체 수치, 당화혈색소 수치(HbA1C), 혈중요소질소(BUN) 수치, 크레아티닌 수치, 요산 수치, 총콜레스테롤 수치, 고밀도 지단백(HDL Cholesterol) 수치, 저밀도 지단백(LDL Cholesterol) 수치, 중성지방(TG) 수치, 중탄산염 수치, 수축기 혈압(SBP), 이완기 혈압(DBP) 등의 진단 수치 파라미터 중 어느 하나일 수 있다.
이하에서, 특별한 설명이 없는 한, 진단 보조 신경망 모델에 의해 획득되는 파라미터는 전술한 예시들 중 어느 하나일 수 있다.
이하에서, 특별한 설명이 없는 한, 본 명세서 전반에 걸쳐 설명되는 진단 보조 신경망 모델, 진단 보조 신경망 모델의 학습 방법 또는 진단 보조 신경망 모델을 이용한 진단 보조 방법에 대한 내용이 유사하게 적용될 수 있다.
5.1 복수 파라미터 획득 진단 보조 신경망 모델
일 실시예에 따르면, 서로 병렬적으로 연결되고 복수의 파라미터를 획득하는 복수의 진단 보조 신경망 모델이 제공될 수 있다.
예컨대, 일 실시예에 따른 진단 보조 신경망 모델은 제1 파라미터를 획득하는 제1 서브 신경망 모델 및 제1 진단 보조 신경망 모델과 병렬적으로 마련되고 제2 파라미터를 획득하는 제2 서브 신경망 모델을 포함할 수 있다.
다른 일 실시예에 따르면, 적어도 하나의 공통 부분 및 개별 부분을 가지는 진단 보조 신경망 모델이 제공될 수 있다.
예컨대, 진단 보조 신경망 모델은, 공통 부분, 제1 개별 부분 및 제2 개별 부분을 포함할 수 있다. 또 예컨대, 진단 보조 신경망 모델은, 공통 부분과 제1 개별 부분을 포함하는 제1 서브 신경망 모델 및 공통 부분과 제2 개별 부분을 포함하는 제2 서브 신경망 모델을 포함할 수 있다. 공통 부분은 제1 특징 세트를 획득하고, 제1 개별 부분은 제1 특징 세트에 기초하여 제1 파라미터를 획득할 수 있다. 제2 개별 부분은 제1 특징 세트에 기초하여 제2 파라미터를 획득할 수 있다.
구체적인 예로, 공통 부분은 안구 이미지에 기초하여 제1 특징 세트를 획득하고, 제1 개별 부분은 제1 특징 세트에 기초하여 피검체의 헤마토크릿 수치를 나타내는 제1 진단 보조 정보를 획득하고, 제2 개별 부분은 제1 특징 세트에 기초하여 피검체의 적혈구 수치를 나타내는 제2 진단 보조 정보를 획득할 수 있다. 구체적인 예로, 공통 부분은 안구 이미지에 기초하여 제1 특징 세트를 획득하고, 제1 개별 부분은 제1 특징 세트에 기초하여 피검체의 헤마토크릿 수치를 나타내는 제1 진단 보조 정보를 획득하고, 제2 개별 부분은 제1 특징 세트 및 피검체의 신체 정보(성별, 나이 등)에 기초하여 피검체의 대상 뇌심혈관계 질병 해당 여부를 나타내는 제2 진단 보조 정보를 획득할 수 있다.
또 예컨대, 진단 보조 신경망 모델은, 제1 공통 부분, 제1 공통 부분 과 연관된 제2 공통 부분, 제2 공통 부분과 연관된 제1 개별 부분, 제2 공통 부분과 연관된 제2 개별 부분 및 제1 공통 부분과 연관된 제3 개별 부분을 포함할 수 있다. 진단 보조 신경망 모델은, 제1 공통 부분, 제2 공통 부분 및 제1 개별 부분을 포함하고 제1 파라미터를 획득하는 제1 서브 신경망 모델, 제1 공통 부분, 제2 공통 부분 및 제2 개별 부분을 포함하고 제2 파라미터를 획득하는 제2 서브 신경망 모델 및 제1 공통 부분 및 제3 개별 부분을 포함하고 제3 파라미터를 획득하는 제3 신경망 모델을 포함할 수 있다.
구체적인 예로, 제1 공통 부분은 제1 특징 세트를 획득하고, 제2 공통 부분은 제1 특징 세트에 기초하여 제2 특징 세트를 획득하고, 제1 개별 부분은 제2 특징 세트에 적어도 일부 기초하여 제1 파라미터를 나타내는 제1 진단 보조 정보를 획득하고, 제2 개별 부분은 제2 특징 세트에 적어도 일부 기초하여 제2 파라미터를 나타내는 제2 진단 보조 정보를 획득하고, 제3 개별 부분은 제1 특징 세트에 적어도 일부 기초하여 제3 파라미터를 나타내는 제3 진단 보조 정보를 획득할 수 있다. 제1 파라미터 및 제2 파라미터는 서로 연관된 파라미터일 수 있다. 예컨대, 제1 파라미터는 피검체의 헤마토크릿 수치이고, 제2 파라미터는 피검체의 헤모글로빈 수치일 수 있다. 제3 파라미터는 제1 또는 제2 파라미터와 연관성이 적은 파라미터일 수 있다. 예컨대, 제3 파라미터는 피검체의 성별 또는 나이일 수 있다.
제1 파라미터 및 제2 파라미터는 동일 파라미터군에 속하는 파라미터일 수 있다. 제3 파라미터는 제1 파라미터 및 제2 파라미터와 다른 파라미터군에 속하는 파라미터일 수 있다. 예컨대, 제1 파라미터 및 제2 파라미터는 피검체의 혈액과 관련된 파라미터일 수 있다. 제3 파라미터는 피검체의 신체 정보와 관련된 파라미터, 예컨대 피검체의 성별, 키, 나이 등일 수 있다.
다른 일 실시예에 따르면, 적어도 하나의 직렬 연결된 서브 모델을 포함하고 적어도 하나의 파라미터를 획득하는 신경망 모델이 제공될 수 있다.
예컨대, 진단 보조 신경망 모델은 제1 서브 모델 및 제2 서브 모델을 포함할 수 있다. 제1 서브 모델은 안구 이미지에 기초하여 제1 파라미터를 나타내는 제1 진단 보조 정보를 획득할 수 있다. 제2 서브 모델은 제1 진단 보조 정보에 기초하여 제2 파라미터를 나타내는 제2 진단 보조 정보를 획득할 수 있다. 제2 서브 모델은 제1 진단 보조 정보 및/또는 피검체의 신체 일부를 촬상한 의료 이미지 및/또는 피검체에 대한 신체 정보(성별, 나이, 대상 질병에 대한 가족력 등)에 기초하여 제2 파라미터를 나타내는 제2 진단 보조 정보를 획득할 수 있다. 구체적인 예로, 제1 서브 모델은 안구 이미지에 기초하여 피검체의 나이를 나타내는 제1 진단 보조 정보를 획득하고, 제2 서브 모델은 피검체의 나이 및 피검체의 안구 이미지에 기초하여 피검체의 헤마토크릿 수치(또는 관상동맥 질환 해당 여부 등의 질병 관련 진단 보조 정보)를 나타내는 제2 진단 보조 정보를 획득할 수 있다.
도 62는 일 실시예에 따른 진단 보조 신경망 모델을 설명하기 위한 도면이다. 도 62를 참조하면, 복수의 파라미터 및/또는 대상 질병과 관련된 진단 보조 정보를 획득하는 진단 보조 신경망 모델이 제공될 수 있다.
도 62를 참조하면, 진단 보조 신경망 모델은 제1 서브 모델, 출력 검증부 및 제2 서브 모델을 포함할 수 있다. 제1 서브 모델 및/또는 제2 서브 모델은, 본 명세서에서 설명하는 다양한 형태의 복수 정보 획득 신경망 모델로 마련될 수 있다.
제1 서브 모델은 제1 입력을 획득하고 제1 출력을 획득할 수 있다.
제1 입력은 안구 이미지를 포함할 수 있다. 제1 입력은 전처리된 안구 이미지를 포함할 수 있다. 제1 입력은 안구 이미지 외의 피검체의 신체 일부를 촬상한 의료 이미지를 포함할 수 있다. 제1 입력은 비-시각적 정보, 예컨대 피검체의 신체 정보를 포함할 수 있다.
제1 출력은 피검체에 대한 파라미터를 나타내는 진단 보조 정보를 적어도 하나 포함할 수 있다. 예를 들어, 제1 출력은 피검체의 헤마토크릿 수치를 나타내는 제1 진단 보조 정보, 피검체의 헤모글로빈 수치를 나타내는 제2 진단 보조 정보, 피검체의 나이를 나타내는 제3 진단 보조 정보, 피검체의 성별을 나타내는 제4 진단 보조 정보 및 피검체의 BMI를 나타내는 제5 진단 보조 정보를 포함할 수 있다.
출력 검증부(또는 출력 평가부)는 머신 러닝 모델을 통하여 획득된 정보의 정확도를 평가하는 구성으로 마련될 수 있다. 출력 검증부는 제1 서브 모델을 통하여 획득된 진단 보조 정보를 피검체에 대한 실제 정보와 비교하여 검증할 수 있다. 예를 들어, 출력 검증부는 제1 서브 모델을 통하여 획득된 피검체의 헤마토크릿 수치를 나타내는 제1 진단 보조 정보, 피검체의 헤모글로빈 수치를 나타내는 제2 진단 보조 정보, 피검체의 나이를 나타내는 제3 진단 보조 정보, 피검체의 성별을 나타내는 제4 진단 보조 정보 및 피검체의 BMI를 나타내는 제5 진단 보조 정보를, 피검체의 실제 헤마토크릿 수치, 실제 헤모글로빈 수치, 실제 나이, 실제 성별 및 실제 BMI와 각각 비교하여 검증할 수 있다.
출력 검증부는, 검증 결과에 기초하여 제1 출력 중 일부를 선택할 수 있다. 출력 검증부는, 검증 결과 선택된 제1 출력 중 일부 정보를 제2 서브 모델로 전달할 수 있다. 출력 검증부는 제1 서브 모델을 통하여 획득된 진단 보조 정보 중 일정 수준 이상의 정확도를 가지는 정보를 선택하고 제2 서브 모델로 전달할 수 있다. 출력 검증부는 제1 서브 모델을 통하여 획득된 진단 보조 정보를 실제 정보와 비교한 결과에 기초하여, 일정 수준 이상의 정확도를 가지는 정보를 선택하고 제2 서브 모델로 전달할 수 있다. 또는, 출력 검증부는 1 서브 모델을 통하여 획득된 진단 보조 정보 중 일정 수준 이하의 정확도를 가지는 정보를 선택하고 제2 서브 모델로 전달할 수도 있다.
예를 들어, 출력 검증부는 제1 서브 모델을 통하여 획득된 피검체의 헤마토크릿 수치를 나타내는 제1 진단 보조 정보, 피검체의 헤모글로빈 수치를 나타내는 제2 진단 보조 정보, 피검체의 나이를 나타내는 제3 진단 보조 정보, 피검체의 성별을 나타내는 제4 진단 보조 정보 및 피검체의 BMI를 나타내는 제5 진단 보조 정보 중, 일정 수준 이상(또는 이하)의 정확도를 나타내는 제1 진단 보조 정보 및 제2 진단 보조 정보를 선택할 수 있다.
제2 서브 모델은 제1 출력 중 적어도 일부 및 제2 입력을 획득하고 제2 출력을 획득할 수 있다.
제2 서브 모델은 제1 출력 중, 출력 검증부에 의해 선택된 진단 보조 정보를 획득할 수 있다. 예를 들어, 제2 서브 모델은 제1 서브 모델을 통하여 획득된 피검체의 헤마토크릿 수치를 나타내는 제1 진단 보조 정보, 피검체의 헤모글로빈 수치를 나타내는 제2 진단 보조 정보, 피검체의 나이를 나타내는 제3 진단 보조 정보, 피검체의 성별을 나타내는 제4 진단 보조 정보 및 피검체의 BMI를 나타내는 제5 진단 보조 정보 중, 출력 검증부에 의해 선택된 제1 진단 보조 정보 및 제2 진단 보조 정보를 획득할 수 있다.
제2 입력은 안구 이미지를 포함할 수 있다. 제2 입력은 전처리된 안구 이미지를 포함할 수 있다. 제2 입력은 안구 이미지 외의 피검체의 신체 일부를 촬상한 의료 이미지를 포함할 수 있다. 제2 입력은 비-시각적 정보, 예컨대 피검체의 신체 정보를 포함할 수 있다. 제2 입력은 생략될 수 있다.
제2 출력은 피검체에 대한 파라미터를 나타내는 진단 보조 정보를 적어도 하나 포함할 수 있다. 예를 들어, 제2 출력은, 헤마토크릿 수치를 나타내는 제1 진단 보조 정보 및 피검체의 헤모글로빈 수치를 나타내는 제2 진단 보조 정보에 기초하여 획득된 피검체의 대상 뇌심혈관계 질병 해당 여부를 나타내는 진단 보조 정보 또는 피검체의 기타 파라미터를 나타내는 진단 보조 정보를 포함할 수 있다.
도 62에서 예시하는 출력 검증부를 포함하는 진단 보조 신경망 모델에 의하면, 두가지 형태의 머신 러닝 활용이 가능할 수 있다.
먼저, 제1 서브 모델을 통하여 획득된 제1 출력 중 일정수준 이상의 정확도를 가지는 진단 보조 정보에 기초하여 제2 서브 모델을 통하여 제2 출력을 획득할 수 있다. 이 경우, 안구 이미지에 기초하여 머신 러닝 모델에 의해 획득된 정보가 실제 정보와 일치하는 경우에 대해 높은 신뢰도를 부여함으로써, 제2 서브 모델의 학습 정확도가 보다 증가될 수 있다.
또는, 제1 서브 모델을 통하여 획득된 제1 출력 중 일정수준 이하의 정확도를 가지는 진단 보조 정보에 기초하여 제2 서브 모델을 통하여 제2 출력을 획득할 수 있다. 이 경우, 안구 이미지에 기초하여 획득된 파라미터가 실제와 다른 값을 나타내는 파라미터에 기초하여 진단 보조를 수행함으로써, 피검체의 비정상 상태를 나타내는 진단 보조 정보 획득의 신뢰도가 증가될 수 있다.
이러한 점을 고려할 때, 일 실시예에 따른 진단 보조 신경망 모델의 출력 검증부는, 학습 단계와 진단 보조 단계에서 달리 동작할 수 있다. 예컨대, 출력 검증부는, 신경망 모델의 학습 단계에서는 제1 출력 중 일정수준 이상의 정확도를 가지는 진단 보조 정보를 선택하여 제2 서브 모델로 전달하고, 신경망 모델을 이용한 진단 보조 단계에서는 제1 출력 중 일정수준 이하의 정확도를 가지는 진단 보조 정보를 선택하여 제2 서브 모델로 전달할 수 있다. 또는 그 반대일 수 있다.
위 실시예들에서는 하나 이상의 파라미터를 획득하는 진단 보조 신경망 모델에 대하여 설명하였으나, 진단 보조 신경망 모델은 대상 질병과 관련된 진단 보조 정보를 함께 획득할 수도 있다. 예컨대, 진단 보조 신경망 모델은 제1 공통 부분 및 제2 공통 부분을 통하여 제1 파라미터 및 제2 파라미터를 획득하고, 제1 공통부분을 통하여 피검체의 심뇌혈관계 질병에 대한 위험 정도를 나타내는 제3 진단 보조 정보를 획득할 수도 있다.
5.2 파라미터 획득 진단 보조 신경망 모델 학습
일 실시예에 따르면, 하나 이상의 파라미터를 획득하도록, 진단 보조 신경망 모델을 학습하는 방법이 제공될 수 있다.
파라미터를 획득하는 진단 보조 신경망 모델의 학습은, 파라미터 라벨을 포함하는 파라미터 학습 데이터 세트를 획득하고, 파라미터 학습 데이터 세트를 이용하여 신경망 모델을 학습하는 것을 포함할 수 있다.
파라미터 학습 데이터 세트는 안구 이미지 및 안구 이미지에 부여된 파라미터 라벨을 포함할 수 있다. 파라미터 학습 데이터 세트는 안구 이미지 및 안구 이미지에 부여된 제1 파라미터 라벨 및 제2 파라미터 라벨을 포함할 수 있다. 파라미터 학습 데이터 세트는 안구 이미지 및 안구 이미지에 부여된 제1 파라미터 라벨을 포함하는 제1 파라미터 학습 데이터 세트 및 안구 이미지 및 안구 이미지에 부여된 제2 파라미터 라벨을 포함하는 제2 파라미터 학습 데이터 세트를 포함할 수 있다. 파라미터 학습 데이터 세트는 안구 이미지 및 안구 이미지에 부여된 제1 라벨(제1 라벨은 대상 질병의 진단과 관련된 파라미터를 나타냄) 및 대상 질병과 관련된 제2 라벨을 포함할 수 있다.
일 실시예에 따른 진단 보조 신경망 모델의 학습 방법은, 안구 이미지와 안구 이미지에 부여된 제1 라벨(제1 파라미터에 대응됨)을 포함하는 제1 학습 데이터 세트 및 안구 이미지와 안구 이미지에 부여된 제2 라벨(제2 파라미터에 대응됨)을 포함하는 제2 학습 데이터 세트를 이용하여, 제1 파라미터를 획득하는 제1 서브 신경망 모델 및 제1 진단 보조 신경망 모델과 병렬적으로 마련되고 제2 파라미터를 획득하는 제2 서브 신경망 모델을 학습하는 것을 포함할 수 있다.
다른 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법은, 안구 이미지와 안구 이미지에 부여된 제1 라벨(제1 파라미터에 대응됨)을 포함하는 제1 학습 데이터 세트 및 안구 이미지와 안구 이미지에 부여된 제2 라벨(제2 파라미터에 대응됨)을 포함하는 제2 학습 데이터 세트를 이용하여, 공통 부분, 제1 개별 부분 및 제2 개별 부분을 포함하는 진단 보조 신경망 모델을 학습하는 것을 포함할 수 있다. 또는, 진단 보조 신경망 모델의 학습 방법은, 안구 이미지와 안구 이미지에 부여된 제1 라벨(제1 파라미터에 대응됨) 및 제2 라벨(제2 파라미터에 대응됨)을 포함하는 파라미터 학습 데이터 세트를 이용하여, 공통 부분, 제1 개별 부분 및 제2 개별 부분을 포함하는 진단 보조 신경망 모델을 학습하는 것을 포함할 수 있다.
구체적인 예로, 진단 보조 신경망 모델의 학습 방법은, 안구 이미지와 피검체의 헤마토크릿 수치를 나타내는 제1 라벨(제1 파라미터에 대응됨)을 포함하는 제1 학습 데이터 세트 및 안구 이미지와 피검체의 적혈구 수치를 나타내는 제2 라벨(제2 파라미터에 대응됨)을 포함하는 제2 학습 데이터 세트를 이용하여, 안구 이미지에 기초하여 제1 특징 세트를 획득하는 공통 부분, 제1 특징 세트에 기초하여 피검체의 헤마토크릿 수치를 나타내는 제1 진단 보조 정보를 획득하는 제1 개별 부분 및 제1 특징 세트에 기초하여 피검체의 적혈구 수치를 나타내는 제2 진단 보조 정보를 획득하는 제2 개별 부분을 포함하는 진단 보조 신경망 모델을 학습하는 것을 포함할 수 있다.
또 예컨대, 진단 보조 신경망 모델의 학습 방법은, 안구 이미지와 안구 이미지에 부여된 제1 라벨(제1 파라미터에 대응됨)을 포함하는 제1 학습 데이터 세트, 안구 이미지와 안구 이미지에 부여된 제2 라벨(제2 파라미터에 대응됨)을 포함하는 제2 학습 데이터 세트 및 안구 이미지와 안구 이미지에 부여된 제3 라벨(제3 파라미터에 대응됨)을 포함하는 제3 학습 데이터 세트를 이용하여, 제1 공통 부분, 제2 공통 부분, 제1 개별 부분, 제2 개별 부분 및 제3 공통 부분을 포함하는 진단 보조 신경망 모델을 학습하는 것을 포함할 수 있다. 또는, 진단 보조 신경망 모델의 학습 방법은, 안구 이미지와 안구 이미지에 부여된 제1 라벨(제1 파라미터에 대응됨), 제2 라벨(제2 파라미터에 대응됨) 및 제3 라벨(제3 파라미터에 대응됨)을 포함하는 파라미터 학습 데이터 세트를 이용하여, 제1 공통 부분, 제2 공통 부분, 제1 개별 부분, 제2 개별 부분 및 제3 개별 부분을 포함하는 진단 보조 신경망 모델을 학습하는 것을 포함할 수 있다.
제1 파라미터 및 제2 파라미터는 서로 연관된 파라미터일 수 있다. 예컨대, 제1 파라미터는 피검체의 헤마토크릿 수치이고, 제2 파라미터는 피검체의 헤모글로빈 수치일 수 있다. 제3 파라미터는 제1 또는 제2 파라미터와 연관성이 적은 파라미터일 수 있다. 예컨대, 제3 파라미터는 피검체의 성별 또는 나이일 수 있다. 제1 파라미터 및 제2 파라미터는 동일 파라미터군에 속하는 파라미터일 수 있다. 제3 파라미터는 제1 파라미터 및 제2 파라미터와 다른 파라미터군에 속하는 파라미터일 수 있다. 예컨대, 제1 파라미터 및 제2 파라미터는 피검체의 혈액과 관련된 파라미터일 수 있다. 제3 파라미터는 피검체의 신체 정보와 관련된 파라미터, 예컨대 피검체의 성별, 키, 나이 등일 수 있다.
다른 일 실시예에 따르면, 적어도 하나의 직렬 연결된 서브 모델을 포함하고 적어도 하나의 파라미터를 획득하는 신경망 모델을 학습하는 방법 제공될 수 있다.
예컨대, 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법은, 안구 이미지 및 제1 파라미터에 대응되는 제1 라벨을 포함하는 제1 파라미터 학습 데이터 세트를 이용하여, 안구 이미지에 기초하여 제1 파라미터를 나타내는 제1 진단 보조 정보를 획득하는 제1 서브 모델을 학습하는 것을 포함할 수 있다.
진단 보조 신경망 모델의 학습 방법은, 제1 파라미터 및 제2 파라미터에 대응되는 제2 라벨을 포함하는 제2 파라미터 학습 데이터 세트를 이용하여, 제2 파라미터에 기초하여 제2 파라미터를 나타내는 제2 진단 보조 정보를 획득하는 제2 서브 모델을 학습하는 것을 포함할 수 있다.
도 63은 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다. 도 63을 참조하면, 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법은 학습 데이터를 획득하는 단계(S5100), 제1 서브 모델을 학습하는 단계(S5200), 제1 출력을 검증하는 단계(S5300) 및 제2 서브 모델을 학습하는 단계(S5400)를 포함할 수 있다.
학습 데이터를 획득하는 단계(S5100)는 안구 이미지 및 안구 이미지에 대응되는 복수의 파라미터 라벨을 포함하는 파라미터 학습 데이터 세트를 획득하는 것을 포함할 수 있다. 일 실시예에 따르면, 파라미터 학습 데이터 세트는 안구 이미지 및 안구 이미지에 대응되는 제1 내지 제5 라벨을 포함할 수 있다. 제1 라벨은 피검체의 헤마토크릿 수치를 나타낼 수 있다. 제2 라벨은 피검체의 헤모글로빈 수치를 나타낼 수 있다. 제3 라벨은 피검체의 나이를 나타낼 수 있다. 제4 라벨은 피검체의 성별을 나타낼 수 있다. 제5 라벨은 피검체의 BMI를 나타낼 수 있다. 제6 라벨은 피검체의 대상 뇌심혈관계 질병에 대한 위험 정도를 나타낼 수 있다. 제7 라벨은 피검체의 대상 뇌심혈관계 질병과 관련된 수치, 예컨대 관상동맥 칼슘 스코어를 나타낼 수 있다. 제1 내지 제7 라벨은 위 예시 외의 정보를 지시할 수 있다.
제1 서브 모델을 학습하는 단계(S5200)는 파라미터 학습 데이터 세트에 기초하여, 제1 서브 모델을 안구 이미지에 기초하여 제1 출력을 획득하도록 학습하는 것을 포함할 수 있다.
예를 들어, 파라미터 학습 세트는 제1 내지 제7 라벨 및 안구 이미지를 포함하고, 제1 서브 모델을 학습하는 단계(S5200)는 제1 서브 모델이 안구 이미지에 기초하여, 제1 내지 제5 라벨에 각각 대응되는 제1 내지 제5 진단 보조 정보를 포함하는 제1 출력을 획득하도록 학습하는 것을 포함할 수 있다. 제1 서브 모델을 학습하는 단계(S5200)는 안구 이미지에 기초하여 제1 서브 모델을 통하여 획득된 제1 내지 제5 진단 보조 정보 및 제1 내지 제5 라벨을 각각 비교하여, 제1 서브 모델의 파라미터를 갱신하는 것을 포함할 수 있다.
보다 구체적인 예를 들면, 파라미터 학습 세트는, 피검체의 헤마토크릿 수치를 나타내는 제1 라벨, 피검체의 헤모글로빈 수치를 나타내는 제2 라벨, 피검체의 나이를 나타내는 제3 라벨, 피검체의 성별을 나타내는 제4 라벨, 피검체의 BMI를 나타내는 제5 라벨, 피검체의 대상 뇌심혈관계 질병에 대한 위험 정도를 나타내는 제6 라벨 및 피검체의 관상동맥 칼슘 스코어를 나타내는 제7 라벨을 포함하고, 제1 서브 모델을 학습하는 단계(S5200)는 제1 서브 모델이 안구 이미지에 기초하여, 피검체의 헤마토크릿 수치를 나타내는 제1 진단 보조 정보, 피검체의 헤모글로빈 수치를 나타내는 제2 진단 보조 정보, 피검체의 나이를 나타내는 제3 진단 보조 정보, 피검체의 성별을 나타내는 제4 진단 보조 정보, 피검체의 BMI를 나타내는 제5 진단 보조 정보을 포함하는 제1 출력을 획득하도록 학습하는 것을 포함할 수 있다.
제1 출력을 검증하는 단계(S5300)는 파라미터 학습 데이터 세트에 기초하여 제1 서브 모델에 의해 획득되는 제1 출력을 검증하는 것을 포함할 수 있다. 제1 출력을 검증하는 단계(S5300)는 파라미터 학습 데이터 세트에 기초하여 제1 서브 모델에 의해 획득되는 제1 출력에 포함되는 진단 보조 정보 중 일정 수준 이상 또는 이하의 정확도를 가지는 진단 보조 정보를 선별하는 것을 포함할 수 있다.
예를 들어, 제1 출력을 검증하는 단계(S5300)는, 제1 서브 모델에 의해 학습되는 제1 내지 제5 진단 보조 정보 및 파라미터 학습 데이터 세트에 포함되는 제1 내지 제5 라벨을 각각 비교하여, 제1 출력을 검증하는 것을 포함할 수 있다. 제1 출력을 검증하는 단계(S5300)는, 제1 서브 모델에 의해 학습되는 제1 내지 제5 진단 보조 정보 및 파라미터 학습 데이터 세트에 포함되는 제1 내지 제5 라벨을 각각 비교하여, 일정 수준 이상 또는 이하의 정확도를 가지는 진단 보조 정보를 선별하는 것을 포함할 수 있다.
보다 구체적인 예를 들면, 파라미터 학습 세트는, 피검체의 헤마토크릿 수치를 나타내는 제1 라벨, 피검체의 헤모글로빈 수치를 나타내는 제2 라벨, 피검체의 나이를 나타내는 제3 라벨, 피검체의 성별을 나타내는 제4 라벨, 피검체의 BMI를 나타내는 제5 라벨, 피검체의 대상 뇌심혈관계 질병에 대한 위험 정도를 나타내는 제6 라벨 및 피검체의 관상동맥 칼슘 스코어를 나타내는 제7 라벨을 포함하고, 제1 출력을 검증하는 단계(S5300)는, 제1 서브 모델에 의해 획득된 피검체의 헤마토크릿 수치를 나타내는 제1 진단 보조 정보, 피검체의 헤모글로빈 수치를 나타내는 제2 진단 보조 정보, 피검체의 나이를 나타내는 제3 진단 보조 정보, 피검체의 성별을 나타내는 제4 진단 보조 정보, 피검체의 BMI를 나타내는 제5 진단 보조 정보을 포함하는 제1 출력을 제1 내지 제5 라벨과 비교하여, 일정 수준 이상의 일치도를 보이는 진단 보조 정보를 결정하는 것을 포함할 수 있다.
제2 서브 모델을 학습하는 단계(S5400)는 파라미터 학습 데이터 세트를 이용하여 수행될 수 있다. 제2 서브 모델을 학습하는 단계(S5400)는 파라미터 학습 데이터 세트를 이용하여, 제2 서브 모델이 적어도 일부의 진단 보조 정보에 기초하여 제2 출력을 획득하도록 제2 서브 모델을 학습하는 것을 포함할 수 있다. 제2 서브 모델을 학습하는 단계(S5400)는 파라미터 학습 데이터 세트를 이용하여, 제2 서브 모델이 출력 검증부에 의해 선별된 진단 보조 정보에 기초하여 제2 출력을 획득하도록 제2 서브 모델을 학습하는 것을 포함할 수 있다.
예를 들어, 제2 서브 모델을 학습하는 단계(S5400)는 제2 서브 모델을 통하여, 제1 서브 모델에 의해 학습되는 제1 내지 제5 진단 보조 정보 중 일정 수준 이상 또는 이하의 정확도를 가지는 것으로 선별된 제1 내지 제3 진단 보조 정보에 기초하여, 제6 및 제7 진단 보조 정보를 획득하는 것을 포함할 수 있다. 제2 서브 모델을 학습하는 단계(S5400)는 제6 및 제7 진단 보조 정보를, 파라미터 학습 데이터 세트에 포함되고 제6 및 제7 진단 보조 정보에 대응되는 제6 라벨 및 제7 라벨과 비교하여 제2 서브 모델을 갱신하는 것을 포함할 수 있다.
보다 구체적인 예를 들면, 제2 서브 모델을 학습하는 단계(S5400)는 제1 서브 모델에 의해 획득된 제1 출력 중 출력 검증부에 의해 선별된 피검체의 헤마토크릿 수치를 나타내는 제1 진단 보조 정보 및 피검체의 헤모글로빈 수치를 나타내는 제2 진단 보조 정보에 기초하여, 제2 서브 모델에 의해 획득된 피검체의 대상 뇌심혈관계 질병에 대한 위험 정도를 나타내는 제6 진단 보조 정보 및 피검체의 관상동맥 칼슘 스코어를 나타내는 제7 진단 보조 정보를, 파라미터 학습 데이터 세트에 포함된 제6 라벨 및 제7 라벨과 비교하여, 제2 서브 모델의 파라미터를 적어도 일부 갱신하는 것을 포함할 수 있다.
5.3 파라미터 획득 진단 보조
일 실시예에 따르면 전술한 진단 보조 신경망 모델을 통하여 적어도 하나의 파라미터를 획득하는 방법이 제공될 수 있다. 일 실시예에 따르면 전술한 진단 보조 신경망 모델을 통하여 획득된 적어도 하나의 파라미터에 기초하여 대상 질병의 진단을 보조하는 방법이 제공될 수 있다.
일 실시예에 따르면, 파라미터 획득 신경망 모델을 이용한 진단 보조 방법은 대상 안구 이미지를 획득하는 단계, 대상 안구 이미지에 따른 적어도 하나의 파라미터를 획득하는 단계를 포함할 수 있다.
대상 안구 이미지는 전술한 다양한 형태의 안구를 촬상한 이미지일 수 있다. 대상 안구 이미지를 획득하는 단계는 하나 이상의 안구 이미지, 예컨대 좌안 안구 이미지 및 우안 안구 이미지를 획득하는 것을 포함할 수 있다. 대상 안구 이미지를 획득하는 단계는 안구 외의 신체 부위를 촬상한 의료 이미지를 획득하는 것을 포함할 수 있다. 인구 이미지를 획득하는 단계는 비-시각적 의료 데이터, 예컨대, 피검체의 신체 정보, 생활 습관 정보 또는 대상 질병과 관련된 정보를 획득하는 것을 포함할 수 있다.
대상 안구 이미지에 따른 적어도 하나의 파라미터를 획득하는 단계는, 전술한 파라미터 획득 신경망 모델을 통하여 적어도 하나의 파라미터를 획득하는 것을 포함할 수 있다. 대상 안구 이미지에 따른 적어도 하나의 파라미터를 획득하는 단계는, 전술한 파라미터 획득 신경망 모델을 통하여 적어도 하나의 파라미터 및 대상 질병의 진단에 이용되는 진단 보조 정보를 획득하는 것을 포함할 수 있다.
대상 안구 이미지에 따른 적어도 하나의 파라미터를 획득하는 단계는, 전술한 병렬 연결된 복수 서브 신경망 모델을 포함하고 복수의 파라미터를 획득하는 진단 보조 신경망 모델, 전술한 직렬 연결된 복수 서브 신경망 모델을 포함하고 복수의 파라미터를 획득하는 진단 보조 신경망 모델, 전술한 공통 부분 및 개별 부분을 포함하고 복수 파라미터를 획득하는 신경망 모델 또는 전술한 출력 검증부를 가지는 신경망 모델을 이용하여 적어도 하나의 파라미터를 획득하는 것을 포함할 수 있다.
도 64는 일 실시예에 따른 진단 보조 방법을 설명하기 위한 도면이다.
도 64는 일 실시예에 따른 진단 보조 방법을 설명하기 위한 도면이다. 도 64를 참조하면, 일 실시예에 따른 진단 보조 방법은 입력 데이터를 획득하는 단계(S6100), 제1 출력을 획득하는 단계(S6200), 제1 출력을 검증하는 단계(S6300) 및 제2 출력을 획득하는 단계(S6400)를 포함할 수 있다. 이하에서는 도 62와 관련하여 설명한 신경망 모델을 참조하여 설명한다.
입력 데이터를 획득하는 단계(S6100)는 대상 안구 이미지 및/또는 안구 외의 신체 부위를 촬상한 대상 의료 이미지 및/또는 피검체와 관련된 비-시각적 의료 데이터를 획득하는 것을 포함할 수 있다. 예컨대, 입력 데이터는 피검체의 신체 정보, 예를 들어, 성별, 나이, 키 등을 나타내는 의료 데이터를 포함할 수 있다.
제1 출력을 획득하는 단계(S6200)는 입력 데이터에 포함된 제1 입력에 기초하여 제1 출력을 획득하는 것을 포함할 수 있다. 제1 출력은 적어도 하나의 파라미터 및/또는 대상 질병과 관련된 진단 보조 정보를 포함할 수 있다. 예컨대, 제1 출력은 피검체의 키, 나이 또는 성별 중 어느 하나를 나타내는 진단 보조 정보를 포함할 수 있다.
제1 출력을 검증하는 단계(S6300)는 제1 출력에 포함된 진단 보조 정보 중 적어도 일부를 입력 데이터에 기초하여 검증하는 것을 포함할 수 있다. 예컨대, 제1 출력을 검증하는 단계(S6300)는 제1 출력에 포함되고 피검체의 키, 나이 또는 성별 중 어느 하나를 나타내는 진단 보조 정보를 입력 데이터에 포함된 피검체의 실제 키, 나이 또는 성별과 비교하여 제1 출력을 검증하는 것을 포함할 수 있다.
제1 출력을 검증하는 단계(S6300)는 제1 출력에 포함된 진단 보조 정보 중 적어도 일부를 선택하는 것을 포함할 수 있다. 제1 출력을 검증하는 단계(S6300)는 제1 출력에 포함된 진단 보조 정보 중 적어도 일부를 입력 데이터와 비교하여, 일정 수준 이상(또는 이하)의 정확도를 보이는 진단 보조 정보를 선택하는 것을 포함할 수 있다.
예를 들어, 제1 출력을 검증하는 단계(S6300)는 제1 출력에 포함된 진단 보조 정보 중, 입력 데이터에 포함된 피검체의 실제 나이 및 실제 성별과 일정 수준 이상(또는 이하) 일치하는, 피검체의 (추정된) 나이를 나타내는 제1 진단 보조 정보 및 피검체의 (추정된) 성별을 나타내는 제2 진단 보조 정보를 선택하는 것을 포함할 수 있다.
제2 출력을 획득하는 단계(S6400)는 제1 출력 중 적어도 일부에 기초하여 제2 출력을 획득하는 것을 포함할 수 있다. 제2 출력을 획득하는 단계(S6400)는 입력 데이터에 포함된 제2 입력에 적어도 일부 기초하여 제2 출력을 획득하는 것을 포함할 수 있다.
예를 들어, 제2 출력을 획득하는 단계(S6400)는 제1 출력에 포함된 진단 보조 정보 중, 입력 데이터에 포함된 피검체의 실제 나이 및 실제 성별과 일정 수준 이상(또는 이하) 일치하는, 피검체의 (추정된) 나이를 나타내는 제1 진단 보조 정보 및 피검체의 (추정된) 성별을 나타내는 제2 진단 보조 정보에 기초하여 제2 출력을 획득할 수 있다.
제2 출력을 획득하는 단계(S6400)는 제1 출력에 포함된 진단 보조 정보 및/또는 입력 데이터에 포함된 안구 이미지, 안구 이미지 외의 의료 이미지 또는 피검체에 대한 비-시각적 의료 데이터에 기초하여 제2 출력을 획득하는 것을 포함할 수 있다.
제2 출력은 피검체와 관련된 (추정된) 의료 데이터 또는 파라미터를 나타내는 진단 보조 정보 또는 피검체에 대한 대상 질병과 관련된 진단 보조 정보를 포함할 수 있다.
일 실시예에 따르면, 진단 보조 방법은 획득된 파라미터에 기초하여 대상 질병에 대한 진단 보조 정보(예컨대, 2차 정보)를 획득하는 단계를 더 포함할 수 있다.
진단 보조 방법은, 진단 보조 신경망 모델을 통하여 적어도 하나의 파라미터를 획득하고, 대상 질병 진단을 위한 2차 정보, 예컨대, 피검체의 대상 질병 해당 여부, 피검체의 대상 질병 위험 정도, 피검체의 대상 질병과 관련된 수치 예측값 등을 나타내는 2차 진단 보조 정보를 획득할 수 있다.
구체적인 일 예로, 진단 보조 방법은, 전술한 진단 보조 신경망 모델을 통하여 피검체의 헤마토크릿 수치를 나타내는 진단 보조 정보를 획득하는 것을 포함할 수 있다. 또한, 진단 보조 방법은, 진단 보조 신경망 모델을 통하여 획득된 피검체의 헤마토크릿 수치를 나타내는 진단 보조 정보에 기초하여, 피검체의 대상 뇌심혈관계 질병 해당 여부를 나타내는 2차 진단 보조 정보를 획득하는 것을 포함할 수 있다.
예컨대, 진단 보조 방법은, 진단 보조 신경망 모델을 통하여 획득된 2차 진단 보조 정보가, 피검체의 헤마토크릿 수치가 제1 값보다 낮음을 나타내는 경우, 피검체에 대하여 빈혈, 신장질환, 혈액 손실, 요독 등의 위험성이 높음을 나타내는 2차 진단 보조 정보를 획득하는 것을 포함할 수 있다. 예컨대, 진단 보조 방법은, 진단 보조 신경망 모델을 통하여 획득된 2차 진단 보조 정보가, 피검체의 헤마토크릿 수치가 제1 값보다 높음을 나타내는 경우, 피검체에 대하여 황달, 심장질환, 혈구증가증, 저산소증, 혈액 도핑 또는 탈수의 해당 가능성이 높음을 나타내는 2차 진단 보조 정보를 획득하는 것을 포함할 수 있다.
일 실시예에 따르면, 진단 보조 방법은, 획득된 진단 보조 정보에 의해 지시되는 파라미터가 기준 범위에 포함되는지 판단하는 것을 포함할 수 있다. 진단 보조 방법은, 대상 파라미터가 기준 범위를 벗어나는 것을 지시하는 진단 보조 정보를 획득하고, 획득된 진단 보조 정보에 대응되는 2차 진단 보조 정보를 획득하는 것을 포함할 수 있다.
일 예로, 진단 보조 방법은, 진단 보조 신경망 모델을 통하여 피검체의 헤마토크릿 수치를 나타내는 진단 보조 정보를 획득하고, 획득된 진단 보조 정보에 기초하여 피검체의 헤마토크릿 수치가 미리 정해진 수치 범위에 포함되는지 판단하는 것을 포함할 수 있다. 진단 보조 방법은, 진단 보조 신경망 모델을 통하여 획득된 피검체의 헤마토크릿 수치가 미리 정해진 수치 범위를 벗어나는 경우, 획득된 피검체의 헤마토크릿 수치에 따른 2차 진단 보조 정보를 획득하는 것을 포함할 수 있다.
예컨대, 진단 보조 방법은, 진단 보조 신경망 모델을 통하여 획득된 피검체의 헤마토크릿 수치가 미리 정해진 수치 범위를 초과하는 경우, 피검체에 대하여 황달, 심장질환, 혈구증가증, 저산소증, 혈액 도핑 또는 탈수의 해당 가능성이 높음을 나타내는 2차 진단 보조 정보를 획득하고, 진단 보조 신경망 모델을 통하여 획득된 피검체의 헤마토크릿 수치가 미리 정해진 수치 범위에 못미치는 경우, 피검체에 대하여 황달, 심장질환, 혈구증가증, 저산소증, 혈액 도핑 또는 탈수의 해당 가능성이 높음을 나타내는 2차 진단 보조 정보를 획득하고,피검체에 대하여 빈혈, 신장질환, 혈액 손실, 요독 등의 위험성이 높음을 나타내는 2차 진단 보조 정보를 획득하는 것을 포함할 수 있다.
헤마토크릿 수치의 미리 정해진 범위는, 40 내지 43일 수 있다. 헤마토크릿 수치의 미리 정해진 범위는, 피검체의 성별에 따라 달리 결정될 수 있다. 예컨대, 진단 보조 방법은, 진단 보조 신경망 모델을 통하여 피검체의 헤마토크릿 수치를 나타내는 진단 보조 정보를 획득하고, 획득된 진단 보조 정보에 기초하여 피검체의 헤마토크릿 수치가 미리 정해진 수치 범위에 포함되는지 판단하되, 미리 정해진 수치 범위는 피검체의 성별이 여자인 경우 제1 수치 범위이고, 피검체의 성별이 남자인 경우 제2 수치 범위 일 수 있다. 제1 수치 범위는 38 내지 42% 이고, 제2 수치 범위는 42 내지 42%일 수 있다.
한편, 진단 보조 방법은, 피검체의 성별을 획득하는 단계를 더 포함하고, 피검체의 성별을 획득하는 단계는 사용자로부터 피검체의 성별을 입력 받는 단계 및/또는 진단 보조 신경망 모델을 이용하고 피검체의 안구 이미지에 기초하여 피검체의 성별을 획득하는 단계를 포함할 수 있다.
한편, 진단 보조 방법은, 신경망 모델을 통하여 획득된 피검체의 헤마토크릿 수치가, 피검체의 타 질병 보유 여부에 따라 결정된 수치 범위에 포함되는지 여부를 판단하는 것을 포함할 수 있다. 예컨대, 진단 보조 방법은, 피검체가 투석대상자임을 지시하는 객체 정보를 획득하고, 신경망 모델을 통하여 획득된 피검체의 헤마토크릿 수치가, 상술한 제1 수치 범위 또는 제2 수치 범위보다 낮은 제3 수치 범위, 예컨대 33~36%에 포함되는지 여부를 판단하는 것을 포함할 수 있다.
위 실시예는 헤마토크릿 외의 다른 파라미터에 대하여도 유사하게 적용될 수 있다. 파라미터가 달라지는 경우, 미리 정해진 수치 범위 및/또는 2차 진단 보조 정보가 달라질 수 있다.
예컨대, 진단 보조 신경망 모델에 의해 획득되는 파라미터가 헤모글로빈 수치인 경우, 미리 정해진 수치 범위는 12 내지 17(g/dL)일 수 있다. 진단 보조 신경망 모델에 의해 획득되는 파라미터가 헤모글로빈 수치인 경우, 미리 정해진 수치 범위는, 피검체가 남성인 경우 13 내지 17(g/dL)이고, 피검체가 여성인 경우 12 내지 15(g/dL)일 수 있다.
또 예컨대, 진단 보조 신경망 모델에 의해 획득되는 파라미터가 적혈구 수인 경우, 미리 정해진 수치 범위는 3.8 내지 5.6(10^6/μl)일 수 있다. 진단 보조 신경망 모델에 의해 획득되는 파라미터가 적혈구 수인 경우, 미리 정해진 수치 범위는, 피검체가 남성인 경우 4.2 내지 5.6(10^6/μl)이고, 피검체가 여성인 경우 3.8 내지 5.1(10^6/μl)일 수 있다.
또 예컨대, 진단 보조 신경망 모델에 의해 획득되는 파라미터가 크레아티닌 수치인 경우, 미리 정해진 수치 범위는 0.50 내지 1.4 (mg/dL)일 수 있다.
일 실시예에 따른 진단 보조 신경망 모델은, 위에서 설명한 파라미터의 기준 범위에 따라 대상 안구 이미지를 분류하도록 마련될 수 있다. 예컨대, 진단 보조 신경망 모델은 안구 이미지에 기초하여 획득되는 파라미터 값을 지시하는 제1 진단 보조 정보 및/또는 안구 이미지에 기초하여 획득되는 파라미터가 정상 수치 범위보다 작은지, 정상 수치 범위 내인지 또는 정상 수치 범위보다 큰지를 지시하는 제2 진단 보조 정보를 획득하도록 마련될 수 있다.
일 실시예에 따르면, 진단 보조 방법은, 획득된 파라미터 진단 보조 정보에 기초하여 피검체에게 요구되는 조치를 나타내는 2차 진단 보조 정보를 획득하는 것을 더 포함할 수 있다.
예컨대, 진단 보조 방법은, 진단 보조 신경망 모델을 이용하여 피검체의 헤마토크릿 수치를 나타내는 진단 보조 정보를 획득하고, 획득된 진단 보조 정보가 피검체의 헤마토크릿 수치가 미리 정해진 수치 범위를 벗어남을 지시하는 경우, 피검체에게 항응고제 등의 헤마토크릿 수치 조정을 위한 약제 투여가 권장됨을 지시하는 2차 진단 보조 정보를 획득하는 것을 더 포함할 수 있다.
또 예컨대, 진단 보조 방법은, 진단 보조 신경망 모델을 이용하여 피검체의 크레아티닌 수치를 나타내는 진단 보조 정보를 획득하고, 획득된 진단 보조 정보가 피검체의 크레아티닌 수치가 미리 정해진 수치 범위를 벗어남을 지시하는 경우, 피검체에게 스테로이드, 혈압강하제, 철분제제, 인결합제, 이뇨제, 항혈전제 등의 크레아티닌 수치 조정을 위한 약제 투여가 권장됨을 지시하는 2차 진단 보조 정보를 획득하는 것을 더 포함할 수 있다.
일 실시예에 따른 진단 보조 방법은, 제1 시점에서 진단 보조 신경망 모델을 통하여 파라미터의 값(또는 범위)을 지시하는 진단 보조 정보를 획득하고, 이에 따른 조치가 취해진 후 제2 시점에서 파라미터의 값을 지시하는 진단 보조 정보를 재획득하는 것을 포함할 수 있다.
일 실시예에 따른 진단 보조 방법은, 제1 시점에서 진단 보조 신경망 모델을 통하여 파라미터의 값(또는 범위)을 지시하는 진단 보조 정보를 획득하고, 진단 보조 정보가 파라미터의 값이 정상 수치 범위를 벗어남을 지시하는 경우, 해당 파라미터 값의 정상화를 위한 약제 처방 등의 조치가 취해진 후 제2 시점에서 파라미터의 값을 지시하는 진단 보조 정보를 재획득하는 것을 포함할 수 있다.
일 실시예에 따른 진단 보조 방법은, 제1 시점에서 획득된 안구 이미지에 기초하여 진단 보조 신경망 모델을 통하여 파라미터의 값(또는 범위)을 지시하는 제1 진단 보조 정보를 획득하고, 이에 따른 조치가 취해진 후 제2 시점에서 획득된 안구 이미지에 기초하여 진단 보조 신경망 모델을 통하여 파라미터의 값을 지시하는 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다. 진단 보조 방법은, 제1 진단 보조 방법 및 제2 진단 보조 방법에 기초하여 피검체에 대한 해당 파라미터의 변화 및/또는 이와 관련된 조치의 필요 여부를 나타내는 제3 진단 보조 정보를 획득하는 것을 더 포함할 수 있다.
6. Domain Adaptation
본 명세서에서 설명하는 발명의 일 실시예에 따르면, 안구 이미지 등의 의료 이미지의 형식(또는 도메인)을 변경하는 방법이 제공될 수 있다. 이하에서 설명하는 이미지의 형식 변경은 정보 처리 장치, 정보 처리 장치의 제어부 또는 서버 장치에 의해 수행될 수 있다. 의료 이미지의 형식을 변경하도록 학습된 신경망 모델이 제공될 수 있다. 이미지의 형식 변경은 정보 처리 장치, 정보 처리 장치의 제어부 또는 서버 장치에 저장된 신경망 모델에 의해 수행될 수 있다.
이미지 형식을 변경하는 것은, 대상 이미지를 획득하고, 대상 이미지의 형식을 판단하고, 대상 이미지의 형식을 변경하여 수행될 수 있다. 이미지의 형식은, 이미지를 촬상한 장치에 따라 결정되는 형식을 의미할 수 있다. 이미지의 형식은, 의료 이미지의 종류를 의미할 수 있다.
일 실시예에 따르면, 제1 형식의 의료 이미지를 제2 형식의 의료 이미지로 변환하는 방법이 제공될 수 있다.
제1 형식의 의료 이미지와 제2 형식의 의료 이미지는, 동일한 신체 부위에 대한 이종의 의료 이미지일 수 있다. 구체적인 예로, 제1 형식의 의료 이미지는 안저 이미지이고, 제2 형식의 의료 이미지는 OCT 이미지일 수 있다.
또는, 제1 형식의 의료 이미지와 제2 형식의 의료 이미지는, 동종의 의료 이미지에 대한 이종의 장치로 촬상된 이미지일 수 있다. 구체적인 예로, 제1 형식의 의료 이미지는 제1 타입 장치로 촬상된 안저 이미지이고, 제2 형식의 의료 이미지는 제2 타입 장치로 촬상된 안저 이미지일 수 있다.
일 실시예에 따르면, 제1 형식 이미지를 제2 형식 이미지로 변환하는 변환 신경망 모델의 학습 방법이 제공될 수 있다. 변환 신경망 모델의 학습 방법은, 이미지 변환 학습 데이터를 획득하고, 이를 이용하여 변환 신경망 모델의 파라미터를 갱신하는 것을 포함할 수 있다.
이미지 변환 학습 데이터는 제1 형식 이미지 및 제2 형식 이미지를 포함할 수 있다. 이미지 변환 학습 데이터는 제1 형식 이미지 및 제1 형식 이미지에 대응되는 제2 형식 이미지를 포함하는 단위 학습 데이터를 포함할 수 있다.
변환 신경망 모델을 학습하는 것은, 제1 형식 이미지에 기초하여 변환 신경망 모델을 통하여 변환된 이미지를 획득하고, 제1 형식 이미지에 대응되고 이미지 변환 학습 데이터에 포함되는 제2 형식 이미지를 변환된 이미지와 비교하고, 비교 결과에 기초하여 변환 신경망 모델의 파라미터를 갱신하는 것을 포함할 수 있다.
예컨대, 이미지 변환 학습 데이터는, 제1 타입 안저 카메라 장치로 촬상된 제1 이미지 및 제1 이미지에 대응되고(제1 이미지와 동일한 안저로부터 획득되고) 제2 타입 안저 카메라 장치로 촬상된 제2 이미지를 포함할 수 있다.
또 예컨대, 이미지 변환 학습 데이터는, OCT 장치를 통해 획득된 OCT 이미지인 제1 이미지 및 제1 이미지에 대응되고(제1 이미지와 동일한 안구로부터 획득되고) 안저 카메라 장치로 촬상된 안저 이미지인 제2 이미지를 포함할 수 있다.
이때, 변환 이미지 모델을 학습하는 것은, 제1 이미지를 입력 이미지로 하여 획득된 변환 이미지와 제2 이미지의 차이에 기초하여 변환 신경망 모델의 파라미터를 갱신하는 것을 포함할 수 있다.
도 65는 일 실시예에 따른 이미지 형식 변경 방법을 설명하기 위한 도면이다. 도 65를 참조하면, 일 실시예에 따른 이미지 형식 변경 방법은, 제1 형식 이미지를 획득하는 단계(S7100) 및 제2 형식 이미지를 획득하는 단계(S7200)를 포함할 수 있다.
제1 형식 이미지를 획득하는 단계(S7100)는, 이미지를 획득하고 대상 이미지의 형식을 판단하는 것을 포함할 수 있다. 대상 이미지의 형식을 판단하는 것은 대상 이미지 데이터에 포함된 태그 또는 메타데이터에 기초하여 대상 이미지의 형식을 판단하는 것을 포함할 수 있다. 예컨대, 제1 형식 이미지를 획득하는 단계(S7100)는, 안저 이미지 데이터를 획득하고, 안저 이미지 데이터에 포함된 안저 이미지 촬상 장치 정보를 획득하는 것을 포함할 수 있다.
제2 형식 이미지를 획득하는 단계(S7200)는, 제1 형식 이미지를 입력 데이터로 하고, 이미지 형식을 변환하는 변환 신경망 모델을 통하여 제2 형식 이미지를 획득하는 것을 포함할 수 있다.
일 실시예에 따르면, 변환 신경망 모델은 제1 타입 안저 카메라 장치로 촬상된 제1 형식 안저 이미지를 제2 타입 안저 카메라 장치로 촬상된 제2 형식 안저 이미지로 변환하도록 학습되어 마련될 수 있다. 또는, 변환 신경망 모델은 OCT 장치를 통해 획득된 OCT 이미지인 제1 형식 이미지를 안저 카메라 장치로 촬상된 안저 이미지인 제2 형식 이미지로 변환하도록 학습되어 마련될 수 있다.
일 실시예에 따르면, 변환 신경망 모델은, 스타일 트랜스퍼 네트워크 모델일 수 있다. 일 예로, 변환 신경망 모델은, GAN(Generative Adversarial Network) 모델을 이용하여 제1 형식 이미지를 제2 형식 이미지로 변환하도록 마련될 수 있다.
일 실시예에 따르면, 변환 신경망 모델은, 일 이미지에 기초하여 복수 형식의 이미지를 획득할 수 있다. 이때, 변환 신경망 모델은, 전술한 복수 정보 획득 모델 형태가 이용될 수 있다.
7. 안구 이미지 분류
일 실시예에 따르면, 안구 이미지를 분류하는 방법이 제공될 수 있다. 구체적으로, 안구 이미지를, 피검체의 좌안을 촬상하여 획득된 좌안 이미지 및 피검체의 우안을 촬상하여 획득된 우안 이미지로 분류하는 방법이 제공될 수 있다.
도 66은 일 실시예에 따른 안구 이미지의 분류 방법을 설명하기 위한 도면이다. 도 65을 참조하면, 안구 이미지의 분류 방법은, 안구 이미지를 획득하는 단계(S8100), 안구 이미지에 대하여 전처리를 수행하는 단계(S8200), 전처리된 이미지에 대하여 제1 알고리즘에 기초하여 제1 판단을 수행하는 단계(S8300) 및 제2 알고리즘에 기초하여 제2 판단을 수행하는 단계(S8400) 및 판단 결과를 획득하는 단계(S8500)를 포함할 수 있다.
안구 이미지를 획득하는 단계(S8100)는 피검체의 안구를 촬상한 이미지, 예컨대 OCT 이미지, 안저 이미지, 외안부 이미지 또는 홍채 이미지 중 어느 하나를 획득하는 것을 포함할 수 있다.
안구 이미지에 대하여 전처리를 수행하는 단계(S8200)는 대상 안구 이미지에 대하여, 대상 안구 이미지에 포함된 요소들의 식별을 용이하게 하는 전처리를 수행하는 것을 포함할 수 있다. 예컨대, 안구 이미지에 대하여 전처리를 수행하는 것은, 대상 안구 이미지에 포함된 혈관을 강조하거나, 대상 안구 이미지에 포함된 특정 색을 강조하는 전처리를 수행하는 것을 포함할 수 있다. 또는, 안구 이미지에 대하여 전처리를 수행하는 것은, 대상 안구 이미지에 포함된 특정 요소(예를 들어, 시신경 유두, 혈관 내지 황반)를 추출하는 것을 포함할 있다.
도 67은 일 실시예에 따른 이미지 전처리를 설명하기 위한 도면이다. 도 67을 참조하면, 일 실시예에 따른 안구 이미지의 분류 방법은, 안저 이미지(a)로부터, 시신경 유두가 위치하는 영역을 추출하는 것을 포함할 수 있다. 예를 들어, 일 실시예에 따른 안구 이미지의 분류 방법은, 안저 이미지에 포함된 시신경 유두의 위치를 추출하고 도 67의 (b)에서 도시하는 것과 같이 이진화된 이미지를 획득하는 것을 포함할 수 있다.
계속해서 도 66을 참조하여 설명하면, 전처리된 이미지에 대하여 제1 알고리즘에 기초하여 제1 판단을 수행하는 단계(S8300)는 전처리된 이미지에 기초하여 대상 안구 이미지가 소정의 기준을 만족하는지 판단하는 것을 포함할 수 있다. 제1 판단을 수행하는 단계(S8300)는, 대상 안구 이미지로부터 추출된 요소가 안구 이미지의 미리 정해진 영역 내에 위치하는지 판단하는 것을 포함할 수 있다. 또는, 제1 판단을 수행하는 단계(S8300)는, 대상 안구 이미지로부터 추출된 요소가 안구 이미지의 전체 영역에 대하여 소정 비율을 초과하는지 여부를 판단하는 것을 포함할 수 있다.
도 68은 안구 이미지가 소정의 기준을 만족하는지 판단하기 위한 일 실시예를 설명하기 위한 도면이다. 도 68을 참조하면, 제1 알고리즘에 기초하여 제1 판단을 수행하는 단계(S8300)는, 안구 이미지의 제1 영역(R1), 제2 영역(R2), 제3 영역(R3) 및 제4 영역(R4) 중 전처리된 이미지로부터 획득된 시신경 유두의 영역과 중첩되는 영역을 판단하는 것을 포함할 수 있다. 시신경 유두의 영역과 중첩되는 영역을 판단하는 것은, 제1 내지 제4 영역 중 시신경 유두의 영역과 중첩되는 부분(또는 비율)이 가장 큰 영역을 결정하는 것을 포함할 수 있다.
제1 알고리즘에 기초하여 제1 판단을 수행하는 단계(S8300)는, 시신경 유두의 영역이 제1 영역(R1)과 중첩되는 경우, 대상 안구 이미지를 좌안 안구 이미지로 결정하는 것을 포함할 수 있다.
제1 알고리즘에 기초하여 제1 판단을 수행하는 단계(S8300)는, 시신경 유두의 영역이 제2 영역(R2)과 중첩되는 경우, 대상 안구 이미지를 우안 안구 이미지로 결정하는 것을 포함할 수 있다.
제1 알고리즘에 기초하여 제1 판단을 수행하는 단계(S8300)는, 시신경 유두의 영역이 제3 영역(R3)과 중첩되는 경우, 대상 안구 이미지에 대하여 제2 알고리즘에 기초한 제2 판단이 필요한 것으로 결정하는 것을 포함할 수 있다.
제1 알고리즘에 기초하여 제1 판단을 수행하는 단계(S8300)는, 시신경 유두의 영역이 제4 영역(R4)과 중첩되는 경우, 대상 안구 이미지를 기타 이미지로 결정하는 것을 포함할 수 있다.
제2 알고리즘에 기초하여 제2 판단을 수행하는 단계(S8400)는 안구 이미지를 좌안 이미지 또는 우안 이미지로 분류하도록 학습된 분류 신경망 모델을 통하여 대상 안구 이미지를 우안 이미지 또는 좌안 이미지로 분류하는 것을 포함할 수 있다.
분류 신경망 모델은, 적어도 하나의 합성곱 신경망 레이어 및/또는 적어도 하나의 전연결 레이어를 포함할 수 있다. 분류 신경망 모델은, 안구 이미지를 기초로 특징 세트를 추출하고, 추출된 특징 세트에 기초하여 안구 이미지를 양안 이미지 또는 우안 이미지로 분류하는 분류기 형태의 머신 러닝 모델로 마련될 수 있다.
분류 신경망 모델은, 입력 안구 이미지에 대하여 좌안의 안구 이미지인지 우안의 안구 이미지인지를 나타내는 양안 정보를 획득하도록 학습되어 마련될 수 있다. 분류 신경망 모델은 안구 이미지 및 안구 이미지에 매칭되고 해당 안구 이미자가 양안 안구 이미지인지 우안 안구 이미지인지를 나타내는 양안 라벨을 포함하는 양안 학습 데이터 세트에 기초하여 학습될 수 있다.
판단 결과를 획득하는 단계(S8500)는 제1 알고리즘에 기초한 제1 판단 또는 제2 알고리즘에 기초한 제2 판단의 결과를 획득하는 것을 포함할 수 있다.
예컨대, 판단 결과를 획득하는 단계(S8500)는, 제1 알고리즘에 기초한 제1 판단 결과, 시신경 유두가 위치하는 영역이 제2 영역에 위치하는 것으로 판단된 경우, 대상 안구 이미지가 좌안 안구 이미지임을 지시하는 판단 결과를 획득하는 것을 포함하고, 제1 알고리즘에 기초한 제1 판단 결과, 시신경 유두가 위치하는 영역이 제3 영역에 위치하는 것으로 판단된 경우, 대상 안구 이미지가 우안 안구 이미지임을 지시하는 판단 결과를 획득하는 것을 포함할 수 있다.
또 예컨대, 판단 결과를 획득하는 단계(S8500)는, 제1 알고리즘에 기초한 제1 판단 결과, 시신경 유두가 위치하는 영역이 제1 영역에 위치하는 것으로 판단되고, 분류 신경망 모델을 이용한 제2 판단 결과, 대상 안구 이미지가 우안 안구 이미지임을 나타내는 분류 결과가 획득된 경우, 대상 안구 이미지가 우안 안구 이미지임을 지시하는 판단 결과를 획득하는 것을 포함할 수 있다. 또한, 판단 결과를 획득하는 단계(S8500)는, 제1 알고리즘에 기초한 제1 판단 결과, 시신경 유두가 위치하는 영역이 제1 영역에 위치하는 것으로 판단되고, 분류 신경망 모델을 이용한 제2 판단 결과, 대상 안구 이미지가 좌안 안구 이미지임을 나타내는 분류 결과가 획득된 경우, 대상 안구 이미지가 좌안 안구 이미지임을 지시하는 판단 결과를 획득하는 것을 포함할 수 있다.
또 예컨대, 판단 결과를 획득하는 단계(S8500)는, 제1 알고리즘에 기초한 제1 판단 결과, 시신경 유두가 위치하는 영역이 제4 영역에 위치하는 것으로 판단된 경우, 대상 안구 이미지에 대하여 좌/우를 판단할 수 없음을 나타내는 판단 불가 결과를 획득하는 것을 포함할 수 있다. 또는, 판단 결과를 획득하는 단계(S8500)는, 제1 알고리즘에 기초한 제1 판단 결과, 시신경 유두가 위치하는 영역이 제4 영역에 위치하는 것으로 판단된 경우, 분류 신경망 모델을 통하여 대상 안구 이미지의 양안 정보를 획득하는 것을 포함할 수 있다.
판단 결과를 획득하는 단계(S8500)는, 시신경 유두가 위치하는 영역이 제1 영역인 경우, 제1 분류 신경망 모델을 통하여 대상 안구 이미지의 양안 정보를 획득하되, 시신경 유두가 위치하는 영역이 제4 영역인 경우, 제1 분류 신경망 모델과 적어도 일부 상이한 제2 신경망 모델을 통하여 대상 안구 이미지의 양안 정보를 획득하는 것을 포함할 수 있다.
일 실시예에 따르면, 전술한 안구 이미지의 분류 방법에 기초하여 안구 이미지 데이터 세트를 획득 하는 방법이 제공될 수 있다. 예컨대, 데이터 세트를 획득하는 방법은, 전술한 안구 이미지의 분류 방법에 기초하여, 입력 안구 이미지에 대하여 분류를 수행하고, 분류 결과를 입력 안구 이미지에 라벨링하는 것을 포함할 수 있다. 데이터 세트를 획득하는 방법은, 전술한 분류 방법을 이용하여, 안구 이미지 및 안구 이미지에 부여된 분류 라벨을 포함하는 안구 이미지 데이터 세트를 획득하는 것을 포함할 수 있다.
이상에서는, 안구 이미지의 품질 판단 또는 적합성 판단 방법을 데이터 베이스 구축, 신경망 모델의 학습 및 신경망 모델의 구동에 적용하는 경우를 기준으로 설명하였으나, 본 명세서에서 개시하는 발명의 내용이 이에 한정되는 것은 아니다. 안구 이미지가 아닌 이미지의 경우라도, 이미지에 소정 영역에 흠결이 발생할 수 있고, 이미지에 기초하여 소정의 정보가 획득되는 경우, 본 명세서에서 개시하는 발명의 내용이 유추 적용될 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (1)
- 적어도 하나의 신경망 레이어를 포함하는 신경망 모델을 이용하고 안구 이미지에 기초하여 진단 보조 정보를 획득하는 진단 보조 장치에 있어서,
피검체의 안구로부터 획득된 대상 안구 이미지를 획득하는 안구 이미지 획득부; 및
상기 안구 이미지에 기초하여 진단 보조 정보를 획득하도록 학습된 신경망 모델을 이용하고, 상기 대상 안구 이미지에 기초하여 상기 진단 보조 정보를 획득하는 처리부;를 포함하고,
상기 신경망 모델은,
상기 대상 안구 이미지로부터, 제1 진단 보조 정보 및 상기 제1 진단 보조 정보와 상이한 제2 진단 보조 정보와 관련된 특징을 추출하는 공통 부분 신경망;
상기 대상 안구 이미지에 기초하여 상기 제1 진단 보조 정보를 획득하는 제1 개별 부분 신경망; 및
상기 대상 안구 이미지에 기초하여 상기 제2 진단 보조 정보를 획득하는 제2 개별부분 신경망; 을 포함하는,
진단 보조 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220103813A KR102596534B1 (ko) | 2020-06-29 | 2022-08-19 | 진단 보조 방법 및 장치 |
| KR1020230144989A KR20230152647A (ko) | 2020-06-29 | 2023-10-26 | 진단 보조 방법 및 장치 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200079142A KR102435799B1 (ko) | 2020-06-29 | 2020-06-29 | 진단 보조 방법 및 장치 |
| KR1020220103813A KR102596534B1 (ko) | 2020-06-29 | 2022-08-19 | 진단 보조 방법 및 장치 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200079142A Division KR102435799B1 (ko) | 2020-06-29 | 2020-06-29 | 진단 보조 방법 및 장치 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230144989A Division KR20230152647A (ko) | 2020-06-29 | 2023-10-26 | 진단 보조 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220122573A KR20220122573A (ko) | 2022-09-02 |
| KR102596534B1 true KR102596534B1 (ko) | 2023-11-01 |
Family
ID=79316763
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200079142A KR102435799B1 (ko) | 2020-06-29 | 2020-06-29 | 진단 보조 방법 및 장치 |
| KR1020220103813A KR102596534B1 (ko) | 2020-06-29 | 2022-08-19 | 진단 보조 방법 및 장치 |
| KR1020230144989A KR20230152647A (ko) | 2020-06-29 | 2023-10-26 | 진단 보조 방법 및 장치 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200079142A KR102435799B1 (ko) | 2020-06-29 | 2020-06-29 | 진단 보조 방법 및 장치 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230144989A KR20230152647A (ko) | 2020-06-29 | 2023-10-26 | 진단 보조 방법 및 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230162359A1 (ko) |
| KR (3) | KR102435799B1 (ko) |
| WO (1) | WO2022004956A1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102414994B1 (ko) * | 2020-06-05 | 2022-06-30 | 자이메드 주식회사 | 안저영상을 이용한 혈관질환 예측 지원방법 및 지원장치, 이를 포함하는 시스템 |
| KR102471991B1 (ko) * | 2022-01-19 | 2022-11-30 | 부산대학교 산학협력단 | 인공지능 기술기반 광간섭단층영상을 통한 시기능 정보 추출 시스템 및 방법 |
| KR102641728B1 (ko) * | 2023-02-24 | 2024-02-28 | 주식회사 비쥬웍스 | 심혈관질환을 예측하는 전자장치 및 그것의 동작방법 |
| CN116347598B (zh) * | 2023-05-30 | 2023-08-15 | 华南师范大学 | 一种基于Wi-Fi的室内定位方法和装置 |
| CN117524464B (zh) * | 2024-01-04 | 2024-04-05 | 北京和兴创联健康科技有限公司 | 一种基于大数据的计算手术后目标血红蛋白的方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102071774B1 (ko) | 2017-12-20 | 2020-01-30 | 주식회사 메디웨일 | 안구영상을 이용한 심뇌혈관 질환 예측방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9033510B2 (en) * | 2011-03-30 | 2015-05-19 | Carl Zeiss Meditec, Inc. | Systems and methods for efficiently obtaining measurements of the human eye using tracking |
| KR101828011B1 (ko) * | 2016-08-11 | 2018-02-21 | 서울대학교산학협력단 | 이미지에 포함된 객체의 상태를 분류하는 방법 및 분류 장치 |
| KR20190105180A (ko) * | 2018-02-23 | 2019-09-16 | 광운대학교 산학협력단 | 합성곱 신경망 기반의 병변 진단 장치 및 방법 |
| KR20190106403A (ko) * | 2018-03-09 | 2019-09-18 | 연세대학교 산학협력단 | 질환 예측 방법 및 이를 이용한 질환 예측 디바이스 |
| KR102301058B1 (ko) * | 2018-08-24 | 2021-09-10 | 주식회사 메디웨일 | 진단 보조 시스템 및 그 제어 방법 |
-
2020
- 2020-06-29 KR KR1020200079142A patent/KR102435799B1/ko active IP Right Grant
- 2020-10-29 WO PCT/KR2020/014951 patent/WO2022004956A1/ko active Application Filing
-
2022
- 2022-08-19 KR KR1020220103813A patent/KR102596534B1/ko active IP Right Grant
- 2022-12-28 US US18/089,767 patent/US20230162359A1/en active Pending
-
2023
- 2023-10-26 KR KR1020230144989A patent/KR20230152647A/ko not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102071774B1 (ko) | 2017-12-20 | 2020-01-30 | 주식회사 메디웨일 | 안구영상을 이용한 심뇌혈관 질환 예측방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022004956A1 (ko) | 2022-01-06 |
| KR20220122573A (ko) | 2022-09-02 |
| US20230162359A1 (en) | 2023-05-25 |
| KR20220001162A (ko) | 2022-01-05 |
| KR20230152647A (ko) | 2023-11-03 |
| KR102435799B1 (ko) | 2022-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11869184B2 (en) | Method and device for assisting heart disease diagnosis | |
| US11790645B2 (en) | Diagnosis assistance system and control method thereof | |
| KR102596534B1 (ko) | 진단 보조 방법 및 장치 | |
| KR102345026B1 (ko) | 클라우드 서버 및 클라우드 서버 기반의 진단 보조 시스템 | |
| US20240144478A1 (en) | Method and device for assisting heart disease diagnosis | |
| KR101848321B1 (ko) | 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치 | |
| CN107358606B (zh) | 用于识别糖尿病视网膜病变的人工神经网络装置及系统装置 | |
| KR102301058B1 (ko) | 진단 보조 시스템 및 그 제어 방법 | |
| JP7178672B6 (ja) | 被検体に対する眼底映像の読取を支援する方法及びそれを利用した装置 | |
| KR102333670B1 (ko) | 안구 이미지 기반의 진단 보조 이미지 제공 장치 | |
| CA3083035A1 (en) | Deep learning-based diagnosis and referral of ophthalmic diseases and disorders | |
| CN107423571A (zh) | 基于眼底图像的糖尿病视网膜病变识别系统 | |
| US20220301709A1 (en) | Diagnosis assistance method and cardiovascular disease diagnosis assistance method | |
| KR101848322B1 (ko) | 피검체에 대한 안저 영상의 소견 및 진단 정보의 생성을 위하여 판독을 지원하는 방법 및 이를 이용한 장치 | |
| Silva | Automatic detection of cataract in fundus images | |
| Narayanan | Deep learning of fundus images and optical coherence tomography images for ocular disease detection–a review | |
| Anton et al. | Comprehensive Review on the Use of Artificial Intelligence in Ophthalmology and Future Research Directions. Diagnostics 2023, 13, 100 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |