KR20200005413A - Cardiovascular disease diagnosis assistant method and apparatus - Google Patents
Cardiovascular disease diagnosis assistant method and apparatus Download PDFInfo
- Publication number
- KR20200005413A KR20200005413A KR1020180166722A KR20180166722A KR20200005413A KR 20200005413 A KR20200005413 A KR 20200005413A KR 1020180166722 A KR1020180166722 A KR 1020180166722A KR 20180166722 A KR20180166722 A KR 20180166722A KR 20200005413 A KR20200005413 A KR 20200005413A
- Authority
- KR
- South Korea
- Prior art keywords
- cardiovascular disease
- neural network
- assistance information
- information
- network model
- Prior art date
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 2044
- 208000024172 Cardiovascular disease Diseases 0.000 title claims abstract description 1155
- 238000000034 method Methods 0.000 title claims abstract description 416
- 238000003062 neural network model Methods 0.000 claims abstract description 1117
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 claims description 130
- 229910052791 calcium Inorganic materials 0.000 claims description 130
- 239000011575 calcium Substances 0.000 claims description 130
- 230000002159 abnormal effect Effects 0.000 claims description 73
- 210000004351 coronary vessel Anatomy 0.000 claims description 61
- 208000030533 eye disease Diseases 0.000 claims description 49
- 238000003384 imaging method Methods 0.000 claims description 34
- 230000002308 calcification Effects 0.000 claims description 16
- 230000002526 effect on cardiovascular system Effects 0.000 claims description 13
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 239000008280 blood Substances 0.000 claims description 3
- 210000004369 blood Anatomy 0.000 claims description 3
- 208000004434 Calcinosis Diseases 0.000 claims 2
- 208000005475 Vascular calcification Diseases 0.000 claims 2
- 238000012549 training Methods 0.000 description 238
- 230000008569 process Effects 0.000 description 176
- 201000010099 disease Diseases 0.000 description 155
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 155
- 238000012545 processing Methods 0.000 description 141
- 238000010586 diagram Methods 0.000 description 90
- 208000029078 coronary artery disease Diseases 0.000 description 88
- 238000007781 pre-processing Methods 0.000 description 72
- 238000013528 artificial neural network Methods 0.000 description 60
- 210000004204 blood vessel Anatomy 0.000 description 48
- 238000002405 diagnostic procedure Methods 0.000 description 28
- 230000004913 activation Effects 0.000 description 27
- 238000012795 verification Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 24
- 230000005856 abnormality Effects 0.000 description 23
- 230000002792 vascular Effects 0.000 description 20
- 238000012360 testing method Methods 0.000 description 18
- 238000011282 treatment Methods 0.000 description 15
- 206010020772 Hypertension Diseases 0.000 description 13
- 206010012689 Diabetic retinopathy Diseases 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000012014 optical coherence tomography Methods 0.000 description 12
- 238000012552 review Methods 0.000 description 11
- 238000010200 validation analysis Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 11
- 208000022873 Ocular disease Diseases 0.000 description 10
- 230000000747 cardiac effect Effects 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 230000009885 systemic effect Effects 0.000 description 10
- 238000002583 angiography Methods 0.000 description 9
- 208000010412 Glaucoma Diseases 0.000 description 8
- 239000003814 drug Substances 0.000 description 8
- 208000002780 macular degeneration Diseases 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 206010012601 diabetes mellitus Diseases 0.000 description 6
- 229940079593 drug Drugs 0.000 description 6
- 210000001328 optic nerve Anatomy 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 239000000835 fiber Substances 0.000 description 5
- 208000019622 heart disease Diseases 0.000 description 5
- 206010019280 Heart failures Diseases 0.000 description 4
- 208000006011 Stroke Diseases 0.000 description 4
- 208000037919 acquired disease Diseases 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 208000026106 cerebrovascular disease Diseases 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 210000000416 exudates and transudate Anatomy 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 230000002207 retinal effect Effects 0.000 description 4
- 206010003210 Arteriosclerosis Diseases 0.000 description 3
- 201000001320 Atherosclerosis Diseases 0.000 description 3
- 208000002177 Cataract Diseases 0.000 description 3
- 201000000057 Coronary Stenosis Diseases 0.000 description 3
- 206010011089 Coronary artery stenosis Diseases 0.000 description 3
- 208000032843 Hemorrhage Diseases 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000000740 bleeding effect Effects 0.000 description 3
- 210000000748 cardiovascular system Anatomy 0.000 description 3
- 206010008118 cerebral infarction Diseases 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000000391 smoking effect Effects 0.000 description 3
- 208000019553 vascular disease Diseases 0.000 description 3
- 206010002383 Angina Pectoris Diseases 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 206010000891 acute myocardial infarction Diseases 0.000 description 2
- 239000003524 antilipemic agent Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000090 biomarker Substances 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 208000010125 myocardial infarction Diseases 0.000 description 2
- 208000031225 myocardial ischemia Diseases 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 200000000007 Arterial disease Diseases 0.000 description 1
- 206010003211 Arteriosclerosis coronary artery Diseases 0.000 description 1
- 206010007559 Cardiac failure congestive Diseases 0.000 description 1
- 208000004652 Cardiovascular Abnormalities Diseases 0.000 description 1
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 1
- 241000701022 Cytomegalovirus Species 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 229940121710 HMGCoA reductase inhibitor Drugs 0.000 description 1
- 208000031226 Hyperlipidaemia Diseases 0.000 description 1
- 208000018262 Peripheral vascular disease Diseases 0.000 description 1
- 208000001647 Renal Insufficiency Diseases 0.000 description 1
- 208000027032 Renal vascular disease Diseases 0.000 description 1
- 208000037111 Retinal Hemorrhage Diseases 0.000 description 1
- 208000002367 Retinal Perforations Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 206010038933 Retinopathy of prematurity Diseases 0.000 description 1
- 206010040943 Skin Ulcer Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 208000032109 Transient ischaemic attack Diseases 0.000 description 1
- 239000002671 adjuvant Substances 0.000 description 1
- 230000001315 anti-hyperlipaemic effect Effects 0.000 description 1
- 239000003146 anticoagulant agent Substances 0.000 description 1
- 229940127217 antithrombotic drug Drugs 0.000 description 1
- 208000011775 arteriosclerosis disease Diseases 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000005189 cardiac health Effects 0.000 description 1
- 208000015606 cardiovascular system disease Diseases 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 230000002357 endometrial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 208000018578 heart valve disease Diseases 0.000 description 1
- 239000002471 hydroxymethylglutaryl coenzyme A reductase inhibitor Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 201000006370 kidney failure Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 208000029233 macular holes Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 208000030613 peripheral artery disease Diseases 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 231100000628 reference dose Toxicity 0.000 description 1
- 208000015670 renal artery disease Diseases 0.000 description 1
- 210000001927 retinal artery Anatomy 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 231100000019 skin ulcer Toxicity 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 201000010875 transient cerebral ischemia Diseases 0.000 description 1
- 230000003966 vascular damage Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Abstract
Description
본 발명은 심혈관 질병의 진단을 보조하는 방법 및 장치에 관한 것으로서, 보다 상세하게는 양안 안저 이미지에 기초하여 신경망 모델을 통하여 심혈관 질병의 진단을 보조하는 방법에 관한 것이다.The present invention relates to a method and apparatus for assisting the diagnosis of cardiovascular disease, and more particularly, to a method for assisting the diagnosis of cardiovascular disease through a neural network model based on binocular fundus images.
안저 검사는 망막, 시신경 및 황반부의 이상을 관찰할 수 있으며 비교적 간단하게 촬영을 통하여 결과를 확인할 수 있어 안과에서 빈번하게 활용되는 진단 보조 자료이다. 최근에는 안저 검사를 통하여 안질환 뿐 아니라 고혈압, 당뇨 등의 만성 질환에 의한 혈관 손상 정도를 비침습적 방법으로 관찰할 수 있다는 점에서 더욱 그 쓰임새가 늘어나고 있는 추세이다.Fundus examination is a diagnostic aid that is frequently used in ophthalmology because it can observe the abnormalities of the retina, optic nerve, and macular area. Recently, the use of the fundus examination is increasing the use of the non-invasive method to observe the degree of vascular damage caused by chronic diseases such as hypertension, diabetes, as well as eye diseases.
한편, 근래의 딥러닝 기술의 도약적인 발전에 의해, 의료 진단 분야, 특히 이미지 기반의 진단 분야에서 진단 인공지능의 개발이 활발하게 이루어지고 있다. 구글, IBM 등의 글로벌 기업들에서도 의료계와의 협업으로 대규모 데이터를 투입하는 등, 다양한 영상 의료 데이터 분석을 위한 인공지능 개발에 투자를 아끼지 않고 있으며, 일부 기업에서는 우수한 진단 결과를 출력하는 인공지능 진단 툴 개발에 성공하기도 하였다. On the other hand, with the rapid development of the recent deep learning technology, the development of diagnostic artificial intelligence in the field of medical diagnostics, especially image-based diagnostics is being actively made. Global companies such as Google and IBM are also investing in the development of artificial intelligence for analyzing various medical image data, such as inputting large-scale data in collaboration with the medical field, and some companies produce artificial intelligence diagnostics that output excellent diagnostic results. He also succeeded in developing the tool.
다만, 안저 이미지를 이용하면 체내 혈관을 비침습적으로 관찰할 수 있는 바, 안질환 뿐 아니라 전신 질환과 관련하여서도 안저 이미지를 이용한 진단 적용의 확장이 요청되고 있다.However, the use of the fundus image allows non-invasive observation of blood vessels in the body, and thus, the application of the fundus image is required to be expanded in relation to not only eye diseases but also systemic diseases.
본 발명의 일 과제는, 심혈관 질병의 진단 보조 방법을 제공하는 것이다.One object of the present invention is to provide a method for assisting diagnosis of cardiovascular disease.
본 발명의 다른 과제는, 안저 이미지에 기초하여 신경망 모델을 이용하여 심혈관 질병의 진단을 보조하는 방법을 제공하는 것이다.Another object of the present invention is to provide a method for assisting the diagnosis of cardiovascular disease using a neural network model based on the fundus image.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the above-described problem, the objects that are not mentioned will be clearly understood by those skilled in the art from the present specification and the accompanying drawings. .
본 발명의 일 양태에 따르면, 안저 이미지를 이용하여 대상 심혈관 질병의 진단을 보조하기 위한 방법에 있어서, 피검체의 대상 좌안 안저 이미지 및 대상 우안 안저 이미지를 획득하는 단계, 상기 안저 이미지에 기초하여 심혈관 질병 진단 보조 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델을 이용하여, 상기 대상 좌안 안저 이미지에 따른 좌안 심혈관 질병 진단 보조 정보 및 상기 대상 우안 안저 이미지에 따른 우안 심혈관 질병 진단 보조 정보를 획득하는 단계 및 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보를 고려하여 생성된 양안 심혈관 질병 진단 보조 정보를 출력하는 단계를 포함하되, 상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보는, 상기 대상 심혈관 질병 진단에 이용되는 점수 정보, 상기 대상 심혈관 질병의 위험도를 나타내는 복수의 등급 중 선택된 등급을 포함하는 등급 정보 및 상기 피검체의 상기 대상 심혈관 질병의 위험군 해당 여부를 나타내는 위험 정보 중 적어도 하나를 포함하는, 심혈관 질병의 진단 보조 방법이 제공될 수 있다.According to an aspect of the present invention, a method for assisting the diagnosis of a target cardiovascular disease using an ocular fundus image, the method comprising: obtaining a target left eye fundus image and a target right eye fundus image of the subject, based on the cardiovascular image Acquiring the left eye cardiovascular disease diagnosis information according to the left eye fundus image and the right eye cardiovascular disease diagnosis aid information according to the target right eye fundus image, using the cardiovascular disease diagnosis aid neural network model to obtain disease diagnosis aid information and the left eye And outputting binocular cardiovascular disease diagnosis assistance information generated in consideration of cardiovascular disease diagnosis assistance information and right eye cardiovascular disease diagnosis assistance information, wherein the left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information include: Use to diagnose target cardiovascular disease At least one of score information, grade information including a selected grade among a plurality of grades representing a risk of the target cardiovascular disease, and risk information indicating whether the subject is a risk group of the target cardiovascular disease. Diagnostic assistance methods may be provided.
본 발명의 다른 일 양태에 따르면, 안저 이미지를 이용하여 대상 심혈관 질병의 진단을 보조하는 심혈관 질병 진단 장치에 있어서, 피검체의 대상 좌안 안저 이미지 및 대상 우안 안저 이미지를 획득하는 안저 이미지 획득부, 상기 안저 이미지에 기초하여 심혈관 질병 진단 보조 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델을 이용하여, 상기 대상 좌안 안저 이미지에 따른 좌안 심혈관 질병 진단 보조 정보를 획득하는 좌안 심혈관 질병 진단 보조 정보 획득부, 심혈관 질병 진단 보조 신경망 모델을 이용하여, 상기 대상 우안 안저 이미지에 따른 우안 심혈관 질병 진단 보조 정보를 획득하는 우안 심혈관 질병 진단 보조 정보 획득부 및 상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보를 고려하여 생성된 양안 심혈관 질병 진단 보조 정보를 출력하는 양안 심혈관 질병 진단 보조 정보 출력부를 포함하되, 상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보는, 상기 대상 심혈관 질병 진단에 이용되는 점수 정보, 상기 대상 심혈관 질병의 위험도를 나타내는 복수의 등급 중 선택된 등급을 포함하는 등급 정보 및 상기 피검체의 상기 대상 심혈관 질병의 위험군 해당 여부를 나타내는 위험 정보 중 적어도 하나를 포함하는, 심혈관 질병의 진단 보조 장치가 제공될 수 있다.According to another aspect of the present invention, in the cardiovascular disease diagnosis apparatus for assisting the diagnosis of the target cardiovascular disease using the fundus image, the eye fundus image acquisition unit for obtaining the target left eye fundus image and the target right eye fundus image of the subject, Cardiovascular disease diagnosis assistance information acquisition unit for acquiring left eye cardiovascular disease diagnosis assistance information according to the target left eye fundus image using a cardiovascular disease diagnosis assistance neural network model for obtaining cardiovascular disease diagnosis assistance information based on the fundus image, cardiovascular disease Considering the right eye cardiovascular disease assistance information acquisition unit for acquiring the right eye cardiovascular disease diagnosis assistance information according to the target right eye fundus image, the left eye cardiovascular disease assistance information, and the right eye cardiovascular disease diagnosis assistance information using a diagnosis aid neural network model Binoculars created by It includes a binocular cardiovascular disease diagnosis assistance information output unit for outputting vascular disease diagnosis assistance information, wherein the left eye cardiovascular disease assistance information and the right eye cardiovascular disease assistance information is score information used for diagnosing the target cardiovascular disease, the target cardiovascular system A device for diagnosing a cardiovascular disease may be provided that includes at least one of grade information including a selected grade among a plurality of grades indicating a risk of a disease, and risk information indicating whether the subject is a risk group of the target cardiovascular disease. have.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Means for solving the problems of the present invention are not limited to the above-described solutions, and the solutions not mentioned will be clearly understood by those skilled in the art from the present specification and the accompanying drawings. Could be.
본 발명에 의하면, 안저 이미지에 기초하여 심혈관 질병 진단에 이용될 수 있는 정보가 획득될 수 있다.According to the present invention, information that can be used to diagnose cardiovascular disease can be obtained based on the fundus image.
본 발명에 의하면, 안저 이미지에 기초하여 심혈관 질병 진단에 이용될 수 있는 다양한 정보가 획득될 수 있다.According to the present invention, various information that can be used for diagnosing cardiovascular disease can be obtained based on the fundus image.
본 발명에 의하면, 좌안 및 우안 안저 이미지에 기초하여 심혈관 질병 진단에 이용될 수 있는 정보가 획득될 수 있다.According to the present invention, information that can be used for diagnosing cardiovascular disease can be obtained based on left and right eye fundus images.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.The effects of the present invention are not limited to the above-described effects, and effects that are not mentioned will be clearly understood by those skilled in the art from the present specification and the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 진단 보조 시스템을 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 학습 장치를 설명하기 위한 블럭도이다.
도 3은 본 발명의 다른 일 실시예에 따른 학습 장치를 보다 구체적으로 설명하기 위한 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 진단 장치를 설명하기 위한 블럭도이다.
도 5는 본 발명의 다른 일 실시예에 따른 진단 장치를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 진단 보조 시스템을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 클라이언트 장치를 설명하기 위한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 학습부의 구성을 설명하기 위한 도면이다.
도 10는 본 발명의 일 실시예에 따른 이미지 데이터 세트를 설명하기 위한 개념도이다.
도 11은 본 발명의 일 실시예에 따른 이미지 리사이징을 설명하기 위한 도면이다.
도 12은 본 발명의 일 실시예에 따른 이미지 데이터 세트의 확장을 설명하기 위한 도면이다.
도 13는 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블럭도이다.
도 14은 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블럭도이다.
도 15는 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다.
도 18은 본 발명의 일 실시예에 따른 진단부의 구성을 설명하기 위한 도면이다.
도 19는 본 발명의 일 예에 따른 진단 대상 데이터를 설명하기 위한 도면이다.
도 20은 본 발명의 일 실시예에 따른 진단 프로세스를 설명하기 위한 도면이다.
도 21은 본 발명의 몇몇 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다.
도 22는 본 발명의 몇몇 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다.
도 23은 본 발명의 일 실시예에 따른 복수의 학습부를 포함하는 학습 장치의 구성을 설명하기 위한 도면이다.
도 24는 본 발명의 일 실시예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다.
도 25는 본 발명의 다른 일 실시예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다.
도 26은 본 발명의 일 실시예에 따른 진단부를 설명하기 위한 블록도이다.
도 27은 본 발명의 일 실시예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다.
도 28은 본 발명의 일 실시예에 따른 진단 보조 시스템을 설명하기 위한 도면이다.
도 29는 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 설명하기 위한 도면이다.
도 30은 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 설명하기 위한 도면이다.
도 31은 본 발명의 일 실시예에 따른 안저 이미지의 영역 구분을 설명하기 위한 도면이다.
도 32는 안저 이미지에 라벨링되는 심혈관 질병 진단 보조 정보를 설명하기 위한 도면이다.
도 33은 본 발명의 일 실시예에 따른 학습부(400)를 설명하기 위한 도면이다.
도 34는 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 신경망 모델을 학습하는 방법을 설명하기 위한 도면이다.
도 35는 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 36은 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 37은 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 38은 본 발명의 일 실시예에 따른 진단부(500)를 설명하기 위한 도면이다.
도 39는 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 방법을 설명하기 위한 도면이다.
도 40은 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다.
도 41은 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다.
도 42는 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 장치(5000)를 설명하기 위한 도면이다.
도 43은 본 발명의 다른 일 실시예에 따른 심혈관 질병의 진단 보조 장치(5001)를 설명하기 위한 도면이다.
도 44는 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다.
도 45는 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다.
도 46은 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다.
도 47은 본 발명의 일 실시예에 따른 진단 보조 정보 방법을 설명하기 위한 도면이다.
도 48은 본 발명의 일 실시예에 따른 진단 보조 정보 방법을 설명하기 위한 도면이다.
도 49는 본 발명의 일 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다.
도 50은 본 발명의 일 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다.
도 51은 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다.
도 52는 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다.
도 53은 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 장치를 설명하기 위한 도면이다.
도 54는 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 장치를 설명하기 위한 도면이다.
도 55는 본 발명의 일 실시예에 따른 학습 장치(1001)를 도시한 것이다.
도 56은 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 57은 본 발명의 일 실시예에 따른 진단 장치(2001)를 설명하기 위한 도면이다.
도 58은 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다.
도 59는 본 발명의 일 실시예에 따른 진단 보조 시스템을 설명하기 위한 도면이다.
도 60은 본 발명의 일 실시예에 따른 진단 보조 시스템을 설명하기 위한 도면이다.
도 61은 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 방법을 설명하기 위한 도면이다.
도 62는 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 방법을 설명하기 위한 도면이다.
도 63은 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 장치(7000)를 설명하기 위한 도면이다.
도 64는 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 장치(7000)를 설명하기 위한 도면이다.
도 65는 본 발명의 일 실시예에 따른 학습 장치를 설명하기 위한 도면이다.
도 66은 본 발명의 일 실시예에 따른 학습 장치를 설명하기 위한 도면이다.
도 67은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 68은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다.
도 69는 본 발명의 일 실시예에 따른 진단 장치(2004)를 설명하기 위한 도면이다.
도 70은 본 발명의 일 실시예에 따른 진단 장치(2005)를 설명하기 위한 도면이다.
도 71은 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다.
도 72는 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다.
도 73은 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다.1 illustrates a diagnostic assistance system according to an embodiment of the present invention.
2 is a block diagram illustrating a learning apparatus according to an embodiment of the present invention.
3 is a block diagram illustrating in more detail a learning apparatus according to another embodiment of the present invention.
4 is a block diagram illustrating a diagnostic apparatus according to an embodiment of the present invention.
5 is a view for explaining a diagnostic apparatus according to another embodiment of the present invention.
6 illustrates a diagnostic assistance system according to an embodiment of the present invention.
7 is a block diagram illustrating a client device according to an embodiment of the present invention.
8 is a view for explaining a diagnostic assistance process according to an embodiment of the present invention.
9 is a view for explaining the configuration of the learning unit according to an embodiment of the present invention.
10 is a conceptual diagram illustrating an image data set according to an embodiment of the present invention.
11 is a view for explaining image resizing according to an embodiment of the present invention.
12 is a diagram for describing extension of an image data set according to an embodiment of the present invention.
13 is a block diagram illustrating a learning process of a neural network model according to an embodiment of the present invention.
14 is a block diagram illustrating a learning process of a neural network model according to an embodiment of the present invention.
15 is a diagram for describing a method of controlling a learning apparatus, according to an exemplary embodiment.
16 is a diagram for describing a method of controlling a learning apparatus, according to an exemplary embodiment.
17 is a diagram for describing a method of controlling a learning apparatus, according to an exemplary embodiment.
18 is a view for explaining the configuration of the diagnostic unit according to an embodiment of the present invention.
19 is a diagram for describing diagnosis target data according to an embodiment of the present invention.
20 is a diagram for describing a diagnosis process according to an exemplary embodiment.
21 is a diagram illustrating a parallel diagnostic assistance system according to some embodiments of the present invention.
22 is a diagram for describing a parallel diagnosis assistance system according to some embodiments of the present disclosure.
FIG. 23 is a diagram for describing a configuration of a learning apparatus including a plurality of learning units according to an exemplary embodiment.
24 is a diagram for describing a parallel learning process according to an embodiment of the present invention.
25 illustrates a parallel learning process according to another embodiment of the present invention.
26 is a block diagram illustrating a diagnosis unit according to an embodiment of the present invention.
27 is a diagram for describing a diagnostic assistance process according to one embodiment of the present invention.
28 is a diagram for describing a diagnosis assistance system according to an embodiment of the present invention.
29 is a diagram for describing a graphic user interface according to one embodiment of the present invention.
30 is a diagram for describing a graphic user interface according to one embodiment of the present invention.
FIG. 31 is a diagram illustrating region division of a fundus image according to an embodiment of the present invention. FIG.
FIG. 32 is a diagram for describing cardiovascular disease diagnosis assistance information labeled on an fundus image. FIG.
33 is a diagram for describing a
FIG. 34 is a diagram for describing a method of learning a cardiovascular disease diagnosis assistive neural network model, according to an exemplary embodiment.
35 is a view for explaining a method of learning a cardiovascular disease diagnosis neural network model according to an embodiment of the present invention.
36 is a view for explaining a method of learning a cardiovascular disease diagnosis neural network model according to an embodiment of the present invention.
37 is a view for explaining a method of learning a cardiovascular disease diagnosis neural network model according to an embodiment of the present invention.
38 is a diagram for describing a
39 is a view for explaining a cardiovascular disease diagnosis method according to an embodiment of the present invention.
40 is a diagram illustrating a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention.
41 is a diagram illustrating a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention.
42 is a diagram illustrating an
FIG. 43 is a diagram illustrating an
44 is a diagram illustrating a method for assisting diagnosis of cardiovascular disease according to one embodiment of the present invention.
45 is a view illustrating a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention.
46 is a view illustrating a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention.
47 is a diagram for describing a method of diagnosing assistance information according to an embodiment of the present invention.
48 is a diagram for describing a method of diagnosing assistance information according to an embodiment of the present invention.
49 is a diagram for describing a parallel diagnosis assistance system according to an embodiment of the present invention.
50 is a diagram for describing a parallel diagnosis assistance system according to an embodiment of the present invention.
51 is a view illustrating a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention.
52 is a diagram illustrating a method for assisting diagnosis of cardiovascular disease according to one embodiment of the present invention.
53 is a view for explaining a cardiovascular disease diagnosis assistance apparatus according to an embodiment of the present invention.
54 is a view for explaining a cardiovascular disease diagnosis assistance apparatus according to an embodiment of the present invention.
55 illustrates a
56 is a view to explain a method of learning a cardiovascular disease diagnosis neural network model according to an embodiment of the present invention.
57 is a diagram for describing a
58 is a view to explain a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention.
59 is a diagram illustrating a diagnosis assistance system according to an embodiment of the present invention.
60 is a diagram for describing a diagnosis assistance system according to an embodiment of the present invention.
61 is a view for explaining a cardiovascular disease diagnosis method according to an embodiment of the present invention.
62 is a view for explaining a cardiovascular disease diagnosis method according to an embodiment of the present invention.
63 is a view for explaining a cardiovascular disease
64 is a view for explaining a cardiovascular disease
65 is a diagram for explaining a learning apparatus according to an embodiment of the present invention.
66 is a diagram for explaining a learning apparatus according to an embodiment of the present invention.
FIG. 67 is a diagram illustrating a learning method of a diagnostic assisted neural network model according to an embodiment of the present invention. FIG.
FIG. 68 is a diagram for describing a method of learning a diagnostic assistance neural network model according to an embodiment of the present invention.
69 is a diagram for describing a
70 is a diagram for describing a
71 is a view illustrating a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention.
72 is a view to explain a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention.
73 is a view illustrating a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. The above objects, features and advantages of the present invention will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. However, the present invention may be modified in various ways and may have various embodiments. Hereinafter, specific embodiments will be illustrated in the drawings and described in detail.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장된 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조 부호를 사용하여 설명한다.In the drawings, the thicknesses of layers and regions are exaggerated for clarity, and the elements or layers are referred to as "on" or "on" of other components or layers. This includes both intervening other layers or other components in the middle as well as directly above other components or layers. Like numbers refer to like elements throughout. In addition, the component with the same function within the range of the same idea shown by the figure of each embodiment is demonstrated using the same reference numeral.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별 기호에 불과하다.If it is determined that the detailed description of the known function or configuration related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, numbers (eg, first, second, etc.) used in the description of the present specification are merely identification symbols for distinguishing one component from another component.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함 만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. In addition, the suffixes "module" and "unit" for the components used in the following description are given or mixed in consideration of ease of specification, and do not have distinct meanings or roles from each other.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
1. 안저 이미지를 이용한 진단 보조 One. Diagnostic aid using fundus image
1.1 진단 보조 시스템 및 프로세스1.1 Diagnostic Assistant Systems and Processes
1.1.1 목적 및 정의1.1.1 Purpose and definition
이하에서는, 안저 이미지에 기초하여 질병 또는 질환의 유무 또는 그 판단의 근거가 되는 이상 여부 등의 판단을 보조하기 위한 진단 보조 시스템 및 방법 등에 대하여 설명한다. 특히, 딥러닝 기법을 이용하여 질환을 진단하기 위한 신경망 모델을 구축하고, 구축된 모델을 이용하여 질환 유무 또는 이상 소견의 검출을 보조하는 진단 보조 시스템 또는 방법에 대하여 설명한다.Hereinafter, a diagnosis assisting system and method for assisting the determination of the presence or absence of a disease or a disease or an abnormality that is the basis of the determination, etc. will be described based on the fundus image. In particular, a neural network model for diagnosing a disease using a deep learning technique will be described, and a diagnostic assistance system or method for assisting the detection of the presence or absence of a disease using the constructed model will be described.
본 발명의 일 실시예에 따르면, 안저 이미지에 기초하여 질병의 유무와 관련된 진단 정보 또는 질병 유무의 진단에 이용되는 소견 정보 등을 획득하고, 이를 이용하여 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다.According to an embodiment of the present invention, a diagnostic assistance system or method for acquiring diagnosis information related to the presence or absence of a disease or finding information used for diagnosis of a disease, and the like, and assisting diagnosis using the fundus image is provided. Can be.
본 발명의 일 실시예에 의하면, 안저 이미지에 기초하여 안질환의 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다. 예를 들어, 검사 대상자의 녹내장, 백내장, 황반 변성, 미숙아 망막증의 유무와 관련된 진단 정보를 획득하여 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다. According to one embodiment of the present invention, a diagnostic assistance system or method may be provided to assist in the diagnosis of ocular disease based on the fundus image. For example, a diagnostic assistant system or method may be provided to assist diagnosis by acquiring diagnosis information related to the presence or absence of glaucoma, cataracts, macular degeneration, and prematurity retinopathy of the test subject.
본 발명의 다른 일 실시예에 의하면, 안질환이 아닌 타 질환(예컨대, 전신 질환 또는 만성 질환)의 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다. 예를 들어, 고혈압, 당뇨병, 알츠하이머, 거대 세포 바이러스, 뇌졸중, 심장 질환, 동맥 경화증 등의 전신 질환의 진단 정보를 획득하여 진단을 보조하는 진단 보조 시스템 또는 방법이 제공될 수 있다.According to another embodiment of the present invention, a diagnostic assistance system or method may be provided to assist in the diagnosis of other diseases (eg, systemic diseases or chronic diseases) that are not eye diseases. For example, a diagnostic assistant system or method may be provided that assists in diagnosis by acquiring diagnosis information of systemic diseases such as hypertension, diabetes, Alzheimer's, cytomegalovirus, stroke, heart disease, atherosclerosis, and the like.
본 발명의 또 다른 일 실시예에 의하면, 안질환 또는 타 질환의 진단에 이용될 수 있는 이상 안저 소견을 검출하기 위한 진단 보조 시스템 또는 방법이 제공될 수 있다. 예를 들어, 안저 전반의 색상 이상, 수정체 혼탁(Opacity), 시신경 유두의 비율(C/D ratio; cup to disc ratio)의 이상, 황반 이상(예를 들어, 황반 원공), 혈관의 직경, 주행 등의 이상, 망막 동맥의 직경 이상, 망막의 출혈, 삼출물의 발생, 드루젠(drusen) 등의 소견 정보를 획득하는 진단 보조 시스템 또는 방법이 제공될 수 있다.According to another embodiment of the present invention, a diagnostic assistant system or method for detecting abnormal fundus findings that can be used for the diagnosis of eye diseases or other diseases can be provided. For example, color abnormalities across the fundus, lens opacities, cup-to-disc ratios, macular abnormalities (e.g., macular holes), blood vessel diameter, running A diagnostic assistant system or method for acquiring findings such as abnormalities of the back, abnormal diameters of the retinal arteries, bleeding of the retina, occurrence of exudate, drusen, and the like may be provided.
본 명세서에서, 진단 보조 정보라 함은, 질환 유무의 판단에 따른 진단 정보 또는 그 기초가 되는 소견 정보 등을 포괄하는 것으로 이해될 수 있다.In the present specification, the diagnostic assistance information may be understood to encompass diagnostic information or findings based on the diagnosis according to the presence or absence of a disease.
1.1.2 진단 보조 시스템 구성1.1.2 Diagnostic Assist System Configuration
본 발명의 일 실시예에 따르면, 진단 보조 시스템이 제공될 수 있다. According to one embodiment of the invention, a diagnostic assistance system may be provided.
도 1은 본 발명의 일 실시예에 따른 진단 보조 시스템(10)을 도시한 것이다. 도 1을 참조하면, 진단 보조 시스템(10)은 진단 모델을 트레이닝하는 학습 장치(1000), 진단 모델을 이용하여 진단을 수행하는 진단 장치(2000) 및 진단 요청을 획득하는 클라이언트 장치(3000)를 포함할 수 있다. 진단 보조 시스템(10)은 복수의 학습 장치, 복수의 진단 장치 또는 복수의 클라이언트 장치를 포함할 수 있다.1 illustrates a
학습 장치(1000)는 학습부(100)를 포함할 수 있다. 학습부(100)는 신경망 모델의 트레이닝을 수행할 수 있다. 일 예로, 학습부(100)는 안저 이미지 데이터 세트를 획득하고, 안저 이미지로부터 질환 또는 이상 소견을 검출하는 신경망 모델의 트레이닝을 수행할 수 있다. The
진단 장치(2000)는 진단부(200)를 포함할 수 있다. 진단부(200)는 신경망 모델을 이용하여 질환의 진단 또는 진단에 이용되는 보조 정보의 획득을 수행할 수 있다. 일 예로, 진단부(200)는 학습부에 의하여 트레이닝된 진단 모델을 이용하여 진단 보조 정보의 획득을 수행할 수 있다.The
클라이언트 장치(3000)는 촬상부(300)를 포함할 수 있다. 촬상부(300)는 안저 이미지를 촬상할 수 있다. 클라이언트 장치는 안과용 안저 촬영 장치일 수 있다. 또는, 클라이언트 장치(3000)는 스마트폰, 태블릿 PC 등의 휴대용(handheld) 디바이스일 수 있다. The
본 실시예에 따른 진단 보조 시스템(10)에서, 학습 장치(1000)는 데이터 세트를 획득하여 신경망 모델의 학습을 수행함으로써 진단 보조에 이용하기 위한 신경망 모델을 결정하고, 진단 장치는 클라이언트로부터 정보 요청이 획득되면 결정된 신경망 모델을 이용하여 진단 대상 이미지에 따른 진단 보조 정보를 획득하고, 클라이언트 장치는 진단 장치로 정보를 요청하고 이에 응답하여 전송된 진단 보조 정보를 획득할 수 있다.In the
다른 일 실시예에 따른 진단 보조 시스템은, 진단 모델의 학습 및 이를 이용한 진단을 수행하는 진단 장치 및 클라이언트 장치를 포함할 수 있다. 또 다른 일 실시예에 따른 진단 보조 시스템은, 진단 모델의 학습, 진단 요청의 획득 및 진단을 수행하는 진단 장치를 포함할 수 있다. 또 다른 일 실시예에 따른 진단 보조 시스템은, 진단 모델의 학습을 수행하는 학습 장치 및 진단 요청을 획득하고 진단을 수행하는 진단 장치를 포함할 수 있다.The diagnostic assistance system according to another embodiment may include a diagnostic device and a client device for learning the diagnostic model and performing the diagnosis using the same. According to another embodiment, the diagnostic assistance system may include a diagnostic apparatus for learning a diagnostic model, obtaining a diagnostic request, and performing a diagnosis. The diagnostic assistance system according to another embodiment may include a learning device for learning a diagnostic model and a diagnostic device for obtaining a diagnosis request and performing a diagnosis.
본 명세서에서 개시하는 진단 보조 시스템이 위에서 설명한 실시 예들에 한정되는 것은 아니고, 모델의 학습을 수행하는 학습부, 학습된 모델에 따라 진단 보조 정보를 획득하는 진단부 및 진단 대상 이미지를 획득하는 촬상부를 포함하는 어떠한 형태로든 구현될 수 있다.The diagnostic assistance system disclosed herein is not limited to the above-described embodiments, but includes a learning unit that performs model learning, a diagnostic unit that acquires diagnostic assistance information according to the learned model, and an imaging unit that acquires a diagnosis target image. It may be implemented in any form, including.
이하에서는, 시스템을 구성하는 각 장치의 몇몇 실시예에 대하여 설명한다.In the following, some embodiments of each device constituting the system will be described.
1.1.2.1 학습 장치1.1.2.1 Learning device
본 발명의 일 실시예에 따른 학습 장치는 진단을 보조하는 신경망 모델의 트레이닝을 수행할 수 있다. The learning apparatus according to an embodiment of the present invention may perform training of a neural network model to assist diagnosis.
도 2는 본 발명의 일 실시예에 따른 학습 장치(1000)를 설명하기 위한 블럭도이다. 도 2를 참조하면, 학습 장치(1000)는 제어부(1200) 및 메모리부(1100)를 포함할 수 있다.2 is a block diagram illustrating a
학습 장치(1000)는 제어부(1200)를 포함할 수 있다. 제어부(1200)는 학습 장치(1000)의 동작을 제어할 수 있다. The
제어부(1200)는 CPU(Central Processing Unit), RAM(Random Access Memory), GPU(Graphic Processing Unit), 하나 이상의 마이크로 프로세서 및 기타 미리 정해진 논리에 따라 입력된 데이터를 처리할 수 있는 전자 부품 중 하나 이상을 포함할 수 있다. The
제어부(1200)는 메모리부(1100)에 저장된 시스템 프로그램 및 다양한 프로세싱 프로그램을 판독할 수 있다. 일 예로, 제어부(1200)는 후술하는 진단 보조의 수행을 위한 데이터 가공 프로세스, 진단 프로세스 등을 RAM상에 전개하고, 전개된 프로그램에 따라 각종 처리를 수행할 수 있다. 제어부(1200)는 후술하는 신경망 모델의 학습을 수행할 수 있다.The
학습 장치(1000)는 메모리부(1100)를 포함할 수 있다. 메모리부(1100)는 학습에 필요한 데이터 및 학습 모델을 저장할 수 있다. The
메모리부(1100)는 비휘발성 반도체 메모리, 하드 디스크, 플래시 메모리, RAM, ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 또는 그 외에 유형의(tangible) 비휘발성의 기록 매체 등으로 구현될 수 있다. The
메모리부(1100)는 각종 프로세싱 프로그램, 프로그램의 프로세싱을 수행하기 위한 파라미터 또는 이러한 프로세싱 결과 데이터 등을 저장할 수 있다. 일 예로, 메모리부(1100)는 후술하는 진단 보조의 수행을 위한 데이터 가공 프로세스 프로그램, 진단 프로세스 프로그램, 각 프로그램의 수행을 위한 파라미터 및 이러한 프로그램의 수행에 따라 얻어진 데이터(예컨대, 가공된 데이터 또는 진단 결과값) 등을 저장할 수 있다.The
학습 장치(1000)는 별도의 학습부(또는 학습 모듈)를 포함할 수 있다. 학습부는 신경망 모델의 학습을 수행할 수 있다. 학습의 수행과 관련하여서는 이하의 목차 2. 학습 프로세스 에서 보다 상세히 설명하기로 한다. The
학습부는 전술한 제어부(1200)에 포함될 수 있다. 학습부는 전술한 메모리부(1100)에 저장될 수 있다. 학습부는 전술한 제어부(1200) 및 메모리부(1100)의 일부 구성에 의하여 구현될 수 있다. 예컨대, 학습부는 메모리부(1100)에 저장되고, 제어부(1200)에 의하여 구동될 수 있다.The learner may be included in the
학습 장치(1000)는 통신부(1300)를 더 포함할 수 있다. 통신부(1300)는 외부 장치와 통신을 수행할 수 있다. 예컨대, 통신부(1300)는 후술하는 진단 장치, 서버 장치 또는 클라이언트 장치와 통신할 수 있다. 통신부(1300)는 유선 또는 무선 통신을 수행할 수 있다. 통신부(1300)는 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다.The
도 3은 본 발명의 다른 일 실시예에 따른 학습 장치(1000)를 보다 구체적으로 설명하기 위한 블럭도이다. 도 3을 참조하면, 학습 장치(1000)는 프로세서(1050), 휘발성 메모리(1010), 비휘발성 메모리(1030), 대용량 저장 장치(1070) 및 통신 인터페이스(1090)를 포함할 수 있다.3 is a block diagram illustrating the
학습 장치(1000)의 프로세서(1050)는 데이터 가공 모듈(1051) 및 학습 모듈(1053)을 포함할 수 있다. 프로세서(1050)는 데이터 가공 모듈(1051)을 통하여 대용량 저장 장치 또는 비휘발성 메모리에 저장된 데이터 세트를 가공할 수 있다. 프로세서(1050)는 학습 모듈(1053)을 통하여, 진단 보조 신경망 모델의 트레이닝을 수행할 수 있다. 프로세서(1050)는 로컬 메모리를 포함할 수 있다. 통신 인터페이스(1090)는 네트워크(1110)와 연결될 수 있다.The
다만 도 3에서 도시하는 학습 장치(1000)는, 예시에 불과하며, 본 발명에 따른 학습 장치(1000)의 구성이 이에 한정되지는 아니한다. 특히, 데이터 가공 모듈 또는 학습 모듈은 도 3에서 도시하는 것과 다른 위치에 마련될 수 있다.However, the
1.1.2.2 진단 장치1.1.2.2 Diagnostic device
진단 장치는 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다.The diagnostic apparatus may obtain diagnostic assistance information using a neural network model.
도 4는 본 발명의 일 실시예에 따른 진단 장치(2000)를 설명하기 위한 블럭도이다. 도 4를 참조하면, 진단 장치(2000)는 제어부(2200) 및 메모리부(2100)를 포함할 수 있다.4 is a block diagram illustrating a
제어부(2200)는 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 생성할 수 있다. 제어부(2200)는 진단을 위한 진단 데이터(예컨대, 피검자의 안저 데이터)를 획득하고 학습된 진단 보조 신경망 모델을 이용하여 진단 데이터에 의해 예측되는 진단 보조 정보를 획득할 수 있다.The
메모리부(2100)는 학습된 진단 보조 신경망 모델을 저장할 수 있다. 메모리부(2100)는 진단 보조 신경망 모델의 파라미터, 변수 등을 저장할 수 있다.The
진단 장치(2000)는 통신부(2300)를 더 포함할 수 있다. 통신부(2300)는 학습 장치 및/또는 클라이언트 장치와 통신할 수 있다. 일 예로, 진단 장치(2000)는 클라이언트 장치와 통신하는 서버 형태로 마련될 수 있다. 이와 관련하여, 이하에서 보다 상세히 설명한다.The
도 5는 본 발명의 다른 일 실시예에 따른 진단 장치(2000)를 설명하기 위한 도면이다. 도 5를 참조하면, 본 발명의 일 실시예에 따른 진단 장치(2000)는 프로세서(2050), 휘발성 메모리(2030), 비휘발성 메모리(2010), 대용량 저장 장치(2070) 및 통신 인터페이스(2090)를 포함할 수 있다.5 is a diagram for describing a
진단 장치의 프로세서(2050)는 데이터 가공 모듈(2051) 및 진단 모듈(2053)을 포함할 수 있다. 프로세서(2050)는 데이터 가공 모듈(2051)을 통하여 진단 데이터의 가공을 수행하고, 진단 모듈(2053)을 통하여 진단 데이터에 따른 진단 보조 정보를 획득할 수 있다.The
1.1.2.3 서버 장치1.1.2.3 Server devices
본 발명의 일 실시예에 따르면, 진단 보조 시스템은 서버 장치를 포함할 수 있다. 본 발명의 일 실시예에 따른 진단 보조 시스템은, 복수의 서버 장치를 포함할 수도 있다.According to an embodiment of the present invention, the diagnostic assistance system may include a server device. The diagnostic assistance system according to an embodiment of the present invention may include a plurality of server devices.
서버 장치는 신경망 모델을 저장 및/또는 구동할 수 있다. 서버 장치는 학습된 신경망 모델을 구성하는 가중치 값들을 저장할 수 있다. 서버 장치는 진단 보조에 이용되는 데이터를 수집 또는 저장할 수 있다. The server device may store and / or drive a neural network model. The server device may store weight values constituting the trained neural network model. The server device may collect or store data used for diagnostic assistance.
서버 장치는 신경망 모델을 이용한 진단 보조 프로세스의 결과를 클라이언트 장치로 출력할 수 있다. 서버 장치는 클라이언트 장치로부터 피드백을 획득할 수 있다. 서버 장치는 전술한 진단 장치와 유사하게 동작할 수 있다.The server device may output the result of the diagnostic assistance process using the neural network model to the client device. The server device may obtain feedback from the client device. The server device may operate similarly to the diagnostic device described above.
도 6은 본 발명의 일 실시예에 따른 진단 보조 시스템(20)을 도시한 것이다. 도 6를 참조하면, 본 발명의 일 실시예에 따른 진단 보조 시스템(20)은 진단 서버(4000), 학습 장치 및 클라이언트 장치를 포함할 수 있다. 6 illustrates a
진단 서버(4000), 즉, 서버 장치는 복수의 학습 장치 또는 복수의 진단 장치와 통신할 수 있다. 도 6을 참조하면, 진단 서버(4000)는 제1 학습 장치(1000a) 및 제2 학습 장치(1000b)와 통신할 수 있다. 도 6을 참조하면, 진단 서버(4000)는 제1 클라이언트 장치(3000a) 및 제2 클라이언트 장치(3000b)와 통신할 수 있다.The
예컨대, 진단 서버(4000)는 제1 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델을 학습시키는 제1 학습 장치(1000a) 및 제2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델을 학습시키는 제2 학습 장치(1000b)와 통신할 수 있다. For example, the
진단 서버(4000)는 제1 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델 및 2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델을 저장하고, 제1 클라이언트 장치(3000a) 또는 제2 클라이언트 장치(3000b)로부터의 진단 보조 정보 획득 요청에 응답하여 진단 보조 정보를 획득하고, 획득된 진단 보조 정보를 제1 클라이언트 장치(3000a) 또는 제2 클라이언트 장치(3000b)로 전송할 수 있다.The
또는, 진단 서버(4000)는 제1 진단 보조 정보를 요청하는 제1 클라이언트 장치(3000a) 및 제2 진단 보조 정보를 요청하는 제2 클라이언트 장치(3000b)와 통신할 수도 있다.Alternatively, the
1.1.2.4 클라이언트 장치1.1.2.4 Client device
클라이언트 장치는 진단 장치 또는 서버 장치로 진단 보조 정보를 요청할 수 있다. 클라이언트 장치는 진단에 필요한 데이터를 획득하고, 진단 장치로 획득한 획득한 데이터를 전송할 수 있다. The client device may request diagnostic assistance information from the diagnostic device or the server device. The client device may acquire data necessary for diagnosis and transmit the acquired data to the diagnostic device.
클라이언트 장치는 데이터 획득부를 포함할 수 있다. 데이터 획득부는 진단 보조에 필요한 데이터를 획득할 수 있다. 데이터 획득부는 진단 보조 모델에 이용되는 이미지를 획득하는 촬상부일 수 있다. The client device may include a data acquirer. The data acquirer may acquire data necessary for assistance of diagnosis. The data acquisition unit may be an imaging unit that acquires an image used for the diagnostic assistance model.
도 7은 본 발명의 일 실시예에 따른 클라이언트 장치(3000)를 설명하기 위한 블록도이다. 도 7을 참조하면, 본 발명의 일 실시예에 따른 클라이언트 장치(3000)는 촬상부(3100), 제어부(3200) 및 통신부(3300)를 포함할 수 있다. 7 is a block diagram illustrating a
촬상부(3100)는 이미지 또는 영상 데이터를 획득할 수 있다. 촬상부(3100)는 안저 이미지를 획득할 수 있다. 다만, 클라이언트 장치(3000)는 촬상부(3100)가 아닌 다른 형태의 데이터 획득부로 대체될 수도 있다.The
통신부(3300)는 외부 장치, 예컨대 진단 장치 또는 서버 장치와 통신할 수 있다. 통신부(3300)는 유선 또는 무선 통신을 수행할 수 있다.The
제어부(3200)는 촬상부(3100)가 이미지 또는 데이터를 획득하도록 제어할 수 있다. 제어부(3200)는 촬상부(3100)가 안저 이미지를 획득하도록 제어할 수 있다. 제어부(3200)는 획득된 안저 이미지를 진단 장치로 전송할 수 있다. 제어부는 촬상부(3100)를 통하여 획득한 이미지를 통신부(3300)를 통하여 서버 장치로 전송하고, 이에 기초하여 생성된 진단 보조 정보를 획득할 수 있다.The
도시하지는 아니하였으나, 클라이언트 장치는 출력부를 더 포함할 수 있다. 출력부는 영상 또는 이미지를 출력하는 디스플레이 또는 음성을 출력하는 스피커를 포함할 수 있다. 출력부는 획득된 촬상부에 의해 획득된 영상 또는 이미지 데이터를 출력할 수 있다. 출력부는 진단 장치로부터 획득된 진단 보조 정보를 출력할 수 있다.Although not shown, the client device may further include an output unit. The output unit may include a display that outputs an image or an image or a speaker that outputs an audio. The output unit may output the image or the image data obtained by the obtained imaging unit. The output unit may output diagnostic assistance information obtained from the diagnostic apparatus.
도시하지는 아니하였으나, 클라이언트 장치는 입력부를 더 포함할 수 있다. 입력부는 사용자 입력을 획득할 수 있다. 예컨대, 입력부는 진단 보조 정보를 요청하는 사용자 입력을 획득할 수 있다. 입력부는 진단 장치로부터 획득된 진단 보조 정보를 평가하는 사용자 정보를 획득할 수 있다.Although not shown, the client device may further include an input unit. The input unit may obtain a user input. For example, the input unit may obtain a user input for requesting the diagnostic assistance information. The input unit may obtain user information for evaluating the diagnostic assistance information obtained from the diagnostic apparatus.
또한, 도시하지는 아니하였으나, 클라이언트 장치는 메모리부를 더 포함할 수 있다. 메모리부는 촬상부에 의해 획득된 이미지를 저장할 수 있다.In addition, although not shown, the client device may further include a memory unit. The memory unit may store an image acquired by the imaging unit.
1.1.3 진단 보조 프로세스 개요1.1.3 Diagnostic Assistant Process Overview
본 명세서에서 개시하는 진단 보조 시스템 또는 진단 보조 장치에 의하여 진단 보조 프로세스가 수행될 수 있다. 진단 보조 프로세스는 크게 진단 보조에 이용되는 진단 보조 모델을 학습하는 트레이닝 프로세스, 진단 보조 모델을 이용하는 진단 프로세스로 나누어 고려될 수 있다. The diagnostic assistant process may be performed by the diagnostic assistant system or the diagnostic assistant apparatus disclosed herein. The diagnostic assistant process can be considered as divided into a training process for learning a diagnostic assistant model used for diagnosis assistance and a diagnostic process using the diagnostic assistant model.
도 8은 본 발명의 일 실시예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다. 도 8을 참조하면, 본 발명의 일 실시예에 따른 진단 보조 프로세스는, 데이터를 획득하고, 가공하여(S110) 신경망 모델을 학습하고(S130), 학습된 신경망 모델의 변수를 획득(S150)하는 학습 프로세스 및 진단 대상 데이터를 획득하고(S210) 진단 대상 데이터에 기초하여 학습된 신경망 모델(S230)을 이용하여 진단 보조 정보를 획득(S250)하는 진단 보조 프로세스를 포함할 수 있다.8 is a view for explaining a diagnostic assistance process according to an embodiment of the present invention. Referring to FIG. 8, the diagnostic assistance process according to an embodiment of the present disclosure acquires and processes data (S110), learns a neural network model (S130), and obtains variables of the learned neural network model (S150). It may include a diagnostic assistant process to acquire the learning process and the diagnostic target data (S210) and to obtain diagnostic assistance information (S250) using the trained neural network model (S230) based on the diagnostic target data.
보다 구체적으로, 트레이닝 프로세스는 입력된 학습 이미지 데이터를 가공하여 모델의 트레이닝에 이용될 수 있는 상태로 가공하는 데이터 가공 프로세스 및 가공된 데이터를 이용하여 모델을 트레이닝하는 학습 프로세스를 포함할 수 있다. 트레이닝 프로세스는 전술한 학습 장치에 의하여 수행될 수 있다.More specifically, the training process may include a data processing process of processing the input training image data and processing the model into a state that can be used for training of the model, and a training process of training the model using the processed data. The training process may be performed by the learning apparatus described above.
진단 프로세스는 입력된 검사 대상 이미지 데이터를 가공하여 신경망 모델을 이용한 진단을 수행할 수 있는 상태로 가공하는 데이터 가공 프로세스 및 가공된 데이터를 이용하여 진단을 수행하는 진단 프로세스를 포함할 수 있다. 진단 프로세스는 전술한 진단 장치 또는 서버 장치에 의하여 수행될 수 있다.The diagnostic process may include a data processing process of processing the input test target image data to a state capable of performing a diagnosis using a neural network model, and a diagnostic process of performing diagnosis using the processed data. The diagnostic process may be performed by the above-described diagnostic apparatus or server apparatus.
이하에서는, 각 프로세스에 대하여 설명한다.Below, each process is demonstrated.
1.2 트레이닝 프로세스1.2 Training process
본 발명의 일 실시예에 따르면, 신경망 모델을 트레이닝하는 프로세스가 제공될 수 있다. 구체적인 예로, 안저 이미지에 기초하여 진단을 수행하거나 보조하는 신경망 모델을 트레이닝하는 프로세스가 개시될 수 있다. According to one embodiment of the invention, a process for training a neural network model may be provided. As a specific example, a process of training a neural network model to perform or assist with a diagnosis based on the fundus image can be disclosed.
이하에서 설명하는 트레이닝 프로세스는 전술한 학습 장치에 의하여 수행될 수 있다. The training process described below may be performed by the learning apparatus described above.
1.2.1 학습부1.2.1 Learning Department
본 발명의 일 실시예에 따르면, 트레이닝 프로세스는 학습부에 의해 수행될 수 있다. 학습부는 전술한 학습 장치 내에 마련될 수 있다. According to an embodiment of the present invention, the training process may be performed by the learning unit. The learning unit may be provided in the above-described learning apparatus.
도 9는 본 발명의 일 실시예에 따른 학습부(100)의 구성을 설명하기 위한 도면이다. 도 9를 참조하면, 학습부(100)는 데이터 가공 모듈(110), 큐 모듈(130), 학습 모듈(150) 및 학습 결과 획득 모듈(170)을 포함할 수 있다. 각각의 모듈은 후술하는 바와 같이 데이터 가공 프로세스 및 학습 프로세스의 개별 단계들을 수행할 수 있다. 다만 도 9에서 설명하는 구성 요소들 및 각 요소들이 수행하는 기능이 모두 필수적이지는 아니하며, 학습 형태에 따라, 일부 요소가 추가되거나 일부 요소들이 생략될 수 있다.9 is a view for explaining the configuration of the
1.2.2 데이터 가공 프로세스1.2.2 Data processing process
1.2.2.1 이미지 데이터 획득1.2.2.1 Image data acquisition
본 발명의 일 실시예에 따르면, 데이터 세트가 획득될 수 있다. 본 발명의 일 실시예에 따르면, 데이터 가공 모듈은 데이터 세트를 획득할 수 있다. According to one embodiment of the invention, a data set may be obtained. According to one embodiment of the invention, the data processing module may acquire a data set.
데이터 세트는 이미지 데이터 세트일 수 있다. The data set may be an image data set.
일 예로, 안저 이미지 데이터 세트일 수 있다. 안저 이미지 데이터 세트는 일반적인 무산동 안저 카메라 등을 이용하여 획득될 수 있다. 안저 이미지는 파노라마 안저 이미지 또는 와이드 안저 이미지일 수 있다. 안저 이미지는 레드프리(Red-free) 이미지일 수 있다. 안저 이미지는 적외선 촬영된 이미지일 수 있다. 안저 이미지는 자가형광 촬영된 이미지일 수 있다. 이미지 데이터는 JPG, PNG, DCM(DICOM), BMP, GIF, TIFF 중 어느 하나의 형태로 획득될 수 있다. For example, it may be a fundus image data set. The fundus image data set may be acquired using a general non-dongdong fundus camera or the like. The fundus image may be a panoramic fundus image or a wide fundus image. The fundus image may be a red-free image. The fundus image may be an infrared photographed image. The fundus image may be an autofluorescence image. The image data may be obtained in any one of JPG, PNG, DCM (DICOM), BMP, GIF, and TIFF.
다른 예로, 데이터 세트는 OCT(Optical Coherence Tomography) 이미지, OCT 혈관 조영 이미지 또는 안저 혈관 조영 이미지 중 어느 하나를 포함하는 이미지 데이터 세트일 수 있다. 이때, OCT 이미지, OCT 혈관 조영 이미지 또는 안저 혈관 조영 이미지를 포함하는 데이터 세트를 이용하여 학습된 신경망 모델은, 대상 OCT 이미지, 대상 OCT 혈관 조영 이미지 또는 대상 안저 혈관 조영 이미지에 기초하여 진단 보조 정보(또는 라벨)를 예측 또는 출력할 수 있다.As another example, the data set may be an image data set including any one of an optical coherence tomography (OCT) image, an OCT angiography image, or a fundus angiography image. In this case, the neural network model trained using a data set including an OCT image, an OCT angiography image, or an ocular fundus angiography image may be configured to provide diagnostic assistance information ( Or labels) can be predicted or output.
데이터 세트는 트레이닝 데이터 세트를 포함할 수 있다. 데이터 세트는 테스트 데이터 세트를 포함할 수 있다. 데이터 세트는 검증(validation) 데이터 세트를 포함할 수 있다. 다시 말해, 데이터 세트는 트레이닝 데이터 세트, 테스트 데이터 세트 및 검증 데이터 세트 중 적어도 하나의 데이터 세트로 할당될 수 있다. The data set may comprise a training data set. The data set may comprise a test data set. The data set may comprise a validation data set. In other words, the data set may be allocated to at least one data set of the training data set, the test data set, and the verification data set.
데이터 세트는 해당 데이터 세트를 통해 학습되는 신경망 모델을 이용하여 획득하고자 하는 진단 보조 정보를 고려하여 결정될 수 있다. 예컨대, 백내장과 관련된 진단 보조 정보를 획득하는 신경망 모델을 학습시키고자 하는 경우, 획득되는 데이터 세트는 적외선 안저 이미지 데이터 세트로 결정될 수 있다. 또는, 황반 변성과 관련된 진단 보조 정보를 획득하는 신경망 모델을 학습시키고자 하는 경우, 획득되는 데이터 세트는 자가형광 촬영된 안저 이미지 데이터 세트일 수 있다.The data set may be determined in consideration of diagnostic assistance information to be obtained using a neural network model trained through the data set. For example, in order to train a neural network model for obtaining diagnostic assistance information related to cataracts, the data set obtained may be determined as an infrared fundus image data set. Alternatively, when the neural network model for acquiring diagnostic assistance information related to macular degeneration is to be trained, the acquired data set may be a self-fluoresced fundus image data set.
데이터 세트에 포함되는 개별 데이터는 라벨을 포함할 수 있다. 라벨은 복수개일 수 있다. 다시 말해, 데이터 세트에 포함되는 개별 데이터는 적어도 하나의 특징에 대하여 라벨링되어 있을 수 있다. 일 예로, 데이터 세트는 복수의 안저 이미지 데이터를 포함하는 안저 이미지 데이터 세트이고, 각각의 안저 이미지 데이터는 해당 이미지에 따른 진단 정보 라벨(예컨대, 특정 질환의 유무) 및/또는 소견 정보(예컨대, 특정 부위의 이상 여부) 라벨을 포함할 수 있다. Individual data included in the data set may include a label. The label may be plural. In other words, individual data included in the data set may be labeled for at least one feature. As an example, the data set is a fundus image data set including a plurality of fundus image data, each fundus image data being a diagnostic information label (eg, the presence or absence of a specific disease) and / or finding information (eg, specific) according to the image. Abnormalities of the site) may include a label.
다른 예로, 데이터 세트는 안저 이미지 데이터 세트이고 각각의 안저 이미지 데이터는 해당 이미지에 대한 주변 정보 라벨을 포함할 수 있다. 예컨대, 각각의 안저 이미지 데이터는 해당 안저 이미지가 좌안의 이미지인지 또는 우안의 이미지인지에 대한 좌우안 정보, 여성의 안저 이미지인지 또는 남성의 안저 이미지인지에 대한 성별 정보, 해당 안저 이미지를 촬영한 피검자의 나이에 대한 나이 정보 등을 포함하는 주변 정보 라벨을 포함할 수 있다. As another example, the data set is a fundus image data set and each fundus image data may include a perimeter information label for that image. For example, each fundus image data may include left and right eye information on whether the corresponding fundus image is an image of the left eye or right eye, gender information on whether the fundus image is a female or a male fundus image, and a subject who photographed the fundus image. Peripheral information labels, including age information about the age of may include.
도 10는 본 발명의 일 실시예에 따른 이미지 데이터 세트(DS)를 설명하기 위한 개념도이다. 도 10를 참조하면, 본 발명의 일 실시예에 따른 이미지 데이터 세트(DS)는 복수의 이미지 데이터(ID)를 포함할 수 있다. 각 이미지 데이터(ID)는 이미지(I) 및 이미지에 할당된 라벨(L)을 포함할 수 있다. 도 10을 참조하면, 이미지 데이터 세트(DS)는 제1 이미지 데이터(ID1) 및 제2 이미지 데이터(ID2)를 포함할 수 있다. 제1 이미지 데이터(ID1)은 제1 이미지(I1) 및 제1 이미지에 대응되는 제1 라벨(L1)을 포함할 수 있다.10 is a conceptual diagram illustrating an image data set DS according to an embodiment of the present invention. Referring to FIG. 10, an image data set DS according to an embodiment of the present invention may include a plurality of image data IDs. Each image data ID may include an image I and a label L assigned to the image. Referring to FIG. 10, the image data set DS may include first image data ID1 and second image data ID2. The first image data ID1 may include a first image I1 and a first label L1 corresponding to the first image.
도 10에서는 하나의 이미지 데이터가 하나의 라벨을 포함하는 경우를 기준으로 설명하였으나, 전술한 바와 같이 하나의 이미지 데이터는 복수의 라벨을 포함할 수 있다.In FIG. 10, one image data includes one label. However, as described above, one image data may include a plurality of labels.
1.2.2.2 이미지 리사이징 1.2.2.2 Image resizing
본 발명의 일 실시예에 따르면, 획득된 이미지 데이터의 크기가 조정될 수 있다. 즉, 이미지들이 리사이징 될 수 있다. 본 발명의 일 실시예에 따르면, 전술한 학습부의 데이터 가공 모듈에 의하여 이미지 리사이징이 수행될 수 있다. According to an embodiment of the present invention, the size of the acquired image data may be adjusted. That is, the images can be resized. According to an embodiment of the present invention, image resizing may be performed by the data processing module described above.
이미지의 크기 또는 종횡비가 조정될 수 있다. 획득된 복수의 이미지들은 일정한 크기를 가지도록 그 크기가 조정될 수 있다. 또는, 이미지들은 일정한 종횡비(aspect ratio)를 가지도록 그 크기가 조정될 수 있다. 이미지를 리사이징 하는 것은 이미지에 이미지 변환 필터를 적용하는 것일 수 있다.The size or aspect ratio of the image can be adjusted. The obtained plurality of images may be sized to have a constant size. Alternatively, the images can be scaled to have a constant aspect ratio. Resizing an image may be applying an image conversion filter to the image.
획득된 개별 이미지들의 사이즈 또는 용량이 과도하게 크거나 작은 경우에, 이미지의 사이즈 또는 용량을 조정하여 적절한 사이즈로 변환할 수 있다. 또는 개별 이미지들의 사이즈 또는 용량이 다양한 경우에, 리사이징을 통하여 사이즈 또는 용량을 통일시킬 수 있다.If the size or capacity of the individual images obtained is excessively large or small, the size or capacity of the image may be adjusted to convert to an appropriate size. Alternatively, if the size or capacity of the individual images vary, resizing may unify the size or capacity.
일 실시예에 따르면, 이미지의 용량이 조정될 수 있다. 예컨대, 이미지의 용량이 적정 범위를 초과하는 경우에, 다운샘플링(down sampling)을 통하여 이미지를 축소시킬 수 있다. 또는, 이미지의 용량이 적정 범위에 못 미치는 경우에, 업샘플링(upsampling) 또는 보간(interpolating)을 통하여 이미지를 확대할 수 있다.According to one embodiment, the capacity of the image may be adjusted. For example, when the capacity of an image exceeds an appropriate range, downsampling can reduce the image. Alternatively, when the capacity of the image falls short of an appropriate range, the image may be enlarged through upsampling or interpolating.
다른 일 실시예에 따르면, 이미지를 자르거나 획득한 이미지에 픽셀을 덧붙여 이미지의 사이즈 또는 종횡비를 조정할 수 있다. 예컨대, 이미지에 학습에 불필요한 부분이 포함되어 있는 경우에, 이를 제거하기 위하여 이미지 일부를 크롭할 수 있다. 또는, 이미지의 일부가 잘려나가 종횡비가 맞지 않는 경우에 칼럼(column) 또는 로(row)을 추가하여 이미지 종횡비를 조정할 수도 있다. 다시 말해, 이미지에 마진 또는 패딩을 추가하여 종횡비를 조정할 수 있다.According to another exemplary embodiment, the size or aspect ratio of the image may be adjusted by cropping the image or adding pixels to the acquired image. For example, if an image contains an unnecessary part for learning, a part of the image may be cropped to remove it. Alternatively, if a portion of the image is cut off and the aspect ratio is not correct, a column or row may be added to adjust the image aspect ratio. In other words, the aspect ratio can be adjusted by adding margins or padding to the image.
또 다른 일 실시예에 따르면, 이미지의 용량 및 사이즈 또는 종횡비가 함께 조정될 수 있다. 일 예로, 이미지의 용량이 큰 경우에 이미지를 다운샘플링 하여 이미지 용량을 축소하고, 축소된 이미지에 포함된 불필요한 부분을 크롭하여 적절한 이미지 데이터로 변환할 수 있다.According to another embodiment, the capacity and size or aspect ratio of the image may be adjusted together. For example, when the size of an image is large, the image size may be reduced by downsampling the image, and unnecessary portions included in the reduced image may be cropped and converted into appropriate image data.
또한, 본 발명의 다른 일 실시예에 따르면, 이미지 데이터의 방향(orientation)이 변경될 수도 있다.In addition, according to another embodiment of the present invention, the orientation of the image data may be changed.
구체적인 예로, 데이터 세트로서 안저 이미지 데이터 세트가 이용되는 경우, 각각의 안저 이미지는 그 용량이 조절되거나, 사이즈가 조정될 수 있다. 안저 이미지의 안저 부분을 제외한 여백 부분을 제거하기 위한 크롭핑 또는 안저 이미지의 잘린 부분을 보충하여 종횡비를 조정하기 위한 패딩을 수행할 수 있다.As a specific example, when the fundus image data set is used as the data set, each fundus image may be adjusted in size or resized. Cropping to remove the marginal portions other than the fundus portion of the fundus image or padding to adjust the aspect ratio by replenishing the cropped portion of the fundus image may be performed.
도 11은 본 발명의 일 실시예에 따른 이미지 리사이징을 설명하기 위한 도면이다. 도 11을 참조하면, 본 발명의 일 실시예에 따른 이미지 리사이징 프로세스에 의하여, 획득된 안저 이미지가 리사이징될 수 있다.11 is a view for explaining image resizing according to an embodiment of the present invention. Referring to FIG. 11, an acquired fundus image may be resized by an image resizing process according to an embodiment of the present invention.
구체적으로, 원본 안저 이미지(a)는 진단 정보 획득에 불필요한 여백 부분이 크롭되고(b) 학습 효율의 증진을 위하여 그 크기가 축소(c)될 수 있다.Specifically, the original fundus image (a) may be cropped (b) the margins unnecessary for obtaining diagnostic information (b) and may be reduced in size (c) to improve learning efficiency.
1.2.2.3 이미지 전처리1.2.2.3 Image preprocessing
본 발명의 일 실시예에 따르면, 이미지의 전처리가 수행될 수 있다. 이미지를 입력된 그대로 학습에 이용할 경우, 불필요한 특성들에 대한 학습 결과 과적합 현상 등이 발생할 수 있고 학습 효율 역시 저하될 수 있다. According to one embodiment of the invention, preprocessing of the image may be performed. If the image is used as it is input for learning, overfitting may occur as a result of learning about unnecessary characteristics, and the learning efficiency may also be reduced.
이를 방지하기 위하여, 이미지 데이터를 학습의 목적에 부합하도록 적절히 전처리하여 이용함으로써 학습 효율 및 성능을 향상시킬 수 있다. 예컨대, 안저 이미지에 대하여 안질환의 이상 징후를 검출하기에 용이하도록 하는 전처리 또는 망막 혈관 내지 혈류 변화가 강조되도록 하는 전처리가 수행될 수 있다.To prevent this, it is possible to improve learning efficiency and performance by appropriately pre-processing and using the image data to meet the purpose of learning. For example, pretreatment may be performed on the fundus image to facilitate highlighting abnormalities of the ocular disease or pretreatment to highlight retinal vessel to blood flow changes.
전술한 학습부의 데이터 가공 모듈에 의하여 이미지의 전처리가 수행될 수 있다. 데이터 가공 모듈은 리사이징된 이미지를 획득하고 학습에 요청되는 전처리를 수행할 수 있다.The preprocessing of the image may be performed by the data processing module of the learning unit described above. The data processing module may acquire the resized image and perform preprocessing required for learning.
이미지의 전처리는 전술한 리사이징 처리가 완료된 이미지에 대하여 수행될 수 있다. 다만, 본 명세서에서 개시하는 발명의 내용이 이에 한정되는 것은 아니고, 리사이징 처리를 생략하고 이미지에 대한 전처리가 수행될 수도 있다. 이미지의 전처리를 가하는 것은 이미지에 전처리 필터를 적용하는 것일 수 있다.The preprocessing of the image may be performed on the image in which the above-mentioned resizing process is completed. However, the contents of the present invention disclosed herein are not limited thereto, and the resizing process may be omitted and preprocessing may be performed on the image. Applying the preprocessing of the image may be to apply a preprocessing filter to the image.
일 실시예에 따르면, 이미지에 블러(blur) 필터가 적용될 수 있다. 이미지에 가우시안 필터가 적용될 될 수 있다. 이미지에 가우시안 블러 필터가 적용될 수도 있다. 또는, 이미지에 이미지를 선명하게 하는 디블러(deblur) 필터가 적용될 수 있다.According to an embodiment, a blur filter may be applied to the image. Gaussian filters may be applied to the image. Gaussian blur filters may be applied to the image. Alternatively, a deblur filter for sharpening the image may be applied to the image.
다른 일 실시예에 따르면, 이미지의 색상을 조정 또는 변조하는 필터가 적용될 수 있다. 예컨대, 이미지를 구성하는 RGB 값 중 일부 성분의 값을 변경하거나, 또는, 이미지를 이진화하는 필터가 적용될 수도 있다. According to another embodiment, a filter for adjusting or modulating the color of the image may be applied. For example, a filter may be applied to change the value of some of the RGB values constituting the image, or to binarize the image.
또 다른 일 실시예에 따르면, 이미지에 특정 요소가 강조되도록 하는 필터가 적용될 수 있다. 예컨대, 안저 이미지 데이터에 대하여, 각 이미지로부터 혈관 요소가 강조되도록 하는 전처리가 수행될 수 있다. 이때, 혈관 요소가 강조되도록 하는 전처리는 하나 이상의 필터를 순차적으로 또는 조합하여 적용하는 것일 수 있다.According to another embodiment, a filter may be applied to emphasize specific elements in an image. For example, for fundus image data, preprocessing may be performed to highlight the vascular element from each image. At this time, the pretreatment for emphasizing the vascular element may be to apply one or more filters sequentially or in combination.
본 발명의 일 실시예에 따르면, 이미지의 전처리는 획득하고자 하는 진단 보조 정보의 특성을 고려하여 수행될 수 있다. 예컨대, 망막의 출혈, 드루젠, 미세혈관류, 삼출물 등의 소견과 관련된 진단 보조 정보를 획득하고자 하는 경우에는 획득된 안저 이미지를 레드프리 안저 이미지 형태로 변환하는 전처리를 수행할 수 있다.According to an embodiment of the present invention, the preprocessing of the image may be performed in consideration of the characteristics of the diagnostic assistance information to be obtained. For example, when it is desired to acquire diagnostic assistance information related to findings such as bleeding, drusen, microvascular flow, and exudate of the retina, pretreatment may be performed to convert the acquired fundus image into a red-free fundus image.
1.2.2.4 이미지 증강(augmentation)1.2.2.4 Image augmentation
본 발명의 일 실시예에 따르면, 이미지가 증강 또는 확장될 수 있다. 전술한 학습부의 데이터 가공 모듈에 의하여 이미지의 증강이 수행될 수 있다.According to one embodiment of the invention, the image may be augmented or expanded. Augmentation of the image may be performed by the data processing module of the learning unit described above.
증강된 이미지들은 신경망 모델의 트레이닝 성능 개선을 위하여 이용될 수 있다. 예컨대, 신경망 모델의 트레이닝을 위한 데이터의 양이 부족한 경우에, 트레이닝을 위한 데이터 수의 확대를 위하여 존재하는 트레이닝 이미지 데이터의 변조를 실시하고, 변조(또는 변화)된 이미지를 원본 이미지와 함께 이용함으로써 트레이닝 이미지 데이터 수를 늘릴 수 있다. 이에 따라 과학습(overfitting)이 억제되고 모델의 레이어를 보다 깊이 형성할 수 있으며, 예측 정확도가 향상될 수 있다.Augmented images can be used to improve training performance of the neural network model. For example, when the amount of data for training of the neural network model is insufficient, by modulating existing training image data to expand the number of data for training, and using the modulated (or changed) image together with the original image You can increase the number of training image data. As a result, overfitting can be suppressed, a layer of a model can be formed deeper, and prediction accuracy can be improved.
예를 들어, 이미지 데이터의 확장은, 이미지의 좌우를 반전시키거나, 이미지의 일부를 오려내거나, 이미지의 색상 값을 보정하거나, 또는 인위적인 노이즈를 추가하여 수행될 수 있다. 구체적인 예로, 이미지의 일부를 오려내는 것은 이미지를 구성하는 요소의 일부 영역을 오려내거나, 일부 영역들을 랜덤하게 오려내는 방식으로 수행될 수 있다. 보다 많은 예로, 이미지 데이터를 좌우 반전, 상하 반전, 회전, 일정 비율 리사이징, 크롭핑, 패딩, 색상 조정 또는 밝기 조정 함으로써 이미지 데이터를 확장할 수 있다.For example, the expansion of the image data may be performed by inverting the left and right sides of the image, clipping out a part of the image, correcting a color value of the image, or adding artificial noise. As a specific example, clipping out a portion of an image may be performed by clipping some regions of an element constituting the image, or randomly clipping some regions. For example, the image data can be extended by inverting left and right, upside down, rotating, scaling ratio resizing, cropping, padding, color adjustment, or brightness adjustment.
일 예로, 상술한 이미지 데이터의 증강 또는 확장은 일반적으로, 트레이닝 데이터 세트에 대하여 적용될 수 있다. 다만, 이외의 데이터 세트, 예컨대 테스트 데이터 세트, 즉 트레이닝 데이터를 이용한 학습 및 검증 데이터를 이용한 검증이 끝난 모델의 테스트를 위한 데이터 세트에도 적용될 수 있다.As an example, the augmentation or extension of the image data described above may generally be applied to a training data set. However, the present invention may be applied to other data sets, for example, test data sets, that is, data sets for testing the verified model using training and validation data using training data.
구체적인 예로, 데이터 세트로서 안저 이미지 데이터 세트가 이용되는 경우에, 데이터의 수를 늘리기 위하여 이미지를 반전시키거나, 오려내거나, 노이즈를 추가하거나, 색상을 변경하는 것 중 하나 이상의 처리를 랜덤하게 적용하여 증강된 안저 이미지 데이터 세트를 획득할 수 있다.As a specific example, when the fundus image data set is used as the data set, one or more processes of inverting, cropping, adding noise, or changing color in order to increase the number of data are randomly applied. An augmented fundus image data set may be obtained.
도 12은 본 발명의 일 실시예에 따른 이미지 데이터 세트의 확장을 설명하기 위한 도면이다. 도 12을 참조하면, 본 발명의 일 실시예들에 따른 이미지는 신경망 모델의 예측 정확도를 향상시키기 위하여 변형될 수 있다.12 is a diagram for describing extension of an image data set according to an embodiment of the present invention. Referring to FIG. 12, an image according to embodiments of the present disclosure may be modified to improve prediction accuracy of a neural network model.
구체적으로, 도 12를 참조하면, 본 발명의 일 실시예들에 따른 이미지는 일부 영역이 드롭아웃되거나(a), 좌우가 반전되거나(b), 중심점이 이동되거나 (c, d) 일부 영역의 색상이 변조(e)될 수 있다.Specifically, referring to FIG. 12, an image according to one embodiment of the present invention may include a portion of which is dropped out (a), inverted from side to side (b), or a center point is moved (c, d) of the region. Color may be modulated (e).
1.2.2.5 이미지 직렬화(serialization)1.2.2.5 Image serialization
본 발명의 일 실시예에 따르면, 이미지 데이터는 직렬화(linearization) 될 수 있다. 이미지는 전술한 학습부의 데이터 가공 모듈에 의하여 직렬화될 수 있다. 직렬화 모듈은 전처리된 이미지 데이터를 직렬화하고 큐 모듈로 전달할 수 있다.According to one embodiment of the invention, the image data may be linearized. The image may be serialized by the data processing module described above. The serialization module can serialize the preprocessed image data and pass it to the queue module.
이미지 데이터를 그대로 이용하여 학습에 이용하게 되면, 이미지 데이터는 JPG, PNB, DCM 등의 이미지 파일 형태를 가지기 때문에 디코딩이 필요한데, 매번 디코딩을 거쳐 학습을 수행하게 되면 모델 학습의 성능이 저하될 수 있다. 이에 따라, 이미지 파일을 그대로 학습에 이용하지 않고 직렬화하여 학습을 수행할 수 있다. 따라서, 학습 성능 및 속도를 향상시키기 위하여 이미지 데이터의 직렬화를 수행할 수 있다. 직렬화되는 이미지 데이터는 전술한 이미지 리사이징 및 이미지 전처리 중 하나 이상의 단계가 적용된 이미지 데이터이거나, 둘 다 처리되지 아니한 이미지 데이터일 수 있다.If the image data is used as it is for training, decoding is necessary because the image data has an image file type such as JPG, PNB, or DCM. If the training is performed after decoding each time, the performance of model training may be degraded. . Accordingly, the learning can be performed by serializing the image file without using it for learning. Therefore, serialization of image data can be performed to improve learning performance and speed. The image data to be serialized may be image data to which at least one of the above-described image resizing and image preprocessing is applied, or both of the image data may not be processed.
이미지 데이터 세트에 포함되는 각 이미지 데이터는 스트링 형태로 변환될 수 있다. 이미지 데이터는 이진화된 데이터 형태로 변환될 수 있다. 특히, 이미지 데이터는 신경망 모델의 학습에 이용되기에 적합한 데이터 형태로 변환될 수 있다. 일 예로, 이미지 데이터는 텐서플로우(tensorflow)를 이용한 신경망 모델 학습에 이용하기 위한 TFRecord 형태로 변환될 수 있다.Each image data included in the image data set may be converted into a string form. Image data may be converted into binary data form. In particular, the image data may be transformed into a data form suitable for use in training the neural network model. For example, the image data may be converted into a TFRecord form for use in neural network model training using tensorflow.
구체적인 예로, 데이터 세트로서 안저 이미지 세트가 이용되는 경우에, 획득된 안저 이미지 세트는 TFRecord 형태로 변환되어 신경망 모델의 학습에 이용될 수 있다.As a specific example, when the fundus image set is used as the data set, the acquired fundus image set may be converted into a TFRecord form and used for learning a neural network model.
1.2.2.6 큐(Queue) 1.2.2.6 Queue
데이터의 병목 현상을 해소하기 위하여 큐(Queue)가 이용될 수 있다. 전술한 학습부의 큐 모듈은 이미지 데이터를 큐에 저장하고, 학습 모델 모듈로 전달할 수 있다.Queues can be used to eliminate data bottlenecks. The queue module of the learning unit may store image data in a queue and transmit the image data to the learning model module.
특히 CPU(Central Processing Unit)와 GPU(Graphic Processing Unit)를 함께 이용하여 학습 프로세스를 진행하는 경우에, 큐를 이용함으로써, CPU와 GPU 사이의 병목현상을 최소화하고 데이터베이스에 대한 접근이 원활하게 하며 메모리 사용 효율을 증진할 수 있다. In particular, when using the CPU (Central Processing Unit) and the GPU (Graphic Processing Unit) together for the learning process, the use of queues minimizes the bottleneck between the CPU and the GPU, facilitates access to the database, and memory. It can improve the use efficiency.
큐는 신경망 모델의 학습에 이용되는 데이터를 저장할 수 있다. 큐는 이미지 데이터를 저장할 수 있다. 큐에 저장되는 이미지 데이터는 전술한 데이터 가공 프로세스(즉, 리사이징, 전처리 및 증강) 중 적어도 하나가 처리된 이미지 데이터이거나 획득된 상태 그대로의 이미지일 수 있다. The queue may store data used to train the neural network model. The cue can store image data. The image data stored in the queue may be image data processed or at least one of the above-described data processing processes (ie, resizing, preprocessing, and augmentation) is processed image data.
큐는 이미지 데이터, 바람직하게는 전술한 바와 같이 직렬화된 이미지 데이터를 저장할 수 있다. 큐는 이미지 데이터를 저장하고, 신경망 모델로 이미지 데이터를 공급할 수 있다. 큐는 신경망 모델로 배치(batch) 사이즈 단위로 이미지 데이터를 전달할 수 있다.The queue may store image data, preferably serialized image data as described above. The queue may store image data and supply image data to the neural network model. The queue may deliver image data in a batch size unit to a neural network model.
큐는 이미지 데이터를 제공할 수 있다. 큐는 후술하는 학습 모듈에 데이터를 제공할 수 있다. 학습 모듈에서 데이터를 추출함에 따라 큐에 축적된 데이터 수가 줄어들 수 있다.The queue may provide image data. The queue may provide data to a learning module described later. As data is extracted from the learning module, the number of data accumulated in the queue may be reduced.
신경망 모델의 학습이 진행됨에 큐에 저장된 데이터 수가 기준 이하로 감소하면, 큐는 데이터의 보충을 요청할 수 있다. 큐는 특정 종류 데이터의 보충을 요청할 수 있다. 큐는 학습부는 데이터의 보충이 요청되면, 큐에 데이터를 보충할 수 있다.If the number of data stored in the queue decreases below the reference level as the neural network model is trained, the queue may request replenishment of the data. The queue may request replenishment of certain kinds of data. When the learning unit is requested to supplement the data, the queue may supplement the data in the queue.
큐는 학습 장치의 시스템 메모리에 마련될 수 있다. 예컨대, 큐는 중앙 처리 장치(CPU)의 RAM(Random Access Memory)에 형성될 수 있다. 이 경우, 큐의 크기 즉, 용량은 CPU의 RAM 용량에 따라 정해질 수 있다. 큐로는 선입선출(FIFO; First In First Out) 큐, 우선순위 큐(Primary Queue) 또는 랜덤 큐가 이용될 수 있다.The queue may be provided in the system memory of the learning device. For example, the queue may be formed in a random access memory (RAM) of a central processing unit (CPU). In this case, the size of the queue, that is, the capacity may be determined according to the RAM capacity of the CPU. The queue may be a first in first out (FIFO) queue, a primary queue, or a random queue.
1.2.3 학습 프로세스1.2.3 Learning process
본 발명의 일 실시예에 의하면, 신경망 모델의 학습 프로세스가 개시될 수 있다. According to one embodiment of the invention, the learning process of the neural network model can be initiated.
본 발명의 일 실시예에 따르면, 신경망 모델의 학습은 전술한 학습 장치에 의하여 수행될 수 있다. 학습 프로세스는 학습 장치의 제어부에 의해 수행될 수 있다. 학습 프로세스는 전술한 학습부의 학습 모듈에 의하여 수행될 수 있다.According to an embodiment of the present invention, the training of the neural network model may be performed by the above-described learning apparatus. The learning process may be performed by the controller of the learning apparatus. The learning process may be performed by the learning module described above.
도 13는 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블럭도이다. 도 13을 참조하면, 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스는 데이터를 획득(S1010)하고, 신경망 모델을 학습(S1030)하고, 학습된 모델을 검증(S1050)하고, 학습된 모델의 변수를 획득(S1070)하여 수행될 수 있다.13 is a block diagram illustrating a learning process of a neural network model according to an embodiment of the present invention. Referring to FIG. 13, the training process of the neural network model according to an embodiment of the present invention obtains data (S1010), learns a neural network model (S1030), verifies a trained model (S1050), and learns a model. This may be performed by acquiring a variable of S1070.
이하에서는, 도 13을 참조하여, 신경망 모델의 학습 프로세스에 대하여 몇몇 실시예를 들어 설명한다.Hereinafter, referring to FIG. 13, some examples of the learning process of the neural network model will be described.
1.2.3.1 데이터 입력1.2.3.1 Data entry
진단 보조 신경망 모델의 학습을 위한 데이터 세트가 획득될 수 있다.A data set for training the diagnostic assistance neural network model can be obtained.
획득되는 데이터는 전술한 데이터 가공 프로세스에 의하여 처리된 이미지 데이터 세트일 수 있다. 일 예로, 데이터 세트는 사이즈가 조정되고 전처리 필터가 적용되고 데이터가 증강된 후 직렬화된 안저 이미지 데이터를 포함할 수 있다.The data obtained may be an image data set processed by the data processing process described above. As an example, the data set may include serialized fundus image data after it has been sized, preprocessed filters applied, and data is augmented.
신경망 모델의 학습 단계에서는 트레이닝 데이터 세트가 획득 및 이용될 수 있다. 신경망 모델의 검증 단계에서는 검증 데이터 세트가 획득 및 이용될 수 있다. 신경망 모델의 테스트 단계에서는 테스트 데이터 세트가 획득 및 이용될 수 있다. 각 데이터 세트는 안저 이미지 및 라벨을 포함할 수 있다.In the training phase of the neural network model, a training data set may be obtained and used. In the verification phase of the neural network model, a verification data set may be obtained and used. In the testing phase of the neural network model, a test data set may be obtained and used. Each data set may include a fundus image and a label.
데이터 세트는 큐로부터 획득될 수 있다. 데이터 세트는 큐로부터 배치 사이즈 단위로 획득될 수 있다. 예컨대, 배치 사이즈로서 60개가 지정된 경우, 데이터 세트는 큐로부터 60개 단위로 추출될 수 있다. 배치 사이즈의 사이즈는 GPU의 RAM 용량에 의해 제한될 수 있다.The data set can be obtained from the queue. The data set may be obtained in batch size units from the queue. For example, if 60 are specified as the batch size, the data set may be extracted from the queue in 60 units. The size of the batch size may be limited by the RAM capacity of the GPU.
데이터 세트는 큐로부터 학습 모듈로 랜덤하게 획득될 수 있다. 데이터 세트는 큐에 축적된 순서대로 획득될 수도 있다. The data set can be randomly obtained from the queue into the learning module. The data set may be obtained in the order accumulated in the queue.
학습 모듈은 큐로부터 획득되는 데이터 세트의 구성을 지정하여 추출할 수 있다. 일 예로, 학습 모듈은 특정 피검자의 좌안 라벨을 가지는 안저 이미지와 우안 라벨을 가지는 안저 이미지 데이터가 함께 학습에 이용되도록 추출할 수 있다.The learning module may specify and extract the configuration of the data set obtained from the queue. For example, the learning module may extract the fundus image having the left eye label and the fundus image data having the right eye label of a specific subject to be used together for learning.
학습 모듈은 큐로부터 특정 라벨의 데이터 세트를 획득할 수 있다. 일 예로, 학습 모듈은 큐로부터 진단 정보 라벨이 비정상인 안저 이미지 데이터 세트를 획득할 수 있다. 학습 모듈은 큐로부터 라벨에 따른 데이터 수의 비율을 지정하여 데이터 세트를 획득할 수 있다. 일 예로, 학습 모듈은 큐로부터 진단 정보 라벨이 비정상인 안저 이미지 데이터의 수와 진단 정보 라벨이 정상인 안저 이미지 데이터의 수가 1 대 1이 되도록 안저 이미지 데이터 세트를 획득할 수 있다.The learning module may obtain a data set of a specific label from the queue. For example, the learning module may obtain a fundus image data set having an abnormal diagnostic information label from a queue. The learning module may obtain a data set by specifying a ratio of the number of data according to the label from the queue. For example, the learning module may acquire a fundus image data set from the queue such that the number of fundus image data having an abnormal diagnostic information label and the number of fundus image data having a normal diagnostic information label are one to one.
1.2.3.2 모델의 설계1.2.3.2 Model design
신경망 모델은 이미지 데이터에 기초하여 진단 보조 정보를 출력하는 진단 보조 모델일 수 있다. 진단 보조 정보 획득을 위한 진단 보조 신경망 모델의 구조는 미리 정해진 형태를 가질 수 있다. 신경망 모델은 복수의 계층 또는 레이어를 포함할 수 있다. The neural network model may be a diagnostic assistance model that outputs diagnostic assistance information based on the image data. The structure of the diagnostic assistance neural network model for obtaining the diagnostic assistance information may have a predetermined form. The neural network model may include a plurality of layers or layers.
신경망 모델은 진단 보조 정보를 생성하는 분류기(classifier)의 형태로 구현될 수 있다. 분류기는 이중 분류 또는 다중 분류를 수행할 수 있다. 예컨대, 신경망 모델은 입력 데이터를 특정 질병 또는 이상 징후 등의 타겟 진단 보조 정보에 대하여 정상 또는 비정상 클래스로 분류하는 이진 분류 모델일 수 있다. 또는, 신경망 모델은 입력 데이터를 특정 특성(예컨대, 질병의 진행 정도)에 대한 복수의 등급 클래스로 분류하는 다중 분류 모델일 수 있다. 또는, 신경망 모델은 특정 질병과 관련된 특정 수치를 출력하는 회귀 형태의 모델로 구현될 수도 있다. The neural network model may be implemented in the form of a classifier that generates diagnostic assistance information. The classifier may perform double classification or multiple classification. For example, the neural network model may be a binary classification model that classifies input data into a normal or abnormal class for target diagnosis assistance information such as a specific disease or abnormality. Alternatively, the neural network model may be a multiple classification model that classifies input data into a plurality of class classes for particular characteristics (eg, degree of disease progression). Alternatively, the neural network model may be implemented as a regression type model that outputs a specific value related to a specific disease.
신경망 모델은 합성곱 신경망(CNN; Convolutional Neural Network)을 포함할 수 있다. 수 있다. CNN 구조로서, AlexNet, LENET, NIN, VGGNet, ResNet, WideResnet, GoogleNet, FractaNet, DenseNet, FitNet, RitResNet, HighwayNet, MobileNet, DeeplySupervisedNet 중 적어도 하나가 이용될 수 있다. 신경망 모델은 복수의 CNN 구조를 이용하여 구현될 수 있다. The neural network model may include a convolutional neural network (CNN). Can be. As the CNN structure, at least one of AlexNet, LENET, NIN, VGGNet, ResNet, WideResnet, GoogleNet, FractaNet, DenseNet, FitNet, RitResNet, HighwayNet, MobileNet, and DeeplySupervisedNet may be used. The neural network model may be implemented using a plurality of CNN structures.
일 예로, 신경망 모델은 복수의 VGGNet 블록을 포함하도록 구현될 수 있다. 보다 구체적인 예로, 신경망 모델은 3x3 크기의 64개의 필터를 가지는 CNN 레이어, BN(Batch Normalization) 레이어 및 ReLu 레이어가 순차적으로 결합된 제1 구조 및 3x3 크기의 128개의 필터를 가지는 CNN 레이어, ReLu 레이어 및 BN 레이어가 순차적으로 결합된 제2 블록이 결합되어 마련될 수 있다. As an example, the neural network model may be implemented to include a plurality of VGGNet blocks. More specifically, the neural network model includes a CNN layer having 64 filters of 3x3 size, a batch normalization (BN) layer and a ReLu layer, and a CNN layer having a 128x filter of 3x3 size, a ReLu layer, The second block, in which the BN layers are sequentially combined, may be provided in combination.
신경망 모델은 각 CNN 블록에 이어서, 맥스 풀링 레이어를 포함하고, 종단에는 GAP(Global Average pooling) 레이어, FC(Fully Connected) 레이어 및 활성화 레이어(예컨대, 시그모이드, 소프트맥스 등)를 포함할 수 있다.The neural network model includes each CNN block, followed by a max pooling layer, and at the end may include a global average pooling layer, a fully connected layer, and an activation layer (eg, sigmoid, softmax, etc.). have.
1.2.3.3 모델의 학습1.2.3.3 Model learning
신경망 모델은 트레이닝 데이터 세트를 이용하여 학습될 수 있다. Neural network models can be trained using training data sets.
신경망 모델은 라벨링된 데이터 세트를 이용하여 학습될 수 있다. 다만, 본 명세서에서 설명하는 진단 보조 신경망 모델의 학습 프로세스가 이에 한정되는 것은 아니며, 신경망 모델은 라벨링되지 아니한 데이터를 이용하여 비지도 형태로 학습될 수도 있다.Neural network models can be trained using labeled data sets. However, the learning process of the diagnostic assisted neural network model described herein is not limited thereto, and the neural network model may be trained in an unsupervised form using unlabeled data.
신경망 모델의 학습은, 트레이닝 이미지 데이터에 기초하여, 임의의 가중치 값들이 부여된 신경망 모델을 이용하여 결과값을 획득하고, 획득된 결과값을 트레이닝 데이터의 라벨값과 비교하고 그 오차에 따라 역전파를 수행하여, 가중치 값들을 최적화함으로써 수행할 수 있다. 또한, 신경망 모델의 학습은 후술하는 모델의 검증 결과, 테스트 결과 및/또는 진단 단계로부터의 피드백으로부터 영향을 받을 수 있다. The training of the neural network model, based on the training image data, obtains a result using a neural network model to which arbitrary weight values are assigned, compares the obtained result with a label value of the training data and back propagates according to the error. Can be performed by optimizing the weight values. In addition, the training of the neural network model may be influenced from feedback from the verification results, test results and / or diagnostic steps of the models described below.
상술한 신경망 모델의 학습은 텐서플로우를 이용하여 수행될 수 있다. 다만, 본 발명이 이에 한정되지는 아니하며, 티아노(Theano), 케라스(Keras), 카페(Caffe), 토치(Torch), CNTK(Microsoft Cognitive Toolkit) 등의 프레임워크가 신경망 모델의 학습에 이용될 수도 있다.Training of the neural network model described above may be performed using TensorFlow. However, the present invention is not limited thereto, and frameworks such as Theano, Keras, Caffe, Torch, and CNTK (Microsoft Cognitive Toolkit) are used for learning neural network models. May be
1.2.3.4 모델의 검증(validation)1.2.3.4 Validation of the model
신경망 모델은 검증 데이터 세트를 이용하여 검증될 수 있다. 신경망 모델의 검증은 학습이 진행된 신경망 모델로부터 검증 데이터 세트에 대한 결과값을 획득하고, 결과값과 검증 데이터 세트의 라벨을 비교하여 수행될 수 있다. 검증은 결과값의 정확도(accuracy)를 측정하여 수행될 수 있다. 검증 결과에 따라, 신경망 모델의 파라미터(예컨대, 가중치 및/또는 편향) 또는 하이퍼 파라미터(예컨대, 학습률)이 조정될 수 있다. The neural network model can be verified using the validation data set. The verification of the neural network model may be performed by obtaining a result value for the verification data set from the neural network model in which the learning is performed, and comparing the result value with a label of the verification data set. Verification can be performed by measuring the accuracy of the results. Depending on the verification result, parameters of the neural network model (eg, weights and / or biases) or hyper parameters (eg, learning rates) may be adjusted.
일 예로, 본 발명의 일 실시예에 따른 학습 장치는, 안저 이미지에 기초하여 진단 보조 정보를 예측하는 신경망 모델을 학습시키고, 학습된 모델의 검증 안저 이미지에 대한 진단 보조 정보를 검증 안저 이미지에 대응되는 검증 라벨과 비교함으로써 진단 보조 신경망 모델의 검증을 수행할 수 있다.For example, the learning apparatus according to an embodiment of the present disclosure may learn a neural network model predicting diagnosis assistance information based on the fundus image, and correspond to the diagnosis fundus image with the diagnosis assistance information of the verified fundus image of the trained model. Validation of the diagnostic assistance neural network model may be performed by comparison with the validation label.
신경망 모델의 검증에는, 별도의 검증 세트(external data set), 즉 트레이닝 데이터 세트에는 포함되지 않은 구별되는 요인을 가지는 데이터 세트가 이용될 수 있다. 예를 들어, 별도의 검증 세트는 트레이닝 데이터 세트와 인종, 환경, 나이, 성별 등의 요인이 구별되는 데이터 세트일 수 있다.For verification of the neural network model, a separate verification set, i.e., a data set having distinct factors not included in the training data set, may be used. For example, the separate verification set may be a data set in which the training data set and the factors such as race, environment, age, and gender are distinguished.
1.2.3.5 모델의 테스트1.2.3.5 Model testing
신경망 모델은 테스트 데이터 세트를 이용하여 테스트될 수 있다.Neural network models can be tested using test data sets.
도 13에서 도시하지는 아니하였으나, 본 발명의 일 실시예에 따른 학습 프로세스에 의하면, 신경망 모델을 트레이닝 데이터 세트 및 검증 데이터 세트와 구분되는 테스트 데이터 세트를 이용하여 테스트할 수 있다. 테스트 결과에 따라, 신경망 모델의 파라미터(예컨대, 가중치 및/또는 편향) 또는 하이퍼 파라미터(예컨대, 학습률)이 조정될 수 있다.Although not shown in FIG. 13, according to an embodiment of the present disclosure, the neural network model may be tested using a test data set that is distinguished from a training data set and a verification data set. Depending on the test results, the parameters (eg, weights and / or biases) or hyperparameters (eg, learning rates) of the neural network model may be adjusted.
일 예로, 본 발명의 일 실시예에 따른 학습 장치는 안저 이미지에 기초하여 진단 보조 정보를 예측하도록 학습된 신경망 모델로부터, 트레이닝 및 검증에 이용되지 않은 테스트 안저 이미지 데이터를 입력으로 하는 결과 값을 획득하여, 학습 및 검증된 진단 보조 신경망 모델의 테스트를 수행할 수 있다.For example, the learning apparatus according to an embodiment of the present invention obtains a result value of inputting test fundus image data that is not used for training and verification, from a neural network model trained to predict diagnostic assistance information based on the fundus image. Thus, a test of the trained and verified diagnostic auxiliary neural network model may be performed.
신경망 모델의 테스트에는, 별도로 마련된 검증 세트(external data set), 즉 트레이닝 및/또는 검증 데이터와 구별되는 요인을 가지는 데이터 세트가 이용될 수 있다. For the testing of the neural network model, a separately prepared external data set, i.e., a data set having factors distinct from training and / or validation data, may be used.
1.2.3.6 결과의 출력1.2.3.6 Output of the result
신경망 모델의 학습 결과, 최적화된 모델의 파라미터 값이 획득될 수 있다. 전술한 바와 같이 테스트 데이터 세트를 이용하여 모델의 학습을 반복적으로 진행함에 따라, 보다 적절한 파라미터(또는 변수) 값이 얻어질 수 있다. 학습이 충분히 진행되면, 가중치(weight) 및/또는 편향(bias)의 최적화된 값이 획득될 수 있다. As a result of training the neural network model, parameter values of the optimized model may be obtained. As described above, as the model is repeatedly trained using the test data set, more appropriate parameter (or variable) values may be obtained. If the learning proceeds sufficiently, an optimized value of weight and / or bias can be obtained.
본 발명의 일 실시예에 따르면, 학습된 신경망 모델 및/또는 학습된 신경망 모델의 파라미터 또는 변수는 학습 장치 및/또는 진단 장치(또는 서버)에 저장될 수 있다. 학습된 신경망 모델은 진단 장치 및/또는 클라이언트 장치 등에 의하여 진단 보조 정보의 예측에 이용될 수 있다. 또한 학습된 신경망 모델의 파라미터 또는 변수는 진단 장치 또는 클라이언트 장치로부터 획득된 피드백에 의하여 갱신될 수도 있다.According to an embodiment of the present invention, the learned neural network model and / or parameters or variables of the learned neural network model may be stored in the learning apparatus and / or the diagnostic apparatus (or the server). The trained neural network model may be used for prediction of diagnostic assistance information by a diagnostic device and / or a client device. In addition, the parameters or variables of the learned neural network model may be updated by feedback obtained from the diagnostic apparatus or the client apparatus.
1.2.3.7 모델 앙상블(ensemble)1.2.3.7 Model ensemble
본 발명의 일 실시예에 따르면, 하나의 진단 보조 신경망 모델을 학습하는 과정에서, 복수의 서브 모델이 동시에 학습될 수 있다. 복수의 서브 모델은 서로 다른 계층 구조를 가질 수 있다. According to an embodiment of the present invention, a plurality of sub-models may be learned at the same time in the course of learning one diagnostic auxiliary neural network model. The plurality of submodels may have different hierarchical structures.
이때, 본 발명의 일 실시예에 따른 진단 보조 신경망 모델은 복수의 서브 신경망 모델을 조합하여 구현될 수 있다. 다시 말해, 복수의 서브 신경망을 조합하는 앙상블 기법을 이용하여 신경망 모델의 학습을 수행할 수 있다.In this case, the diagnostic assisted neural network model according to an embodiment of the present invention may be implemented by combining a plurality of sub-neural network models. In other words, the neural network model may be trained using an ensemble technique that combines a plurality of sub-neural networks.
앙상블을 형성하여 진단 보조 신경망 모델을 구성할 경우, 다양한 형태의 서브 신경망 모델로부터 예측되는 결과를 종합하여 예측을 수행할 수 있어, 결과 예측의 정확도가 보다 향상될 수 있다.When a diagnostic auxiliary neural network model is formed by forming an ensemble, prediction may be performed by combining the results predicted from various types of sub-neural network models, thereby improving accuracy of the result prediction.
도 14은 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스를 설명하기 위한 블럭도이다. 도 14를 참조하면, 본 발명의 일 실시예에 따른 신경망 모델의 학습 프로세스는, 데이터 세트를 획득(S1011)하고, 획득된 데이터를 이용하여 제1 모델(즉, 제1 신경망 모델) 및 제2 모델(즉, 제2 신경망 모델)을 학습(S1031, S1033)하고, 학습된 제1 신경망 모델 및 제2 신경망 모델을 검증(S1051)하고, 최종 신경망 모델을 결정하고 그 파라미터 또는 변수를 획득(S10721)할 수 있다.14 is a block diagram illustrating a learning process of a neural network model according to an embodiment of the present invention. Referring to FIG. 14, in the training process of the neural network model according to an embodiment of the present invention, a data set is obtained (S1011), and a first model (ie, a first neural network model) and a second are obtained using the acquired data. The model (ie, the second neural network model) is trained (S1031, S1033), the trained first neural network model and the second neural network model are verified (S1051), the final neural network model is determined, and its parameters or variables are obtained (S10721). )can do.
이하에서는, 도 14을 참조하여, 신경망 모델의 학습 프로세스에 대하여 몇몇 실시예를 들어 설명한다.Hereinafter, with reference to FIG. 14, some embodiments of the neural network model learning process will be described.
본 발명의 일 실시예에 따르면 복수의 서브 신경망 모델은 동일한 트레이닝 데이터 세트를 획득하고, 개별적으로 출력값을 생성할 수 있다. 이때, 복수의 서브 신경망 모델의 앙상블을 최종 신경망 모델로 결정하고, 복수의 서브 신경망 모델 각각에 대한 파라미터 값이 학습 결과로 얻어질 수 있다. 최종 신경망 모델의 출력값은 각각의 서브 신경망 모델에 의한 출력값의 평균값으로 정해질 수 있다. 또는, 최종 신경망 모델의 출력값은 각각의 서브 신경망 모델 각각에 대한 검증 결과 얻어진 정확도를 고려하여, 각각의 서브 신경망 모델의 출력값에 대한 가중 평균값으로 정해질 수 있다.According to an embodiment of the present invention, the plurality of sub-neural network models may acquire the same training data set and generate output values separately. In this case, an ensemble of the plurality of sub-neural network models may be determined as a final neural network model, and parameter values for each of the plurality of sub-neural network models may be obtained as a learning result. The output value of the final neural network model may be determined as an average value of the output values by each sub-neural network model. Alternatively, the output value of the final neural network model may be determined as a weighted average value for the output value of each sub-neural network model in consideration of the accuracy obtained as a result of verification for each sub-neural network model.
보다 구체적인 예로, 신경망 모델이 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 을 포함할 때, 기계 학습에 의하여 제1 서브 신경망 모델에 대한 최적화된 파라미터 값 및 제2 서브 신경망 모델의 최적화된 파라미터 값을 획득할 수 있다. 이때, 제1 서브 신경망 모델 및 제2 서브 신경망 모델로부터 각각 획득되는 출력값(예컨대, 특정 진단 보조 정보에 대한 확률 값)들에 대한 평균값을 최종 신경망 모델의 출력값으로 결정할 수 있다.More specifically, when the neural network model includes the first sub-neural network model and the second sub-neural network model, the optimized parameter value for the first sub-neural network model and the optimized parameter value of the second sub-neural network model by machine learning Can be obtained. In this case, an average value of output values (for example, probability values for specific diagnostic assistance information) obtained from the first sub-neural network model and the second sub-neural network model may be determined as the output value of the final neural network model.
본 발명의 다른 일 실시예에 따르면, 복수의 서브 신경망 모델 각각에 의한 출력값에 기초하여 개별 서브 신경망 모델의 정확도를 평가할 수 있다. 이때, 정확도에 기초하여 복수의 서브 신경망 모델 중 어느 하나의 모델을 선택하여 최종 서브 신경망 모델로 결정할 수 있다. 결정된 서브 신경망 모델의 구조 및 학습 결과 얻어진 결정된 서브 신경망 모델의 파라미터 값들은 저장될 수 있다.According to another embodiment of the present invention, the accuracy of the individual sub-neural network models may be evaluated based on output values of each of the plurality of sub-neural network models. At this time, one of the plurality of sub-neural network models may be selected and determined as the final sub-neural network model based on the accuracy. The structure of the determined sub neural network model and the parameter values of the determined sub neural network model obtained as a result of the training may be stored.
보다 구체적인 예로, 신경망 모델이 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 을 포함할 때, 제1 서브 신경망 모델 및 제2 서브 신경망 모델 각각에 따른 정확도를 획득하고, 보다 정확한 서브 신경망 모델을 최종 신경망 모델로 결정할 수 있다.As a more specific example, when the neural network model includes a first sub-neural network model and a second sub-neural network model, accuracy is obtained according to each of the first and second sub-neural network models, and a more accurate sub-neural network model is obtained. This can be determined by a neural network model.
본 발명의 또 다른 일 실시예에 따르면, 복수의 신경망 모델 중 적어도 하나의 서브 신경망을 조합하고, 조합된 적어도 하나의 서브 신경망 모델의 앙상블을 형성하고, 각각의 앙상블에 대하여 평가하되, 복수의 앙상블 중 정확도가 높은 앙상블을 형성하는 서브 신경망 모델의 조합을 최종 신경망 모델로 결정할 수 있다. 이때, 복수의 서브 신경망 모델 중 적어도 하나를 선택하는 가능한 모든 경우의 수에 대하여 앙상블을 수행하고, 가장 정확도가 높은 것으로 평가된 서브 신경망 조합을 최종 신경망 모델로 결정할 수도 있다.According to another embodiment of the present invention, combining at least one sub-neural network among a plurality of neural network models, forming an ensemble of the combined at least one sub-neural network model, evaluating each ensemble, The combination of sub-neural network models forming a highly accurate ensemble can be determined as the final neural network model. In this case, the ensemble may be performed for all possible cases of selecting at least one of the plurality of sub-neural network models, and the sub-neural network combination evaluated as the highest accuracy may be determined as the final neural network model.
보다 구체적인 예로, 신경망 모델이 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 을 포함할 때, 제1 서브 신경망 모델의 정확도, 제2 서브 신경망 모델의 정확도 및 제1 및 제2 서브 신경망 모델의 앙상블에 의한 정확도를 비교하고, 가장 정확한 경우의 서브 신경망 모델 구성을 최종 신경망 모델로 결정할 수 있다.As a more specific example, when the neural network model includes a first sub-neural network model and a second sub-neural network model, the accuracy of the first sub-neural network model, the accuracy of the second sub-neural network model and the ensemble of the first and second sub-neural network models By comparing the accuracy by and the sub-neural network model configuration of the most accurate case can be determined as the final neural network model.
1.2.4 실시예 1 - 학습 장치의 제어 방법.1.2.4 Example 1-Method of Control of Learning Device.
도 15는 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다. 15 is a diagram for describing a method of controlling a learning apparatus, according to an exemplary embodiment.
도 15를 참조하면, 본 발명의 일 실시예에 따른 학습 장치의 제어 방법은 제1 안저 이미지의 전처리를 수행하는 단계(S110), 전처리된 제1 안저 이미지를 직렬화하는 단계(S130), 제1 신경망 모델을 학습시키는 단계(S150)를 포함할 수 있다.Referring to FIG. 15, in the method of controlling a learning apparatus according to an embodiment of the present disclosure, performing preprocessing of the first fundus image (S110), serializing the preprocessed first fundus image (S130), and first Training of the neural network model (S150) may be included.
본 발명의 일 실시예에 따른 학습 장치의 제어 방법은 복수의 안저 이미지를 포함하는 제1 트레이닝 데이터 세트를 획득하고, 제1 트레이닝 데이터 세트에 포함된 안저 이미지를 가공하고, 제1 트레이닝 데이터 세트를 이용하여, 제1 신경망 모델을 학습시키는 학습 장치, 진단 보조 정보를 획득하기 위한 대상 안저 이미지를 획득하고, 학습된 제1 신경망 모델을 이용하여 대상 안저 이미지에 기초하여 진단 보조 정보를 획득하는 진단 장치를 포함하는 시스템에 포함되는 학습 장치의 제어 방법일 수 있다.According to an embodiment of the present disclosure, a method of controlling a learning apparatus may include obtaining a first training data set including a plurality of fundus images, processing a fundus image included in the first training data set, and processing the first training data set. A training device for learning the first neural network model, a target fundus image for obtaining diagnostic assistance information, and a diagnostic device for obtaining diagnostic assistance information based on the target fundus image using the trained first neural network model It may be a control method of a learning apparatus included in a system including a.
제1 안저 이미지의 전처리를 수행하는 단계(S110)는 제1 트레이닝 데이터 세트에 포함된 제1 안저 이미지가 제1 신경망 모델의 학습에 적절한 형태로 변환되도록 제1 안저 이미지의 전처리를 수행하는 것을 더 포함할 수 있다. Performing preprocessing of the first fundus image (S110) may further include performing preprocessing of the first fundus image such that the first fundus image included in the first training data set is converted into a form suitable for learning of the first neural network model. It may include.
본 발명의 일 실시예에 따른 학습 장치의 제어 방법은, 전처리된 제1 안저 이미지를 직렬화하는 단계(S130)를 포함할 수 있다. 제1 안저 이미지는 신경망 모델의 학습에 용이한 형태로 직렬화될 수 있다.The control method of the learning apparatus according to an embodiment of the present invention may include serializing the preprocessed first fundus image (S130). The first fundus image may be serialized in a form that is easy for learning of the neural network model.
이때, 제1 신경망 모델을 학습시키는 단계(S150)는 직렬화된 제1 안저 이미지를 이용하여, 대상 안저 이미지를 제1 라벨 또는 제2 라벨로 분류하는 제1 신경망 모델을 학습시키는 것을 더 포함할 수 있다.In this case, the training of the first neural network model (S150) may further include training the first neural network model classifying the target fundus image into the first label or the second label by using the serialized first fundus image. have.
학습 장치는 복수의 안저 이미지를 포함하고 제1 트레이닝 데이터 세트와 적어도 일부 상이한 제2 트레이닝 데이터 세트를 획득하고, 제2 트레이닝 데이터 세트를 이용하여, 제2 신경망 모델을 학습시킬 수 있다.The learning apparatus may include a plurality of fundus images and obtain a second training data set that is at least partially different from the first training data set, and train the second neural network model using the second training data set.
본 발명의 일 실시예에 따르면, 학습 장치의 제어 방법은 제2 트레이닝 세트에 포함된 제2 안저 이미지가 제2 신경망 모델의 학습에 적합하도록 제2 안저 이미지의 전처리를 수행하는 단계, 전처리된 제2 안저 이미지를 직렬화하는 단계 및 직렬화된 제2 안저 이미지를 이용하여, 대상 안저 이미지를 제3 라벨 또는 제4 라벨로 분류하는 제2 신경망 모델을 학습시키는 단계를 더 포함할 수 있다.According to an embodiment of the present invention, a method of controlling a learning apparatus may include performing preprocessing of a second fundus image such that a second fundus image included in a second training set is suitable for learning a second neural network model. Serializing the two fundus images and using the serialized second fundus image, training a second neural network model that classifies the subject fundus image into a third label or a fourth label.
도 16은 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다. 도 16을 참조하면, 본 발명의 일 실시예에 따른 학습 장치의 제어 방법은 제2 안저 이미지의 전처리를 수행하는 단계(S210), 전처리된 제2 안저 이미지를 직렬화하는 단계(S230), 제2 신경망 모델을 학습시키는 단계(S250)를 포함할 수 있다.16 is a diagram for describing a method of controlling a learning apparatus, according to an exemplary embodiment. Referring to FIG. 16, in the method of controlling a learning apparatus according to an embodiment of the present disclosure, performing a preprocessing of a second fundus image (S210), serializing a preprocessed second fundus image (S230), and a second method Training of the neural network model (S250) may be included.
도 16에서는 설명의 편의를 위하여, 제1 안저 이미지의 전처리, 제1 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습에 이어서 제1 안저 이미지의 전처리, 제2 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습에 이어서 수행되는 것으로 묘사하였으나, 본 발명의 내용이 이에 한정되는 것은 아니다.In FIG. 16, for convenience of description, preprocessing of the first fundus image, serialization of the first fundus image, and learning using the first fundus image, followed by preprocessing of the first fundus image, serialization of the second fundus image, and first fundus image Although described as being performed following learning with, the content of the present invention is not limited thereto.
제2 트레이닝 세트에 포함된 제2 안저 이미지의 전처리, 및 제2 안저 이미지의 직렬화 및 제2 안저 이미지를 이용한 학습은, 전술한 제1 안저 이미지의 전처리, 제1 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습과 독립적으로 수행될 수 있다. 제2 트레이닝 세트에 포함된 제2 안저 이미지의 전처리, 및 제2 안저 이미지의 직렬화 및 제2 안저 이미지를 이용한 학습은, 전술한 제1 안저 이미지의 전처리, 제1 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습과 병렬적으로 수행될 수 있다. 다시 말해, 제2 트레이닝 세트에 포함된 제2 안저 이미지의 전처리, 및 제2 안저 이미지의 직렬화 및 제2 안저 이미지를 이용한 학습은, 반드시 전술한 제1 안저 이미지의 전처리, 제1 안저 이미지의 직렬화 및 제1 안저 이미지를 이용한 학습 이후에 이루어지거나, 이전에 이루어져야 하는 것은 아니며, 제1 안저 이미지에 대한 처리 및 제2 안저 이미지에 대한 처리는 상호 의존관계 없이 수행될 수 있다.Preprocessing of the second fundus image included in the second training set, and serializing the second fundus image and learning using the second fundus image, include the above-described preprocessing of the first fundus image, serialization of the first fundus image, and first fundus. It can be performed independently of learning using images. Preprocessing of the second fundus image included in the second training set, and serializing the second fundus image and learning using the second fundus image, include the above-described preprocessing of the first fundus image, serialization of the first fundus image, and first fundus. It can be performed in parallel with learning using images. In other words, the preprocessing of the second fundus image included in the second training set, and the serialization of the second fundus image and the learning using the second fundus image must be the preprocessing of the first fundus image described above and the serialization of the first fundus image. And after the learning using the first fundus image, or not previously performed, the processing on the first fundus image and the processing on the second fundus image may be performed without mutual dependence.
제1 트레이닝 데이터 세트에 포함된 안저 이미지에 대하여 수행되는 제1 전처리는 제2 트레이닝 데이터 세트에 포함된 안저 이미지에 대하여 수행되는 제2 전처리와 구별될 수 있다. 예컨대, 제1 전처리는 혈관 강조 전처리이고, 제2 전처리는 색상 변조 전처리일 수 있다. 각 전처리는 각 신경망 모델을 통하여 획득하고자 하는 진단 보조 정보를 고려하여 결정될 수 있다.The first preprocessing performed on the fundus image included in the first training data set may be distinguished from the second preprocessing performed on the fundus image included in the second training data set. For example, the first pretreatment may be vascular emphasis pretreatment, and the second pretreatment may be color modulation pretreatment. Each preprocessing may be determined in consideration of diagnostic assistance information to be obtained through each neural network model.
본 발명의 일 실시예에 따른 학습 장치의 제어 방법은, 제1 트레이닝 데이터 세트와 적어도 일부 구별되는 제1 검증 데이터 세트를 이용하여, 학습된 제1 신경망 모델의 정확도(accuracy)를 평가하여, 제1 신경망 모델을 검증하는 단계 및 제2 트레이닝 데이터 세트와 적어도 일부 구별되는 제2 검증 데이터 세트를 이용하여, 학습된 제1 신경망 모델의 정확도(accuracy)를 평가하여, 제2 신경망 모델을 검증하는 단계를 더 포함할 수 있다. 이때, 제1 신경망 모델의 및 제2 신경망 모델의 검증은 독립적으로 수행될 수 있다.The control method of the learning apparatus according to an embodiment of the present invention may evaluate the accuracy of the trained first neural network model by using a first verification data set that is at least partially distinguished from the first training data set. Verifying the second neural network model by evaluating the accuracy of the trained first neural network model using a second verification data set that is at least partially distinct from the second training data set It may further include. At this time, the verification of the first neural network model and the second neural network model may be performed independently.
직렬화된 제1 안저 이미지는 제1 큐에 순차적으로 저장되고, 제1 큐에 저장된 직렬화된 안저 이미지는 제1 큐로부터 미리 정해진 용량 단위로 제1 신경망 모델의 학습에 이용되고, 직렬화된 제2 안저 이미지는 제1 큐와 구별되는 제2 큐에 순차적으로 저장되고, 제2 큐에 저장된 직렬화된 안저 이미지는 제2 큐로부터 미리 정해진 용량 단위로 제1 신경망 모델의 학습에 이용될 수 있다.The serialized first fundus image is sequentially stored in the first cue, and the serialized fundus image stored in the first cue is used to train the first neural network model in a predetermined capacity unit from the first cue, and the serialized second fundus The images are sequentially stored in a second queue that is distinct from the first queue, and the serialized fundus images stored in the second queue may be used for learning the first neural network model in units of predetermined capacity from the second queue.
제1 신경망 모델은 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 포함할 수 있다. 이때, 대상 안저 이미지를 제1 라벨 또는 제2 라벨로 분류하는 것은 제1 서브 신경망 모델에 의해 예측되는 제1 예측값 및 제2 서브 신경망 모델에 의해 예측되는 제2 예측값을 함께 고려하여 수행될 수 있다.The first neural network model may include a first sub neural network model and a second sub neural network model. In this case, classifying the target fundus image into the first label or the second label may be performed by considering the first prediction value predicted by the first sub-neural network model and the second prediction value predicted by the second sub-neural network model. .
제2 신경망 모델은 제3 서브 신경망 모델 및 제4 서브 신경망 모델을 포함할 수 있다. 이때, 대상 안저 이미지를 제3 라벨 또는 제4 라벨로 분류하는 것은 제3 서브 신경망 모델에 의해 예측되는 제3 예측값 및 제4 서브 신경망 모델에 의해 예측되는 제4 예측값을 함께 고려하여 수행될 수 있다.The second neural network model may include a third sub neural network model and a fourth sub neural network model. In this case, classifying the target fundus image into the third label or the fourth label may be performed by considering the third prediction value predicted by the third sub-neural network model and the fourth prediction value predicted by the fourth sub-neural network model. .
제1 트레이닝 데이터 세트는 제1 라벨로 라벨링된 안저 이미지를 적어도 일부 포함하고, 제2 트레이닝 데이터 세트는 제3 라벨로 라벨링된 안저 이미지를 적어도 일부 포함할 수 있다. 이때, 제1 라벨로 라벨링된 안저 이미지 및 제3 라벨로 라벨링된 적어도 일부의 안저 이미지는 일부 공통될 수 있다.The first training data set may include at least a portion of the fundus image labeled with the first label, and the second training data set may include at least a portion of the fundus image labeled with the third label. In this case, the fundus image labeled with the first label and the at least some fundus image labeled with the third label may be partially common.
제1 라벨은 대상 안저 이미지에 대응되는 피검체가 제1 소견에 대하여 정상임을 지시하는 정상 라벨이고, 제2 라벨은 피검체가 상긴 제2 소견에 대하여 비정상임을 지시하는 비정상 라벨일 수 있다.The first label may be a normal label indicating that the subject corresponding to the subject fundus image is normal with respect to the first finding, and the second label may be an abnormal label indicating that the subject is abnormal with respect to the second finding.
제1 안저 이미지의 전처리를 수행하는 단계는, 제1 안저 이미지가 기준 종횡비를 만족하도록 크롭하고, 제1 안저 이미지의 사이즈를 변경하는 것을 포함할 수 있다.Performing preprocessing of the first fundus image may include cropping the first fundus image to satisfy a reference aspect ratio and changing the size of the first fundus image.
제1 안저 이미지의 전처리를 수행하는 단계는, 가공부가 제1 안저 이미지에 포함된 혈관이 강조되도록 안저 이미지에 혈관 강조 필터를 적용하는 것을 더 포함할 수 있다.The performing of the pretreatment of the first fundus image may further include applying a blood vessel emphasis filter to the fundus image such that the processing unit highlights blood vessels included in the first fundus image.
직렬화된 제1 안저 이미지는 큐에 순차적으로 저장되고, 큐에 저장된 직렬화된 제1 안저 이미지는 큐로부터 미리 정해진 용량 단위로 제1 신경망 모델의 학습에 이용될 수 있다. 큐는 제1 학습에 이용되지 않은 직렬화된 제1 안저 이미지가 기준 용량 이하로 감소하면 직렬화된 제1 안저 이미지의 보충을 요청할 수 있다. The serialized first fundus image is sequentially stored in the queue, and the serialized first fundus image stored in the queue may be used for learning the first neural network model in a predetermined capacity unit from the queue. The cue may request replenishment of the serialized first fundus image if the serialized first fundus image not used for the first training is reduced below the reference dose.
제1 소견은 망막 출혈 소견, 망막 삼출물 발생 소견, 수정체 혼탁 소견, 당뇨 망막증 소견 중 어느 하나일 수 있다.The first finding may be any one of retinal bleeding findings, retinal exudation findings, lens clouding findings, and diabetic retinopathy findings.
도 17은 본 발명의 일 실시예에 따른 학습 장치의 제어 방법을 설명하기 위한 도면이다. 17 is a diagram for describing a method of controlling a learning apparatus, according to an exemplary embodiment.
도 17을 참조하면, 본 발명의 일 실시예에 따른 학습 장치의 제어 방법은 제1 신경망 모델을 검증하는 단계(S170) 및 제1 신경망 모델을 갱신하는 단계(S190)를 더 포함할 수 있다.Referring to FIG. 17, the control method of the learning apparatus according to an embodiment of the present invention may further include verifying the first neural network model (S170) and updating the first neural network model (S190).
제1 신경망 모델을 검증하는 단계(S170)는 제1 트레이닝 데이터 세트와 적어도 일부 구별되는 제1 검증 데이터 세트를 이용하여, 학습된 제1 신경망 모델의 정확도(accuracy)를 평가하여 1 신경망 모델을 검증하는 것을 더 포함할 수 있다.Validating the first neural network model (S170) may verify the first neural network model by evaluating the accuracy of the trained first neural network model using the first verification data set that is at least partially distinguished from the first training data set. It may further include doing.
제1 신경망 모델을 갱신하는 단계(S190), 제1 신경망 모델을 검증하는 단계(S170)로부터 얻어진 검증 결과를 반영하여, 제1 신경망 모델을 갱신하는 단계를 더 포함할 수 있다.The method may further include updating the first neural network model by reflecting the verification result obtained from updating the first neural network model (S190) and validating the first neural network model (S170).
한편, 제1 신경망 모델은 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 포함할 수 있다. 이때, 제1 신경망 모델을 학습시키는 단계는 제1 검증 데이터 세트를 이용하여 제1 서브 신경망 모델을 검증하여 제1 서브 신경망 모델의 정확도를 획득하고, 제1 검증 데이터 세트를 이용하여 제2 서브 신경망 모델을 검증하여 제2 서브 신경망 모델의 정확도를 획득하고, 제1 서브 신경망 모델의 정확도 및 제2 서브 신경망 모델의 정확도를 비교하여 보다 정확한 서브 신경망 모델을 최종 신경망 모델로 결정하는 것을 포함할 수 있다.Meanwhile, the first neural network model may include a first sub neural network model and a second sub neural network model. In this case, the training of the first neural network model may include verifying the first sub-neural network model using the first verification data set to obtain an accuracy of the first sub-neural network model, and using the first verification data set. Verifying the model to obtain an accuracy of the second sub-neural network model, and comparing the accuracy of the first sub-neural network model and the accuracy of the second sub-neural network model to determine a more accurate sub-neural network model as the final neural network model. .
1.3 진단 보조 프로세스1.3 Diagnostic Assistant Process
본 발명의 일 실시예에 따르면, 신경망 모델을 이용하여 진단 보조 정보를 획득하는 진단 보조 프로세스(또는 진단 프로세스)가 제공될 수 있다. 구체적인 예로, 진단 보조 프로세스에 의하여, 안저 이미지를 이용하고 학습된 진단 보조 신경망 모델을 통하여 진단 보조 정보(예컨대, 진단 정보 또는 소견 정보)가 예측될 수 있다. According to an embodiment of the present invention, a diagnostic assistance process (or diagnostic process) for acquiring diagnostic assistance information using a neural network model may be provided. As a specific example, by the diagnostic assistant process, diagnostic assistant information (eg, diagnostic information or findings information) may be predicted using a fundus image and trained diagnostic assistant neural network model.
이하에서 설명하는 진단 보조 프로세스는 진단 장치에 의하여 수행될 수 있다. The diagnostic assistance process described below may be performed by a diagnostic apparatus.
1.3.1 진단부1.3.1 Diagnostic department
본 발명의 일 실시예에 따르면, 진단 프로세스는 진단부(200)에 의해 수행될 수 있다. 진단부(200)는 전술한 진단 장치 내에 마련될 수 있다. According to an embodiment of the present invention, the diagnostic process may be performed by the
도 18은 본 발명의 일 실시예에 따른 진단부(200)의 구성을 설명하기 위한 도면이다. 도 18을 참조하면, 진단부(200)는 진단 요청 획득 모듈(210), 데이터 가공 모듈(230), 진단 모듈(250) 및 출력 모듈(270)을 포함할 수 있다. 18 is a view for explaining the configuration of the
각각의 모듈은 후술하는 바와 같이 데이터 가공 프로세스 및 학습 프로세스의 개별 단계들을 수행할 수 있다. 다만 도 16에서 설명하는 구성 요소들 및 각 요소들이 수행하는 기능이 모두 필수적인 것은 아니며, 진단의 양태에 따라 일부 요소가 추가되거나 일부 요소가 생략될 수 있다.Each module may perform separate steps of the data processing process and the learning process as described below. However, not all of the components described in FIG. 16 and the functions performed by each of the elements are essential, and some elements may be added or some elements may be omitted depending on the aspect of diagnosis.
1.3.2 데이터 획득 및 진단 요청1.3.2 Data Acquisition and Diagnostic Requests
본 발명의 일 실시예에 따른 진단 장치는 진단 대상 데이터를 획득하고, 이에 기초하여 진단 보조 정보를 획득할 수 있다. 진단 대상 데이터는 이미지 데이터일 수 있다. 전술한 진단부의 진단 요청 획득 모듈에 의하여 데이터 획득 및 진단 요청의 획득이 수행될 수 있다.The diagnostic apparatus according to an embodiment of the present invention may obtain diagnostic target data and obtain diagnostic assistance information based on the diagnostic target data. The diagnosis target data may be image data. The data acquisition and the acquisition of the diagnosis request may be performed by the above-described diagnosis request acquisition module of the diagnosis unit.
도 19는 본 발명의 일 예에 따른 진단 대상 데이터(TD)를 설명하기 위한 도면이다. 도 19를 참조하면, 진단 대상 데이터(TD)는 진단 대상 이미지(TI) 및 진단 대상 객체 정보(PI; patient information)를 포함할 수 있다. 19 is a diagram for describing diagnosis target data TD according to an exemplary embodiment of the present invention. Referring to FIG. 19, the diagnosis target data TD may include a diagnosis target image TI and diagnosis object information PI.
진단 대상 이미지(TI)는 진단 대상 객체에 대한 진단 보조 정보를 획득하기 위한 이미지일 수 있다. 예컨대, 진단 대상 이미지는 안저 이미지일 수 있다. 진단 대상 (TI)JPG, PNG, DCM(DICOM), BMP, GIF, TIFF 중 어느 하나의 포맷을 가질 수 있다.The diagnosis target image TI may be an image for obtaining diagnosis assistance information on the diagnosis target object. For example, the diagnosis target image may be a fundus image. The diagnostic target (TI) JPG, PNG, DCM (DICOM), BMP, GIF, can be any one of the formats of TIFF.
진단 객체 정보(PI)는 진단 대상 객체를 식별하기 위한 정보일 수 있다. 또는, 진단 객체 정보(PI)는 진단 대상 객체 또는 이미지의 특성 정보일 수 있다. 예컨대, 진단 객체 정보(PI)는 진단 대상 이미지의 촬상 일시, 촬영 장비, 진단 대상 피검체의 식별 번호, ID, 성명, 성별, 나이 또는 몸무게 등의 정보를 포함할 수 있다. 진단 대상 이미지가 안저 이미지인 경우, 진단 객체 정보(PI)는 좌안인지 우안인지를 나타내는 양안 정보 등의 안구 관련 정보를 더 포함할 수 있다.The diagnostic object information PI may be information for identifying a diagnosis object. Alternatively, the diagnostic object information PI may be characteristic information of a diagnostic object or an image. For example, the diagnostic object information PI may include information such as a date and time of imaging the diagnosis target image, photographing equipment, an identification number of the subject to be diagnosed, an ID, a name, a gender, an age, or a weight. When the diagnosis target image is a fundus image, the diagnostic object information PI may further include eye related information such as binocular information indicating whether the left eye is the right eye.
진단 장치는 진단 요청을 획득할 수 있다. 진단 장치는 진단 요청과 함께 진단 대상 데이터를 획득할 수 있다. 진단 장치는 진단 요청이 획득되면, 학습된 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다. 진단 장치는 클라이언트 장치로부터 진단 요청을 획득할 수 있다. 또는, 진단 장치는 별도로 마련된 입력 수단을 통하여 사용자로부터 진단 요청을 획득할 수 있다.The diagnostic device may obtain a diagnostic request. The diagnostic apparatus may acquire the diagnosis target data together with the diagnosis request. When the diagnostic request is obtained, the diagnostic apparatus may acquire diagnostic assistance information using the trained diagnostic assistance neural network model. The diagnostic device may obtain a diagnostic request from the client device. Alternatively, the diagnostic apparatus may obtain a diagnostic request from a user through an input means provided separately.
1.3.3 데이터 가공 프로세스1.3.3 Data processing process
획득된 데이터는 가공될 수 있다. 데이터의 가공은 전술한 진단부의 데이터 가공 모듈에 의하여 수행될 수 있다.The obtained data can be processed. Processing of the data may be performed by the data processing module of the above-described diagnostic unit.
데이터 가공 프로세스는 일반적으로, 전술한 학습 프로세스에서의 데이터 가공 프로세스와 유사하게 수행될 수 있다. 이하에서는, 학습 프로세스에서의 데이터 가공 프로세스와의 차이점을 중심으로, 진단 프로세스에서의 데이터 가공 프로세스에 대하여 설명한다.The data processing process may generally be performed similarly to the data processing process in the aforementioned learning process. Hereinafter, the data processing process in a diagnostic process is demonstrated centering on the difference with the data processing process in a learning process.
진단 프로세스에서, 진단 장치는 학습 프로세스에서와 마찬가지로 데이터를 획득할 수 있다. 이때, 획득되는 데이터는 학습 프로세스에서 획득되는 데이터와 동일한 형식일 수 있다. 예를 들어, 학습 프로세스에서 학습 장치가 DCM 형식의 이미지 데이터를 이용하여 진단 보조 신경망 모델을 학습시킨 경우, 진단 장치는 DCM 이미지를 획득하고 학습된 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다.In the diagnostic process, the diagnostic device may acquire data as in the learning process. In this case, the obtained data may be in the same format as the data obtained in the learning process. For example, in the learning process, when the learning apparatus trains the diagnostic assistance neural network model using the image data in DCM format, the diagnostic apparatus may acquire the DCM image and obtain the diagnosis assistance information using the trained neural network model. .
진단 프로세스에서, 획득된 진단 대상 이미지는 학습 프로세스에서 이용된 이미지 데이터와 유사하게, 리사이징될 수 있다. 진단 대상 이미지는, 학습된 진단 보조 신경망 모델을 통한 진단 보조 정보 예측을 효율적으로 수행하기 위하여, 적절한 용량, 크기 및/또는 종횡비를 가지도록 그 형태가 조정될 수 있다. In the diagnostic process, the acquired diagnosis subject image may be resized, similar to the image data used in the learning process. The image to be diagnosed may be shaped to have an appropriate dose, size, and / or aspect ratio in order to efficiently perform diagnostic assistance information prediction through the trained diagnostic assistance neural network model.
예를 들어, 진단 대상 이미지가 안저 이미지인 경우, 안저 이미지에 기초한 진단 정보의 예측을 위하여, 이미지의 불필요한 부분을 크롭하거나, 그 사이즈를 축소하는 등의 리사이징이 수행될 수 있다.For example, when the diagnosis target image is a fundus image, resizing such as cropping an unnecessary portion of the image or reducing its size may be performed to predict diagnosis information based on the fundus image.
진단 프로세스에서, 획득된 진단 대상 이미지에는, 학습 프로세스에서 이용된 이미지 데이터와 유사하게, 전처리 필터가 적용될 수 있다. 진단 대상 이미지는, 학습된 진단 보조 신경망 모델을 통한 진단 보조 정보 예측의 정확도가 보다 향상되도록, 적절한 필터가 적용될 수 있다. In the diagnosis process, a preprocessing filter may be applied to the obtained diagnosis target image, similar to the image data used in the learning process. An appropriate filter may be applied to the diagnosis target image so that the accuracy of the prediction of the diagnosis assistance information through the trained diagnosis assistance neural network model is further improved.
예를 들어, 진단 대상 이미지가 안저 이미지인 경우, 정 진단 정보의 예측이 용이하도록 하는 전처리, 예컨대 혈관이 강조되도록 하는 이미지 전처리 또는 특정 색상이 강조되거나 약화되도록 하는 이미지 전처리가 진단 대상 이미지에 적용될 수 있다.For example, if the image to be diagnosed is a fundus image, preprocessing for facilitating prediction of positive diagnostic information, such as image preprocessing for highlighting blood vessels or image preprocessing for highlighting or weakening a specific color, may be applied to the image to be diagnosed. have.
진단 프로세스에서, 획득된 진단 대상 이미지는, 학습 프로세스에서 이용된 이미지 데이터와 유사하게, 직렬화될 수 있다. 진단 대상 이미지는 특정 워크프레임에서의 진단 모델 구동이 용이한 형태로 변환 또는 직렬화 수 있다. In the diagnostic process, the obtained diagnostic subject image may be serialized, similar to the image data used in the learning process. The diagnostic target image may be converted or serialized into a form that facilitates driving a diagnostic model in a specific work frame.
진단 대상 이미지의 직렬화는 생략될 수 있다. 이는, 학습 단계에서와 달리 진단 단계에서는 프로세서가 한번에 처리하는 데이터의 수가 많지 않아, 데이터 처리 속도에 대한 부담이 상대적으로 적기 때문일 수 있다.Serialization of the diagnosis target image may be omitted. This may be because, unlike in the learning stage, the processor does not have a large number of data processed at a time in the diagnostic stage, so that the burden on the data processing speed is relatively small.
진단 프로세스에서, 획득된 진단 대상 이미지는, 학습 프로세스에서 이용된 이미지 데이터와 유사하게, 큐에 저장될 수 있다. 다만, 진단 프로세스에서는 처리 데이터 수가 학습 프로세스에 비하여 적으므로, 데이터를 큐에 저장하는 단계는 생략될 수도 있다.In the diagnosis process, the acquired diagnosis subject image may be stored in a queue, similar to the image data used in the learning process. However, in the diagnostic process, since the number of processed data is smaller than that of the learning process, the step of storing the data in the queue may be omitted.
한편, 진단 프로세스에서는, 데이터 수의 증가가 요구되지 않으므로, 정확한 진단 보조 정보의 획득을 위하여, 학습 프로세스와 달리 데이터 증강 또는 이미지 증강 절차는 이용하지 않음이 바람직할 것이다.On the other hand, in the diagnostic process, since an increase in the number of data is not required, it may be desirable not to use the data enhancement or image enhancement procedure unlike the learning process in order to obtain accurate diagnosis assistance information.
1.3.4 진단 프로세스1.3.4 Diagnostic process
본 발명의 일 실시예에 따르면, 학습된 신경망 모델을 이용한 진단 프로세스가 개시될 수 있다. 진단 프로세스는 전술한 진단 장치에서 수행될 수 있다. 진단 프로세스는 전술한 진단 서버에서 수행될 수 있다. 진단 프로세스는 전술한 진단 장치의 제어부에서 수행될 수 있다. 진단 프로세스는 전술한 진단부의 진단 모듈에 의하여 수행될 수 있다.According to one embodiment of the invention, a diagnostic process using a trained neural network model can be initiated. The diagnostic process can be performed in the above-described diagnostic apparatus. The diagnostic process can be performed at the aforementioned diagnostic server. The diagnostic process may be performed by the controller of the above-described diagnostic apparatus. The diagnostic process may be performed by the diagnostic module of the above-described diagnostic unit.
도 20은 본 발명의 일 실시예에 따른 진단 프로세스를 설명하기 위한 도면이다. 도 20을 참조하면, 진단 프로세스는 진단 대상 데이터를 획득(S2010)하고, 학습된 신경망 모델을 이용하여(S2030), 획득된 진단 대상 데이터에 대응되는 결과를 획득하여 수행(S2050)될 수 있다. 다만, 데이터의 가공은 선택적으로 수행될 수 있다. 20 is a diagram for describing a diagnosis process according to an exemplary embodiment. Referring to FIG. 20, the diagnosis process may be performed by obtaining data to be diagnosed (S2010), by using a learned neural network model (S2030), and by obtaining a result corresponding to the obtained diagnosis target data (S2050). However, processing of the data may be selectively performed.
이하에서는 도 20을 참조하여, 진단 프로세스의 각 단계에 대하여 설명한다. Hereinafter, each step of the diagnostic process will be described with reference to FIG. 20.
1.3.4.1 데이터 입력1.3.4.1 Data entry
본 발명의 일 실시예에 따르면, 진단 모듈은 진단 대상 데이터를 획득할 수 있다. 획득된 데이터는, 전술한 바와 같이 가공된 데이터일 수 있다. 일 예로, 획득된 데이터는 사이즈가 조절되고 혈관이 강조되도록 하는 전처리가 적용된 피검자의 안저 이미지 데이터일 수 있다. 본 발명의 일 실시예에 따르면, 하나의 피검자의 좌안 이미지 및 우안 이미지는 함께 진단 대상 데이터로 입력될 수 있다.According to an embodiment of the present invention, the diagnostic module may acquire diagnostic target data. The obtained data may be processed data as described above. For example, the acquired data may be fundus image data of a subject to whom the pre-processing to adjust the size and emphasize the blood vessel is applied. According to an embodiment of the present invention, the left eye image and the right eye image of one subject may be input together as diagnosis target data.
1.3.4.2 데이터 분류1.3.4.2 Data classification
분류기 형태로 마련된 진단 보조 신경망 모델은 입력된 진단 대상 이미지를 소정의 라벨에 대하여 긍정 또는 부정 클래스로 분류할 수 있다. The diagnostic assistance neural network model provided in the classifier form may classify the input diagnosis target image into a positive or negative class for a predetermined label.
학습된 진단 보조 신경망 모델은 진단 대상 데이터를 입력받고, 예측되는 라벨을 출력할 수 있다. 학습된 진단 보조 신경망 모델은 진단 보조 정보의 예측값을 출력할 수 있다. 학습된 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다. 진단 보조 정보는 예측되는 라벨에 기초하여 결정될 수 있다.The trained diagnostic auxiliary neural network model may receive diagnostic target data and output a predicted label. The trained diagnostic assistance neural network model may output a predicted value of the diagnostic assistance information. Diagnostic assistance information may be obtained using the trained diagnostic assistance neural network model. Diagnostic assistance information may be determined based on the predicted label.
예를 들어, 진단 보조 신경망 모델은 피검체의 안질환 또는 전신 질환에 대한 진단 정보(즉, 질병의 유무에 대한 정보) 또는 소견 정보(즉, 이상 소견의 유무에 대한 정보)를 예측할 수 있다. 이때, 진단 정보 또는 소견 정보는 확률 형태로 출력될 수 있다. 예컨대, 피검체가 특정 질병을 보유할 확률 또는 피검체의 안저 이미지체 특정 이상 소견이 있을 확률이 출력될 수 있다. 분류기 형태로 마련된 진단 보조 신경망 모델을 이용하는 경우에, 예측되는 라벨은 출력되는 확률값(또는 예측 점수)이 임계값을 초과하는지 여부를 고려하여 결정될 수 있다.For example, the diagnostic assisted neural network model may predict diagnostic information (ie, information about the presence of a disease) or finding information (ie, information about the presence or absence of abnormalities) of a subject's eye disease or systemic disease. In this case, the diagnostic information or findings may be output in a probability form. For example, the probability that the subject has a specific disease or the probability that there is a specific abnormality of the fundus image of the subject may be output. In the case of using the diagnostic assistance neural network model provided in the classifier form, the predicted label may be determined in consideration of whether the output probability value (or prediction score) exceeds the threshold value.
구체적인 예로, 진단 보조 신경망 모델은 피검체의 안저 사진을 진단 대상 이미지로 하여, 피검체의 당뇨 망막증 유무를 확률값으로 출력할 수 있다. 1을 정상으로 하는 분류기 형태의 진단 보조 신경망 모델을 이용하는 경우, 피검체의 안저 사진을 진단 보조 신경망 모델에 입력하고, 피검체의 당뇨 망막증 보유 여부에 대하여, 정상 : 비정상 의 확률 값을 0.74:0.26 등의 형태로 획득할 수 있다.As a specific example, the diagnosis-assisted neural network model may output the presence or absence of diabetic retinopathy of a subject as a probability value by using the fundus photograph of the subject as a diagnosis target image. In the case of using the diagnostic assistive neural network model of the classifier type having 1 as normal, the fundus photograph of the subject is input to the diagnostic assistive neural network model, and whether the subject has diabetic retinopathy or not has a normal: abnormal probability value of 0.74: 0.26. It can be obtained in the form of.
여기에서는 분류기 형태의 진단 보조 신경망 모델을 이용하여 데이터를 분류하는 경우를 기준으로 설명하였으나, 본 발명이 이에 한정되지는 아니하며, 회귀 모델 형태로 구현된 진단 보조 신경망 모델을 이용하여 특정한 진단 보조 수치(예컨대, 혈압 등)를 예측할 수도 있다.Herein, the data is classified based on a classifier-type diagnostic auxiliary neural network model. However, the present invention is not limited thereto, and specific diagnostic auxiliary values may be defined using the diagnostic auxiliary neural network model implemented as a regression model. For example, blood pressure).
본 발명의 다른 일 실시예에 따르면, 이미지의 적합성 정보가 획득될 수 있다. 적합성 정보는 진단 대상 이미지가 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득하기에 적합한지 여부를 나타낼 수 있다. According to another embodiment of the present invention, suitability information of an image may be obtained. The suitability information may indicate whether the diagnosis target image is suitable for obtaining diagnostic assistance information using the diagnostic assistance neural network model.
이미지의 적합성 정보는 이미지의 품질 정보일 수 있다. 품질 정보 또는 적합성 정보는, 진단 대상 이미지가 기준 레벨에 미치는지 여부를 나타낼 수 있다. The suitability information of the image may be quality information of the image. The quality information or suitability information may indicate whether the diagnosis target image reaches the reference level.
예컨대, 진단 대상 이미지가 촬영 장비의 결함 또는 촬영시 조명의 영향 등으로 인하여 결함을 가지는 경우, 해당 진단 대상 이미지에 대하여는 적합성 정보로서 부적합 결과가 출력될 수 있다. 진단 대상 이미지에 노이즈가 일정 수준 이상 포함된 경우, 그 진단 대상 이미지는 부적합한 것으로 판단될 수 있다.For example, when the diagnosis target image has a defect due to a defect of the photographing equipment or the influence of illumination when the image is taken, a non-conformance result may be output as the suitability information on the diagnosis target image. If the diagnosis target image contains noise more than a certain level, the diagnosis target image may be determined to be inappropriate.
적합성 정보는 신경망 모델을 이용하여 예측된 값일 수 있다. 또는, 적합성 정보는 별도의 이미지 분석 프로세스를 통하여 획득된 정보일 수 있다.The suitability information may be a value predicted using a neural network model. Alternatively, the suitability information may be information obtained through a separate image analysis process.
일 실시예에 따르면, 이미지가 부적합한 것으로 분류된 경우에도, 부적합한 이미지에 기초하여 획득된 진단 보조 정보가 획득될 수 있다.According to an embodiment, even when an image is classified as inappropriate, diagnostic assistance information obtained based on the inappropriate image may be obtained.
일 실시예에 따르면, 부적합한 것으로 분류된 이미지는 진단 보조 신경망 모델에 의하여 재검토될 수 있다.According to one embodiment, the image classified as inappropriate may be reviewed by a diagnostic aid neural network model.
이때, 재검토를 수행하는 진단 보조 신경망 모델은, 최초 검토를 수행하는 진단 보조 신경망 모델과 상이할 수 있다. 예를 들어, 진단 장치는 제1 진단 보조 신경망 모델 및 제2 진단 보조 신경망 모델을 저장하고, 제1 진단 보조 신경망 모델을 통하여 부적합한 것으로 분류된 이미지는 제2 진단 보조 신경망 모델을 통하여 검토될 수 있다.In this case, the diagnostic assistance neural network model for performing the review may be different from the diagnostic assistance neural network model for performing the initial review. For example, the diagnostic apparatus may store the first diagnostic auxiliary neural network model and the second diagnostic auxiliary neural network model, and an image classified as inappropriate through the first diagnostic auxiliary neural network model may be reviewed through the second diagnostic auxiliary neural network model. .
본 발명의 또 다른 일 실시예에 따르면, 학습된 신경망 모델로부터 CAM(Class Activation Map)이 획득될 수 있다. 진단 보조 정보는 CAM을 포함할 수 있다. CAM은 다른 진단 보조 정보와 함께 획득될 수 있다.According to another embodiment of the present invention, a class activation map (CAM) may be obtained from a trained neural network model. Diagnostic assistant information may include CAM. The CAM can be obtained along with other diagnostic assistance information.
CAM의 경우, 선택적으로 획득될 수 있다. 예를 들어, CAM의 경우, 진단 보조 모델에 의하여 획득된 진단 정보 또는 소견 정보가 비정상 클래스로 분류된 경우에 CAM이 추출 및/또는 출력될 수 있다.In the case of a CAM, it may optionally be obtained. For example, in the case of CAM, when the diagnostic information or finding information obtained by the diagnostic assistance model is classified into an abnormal class, the CAM may be extracted and / or output.
1.3.5 진단 보조 정보의 출력1.3.5 Output of diagnostic assistant information
진단 보조 정보는, 진단 보조 신경망 모델로부터 예측된 라벨에 기초하여 결정될 수 있다. Diagnostic assistance information may be determined based on labels predicted from the diagnostic assistance neural network model.
진단 보조 정보의 출력은 전술한 진단부의 출력 모듈에 의하여 수행될 수 있다. 진단 보조 정보는 진단 장치로부터 클라이언트 장치로 출력될 수 있다. 진단 보조 정보는 진단 장치로부터 서버 장치로 출력될 수 있다. 진단 보조 정보는 진단 장치 또는 진단 서버에 저장될 수 있다. 진단 보조 정보는 별도로 마련된 서버 장치 등에 저장될 수 있다.The output of the diagnostic assistance information may be performed by the above-described output module of the diagnostic unit. The diagnostic assistance information may be output from the diagnostic apparatus to the client apparatus. The diagnostic assistance information may be output from the diagnostic apparatus to the server apparatus. The diagnostic assistance information may be stored in a diagnostic device or a diagnostic server. The diagnostic assistance information may be stored in a server device provided separately.
진단 보조 정보는 데이터베이스화 되어 관리될 수 있다. 예컨대, 획득된 진단 보조 정보는 피검체의 식별 번호에 따라 해당 피검체의 진단 대상 이미지와 함께 저장 및 관리될 수 있다. 이때, 피검체의 진단 대상 이미지 및 진단 보조 정보는 시간 순서에 따라 관리될 수 있다. 진단 보조 정보 및 진단 대상 이미지를 시계열적으로 관리함으로써, 개인별 진단 정보의 추적 및 이력 관리가 용이해질 수 있다.Diagnostic assistant information can be managed in a database. For example, the acquired diagnosis assistance information may be stored and managed together with the diagnosis target image of the subject according to the identification number of the subject. In this case, the diagnosis target image and the diagnosis assistance information of the subject may be managed in a time sequence. By managing the diagnosis assistant information and the diagnosis target image in time series, tracking and history management of individual diagnosis information may be facilitated.
진단 보조 정보는 사용자에게 제공될 수 있다. 진단 보조 정보는 진단 장치 또는 클라이언트 장치의 출력 수단을 통하여 사용자에게 제공될 수 있다. 진단 보조 정보는 진단 장치 또는 클라이언트 장치에 마련된 시각적 또는 청각적 출력 수단을 통하여 사용자가 인지할 수 있도록 출력될 수 있다. Diagnostic assistance information may be provided to the user. The diagnostic assistance information may be provided to the user through the output means of the diagnostic apparatus or the client apparatus. The diagnostic assistance information may be output for the user to recognize through visual or audio output means provided in the diagnostic apparatus or the client apparatus.
본 발명의 일 실시예에 따르면, 사용자에게 진단 보조 정보를 효과적으로 제공하기 위한 인터페이스가 제공될 수 있다. 이러한 사용자 인터페이스와 관련하여서는 후술하는 5. 사용자 인터페이스 에서 보다 상세히 설명한다.According to an embodiment of the present invention, an interface for effectively providing diagnostic assistance information to a user may be provided. This user interface will be described in more detail later in 5. User Interface.
신경망 모델에 의하여 CAM이 획득된 경우, CAM의 이미지가 함께 제공될 수 있다. CAM 이미지의 경우 선택적으로 제공될 수 있다. 예컨대, 진단 보조 신경망 모델을 통하여 획득된 진단 정보가 정상 소견 정보 또는 정상 진단 정보인 경우 CAM 이미지를 제공하지 않고, 획득된 진단 정보가 비정상 소견 정보 또는 비정상 진단 정보인 경우, 보다 정확한 임상 진단을 위하여 CAM 이미지가 함께 제공될 수 있다.When the CAM is obtained by the neural network model, an image of the CAM may be provided together. In the case of a CAM image, it may optionally be provided. For example, when the diagnostic information acquired through the diagnosis assisted neural network model is normal finding information or normal diagnostic information, the CAM image is not provided, and when the obtained diagnostic information is abnormal finding information or abnormal diagnostic information, for more accurate clinical diagnosis. CAM images can be provided together.
이미지가 부적합한 것으로 분류된 경우, 이미지의 적합성 정보가 함께 제공될 수 있다. 일 예로, 이미지가 부적합한 것으로 분류된 경우, 해당 이미지에 따라 획득된 진단 보조 정보 및 부적합 판정 정보가 함께 제공될 수 있다. If the image is classified as inappropriate, the suitability information of the image may be provided together. For example, when the image is classified as inappropriate, the diagnostic assistance information and the non-conformance determination information acquired according to the image may be provided together.
부적합한 것으로 판정된 진단 대상 이미지는 재촬영 대상 이미지로 분류될 수도 있다. 이때, 재촬영 대상으로 분류된 이미지의 대상 객체에 대한 재촬영 안내가 적합성 정보와 함께 제공될 수 있다.The diagnosis subject image determined to be inappropriate may be classified as a retake subject image. In this case, the reshooting guide for the target object of the image classified as the reshooting target may be provided together with the suitability information.
한편, 신경망 모델을 통하여 획득된 진단 보조 정보를 제공하는 것에 응답하여, 신경망 모델의 학습과 관련된 피드백이 획득될 수 있다. 예컨대, 신경망 모델의 학습과 관련된 파라미터 또는 하이퍼 파라미터를 조정하기 위한 피드백이 획득될 수 있다. 피드백은 진단 장치 또는 클라이언트 장치에 마련된 사용자 입력부를 통하여 획득될 수 있다.Meanwhile, in response to providing the diagnostic assistance information obtained through the neural network model, feedback related to the learning of the neural network model may be obtained. For example, feedback may be obtained for adjusting parameters or hyperparameters related to training of the neural network model. Feedback may be obtained through a user input provided in the diagnostic apparatus or the client apparatus.
본 발명의 일 실시예에 따르면, 진단 대상 이미지에 대응되는 진단 보조 정보는 등급 정보를 포함할 수 있다. 등급 정보는 복수의 등급 중 선택될 수 있다. 등급 정보는 신경망 모델을 통하여 획득된 진단 정보 및/또는 소견 정보에 기초하여 결정될 수 있다. 등급 정보는 진단 대상 이미지의 적합성 정보 또는 품질 정보를 고려하여 결정될 수 있다. 신경망 모델이 다중 분류를 수행하는 분류기 모델인 경우, 등급 정보는 진단 대상 이미지가 신경망 모델에 의하여 분류된 클래스를 고려하여 결정될 수 있다. 신경망 모델이 특정 질병과 관련된 수치를 출력하는 회귀 모델인 경우, 등급 정보는 출력되는 수치를 고려하여 결정될 수 있다.According to an embodiment of the present invention, the diagnostic assistance information corresponding to the diagnosis target image may include grade information. The grade information may be selected from among a plurality of grades. The grade information may be determined based on diagnostic information and / or finding information obtained through the neural network model. The grade information may be determined in consideration of suitability information or quality information of the diagnosis target image. If the neural network model is a classifier model that performs multiple classifications, the rating information may be determined in consideration of the class of the diagnosis target image classified by the neural network model. If the neural network model is a regression model that outputs a value associated with a particular disease, the grade information may be determined in consideration of the output value.
예를 들어, 진단 대상 이미지에 대응하여 획득된 진단 보조 정보는 제1 등급 정보 또는 제2 등급 정보 중 선택된 어느 하나의 등급 정보를 포함할 수 있다. 등급 정보는, 신경망 모델을 통하여 비정상 소견 정보 또는 비정상 진단 정보가 획득된 경우, 제1 등급 정보로 선택될 수 있다. 등급 정보는 신경망 모델을 통하여 비정상 소견 정보 또는 비정상 진단 정보가 획득되지 않은 경우, 제2 등급 정보로 선택될 수 있다. 또는, 등급 정보는, 신경망 모델을 통하여 획득된 수치가 기준 수치를 초과하는 경우 제1 등급 정보로 선택되고, 획득된 수치가 기준 수치에 못 미치는 경우 제2 등급 정보로 선택될 수도 있다. 제1 등급 정보는 제2 등급 정보에 비하여, 진단 대상 이미지에 강한 비정상 정보가 존재함을 나타낼 수 있다.For example, the diagnostic assistance information acquired corresponding to the diagnosis target image may include any one grade information selected from the first grade information or the second grade information. The grade information may be selected as the first grade information when abnormal finding information or abnormal diagnosis information is obtained through the neural network model. The grade information may be selected as second grade information when abnormal finding information or abnormal diagnosis information is not obtained through the neural network model. Alternatively, the grade information may be selected as the first grade information when the value obtained through the neural network model exceeds the reference value, and may be selected as the second grade information when the value obtained is less than the reference value. The first grade information may indicate that strong abnormality information exists in the diagnosis target image, compared to the second grade information.
한편, 등급 정보는, 이미지 분석 또는 신경망 모델을 이용하여, 진단 대상 이미지의 품질이 기준 이하인 것으로 판단된 경우, 제3 등급 정보로 선택될 수 있다. 혹은, 진단 보조 정보는 제3 등급 정보를 제1 또는 제2 등급 정보와 함께 포함할 수 있다.Meanwhile, the grade information may be selected as the third grade information when it is determined that the quality of the diagnosis target image is lower than a reference by using an image analysis or a neural network model. Alternatively, the diagnostic assistant information may include third grade information together with the first or second grade information.
진단 보조 정보가 제1 등급 정보를 포함하는 경우, 제1 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제1 사용자 안내는, 진단 보조 정보에 대응되는 피검체(즉, 환자)에 대하여 보다 정밀한 검사가 요구됨을 지시할 수 있다. 예컨대, 제1 사용자 안내는 피검체에 대한 2차 진단(예를 들어, 별도의 의료 기관에서의 진단 또는 전원 절차)가 요구됨을 지시할 수 있다. 또는, 제1 사용자 안내는 피검체에 대하여 요구되는 처치를 지시할 수 있다. 구체적인 예로, 진단 보조 정보에 의하여, 피검체의 황반 변성에 대한 비정상 정보가 획득된 경우, 제1 사용자 안내는 피검체에 대한 주사 처방 및 전원 절차에 대한 안내(예를 들어, 전원이 가능한 병원의 리스트)를 포함할 수 있다.When the diagnostic assistance information includes the first grade information, the first user guide may be output through the output means. The first user guide may indicate that a more precise examination is required for the subject (ie, the patient) corresponding to the diagnosis assistance information. For example, the first user guidance may indicate that a secondary diagnosis (eg, a separate medical institution or a power supply procedure) for the subject is required. Alternatively, the first user guide may instruct treatment required for the subject. As a specific example, when abnormal information about macular degeneration of a subject is obtained by the diagnostic assistant information, the first user guide may provide instructions on injection prescription and power supply procedure for the subject (eg, List).
진단 보조 정보가 제2 등급 정보를 포함하는 경우, 제2 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제2 사용자 안내는 진단 보조 정보에 대응되는 피검체에 대한 추후 관리 방안을 포함할 수 있다. 예컨대, 제2 사용자 안내는 피검체의 다음 진료 시기, 다음 진료 과목 등을 지시할 수 있다. When the diagnostic assistance information includes the second grade information, the second user guide may be output through the output means. The second user guide may include a later management method for the subject corresponding to the diagnosis assistance information. For example, the second user guide may indicate a next medical treatment time, a next medical treatment subject, or the like.
진단 대상 정보가 제3 등급 정보를 포함하는 경우, 제3 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제3 사용자 안내는 진단 대상 이미지에 재촬영이 요구됨을 지시할 수 있다. 제3 사용자 안내는 진단 대상 이미지의 품질에 대한 정보를 포함할 수 있다. 예컨대, 제3 사용자 안내는 진단 대상 이미지에 존재하는 흠결의 정보(예컨대, bright artifact 인지 또는 dark artifact 인지, 혹은 그 정도)를 포함할 수 있다.When the diagnosis target information includes the third grade information, the third user guide may be output through the output means. The third user guide may indicate that re-photographing is required for the diagnosis target image. The third user guide may include information about the quality of the diagnosis target image. For example, the third user guide may include information of defects (eg, whether bright artifacts or dark artifacts or the like) present in the diagnosis target image.
1.4 복수 라벨 대한 진단 보조 시스템1.4 Multiple Labels for Diagnostic Aid System
본 발명의 일 실시예에 따르면, 복수 라벨(예컨대, 복수의 진단 보조 정보)에 대하여 예측하기 위한 진단 보조 시스템이 제공될 수 있다. 이를 위하여, 전술한 진단 보조 시스템의 진단 보조 신경망을 복수의 라벨에 대하여 예측하도록 설계할 수 있다.According to an embodiment of the present invention, a diagnostic assistance system for predicting a plurality of labels (eg, a plurality of diagnostic assistance information) may be provided. To this end, the diagnostic assistance neural network of the aforementioned diagnostic assistance system may be designed to predict a plurality of labels.
또는, 위와 전술한 진단 보조 시스템에 있어서, 서로 다른 라벨에 대하여 예측하는 복수의 진단 보조 신경망이 병렬적으로 이용될 수 있다. 이하에서는, 이러한 병렬 진단 보조 시스템에 대하여 설명한다.Alternatively, in the above-described diagnostic assistance system, a plurality of diagnostic assistance neural networks that predict different labels may be used in parallel. Hereinafter, such a parallel diagnostic assistance system will be described.
1.4.1 병렬 진단 보조 시스템 구성1.4.1 Parallel Diagnostic Assist System Configuration
본 발명의 일 실시예에 따르면, 복수의 진단 보조 정보를 획득하기 위한 병렬 진단 보조 시스템이 제공될 수 있다. 병렬 진단 보조 시스템은 복수의 진단 보조 정보를 획득하기 위한 복수의 신경망 모델을 학습시키고, 학습된 복수의 신경망 모델을 이용하여 복수의 진단 보조 정보를 획득할 수 있다. According to an embodiment of the present invention, a parallel diagnostic assistance system for acquiring a plurality of diagnostic assistance information may be provided. The parallel diagnostic assistance system may learn a plurality of neural network models for acquiring a plurality of diagnostic assistance information, and obtain a plurality of diagnostic assistance information using the trained plurality of neural network models.
예컨대, 병렬 진단 보조 시스템은 안저 이미지에 기초하여, 피검체의 안질환 유무와 관련된 제1 진단 보조 정보를 획득하는 제1 신경망 모델 및 피검체의 전신 질환 유무와 관련된 제2 진단 보조 정보를 획득하는 제2 신경망 모델을 학습시키고, 학습된 제1 신경망 모델 및 제2 신경망 모델을 이용하여 피검체의 안질환 유무 및 전신 질환 유무에 관한 진단 보조 정보를 출력할 수 있다. For example, the parallel diagnostic assistance system acquires a first neural network model for obtaining first diagnostic assistance information related to the presence or absence of an eye disease in a subject and second diagnostic assistance information related to the presence or absence of a systemic disease in the subject based on the fundus image. The second neural network model may be trained, and diagnostic assistance information regarding the presence or absence of eye diseases and systemic diseases of the subject may be output using the learned first neural network model and the second neural network model.
도 21 및 22는 본 발명의 몇몇 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다. 도 21 및 22를 참조하면, 병렬 진단 보조 시스템은 복수의 학습부를 포함할 수 있다.21 and 22 are diagrams for describing a parallel diagnostic assistance system according to some embodiments of the present invention. 21 and 22, the parallel diagnosis assistance system may include a plurality of learning units.
도 21을 참조하면, 본 발명의 일 실시예에 따른 병렬 진단 보조 시스템(30)은 학습 장치(1000), 진단 장치(2000) 및 클라이언트 장치(3000)를 포함할 수 있다. 이때, 학습 장치(1000)는 복수의 학습부를 포함할 수 있다. 예를 들어, 학습 장치(1000)는 제1 학습부(100a) 및 제2 학습부(100b)를 포함할 수 있다. Referring to FIG. 21, the parallel
도 22를 참조하면, 본 발명의 일 실시예에 따른 병렬 진단 보조 시스템(40)은 제1 학습 장치(1000a), 제2 학습 장치(1000b), 진단 장치(2000) 및 클라이언트 장치(3000)를 포함할 수 있다. 제1 학습 장치(1000a)는 제1 학습부(100a)를 포함할 수 있다. 제2 학습 장치(1000b)는 제2 학습부(100b)를 포함할 수 있다. Referring to FIG. 22, the parallel
도 21 및 22를 참조하면, 제1 학습부(100a)는 제1 데이터 세트를 획득하고, 제1 신경망 모델에 대하여 학습 결과 얻어진 제1 신경망 모델의 제1 파라미터 세트를 출력할 수 있다. 제2 학습부(100b)는 제2 데이터 세트를 획득하고, 제2 신경망 모델에 대하여 학습 결과 얻어진 제2 신경망 모델의 제2 파라미터 세트를 출력할 수 있다. 21 and 22, the
진단 장치(2000)는 진단부(200)를 포함할 수 있다. 진단 장치(2000) 및 진단부(200)에 대하여는 도 1과 관련하여 설명한 내용이 유사하게 적용될 수 있다. 진단부(200)는 제1 학습부(100a) 및 제2 학습부(100b)로부터 각각 학습된 제1 신경망 모델 및 제2 신경망 모델을 이용하여 제1 진단 보조 정보 및 제2 진단 보조 정보를 획득할 수 있다. 진단부(2000)는 제1 학습부(100a) 및 제2 학습부(100b)로부터 획득한 학습된 제1 신경망 모델의 파라미터 및 학습된 제2 신경망 모델의 파라미터를 저장할 수 있다.The
클라이언트 장치(3000)는 데이터 획득부 예컨대, 촬상부(300)를 포함할 수 있다. 다만, 촬상부(300)는 기타 진단 보조 정보의 획득에 이용되는 데이터의 획득 수단으로 대체될 수 있다. 클라이언트 장치는 진단 장치로 진단 요청 및 진단 대상 데이터(예컨대, 촬상부로부터 획득된 안저 이미지)를 전송할 수 있다. 클라이언트 장치(3000)는 진단 요청을 전송하는 것에 응답하여, 진단 장치로부터, 전송한 진단 대상 데이터에 따른 복수의 진단 보조 정보를 획득할 수 있다.The
한편, 도 21 및 22에서는 진단 보조 시스템(40)이 제1 학습부(100a) 및 제2 학습부(100b)를 포함하는 경우를 기준으로 설명하였으나, 본 발명의 내용이 이에 한정되는 것은 아니다. 본 발명의 다른 실시예에 따르면, 학습 장치는 3개 이상의 서로 다른 진단 보조 정보를 획득하는 학습부를 포함할 수 있다. 또는, 진단 보조 시스템은 서로 다른 진단 보조 정보를 획득하는 복수의 학습 장치를 포함할 수도 있다.Meanwhile, in FIGS. 21 and 22, the
학습 장치, 진단 장치 및 클라이언트 장치의 보다 구체적인 동작에 대하여는 이하에서 보다 상세하게 설명하기로 한다.More specific operations of the learning apparatus, the diagnostic apparatus, and the client apparatus will be described in more detail below.
1.4.2 병렬 트레이닝 프로세스1.4.2 Parallel training process
본 발명의 일 실시예에 따르면, 복수의 신경망 모델이 학습될 수 있다. 각각의 신경망 모델을 학습하는 트레이닝 프로세스는 병렬적으로 수행될 수 있다. According to an embodiment of the present invention, a plurality of neural network models may be learned. The training process for learning each neural network model can be performed in parallel.
1.4.2.1 병렬 학습부1.4.2.1 Parallel learning
트레이닝 프로세스는 복수의 학습부에 의해 수행될 수 있다. 각각의 트레이닝 프로세스는 서로 독립적으로 수행될 수 있다. 복수의 학습부는 하나의 학습 장치에 마련되거나 복수의 학습 장치에 각각 마련될 수 있다.The training process may be performed by a plurality of learning units. Each training process may be performed independently of each other. The plurality of learning units may be provided in one learning device or in each of the plurality of learning devices.
도 23은 본 발명의 일 실시예에 따른 복수의 학습부를 포함하는 학습 장치의 구성을 설명하기 위한 도면이다. 제1 학습부(100a) 및 제2 학습부(100b) 각각의 구성 및 동작은 도 9와 관련하여 전술한 것과 유사하게 구현될 수 있다.FIG. 23 is a diagram for describing a configuration of a learning apparatus including a plurality of learning units according to an exemplary embodiment. Configuration and operation of each of the
도 23을 참조하면, 본 발명의 일 실시예에 따른 신경망 모델의 프로세스는, 제1 데이터 가공 모듈(110a), 제1 큐 모듈(130a), 제1 학습 모듈(150a) 및 제1 학습 결과 획득 모듈(170a)을 포함하는 제1 학습부(100a) 및 제2 데이터 가공 모듈(110b), 제2 큐 모듈(130b), 제2 학습 모듈(150b) 및 제2 학습 결과 획득 모듈(170b)을 포함하는 제2 학습부(100b)를 포함하는 학습 장치(1000)에 의하여 수행될 수 있다.Referring to FIG. 23, a process of a neural network model according to an embodiment of the present invention may include obtaining a first
도 23을 참조하면, 본 발명의 일 실시예에 따른 신경망 모델의 트레이닝 프로세스는 제1 학습부(100a) 및 제2 학습부(100b)에 의하여 각각 수행될 수 있다. 제1 학습부(100a) 및 제2 학습부(100b)는 독립적으로 제1 신경망 모델 및 제2 신경망 모델의 학습을 수행할 수 있다. 도 23을 참조하면, 제1 학습부(100a) 및 제2 학습부(100b)는 전술한 학습 장치 내에 마련될 수 있다. 또는, 제1 학습부 및 제2 학습부는 서로 다른 학습 장치 내에 마련될 수도 있다.Referring to FIG. 23, the training process of the neural network model according to an embodiment of the present invention may be performed by the
1.4.2.2 병렬 데이터 획득1.4.2.2 Parallel data acquisition
본 발명의 일 실시예에 따르면, 복수의 학습부는 데이터를 획득할 수 있다. 복수의 학습부는 서로 다른 데이터 세트를 획득할 수 있다. 또는, 복수의 학습부는 동일한 데이터 세트를 획득할 수도 있다. 경우에 따라, 복수의 학습부는 일부가 공통되는 데이터 세트를 획득할 수도 있다. 데이터 세트는 안저 이미지 데이터 세트일 수 있다.According to an embodiment of the present invention, the plurality of learning units may acquire data. The plurality of learners may acquire different data sets. Alternatively, the plurality of learners may obtain the same data set. In some cases, the plurality of learners may acquire a data set, some of which are common. The data set may be a fundus image data set.
제1 학습부는 제1 데이터 세트를 획득하고, 제2 학습부는 제2 데이터 세트를 획득할 수 있다. 제1 데이터 세트 및 제2 데이터 세트는 구별될 수 있다. 제1 데이터 세트 및 제2 데이터 세트는 일부 공통될 수 있다. 제1 데이터 세트 및 제2 데이터 세트는 라벨링된 안저 이미지 데이터 세트일 수 있다.The first learner may obtain a first data set, and the second learner may obtain a second data set. The first data set and the second data set can be distinguished. The first data set and the second data set may be some common. The first data set and the second data set may be labeled fundus image data sets.
제1 데이터 세트는 제1 특징에 대하여 정상(normal)으로 라벨링된 데이터 및 제1 특징에 대하여 비정상(abnormal)으로 라벨링된 데이터를 포함할 수 있다. 예를 들어, 제1 데이터 세트는 수정체 혼탁과 관련하여, 정상인 것으로 라벨링된 안저 이미지 및 비정상인 것으로 라벨링된 안저 이미지를 포함할 수 있다.The first data set may include data labeled as normal for the first feature and data labeled as abnormal for the first feature. For example, the first data set may include a fundus image labeled as normal and a fundus image labeled as abnormal with respect to lens clouding.
제2 데이터 세트는 (제1 특징과 구별되는)제2 특징에 대하여 정상으로 라벨링된 데이터 및 제2 특징에 대하여 비정상으로 라벨링된 데이터를 포함할 수 있다. 예를 들어, 제2 데이터 세트는 당뇨 망막증과 관련하여, 정상인 것으로 라벨링된 안저 이미지 및 비정상인 것으로 라벨링된 안저 이미지를 포함할 수 있다.The second data set may include data normally labeled for the second feature (distinguish from the first feature) and data labeled abnormally for the second feature. For example, the second data set may include a fundus image labeled as normal and a fundus image labeled as abnormal with respect to diabetic retinopathy.
제1 데이터 세트 및 제2 데이터 세트 각각에 포함된 제1 특징에 대하여 정상으로 라벨링된 데이터 세트 및 제2 특징에 대하여 정상으로 라벨링된 데이터는 공통될 수 있다. 예를 들어, 제1 데이터 세트는 수정체 혼탁과 관련하여 정상인 것으로 라벨링된 안저 이미지 및 비정상인 것으로 라벨링된 안저 이미지를 포함하고, 제2 데이터 세트는 당뇨 망막증과 관련하여 정상인 것으로 라벨링된 안저 이미지 및 비정상인 것으로 라벨링된 안저 이미지를 포함하되, 제1 데이터 세트에 포함된 수정체 혼탁과 관련하여 정상인 것으로 라벨링된 안저 이미지 및 제2 데이터 세트에 포함된 당뇨 망막증과 관련하여 정상인 것으로 라벨링된 안저 이미지는 공통될 수 있다.The data set labeled normally for the first feature included in each of the first data set and the second data set and the data labeled normally for the second feature may be common. For example, the first data set includes a fundus image labeled as normal with respect to lens cloudiness and a fundus image labeled as abnormal, and the second data set includes a fundus image and abnormal labeled as normal with diabetes retinopathy. The fundus image labeled as being included, but the fundus image labeled as normal with respect to the lens clouding included in the first data set and the fundus image labeled as normal with respect to diabetic retinopathy included in the second data set will be common. Can be.
또는, 제1 데이터 세트 및 제2 데이터 세트 각각에 포함된 제1 특징에 대하여 비정상으로 라벨링된 데이터 및 제2 특징에 대하여 비정상으로 라벨링된 데이터가 공통될 수도 있다. 즉, 복수 특징에 대하여 라벨링된 데이터가 복수 특징에 대한 신경망 모델의 학습에 이용될 수도 있다.Alternatively, data abnormally labeled with respect to the first feature included in each of the first data set and the second data set and data abnormally labeled with respect to the second feature may be common. That is, data labeled for multiple features may be used for training neural network models for multiple features.
한편, 제1 데이터 세트는 제1 방법으로 촬영된 안저 이미지 데이터 세트이고, 제2 데이터 세트는 제2 방법으로 촬영된 안저 이미지 데이터 세트일 수 있다. 제1 방법 및 제2 방법은 레드프리 촬영, 파노라마 촬영, 자가형광 촬영, 적외선 촬영 등으로부터 선택된 어느 하나의 방법일 수 있다.Meanwhile, the first data set may be the fundus image data set photographed by the first method, and the second data set may be the fundus image data set photographed by the second method. The first method and the second method may be any one selected from red-free photographing, panorama photographing, autofluorescence photographing, infrared photographing, and the like.
각 학습부에서 이용되는 데이터 세트는, 학습되는 신경망에 의하여 획득되는 진단 보조 정보를 고려하여 결정될 수 있다. 예를 들어, 제1 학습부는 망막 이상 소견(예를 들어, 미세혈관류, 삼출물 등)과 관련된 진단 보조 정보를 획득하고자 하는 제1 신경망 모델을 학습시키는 경우, 레드프리 촬영된 제1 안저 이미지 데이터 세트를 획득할 수 있다. 또는, 제2 학습부는 황반 변성과 관련된 진단 보조 정보를 획득하고자 하는 제2 신경망 모델을 학습시키는 경우, 자가형광 촬영된 제2 안저 이미지 데이터 세트를 획득할 수 있다.The data set used in each learning unit may be determined in consideration of diagnostic assistance information obtained by the neural network to be learned. For example, when the first learner trains a first neural network model to acquire diagnostic assistance information related to retinal abnormalities (eg, microvascular perfusion, exudate, etc.), the red fundographed first fundus image data You can obtain a set. Alternatively, when the second learner learns a second neural network model for acquiring diagnosis assistance information related to macular degeneration, the second learner may acquire a second fundus image data set by autofluorescence.
1.4.3 병렬 데이터 가공1.4.3 Parallel data processing
복수의 학습부는 각각 획득된 데이터를 가공할 수 있다. 전술한 2.2 데이터 가공 프로세스 에서 설명한 것과 같이, 각각의 학습부는, 획득된 데이터에 대하여, 이미지 리사이징, 전처리 필터 적용, 이미지 증강 및 이미지 직렬화 프로세스 중 하나 이상을 적용하여 데이터를 가공할 수 있다. 제1 학습부의 제1 데이터 가공 모듈은 제1 데이터 세트를 가공하고, 제2 학습부의 제2 데이터 가공 모듈은 제2 데이터 세트를 가공할 수 있다.The plurality of learners may process the obtained data, respectively. As described in the 2.2 data processing process described above, each learner may process the data by applying one or more of an image resizing, a preprocessing filter, an image enhancement, and an image serialization process. The first data processing module of the first learner may process the first data set, and the second data processing module of the second learner may process the second data set.
복수의 학습부에 포함되는 제1 학습부 및 제2 학습부는 각각에 의해 학습되는 신경망 모델로부터 획득되는 진단 보조 정보를 고려하여 획득된 데이터 세트를 달리 가공할 수 있다. 예를 들어, 제1 학습부는 고혈압과 관련된 제1 진단 보조 정보를 획득하기 위한 제1 신경망 모델을 학습시키기 위하여, 제1 안저 이미지 데이터 세트에 포함된 안저 이미지들에 대하여 혈관이 강조되도록 하는 전처리를 수행할 수 있다. 또는, 제2 학습부는 망막의 삼출물, 미세 혈관 등의 이상 소견과 관련된 제2 진단 보조 정보를 획득하기 위한 제2 신경망 모델을 학습시키기 위하여, 제2 안저 이미지 데이터 세트에 포함된 안저 이미지들에 대하여 레드프리 이미지로 변환하는 전처리를 수행할 수도 있다.The first learner and the second learner included in the plurality of learners may differently process the obtained data set in consideration of diagnostic assistance information obtained from the neural network model learned by the learner. For example, the first learner may perform preprocessing to cause blood vessels to be emphasized with respect to the fundus images included in the first fundus image data set in order to train the first neural network model for obtaining first diagnostic assistance information related to hypertension. Can be done. Alternatively, the second learner may learn about the fundus images included in the second fundus image data set in order to train the second neural network model for acquiring second diagnostic assistance information related to abnormal findings such as exudates of the retina and microvascular vessels. You can also perform preprocessing to convert to a red-free image.
1.4.3.1 병렬 큐1.4.3.1 Parallel queue
복수의 학습부는 데이터를 큐에 저장할 수 있다. 전술한 2.2.6 큐 에서 설명한 것과 같이, 각각의 학습부는 처리된 데이터를 큐에 저장하고 학습 모듈로 전달할 수 있다. 예를 들어, 제1 학습부는 제1 데이터 세트를 제1 큐 모듈에 저장하고 제1 학습 모듈에 순차적으로 또는 랜덤하게 제공할 수 있다. 제2 학습 모듈은 제2 데이터 세트를 제2 큐 모듈에 저장하고 제2 학습 모듈에 순차적으로 또는 랜덤하게 제공할 수 있다.The plurality of learners may store data in a queue. As described in 2.2.6 Queues above, each learner can store processed data in a queue and deliver it to the learning module. For example, the first learner may store the first data set in the first cue module and provide the first data set sequentially or randomly. The second learning module may store the second data set in the second cue module and provide the second learning module sequentially or randomly.
1.4.3.2 병렬 학습 프로세스1.4.3.2 Parallel learning process
복수의 학습부는 신경망 모델을 학습시킬 수 있다. 각각의 학습 모듈은 트레이닝 데이터 세트를 이용하여 서로 다른 라벨에 대하여 예측하는 진단 보조 신경망 모델을 각각 독립적으로 학습시킬 수 있다. 제1 학습부의 제1 학습 모듈은 제1 신경망 모델을 학습시키고, 제2 학습부의 제2 학습 모듈은 제2 신경망 모듈을 학습시킬 수 있다. The plurality of learners may train the neural network model. Each learning module may independently train a diagnostic assisted neural network model that predicts for different labels using a training data set. The first learning module of the first learning unit trains the first neural network model, and the second learning module of the second learning unit trains the second neural network module.
복수의 진단 보조 신경망 모델은 병렬적 및/또는 독립적으로 학습될 수 있다. 이와 같이 복수의 신경망 모델을 통하여 서로 다른 라벨에 대하여 예측하도록 모델을 학습시킴으로써, 각 라벨에 대한 예측 정확도가 향상되고, 예측 동작의 효율이 증가될 수 있다.The plurality of diagnostic assistance neural network models can be trained in parallel and / or independently. By learning the model to predict different labels through the plurality of neural network models as described above, the prediction accuracy for each label can be improved and the efficiency of the prediction operation can be increased.
각각의 진단 보조 신경망 모델은 2.3.2 모델의 설계 에서 설명한 것과 유사하게 마련될 수 있다. 각각의 서브 학습 프로세스는 2.3.1 내지 2.3.5 에서 전술한 것과 유사하게 수행될 수 있다.Each diagnostic assisted neural network model can be prepared similar to that described in 2.3.2 Model Design. Each sub-learning process may be performed similar to that described above in 2.3.1 to 2.3.5.
본 발명의 일 실시예에 따른 병렬 학습 프로세스는, 서로 다른 라벨을 예측하는 진단 보조 신경망 모델을 학습시키는 것을 포함할 수 있다. 제1 학습부는 제1 라벨을 예측하는 제1 진단 보조 신경망 모델을 학습시킬 수 있다. 제2 학습부는 제2 라벨을 예측하는 제2 진단 보조 신경망 모델을 학습시킬 수 있다. The parallel learning process according to an embodiment of the present invention may include training a diagnostic assisted neural network model predicting different labels. The first learner may train the first diagnostic assistance neural network model predicting the first label. The second learner may train a second diagnostic assistance neural network model that predicts the second label.
제1 학습부는 제1 데이터 세트를 획득하고 제1 라벨을 예측하는 제1 진단 보조 신경망 모델을 학습시킬 수 있다. 예컨대, 제1 학습부는 황반 변성 여부에 대하여 라벨링된 안저 이미지 트레이닝 데이터 세트를 이용하여, 안저 이미지로부터 피검체의 황반 변성 여부를 예측하는 제1 진단 보조 신경망 모델을 학습시킬 수 있다.The first learner may train a first diagnostic assisted neural network model that obtains a first data set and predicts a first label. For example, the first learner may train a first diagnostic assisted neural network model predicting macular degeneration of a subject from an ocular fundus image by using a fundus image training data set labeled for macular degeneration.
제2 학습부는 제2 데이터 세트를 획득하고 제2 라벨을 예측하는 제1 진단 보조 신경망 모델을 학습시킬 수 있다. 예컨대, 제2 학습부는 당뇨 망막증 해당 여부에 대하여 라벨링된 안저 이미지 트레이닝 데이터 세트를 이용하여, 안저 이미지로부터 피검체의 당뇨 망막증 해당 여부를 예측하는 제2 진단 보조 신경망 모델을 학습시킬 수 있다.The second learner may train a first diagnostic assisted neural network model that obtains a second data set and predicts a second label. For example, the second learner may train a second diagnostic assistive neural network model for predicting whether a subject is diabetic retinopathy from the fundus image, using the fundus image training data set labeled for diabetic retinopathy.
신경망 모델의 학습 프로세스에 대하여는 이하에서 도 24 및 25를 참조하여 보다 구체적으로 설명한다.The learning process of the neural network model will be described in more detail with reference to FIGS. 24 and 25 below.
도 24는 본 발명의 일 실시예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다. 병렬 학습 프로세스는, 병렬 진단 보조 시스템이 도 21과 같이 구현된 경우, 도 22과 같이 구현된 경우 및 그 외의 형태로 구현된 경우 모두에 적용될 수 있다. 다만, 설명의 편의를 위하여, 이하에서는 도 21과 같이 구현된 병렬 진단 보조 시스템을 기준으로 설명한다.24 is a diagram for describing a parallel learning process according to an embodiment of the present invention. The parallel learning process may be applied to both the case where the parallel diagnosis assistance system is implemented as shown in FIG. 21, the case where it is implemented as shown in FIG. 22, and other forms. However, for convenience of description, the following description will be made based on the parallel diagnosis assistance system implemented as shown in FIG. 21.
도 24를 참조하면, 병렬 학습 프로세스는 서로 다른 라벨을 예측하는 복수의 진단 보조 신경망 모델을 각각 학습시키는 복수의 서브 학습 프로세스를 포함할 수 있다. 병렬 학습 프로세스는 제1 신경망 모델을 학습시키는 제1 서브 학습 프로세스 및 제2 신경망 모델을 학습시키는 제2 서브 학습 프로세스를 포함할 수 있다. Referring to FIG. 24, the parallel learning process may include a plurality of sub-learning processes each learning a plurality of diagnostic assistance neural network models predicting different labels. The parallel learning process may include a first sub learning process for learning the first neural network model and a second sub learning process for learning the second neural network model.
예컨대, 제1 서브 학습 프로세스는 제1 데이터를 획득하고(S1010a), 제1 신경망 모델을 이용하고(S1030a), 제1 모델(즉, 제1 진단 보조 신경망 모델)을 검증하고(S1050a) 제1 신경망 모델의 파라미터를 획득(S1070a)하여 수행될 수 있다. 제2 서브 학습 프로세스는 제2 데이터를 획득하고(S1010b), 제2 신경망 모델을 이용하고(S1030b), 제2 신경망 모델을 검증(즉, 제2 진단 보조 신경망 모델)하고(S1050b) 제2 신경망 모델의 파라미터를 획득(S1070b)하여 수행될 수 있다.For example, the first sub-learning process acquires first data (S1010a), uses a first neural network model (S1030a), verifies a first model (ie, a first diagnostic auxiliary neural network model) (S1050a) This may be performed by obtaining parameters of the neural network model (S1070a). The second sub-learning process acquires second data (S1010b), uses the second neural network model (S1030b), verifies the second neural network model (ie, the second diagnostic auxiliary neural network model) (S1050b), and the second neural network. This may be performed by obtaining parameters of the model (S1070b).
서브 학습 프로세스는 서브 신경망 모델에 트레이닝 데이터를 입력하고, 출력으로 얻어진 라벨 값을 입력 트레이닝 데이터와 비교하여 모델을 검증하고, 검증 결과를 다시 서브 신경망 모델에 반영함으로써 신경망 모델을 학습시키는 것을 포함할 수 있다.The sub-learning process may include training the neural network model by inputting training data into the sub-neural network model, verifying the model by comparing the label value obtained as the output with the input training data, and reflecting the verification result back to the sub-neural network model. have.
각각의 서브 학습 프로세스는, 임의의 가중치 값들이 부여된 신경망 모델을 이용하여 결과값을 획득하고, 획득된 결과값을 트레이닝 데이터의 라벨값과 비교하고 그 오차에 따라 역전파를 수행하여, 가중치 값들을 최적화하는 것을 포함할 수 있다. Each sub-learning process obtains a result by using a neural network model to which arbitrary weight values are assigned, compares the obtained result with a label value of training data, and performs backpropagation according to the error. May include optimizing them.
각각의 서브 학습 프로세스에서, 진단 보조 신경망 모델은 트레이닝 데이터 세트와 구별되는 검증 데이터 세트를 통하여 검증될 수 있다. 제1 신경망 모델 및 제2 신경망 모델을 검증하기 위한 검증 데이터 세트는 구별될 수 있다. In each sub-learning process, the diagnostic assistance neural network model may be verified through a validation data set that is distinct from the training data set. Validation data sets for verifying the first neural network model and the second neural network model may be distinguished.
복수의 학습부는 학습 결과를 획득할 수 있다. 각각의 학습 결과 획득 모듈은 학습 모듈로부터 학습된 신경망 모듈에 관한 정보를 획득할 수 있다. 각각의 학습 결과 획득 모듈은 학습부로부터 학습된 신경망 모듈의 파라미터 값들을 획득할 수 있다. 제1 학습부의 제1 학습 결과 획득 모듈은 제1 학습 모듈로부터 학습된 제1 신경망 모델의 제1 파라미터 세트를 획득할 수 있다. 제2 학습부의 제2 학습 결과 획득 모듈은 제2 학습 모듈로부터 학습된 제2 신경망 모델의 제2 파라미터 세트를 획득할 수 있다.The plurality of learning units may acquire a learning result. Each learning result obtaining module may obtain information about the learned neural network module from the learning module. Each learning result obtaining module may obtain parameter values of the neural network module learned from the learning unit. The first learning result obtaining module of the first learning unit may obtain a first parameter set of the first neural network model learned from the first learning module. The second learning result obtaining module of the second learning unit may obtain a second parameter set of the second neural network model learned from the second learning module.
각각의 서브 학습 프로세스에 의하여, 학습된 신경망 모델의 최적화된 파라미터 값들, 즉 파라미터 세트가 획득될 수 있다. 보다 많은 트레이닝 데이터 세트를 이용하여 학습을 진행함에 따라, 보다 적절한 파라미터 값들이 얻어질 수 있다.By each sub-learning process, optimized parameter values, i.e., a set of parameters, of the learned neural network model can be obtained. As learning proceeds with more training data sets, more appropriate parameter values can be obtained.
제1 서브 학습 프로세스에 의하여 학습된 제1 진단 보조 신경망 모델의 제1 파라미터 세트가 획득될 수 있다. 제2 서브 학습 프로세스에 의하여 학습된 제2 진단 보조 신경망 모델의 제2 파라미터 세트가 획득될 수 있다. 학습이 충분히 진행됨에 따라, 제1 진단 보조 신경망 모델의 및 제2 진단 보조 신경망 모델의 가중치(weight) 및/또는 편향(bias)의 최적화된 값이 획득될 수 있다.A first set of parameters of the first diagnostic assistance neural network model learned by the first sub learning process may be obtained. A second parameter set of the second diagnostic assistance neural network model learned by the second sub learning process may be obtained. As the learning proceeds sufficiently, optimized values of the weight and / or bias of the first diagnostic auxiliary neural network model and the second diagnostic auxiliary neural network model can be obtained.
획득된 각 신경망 모델의 파라미터 세트는 학습 장치 및/또는 진단 장치(또는 서버)에 저장될 수 있다. 제1 진단 보조 신경망 모델의 제1 파라미터 세트 및 제2 진단 보조 신경망 모델의 제2 파라미터 세트는 함께 또는 따로 저장될 수 있다. 학습된 각 신경망 모델의 파라미터 세트는 진단 장치 또는 클라이언트 장치로부터 획득된 피드백에 의하여 갱신될 수도 있다.The parameter set of each obtained neural network model may be stored in a learning device and / or a diagnostic device (or server). The first parameter set of the first diagnostic assistance neural network model and the second parameter set of the second diagnostic assistance neural network model may be stored together or separately. The parameter set of each neural network model learned may be updated by feedback obtained from a diagnostic device or a client device.
1.4.3.3 병렬 앙상블 학습 프로세스1.4.3.3 Parallel Ensemble Learning Process
복수의 신경망 모델을 병렬적으로 학습시키는 경우에도, 전술한 앙상블 형태의 모델 학습이 이용될 수 있다. 각각의 서브 학습 프로세스는 복수의 서브 신경망 모델을 학습시키는 것을 포함할 수 있다. 복수의 서브 모델은 서로 다른 계층 구조를 가질 수 있다. 이하에서, 별다른 언급이 없는 한 2.3.7 에서 설명한 내용이 유사하게 적용될 수 있다.Even when training a plurality of neural network models in parallel, the above-described ensemble type model learning may be used. Each sub learning process may comprise training a plurality of sub neural network models. The plurality of submodels may have different hierarchical structures. In the following, the contents described in 2.3.7 may be similarly applied unless otherwise stated.
복수의 진단 보조 신경망 모델이 병렬적으로 학습되는 경우에, 각각의 진단 보조 신경망 모델을 학습시키는 서브 학습 프로세스 중 일부 서브 학습 프로세스는 단일 모델을 학습시키고, 일부 서브 학습 프로세스는 복수의 서브 모델을 함께 학습시키는 형태로 구현될 수도 있다.When a plurality of diagnostic assistive neural network models are trained in parallel, some of the sub-learning processes that train each diagnostic assistive neural network model train a single model, and some sub-learning processes work together a plurality of submodels. It may be implemented in the form of learning.
각 서브 학습 프로세스에서 앙상블을 이용하여 모델을 학습시킴에 따라, 각각의 서브 프로세스에서 보다 최적화된 신경망 모델의 형태를 획득하고, 예측의 오차가 감소될 수 있다.As the model is trained using the ensemble in each sub-learning process, the shape of a more optimized neural network model is obtained in each sub-process, and the error of prediction may be reduced.
도 25는 본 발명의 다른 일 실시예에 따른 병렬 학습 프로세스를 설명하기 위한 도면이다. 도 25를 참조하면, 각 학습 프로세스는 복수의 서브 신경망 모델을 학습시키는 것을 포함할 수 있다. 25 illustrates a parallel learning process according to another embodiment of the present invention. Referring to FIG. 25, each learning process may include training a plurality of sub-neural network models.
도 25를 참조하면, 제1 서브 학습 프로세스는 제1 데이터를 획득하고(S1011a), 제 1-1 신경망 모델 및 제1-2 신경망 모델을 이용하고(S1031a, S1033a) 제 1-1 신경망 모델 및 제1-2 신경망 모델을 검증(S1051a)하여, 제1 신경망 모델의 최종 형태 및 그 파라미터를 결정(S1071a)하여 수행될 수 있다. 제2 서브 학습 프로세스는 제2 데이터를 획득하고(S1011b), 제 2-1 신경망 모델 및 제2-2 신경망 모델을 이용하고(S1031b, S1033b) 제 2-1 신경망 모델 및 제2-2 신경망 모델을 검증(S1051b)하여, 제1 모델(즉, 제1 진단 보조 신경망 모델)의 최종 형태 및 그 파라미터를 결정(S1071b)하여 수행될 수 있다.Referring to FIG. 25, the first sub-learning process obtains first data (S1011a), uses a 1-1 neural network model and a 1-2 neural network model (S1031a, S1033a) and a 1-1 neural network model. The second neural network model may be verified (S1051a), and the final shape and the parameters of the first neural network model may be determined (S1071a). The second sub-learning process acquires second data (S1011b), uses the 2-1 neural network model and the 2-2 neural network model (S1031b, S1033b), the 2-1 neural network model and the 2-2 neural network model. In operation S1051b, the final form of the first model (ie, the first diagnostic assistance neural network model) and its parameters may be determined (S1071b).
제1 서브 학습 프로세스에서 학습되는 제1 신경망은 제1-1 신경망 모델, 제1-2 신경망 모델을 포함할 수 있다. 제1-1 신경망 모델 및 제1-2 신경망 모델은 서로 다른 계층 구조로 마련될 수 있다. 제1-1 신경망 모델 및 제1-2 신경망 모델은 제1 데이터 세트를 획득하고 예측되는 라벨을 각각 출력할 수 있다. 또는, 제1-1 신경망 모델 및 제1-2 신경망 모델의 앙상블에 의한 예측되는 라벨을 최종 예측 라벨로 결정할 수 있다.The first neural network learned in the first sub-learning process may include a 1-1 neural network model and a 1-2 neural network model. The 1-1 neural network model and the 1-2 neural network model may be provided in different hierarchical structures. The first-first neural network model and the first-two neural network model may obtain the first data set and output the predicted labels, respectively. Alternatively, the predicted label by the ensemble of the 1-1 neural network model and the 1-2 neural network model may be determined as the final predictive label.
이때, 제1-1 신경망 모델 및 제1-2 신경망 모델을 검증 데이터 세트를 이용하여 검증하고, 정확도가 높은 신경망 모델을 최종 신경망 모델로 결정할 수 있다. 또는, 제1-1 신경망 모델, 제1-2 신경망 모델 및 제1-1 신경망 모델 및 제1-2 신경망 모델의 앙상블을 검증하고, 그 중 정확도가 높은 경우의 신경망 모델 형태를 최종 제1 신경망 모델로 결정할 수도 있다.In this case, the 1-1 neural network model and the 1-2 neural network model may be verified using the verification data set, and a highly accurate neural network model may be determined as the final neural network model. Alternatively, the ensemble of the 1-1 neural network model, the 1-2 neural network model, the 1-1 neural network model, and the 1-2 neural network model is verified, and the neural network model form in the case of high accuracy is used as the final first neural network. You can also decide by model.
제2 서브 학습 프로세스에 대하여도 마찬가지로, 제2-1 신경망 모델, 제2-2 신경망 모델 및 제2-1 신경망 모델, 제2-2 신경망 모델의 앙상블 중 정확도가 높은 형태의 신경망을 최종 제2 모델(즉, 제2 진단 보조 신경망 모델)로 결정할 수 있다.Similarly with respect to the second sub-learning process, a highly accurate neural network of the ensemble of the 2-1 neural network model, the 2-2 neural network model, the 2-1 neural network model, and the 2-2 neural network model is final. Model (ie, a second diagnostic assistance neural network model).
한편, 도 25에서는, 편의를 위하여 각 서브 학습 프로세스가 두 개의 서브 모델을 포함하는 경우를 기준으로 설명하였으나, 이는 예시에 불과하며, 본 발명이 이에 한정되지는 않는다. 각 서브 학습 프로세스에서 학습되는 신경망 모델은, 하나의 신경망 모델만을 포함하거나, 세 개 이상의 서브 모델을 포함할 수도 있다.Meanwhile, in FIG. 25, for convenience, each sub-learning process includes two sub-models, but this is merely an example, and the present invention is not limited thereto. The neural network model trained in each sub-learning process may include only one neural network model or three or more submodels.
1.4.4 병렬 진단 프로세스1.4.4 Parallel diagnostic process
본 발명의 일 실시예에 의하면, 복수의 진단 보조 정보를 획득하는 진단 프로세스가 제공될 수 있다. 복수의 진단 보조 정보를 획득하는 진단 프로세스는 서로 독립적인 복수의 진단 프로세스를 포함하는 병렬 진단 보조 프로세스 형태로 구현될 수 있다.According to an embodiment of the present invention, a diagnostic process for acquiring a plurality of diagnostic assistance information may be provided. The diagnostic process for acquiring the plurality of diagnostic assistance information may be implemented in the form of a parallel diagnostic assistance process including a plurality of diagnostic processes independent of each other.
1.4.4.1 병렬 진단부1.4.4.1 Parallel diagnostics
본 발명의 일 실시예에 따르면, 진단 보조 프로세스는 복수의 진단 모듈에 의하여 수행될 수 있다. 각각의 진단 보조 프로세스는 독립적으로 수행될 수 있다. According to an embodiment of the present invention, the diagnostic assistance process may be performed by a plurality of diagnostic modules. Each diagnostic assistance process can be performed independently.
도 26은 본 발명의 일 실시예에 따른 진단부(200)를 설명하기 위한 블록도이다.26 is a block diagram illustrating a
도 26을 참조하면, 본 발명의 일 실시예에 따른 진단부(200)는 진단 요청 획득 모듈(211), 데이터 가공 모듈(231), 제1 진단 모듈(251), 제2 진단 모듈(253) 및 출력 모듈(271)을 포함할 수 있다. 진단부(200)의 각 모듈은 특별한 언급이 없는 한, 도 18에서 도시하는 진단부의 진단 모듈과 유사하게 동작할 수 있다. Referring to FIG. 26, the
도 26에서는, 진단부(200)가 복수의 진단 모듈을 포함하는 경우에도, 진단 요청 획득 모듈(211), 데이터 가공 모듈(231) 및 출력 모듈(271)은 공통되는 것으로 도시하였으나, 본 발명이 이러한 구성에 한정되는 것은 아니며, 진단 요청 획득 모듈, 데이터 가공 모듈 및/또는 출력 모듈 역시 복수로 마련될 수도 있다. 복수의 진단 요청 획득 모듈, 데이터 가공 모듈 및/또는 출력 모듈 역시 병렬적으로 동작할 수도 있다.In FIG. 26, even when the
예를 들어, 진단부(200)는 입력된 진단 대상 이미지에 대하여 제1 가공을 수행하는 제1 데이터 가공 모듈 및 진단 대상 이미지에 대하여 제2 데이터 가공을 수행하는 제2 가공 모듈을 포함하고, 제1 진단 모듈은 제1 가공된 진단 대상 이미지에 기초하여 제1 진단 보조 정보를 획득하고, 제2 진단 모듈은 제2 가공된 진단 대상 이미지에 기초하여 제2 진단 보조 정보를 획득할 수 있다. 제1 가공 및/또는 제2 가공은 이미지 리사이징, 이미지의 색상 변조, 블러 필터 적용, 혈관 강조 처리, 레드프리 변환, 일부 영역 크롭, 일부 요소 추출 중 선택된 어느 하나일 수 있다.For example, the
복수의 진단 모듈은 서로 다른 진단 보조 정보를 획득할 수 있다. 복수의 진단 모듈은 서로 다른 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다. 예를 들어, 제1 진단 모듈은 피검체의 안질환 해당 여부를 예측하는 제1 신경망 모델을 이용하여 피검체의 안질환 해당 여부와 관련된 제1 진단 보조 정보를 획득하고, 제2 진단 모듈은 피검체의 전신 질환 해당 여부를 예측하는 제2 신경망 모델을 이용하여 피검체의 전신 질환 해당 여부와 관련된 제2 진단 보조 정보를 획득할 수 있다.The plurality of diagnostic modules may acquire different diagnostic assistance information. The plurality of diagnostic modules may obtain diagnostic assistance information using different diagnostic assistance neural network models. For example, the first diagnostic module acquires first diagnostic assistance information related to the subject's eye disease using a first neural network model that predicts whether the subject has eye disease, and the second diagnostic module detects the eye disease. By using a second neural network model that predicts whether a subject is a systemic disease, second diagnostic assistance information related to a subject's systemic disease may be obtained.
보다 구체적인 예로, 제1 진단 모듈은 안저 이미지에 기초하여 피검체의 당뇨 망막증 해당 여부를 예측하는 제1 진단 보조 신경망 모델을 이용하여 피검체의 당뇨 망막증 해당 여부에 관한 제1 진단 보조 정보를 획득하고, 제2 진단 모듈은 안저 이미지에 기초하여 피검체의 고혈압 해당 여부를 예측하는 제2 진단 보조 신경망 모델을 이용하여 피검체의 고혈압 해당 여부와 관련된 제2 진단 보조 정보를 획득할 수 있다.In more specific example, the first diagnostic module acquires first diagnostic assistance information on whether the subject is diabetic retinopathy by using a first diagnostic assistive neural network model that predicts whether the subject is diabetic retinopathy based on the fundus image. The second diagnostic module may acquire second diagnostic assistance information related to hypertension of the subject using a second diagnostic assistive neural network model predicting whether the subject is hypertension based on the fundus image.
1.4.4.2 병렬 진단 프로세스1.4.4.2 Parallel diagnostic process
본 발명의 일 실시예에 따른 진단 보조 프로세스는 복수의 서브 진단 프로세스를 포함할 수 있다. 각각의 서브 진단 프로세스는 서로 다른 진단 보조 신경망 모델을 이용하여 수행될 수 있다. 각각의 서브 진단 프로세스는 서로 다른 진단 모듈에서 수행될 수 있다. 예컨대, 제1 진단 모듈은 제1 진단 보조 신경망 모델을 통하여 제1 진단 보조 정보를 획득하는 제1 서브 진단 프로세스를 수행할 수 있다. 또는, 제2 진단 모듈은 제2 진단 보조 신경망 모델을 통하여 제2 진단 보조 정보를 획득하는 제2 서브 진단 프로세스를 수행할 수 있다.The diagnostic assistance process according to an embodiment of the present invention may include a plurality of subdiagnostic processes. Each sub-diagnostic process may be performed using a different diagnostic assistance neural network model. Each sub-diagnostic process may be performed in a different diagnostic module. For example, the first diagnostic module may perform a first sub-diagnosis process of acquiring first diagnostic assistance information through the first diagnostic assistance neural network model. Alternatively, the second diagnostic module may perform a second sub-diagnosis process of obtaining second diagnostic assistance information through the second diagnostic assistance neural network model.
학습된 복수의 신경망 모델은 진단 대상 데이터를 입력으로 하여, 예측되는 라벨 또는 확률을 출력할 수 있다. 각각의 신경망 모델은 분류기 형태로 마련되고, 입력되는 진단 대상 데이터를 소정의 라벨에 대하여 분류할 수 있다. 이때, 복수의 신경망 모델은 서로 다른 특성에 대하여 학습된 분류기 형태로 마련될 수 있다. 각각의 신경망 모델은 3.4.2 에서 전술한 것과 같이 진단 대상 데이터를 분류할 수 있다.The trained plurality of neural network models may input diagnostic target data and output predicted labels or probabilities. Each neural network model is provided in the form of a classifier, and the input diagnosis target data may be classified with respect to a predetermined label. In this case, the plurality of neural network models may be provided in the form of a classifier learned about different characteristics. Each neural network model can classify the data to be diagnosed as described in 3.4.2.
한편, 각각의 진단 보조 신경망 모델로부터, CAM이 획득될 수 있다, CAM은 선택적으로 획득될 수 있다. CAM은 미리 정해진 조건이 만족되는 경우에 추출될 수 있다. 예를 들어, 제1 진단 보조 정보가 피검체가 제1 특성에 대하여 비정상임을 지시하는 경우에 제1 진단 보조 신경망 모델로부터 제1 CAM이 획득될 수 있다. On the other hand, from each diagnostic assistance neural network model, a CAM can be obtained, and the CAM can be obtained selectively. The CAM can be extracted if a predetermined condition is satisfied. For example, when the first diagnostic assistance information indicates that the subject is abnormal for the first characteristic, the first CAM may be obtained from the first diagnostic assistance neural network model.
도 27은 본 발명의 일 실시예에 따른 진단 보조 프로세스를 설명하기 위한 도면이다. 27 is a diagram for describing a diagnostic assistance process according to one embodiment of the present invention.
도 27을 참조하면, 본 발명의 일 실시예에 따른 진단 보조 프로세스는 진단 대상 데이터를 획득(S2011)하고, 제1 진단 보조 신경망 모델 및 제2 진단 보조 신경망 모델을 이용하여(S2031a, S2031b) 진단 대상 데이터에 따른 진단 보조 정보를 획득(S2051)하는 것을 포함할 수 있다. 진단 대상 데이터는 가공된 데이터일 수 있다.Referring to FIG. 27, the diagnostic assistance process according to an embodiment of the present invention acquires data to be diagnosed (S2011), and diagnoses using the first diagnostic assistance neural network model and the second diagnostic assistance neural network model (S2031a and S2031b). It may include acquiring (S2051) diagnostic assistance information according to the target data. The data to be diagnosed may be processed data.
본 발명의 일 실시예에 따른 진단 보조 프로세스는 학습된 제1 진단 보조 신경망 모델을 통하여 제1 진단 보조 정보를 획득하고, 학습된 제2 진단 보조 신경망 모델을 통하여 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다. 제1 진단 보조 신경망 모델 및 제2 진단 보조 신경망 모델은 동일한 진단 대상 데이터에 기초하여 각각 제1 진단 보조 정보 및 제2 진단 보조 정보를 획득할 수 있다.According to an embodiment of the present invention, the diagnostic assistance process may include obtaining first diagnostic assistance information through a trained first diagnostic assistance neural network model, and obtaining second diagnostic assistance information through a trained second diagnostic assistance neural network model. It may include. The first diagnostic assistance neural network model and the second diagnostic assistance neural network model may obtain first diagnostic assistance information and second diagnostic assistance information based on the same diagnosis target data.
예를 들어, 제1 진단 보조 신경망 모델 및 제2 진단 보조 신경망 모델은 진단 대상 안저 이미지에 기초하여, 피검체의 황반 변성 여부에 관한 제1 진단 보조 정보 및 피검체의 당뇨 망막증 해당 여부에 관한 제2 진단 보조 정보를 각각 획득할 수 있다.For example, the first diagnosis aid neural network model and the second diagnosis aid neural network model are based on the diagnosis target fundus image, the first diagnosis aid information on whether the subject is macular degeneration and the second diagnosis on whether the subject is diabetic retinopathy 2 diagnostic assistance information can be obtained respectively.
이외에도, 특별한 언급이 없는 한, 도 27과 관련하여 설명하는 진단 보조 프로세스는 도 20과 관련하여 전술한 진단 보조 프로세스와 유사하게 구현될 수 있다.In addition, unless otherwise indicated, the diagnostic assistance process described with reference to FIG. 27 may be implemented similarly to the diagnostic assistance process described above with reference to FIG. 20.
1.4.4.3 진단 보조 정보의 출력1.4.4.3 Output of diagnostic assistant information
본 발명의 일 실시예에 따르면, 병렬 진단 보조 프로세스에 의하여 획득된 진단 보조 정보가 획득될 수 있다. 획득된 진단 보조 정보는 진단 장치, 서버 장치 및/또는 클라이언트 장치에 저장될 수 있다. 획득된 진단 보조 정보는 외부 장치로 전달될 수 있다.According to an embodiment of the present invention, diagnostic assistance information obtained by a parallel diagnostic assistance process may be obtained. The obtained diagnostic assistance information may be stored in the diagnostic apparatus, the server apparatus, and / or the client apparatus. The obtained diagnostic assistance information may be delivered to an external device.
복수의 진단 보조 정보는, 복수의 진단 보조 신경망 모델에 의하여 예측되는 복수의 라벨을 각각 지시할 수 있다. 복수의 진단 보조 정보는 복수의 진단 보조 신경망 모델에 의하여 예측되는 복수의 라벨에 각각 대응될 수 있다. 또는, 진단 보조 정보는 복수의 진단 보조 신경망 모델에 의하여 예측된 복수의 라벨에 기초하여 결정된 정보일 수 있다. 진단 보조 정보는 복수의 진단 보조 신경망 모델에 의하여 예측되는 복수의 라벨에 대응될 수 있다.The plurality of diagnostic assistance information may indicate a plurality of labels predicted by the plurality of diagnostic assistance neural network models, respectively. The plurality of diagnostic assistance information may correspond to a plurality of labels predicted by the plurality of diagnostic assistance neural network models, respectively. Alternatively, the diagnostic assistance information may be information determined based on a plurality of labels predicted by the plurality of diagnostic assistance neural network models. The diagnostic assistance information may correspond to a plurality of labels predicted by the plurality of diagnostic assistance neural network models.
다시 말해, 제1 진단 보조 정보는 제1 진단 보조 신경망 모델을 통하여 예측된 제1 라벨에 대응되는 진단 보조 정보일 수 있다. 또는, 제1 진단 보조 정보는 제1 진단 보조 신경망 모델을 통하여 예측된 제1 라벨 및 제2 진단 보조 신경망 모델을 통하여 예측된 제2 라벨을 함께 고려하여 결정된 진단 보조 정보일 수 있다.In other words, the first diagnostic assistance information may be diagnostic assistance information corresponding to the first label predicted through the first diagnostic assistance neural network model. Alternatively, the first diagnostic assistance information may be diagnostic assistance information determined by considering the first label predicted through the first diagnostic assistance neural network model and the second label predicted through the second diagnostic assistance neural network model.
한편, 복수의 진단 보조 신경망 모델로부터 획득된 CAM의 이미지가 출력될 수 있다. CAM 이미지는 미리 정해진 조건이 만족되는 경우에 출력될 수 있다. 예를 들어, 제1 진단 보조 정보가 피검체가 제1 특성에 대하여 비정상임을 지시하는 경우 또는 제2 진단 보조 정보가 피검체가 제2 특성에 대하여 비정상임을 지시하는 경우 중 어느 하나의 경우에, 비정상임인 것으로 지시된 진단 보조 정보가 출력된 진단 보조 신경망 모델로부터 획득된 CAM 이미지가 출력될 수 있다.Meanwhile, an image of the CAM obtained from the plurality of diagnostic assistance neural network models may be output. The CAM image may be output when a predetermined condition is satisfied. For example, when the first diagnostic assistance information indicates that the subject is abnormal for the first characteristic or when the second diagnostic assistance information indicates that the subject is abnormal for the second characteristic, The CAM image obtained from the diagnostic assistance neural network model outputting the diagnostic assistance information indicated as abnormal may be output.
복수의 진단 보조 정보 및/또는 CAM 이미지는 사용자에게 제공될 수 있다. 복수의 진단 보조 정보 등은 진단 장치 또는 클라이언트 장치의 출력 수단을 통하여 사용자에게 제공될 수 있다. 진단 보조 정보는 시각적으로 출력될 수 있다. 이와 관련하여, 5. 사용자 인터페이스에서 보다 상세하게 설명한다.The plurality of diagnostic assistance information and / or CAM images may be provided to the user. The plurality of diagnostic assistance information and the like may be provided to the user through output means of the diagnostic apparatus or the client apparatus. Diagnostic assistance information may be visually output. In this regard, it is described in more detail in 5. User interface.
본 발명의 일 실시예에 따르면, 진단 대상 이미지에 대응되는 진단 보조 정보는 등급 정보를 포함할 수 있다. 등급 정보는 복수의 등급 중 선택될 수 있다. 등급 정보는 신경망 모델을 통하여 획득된 복수의 진단 정보 및/또는 소견 정보에 기초하여 결정될 수 있다. 등급 정보는 진단 대상 이미지의 적합성 정보 또는 품질 정보를 고려하여 결정될 수 있다. 등급 정보는 진단 대상 이미지가 복수의 신경망 모델에 의하여 분류된 클래스를 고려하여 결정될 수 있다. 등급 정보는 복수의 신경망 모델로부터 출력되는 수치를 고려하여 결정될 수 있다.According to an embodiment of the present invention, the diagnostic assistance information corresponding to the diagnosis target image may include grade information. The grade information may be selected from among a plurality of grades. The grade information may be determined based on the plurality of diagnostic information and / or finding information obtained through the neural network model. The grade information may be determined in consideration of suitability information or quality information of the diagnosis target image. The grade information may be determined in consideration of a class in which a diagnosis target image is classified by a plurality of neural network models. The grade information may be determined in consideration of numerical values output from the plurality of neural network models.
예를 들어, 진단 대상 이미지에 대응하여 획득된 진단 보조 정보는 제1 등급 정보 또는 제2 등급 정보 중 선택된 어느 하나의 등급 정보를 포함할 수 있다. 등급 정보는, 복수의 신경망 모델을 통하여 획득된 진단 정보 중, 적어도 하나의 비정상 소견 정보 또는 비정상 진단 정보가 획득된 경우, 제1 등급 정보로 선택될 수 있다. 등급 정보는 신경망 모델을 통하여 획득된 진단 정보 중, 비정상 소견 정보 또는 비정상 진단 정보가 획득되지 않은 경우, 제2 등급 정보로 선택될 수 있다. For example, the diagnostic assistance information acquired corresponding to the diagnosis target image may include any one grade information selected from the first grade information or the second grade information. The grade information may be selected as first grade information when at least one abnormality finding information or abnormal diagnosis information is obtained among the diagnostic information obtained through the neural network model. The grade information may be selected as the second grade information when abnormal finding information or abnormal diagnosis information is not obtained from the diagnosis information acquired through the neural network model.
등급 정보는, 신경망 모델을 통하여 획득된 수치들 중 적어도 하나의 수치가 기준 수치를 초과하는 경우 제1 등급 정보로 선택되고, 획득된 수치들 모두가 기준 수치에 못 미치는 경우 제2 등급 정보로 선택될 수도 있다. 제1 등급 정보는 제2 등급 정보에 비하여, 진단 대상 이미지에 강한 비정상 정보가 존재함을 나타낼 수 있다.The grade information is selected as the first grade information when at least one of the values acquired through the neural network model exceeds the reference value, and the grade information is selected as the second grade information when all of the acquired values fall below the reference value. May be The first grade information may indicate that strong abnormality information exists in the diagnosis target image, compared to the second grade information.
등급 정보는, 이미지 분석 또는 신경망 모델을 이용하여, 진단 대상 이미지의 품질이 기준 이하인 것으로 판단된 경우, 제3 등급 정보로 선택될 수 있다. 혹은, 진단 보조 정보는 제3 등급 정보를 제1 또는 제2 등급 정보와 함께 포함할 수 있다.The grade information may be selected as the third grade information when it is determined that the quality of the diagnosis target image is equal to or lower than a reference value by using an image analysis or a neural network model. Alternatively, the diagnostic assistant information may include third grade information together with the first or second grade information.
진단 보조 정보가 제1 등급 정보를 포함하는 경우, 제1 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제1 사용자 안내는, 진단 보조 정보에 포함된 적어도 하나의 비정상 소견 정보 또는 비정상 진단 정보에 대응되는 사항을 포함할 수 있다. 예컨대, 제1 사용자 안내는, 진단 보조 정보에 포함된 비정상 정보에 대응되는 피검체(즉, 환자)에 대하여 보다 정밀한 검사가 요구됨을 지시할 수 있다. 예컨대, 제1 사용자 안내는 피검체에 대한 2차 진단(예를 들어, 별도의 의료 기관에서의 진단 또는 전원 절차)가 요구됨을 지시할 수 있다. 또는, 제1 사용자 안내는 피검체에 대하여 요구되는 처치를 지시할 수 있다. 구체적인 예로, 진단 보조 정보에 의하여, 피검체의 황반 변성에 대한 비정상 정보가 획득된 경우, 제1 사용자 안내는 피검체에 대한 주사 처방 및 전원 절차에 대한 안내(예를 들어, 전원이 가능한 병원의 리스트)를 포함할 수 있다.When the diagnostic assistance information includes the first grade information, the first user guide may be output through the output means. The first user guide may include at least one abnormality finding information included in the diagnosis assistance information or a matter corresponding to the abnormal diagnosis information. For example, the first user guide may indicate that a more precise examination is required for a subject (ie, a patient) corresponding to abnormal information included in the diagnosis assistance information. For example, the first user guidance may indicate that a secondary diagnosis (eg, a separate medical institution or a power supply procedure) for the subject is required. Alternatively, the first user guide may instruct treatment required for the subject. As a specific example, when abnormal information about macular degeneration of a subject is obtained by the diagnostic assistant information, the first user guide may provide instructions on injection prescription and power supply procedure for the subject (eg, List).
진단 보조 정보가 제2 등급 정보를 포함하는 경우, 제2 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제2 사용자 안내는 진단 보조 정보에 대응되는 피검체에 대한 추후 관리 방안을 포함할 수 있다. 예컨대, 제2 사용자 안내는 피검체의 다음 진료 시기, 다음 진료 과목 등을 지시할 수 있다. When the diagnostic assistance information includes the second grade information, the second user guide may be output through the output means. The second user guide may include a later management method for the subject corresponding to the diagnosis assistance information. For example, the second user guide may indicate a next medical treatment time, a next medical treatment subject, or the like.
진단 대상 정보가 제3 등급 정보를 포함하는 경우, 제3 사용자 안내가 출력 수단을 통하여 출력될 수 있다. 제3 사용자 안내는 진단 대상 이미지에 재촬영이 요구됨을 지시할 수 있다. 제3 사용자 안내는 진단 대상 이미지의 품질에 대한 정보를 포함할 수 있다. 예컨대, 제3 사용자 안내는 진단 대상 이미지에 존재하는 흠결의 정보(예컨대, bright artifact 인지 또는 dark artifact 인지, 혹은 그 정도)를 포함할 수 있다.When the diagnosis target information includes the third grade information, the third user guide may be output through the output means. The third user guide may indicate that re-photographing is required for the diagnosis target image. The third user guide may include information about the quality of the diagnosis target image. For example, the third user guide may include information of defects (eg, whether bright artifacts or dark artifacts or the like) present in the diagnosis target image.
제1 내지 제3 등급 정보는, 클라이언트 장치 또는 진단 장치의 출력부에 의해 출력될 수 있다. 구체적으로, 후술하는 사용자 인터페이스를 통해 출력될 수 있다.The first to third grade information may be output by an output unit of the client device or the diagnostic device. Specifically, it may be output through a user interface described later.
1.4.5 실시예 2 - 진단 보조 시스템1.4.5 Example 2-Diagnostic Assistance Systems
본 발명의 일 실시예에 따른 진단 보조 시스템은 안저 이미지 획득부, 제1 처리부, 제2 처리부, 제3 처리부 및 진단 정보 출력부를 포함할 수 있다.The diagnostic assistance system according to an embodiment of the present invention may include a fundus image obtaining unit, a first processing unit, a second processing unit, a third processing unit, and a diagnostic information output unit.
본 발명의 일 실시예에 따르면, 진단 보조 시스템은 진단 장치를 포함할 수 있다. 진단 장치는 안저 이미지 획득부, 제1 처리부, 제2 처리부, 제3 처리부 및/또는 진단 정보 출력부를 포함할 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 진단 보조 시스템에 포함되는 각 부는 학습 장치, 진단 장치, 학습 진단 서버 및/또는 클라이언트 장치 상의 적절한 위치에 각각 위치될 수 있다. 이하에서는, 편의를 위하여 진단 보조 시스템의 진단 장치가 안저 이미지 획득부, 제1 처리부, 제2 처리부, 제3 처리부 및 진단 정보 출력부를 포함하는 경우를 기준으로 설명한다.According to an embodiment of the present invention, the diagnostic assistance system may include a diagnostic device. The diagnostic apparatus may include a fundus image acquirer, a first processor, a second processor, a third processor, and / or a diagnostic information output unit. However, the present invention is not limited thereto, and each unit included in the diagnosis assistance system may be located at appropriate locations on the learning device, the diagnosis device, the learning diagnosis server, and / or the client device. Hereinafter, for convenience, a diagnosis apparatus of the diagnosis assistance system will be described based on a case where the fundus image obtaining unit, the first processing unit, the second processing unit, the third processing unit, and the diagnostic information output unit are included.
도 28은 본 발명의 일 실시예에 따른 진단 보조 시스템을 설명하기 위한 도면이다. 도 28을 참조하면, 진단 보조 시스템은 진단 장치를 포함하고, 진단 장치는 안저 이미지 획득부, 제1 처리부, 제2 처리부, 제3 처리부 및 진단 정보 출력부를 포함할 수 있다.28 is a diagram for describing a diagnosis assistance system according to an embodiment of the present invention. Referring to FIG. 28, the diagnostic assistance system may include a diagnostic apparatus, and the diagnostic apparatus may include a fundus image obtaining unit, a first processing unit, a second processing unit, a third processing unit, and a diagnostic information output unit.
본 발명의 일 실시예에 따르면, 안저 이미지에 기초하여 복수의 질병에 대한 진단을 보조하는 진단 보조 시스템은, 피검체에 대한 진단 보조 정보 획득의 기초가 되는 대상 안저 이미지를 획득하는 안저 이미지 획득부, 대상 안저 이미지에 대하여 제1 신경망 모델 - 제1 신경망 모델은 제1 안저 이미지 세트를 기초로 기계 학습됨 - 을 이용하여 피검체에 대한 제1 소견과 관련된 제1 결과를 획득하는 제1 처리부, 대상 안저 이미지에 대하여 제2 신경망 모델 - 제2 신경망 모델은 제1 안저 이미지 세트와 적어도 일부가 상이한 제2 안저 이미지 세트를 기초로 기계 학습됨 - 을 이용하여 피검체에 대한 제2 소견과 관련된 제2 결과를 획득하는 제2 처리부, 제1 결과 및 제2 결과에 기초하여, 피검체에 대한 진단 정보를 결정하는 제3 처리부 및 사용자에게 결정된 진단 정보를 제공하는 진단 정보 출력부를 포함할 수 있다. 이때, 제1 소견 및 제2 소견은 서로 다른 질병에 대한 진단에 이용될 수 있다.According to an embodiment of the present invention, a diagnosis assisting system for assisting diagnosis of a plurality of diseases based on the fundus image may include a fundus image obtaining unit configured to acquire a target fundus image, which is a basis for obtaining diagnosis assistance information about a subject. A first processor for obtaining a first result related to the first finding on the subject by using a first neural network model on the subject fundus image, wherein the first neural network model is machine trained based on the first set of fundus images; A second neural network model with respect to the subject fundus image, wherein the second neural network model is machine learned based on a second set of fundus images that are at least partially different from the first set of fundus images; 2 A processor which determines the diagnosis information for the subject based on the second processor, the first result and the second result which acquires the result, and the fact determined to the user It may include a diagnostic information output unit for providing information. In this case, the first and second findings may be used to diagnose different diseases.
제1 신경망 모델은 입력된 안저 이미지를 제1 소견과 관련하여 정상 라벨 및 비정상 라벨 중 어느 하나로 분류하도록 학습되고, 제1 처리부는 제1 신경망 모델을 이용하여 대상 안저 이미지를 정상 라벨 또는 비정상 라벨 중 어느 하나로 분류하여 제1 결과를 획득할 수 있다.The first neural network model is trained to classify the input fundus image into any one of a normal label and an abnormal label in relation to the first finding, and the first processor uses the first neural network model to classify the target fundus image into a normal label or an abnormal label. The first result may be obtained by classifying to either.
제3 처리부는 제1 결과 및 제2 결과를 함께 고려하여, 대상 안저 이미지에 따른 진단 정보가 정상 정보인지 비정상 정보인지 결정할 수 있다.The third processor may determine whether the diagnostic information based on the target fundus image is normal information or abnormal information by considering the first result and the second result together.
제3 처리부는, 진단 정확도가 향상되도록, 비정상 라벨에 우선권을 부여하여 피검체에 대한 진단 정보를 결정할 수 있다.The third processing unit may determine the diagnostic information on the subject by giving priority to the abnormal label so that the diagnostic accuracy is improved.
제3 처리부는 제1 라벨이 제1 소견에 대한 정상 라벨이고, 제2 라벨이 제2 소견에 대한 정상 라벨인 경우, 진단 정보를 정상으로 결정하고, 제1 라벨이 제1 소견에 대한 정상 라벨이 아니거나 제2 라벨이 제2 소견에 대한 정상 라벨이 아닌 경우, 진단 정보를 비정상으로 결정할 수 있다. The third processing unit determines the diagnostic information to be normal when the first label is the normal label for the first finding and the second label is the normal label for the second finding, and the first label is the normal label for the first finding. Or the second label is not a normal label for the second finding, the diagnostic information can be determined abnormally.
제1 소견은 안질환과 관련되고, 제1 결과는 피검체의 안질환에 대한 정상 여부를 지시할 수 있다. 제2 소견은 전신 질환과 관련되고, 제2 결과는 피검체의 전신 질환에 대한 정상 여부를 지시할 수 있다.The first finding is associated with eye disease, and the first result may indicate whether the subject is normal for eye disease. The second finding is associated with systemic disease, and the second result may indicate whether the subject is normal for systemic disease.
제1 소견은 제1 안질환과 관련되고, 제1 결과는 피검체의 제1 안질환에 대한 정상 여부를 지시하고, 제2 소견은 제1 안질환과 구별되는 제2 안질환과 관련되고, 제2 결과는 피검체의 제2 안질환에 대한 정상 여부를 지시할 수 있다.The first finding is associated with the first eye disease, the first outcome is indicative of whether the subject is normal for the first eye disease, the second finding is associated with a second eye disease that is distinct from the first eye disease, The second result may indicate whether the subject is normal for the second eye disease.
제1 소견은 제1 안질환을 진단하기 위한 소견이고, 제1 결과는 피검체의 제1 안질환에 대한 정상 여부를 지시하고, 제2 소견은 제1 안질환을 진단하기 위한 제1 소견과 구별되는 소견이고, 제2 결과는 피검체의 제2 안질환에 대한 정상 여부를 지시할 수 있다. The first finding is a finding for diagnosing a first eye disease, the first finding indicates whether the subject is normal for a first ocular disease, and the second finding is a first finding for diagnosing a first eye disease. It is a distinguishing finding, and the second result may indicate whether the subject is normal for the second eye disease.
제1 신경망 모델은 제1 서브 신경망 모델 및 제2 서브 신경망 모델을 포함하고, 제1 결과는 제1 서브 신경망 모델에 의해 예측되는 제1 예측값 및 제2 서브 신경망 모델에 의해 예측되는 제2 예측값을 함께 고려하여 결정될 수 있다.The first neural network model includes a first sub neural network model and a second sub neural network model, and the first result is a first prediction value predicted by the first sub neural network model and a second prediction value predicted by the second sub neural network model. It may be determined in consideration of them together.
제1 처리부는 제1 신경망 모델을 통하여 제1 라벨과 관련된 CAM(Class Activation Map)을 획득하고, 진단 정보 출력부는 CAM의 이미지를 출력할 수 있다.The first processor may acquire a Class Activation Map (CAM) associated with the first label through the first neural network model, and the diagnostic information output unit may output an image of the CAM.
진단 정보 출력부는 제3 처리부에 의하여 획득된 진단 정보가 비정상 진단 정보인 경우 CAM의 이미지를 출력할 수 있다.The diagnostic information output unit may output an image of the CAM when the diagnostic information acquired by the third processor is abnormal diagnostic information.
진단 보조 시스템은 대상 안저 이미지의 품질 정보를 획득하는 제4 처리부를 더 포함하고, 진단 정보 출력부는 제4 처리부에 의하여 획득된 대상 안저 이미지의 품질 정보를 출력할 수 있다.The diagnosis assistance system may further include a fourth processor configured to acquire quality information of the target fundus image, and the diagnostic information output unit may output quality information of the target fundus image acquired by the fourth processor.
제4 처리부에서 대상 안저 이미지의 품질 정보가 미리 정해진 품질 레벨 이하인 것으로 판단된 경우, 진단 정보 출력부는, 사용자에게 결정된 진단 정보와 함께 대상 안저 이미지의 품질 정보가 미리 정해진 품질 레벨 이하인 것을 지시하는 정보를 함께 제공할 수 있다. If it is determined by the fourth processing unit that the quality information of the target fundus image is less than or equal to the predetermined quality level, the diagnostic information output unit may include information indicating that the quality information of the target fundus image is less than or equal to the predetermined quality level together with the diagnostic information determined to the user. Can be provided together.
1.5 사용자 인터페이스1.5 User interface
본 발명의 일 실시예에 따르면, 전술한 클라이언트 장치 또는 진단 장치는 진단 보조 정보를 사용자에게 제공하기 위한 표시부를 가질 수 있다. 이때, 표시부는 사용자에게 진단 보조 정보를 명확히 전달하고, 사용자로부터의 피드백 획득이 용이하도록 마련될 수 있다. According to an embodiment of the present invention, the aforementioned client device or diagnostic device may have a display unit for providing the diagnostic assistance information to the user. In this case, the display unit may be provided to clearly transmit the diagnostic assistance information to the user, and to easily obtain feedback from the user.
표시부의 일 예로서, 사용자에게 시각 정보를 제공하는 디스플레이가 제공될 수 있다. 이때, 사용자에게 진단 보조 정보를 시각적으로 전달하기 위한 그래픽 사용자 인터페이스가 이용될 수 있다. 예컨대, 안저 이미지에 기초하여 진단 보조 정보를 획득하는 안저 진단 보조 시스템에 있어서, 획득된 진단 보조 정보를 효과적으로 표시하고 사용자의 이해를 돕기 위한 그래픽 사용자 인터페이스가 제공될 수 있다.As an example of the display unit, a display for providing visual information to a user may be provided. In this case, a graphic user interface for visually delivering the diagnostic assistance information to the user may be used. For example, in the fundus diagnosis assistance system for acquiring the diagnosis assistance information based on the fundus image, a graphic user interface for effectively displaying the acquired diagnosis assistance information and helping the user to understand may be provided.
도 29 및 30은 본 발명의 몇몇 실시예에 따른 사용자에게 진단 정보를 제공하기 위한 그래픽 사용자 인터페이스를 설명하기 위한 도면이다. 이하에서는, 도 29 및 30을 참조하여, 안저 진단 보조 시스템에서 이용될 수 있는 사용자 인터페이스에 대하여 몇몇 실시예를 들어 설명한다.29 and 30 are diagrams for describing a graphical user interface for providing diagnostic information to a user, according to some embodiments of the present disclosure. Hereinafter, with reference to FIGS. 29 and 30, some embodiments of the user interface that can be used in the fundus diagnosis assistance system will be described.
도 29를 참조하면, 본 발명의 일 실시예에 따른 사용자 인터페이스는 진단 대상 안저 이미지에 대응되는 피검체의 식별 정보를 표시할 수 있다. 사용자 인터페이스는 피검체(즉, 환자)의 식별 정보 및/또는 진단 대상 안저 이미지의 촬영 정보(예컨대, 촬영 날짜)를 표시하는 대상 이미지 식별 정보 표시부(401)를 포함할 수 있다.Referring to FIG. 29, a user interface according to an embodiment of the present invention may display identification information of a subject corresponding to a diagnosis fundus image. The user interface may include a target image identification
본 발명의 일 실시예에 따른 사용자 인터페이스는, 동일한 피검체의 좌안의 안저 이미지 및 우안의 안저 이미지를 각각 표시하는 안저 이미지 표시부(405)를 포함할 수 있다. 안저 이미지 표시부(405)는 CAM 이미지를 표시할 수도 있다.The user interface according to an embodiment of the present invention may include a fundus
본 발명의 일 실시예에 따른 사용자 인터페이스는 좌안의 안저 이미지 및 우안의 안저 이미지 각각에 대하여 좌안 또는 우안의 이미지임을 표시하고, 각 이미지의 진단 정보 및 사용자 확인 여부를 지시하는 진단 정보 지시자가 표시되는 진단 정보 지시부(403)를 포함할 수 있다. The user interface according to an embodiment of the present invention indicates that the image of the left eye or the right eye for each of the left eye fundus image and the right eye fundus image, and a diagnostic information indicator indicating whether the diagnosis information and the user confirmation of each image are displayed. The diagnostic
진단 정보 지시자의 색상은 대상 안저 이미지에 기초하여 얻어진 진단 보조 정보를 고려하여 결정될 수 있다. 진단 정보 지시자는 진단 보조 정보에 따라 제1 색상 또는 제2 색상으로 표시될 수 있다. 일 예로, 하나의 대상 안저 이미지에 제1 내지 제3 진단 보조 정보를 획득한 경우, 하나의 진단 보조 정보라도 비정상(즉, 이상 소견 있음) 정보를 포함하는 경우, 진단 정보 지시자는 적색으로 표시되고, 모든 진단 보조 정보가 정상(즉, 이상 소견 없음) 정보를 포함하는 경우, 진단 정보 지시자는 녹색으로 표시될 수 있다.The color of the diagnostic information indicator may be determined in consideration of diagnostic assistance information obtained based on the target fundus image. The diagnostic information indicator may be displayed in a first color or a second color according to the diagnostic assistance information. For example, when the first to third diagnostic assistance information is acquired in one target fundus image, when even one diagnostic assistance information includes abnormal (that is, abnormal) information, the diagnostic information indicator is displayed in red. In the case where all the diagnostic assistance information includes normal (ie, no abnormality) information, the diagnostic information indicator may be displayed in green.
진단 정보 지시자의 형태는 사용자의 확인 여부에 따라 결정될 수 있다. 진단 정보 지시자는 사용자의 확인 여부에 따라 제1 형태 또는 제2 형태로 표시될 수 있다. 일 예로, 도 25를 참조하면, 사용자에 의해 검토가 완료된 대상 안저 이미지에 대응되는 진단 정보 지시자는 채워진 원으로 표시되고, 사용자에 의해 미검토된 대상 안저 이미지에 대응되는 진단 정보 지시자는 채워진 반원으로 표시될 수 있다.The type of diagnostic information indicator may be determined according to whether the user confirms it. The diagnostic information indicator may be displayed in a first form or a second form depending on whether the user confirms the information. For example, referring to FIG. 25, the diagnostic information indicator corresponding to the target fundus image reviewed by the user is indicated by a filled circle, and the diagnostic information indicator corresponding to the target fundus image unreviewed by the user is filled with a semicircle. Can be displayed.
본 발명의 일 실시예에 따른 사용자 인터페이스는, 진단 보조 정보를 지시하는 진단 정보 지시부(407)를 포함할 수 있다. 진단 보조 정보 지시부는 좌안 및 우안 이미지에 각각 위치될 수 있다. 진단 보조 정보 지시부는 복수의 소견 정보 또는 진단 정보를 지시할 수 있다.The user interface according to an embodiment of the present invention may include a diagnostic
진단 보조 정보 지시부는 적어도 하나의 진단 보조 정보 지시자를 포함할 수 있다. 진단 보조 정보 지시자는 색상 변화를 통하여 각각 대응되는 진단 보조 정보를 지시할 수 있다.The diagnostic assistance information indicator may include at least one diagnostic assistance information indicator. The diagnostic assistance information indicator may indicate corresponding diagnostic assistance information through color change.
예를 들어, 진단 대상 안저 이미지에 대하여, 제1 진단 보조 신경망 모델을 통하여 수정체 혼탁 유무를 지시하는 제1 진단 보조 정보, 제2 진단 보조 신경망 모델을 통하여 당뇨 망막증 소견 유무를 지시하는 제2 진단 보조 정보, 제3 진단 보조 신경망 모델을 통하여 망막 이상 소견 유무를 지시하는 제3 진단 보조 정보가 획득된 경우에, 진단 정보 지시부는 제1 진단 보조 정보, 제2 진단 보조, 제3 진단 보조 정보를 각각 지시하는 제1 내지 제3 진단 보조 정보 지시자를 포함할 수 있다.For example, a second diagnosis aid indicating diagnosis of diabetic retinopathy through the first diagnosis aid information indicating the presence of lens turbidity through the first diagnosis aid neural network model and the second diagnosis aid neural network model with respect to the diagnosis fundus image. Information and third diagnostic assistance information indicating whether there is a retinal abnormality finding through the third diagnostic assistance neural network model, the diagnostic information indicating unit may include the first diagnostic assistance information, the second diagnostic assistance, and the third diagnostic assistance information, respectively. It may include a first to third diagnostic assistant information indicator indicating.
보다 구체적인 예로, 도 29를 참조하면, 좌안 안저 이미지와 관련하여, 진단 정보 지시부(407)는 피검체의 좌안 안저 이미지에 기초하여 획득된 진단 보조 정보가 수정체 혼탁 비정상임을 지시하는 제1 진단 보조 정보, 당뇨 망막증 정상(이상 소견 없음)을 지시하는 제2 진단 보조 정보 및 망막 비정상(이상 소견 있음)을 지시하는 제3 진단 보조 정보가 획득된 경우에, 제1 색상을 띠는 제1 진단 보조 정보 지시자, 제2 색상을 띠는 제1 진단 보조 정보 지시자 및 제1 색상을 띠는 제3 진단 보조 정보 지시자를 표시할 수 있다.More specifically, referring to FIG. 29, in relation to the left eye fundus image, the diagnostic
본 발명의 일 실시예에 따른 사용자 인터페이스는, 사용자로부터 진단 대상 안저 이미지에 대한 사용자 코멘트를 획득할 수 있다. 사용자 인터페이스는 사용자 코멘트 오브젝트(409)를 포함하고, 사용자 코멘트 오브젝트에 대한 사용자 선택에 응답하여, 사용자 입력창을 표시할 수 있다. 사용자로부터 획득된 코멘트는 진단 보조 신경망 모델의 갱신에 이용될 수도 있다. 예컨대, 사용자 코멘트 오브젝트에 대한 선택에 응답하여 표시되는 사용자 입력창은, 신경망을 통한 진단 보조 정보에 대한 사용자 평가를 획득할 수 있고, 획득된 사용자 평가는 신경망 모델의 갱신에 이용될 수 있다.The user interface according to an embodiment of the present invention may obtain a user comment on the diagnosis target fundus image from the user. The user interface may include a
본 발명의 일 실시예에 따른 사용자 인터페이스는, 각 진단 대상 안저 이미지에 대한 사용자 검토 여부를 표시하는 검토 지시 오브젝트(411)를 포함할 수 있다. 검토 지시 오브젝트는 각 진단 대상 이미지에 대한 사용자 검토가 완료되었음을 나타내는 사용자 입력을 획득 받고, 제1 상태에서 제2 상태로 그 표시가 변경될 수 있다. 예컨대, 도 29 및 도 30을 참조하면, 검토 지시 오브젝트는 확인 요청 문구를 표시하는 제1 상태에서, 사용자 입력이 획득되면, 확인 되었음을 나타내는 제2 상태로 변경될 수 있다. The user interface according to an embodiment of the present invention may include a
진단 대상 안저 이미지의 목록(413)이 표시될 수 있다. 목록에는 피검체의 식별 정보, 이미지 촬영 날짜 및 양안 이미지에 대한 검토 여부 지시자(403)가 함께 표시될 수 있다.The
진단 대상 안저 이미지의 목록(413)에는 검토가 완료된 진단 대상 안저 이미지를 나타내는 검토 완료 지시자(415)가 표시될 수 있다. 검토 완료 지시자(415)는 해당 이미지의 양안에 대한 검토 지시 오브젝트(411) 모두에 대하여 사용자 선택이 발생한 경우에 표시될 수 있다.In the
도 30을 참조하면, 사용자 그래픽 인터페이스는, 진단 대상 안저 이미지에 품질 이상이 있는 것으로 판단된 경우에, 사용자에게 대상 안저 이미지의 품질에 이상이 있음을 지시하는 저품질 경고 오브젝트(417)를 포함할 수 있다. 저품질 경고 오브젝트(417)는, 진단부로부터 진단 대상 안저 이미지가 진단 보조 신경망 모델로부터 적절한 진단 보조 정보가 예측될 수 있는 수준의 품질(즉, 기준 품질 레벨)에 미치지 아니하는 것으로 판단된 경우에 표시될 수 있다.Referring to FIG. 30, when it is determined that there is a quality abnormality in the diagnosis fundus image, the user graphic interface may include a low
또한, 도 28을 참조하면 진단 대상 안저 이미지의 목록(413)에도 저품질 경고 오브젝트(419)가 표시될 수 있다. In addition, referring to FIG. 28, the low
2. 안저 이미지를 이용한 심혈관 질병의 진단 보조2. Diagnosis of Cardiovascular Disease Using Fundus Image
2.1 일반2.1 Normal
본 명세서에 의하면, 안저 이미지를 이용하여 심혈관 질병의 진단을 보조하는 시스템, 장치 및 방법 등이 제공될 수 있다. 본 명세서에 의하면, 신경망 모델을 이용하고 안저 이미지에 기초하여 심혈관 질병의 진단에 도움이 되는 진단 보조 정보를 획득하는 심혈관 질병의 진단을 보조하는 시스템, 장치 및 방법 등이 제공될 수 있다.According to the present disclosure, a system, apparatus, method, and the like, which assist in the diagnosis of cardiovascular disease using an ocular fundus image, can be provided. According to the present disclosure, a system, an apparatus, a method, and the like may be provided that assists in the diagnosis of cardiovascular disease using a neural network model and obtaining diagnostic assistance information helpful for the diagnosis of the cardiovascular disease based on the fundus image.
이하에서는, 안저 이미지를 이용하여 심혈관 질병의 진단을 보조하기 위하여, 심혈관 질병과 관련된 진단 보조 정보를 제공하는 시스템, 장치 및 방법 등에 대하여 설명한다. 이하의 심혈관 질병의 진단 보조와 관련하여, 도 1 내지 30과 관련하여 전술한 내용을 참고하여 설명한다.Hereinafter, a system, an apparatus, a method, and the like for providing diagnosis assistance information related to a cardiovascular disease in order to assist diagnosis of the cardiovascular disease using the fundus image will be described. Regarding the following diagnosis aid of the cardiovascular disease, it will be described with reference to the foregoing description with reference to FIGS. 1 to 30.
심혈관 계통 질병의 관리를 위하여, 질병 진단에 직접 또는 간접적으로 이용되는 바이오마커가 이용될 수 있다. 심혈관 계통 질병의 관리를 위하여, 질병과 관련된 지수(index), 점수(score) 또는 지표(indicator) 등(이하, 점수)의 값을 고려하여, 질병의 위험도를 관리하는 방식이 이용될 수 있다. 점수 등의 값을 고려하여 진단되는 질병들에 대하여는, 질병의 유무가 아닌 점수를 제공하는 것이, 임상의가 직접 점수를 고려하여 환자의 상태 또는 처치를 판단하게 할 수 있어, 보다 효율적일 수 있다. For the management of cardiovascular disease, biomarkers can be used that are used directly or indirectly to diagnose the disease. For the management of cardiovascular disease, a method of managing the risk of a disease may be used in consideration of values of an index, score, or indicator associated with the disease (hereinafter, referred to as a score). For diseases diagnosed with consideration of values such as scores, providing a score, rather than the presence of a disease, may allow a clinician to directly determine the patient's condition or treatment in consideration of the score, which may be more efficient.
본 명세서에서 설명하는 심혈관 질병은 뇌심혈관계 질환을 의미할 수 있다. 심혈관 질병은 심근 경색(heart attack) 또는 협심증(angina) 등의 관상동맥 질환, 심장 동맥병, 허혈성 심장 질환, 울혈성 심부전, 말초 혈관 질환, 심장 마비, 심장 판막 질환, 뇌혈관 질환(예컨대, 뇌졸중, 뇌경색, 뇌출혈 또는 일과성 허혈 발작) 및 신장 혈관 질환 등을 포함하는 뇌, 심장 내지 혈관과 관련된 질환을 의미할 수 있다.The cardiovascular disease described herein may mean cerebral cardiovascular disease. Cardiovascular diseases include coronary artery disease such as myocardial infarction or angina, coronary artery disease, ischemic heart disease, congestive heart failure, peripheral vascular disease, heart failure, heart valve disease, cerebrovascular disease (e.g. stroke) , Cerebral infarction, cerebral hemorrhage or transient ischemic attack) and renal vascular disease, and the like.
본 명세서에서 설명하는 심혈관 질병은 합병증을 동반할 수 있다. 예컨대, 심혈관 질환은 심장 마비, 심부전, 뇌졸중, 동맥류, 말초동맥 질환, 신부전, 치매 또는 피부 궤양을 합병증으로 동반할 수 있다. 본 명세서에서 설명하는 심혈관 계통 질병은 이러한 합병증을 의미할 수도 있다.The cardiovascular disease described herein may be accompanied by complications. For example, cardiovascular disease may be accompanied by complications of heart failure, heart failure, stroke, aneurysm, peripheral artery disease, kidney failure, dementia or skin ulcer. Cardiovascular disease described herein may mean such complications.
본 명세서에서 설명하는 진단 보조 시스템, 장치 및 방법 등에 의하면, 질병의 진단에 이용되는 진단 보조 정보가 제공될 수 있다. 진단 보조 정보는, 심혈관 질병과 관련된 파라미터 값, 심혈관 질병의 위험도를 지시하는 등급 또는 심혈관 질병의 유무 정보를 포함할 수 있다.According to the diagnostic assistance system, apparatus, method, and the like described herein, diagnostic assistance information used for diagnosis of a disease may be provided. The diagnostic assistance information may include parameter values related to cardiovascular disease, grades indicating the risk of cardiovascular disease, or information on the presence or absence of cardiovascular disease.
심혈관 질병의 진단을 보조하는 점수는 피검체로부터 측정될 수 있는 점수 또는 피검체로부터 측정된 값들 및/또는 피검체의 개인 정보를 조합하여 계산된 점수 등일 수 있다. 심혈관 질병의 진단에 이용되는 점수는 알려진 심뇌혈관질환 예측 모델에 의해 제시되는 점수일 수 있다. 심혈관 질병의 진단을 보조하는 점수는 심장 석회화 정도를 나타내는 심장 석회화 지수일 수 있다.The score that assists in the diagnosis of the cardiovascular disease may be a score that can be measured from a subject or a score calculated by combining values measured from the subject and / or personal information of the subject. The score used for the diagnosis of cardiovascular disease may be a score presented by a known cardiovascular disease prediction model. The score to assist in the diagnosis of cardiovascular disease may be a cardiac calcification index that indicates the degree of cardiac calcification.
심혈관 질병의 진단을 보조하는 점수는 관상동맥 칼슘 점수일 수 있다. 점수는 동맥 경화 위험 점수일 수 있다. 심혈관 질병의 진단을 보조하는 점수는 경동맥 내중막 두께(Carotid Intima-Media Thickness, CIMT) 값일 수 있다. 점수는 프래밍험(Framingham) 관상동맥 위험 점수일 수 있다. 심혈관 질병의 진단을 보조하는 점수는 프래밍험 위험 점수에 포함되는 적어도 하나의 인자에 대한 값일 수 있다. 점수는 QRISK 점수일 수 있다. 심혈관 질병의 진단을 보조하는 점수는 ASCVD(Atherosclerotic Cardiovascular Disease)에 따른 값일 수 있다. 점수는 SCORE(European Systematic Coronary Risk Evaluation)에 따른 점수일 수 있다.The score that assists in the diagnosis of cardiovascular disease may be a coronary calcium score. The score may be an arteriosclerosis risk score. The score that assists in the diagnosis of cardiovascular disease may be a Carotid Intima-Media Thickness (CIMT) value. The score may be a Framingham coronary risk score. The score to assist in the diagnosis of cardiovascular disease may be a value for at least one factor included in the Framingham risk score. The score may be a QRISK score. The score assisting the diagnosis of cardiovascular disease may be a value according to Atherosclerotic Cardiovascular Disease (ASCVD). The score may be a score according to the European Systematic Coronary Risk Evaluation (SCORE).
일 예로, 관상동맥 칼슘 점수의 경우, 관상 동맥(Coronary artery)의 석회화에 대한 판단 지표로 이용될 수 있다. 혈관 내에 플라크(plaque)가 축적됨에 따라 관상동맥(Coronary artery)이 석회화되면, 심장 혈관 벽이 좁아지게 되면서, 심장 동맥병, 심근경색, 협심증, 허혈성 심장 질환 등 다양한 심장 질환의 원인이 되는 바, 관상동맥 칼슘 지수는 다양한 심장 질환의 위험도 판단의 기초로 이용될 수 있다. 예컨대, 관상동맥 칼슘 점수 값이 큰 경우, 관상동맥질환의 위험도가 큰 것으로 판단될 수 있다. For example, in the case of coronary artery calcium score, it may be used as a determination index for the calcification of coronary artery. When coronary artery calcifies as plaque accumulates in the blood vessels, the walls of the cardiovascular vessel become narrow, causing various heart diseases such as coronary artery disease, myocardial infarction, angina pectoris, and ischemic heart disease. Coronary calcium index can be used as a basis for determining the risk of various heart diseases. For example, if the coronary artery calcium score is high, it may be determined that the risk of coronary artery disease is high.
특히, 관상동맥 칼슘 점수는 흡연 여부, 나이, 성별 등 심장질환과 간접적으로 연관된 인자들에 비하여 심장질환, 특히 관상동맥 질환(심장 석회화)과 직접적으로 관련된 것으로서, 심장 건강에 대한 강력한 바이오 마커로 이용될 수 있다. In particular, coronary calcium scores are directly related to heart disease, especially coronary artery disease (heart calcification), compared to factors that are indirectly related to heart disease such as smoking status, age, and gender, and are used as powerful biomarkers for heart health. Can be.
또한, 심혈관 질병의 진단을 보조하는 점수 등의 진단 보조 정보는 특정한 의료적 처치 또는 처방 대상을 선별하기 위한 기준으로 이용될 수도 있다. 예컨대, 관상동맥 칼슘 점수는 관상동맥 정밀검사 대상을 선별하는데 이용될 수 있다. 또 예컨대, 관상동맥 칼슘 점수는 항고 지혈제 복용 대상 선별에 이용될 수 있다. 관상동맥 칼슘 점수는 스타틴(statin) 등의 항고 지질혈증제의 처방 기준으로 이용될 수 있다.In addition, diagnostic assistant information such as a score for assisting in the diagnosis of cardiovascular disease may be used as a criterion for selecting a specific medical treatment or prescription target. For example, the coronary artery calcium score can be used to screen coronary artery overhaul subjects. In addition, for example, the coronary artery calcium score can be used for screening for taking antihyperlipidemic drugs. Coronary artery calcium scores can be used as a basis for prescription of antihyperlipidemic agents such as statins.
다른 예로, 프래밍험 위험 점수 값 또는 프래밍험 위험 점수를 계산하기 위하여 이용되는 값이 관상동맥 질환의 위험도 판단을 위한 진단 보조 정보로서 획득 및 제공될 수 있다. 예컨대, 프래밍험 위험 점수가 높을수록, 관상동맥질환의 위험도가 높은 것으로 판단될 수 있다.As another example, a programing risk score value or a value used to calculate the programing risk score may be obtained and provided as diagnostic assistance information for determining a risk of coronary artery disease. For example, the higher the framingham risk score, the higher the risk of coronary artery disease.
또 다른 예로, 경동맥 내중막 두께 값의 경우, 뇌경색 또는 급성 심근경색증의 위험도를 판단하기 위한 진단 보조 정보로서 획득 및 제공될 수 있다. 예컨대, 경동맥 내중막 두께가 두꺼울수록 뇌경색 또는 급성 심근경색증의 위험도가 큰 것으로 판단될 수 있다. As another example, the carotid endometrial thickness value may be obtained and provided as diagnostic assistant information for determining the risk of cerebral infarction or acute myocardial infarction. For example, the thicker the carotid intima media thickness, the greater the risk of cerebral infarction or acute myocardial infarction.
심혈관 질병의 진단을 보조하는 등급은 심혈관 질병의 위험도를 지시는 적어도 하나의 등급일 수 있다. 예컨대, 점수 등이 질병의 진단에 이용될 수 있는 경우, 점수 등을 대신하여 또는 점수 등과 함께, 등급(grade)이 이용될 수 있다. The grade to assist in the diagnosis of cardiovascular disease may be at least one grade indicative of the risk of cardiovascular disease. For example, where scores and the like can be used for the diagnosis of a disease, grades can be used in place of or with scores and the like.
진단 보조 정보는 심혈관 질병 진단 보조 점수 및/또는 심혈관 질병 진단 보조 등급을 포함할 수 있다. 등급은 피검체가 대상 심혈관 질병에 대하여 정상임을 지시하는 정상 등급 및 피검체가 대상 심혈관 질병에 대하여 비정상임을 지시하는 비정상 등급을 포함할 수 있다. 또는, 등급은 피검체의 대상 심혈관 질병에 대한 위험 정도를 나타내는 복수의 등급을 포함할 수도 있다. 이와 관련하여, 이하의 심혈관 질병 진단 방법 항목에서 보다 상세히 설명한다. The diagnostic aid information may include a cardiovascular disease diagnosis aid score and / or a cardiovascular disease diagnosis aid rating. The grade may include a normal grade indicating that the subject is normal for the subject cardiovascular disease and an abnormal grade indicating that the subject is abnormal for the subject cardiovascular disease. Alternatively, the rating may include a plurality of ratings that indicate a degree of risk for the subject's subject cardiovascular disease. In this regard, it will be described in more detail in the following cardiovascular disease diagnostic method.
본 명세서에서 설명하는 점수 등은 질병의 진단에 이용될 수 있다. 점수 등은 환자의 현재 상태 진단 및/또는 질병의 예후 관리에 이용될 수 있다. 점수 등을 포함하는 진단 보조 정보의 생성 및 제공에 대하여는 후술하는 이하의 진단 보조 정보 항목에서 보다 상세히 설명한다.Scores and the like described herein can be used to diagnose the disease. Scores and the like can be used to diagnose the current state of the patient and / or to manage the prognosis of the disease. The generation and provision of diagnostic assistance information including scores will be described in more detail in the following diagnostic assistance information section.
본 명세서에서 설명하는 진단 보조 시스템, 장치 및 방법 등에 의하면, 다양한 심혈관계 질병(예컨대, 관상동맥 질환)의 진단에 선행하여, 심혈관 질병 진단 보조 정보가 획득될 수 있다. 또한, 일 실시예에 따르면, 획득된 심혈관 질병 진단 보조 정보는 심혈관 질병에 대한 정밀 검사에 선행하여 정밀 검사 대상자를 선별하기 위한 사전 진단에 이용될 수 있다. 이와 관련하여, 이하에서 설명하는 이하의 진단 보조 정보의 제공 항목에서 보다 상세히 살펴본다.According to the diagnostic assistance system, apparatus and method described herein, cardiovascular disease diagnosis assistance information can be obtained prior to the diagnosis of various cardiovascular diseases (eg, coronary artery disease). In addition, according to an embodiment, the acquired cardiovascular disease diagnosis assistance information may be used for a preliminary diagnosis for selecting a person to be closely examined prior to the detailed examination for the cardiovascular disease. In this regard, it will be described in more detail in the following items of the diagnostic assistance information described below.
이하에서는, 편의를 위하여, 심혈관 계통 질환의 진단을 목적으로 하는 경우를 기준으로 설명하나, 본 명세서에서 개시하는 발명의 내용이 이에 한정되는 것은 아니다. 이하에서 설명하는 진단 보조 방법, 장치 및 시스템 등은 수치 값 또는 등급을 고려하여 진단될 수 있는 특정 질병의 진단 보조를 위하여, 신경망 모델을 이용하여 안저 이미지로부터 해당 질병과 연관된 진단 보조 정보로서 수치 값 또는 등급을 획득하는 모든 경우에 유사하게 적용될 수 있다. Hereinafter, for the sake of convenience, description will be made based on a case for the purpose of diagnosing a cardiovascular system disease, but the content of the invention disclosed herein is not limited thereto. Diagnostic assistant methods, devices, and systems described below are numerical values as diagnostic assistance information associated with the disease from the fundus image using a neural network model to assist in the diagnosis of a specific disease that can be diagnosed in consideration of numerical values or grades. Or similarly in all cases of obtaining a rating.
2.2 심혈관 질병의 진단 보조 시스템 및 장치2.2 Diagnostic assistant systems and devices for cardiovascular disease
이하에서는, 안저 이미지에 기초하여 심혈관 질병의 유무 또는 그 판단의 근거가 되는 정보를 획득하기 위한 진단 보조 시스템 및 장치 등에 대하여 설명한다. 특히, 딥러닝을 이용하여 심혈관 질병과 관련된 정보를 예측하기 위한 신경망 모델을 구축하고, 구축된 모델을 학습하고, 학습된 모델을 이용하여 정보를 예측함으로써 심혈관 질병의 진단을 보조하는 시스템 및 장치 등에 대하여 설명한다.Hereinafter, a diagnosis assistance system and apparatus for acquiring the information on the basis of the fundus image and the basis of the presence or absence of a cardiovascular disease will be described. In particular, systems and apparatuses for assisting the diagnosis of cardiovascular diseases by building a neural network model for predicting cardiovascular disease related information using deep learning, learning the built model, and predicting the information using the learned model, etc. Explain.
2.2.1 시스템2.2.1 system
본 명세서에 의하면, 안저 이미지에 기초하여 심혈관 질병의 진단 보조 정보를 획득하는 심혈관 질병 진단 보조 시스템이 제공될 수 있다. 심혈관 질병 진단 보조 시스템 또는 이를 구성하는 장치는 본 명세서 전반에 걸쳐 서술되는 진단 보조 및/또는 심혈관 질병의 진단 보조를 수행할 수 있다.According to the present specification, a cardiovascular disease diagnosis assistance system may be provided to obtain diagnosis aid information of a cardiovascular disease based on an ocular fundus image. The cardiovascular disease diagnosis assistance system or device constituting the same may perform the diagnosis aid and / or the diagnosis aid of cardiovascular disease described throughout this specification.
본 명세서에서 개시하는 심혈관 질병 진단 보조 시스템 및/또는 장치 등은 도 1 내지 9와 관련하여 전술한 진단 보조 시스템 및/또는 장치와 유사하게 구현될 수 있다. 다시 말해, 도 1 내지 9와 관련하여 전술한 진단 보조 시스템은, 이하에서 설명하는 심혈관 질병 진단 보조 시스템으로 구현될 수도 있다. The cardiovascular disease diagnosis assistance system and / or device disclosed herein may be implemented similarly to the diagnosis assistance system and / or device described above with respect to FIGS. In other words, the diagnostic assistance system described above with reference to FIGS. 1 to 9 may be implemented with the cardiovascular disease diagnosis assistance system described below.
일 예로, 심혈관 질병 진단 보조 시스템은 학습 장치, 진단 장치 및 클라이언트 장치를 포함할 수 있으며, 시스템 및 장치 각각은 도 1과 관련하여 전술한 진단 보조 시스템과 유사하게 동작할 수 있다. 학습 장치는 심혈관 질병 진단 보조를 위한 신경망 모델을 학습하고, 진단 장치는 학습된 신경망 모델을 이용하여 심혈관 질병 진단 보조를 수행하고, 클라이언트 장치는 안저 이미지를 획득하고, 안저 이미지에 기초하여 생성된 심혈관 질병 진단 보조 정보를 획득하고, 진단 보조 정보를 사용자에게 제공할 수 있다. For example, the cardiovascular disease diagnosis assistance system may include a learning device, a diagnosis device, and a client device, and each of the system and the device may operate similar to the diagnosis assistance system described above with reference to FIG. 1. The learning device learns a neural network model for cardiovascular disease diagnosis assistance, the diagnostic device performs cardiovascular disease diagnosis assistance using the learned neural network model, the client device acquires an ocular fundus image, and the cardiovascular system generated based on the fundus image Disease diagnosis assistance information may be obtained, and diagnosis assistance information may be provided to the user.
다른 예로, 심혈관 질병 진단 보조 시스템은 진단 장치 및 클라이언트 장치를 포함할 수 있다. 이때, 진단 장치는 학습 장치 및/또는 서버 장치의 기능을 수행할 수 있다. 진단 장치 및/또는 클라이언트 장치는 본 명세서에서 설명하는 심혈관 질병 진단 보조를 수행할 수 있다.As another example, the cardiovascular disease diagnosis assistance system may include a diagnostic device and a client device. In this case, the diagnostic apparatus may perform the functions of the learning apparatus and / or the server apparatus. The diagnostic device and / or client device may perform the cardiovascular disease diagnostic assistance described herein.
또 다른 예로, 심혈관 질병 진단 보조 시스템은 모바일 장치를 포함할 수 있다. 모바일 장치는 전술한 학습 장치, 진단 장치 및/또는 클라이언트 장치의 동작 중 전부 또는 일부를 수행할 수 있다. 모바일 장치는 본 명세서에서 설명하는 심혈관 질병 진단 보조를 수행할 수 있다.As another example, the cardiovascular disease diagnosis assistance system may include a mobile device. The mobile device may perform all or part of the operations of the learning device, diagnostic device and / or client device described above. The mobile device may perform the cardiovascular disease diagnosis assistance described herein.
각 장치의 구성 및 동작과 관련하여서는 이하의 장치 항목에서 보다 상세히 설명한다.The configuration and operation of each device will be described in more detail in the following device item.
이상에서는 이미지 관리 시스템에 대하여 몇 가지 예를 들어 설명하였으나, 위에서 설명되지 않은 경우라 할지라도, 도 1 내지 9와 관련하여 설명하는 진단 보조 시스템에 관련된 기재로부터 심혈관 질병 진단 보조 시스템의 구성이 유사하게 구성될 수 있음은 자명하다.Although the above has been described with reference to some examples of the image management system, even if not described above, the configuration of the cardiovascular disease diagnosis assistance system similarly from the description related to the diagnosis assistance system described with reference to FIGS. It is obvious that it can be configured.
2.2.2 장치2.2.2 Device
본 명세서에 의하면, 진단 보조 장치가 제공될 수 있다. 진단 보조 장치는 심혈관 질병 진단 보조부를 포함할 수 있다. 심혈관 질병 진단 보조부는 본 명세서에서 설명하는 심혈관 질병의 진단 보조를 수행할 수 있다. According to the present specification, a diagnostic assistance device may be provided. The diagnostic assistant device may include a cardiovascular disease diagnosis assistant. The cardiovascular disease diagnosis aid may perform the diagnosis aid of the cardiovascular disease described herein.
진단 보조 장치는 안저 이미지에 기초하여 심혈관 질병의 진단 보조 정보를 획득할 수 있다. 진단 보조 장치는 심혈관 질병 진단 보조부를 포함하는 하나 이상의 장치일 수 있다. 진단 보조 장치는 전술한 학습 장치, 진단 장치 또는 클라이언트 장치일 수 있다. 진단 보조 장치는 모바일 장치일 수 있다. 진단 보조 장치는 서버 장치일 수 있다. 진단 보조 장치는 본 명세서에서 설명하는 심혈관 질병의 진단 보조를 수행하는 심혈관 질병 진단 보조부를 포함할 수 있다. 진단 보조 장치는 본 명세서에서 설명하는 장치 또는 부에 포함될 수 있다.The diagnostic assistance apparatus may acquire diagnostic assistance information of the cardiovascular disease based on the fundus image. The diagnostic assistance device may be one or more devices including a cardiovascular disease diagnostic aid. The diagnostic assistance device may be the above-described learning device, diagnostic device, or client device. The diagnostic assistance device may be a mobile device. The diagnostic assistance device may be a server device. The diagnostic assistance device may include a cardiovascular disease diagnosis assistance unit that performs diagnosis assistance of the cardiovascular disease described herein. The diagnostic assistance device may be included in a device or unit described herein.
본 명세서에 의하면, 도 1 내지 도 9와 관련하여 전술한 진단 보조 시스템(10, 20) 및 시스템에 포함되는 장치는 안저 이미지에 기초하여 심혈관 질병의 진단을 보조할 수 있다. 도 1 내지 도 9와 관련하여 전술한 진단 보조 시스템(10, 20) 및 시스템에 포함되는 장치는 심혈관 질병의 진단 보조와 관련된 동작을 도1 내지 9와 관련하여 설명된 기능에 추가적으로 수행할 수 있다. 이하에서는, 도 1 내지 도 9를 참조하여, 심혈관 질병의 진단을 보조하는 장치에 대하여 몇몇 예를 들어 설명한다. According to the present specification, the
일 예로, 학습 장치(1000)는 심혈관 질병의 진단을 보조할 수 있다. 학습 장치(1000)는 심혈관 질병 진단을 보조하는 심혈관 질병 진단 보조부를 포함할 수 있다. 학습 장치(1000)의 심혈관 질병 진단 보조부는 안저 이미지에 기초하여 심혈관 질병의 진단 보조 정보를 예측하는 신경망 모델을 학습시킬 수 있다. 학습 장치(1000)의 심혈관 질병 진단 보조부는 안저 이미지에 기초하여 심혈관 질병의 진단 보조 정보를 예측하는 신경망 모델을 학습하여 심혈관 질병의 진단을 보조할 수 있다. For example, the
학습 장치(1000)의 학습부(100)는 심혈관 질병 진단을 보조하는 심혈관 질병 진단 보조부의 기능을 수행할 수 있다. 학습부(100)는 심혈관 질병 진단 보조부를 포함할 수 있다. 학습 장치(1000)의 프로세서(1050) 또는 학습 모듈(1053)은 심혈관 질병 진단 보조부의 기능을 수행할 수 있다. 학습 장치(1000)의 프로세서(1050) 또는 학습 모듈(1053)는 심혈관 질병 진단 보조부를 포함할 수 있다.The
학습 장치(1000)의 제어부(1200)는 본 명세서에서 설명하는 심혈관 질병의 진단 보조를 수행할 수 있다. 제어부(1200)는 심혈관 질병 진단 보조부를 포함할 수 있다. 학습 장치(1100)의 메모리부(1100)(또는, 휘발성 메모리(1030), 비휘발성 메모리(1010) 또는 대용량 저장 장치(1070))는 심혈관 질병 진단 보조를 위한 신경망 모델을 저장할 수 있다. 학습 장치(1100)의 통신부(1300)는 학습된 모델 또는 학습된 모델을 구동하기 위한 정보를 외부 기기로 전송할 수 있다. 또는 학습 장치(1000)는 통신부(1300)를 통하여 외부 장치로부터 신경망 모델의 학습에 필요한 정보를 획득할 수 있다.The
다른 예로, 진단 장치(2000)는 심혈관 질병의 진단을 보조할 수 있다. 진단 장치(2000)는 심혈관 질병 진단을 보조하는 심혈관 질병 진단 보조부를 포함할 수 있다. 진단 장치(2000)의 심혈관 질병 진단 보조부는 학습된 신경망 모델을 이용하여, 대상 안저 이미지에 대한 심혈관 질병 진단 보조 정보를 획득할 수 있다. 진단 장치(2000)의 심혈관 질병 진단 보조부는 안저 이미지에 기초하여 심혈관 질병의 진단 보조 정보를 출력하는 신경망 모델을 이용하여 심혈관 질병의 진단 보조 정보를 획득할 수 있다.As another example, the
진단 장치(200)의 진단부(200)는 심혈관 질병 진단을 보조하는 심혈관 질병 진단 보조부의 기능을 수행할 수 있다. 진단부(200)는 심혈관 질병 진단 보조부를 포함할 수 있다. 진단 장치(2000)의 프로세서(2050) 또는 진단 모듈(2053)은 심혈관 질병 진단 보조부의 기능을 수행할 수 있다. 진단 장치(2000)의 프로세서(2050) 또는 진단 모듈(2053)은 심혈관 질병 진단 보조부를 포함할 수 있다.The
진단 장치(2000)의 제어부(2200)는 학습된 신경망 모델을 이용하여 심혈관 질병의 진단을 보조할 수 있다. 진단 장치(2000)의 제어부(2200)는 심혈관 질병 진단 보조부의 기능을 수행할 수 있다. 진단 장치(2000)의 제어부(2200)는 심혈관 질병 진단 보조부를 포함할 수 있다. 진단 장치(200)의 메모리부(2100)는 심혈관 질병의 진단 보조를 위하여 학습된 신경망 모델을 저장할 수 있다. 진단 장치(200)의 메모리부(2100)는 심혈관 질병 진단 보조부를 포함할 수 있다. 진단 장치(200)는 통신부(2300)를 이용하여 외부 기기와 통신할 수 있다. 진단 장치(200)는 통신부(2300)를 이용하여 외부 기기로부터 진단 대상 이미지를 획득하거나, 진단 보조 정보를 외부 기기로 전송할 수 있다. 진단 장치(200)는 통신부(2300)를 이용하여 외부 기기(예컨대, 학습 장치)로부터 학습된 신경망 모델 또는 학습된 신경망 모델의 구동에 필요한 정보를 획득할 수 있다.The
또 다른 예로, 클라이언트 장치(3000)는 심혈관 질병의 진단을 보조할 수 있다. 클라이언트 장치(3000)는 심혈관 질병의 진단을 보조하는 심혈관 질병 진단 보조부를 포함할 수 있다. 클라이언트 장치(3000)의 심혈관 질병 진단 보조부는 신경망 모델을 학습하거나, 신경망 모델을 이용하여 진단 보조 정보를 획득하거나, 신경망 모델의 구동에 필요한 데이터(예컨대, 안저 이미지)를 제공할 수 있다. 클라이언트 장치(3000)는 심혈관 질병의 진단 보조에 필요한 정보를 사용자로부터 획득하거나, 심혈관 질병의 진단 보조 정보를 사용자에게 제공할 수 있다.As another example, the
클라이언트 장치(3000)의 제어부(3200)는 심혈관 질병 진단 보조부를 포함할 수 있다. 클라이언트 장치(3000)의 제어부(3200)는 심혈관 질병 진단 보조부의 기능을 수행할 수 있다. 클라이언트 장치(3000)의 프로세서는 심혈관 질병 진단 보조부를 포함하거나 심혈관 질병의 진단 보조를 수행할 수 있다.The
또 다른 예로, 서버 장치(4000)는 심혈관 질병의 진단을 보조할 수 있다. 서버 장치(4000)는 심혈관 질병의 진단을 보조하는 심혈관 질병 진단 보조부를 포함할 수 있다. 서버 장치(4000)의 심혈관 질병 진단 보조부는 신경망 모델을 저장, 학습 또는 구동할 수 있다. 서버 장치(4000)는 심혈관 질병 진단을 보조하는 신경망 모델을 저장, 학습 또는 구동하기 위하여 필요한 데이터(예컨대, 안저 이미지 데이터)를 저장할 수 있다. 서버 장치(4000)는 심혈관 질병 진단을 보조하는데 이용되는 사용자 정보를 저장할 수 있다. As another example, the
2.3 심혈관 질병의 진단 방법2.3 How to diagnose cardiovascular disease
2.3.1 심혈관 질병의 진단 보조 프로세스2.3.1 Assisted Process of Diagnosis of Cardiovascular Disease
심혈관 질병의 진단 보조는 학습 대상 안저 이미지를 이용하여 심혈관 질병 진단 보조 신경망 모델을 학습하고, 학습된 심혈관 질병 진단 보조 신경망 모델을 이용하여 진단 대상 안저 이미지에 기초하여 심혈관 질병 진단 보조 정보를 획득하는 것을 포함할 수 있다.The cardiovascular diagnosis assistant learns a cardiovascular disease diagnosis aid neural network model by using a trained fundus image, and acquires cardiovascular disease diagnosis aid information based on a diagnosis target fundus image by using a trained cardiovascular disease diagnosis aid neural network model. It may include.
심혈관 질병 진단 보조 신경망 모델은 심혈관 질병과 관련된 진단 보조 결과를 출력하는 다층 신경망 모델일 수 있다. 심혈관 질병 진단 보조 신경망 모델은 안저 이미지에 기초하여 진단 보조 정보를 획득하는 합성곱 신경망 모델일 수 있다. The cardiovascular disease diagnosis aid neural network model may be a multilayer neural network model that outputs diagnostic aid results associated with cardiovascular disease. The cardiovascular disease diagnosis assistance neural network model may be a composite product neural network model for obtaining diagnosis assistance information based on the fundus image.
심혈관 질병 진단 보조 신경망 모델은 전술한 앙상블 형태로 마련될 수 있다. 예를 들어, 심혈관 질병 진단 보조 신경망 모델은 제1 결과를 출력하는 제1 서브 신경망 모델 및 제2 결과를 출력하는 제2 서브 신경망 모델을 포함하고, 획득되는 진단 보조 정보는 제1 결과 및 제2 결과를 함께 고려하여 결정될 수 있다. 앙상블 형태로 마련된 심혈관 질병 진단 보조 신경망 모델의 학습 또는 이러한 신경망 모델을 이용한 진단 보조는 본 명세서에서 전술한 것과 유사하게 수행될 수 있다.The cardiovascular disease diagnosis assistance neural network model may be provided in the form of the ensemble described above. For example, the cardiovascular disease diagnosis assistance neural network model includes a first sub-neural network model that outputs a first result and a second sub-neural network model that outputs a second result, and the obtained diagnosis assistance information includes the first result and the second result. It can be determined by considering the results together. Training of a cardiovascular disease diagnosis aid neural network model provided in an ensemble form or diagnosis aid using such a neural network model may be performed similarly to that described above.
심혈관 질병의 진단 보조는 크게 심혈관 질병 진단 보조 신경망 모델의 학습 및 학습된 심혈관 질병 진단 보조 신경망 모델을 이용한 진단의 보조로 나누어 생각될 수 있다. Diagnosis assistance of cardiovascular disease can be thought of as divided into learning assistance of the cardiovascular disease diagnosis assistance neural network model and diagnosis using the learned cardiovascular disease diagnosis assistance neural network model.
심혈관 질병 진단 보조 신경망 모델을 학습하는 것은 학습 데이터를 획득하는 단계 및 획득된 학습 데이터에 기초하여 심혈관 질병 진단 보조 신경망 모델을 학습하는 단계를 포함할 수 있다. Learning the cardiovascular disease diagnosis assistance neural network model may include acquiring training data and training the cardiovascular disease diagnosis assistance neural network model based on the acquired training data.
학습 데이터를 획득하는 것은 안저 이미지 학습 데이터를 획득하는 것을 포함할 수 있다. 획득되는 안저 이미지 학습 데이터는 심혈관 질병 진단 정보가 라벨링된 안저 이미지 학습 데이터일 수 있다. 이와 관련하여, 이하의 안저 이미지 획득 항목에서 보다 상세히 설명한다.Acquiring the training data may include acquiring fundus image training data. The acquired fundus image learning data may be fundus image learning data labeled with cardiovascular disease diagnosis information. In this regard, it is described in more detail in the following fundus image acquisition items.
심혈관 질병 진단 보조 모델을 학습하는 것은, 경우에 따라, 획득된 안저 이미지를 변환(또는 전처리)하는 것을 포함할 수 있다. 심혈관 질병 진단 보조 신경망 모델은 변환된 안저 이미지를 이용하여 학습될 수 있다. 안저 이미지는 심혈관 질병의 진단 보조 정보 획득에 보다 적합한 형태로 변환 또는 전처리 될 수 있다. 이와 관련하여, 이하의 안저 이미지 전처리 항목에서 보다 상세히 살펴본다.Learning the cardiovascular disease diagnosis assistance model can optionally involve transforming (or preprocessing) the acquired fundus image. Cardiovascular disease diagnosis assistance neural network model can be trained using the transformed fundus image. The fundus image may be converted or preprocessed into a form more suitable for obtaining diagnostic assistance information of cardiovascular disease. In this regard, it will be described in more detail in the following fundus image preprocessing items.
심혈관 질병 진단 보조 신경망 모델을 학습하는 것은, 단위 학습 데이터에 결과를 예측하고, 예측 결과와 라벨을 비교하고 신경망 모델을 갱신하는 단계를 여러 차례 반복하는 것을 포함할 수 있다. 이와 관련하여, 이하의 심혈관 질병 진단 보조 신경망 모델의 학습 단계에서 보다 상세히 살펴본다.Learning the cardiovascular disease diagnosis aid neural network model may include repeating the steps of predicting the results in unit learning data, comparing the prediction results and labels, and updating the neural network model. In this regard, it will be described in more detail in the learning step of the cardiovascular disease diagnosis neural network model.
신경망 모델을 이용하여, 심혈관 질병의 진단을 보조하는 것은, 진단 대상 안저 이미지를 획득하는 단계 및 학습된 신경망 모델을 이용하여 진단 대상 안저 이미지로부터 심혈관 질병의 진단 보조 정보를 획득하는 단계를 포함할 수 있다.Assisting the diagnosis of the cardiovascular disease using the neural network model may include obtaining a diagnosis fundus image and acquiring diagnosis assistance information of the cardiovascular disease from the diagnosis fundus image using the learned neural network model. have.
진단 대상 안저 이미지를 획득하는 것은 촬상부를 통하여 수행되거나, 별도의 촬상 장치를 통해여 촬상된 이미지를 획득하는 것일 수 있다. Acquiring the diagnosis target fundus image may be performed through the imaging unit, or may be an image acquired by the separate imaging device.
심혈관 질병의 진단을 보조하는 것은, 진단 대상 안저 이미지를 전처리하는 단계를 포함할 수도 있다. 이때, 획득된 진단 대상 안저 이미지는 전처리될 수 있다. 심혈관 질병의 진단 보조 정보를 획득하는 것은, 학습된 신경망 모델을 이용하여 전처리된 안저 이미지에 대한 진단 보조 정보를 획득하는 것일 수 있다. 이와 관련하여, 이하의 안저 이미지 전처리 항목에서 보다 상세히 살펴본다.Assisting in diagnosing the cardiovascular disease may include preprocessing the diagnosis fundus image. In this case, the acquired diagnosis target fundus image may be preprocessed. Acquiring the diagnostic assistance information of the cardiovascular disease may be to obtain the diagnostic assistance information for the preprocessed fundus image using the trained neural network model. In this regard, it will be described in more detail in the following fundus image preprocessing items.
진단 대상 안저 이미지를 전처리하는 것은, 심혈관 질병의 진단 보조 정보 획득에 보다 적합한 형태로 진단 대상 안저 이미지를 변환 또는 전처리하는 것을 포함할 수 있다. 이와 관련하여, 이하의 안저 이미지 전처리 항목에서 보다 상세히 살펴본다.Preprocessing the diagnosis fundus image may include converting or preprocessing the diagnosis fundus image into a form more suitable for obtaining diagnostic assistance information of a cardiovascular disease. In this regard, it will be described in more detail in the following fundus image preprocessing items.
학습된 신경망 모델을 이용하여 심혈관 질병의 진단 보조 정보를 획득하는 것은, 심혈관 질병의 진단에 이용될 수 있는 질병 유무 정보, 수치 정보, 등급 정도 등을 획득하는 것을 포함할 수 있다. 이와 관련하여, 이하의 신경망 모델을 이용한 심혈관 질병의 진단 보조 항목에서 보다 상세히 설명한다.Acquiring the diagnosis assistance information of the cardiovascular disease by using the trained neural network model may include acquiring disease presence information, numerical information, degree of grade, and the like, which may be used to diagnose the cardiovascular disease. In this regard, it will be described in more detail in the subsidiary diagnosis of cardiovascular diseases using the neural network model below.
도 31은 본 명세서에서 설명하는 심혈관 질병의 진단 보조 방법의 일 예를 설명하기 위한 도면이다. 도 31을 참조하면, 참조하면, 본 발명의 일 실시예에 따른 진단 보조 프로세스는, 이미지에 전처리를 수행(S301)하고, 전처리된 이미지에 기초하여 심혈관 질병 진단 보조 신경망 모델을 학습하고(S303), 학습된 심혈관 질병 진단 보조 신경망 모델의 변수를 획득(S303)하는 학습 프로세스 및 진단 대상 이미지를 획득하고 진단 대상 이미지를 전처리한 후(S401) 학습된 심혈관 질병 진단 보조 신경망 모델(S403)을 이용하여 심혈관 질병 진단 보조 진단 보조 정보를 획득(S405)하는 진단 보조 프로세스를 포함할 수 있다.31 is a view for explaining an example of a method for assisting diagnosis of cardiovascular diseases described herein. Referring to FIG. 31, the diagnostic assistant process according to an embodiment of the present invention performs preprocessing on an image (S301), learns a cardiovascular disease diagnosis assistance neural network model based on the preprocessed image (S303). After obtaining the learning process and the diagnosis target image to acquire the variables of the learned cardiovascular disease diagnosis assistance neural network model (S303) and preprocessing the diagnosis target image (S401), using the learned cardiovascular disease diagnosis assistance neural network model (S403). The cardiovascular disease diagnosis assistant may include a diagnosis assistant process of obtaining diagnosis assistant information (S405).
보다 구체적으로, 심혈관 질병 진단 보조 신경망 모델의 학습 프로세스는, 심혈관 질병 진단 정보의 예측 정확도가 향상되도록 안저 이미지를 전처리하는 전처리 단계 및 전처리된 안저 이미지를 이용하여 심혈관 질병 진단 보조 신경망 모델을 트레이닝하는 학습 프로세스를 포함할 수 있다. 트레이닝 프로세스는 전술한 학습 장치에 의하여 수행될 수 있다.More specifically, the learning process of the cardiovascular disease diagnosis neural network model, learning to train the cardiovascular disease diagnosis neural network model using a preprocessing step and a pre-processed fundus image to improve the prediction accuracy of the cardiovascular disease diagnosis information. Process may be included. The training process may be performed by the learning apparatus described above.
심혈관 질병 진단 보조 신경망 모델을 이용한 진단 보조 프로세스는 입력된 대상 안저 이미지를 전처리하는 전처리 프로세스 및 전처리된 안저 이미지를 이용하여 심혈관 질병의 진단을 보조하는 진단 보조 프로세스를 포함할 수 있다. 진단 보조 프로세스는 전술한 진단 장치 또는 서버 장치에 의하여 수행될 수 있다.The diagnostic assistance process using the cardiovascular disease diagnosis assistance neural network model may include a preprocessing process for preprocessing an input target fundus image and a diagnostic assistance process for assisting diagnosis of cardiovascular disease using the preprocessed fundus image. The diagnostic assistance process may be performed by the above-described diagnostic apparatus or server apparatus.
이하에서는, 심혈관 질병 진단 보조 신경망 모델의 학습 및 심혈관 질병 진단 보조 신경망 모델을 이용한 진단 보조에 대하여 몇몇 예를 들어 설명한다. 먼저, 학습 및 진단 보조 프로세스에서 공통되는 이미지의 획득 및 변환(또는 전처리)에 대하여 설명한 후, 각각의 프로세스의 특유한 내용에 대하여 설명한다.In the following, some examples of the learning of the cardiovascular disease diagnosis assistance neural network model and the diagnosis assistance using the cardiovascular disease diagnosis assistance neural network model will be described. First, the acquisition and transformation (or preprocessing) of the image common to the learning and diagnosis assistance process will be described, and then the specific contents of each process will be described.
2.3.2 안저 이미지 획득2.3.2 Fundus image acquisition
심혈관 질병 진단 보조 신경망 모델의 학습 또는 신경망 모델을 이용한 심혈관 질병의 진단 보조를 위하여, 안저 이미지가 획득될 수 있다. Fundus images may be acquired for learning cardiovascular disease-assisted neural network models or for assisting in cardiovascular disease diagnosis using neural network models.
안저 이미지는 이미지 데이터 획득 항목에서 전술한 바와 같이, 무산동 안저 카메라를 포함하는 다양한 장치를 통하여 획득될 수 있다. 안저 이미지는 전술한 바와 같이, JPG, PNG, DCM을 포함하는 다양한 형태로 획득될 수 있다. The fundus image may be acquired through various apparatuses including an acid-free fundus camera, as described above in the image data acquisition item. As described above, the fundus image may be obtained in various forms including JPG, PNG, and DCM.
이하에서는 심혈관 질병 진단 신경망 모델이 안저 이미지에 기초하여 심혈관 질병 진단 보조 정보를 출력하도록 학습되고, 대상 안저 이미지에 기초하여 피검체의 심혈관 질병 진단 보조 정보를 획득하는 경우를 기준으로 설명Hereinafter, the cardiovascular disease diagnosis neural network model is trained to output cardiovascular disease diagnosis assistance information based on the fundus image, and is described based on a case where the cardiovascular disease diagnosis assistance information is obtained based on the target fundus image.
본 명세서에서, 심혈관 질병 진단 보조 신경망 모델의 학습 및 심혈관 질병 진단 보조 신경망 모델을 통한 심혈관 질병 진단 보조 정보 획득에 이용되는 안저 이미지는, 안구의 요소를 촬영하여 획득된 다양한 형태의 이미지로 이해될 수 있다. 예컨대, 안저 이미지는 안저 이미지는 OCT(Optical Coherence Tomography) 이미지, OCT 혈관 조영 이미지 또는 안저 혈관 조영 이미지를 포함할 수 있다. 또한, 본 명세서에서 설명하는 안저 이미지로서, 전술한 이미지 데이터 획득 항목에서 설명한 다양한 형태의 안저 이미지가 이용될 수도 있다. 예컨대, 파노라마 안저 이미지, 와이드 안저 이미지, 레드프리 안저 이미지, 적외선 촬영 안저 이미지, 자가 형광 안저 이미지 등이 이용될 수 있다.In the present specification, the fundus image used for learning the cardiovascular disease diagnosis neural network model and acquiring the cardiovascular disease diagnosis aid information through the cardiovascular disease diagnosis neural network model may be understood as various types of images obtained by photographing eye elements. have. For example, the fundus image may include an optical coherence tomography (OCT) image, an OCT angiography image, or a fundus angiography image. In addition, as the fundus image described herein, various types of fundus images described in the above-described image data acquisition item may be used. For example, a panoramic fundus image, a wide fundus image, a red free fundus image, an infrared photographic fundus image, a self-fluorescence fundus image, and the like may be used.
다시 말해, 이하에서 설명하는 심혈관 질병 진단 보조 신경망 모델은 OCT 이미지, OCT 혈관 조영 이미지 또는 안저 혈관 조영 이미지를 이용하여 학습될 수 있다. 또는, 이하에서 설명하는 심혈관 질병 진단 보조 신경망 모델은 파노라마 안저 이미지, 와이드 안저 이미지, 레드프리 안저 이미지, 적외선 촬영 안저 이미지, 자가 형광 안저 이미지를 이용하여 학습될 수 있다. In other words, the cardiovascular disease-assisted neural network model described below may be trained using an OCT image, an OCT angiography image, or a fundus angiography image. Alternatively, the cardiovascular disease diagnosis assisted neural network model described below may be trained using a panoramic fundus image, a wide fundus image, a red-free fundus image, an infrared photographic fundus image, and a self-fluorescence fundus image.
또한, 이하에서 설명하는 심혈관 질병 진단 보조 신경망 모델은, 피검체로부터 획득된 대상 OCT 이미지, 대상 OCT 혈관 조영 이미지 또는 대상 안저 혈관 조영 이미지에 기초하여 심혈관 질병 진단 보조 정보를 출력할 수 있다.In addition, the cardiovascular disease diagnosis assistance neural network model described below may output cardiovascular disease diagnosis assistance information based on a target OCT image, a target OCT angiogram image, or a target fundus angiography image obtained from a subject.
다시 말해, 이하에서 설명하는 심혈관 질병 진단 보조 신경망 모델은 파노라마 안저 이미지, 와이드 안저 이미지, 레드프리 안저 이미지, 적외선 촬영 안저 이미지, 자가 형광 안저 이미지를 이용하여 학습될 수 있다. In other words, the cardiovascular disease diagnosis assisted neural network model described below may be trained using a panoramic fundus image, a wide fundus image, a red free fundus image, an infrared photographic fundus image, and a self-fluorescence fundus image.
일 예로, 심혈관 질병 진단 보조 신경망 모델의 학습을 위한 안저 이미지가 획득될 수 있다.For example, a fundus image for learning a cardiovascular disease diagnosis assistive neural network model may be obtained.
학습 단계에서, 안저 이미지는, 심혈관 질병 진단 정보가 획득된 시점으로부터 소정 기간 이내에 촬상된 안저 이미지일 수 있다. 예컨대, 안저 이미지는, 환자가 관상동맥 칼슘 스코어 획득을 위하여 심장 CT를 촬영한 시점으로부터 1년 전후로 촬상된 안저 이미지일 수 있다. 안저 이미지는, 심혈관 질병 진단 정보와 함께 획득될 수 있다.In the learning stage, the ocular fundus image may be an ocular fundus image photographed within a predetermined time period from when the cardiovascular disease diagnosis information is obtained. For example, the ocular fundus image may be an ocular fundus image photographed about one year before and after the heart CT is taken to obtain coronary calcium scores. The fundus image may be acquired with cardiovascular disease diagnostic information.
학습 단계에서 이용되는 안저 이미지는, 적어도 하나의 진단 보조 정보가 라벨링된 안저 이미지일 수 있다. The fundus image used in the learning step may be a fundus image labeled with at least one diagnostic assistant information.
안저 이미지에 라벨링되는 진단 보조 정보는, 질병의 유무를 지시하는 질병 정보일 수 있다. 예컨대, 안저 이미지에는 해당 이미지에 대응되는 환자가 관상동맥질환을 가지는지 여부를 나타내는 관상동맥질환 정보가 라벨링되어 있을 수 있다. The diagnostic assistance information labeled on the fundus image may be disease information indicating presence or absence of a disease. For example, the fundus image may be labeled with coronary artery disease information indicating whether the patient corresponding to the image has coronary artery disease.
또 예컨대, 안저 이미지에는, 환자의 대상 질병에 대한 정상 여부(또는, 환자가 위험군에 속하는지 여부)를 나타내는 정상 정보가 라벨링되어 있을 수 있다. 예를 들어, 환자가 관상동맥질환의 위험군인지 아닌지를 나타내는 위험 정보가 라벨링되어 있을 수 있다. In addition, for example, the fundus image may be labeled with normal information indicating whether the patient is normal for the target disease (or whether the patient belongs to a risk group). For example, risk information may be labeled indicating whether the patient is at risk for coronary artery disease.
위험군 여부는 환자의 관상동맥 칼슘 점수에 따라 결정된 것일 수 있다. 예를 들어, 관상동맥 칼슘 점수가 10 이하인 경우, 환자는 정상군으로 결정될 수 있다. 환자로부터 촬상된 안저 이미지에는 정상 라벨이 라벨링될 수 있다. 관상동맥 칼슘 점수가 11 이상인 경우, 환자는 위험군 또는 비정상군으로 결정될 수 있다. 환자로부터 촬상된 안저 이미지에는 위험 라벨 또는 비정상 라벨이 라벨링될 수 있다.The risk group may be determined according to the coronary calcium score of the patient. For example, if the coronary artery calcium score is 10 or less, the patient can be determined to be a normal group. The ocular fundus image taken from the patient may be labeled with a normal label. If the coronary artery calcium score is 11 or greater, the patient may be determined as a risk group or an abnormal group. The fundus image taken from the patient may be labeled with a hazard label or an abnormal label.
안저 이미지에 라벨링되는 진단 보조 정보는, 질병의 정도를 지시하는 등급 정보일 수 있다. 예컨대, 안저 이미지에는 해당 이미지에 대응되는 환자의 관상동맥질환 위험도를 지시하는 등급이(예를 들어, A 내지 E 등급)이 라벨링되어 있을 수 있다. The diagnostic assistance information labeled on the fundus image may be grade information indicating the degree of disease. For example, the fundus image may be labeled with a grade (eg, grades A through E) that indicates the risk of coronary artery disease in the patient corresponding to that image.
질병의 정도를 지시하는 등급은, 대상 질병의 위험도를 나타내기 위하여 일반적으로 이용되는 등급 체계를 참조하여 마련될 수 있다. 질병의 정도를 지시하는 등급은 사용자의 선택에 따라 그 수 및 각 등급에서 지시하는 수치 범위가 정해질 수 있다. A rating indicating the extent of the disease may be provided with reference to a rating system commonly used to indicate the risk of the subject disease. The grade indicating the degree of disease may be determined by the number of users and the numerical range indicated by each grade according to the user's selection.
일 예에 따르면, 질병의 정도를 지시하는 등급은 신경망 모델 또는 미리 마련된 알고리즘을 통하여 생성된 등급들로부터 선택될 수 있다. 질병의 정도를 지시하는 등급은 적어도 하나의 사용자 입력을 고려하여 신경망 모델 또는 알고리즘에 의하여 정해진 등급들로부터 선택될 수 있다. 구체적인 예로, 질병의 정도를 지시하는 등급은, 안저 이미지로부터 신경망 모델이 예측한 진단 보조 정보 및 그 진단 보조 정보에 기초하여 사용자가 선택한 처방 또는 등급 분류에 기초하여 결정될 수 있다.According to one example, the rating indicative of the extent of the disease may be selected from ratings generated through a neural network model or a predefined algorithm. The rating indicative of the extent of the disease may be selected from ratings determined by the neural network model or algorithm in consideration of at least one user input. As a specific example, the grade indicating the degree of the disease may be determined based on the prescription or classification selected by the user based on the diagnosis aid information predicted by the neural network model from the fundus image and the diagnosis aid information.
안저 이미지에 라벨링되는 진단 보조 정보는, 질병의 정도를 나타내는 수치 정보일 수 있다. 안저 이미지에는 대상 질병의 진단에 이용되는 점수 값이 라벨링되어 있을 수 있다. 예컨대, 안저 이미지에는 해당 이미지에 대응되는 환자에 대하여 심장CT를 통하여 얻어진 관상동맥 칼슘 점수가 라벨링되어 있을 수 있다. 예컨대, 안저 이미지에는 환자의 관상동맥 칼슘 점수 값으로서, 0, 5, 17,134, 587 등의 수치 값이 라벨링되어 있을 수 있다.The diagnostic assistance information labeled on the fundus image may be numerical information indicating a degree of disease. The fundus image may be labeled with a score value used for diagnosis of the target disease. For example, the fundus image may be labeled with a coronary calcium score obtained through cardiac CT for the patient corresponding to the image. For example, the fundus image may be labeled with numerical values, such as 0, 5, 17, 134, 587, as coronary calcium score values of the patient.
도 32는 안저 이미지에 라벨링되는 심혈관 질병 진단 보조 정보를 설명하기 위한 도면이다. 도 32를 참조하면, 안저 이미지에 라벨링되는 심혈관 질병 진단 보조 정보로서 대상 질병에 대한 위험도를 나타내는 등급 유무 정보, 대상 질병의 진단에 이용되는 점수 정보 및/또는 대상 질병에 대한 위험군 해당 여부를 나타내는 질병 유무 정보(또는 위험 정보)는 서로 매칭될 수 있다.FIG. 32 is a diagram for describing cardiovascular disease diagnosis assistance information labeled on an fundus image. FIG. Referring to FIG. 32, as the cardiovascular disease diagnosis assistance information labeled in the fundus image, grade information indicating a risk level for a target disease, score information used for diagnosing a target disease, and / or a disease indicating whether a risk group corresponds to a target disease Presence information (or risk information) may be matched with each other.
도 32의 (a)를 참조하면, 피검체가 대상 질병에 대하여 위험군에 속함을 나타내는 위험 정보 및 피검체가 정상군에 속함을 나타내는 정상 정보를 포함하는 질병 유무 정보는 대상 질병의 진단에 이용되는 수치, 즉, 점수 정보와 매칭될 수 있다. 구체적인 예로, 도 32의 (a)를 참조하면, 정상 정보는 수치가 0 내지 10인 점수 정보와 매칭될 수 있다. 위험 정보(또는 비정상 정보)는 수치가 10 이상인 점수 정보와 매칭될 수 있다.Referring to (a) of FIG. 32, disease presence information including risk information indicating that a subject belongs to a risk group and normal information indicating that a subject belongs to a normal group is used to diagnose a target disease. A numerical value, i.e., score information, may be matched. As a specific example, referring to FIG. 32A, normal information may be matched with score information having a value of 0 to 10. FIG. Risk information (or abnormal information) may be matched with score information having a value of 10 or more.
도 32의 (b)를 참조하면, 심혈관 질병 진단 보조 정보는 환자가 정상임을 지시하는 A등급, 환자가 대상 심혈관 질병에 대하여 경도 위험성을 가짐을 지시하는 B 등급, 환자가 대상 심혈관 질병에 대하여 중등도 위험성을 가짐을 지시하는 C 등급, 환자가 대상 심혈관 질병에 대하여 중고등도 위험성을 가짐을 지시하는 D 등급, 환자가 대상 심혈관 질병에 대하여 고등도 위험성을 가짐을 지시하는 E등급 중 선택될 수 있다. Referring to (b) of FIG. 32, the cardiovascular disease diagnosis assistance information includes a grade A indicating that the patient is normal, a grade B indicating that the patient has a mild risk for the target cardiovascular disease, and the patient has a moderate degree to the target cardiovascular disease. Class C may be selected to indicate a risk, class D to indicate that the patient has a moderate risk for the target cardiovascular disease, or grade E to indicate that the patient has a high risk for the target cardiovascular disease.
일 예에 따르면, A 등급은 관상동맥 질환 위험이 매우 낮음을 나타낼 수 있다. B 등급은 관상동맥 질환 위험이 낮음을 나타낼 수 있다. C 등급은 관상동맥 질환 위험이 경미함을 나타낼 수 있다. 또는, C 등급은 경미한 관상 동맥 협착 가능성을 나타낼 수 있다. D 등급은 관상동맥 질환 위험이 높음을 나타낼 수 있다. D 등급은 상당한 관상 동맥 협착 가능성을 나타낼 수 있다. E 등급은 관상동맥 석회화가 광범위함을 나타낼 수 있다. E 등급은 적어도 하나의 관상 동맥 협착 가능성을 나타낼 수 있다.According to one example, Grade A may indicate a very low risk of coronary artery disease. Grade B may indicate a low risk of coronary artery disease. Grade C may indicate that the risk of coronary artery disease is minor. Or, a C grade may indicate a slight coronary artery stenosis potential. Grade D may indicate a high risk of coronary artery disease. Grade D may indicate significant coronary artery stenosis potential. Grade E may indicate a wide range of coronary artery calcification. The E grade may indicate the possibility of at least one coronary artery stenosis.
도 32의 (b)를 참조하면, 심혈관 질병 진단 보조 정보로서 대상 질병에 대한 위험도를 나타내는 A 내지 E 등급을 포함하는 등급 정보는 대상 질병의 진단에 이용되는 점수 정보와 매칭될 수 있다. Referring to (b) of FIG. 32, grade information including grades A to E representing a risk for a target disease as cardiovascular disease diagnosis assistance information may be matched with score information used for diagnosing a target disease.
일 예로, 등급 라벨(또는 등급 정보)은 점수 범위 또는 점수 라벨(또는 점수 정보)과 매칭될 수 있다. 예컨대, A 등급 라벨은 점수(수치 범위)가 0인 점수 라벨과 매칭되고, B 등급 라벨은 점수가 1 내지 10인 점수 라벨과 매칭되고, C 등급 라벨은 점수가 10 내지 100인 점수 라벨과 매칭되고, D 등급 라벨은 점수가 100 내지 400인 점수 라벨과 매칭되고, E 등급 라벨은 점수가 400 이상인 점수 라벨과 매칭될 수 있다.For example, the grade label (or grade information) may be matched with a score range or score label (or score information). For example, a grade A label matches a score label with a score (number range) of zero, a grade B label matches a score label with scores 1-10, and a grade C label matches a score label with scores 10-100. And, the D grade label may be matched with a score label with a score of 100 to 400, and the E grade label may be matched with a score label with a score of 400 or more.
일 예로, 등급 라벨은 심장 CT를 통하여 측정된 관상동맥 칼슘 점수에 기초하여 결정될 수 있다. 도 32의 (b)를 참조하면, 환자의 관상동맥 칼슘 점수가 0인 경우, 환자는 관상동맥 질환에 대하여 정상인 것으로 판단되고 안저 이미지에 부여되는 등급 라벨은 A등급 라벨로 결정될 수 있다. 환자의 관상동맥 칼슘 점수가 1 내지 10인 경우, 환자는 관상동맥 질환에 대하여 경도 위험성을 가지는 것으로 판단되고, 안저 이미지에 부여되는 등급 라벨은 B등급 라벨로 결정될 수 있다. 환자의 관상동맥 칼슘 점수가 10 내지 100인 경우, 환자는 관상동맥 질환에 대하여 중등도 위험성을 가지는 것으로 판단되고 안저 이미지에 부여되는 등급 라벨은 C등급 라벨로 결정될 수 있다. 환자의 관상동맥 칼슘 점수가 100 내지 400인 경우, 환자는 관상동맥 질환에 대하여 중고등도 위험성을 가지는 것으로 판단되고 안저 이미지에 부여되는 등급 라벨은 D등급 라벨로 결정될 수 있다. 환자의 관상동맥 칼슘 점수가 400 이상인 경우, 환자는 관상동맥 질환에 대하여 고등도 위험성을 가지는 것으로 판단되고 안저 이미지에 부여되는 등급 라벨은 E등급 라벨로 결정될 수 있다.In one example, the grade label may be determined based on a coronary calcium score measured via cardiac CT. Referring to FIG. 32B, when the coronary artery calcium score of the patient is 0, the patient is determined to be normal for coronary artery disease, and the grade label given to the fundus image may be determined as the grade A label. If the patient's coronary calcium score is 1 to 10, the patient is determined to have a mild risk for coronary artery disease, and the grade label given to the fundus image may be determined as a grade B label. If the patient has a coronary artery calcium score of 10 to 100, the patient is determined to have a moderate risk for coronary artery disease and the grade label given to the fundus image may be determined as a grade C label. If the patient has a coronary calcium score of 100 to 400, the patient is determined to have a moderate risk for coronary artery disease and the grade label given to the fundus image may be determined as a grade D label. If the patient has a coronary calcium score of 400 or more, the patient is determined to have a higher risk for coronary artery disease and the grade label given to the fundus image may be determined as a grade E label.
도 32의 (a) 및 (b)를 참조하면, 질병 유무 정보, 등급 정보 및/또는 점수 정보는 서로 매칭될 수 있다. 도 32와 관련하여 설명한 심혈관 질병 진단 보조 정보의 매칭 관계는 본 명세서에서 설명하는 신경망 모델의 학습 또는 진단 보조 정보의 비교 또는 제공 등에 이용될 수 있다.Referring to (a) and (b) of FIG. 32, disease presence information, grade information, and / or score information may be matched with each other. The matching relationship of the cardiovascular disease diagnosis assistance information described with reference to FIG. 32 may be used for comparing or providing learning or diagnosis assistance information of the neural network model described herein.
한편, 위험도를 나타내는 등급 또는 질병 유무 정보는, 피검체의 성별, 나이 등의 추가 요인에 따라 달리 결정될 수 있다. 다시 말해, 피검체의 성별 또는 나이 등에 따라, 도 32에서 도시하는 것과 같은 매칭 관계가 달리 결정될 수 있다.Meanwhile, the grade or disease presence information indicating the risk may be differently determined according to additional factors such as gender and age of the subject. In other words, a matching relationship as shown in FIG. 32 may be determined differently according to the gender or age of the subject.
다른 예로, 신경망 모델을 이용한 심혈관 질병의 진단을 위한 대상 안저 이미지가 획득될 수 있다. 안저 이미지의 획득은 클라이언트 장치, 촬상부 또는 모바일 장치 등에 의해 수행될 수 있다. 안저 이미지의 획득과 관련하여, 본 명세서에서 전술한 내용이 적용될 수 있다.As another example, a target fundus image for diagnosing a cardiovascular disease using a neural network model may be obtained. Acquisition of the fundus image may be performed by a client device, an imaging unit or a mobile device. Regarding acquisition of the fundus image, the foregoing may be applied herein.
진단 보조 단계에서 이용되는 안저 이미지는, 심혈관 질병 진단 시점으로부터 소정 기간 이내에 획득된 안저 이미지일 수 있다. 예컨대, 진단 보조의 기초가 되는 대상 안저 이미지는 심혈관 질병 진단 시점으로부터 1년 전후로 촬영된 이미지일 수 있다.The ocular fundus image used in the diagnosis assisting step may be an ocular fundus image acquired within a predetermined period of time from a cardiovascular disease diagnosis time point. For example, the subject fundus image that is the basis of the diagnosis assistant may be an image taken about one year from the time of diagnosing the cardiovascular disease.
진단 보조 프로세스에서, 획득된 안저 이미지는 진단 대상 안저 이미지일 수 있다. 진단 대상 안저 이미지와 함께 피검체를 식별하기 위한 식별 정보 또는 대상 질병의 진단에 이용될 수 있는 부가 정보가 획득될 수 있다. 예컨대, 환자의 성별, 나이, 흡연 여부 등과 같은 관련 정보가 대상 안저 이미지와 함께 획득될 수 있다.In the diagnosis assisting process, the acquired fundus image may be a diagnosis fundus image. Identification information for identifying a subject or additional information that may be used for diagnosing a target disease may be obtained along with the diagnosis fundus image. For example, relevant information such as the sex, age, smoking status, etc. of the patient may be obtained along with the subject fundus image.
2.3.3 안저 이미지 재구성2.3.3 Fundus image reconstruction
심혈관 질병 진단 보조 신경망 모델의 학습 또는 신경망 모델을 이용한 심혈관 질병의 진단 보조를 위하여, 안저 이미지가 재구성될 수 있다. 안저 이미지의 재구성은 전술한 진단 보조 시스템, 진단 장치, 학습 장치, 클라이언트 장치, 모바일 장치 또는 서버 장치에서 수행될 수 있다. 각 장치의 제어부 또는 프로세서는 이미지의 재구성을 수행할 수 있다.Fundus image may be reconstructed for learning cardiovascular disease aided neural network model or for aiding in diagnosis of cardiovascular disease using neural network model. Reconstruction of the fundus image may be performed in the above-described diagnostic assistance system, diagnostic device, learning device, client device, mobile device or server device. The controller or processor of each device may perform reconstruction of the image.
안저 이미지의 재구성은, 심혈관 질병 진단 신경망 모델의 학습 또는 신경망 모델을 이용한 심혈관 질병 진단 보조의 효율이 향상될 수 있는 형태로 안저 이미지를 변형(modificate)하는 것을 포함할 수 있다. 예컨대, 이미지를 재구성하는 것은, 안저 이미지를 블러 처리하거나 안저 이미지의 색도 또는 채도를 변경하는 것을 포함할 수 있다.Reconstruction of the fundus image may include modifying the fundus image in a form in which the learning of the cardiovascular disease diagnosis neural network model or the cardiovascular disease diagnosis aid using the neural network model can be improved. For example, reconstructing the image may include blurring the fundus image or changing the chromaticity or saturation of the fundus image.
예컨대, 안저 이미지의 용량을 줄이거나, 색상 채널을 단순화할 경우, 신경망 모델에서 처리해야 할 데이터의 양이 줄어듦에 따라 결과의 정확도 또는 결과 획득 속도가 향상될 수 있다.For example, if the capacity of the fundus image is reduced or the color channel is simplified, the accuracy of the result or the speed of acquiring the result may be improved as the amount of data to be processed in the neural network model is reduced.
안저 이미지에는 다양한 형태의 전처리 또는 변환이 가해질 수 있다. 안저 이미지의 전처리는 촬상된 상태의 안저 이미지에 대하여 수행되는 다양한 형태의 이미지 처리 작업을 의미할 수 있다. 안저 이미지의 전처리는, 데이터 가공 프로세스 항목에서 설명한 이미지 리사이징, 이미지 전처리, 이미지 증강, 이미지 직렬화 등 중 적어도 일부 처리를 포함할 수 있다. The fundus image may be subjected to various forms of preprocessing or transformation. The preprocessing of the fundus image may refer to various types of image processing operations performed on the fundus image in the photographed state. The preprocessing of the fundus image may include at least some processing of image resizing, image preprocessing, image enhancement, image serialization, and the like described in the data processing process item.
일 실시예에 따르면, 안저 이미지의 재구성 방법은, 안저 이미지에 포함되는 혈관이 분포하는 영역을 강조하는 전처리가 수행하는 것을 포함할 수 있다. 또는, 안저 이미지의 재구성 방법은, 안저 이미지상에서 출혈이 위치되는 영역을 강조하는 전처리를 수행하는 것을 포함할 수 있다.According to an embodiment, the reconstruction method of the fundus image may include performing a preprocessing for emphasizing a region in which blood vessels included in the fundus image are distributed. Alternatively, the reconstruction method of the fundus image may include performing a preprocessing to emphasize the area where the bleeding is located on the fundus image.
혈관 강조 전처리는 안저 이미지에 블러 처리를 수행하는 것을 포함할 수 있다. 혈관 강조 전처리는 안저 이미지에 필터 처리를 수행하는 것을 포함할 수 있다. 예컨대, 혈관 강조 전처리는 안저 이미지에 가우시안 필터를 적용하는 것을 포함할 수 있다.Vascular emphasis preprocessing may include performing a blur treatment on the fundus image. Blood vessel pretreatment may include performing filter processing on the fundus image. For example, vascular emphasis pretreatment may include applying a Gaussian filter to the fundus image.
혈관 강조 전처리는 잡음 제거(image noise filtering) 처리를 포함할 수 있다. 혈관 강조 전처리는 각인(inprinting)처리를 포함할 수 있다. 혈관 강조 전처리는 RGV, La*b*, HSV를 포함하는 색상 스페이스의 조합 및/또는 최적화를 포함할 수 있다. 혈관 강조 전처리는 히스토그램 스트레칭, 히스토그램 이퀄라이제이션, 히스토그램 노멀라이제이션 중 어느 하나를 포함할 수 있다. 혈관을 강조하는 것은, 이미지에 평활화를 수행하는 것을 포함할 수 있다. 평활화는 가우시안 필터를 이용하여 수행될 수 있다.Blood vessel emphasis preprocessing may include image noise filtering processing. Blood vessel pretreatment may comprise an imprinting process. Vascular emphasis pretreatment may comprise a combination and / or optimization of color spaces including RGV, La * b *, HSV. Vascular emphasis pretreatment may include any of histogram stretching, histogram equalization, histogram normalization. Emphasizing the blood vessels may include performing smoothing on the image. Smoothing can be performed using a Gaussian filter.
혈관을 강조하는 것은 별도로 마련된 혈관 강조 필터를 적용하는 것을 포함할 수 있다. 혈관 강조 필터는 본 명세서에서 서술하는 다양한 형태의 전처리 중 일부를 포함하는 필터일 수 있다.Emphasizing the blood vessels may include applying a separately provided vessel emphasis filter. The vessel emphasis filter may be a filter that includes some of the various types of pretreatment described herein.
혈관을 강조하는 것은 색공간을 변환하고, 휘도 성분에 기초하여 구분되는 혈관 영역을 강조하는 것을 포함할 수 있다. Emphasizing blood vessels may include transforming the color space and emphasizing the distinct vessel region based on the luminance component.
혈관을 강조하는 것은, 오브젝트를 팽창 및/또는 수축시키는 것을 포함할 수 있다. 예컨대, 혈관을 강조하는 것은, 혈관이 분포하는 영역의 경계에 픽셀을 부가하거나 경계로부터 픽셀을 제거하는 것을 포함할 수 있다.Emphasizing the blood vessels may include inflating and / or contracting the object. For example, emphasizing blood vessels may include adding pixels to or removing pixels from the boundary of the region in which the blood vessels are distributed.
혈관을 강조하는 것은, 이미지에 팽창 처리를 하고, 팽창 처리된 이미지의 휘도 이미지를 획득하는 것을 포함할 수 있다. 혈관을 강조하는 것은, 이미지에 대하여 수축 처리를 하고, 수축 처리된 이미지의 휘도 이미지를 획득하는 것을 포함할 수 있다. Emphasizing the blood vessels may include expanding the image and obtaining a luminance image of the expanded image. Emphasizing the blood vessels may include shrinking the image and obtaining a luminance image of the shrinked image.
일 실시예에 따르면, 혈관이 강조되도록 안저 이미지를 재구성하는 것은, 안저 이미지를 블러 처리하고, 블러 처리된 안저 이미지에 가우시안 필터를 적용하고, 가우시안 필터가 적용된 안저 이미지에 포함된 혈관을 강조(또는 추출)하는 것을 포함할 수 있다. 혈관의 강조 또는 추출하기 위하여는 상술한 처리들 중 일부 또는 전부가 이용될 수 있다.According to one embodiment, reconstructing the fundus image such that the vessel is highlighted, blurring the fundus image, applying a Gaussian filter to the blurred fundus image, and emphasizing the vessels included in the fundus image to which the Gaussian filter is applied (or Extraction). Some or all of the processes described above may be used to emphasize or extract blood vessels.
안저 이미지를 재구성하는 것은 혈관을 추출하는 것을 포함할 수 있다. 예컨대, 안저 이미지를 재구성하는 것은 혈관 세그멘테이션을 형성하는 것을 포함할 수 있다.Reconstructing the fundus image may include extracting blood vessels. For example, reconstructing the fundus image may include forming vascular segmentation.
혈관을 강조하는 것은, 혈관이 분포하는 영역 또는 추출된 혈관 이미지를 가공하는 것을 포함할 수 있다. 예컨대, 혈관을 강조하는 것은, 안저 이미지 중 혈관이 분포하는 영역 또는 안저 이미지로부터 추출된 혈관 이미지의 색상, 밝기, 히스토그램을 변경하는 것을 포함할 수 있다.Emphasizing the blood vessels may include processing the region in which the blood vessels are distributed or the extracted blood vessel image. For example, emphasizing blood vessels may include changing the color, brightness, histogram of the region in which the blood vessels are distributed in the fundus image or the blood vessel image extracted from the fundus image.
혈관을 강조하는 것은, 전술한 처리 중 적어도 하나의 처리 절차를 복수 회 수행하는 것을 포함할 수 있다.Emphasizing blood vessels may include performing the treatment procedure at least one of the foregoing treatments multiple times.
한편, 혈관 강조 전처리는 선택적으로 수행될 수 있다. 혈관 강조 전처리의 사용 여부는사용자에 의해 선택될 수 있다. 예컨대, 심혈관 질병 진단 보조 신경망 모델의 학습 또는 신경망 모델을 이용한 심혈관 질병 진단의 보조를 수행하는 장치는, 혈관 강조 전처리 여부에 대한 사용자 입력을 획득하고, 사용자 입력에 따라 혈관 강조 전처리를 수행하거나 생략할 수 있다.On the other hand, vascular emphasis pretreatment may be optionally performed. Whether to use vascular emphasis pretreatment may be selected by the user. For example, an apparatus for performing cardiovascular disease diagnosis assisted neural network model or assisting cardiovascular disease diagnosis using the neural network model may acquire a user input on whether blood vessel stress pretreatment is performed and perform or omit blood vessel stress pretreatment according to the user input. Can be.
일 실시예에 따르면, 안저 이미지 재구성 방법은, 안저 이미지에 시신경섬유가 분포하는 영역을 강조하는 전처리를 수행하는 것을 포함할 수 있다. 안저 이미지 재구성 방법은, 시신경섬유가 분포하는 영역을 추출하여 시신경 섬유 추출 이미지를 생성하는 것을 포함할 수 있다. 시신경 섬유가 분포하는 영역을 강조하거나 시신경 섬유를 추출하는 것은, 안저 이미지에 대하여 가우시안 필터 처리, 블러 처리, 히스토그램 변환, 색조 변환 등의 전처리를 수행하는 것을 포함할 수 있다. According to an embodiment, the fundus image reconstruction method may include performing a preprocessing to emphasize an area in which the optic nerve fibers are distributed in the fundus image. The fundus image reconstruction method may include generating an optic fiber extract image by extracting an area in which the optic nerve fibers are distributed. Emphasizing the area where the optic nerve fibers are distributed or extracting the optic nerve fibers may include performing a pretreatment such as a Gaussian filter process, a blur process, a histogram transformation, and a color tone transformation on the fundus image.
안저 이미지를 이용하면, 비침습적으로 혈관 형태를 관찰할 수 있다는 장점이 있다. 따라서, 안저 이미지를 심혈관 질병의 진단에 이용할 경우, 안저 이미지로부터 얻어지는 혈관의 형태에 기초하여 심혈관 질병의 진단에 이용할 수 있는 보조 정보가 얻어질 수 있다. 이에 따라, 본 명세서에서 설명하는 것처럼, 안저 이미지에 포함된 혈관 부분이 보다 강조되도록 재구성된 안저 이미지를 이용할 경우, 보다 정확한 심혈관 질병 진단 보조 정보가 얻어질 수 있다.Using the fundus image has the advantage of observing vascular morphology non-invasively. Therefore, when the fundus image is used for diagnosis of cardiovascular disease, supplementary information that can be used for diagnosis of cardiovascular disease can be obtained based on the shape of blood vessel obtained from the fundus image. Accordingly, as described herein, more accurate cardiovascular disease diagnosis assistance information may be obtained when using the fundus image reconstructed so that the vascular part included in the fundus image is more emphasized.
2.3.4 심혈관 질병 진단 보조 신경망 모델 학습 2.3.4 Learning Cardiovascular Disease Assisted Neural Network Models
2.3.4.1 심혈관 질병 진단을 위한 신경망 모델 학습 일반2.3.4.1 General Training of Neural Network Models for Cardiovascular Disease Diagnosis
전술한 진단 보조 시스템, 학습 장치, 서버 장치 또는 모바일 장치는 안저 이미지를 이용하여 심혈관 질병 진단 보조 신경망을 학습할 수 있다. 각 장치의 학습부, 제어부 또는 프로세서는 심혈관 질병 진단 보조 신경망 모델의 학습을 수행할 수 있다. 심혈관 질병 진단 보조 신경망 모델을 학습하는 것에는, 도 8, 13 내지 17과 관련하여 전술한 신경망 모델의 학습 프로세스가 유추 적용될 수 있다. The above-described diagnostic assistance system, learning device, server device, or mobile device may learn cardiovascular disease diagnosis assistance neural network using the fundus image. The learning unit, the controller, or the processor of each device may perform training of the cardiovascular disease diagnosis neural network model. In learning the cardiovascular disease diagnosis assistance neural network model, the learning process of the neural network model described above with reference to FIGS. 8 and 13 to 17 may be inferred.
심혈관 질병 진단 보조 신경망 모델은 라벨을 포함하는 학습 데이터를 이용하여 학습될 수 있다. 심혈관 질병 진단 보조 신경망 모델은 라벨링된 안저 이미지를 이용하여 학습될 수 있다. The cardiovascular disease diagnosis aid neural network model may be trained using learning data including labels. The cardiovascular disease diagnosis aid neural network model can be trained using labeled fundus images.
이하에서는, 도 1 내지 30과 관련하여 설명한 내용을 기초로, 심혈관 질병의 진단을 보조하기 위한 신경망 모델을 학습하는 경우에 특유한 내용을 중심으로 설명한다.Hereinafter, based on the contents described with reference to FIGS. 1 to 30, the description will be focused on the specific contents when learning a neural network model for assisting the diagnosis of cardiovascular disease.
도 33은 본 발명의 일 실시예에 따른 학습부(400)를 설명하기 위한 도면이다. 도 33을 참조하면, 본 발명의 일 실시예에 따른 학습부(400)는 큐 모듈(401), 심혈관 질병 진단 보조 신경망 모델 학습 모듈(403), 학습 결과 획득 모듈(405)을 포함할 수 있다.33 is a diagram for describing a
큐 모듈(401)은, 안저 이미지 데이터를 임시로 저장하고 신경망 모델에 공급할 수 있다. 큐 모듈(401)과 관련하여서는 전술한 큐 항목에서 설명한 내용이 유사하게 적용될 수 있다.The
심혈관 질병 진단 보조 신경망 모델 학습 모듈(403)은 안저 이미지를 획득하고, 심혈관 질병 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득하고, 획득된 진단 보조 정보를 입력된 이미지에 실제로 부여된 라벨과 비교하고, 비교 결과에 따라 심혈관 질병 진단 보조 신경망 모델을 갱신하여 심혈관 질병 진단 보조 신경망 모델을 학습할 수 있다. The cardiovascular disease diagnosis neural network
학습 결과 획득 모듈(405)은 학습된 심혈관 질병 진단 보조 신경망 모델 또는 학습된 심혈관 질병 진단 보조 신경망 모델의 파라미터를 획득할 수 있다. 예컨대, 학습 결과 획득 모듈(405)은 학습된 심혈관 질병 진단 보조 신경망 모델에 포함된 노드의 웨이트 값을 획득할 수 있다. The learning
도 34는 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 신경망 모델을 학습하는 방법을 설명하기 위한 도면이다. 도 34을 참조하면, 본 발명의 일 실시예에 따른 질병 진단 보조 신경망 모델을 학습하는 방법은, 안저 이미지 및 라벨을 획득하는 단계(S4011), 심혈관 질병 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득하는 단계(S4012), 획득된 정보를 라벨과 비교하여 심혈관 질병 진단 보조 신경망 모델을 갱신하는 단계(S4015) 및 학습 결과를 획득하는 단계(S4017)를 포함할 수 있다.34 is a diagram illustrating a method of learning a cardiovascular disease diagnosis neural network model according to an embodiment of the present invention. Referring to FIG. 34, in the method of learning a disease diagnosis aid neural network model according to an embodiment of the present disclosure, obtaining the fundus image and a label (S4011), and using the cardiovascular disease diagnosis aid neural network model, the diagnosis assistance information may be obtained. Acquiring (S4012), comparing the obtained information with the label to update the cardiovascular disease diagnosis neural network model (S4015) and obtaining a learning result (S4017).
안저 이미지 및 라벨을 획득하는 단계(S4011)는 안저 이미지 학습 데이터를 획득하는 것을 포함할 수 있다. 안저 이미지 학습 데이터는 복수의 안저 이미지 및 각각의 안저 이미지에 부여된 라벨을 획득하는 것을 포함할 수 있다. 획득된 안저 이미지 및 라벨은 별도로 관리될 수 있다. 획득된 안저 이미지는 신경망 모델에 입력되어 진단 보조 정보 획득의 기초로 이용되고, 획득된 라벨은 신경망 모델의 갱신을 위하여 획득된 진단 보조 정보와 비교될 수 있다.Acquiring the fundus image and label in operation S4011 may include acquiring the fundus image training data. The fundus image training data may include acquiring a plurality of fundus images and a label assigned to each fundus image. The acquired fundus image and label can be managed separately. The acquired fundus image may be input to the neural network model and used as a basis for obtaining the diagnosis assistance information, and the obtained label may be compared with the diagnosis assistance information obtained for updating the neural network model.
안저 이미지 학습 데이터는 제1 안저 이미지, 제1 안저 이미지에 부여된 제1 라벨, 제2 안저 이미지 및 제2 안저 이미지에 부여된 제2 라벨을 포함할 수 있다. 제1 라벨 및 제2 라벨은 동종일 수 있다. 예컨대, 제1 라벨 및 제2 라벨은 수치 값 라벨 또는 등급 라벨일 수 있다.The fundus image training data may include a first fundus image, a first label attached to the first fundus image, a second fundus image, and a second label attached to the second fundus image. The first label and the second label may be homogeneous. For example, the first label and the second label can be numerical value labels or grade labels.
심혈관 질병 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득하는 단계(S4013)는, 안저 이미지에 기초하여 심혈관 질병 진단 보조 정보를 출력하도록 마련된 신경망 모델을 이용하여, 입력된 안저 이미지에 대한 심혈관 질병 진단 보조 정보를 획득하는 것을 포함할 수 있다. Acquiring the diagnosis assistance information using the cardiovascular disease diagnosis assistance neural network model (S4013), by using a neural network model arranged to output cardiovascular disease diagnosis assistance information based on the fundus image, cardiovascular disease diagnosis on the input fundus image Obtaining assistance information.
획득되는 심혈관 질병 진단 보조 정보는 안저 이미지 학습 데이터에 포함된 안저 이미지에 부여된 라벨과 동종의 정보일 수 있다. 예컨대, 학습을 위한 안저 이미지에 등급 라벨이 부여되어 있었던 경우, 심혈관 질병 진단 보조 신경망 모델은 안저 이미지에 기초하여 등급 정보를 획득할 수 있다. The acquired cardiovascular disease diagnosis assistance information may be information similar to a label given to the fundus image included in the fundus image learning data. For example, when a grade label has been assigned to the fundus image for learning, the cardiovascular disease diagnosis assistive neural network model may obtain grade information based on the fundus image.
혹은, 획득되는 심혈관 질병 진단 보조 정보는 안저 이미지 학습 데이터에 포함된 안저 이미지에 부여된 라벨과 이종의 정보일 수 있다. 예컨대, 학습을 위한 안저 이미지에 수치 값 라벨이 부여되어 있었던 경우, 심혈관 질병 진단 보조 신경망 모델은 등급 정보 또는 질병의 유무 정보를 획득할 수 있다. Alternatively, the acquired cardiovascular disease diagnosis assistance information may be a label and heterogeneous information given to the fundus image included in the fundus image learning data. For example, when a numerical value label is assigned to the fundus image for learning, the cardiovascular disease diagnosis assistive neural network model may acquire grade information or presence or absence information.
획득된 정보를 라벨과 비교하여 심혈관 질병 진단 보조 신경망 모델을 갱신하는 단계(S4013)는 획득된 정보를 입력 이미지에 부여된 라벨과 비교하여 심혈관 질병 진단 보조 신경망 모델을 갱신하는 것을 포함하 수 있다. 심혈관 질병 진단 보조 신경망 모델을 학습하는 것은, 획득된 진단 보조 정보를 라벨과 비교하고 그 오차에 기초하여 신경망 모델을 갱신하는 것을 포함할 수 있다. 신경망 모델을 갱신하는 것은, 오차 역전파를 이용하여 신경망 모델의 노드에 할당된 웨이트 값 등을 갱신하는 것을 포함할 수 있다.The step of updating the cardiovascular disease diagnosis neural network model by comparing the acquired information with the label (S4013) may include updating the cardiovascular disease diagnosis neural network model by comparing the obtained information with a label given to the input image. Learning the cardiovascular disease diagnosis aid neural network model may include comparing the obtained diagnosis aid information with a label and updating the neural network model based on the error. Updating the neural network model may include updating a weight value or the like assigned to a node of the neural network model using error backpropagation.
획득된 정보가 입력 데이터에 포함된 라벨과 동종인 경우, 심혈관 질병 진단 보조 신경망 모델을 갱신하는 것은, 입력된 안저 이미지에 부여된 라벨과 해당 안저 이미지에 기초하여 획득된 진단 보조 정보를 비교하고, 그 오차에 기초하여 신경망 모델을 갱신하는 것을 포함할 수 있다. 예컨대, 입력 안저 이미지에 부여된 라벨이 B 등급 라벨이고, 입력 안저 이미지에 기초하여심혈관 질병 진단 보조 신경망 모델에 의하여 획득된 라벨이 C 등급 라벨인 경우, 라벨의 차이에 기초하여 신경망 모델이 갱신될 수 있다.If the acquired information is homogeneous with a label included in the input data, updating the cardiovascular disease diagnosis neural network model compares the label given to the input fundus image with the diagnosis aid information obtained based on the fundus image. Updating the neural network model based on the error. For example, if the label given to the input fundus image is a Class B label and the label obtained by the cardiovascular disease diagnosis neural network model based on the input fundus image is a C class label, the neural network model is updated based on the difference in the label. Can be.
획득된 정보가 입력 데이터에 포함된 라벨과 이종인 경우, 심혈관 질병 진단 보조 신경망 모델을 갱신하는 것은, 입력된 안저 이미지에 부여된 라벨과 해당 안저 이미지에 기초하여 획득된 진단 보조 정보를 비교하고, 그 오차에 기초하여 신경망 모델을 갱신하는 것을 포함할 수 있다. 입력된 안저 이미지에 부여된 라벨과 해당 안저 이미지에 기초하여 획득된 진단 보조 정보는 간접적으로 비교될 수 있다. 입력된 안저 이미지에 부여된 라벨과 해당 안저 이미지에 기초하여 획득된 진단 보조 정보는 그 포함 관계에 기초하여 비교될 수 있다. 입력된 안저 이미지에 부여된 라벨과 해당 안저 이미지에 기초하여 획득된 진단 보조 정보는 매칭 테이블에 기초하여 비교될 수 있다. 일 예로, 매칭 테이블은 전술한 도 32의 형태로 마련될 수 있다.If the acquired information is heterogeneous with the label included in the input data, updating the cardiovascular disease diagnosis neural network model compares the label given to the input fundus image with the diagnosis aid information obtained based on the fundus image. Updating the neural network model based on the error. The label attached to the input fundus image and the diagnostic assistance information obtained based on the corresponding fundus image may be indirectly compared. The label attached to the input fundus image and the diagnostic assistance information acquired based on the fundus image may be compared based on the inclusion relationship. The label attached to the input fundus image and the diagnosis assistance information obtained based on the corresponding fundus image may be compared based on the matching table. For example, the matching table may be provided in the form of FIG. 32 described above.
예컨대, 입력 안저 이미지에 부여된 라벨이 A 등급이고, 신경망 모델에 의하여 획득된 진단 정보가 환자가 건강함을 지시하는 정상 정보인 경우, 신경망 모델이 올바르게 판단한 것으로 판단하고 이를 갱신에 반영할 수 있다. 또 예컨대, 입력 안저 이미지에 부여된 점수 라벨이 0 이고, 신경망 모델에 의하여 획득된 진단 정보가 점수가 1 내지 10임을 나타내는 B등급인 경우, 신경망 모델의 획득과 라벨이 다른 것으로 판단하고 이를 갱신에 반영할 수 있다.For example, when the label given to the input fundus image is A grade, and the diagnostic information acquired by the neural network model is normal information indicating that the patient is healthy, the neural network model may determine that it is correctly determined and reflect the updated information. . For example, if the score label assigned to the input fundus image is 0 and the diagnostic information obtained by the neural network model is B indicating that the score is 1 to 10, it is determined that the label is different from the acquisition of the neural network model, Can reflect.
안저 이미지 및 라벨을 획득하는 단계(S4011), 심혈관 질병 진단 보조 신경망 모델을 이용하여 안저 이미지의 진단 보조 정보를 획득하는 단계(S4013) 및 획득된 정보를 라벨과 비교하여 심혈관 질병 진단 보조 신경망 모델을 갱신하는 단계(S4015)는 반복적으로 수행될 수 있다. 신경망 모델을 반복적으로 갱신하는 것은, 미리 정해진 횟수만큼 수행될 수 있다. 신경망 모델을 갱신하는 것은, 신경망의 정확도가 기준치에 도달한 경우 중단될 수 있다. 신경망 모델을 갱신하는 것은, 사용자 입력 획득 시까지 반복될 수 있다. 신경망 모델을 갱신하는 것은 학습 데이터가 소진될 때까지 수행될 수 있다.Acquiring the fundus image and the label (S4011), acquiring the diagnosis aid information of the fundus image using the cardiovascular disease diagnosis assistive neural network model (S4013), and comparing the obtained information with the label to obtain the cardiovascular disease diagnosis assisted neural network model. The updating step S4015 may be repeatedly performed. Iteratively updating the neural network model may be performed a predetermined number of times. Updating the neural network model may stop when the accuracy of the neural network reaches a reference value. Updating the neural network model may be repeated until user input is obtained. Updating the neural network model may be performed until the training data is exhausted.
학습 결과를 획득하는 단계(S4017)는 학습된 심혈관 질병 진단 보조 신경망 모델을 획득하는 것을 포함할 수 있다. 학습 결과를 획득하는 단계는 심혈관 질병 진단 보조 신경망 모델에 포함된 노드의 값을 획득하는 것을 포함할 수 있다. 학습 결과를 획득하는 단계는 신경망 모델의 파라미터(예컨대, 가중치 또는 편향)를 획득하는 것을 포함할 수 있다. 획득된 학습 결과는 외부 기기(예컨대, 진단 장치, 서버 장치, 클라이언트 장치 또는 모바일 장치)로 전달될 수 있다.Acquiring the learning result (S4017) may include acquiring the learned cardiovascular disease diagnosis neural network model. Acquiring the learning result may include obtaining a value of a node included in the cardiovascular disease diagnosis neural network model. Acquiring the training result may include obtaining a parameter (eg, weight or bias) of the neural network model. The obtained learning result may be delivered to an external device (eg, a diagnostic device, a server device, a client device, or a mobile device).
심혈관 질병 진단 보조 신경망 모델의 정확도가 획득될 수 있다. 심혈관 질병 진단 보조 신경망 모델을 학습하는 것은 심혈관 질병 진단 보조 신경망 모델의 정확도를 획득하는 것을 포함할 수 있다. 심혈관 질병 진단 보조 신경망 모델의 정확도는 검증 또는 테스트를 수행하여 획득될 수 있다. 검증 결과에 따라, 신경망 모델의 파라미터가 변경될 수 있다. 신경망 모델의 검증은 학습 데이터 세트와 구별되는 검증 데이터 세트를 이용하여 수행될 수 있다.The accuracy of the cardiovascular disease diagnosis assistance neural network model can be obtained. Learning the cardiovascular disease diagnosis assistance neural network model may include obtaining the accuracy of the cardiovascular disease diagnosis assistance neural network model. The accuracy of the cardiovascular disease diagnosis aid neural network model can be obtained by performing a verification or test. According to the verification result, the parameters of the neural network model may be changed. Validation of the neural network model may be performed using a validation data set that is distinct from the training data set.
한편, 신경망 모델은, 안저 이미지 외의 다른 인자를 함께 입력으로 하여 진단 보조 정보를 획득할 수도 있다. 예를 들어, 나이, 성별, 흡연 여부, 고지혈증 유무, 고혈압 유무, 당뇨병 유무 등을 고려할 수 있다. 이러한 추가적인 인자들은 안저 이미지와 함께 신경망 모델에 입력 되거나, 안저 이미지로부터 제1 신경망에 의해 얻어진 특성값과 함께 2차 신경망에 대한 입력으로 이용될 수 있다.Meanwhile, the neural network model may acquire diagnostic assistance information by inputting other factors besides the fundus image. For example, age, sex, smoking status, hyperlipidemia, hypertension, diabetes, and the like can be considered. These additional factors can be input to the neural network model with the fundus image or used as input to the secondary neural network along with the characteristic values obtained by the first neural network from the fundus image.
이하에서는, 안저 이미지에 기초하여 심혈관 질병의 유무를 획득하는 신경망 모델을 학습하는 방법(또는 위험군을 선별하는 방법), 심혈관 질병의 위험도를 지시하는 등급을 획득하는 신경망 모델을 학습하는 방법, 심혈관 질병의 진단에 이용되는 수치 값(또는, 점수)을 획득하는 신경망 모델을 학습하는 방법에 대하여 순차적으로 설명한다.Hereinafter, a method of learning a neural network model (or a method of selecting a risk group) for acquiring the presence or absence of a cardiovascular disease based on the fundus image, a method for learning a neural network model for obtaining a grade indicating the risk of cardiovascular disease, a cardiovascular disease A method of learning a neural network model for acquiring a numerical value (or score) used for diagnosing is sequentially described.
다만, 이하의 실시 예 들에서는 질병의 유무, 등급 및 수치 중 어느 하나를 획득하고, 획득된 정보에 기초하여 신경망 모델을 갱신하는 학습 방법을 기준으로 설명하나, 본 발명이 이에 한정되는 것은 아니며, 질병의 유무, 등급 및 수치 중 두 개 이상에 대하여 각각 또는 함께 획득하는 신경망 모델을 이용하고, 결과에 기초하여 적어도 하나의 신경망 모델을 갱신하는 방식이 이용될 수도 있다.However, the following embodiments are described based on a learning method of acquiring any of disease, grade, and numerical value, and updating a neural network model based on the obtained information, but the present invention is not limited thereto. A method of using neural network models acquired separately or together for two or more of disease presence, grade, and value, and updating at least one neural network model based on the results may be used.
2.3.4.2 위험군 선별 모델 학습2.3.4.2 Train risk screening model
본 발명의 일 실시예에 따르면, 안저 이미지에 기초하여 환자의 심혈관 질병 해당 여부를 판단하는 심혈관 질병 진단 보조 신경망 모델이 학습될 수 있다. 심혈관 질병 진단 보조 신경망 모델은 안저 이미지를 질병 유무와 관련된 두 개의 클래스로 구분하도록 학습될 수 있다. 환자의 심혈관 질병 해당 여부를 판단하는 심혈관 질병 진단 보조 신경망 모델의 학습은 전술한 학습부에 의해 수행될 수 있다. According to an embodiment of the present invention, a cardiovascular disease diagnosis assistive neural network model for determining whether a patient has cardiovascular disease based on the fundus image may be learned. Cardiovascular disease diagnosis assistance neural network model can be trained to divide the fundus image into two classes related to the presence of disease. Training of the cardiovascular disease diagnosis assistance neural network model for determining whether the patient is a cardiovascular disease may be performed by the learning unit described above.
심혈관 질병 진단 보조 신경망 모델은, 안저 이미지를 정상 또는 비정상으로 분류하도록 학습될 수 있다. 심혈관 질병 진단 보조 신경망 모델은 환자가 대상 심혈관 질병을 가짐을 지시하는 비정상 정보 또는 환자가 심혈관 질병을 가지지 않음을 지시하는 정상 정보 중 어느 하나를 출력하도록 학습될 수 있다. 환자가 대상 심혈관 질병에 대하여 위험군에 포함됨을 지시하는 위험 정보 또는 환자가 대상 심혈관 질병에 대하여 위험군에서 제외됨을 지시하는 정상 정보 중 어느 하나를 출력하도록 학습될 수 있다. 그 외에도, 심혈관 질병 진단 보조 신경망 모델은 심혈관 질병 진단 보조 정보로서, 입력 안저 이미지에 기초하여 획득된 제1 정보 또는 제2 정보를 출력하는 이진 분류기로서 학습될 수 있다.The cardiovascular disease diagnosis aid neural network model can be trained to classify the fundus image as normal or abnormal. The cardiovascular disease diagnosis assistance neural network model may be trained to output either abnormal information indicating that the patient has a target cardiovascular disease or normal information indicating that the patient does not have cardiovascular disease. It can be learned to output either the risk information indicating that the patient is included in the risk group for the target cardiovascular disease or the normal information indicating that the patient is excluded from the risk group for the target cardiovascular disease. In addition, the cardiovascular disease diagnosis assistance neural network model may be trained as a binary classifier that outputs the first information or the second information obtained based on the input fundus image as the cardiovascular disease diagnosis assistance information.
심혈관 질병 진단 보조 신경망 모델은 비정상 라벨 또는 정상 라벨이 부여된 복수의 안저 이미지를 포함하는 안저 이미지 학습 데이터 세트를 이용하여 학습될 수 있다. 또는, 심혈관 질병 진단 보조 신경망 모델은 점수 라벨이 부여된 복수의 안저 이미지를 포함하는 안저 이미지 학습 데이터 세트 또는 등급 라벨이 부여된 복수의 안저 이미지를 포함하는 안저 이미지 학습 데이터 세트를 이용하여 학습될 수 있다.The cardiovascular disease diagnosis aid neural network model may be trained using a fundus image training data set that includes a plurality of fundus images that are given an abnormal label or a normal label. Alternatively, the cardiovascular disease diagnosis neural network model may be trained using a fundus image training data set comprising a plurality of fundus images labeled with a score label or a fundus image training data set comprising a plurality of fundus images labeled with a grade label. have.
또는, 심혈관 질병 진단 보조 신경망 모델은 두 가지 이상의 종류의 라벨이 부여된 안저 이미지를 포함하는 안저 이미지 학습 데이터 세트를 이용하여 학습될 수도 있다. 일 예로, 심혈관 질병 진단 보조 신경망 모델은, 등급 라벨 및 질병 유무 라벨이 함께 부여된 안저 이미지 또는 등급 라벨 및 점수 라벨이 함께 부여된 안저 이미지를 포함하는 안저 이미지 학습 데이터 세트를 이용하여 학습될 수 있다.Alternatively, the cardiovascular disease diagnosis aid neural network model may be trained using a fundus image training data set that includes two or more types of labeled fundus images. For example, the cardiovascular disease diagnosis neural network model may be trained using a fundus image learning data set including a fundus image with a grade label and a disease presence label or a fundus image with a grade label and a score label. .
이하에서는, 심혈관 질병의 진단 보조 정보로서, 이진 분류된 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델의 학습 방법에 대하여 설명한다.Hereinafter, the learning method of the cardiovascular disease diagnosis assistance neural network model which acquires the binary classification information as diagnosis support information of a cardiovascular disease is demonstrated.
도 35는 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다. 도 35를 참조하면, 심혈관 질병의 진단을 보조하기 위한 신경망 모델을 학습하는 방법은, 안저 이미지 및 안저 이미지에 부여된 질병 유무 라벨을 획득하는 단계(S4021), 심혈관 질병 진단 보조 신경망 모델을 이용하여 심혈관 질병 해당 여부를 획득하는 단계(S4023), 획득된 정보를 라벨과 비교하여 심혈관 질병 진단 보조 신경망 모델을 갱신하는 단계(S4025) 및 심혈관 질병 진단 보조 신경망 모델의 학습 결과를 획득하는 단계(S4027)를 포함할 수 있다.35 is a view for explaining a method of learning a cardiovascular disease diagnosis neural network model according to an embodiment of the present invention. Referring to FIG. 35, a method of learning a neural network model for assisting diagnosis of a cardiovascular disease may include obtaining a disease presence label attached to the fundus image and the fundus image (S4021), and using the cardiovascular disease diagnosis assisted neural network model. Acquiring whether the cardiovascular disease corresponds (S4023), comparing the obtained information with the label, updating the cardiovascular disease diagnosis neural network model (S4025), and obtaining the learning result of the cardiovascular disease diagnosis auxiliary neural network model (S4027). It may include.
안저 이미지 및 안저 이미지에 부여된 질병 유무 라벨을 획득하는 단계(S4021)는, 질병 유무 라벨이 부여된 안저 이미지를 포함하는 안저 이미지 학습 데이터를 획득하는 것을 포함할 수 있다. 안저 이미지 학습 데이터에 포함된 안저 이미지 및 질병 유무 라벨은 별도로 관리될 수 있다. 예컨대, 획득된 안저 이미지는 신경망 모델의 입력으로 이용되고, 획득된 라벨은 신경망 모델의 갱신에 이용될 수 있다. 획득되는 안저 이미지 학습 데이터는 질병 유무 라벨에 더하여 등급 라벨 또는 점수 라벨이 함께 부여된 안저 이미지를 포함할 수도 있다.Acquiring the disease presence label attached to the fundus image and the fundus image (S4021) may include acquiring the fundus image learning data including the fundus image to which the disease presence label is attached. The fundus image and disease label included in the fundus image learning data may be managed separately. For example, the acquired fundus image may be used as an input of the neural network model, and the obtained label may be used for updating the neural network model. The acquired fundus image learning data may include a fundus image with a grade label or a score label in addition to the disease presence label.
안저 이미지 학습 데이터는 환자가 대상 심혈관 질병에 대하여 정상임을 지시하는 정상 라벨이 부여된 제1 안저 이미지 및 환자가 대상 심혈관 질병에 대하여 비정상임을 지시하는 비정상 라벨(또는 환자가 위험군에 포함됨을 지시하는 위험 라벨)이 부여된 제2 안저 이미지를 포함할 수 있다.The fundus image learning data includes a first fundus image with a normal label indicating that the patient is normal for the target cardiovascular disease and an abnormal label indicating the patient is abnormal for the target cardiovascular disease (or risk indicating that the patient is in a risk group). A second fundus image labeled).
안저 이미지 및 안저 이미지에 부여된 질병 유무 라벨을 획득하는 단계(S4021)는, 질병 유무 라벨이 아닌 라벨(예컨대, 등급 라벨 또는 점수 라벨)이 부여된 안저 이미지를 포함하는 안저 이미지 학습 데이터를 획득하는 것을 포함할 수 있다.Acquiring the disease presence label attached to the fundus image and the fundus image (S4021) may include acquiring fundus image learning data including a fundus image to which a label (for example, a grade label or a score label) other than the disease presence label is assigned. It may include.
심혈관 질병 진단 보조 신경망 모델을 이용하여 심혈관 질병 해당 여부를 획득하는 단계(S4023)는 안저 이미지에 기초하여 심혈관 질병 유무 정보를 출력하도록 마련된 신경망 모델을 이용하여, 입력된 안저 이미지에 대한 심혈관 질병 유무 정보를 획득하는 것을 포함할 수 있다. Cardiovascular disease diagnosis using the neural network model for cardiovascular disease acquisition step (S4023) using the neural network model prepared to output cardiovascular disease information based on the fundus image, cardiovascular disease presence information on the input fundus image It may include acquiring.
획득된 정보를 라벨과 비교하여 심혈관 질병 진단 보조 신경망 모델을 갱신하는 단계(S4025)는 획득된 심혈관 질병 유무 정보를 입력 안저 이미지에 부여된 라벨과 비교하여 심혈관 질병 진단 보조 신경망 모델을 갱신하는 것을 포함할 수 있다. 심혈관 질병 진단 보조 신경망 모델을 학습하는 것은, 오차 역전파를 이용하여 신경망 모델의 파라미터를 갱신하는 것을 포함할 수 있다.The updating of the cardiovascular disease diagnosis neural network model by comparing the acquired information with the label (S4025) may include updating the cardiovascular disease diagnosis neural network model by comparing the acquired cardiovascular disease information with the label given to the input fundus image. can do. Learning the cardiovascular disease diagnosis assistance neural network model may include updating the parameters of the neural network model using error backpropagation.
질병 유무 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델의 학습에 이용되는 학습 데이터에 포함된 라벨이 질병 유무 라벨인 경우, 심혈관 질병 진단 보조 신경망 모델은 획득된 질병 유무 정보와 질병 유무 라벨을 비교한 결과를 이용하여 갱신될 수 있다. 예컨대, 심혈관 질병 진단 보조 신경망 모델로부터 입력 안저 이미지에 기초하여 획득된 진단 보조 정보가 비정상 정보이고 입력 안저 이미지에 부여된 라벨이 비정상 라벨인 경우, 획득된 정보와 입력된 라벨의 불일치에 기초하여 신경망 모델이 갱신될 수 있다.If the label included in the training data used to train the cardiovascular disease diagnosis neural network model for obtaining disease information is disease label, the cardiovascular disease diagnosis neural network model compares the acquired disease information with the disease label. Can be updated using. For example, when the diagnosis assistance information obtained from the cardiovascular disease diagnosis neural network model based on the input fundus image is abnormal information and the label given to the input fundus image is an abnormal label, the neural network is based on the mismatch between the acquired information and the input label. The model can be updated.
질병 유무 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델의 학습에 이용되는 학습 데이터에 포함된 라벨이 질병 유무 라벨이 아닌 경우, 심혈관 질병 진단 보조 신경망 모델은 획득된 질병 유무 정보와 라벨을 비교한 결과를 이용하여 갱신될 수 있다. 예컨대, 학습 데이터에 포함된 라벨이 등급 라벨 또는 점수 라벨인 경우, 심혈관 질병 진단 보조 신경망 모델은 학습 데이터에 포함된 등급 또는 점수 라벨과 획득된 질병 유무 정보가 매칭되는지를 고려하여 갱신될 수 있다. If the label included in the training data used to train the cardiovascular disease diagnosis neural network model for obtaining disease information is not a disease label, the cardiovascular disease diagnosis neural network model compares the acquired disease information with a label. Can be updated. For example, when the label included in the training data is a grade label or a score label, the cardiovascular disease diagnosis neural network model may be updated in consideration of whether the grade or score label included in the training data matches the acquired disease presence information.
라벨과 획득된 정보의 비교는 미리 정해진 기준을 고려하여 수행될 수 있다. 예컨대, 입력된 라벨과 획득된 정보의 비교는 도 32에서 예시하는 것과 같은 테이블을 이용하여 수행될 수 있다. The comparison of the label with the obtained information may be performed in consideration of predetermined criteria. For example, the comparison of the input label with the obtained information may be performed using a table as illustrated in FIG. 32.
예컨대, 학습 데이터에 포함된 안저 이미지에 부여된 라벨이 환자가 복수의 위험도 등급 중 어느 등급에 해당하는지를 나타내는 등급 라벨인 경우, 심혈관 질병 진단 보조 신경망 모델은, 획득된 질병 유무 정보와 입력 안저 이미지에 부여된 등급 라벨이 매칭되는지 여부를 판단하여 갱신될 수 있다. 구체적으로, 입력 안저 이미지에 부여된 등급 라벨이 환자가 정상군에 속함을 나타내는 A 등급이고 획득된 진단 보조 정보가 환자가 비정상임을 지시하는 비정상 정보인 경우, 신경망 모델은 출력의 오차에 기초하여 갱신될 수 있다.For example, if the label given to the fundus image included in the training data is a rating label indicating which of the plurality of risk classes the patient belongs to, the cardiovascular disease diagnosis assistive neural network model may include the acquired disease status information and the input fundus image. It can be updated by determining whether the assigned grade label is matched. Specifically, when the grade label given to the input fundus image is a grade A indicating that the patient belongs to the normal group and the obtained diagnostic assistant information is abnormal information indicating that the patient is abnormal, the neural network model is updated based on the error of the output. Can be.
혈관 질병 진단 보조 신경망 모델의 학습 결과를 획득하는 단계(S4027)는, 안저 이미지를 정상 또는 비정상으로 이진 분류하도록 학습된 심혈관 질병 진단 보조 신경망 모델을 획득하는 것을 포함할 수 있다. 학습 결과를 획득하는 단계는, 안저 이미지 데이터를 이진 분류하도록 학습된 신경망 모델의 파라미터를 획득하는 것을 포함할 수 있다.Acquiring a learning result of the vascular disease diagnosis assistance neural network model (S4027) may include obtaining a cardiovascular disease diagnosis assistance neural network model trained to binary classify the fundus image as normal or abnormal. Obtaining the training result may include obtaining a parameter of the trained neural network model to binary classify the fundus image data.
2.3.4.3 등급 판단 모델 학습2.3.4.3 Learning grade judgment model
본 발명의 일 실시예에 따르면, 안저 이미지에 기초하여 환자의 심혈관 질병에 대한 위험도를 지시하는 등급 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델이 학습될 수 있다. 심혈관 질병 진단 보조 신경망 모델은 안저 이미지를 복수의 등급에 대응되는 복수의 클래스로 구분하도록 학습될 수 있다. 등급 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델의 학습은 전술한 학습부에 의해 수행될 수 있다.According to an embodiment of the present invention, a cardiovascular disease diagnosis assisted neural network model for obtaining grade information indicating a risk for cardiovascular disease of a patient based on the fundus image may be learned. The cardiovascular disease diagnosis neural network model may be trained to divide the fundus image into a plurality of classes corresponding to a plurality of grades. Training of the cardiovascular disease diagnosis assistance neural network model for obtaining grade information may be performed by the learning unit described above.
심혈관 질병 진단 보조 신경망 모델은 안저 이미지를 복수의 등급에 대하여 분류하도록 학습될 수 있다. 심혈관 질병 진단 보조 신경망 모델은 안저 이미지를 환자의 대상 질병에 대한 위험도를 나타내는 복수의 등급에 대하여 분류하도록 학습될 수 있다. 심혈관 질병 진단 보조 신경망 모델은 환자의 대상 질병에 대한 위험 정도를 나타내는 제1 등급, 제2 등급 및 제3 등급에 대응되는 세 개의 클래스로 안저 이미지를 분류하도록 학습될 수 있다. 예컨대, 심혈관 질병 진단 보조 신경망 모델은 환자가 정상군에 속함을 지시하는 제1 등급, 환자가 중등도 위험군에 속함을 지시하는 제2 등급 및 환자가 고등도 위험군에 속함을 지시하는 제3 등급에 대응되는 세 개의 클래스로 안저 이미지를 분류하도록 학습될 수 있다. The cardiovascular disease diagnosis aid neural network model can be trained to classify the fundus image for a plurality of grades. The cardiovascular disease diagnosis assisted neural network model can be trained to classify fundus images into a plurality of grades that represent a risk for a patient's target disease. The cardiovascular disease diagnosis assistive neural network model may be trained to classify the fundus image into three classes corresponding to the first, second and third grades representing the degree of risk for the subject's target disease. For example, the cardiovascular disease assistive neural network model corresponds to a first grade indicating that the patient belongs to a normal group, a second grade indicating that the patient belongs to a moderate risk group, and a third grade indicating that the patient belongs to a high risk group. Three classes can be learned to classify the fundus image.
심혈관 질병 진단 보조 신경망 모델은 등급 라벨이 부여된 복수의 안저 이미지를 포함하는 안저 이미지 학습 데이터 세트를 이용하여 학습될 수 있다. 예컨대, 심혈관 질병 진단 보조 신경망 모델은 제1 등급, 제2 등급 또는 제3 등급이 부여된 복수의 안저 이미지를 포함하는 학습 데이터 세트를 이용하여 학습될 수 있다. 또는, 심혈관 질병 진단 보조 신경망 모델은 점수 라벨 또는 질병 유무 라벨이 부여된 복수의 안저 이미지를 포함하는 안저 이미지 학습 데이터 세트를 이용하여 학습될 수도 있다.The cardiovascular disease diagnosis assisted neural network model may be trained using a fundus image learning data set that includes a plurality of graded fundus images. For example, the cardiovascular disease diagnosis aid neural network model may be trained using a training data set that includes a plurality of fundus images assigned a first, second, or third grade. Alternatively, the cardiovascular disease diagnosis aid neural network model may be trained using a fundus image learning data set that includes a plurality of fundus images that are assigned a score label or a disease presence label.
또는, 심혈관 질병 진단 보조 신경망 모델은, 등급 라벨 및 질병 유무 라벨이 함께 부여된 안저 이미지 또는 등급 라벨 및 점수 라벨이 함께 부여된 안저 이미지를 포함하는 안저 이미지 학습 데이터 세트 등과 같이 둘 이상의 종류의 라벨이 부여된 안저 이미지를 포함하는 학습 데이터를 이용하여 학습될 수 있다.Alternatively, the cardiovascular disease diagnosis neural network model may include two or more kinds of labels, such as a fundus image with a grade label and disease label, or a fundus image learning data set including a fundus image with a grade label and a score label. It can be trained using the training data including the attached fundus image.
안저 이미지에 기초하여 등급을 판단하도록 학습되는 심혈관 질병 진단 보조 신경망 모델은, 복수의 안저 이미지를 복수의 클래스로 분류하는 다중 분류기의 형태로 마련될 수 있다. 또는, 심혈관 질병 진단 보조 신경망 모델은 복수의 안저 이미지를 두 개의 클래스로 분류하는 이진 분류기를 적어도 하나 포함하는 형태로 마련될 수도 있다. The cardiovascular disease diagnosis neural network model trained to determine the grade based on the fundus image may be provided in the form of a multiple classifier that classifies a plurality of fundus images into a plurality of classes. Alternatively, the cardiovascular disease assistive neural network model may be provided in a form including at least one binary classifier classifying a plurality of fundus images into two classes.
예컨대, 심혈관 질병 진단 보조 신경망 모델은, 복수의 안저 이미지를 정상 정보 및 위험 정보에 대응되는 두 개의 클래스로 분류하는 제1 이진 분류 신경망 모델 및 복수의 안저 이미지를 저위험 정보 및 고위험 정보에 대응되는 두 개의 클래스로 분류하는 제2 이진 분류 신경망 모델을 포함할 수 있다. 이때, 심혈관 질병 진단 보조 신경망 모델은, 제1 이진 분류 신경망 모델에서 정상 정보로 분류된 안저 이미지들을 환자가 정상임을 나타내는 제1 등급으로 분류하고, 제2 이진 분류 신경망 모델에 의하여 고위험 정보로 분류된 안저 이미지들을 환자가 고위험군에 해당함을 나타내는 제3 등급으로 분류하고, 제1 등급 및 제3 등급으로 분류되지 않은 이미지들을 환자가 중위험군에 해당함을 나타내는 제2 등급으로 분류할 수 있다.For example, the cardiovascular disease assistive neural network model may include a first binary classification neural network model classifying a plurality of fundus images into two classes corresponding to normal information and risk information and a plurality of fundus images corresponding to low risk information and high risk information. It may include a second binary classification neural network model classifying into two classes. In this case, the cardiovascular disease assistive neural network model classifies fundus images classified as normal information in the first binary classification neural network model into a first grade indicating that the patient is normal, and is classified as high risk information by the second binary classification neural network model. The fundus images may be classified into a third grade indicating that the patient is in the high risk group, and the images not classified into the first and third grades may be classified into the second grade indicating the patient in the high risk group.
이하에서는, 심혈관 질병의 진단 보조 정보로서, 등급 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델의 학습 방법에 대하여 몇몇 실시예를 들어 설명한다.Hereinafter, some embodiments will be described with reference to a method of learning a cardiovascular disease diagnosis assistive neural network model that obtains grade information as diagnostic information for cardiovascular disease.
도 36은 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다. 도 36을 참조하면, 심혈관 질병의 진단을 보조하기 위한 신경망 모델을 학습하는 방법은, 안저 이미지 및 안저 이미지에 부여된 라벨을 획득하는 단계(S4031), 심혈관 질병 진단 보조 신경망 모델을 이용하여 등급 정보를 획득하는 단계(S4033), 등급 정보를 라벨과 비교하여 심혈관 질병 진단 보조 신경망 모델을 갱신하는 단계(S4035) 및 심혈관 질병 진단 보조 신경망 모델의 학습 결과(S4037)를 획득하는 단계를 포함할 수 있다.36 is a view for explaining a method of learning a cardiovascular disease diagnosis neural network model according to an embodiment of the present invention. Referring to FIG. 36, in the method of learning a neural network model for assisting diagnosis of a cardiovascular disease, obtaining the label attached to the fundus image and the fundus image (S4031), the grade information using the cardiovascular disease diagnosis assisted neural network model Obtaining (S4033), comparing the grade information with the label, updating the cardiovascular disease diagnosis neural network model (S4035), and obtaining the learning result (S4037) of the cardiovascular disease diagnosis neural network model. .
안저 이미지 및 안저 이미지에 부여된 라벨을 획득하는 단계(S4031)는 등급 라벨이 부여된 안저 이미지를 포함하는 안저 이미지 학습 데이터 세트를 획득하는 것을 포함할 수 있다. 안저 이미지 학습 데이터에 포함된 안저 이미지 및 등급 라벨은 별도로 관리될 수 있다. 안저 이미지는 신경망 모델의 입력으로 이용되고 등급 라벨은 신경망 모델의 갱신에 이용될 수 있다. 획득되는 안저 이미지 학습 데이터는 등급 라벨에 더하여 질병 유무 라벨 또는 점수 라벨이 함께 부여된 안저 이미지를 포함할 수도 있다.Acquiring a fundus image and a label attached to the fundus image (S4031) may include acquiring a fundus image training data set including a fundus image to which a grade label is attached. The fundus image and grade label included in the fundus image learning data may be managed separately. The fundus image can be used as input to the neural network model and the rating label can be used to update the neural network model. The acquired fundus image learning data may include a fundus image with a disease label or score label in addition to the grade label.
안저 이미지 학습 데이터는 환자가 대상 심혈관 질병의 정상군에 속함을 지시하는 제1 라벨이 부여된 제1 안저 이미지, 환자가 대상 심혈관 질병의 중등도 위험군에 속함을 지시하는 제2 라벨이 부여된 제2 안저 이미지 및 환자가 대상 심혈관 질병의 고등도 위험군에 속함을 지시하는 제3 라벨이 부여된 제3 안저 이미지를 포함할 수 있다.The fundus image learning data is a first fundus image with a first label indicating that the patient belongs to a normal group of subject cardiovascular disease, and a second labeled with a second label indicating that the patient belongs to a moderate risk group of subject cardiovascular disease. The fundus image and a third fundus image labeled with a third label indicating that the patient is in a high risk group of subject cardiovascular disease may be included.
안저 이미지 및 안저 이미지에 부여된 라벨을 획득하는 단계는 등급 라벨이 아닌 라벨(예컨대, 질병 유무 라벨 또는 점수 라벨)이 부여된 안저 이미지를 포함하는 안저 이미지 학습 데이터 세트를 획득하는 것을 포함할 수 있다.Acquiring the fundus image and a label assigned to the fundus image may include acquiring a fundus image learning data set that includes a fundus image that is assigned a label (eg, a disease label or score label) that is not a grade label. .
심혈관 질병 진단 보조 신경망 모델을 이용하여 등급 정보를 획득하는 단계(S4033)는 안저 이미지를 대상 심혈관 질병에 대한 복수의 등급에 대응되는 복수의 클래스로 분류하도록 마련된 신경망 모델을 이용하여 입력된 안저 이미지에 대한 등급 정보를 획득하는 것을 포함할 수 있다.Acquiring the grade information using the cardiovascular disease diagnosis neural network model (S4033) is to the fundus image input using the neural network model provided to classify the fundus image into a plurality of classes corresponding to a plurality of grades for the target cardiovascular disease. It may include obtaining grade information for.
등급 정보를 라벨과 비교하여 심혈관 질병 진단 보조 신경망 모델을 갱신하는 단계(S4035)는 획득된 등급 정보를 입력 안저 이미지에 부여된 라벨과 비교하여 심혈관 질병 진단 보조 신경망 모델을 갱신하는 것을 포함할 수 있다. 심혈관 질병 진단 보조 신경망 모델을 학습하는 것은, 오차 역전파를 이용하여 신경망 모델의 파라미터를 갱신하는 것을 포함할 수 있다.The step S4035 of updating the cardiovascular disease diagnosis neural network model by comparing the grade information with the label may include updating the cardiovascular disease diagnosis auxiliary neural network model by comparing the obtained grade information with a label given to the input fundus image. . Learning the cardiovascular disease diagnosis assistance neural network model may include updating the parameters of the neural network model using error backpropagation.
등급 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델의 학습에 이용되는 학습 데이터에 포함된 라벨이 등급 라벨인 경우, 심혈관 질병 진단 보조 신경망 모델은 획득된 등급 정보와 입력된 등급 라벨을 비교한 결과를 이용하여 갱신될 수 있다. 예컨대, 심혈관 질병 진단 보조 신경망 모델로부터 획득된 진단 보조 정보가 제1 등급 정보이고 입력 안저 이미지에 부여된 라벨이 제2 등급 라벨인 경우, 획득된 정보와 입력된 라벨의 불일치에 기초하여 신경망 모델이 갱신될 수 있다. If the label included in the training data used to train the cardiovascular disease diagnosis neural network model for obtaining grade information is a grade label, the cardiovascular disease diagnosis neural network model uses the result of comparing the obtained grade information with the input grade label. Can be updated. For example, when the diagnostic assistance information obtained from the cardiovascular disease assistance neural network model is the first grade information and the label given to the input fundus image is the second grade label, the neural network model is based on a mismatch between the acquired information and the input label. Can be updated.
등급 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델의 학습에 이용되는 학습 데이터에 포함된 라벨이 등급 라벨이 아닌 경우, 심혈관 질병 진단 보조 신경망 모델은 획득된 등급 정보와 입력된 라벨을 비교한 결과를 이용하여 갱신될 수 있다. 예컨대, 학습 데이터에 포함된 라벨이 질병 유무 라벨 또는 점수 라벨인 경우, 심혈관 질병 진단 보조 신경망 모델은 학습 데이터에 포함된 질병 유무 라벨 또는 점수 라벨과 신경망 모델로부터 획득된 등급 정보가 매칭되는지 여부를 고려하여 갱신될 수 있다. If the label included in the training data used to train the cardiovascular disease diagnosis neural network model for obtaining grade information is not a grade label, the cardiovascular disease diagnosis neural network model uses the result of comparing the obtained grade information with the input label. Can be updated. For example, if the label included in the training data is a disease label or a score label, the cardiovascular disease diagnosis assisted neural network model considers whether the disease status label or score label included in the training data matches the grading information obtained from the neural network model. Can be updated.
이때, 입력된 라벨과 획득된 진단 보조 정보의 매칭 여부는 본 명세서에서 예시되는 매칭 테이블(예컨대, 도 32에서 도시된 테이블)을 이용하여 결정될 수 있다.In this case, whether the input label matches the acquired diagnostic assistance information may be determined using a matching table (eg, the table illustrated in FIG. 32) illustrated in the present specification.
예컨대, 학습 데이터에 포함된 라벨이 환자의 관상동맥 칼슘 점수 라벨인 경우, 심혈관 질병 진단 보조 신경망 모델은 획득된 등급이 환자의 관상동맥 칼슘 점수에 매칭되는지 고려하여 갱신될 수 있다. 예컨대, 입력 안저 이미지에 부여된 라벨이 관상동맥 칼슘 점수 라벨로서 값이 17인 라벨이고, 입력 안저 이미지에 기초하여 획득된 등급 정보가 환자가 정상임을 나타내는 제1 등급 정보인 경우, 점수와 등급이 매칭되지 않는 것으로 볼 수 있고, 신경망 모델은 이에 기초하여 갱신될 수 있다.For example, if the label included in the training data is a coronary calcium score label of the patient, the cardiovascular disease diagnosis assistive neural network model may be updated to consider whether the grade obtained matches the coronary calcium score of the patient. For example, if the label given to the input fundus image is a label having a value of 17 as the coronary calcium score label, and the grade information obtained based on the input fundus image is the first grade information indicating that the patient is normal, the score and the grade are It can be seen that there is no match, and the neural network model can be updated based on this.
심혈관 질병 진단 보조 신경망 모델의 학습 결과를 획득하는 단계(S4037)는, 안저 이미지를 복수 등급으로 분류하도록 학습된 심혈관 질병 진단 보조 신경망 모델 또는 그러한 신경망 모델의 파라미터를 획득하는 것을 포함할 수 있다. Acquiring a learning result of the cardiovascular disease diagnosis assistance neural network model (S4037) may include obtaining a cardiovascular disease diagnosis assistance neural network model or a parameter of the neural network model trained to classify the fundus image into a plurality of grades.
2.3.4.4 점수 예측 모델 학습2.3.4.4 Score prediction model training
본 발명의 일 실시예에 따르면, 안저 이미지에 기초하여 환자의 심혈관 질병과 관련된 점수를 획득하는 심혈관 질병 진단 보조 신경망 모델이 학습될 수 있다. 심혈관 질병 진단 보조 신경망 모델은 안저 이미지에 기초하여 심혈관 질병의 진단에 이용되는 점수를 예측하도록 학습될 수 있다. 점수를 획득하는 심혈관 질병 진단 보조 신경망 모델의 학습은 전술한 학습부에 의해 수행될 수 있다. According to an embodiment of the present invention, a cardiovascular disease diagnosis assistive neural network model for obtaining a score associated with a cardiovascular disease of a patient based on the fundus image may be learned. Cardiovascular Disease Diagnosis Auxiliary neural network models can be trained to predict scores used for diagnosis of cardiovascular disease based on fundus images. Training of the cardiovascular disease diagnosis assistive neural network model for obtaining the score may be performed by the learning unit described above.
심혈관 질병 진단 보조 신경망 모델은 안저 이미지로부터 대응되는 진단 보조 점수를 예측하도록 학습될 수 있다. 심혈관 질병 진단 보조 신경망 모델은 환자의 대상 심혈관 질병에 관련된 특정 파라미터의 값을 예측하도록 학습될 수 있다. 심혈관 질병 진단 보조 신경망 모델은 환자에 대하여 대상 심혈관 질병을 진단할 때 이용될 수 있는 점수를 예측하도록 학습될 수 있다. 심혈관 질병 진단 보조 신경망 모델은 입력되는 안저 이미지에 기초하여 점수를 예측하도록 학습될 수 있다. 점수는 실수 값으로 예측될 수 있다. 점수는 정수 값으로 예측될 수도 있다. 점수는 양의 값으로 예측될 수도 있다.The cardiovascular disease diagnosis aid neural network model may be trained to predict the corresponding diagnosis aid score from the fundus image. Cardiovascular Disease Diagnosis Auxiliary neural network models can be trained to predict the value of certain parameters related to a subject's cardiovascular disease. Cardiovascular Disease Diagnosis Auxiliary neural network models can be trained to predict scores that can be used when diagnosing a target cardiovascular disease for a patient. The cardiovascular disease diagnosis aid neural network model may be trained to predict scores based on the fundus image input. The score can be predicted as a real value. The score may be predicted as an integer value. The score may be predicted as a positive value.
심혈관 질병 진단 보조 신경망 모델은 점수 라벨이 부여된 안저 이미지를 포함하는 안저 이미지 학습 데이터 세트를 이용하여 학습될 수 있다. 예컨대, 심혈관 질병 진단 보조 신경망 모델은 관상동맥 칼슘 점수 라벨이 부여된 안저 이미지를 포함하는 안저 이미지 학습 데이터를 이용하여 학습될 수 있다.The cardiovascular disease diagnosis aid neural network model may be trained using a fundus image learning data set that includes a fundus image labeled with a score label. For example, the cardiovascular disease diagnosis aid neural network model may be trained using fundus image learning data including fundus images labeled with coronary calcium score labels.
심혈관 질병 진단 보조 신경망 모델은 점수 라벨이 아닌 라벨(예컨대, 질병 유무 라벨 또는 등급 라벨)이 부여된 안저 이미지를 포함하는 안저 이미지 학습 데이터 세트를 이용하여 학습될 수 있다. 심혈관 질병 진단 보조 신경망 모델은 점수 라벨 및 점수 라벨이 아닌 라벨이 함께 부여된 안저 이미지를 포함하는 안저 이미지 학습 데이터를 이용하여 학습될 수 있다.The cardiovascular disease diagnosis aid neural network model may be trained using a fundus image learning data set that includes a fundus image that is assigned a label (eg, a disease label or grade label) rather than a score label. The cardiovascular disease diagnosis assisted neural network model may be trained using fundus image learning data including a fundus image with a score label and a label other than the score label.
안저 이미지에 기초하여 점수를 예측하도록 학습되는 신경망 모델은, 연속적인 값을 출력하는 선형 회귀 모델 형태로 학습될 수 있다. 또는, 심혈관 질병 진단 보조 신경망 모델은 점수를 예측하는 선형 회귀 신경망 모델 및 등급 또는 질병 유무 정보를 출력하는 분류기 모델을 함께 포함할 수도 있다.The neural network model trained to predict scores based on the fundus image may be trained in the form of a linear regression model that outputs continuous values. Alternatively, the cardiovascular disease diagnosis assistance neural network model may also include a linear regression neural network model for predicting scores and a classifier model for outputting grade or disease information.
이하에서는, 심혈관 질병의 진단 보조 정보로서 점수 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델의 학습 방법에 대하여 몇몇 실시예를 들어 설명한다.Hereinafter, some embodiments will be described with reference to a method of learning a cardiovascular disease diagnosis assisted neural network model that obtains score information as diagnostic information for cardiovascular disease.
도 37은 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다. 도 37을 참조하면, 심혈관 질병의 진단을 보조하기 위한 신경망 모델을 학습하는 방법은, 안저 이미지 및 안저 이미지에 부여된 라벨을 획득하는 단계(S4041), 심혈관 질병 진단 보조 신경망 모델을 이용하여 점수 정보를 예측하는 단계(S4043), 예측 결과를 라벨과 비교하여 심혈관 질병 진단 보조 신경망 모델을 갱신하는 단계(S4045) 및 심혈관 질병 진단 보조 신경망 모델의 학습 결과를 획득하는 단계(S4047)를 포함할 수 있다.37 is a view for explaining a method of learning a cardiovascular disease diagnosis neural network model according to an embodiment of the present invention. Referring to FIG. 37, in the method of learning a neural network model for assisting diagnosis of a cardiovascular disease, obtaining the label attached to the fundus image and the fundus image (S4041), score information using the cardiovascular disease diagnosis assisted neural network model Predicting (S4043), comparing the prediction result with the label, updating the cardiovascular diagnosis diagnosis neural network model (S4045), and obtaining the learning result of the cardiovascular disease diagnosis assistance neural network model (S4047). .
안저 이미지 및 안저 이미지에 부여된 라벨을 획득하는 단계(S4041)는 점수 라벨이 부여된 안저 이미지를 포함하는 안저 이미지 학습 데이터를 획득하는 것을 포함할 수 있다. 안저 이미지와 라벨은 별도로 관리될 수 있다. 안저 이미지 학습 데이터는 점수 라벨과 함께 점수 라벨이 아닌 라벨, 예컨대 등급 라벨 또는 질병 유무 라벨이 부여된 안저 이미지를 포함할 수 있다. Acquiring a fundus image and a label attached to the fundus image (S4041) may include acquiring fundus image learning data including a fundus image to which a score label is assigned. The fundus image and label can be managed separately. The fundus image learning data may include a fundus image that is assigned a label other than the score label, such as a grade label or disease presence label, along with the score label.
안저 이미지 학습 데이터는 심혈관 질병을 진단하기 위한 환자의 관상동맥 칼슘 점수를 나타내는 점수 라벨이 부여된 안저 이미지 데이터를 포함할 수 있다. 안저 이미지 학습 데이터는 환자의 관상동맥 칼슘 점수를 나타내는 점수 라벨과 환자의 관상동맥 칼슘 점수에 따라 결정된 환자의 관상동맥 질환 위험도를 나타내는 등급 라벨이 부여된 안저 이미지를 포함할 수 있다.The fundus image learning data may include fundus image data labeled with a score label indicating a coronary calcium score of a patient for diagnosing cardiovascular disease. The fundus image learning data may include a fundus image labeled with a score label indicating a patient's coronary calcium score and a rating label indicating a patient's risk of coronary artery disease determined according to the patient's coronary calcium score.
안저 이미지 학습 데이터는 점수 라벨이 아닌 라벨이 부여된 안저 이미지 데이터를 포함할 수 있다. 안저 이미지 학습 데이터는 등급 라벨 또는 질병 유무 라벨이 부여된 안저 이미지 데이터를 포함 할 수 있다.The fundus image learning data may include labeled fundus image data rather than score labels. The fundus image learning data may include fundus image data to which a grade label or disease status label is assigned.
심혈관 질병 진단 보조 신경망 모델을 이용하여 점수 정보를 예측하는 단계(S4043)는 안저 이미지에 기초하여 안저 이미지에 대응되는 심혈관 질병 진단 보조 점수 정보를 획득하도록 마련된 신경망 모델을 이용하여 입력된 안저 이미지에 대한 점수 정보를 획득하는 것을 포함할 수 있다. 신경망 모델은 점수 정보 및 점수 정보가 아닌 정보를 함께 획득할 수도 있다. 신경망 모델은 점수 정보와 함께 등급 정보 또는 질병 유무 정보를 획득할 수 있다.Predicting score information using the cardiovascular disease diagnosis assistive neural network model (S4043) may be performed by using a neural network model prepared to acquire cardiovascular disease diagnosis assistance score information corresponding to the fundus image based on the fundus image. Obtaining score information. The neural network model may also acquire score information and information other than the score information. The neural network model may acquire grade information or disease presence information together with score information.
예측 결과를 라벨과 비교하여 심혈관 질병 진단 보조 신경망 모델을 갱신하는 단계(S4045)는 획득된 점수 정보를 입력 안저 이미지에 부여된 라벨과 비교하여 심혈관 질병 진단 보조 신경망 모델을 갱신하는 것을 포함할 수 있다.The updating of the cardiovascular disease diagnosis neural network model by comparing the prediction result with the label (S4045) may include updating the cardiovascular disease diagnosis auxiliary neural network model by comparing the acquired score information with a label given to the input fundus image. .
심혈관 질병 진단 보조 신경망 모델의 학습에 이용되는 학습 데이터에 포함된 라벨이 점수 라벨인 경우, 심혈관 질병 진단 보조 신경망 모델을 학습하는 것은 입력 안저 이미지에 부여된 점수 라벨과 신경망 모델에 의해 예측된 입력 안저 이미지에 따른 점수 정보를 비교하고 그 결과에 기초하여 심혈관 질병 진단 보조 신경망 모델을 갱신하는 것을 포함할 수 있다.If the label included in the training data used to train the cardiovascular disease diagnosis assistive neural network model is a score label, learning the cardiovascular disease diagnosis assistive neural network model is based on the score label assigned to the input fundus image and the input fundus predicted by the neural network model. Comparing score information according to the image and updating the cardiovascular disease diagnosis assistance neural network model based on the result.
심혈관 질병 진단 보조 신경망 모델을 학습하는 것은 점수 라벨과 예측된 점수 정보를 범위를 고려하여 비교하는 것을 포함할 수 있다. 심혈관 질병 진단 보조 신경망 모델을 학습하는 것은 점수를 그 값에 따라 구분하도록 미리 마련된 복수의 구간, 범위 또는 등급을 이용하여, 점수 라벨과 예측된 점수를 비교하는 것을 포함할 수 있다. 예를 들어, 심혈관 질병 진단 보조 신경망 모델을 학습하는 것은, 획득된 점수가 라벨의 점수와 동일 구간에 속하는 경우 신경망 모델의 예측이 올바른 것으로 보고, 획득된 점수가 라벨의 점수와 다른 구간에 속하는 경우 신경망 모델의 예측이 그른 것으로 보아 신경망 모델을 갱신하는 것을 포함할 수 있다.Learning a cardiovascular disease diagnosis aid neural network model may include comparing the score label with predicted score information in consideration of ranges. Learning a cardiovascular disease diagnosis aid neural network model may include comparing the score label with the predicted score, using a plurality of intervals, ranges, or grades pre-set to classify the scores according to their values. For example, learning an adjuvant neural network model for cardiovascular disease diagnosis indicates that the prediction of the neural network model is correct when the score obtained is in the same interval as the label, and the score is in a different interval than the label. As the prediction of the neural network model is wrong, it may include updating the neural network model.
심혈관 질병 진단 보조 신경망 모델을 학습하는 것은 오차 범위를 고려하여 수행될 수 있다. 예컨대, 예측된 점수 값과 입력된 라벨의 점수 값의 차이가 오차 범위 내인 경우 바르게 예측된 것으로 보고 신경망 모델을 갱신할 수 있다.Learning a cardiovascular disease-assisted neural network model can be performed taking into account the margin of error. For example, when the difference between the predicted score value and the score value of the input label is within the error range, the neural network model may be updated as correctly predicted.
혈관 질병 진단 보조 신경망 모델의 학습에 이용되는 학습 데이터에 포함된 라벨이 등급 라벨 또는 질병 유무 라벨인 경우, 심혈관 질병 진단 보조 신경망 모델을 학습하는 것은 입력 안저 이미지에 부여된 라벨과 신경망 모델에 의해 예측된 입력 안저 이미지에 따른 점수 정보를 비교하고 그 결과에 기초하여 심혈관 질병 진단 보조 신경망 모델을 갱신하는 것을 포함할 수 있다. 다시 말해, 심혈관 질병 진단 보조 신경망 모델을 학습하는 것은 점수 정보와 비-점수 라벨이 매칭되는지 여부를 판단하여 수행될 수 있다. 예컨대, 심혈관 질병 진단 보조 신경망 모델을 학습하는 것은, 신경망 모델에 의해 예측된 점수 정보가 입력 안저 이미지에 부여된 등급 정보 또는 질병 유무 정보와 매칭되는지 여부를 고려하여 수행될 수 있다.If the label included in the training data used to train the vascular disease diagnosis assisted neural network model is a grade label or disease-free label, learning the cardiovascular disease diagnosis assisted neural network model is predicted by the label given to the input fundus image and the neural network model. Comparing score information according to the received input fundus image and updating the cardiovascular disease diagnosis assistance neural network model based on the result. In other words, learning the cardiovascular disease diagnosis assistance neural network model may be performed by determining whether the score information and the non-score label match. For example, the training of the cardiovascular disease diagnosis assistance neural network model may be performed in consideration of whether score information predicted by the neural network model matches grade information or disease presence information given to the input fundus image.
심혈관 질병 진단 보조 신경망 모델의 학습 결과를 획득하는 단계(S4047)는 안저 이미지에 기초하여 학습된 심혈관 질병 진단 보조 신경망 모델 또는 그러한 신경망 모델의 파라미터를 획득하는 것을 포함할 수 있다. Acquiring a learning result of the cardiovascular disease diagnosis assistance neural network model (S4047) may include obtaining a trained cardiovascular disease diagnosis assistance neural network model or a parameter of such a neural network model based on the fundus image.
2.3.5 신경망 모델을 이용한 심혈관 질병의 진단 보조2.3.5 Assistive Diagnosis of Cardiovascular Disease Using Neural Network Model
2.3.5.1 심혈관 질병 진단 일반2.3.5.1 Cardiovascular Disease Diagnosis General
학습된 심혈관 질병 진단 보조 신경망 모델을 이용하여 심혈관 질병의 진단을 보조할 수 있다. 다시 말해, 학습된 심혈관 질병 진단 보조 신경망 모델을 이용하여 심혈관 질병의 진단에 유용한 진단 보조 정보를 획득함으로써 심혈관 질병의 진단을 보조할 수 있다.A trained cardiovascular disease diagnosis aided neural network model can be used to assist in the diagnosis of cardiovascular disease. In other words, it is possible to assist diagnosis of cardiovascular diseases by obtaining diagnostic assistance information useful for the diagnosis of cardiovascular diseases using the learned cardiovascular disease diagnosis assistance neural network model.
전술한 진단 장치, 클라이언트 장치, 모바일 장치, 또는 서버 장치는 환자의 안저 이미지에 기초하여 진단 보조 정보를 획득할 수 있다. 각 장치의 진단부, 제어부 또는 프로세서는 심혈관 질병 진단 보조 신경망 모델을 이용하여 대상 안저 이미지에 따른 진단 보조 정보를 획득할 수 있다.The above-described diagnostic device, client device, mobile device, or server device may obtain diagnostic assistance information based on the fundus image of the patient. The diagnosis unit, the control unit, or the processor of each device may obtain diagnosis assistance information based on the target fundus image by using the cardiovascular disease diagnosis assistance neural network model.
이하에서는, 도 1 내지 30과 관련하여 설명한 내용을 기초로, 학습된 신경망 모델을 이용하여 심혈관 질병의 진단을 보조하는 방법 등에 특유한 내용을 중심으로 설명한다.Hereinafter, based on the contents described with reference to FIGS. 1 to 30, the description will be focused on contents specific to a method for assisting the diagnosis of a cardiovascular disease using a trained neural network model.
도 38은 본 발명의 일 실시예에 따른 진단부(500)를 설명하기 위한 도면이다. 도 38을 참조하면, 본 발명의 일 실시예에 따른 진단부(500)는 진단 요청 획득 모듈(501), 심혈관 질병 진단 보조 모듈(503) 및 진단 보조 정보 출력 모듈(505)을 포함할 수 있다. 도 38에서 도시하는 진단부(500) 및 각 모듈들은 논리적인 구성을 기준으로 예시적으로 설명한 것이며, 진단부(500) 또는 각 모듈들은 본 명세서에서 설명하는 다양한 장치 또는 그 외의 장치 중 적어도 하나의 장치에 포함될 수 있다. 38 is a diagram for describing a
진단 요청 획득 모듈(501)은 외부 장치 또는 사용자로부터 진단 요청을 획득할 수 있다. 진단 요청 획득 모듈(501)은 진단 대상 안저 이미지를 포함하는 진단 요청을 획득할 수 있다. 진단 요청 획득 모듈(501)은 요청되는 진단 보조 정보를 식별하는 진단 보조 정보 식별 정보를 포함하는 진단 요청을 획득할 수 있다. The diagnosis
진단 요청 획득 모듈(501)은 진단 요청을 획득하고, 진단 보조 정보 획득 프로세스를 개시할 수 있다. 진단 요청 획득 모듈(501)은 진단 요청을 획득한 후 안저 이미지를 획득하거나, 안저 이미지를 포함하는 진단 요청을 획득하거나, 안저 이미지를 획득한 후 진단 요청을 획득할 수 있다. The diagnosis
심혈관 질병 진단 보조 모듈(503)은 학습된 심혈관 질병 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다. 심혈관 질병 진단 보조 모듈(503)은 진단 보조 요청이 획득되면 진단 보조 정보를 획득할 수 있다. 심혈관 질병 진단 보조 모듈(503)은 대상 안저 이미지를 획득하고 대상 안저 이미지에 기초하여 신경망 모델로부터 심혈관 질병 진단 보조 정보를 획득할 수 있다. 심혈관 질병 진단 보조 모듈(503)은 학습된 신경망 모듈 또는 학습된 신경망 모듈의 파라미터를 획득하고, 이를 이용하여 대상 안저 이미지에 따른 진단 보조 정보를 획득할 수 있다. 심혈관 질병 진단 보조 모듈(503)은 대상 안저 이미지를 획득하고 심혈관 질병의 진단을 위한 질병 유무 정보, 등급 정보 또는 점수 정보를 획득할 수 있다. The cardiovascular disease
심혈관 질병 진단 보조 모듈(503)은 신경망 모델로부터 직접 출력되는 1차 심혈관 질병 진단 보조 정보 외에 추가적인 정보(다시 말해, 2차 진단 보조 정보)를 더 획득할 수도 있다. 예컨대, 심혈관 질병 진단 보조 모듈(503)은 후술하는 지시 정보 또는 처방 정보 등을 획득할 수 있다. 또 예컨대, 심혈관 질병 진단 보조 모듈은 대상 질병이 아닌 타 질병에 대한 진단 보조 정보 또는 출력되는 진단 보조 정보에 대응되는 CAM(class activation map)이미지를 함께 획득할 수도 있다.The cardiovascular disease
진단 보조 정보 출력 모듈(505)은 심혈관 질병 진단 보조 모듈로부터 진단 보조 정보를 획득할 수 있다. 진단 보조 정보 출력 모듈(505)은 심혈관 질병에 대한 진단 보조 정보를 출력할 수 있다. 진단 보조 정보 획득 모듈은 외부 기기 또는 외부 모듈로 진단 보조 정보를 전달할 수 있다. 진단 보조 정보는 사용자 인터페이스 등을 통하여 사용자에게 제공될 수 있다. The diagnostic assistance
도 39는 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 방법을 설명하기 위한 도면이다. 도 39를 참조하면, 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 방법은 진단 요청을 획득하는 단계(S5011), 심혈관 질병 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득하는 단계(S5013) 및 진단 보조 정보를 출력하는 단계(S5015)를 포함할 수 있다.39 is a view for explaining a cardiovascular disease diagnosis method according to an embodiment of the present invention. Referring to FIG. 39, in the method for assisting cardiovascular disease diagnosis according to an embodiment of the present disclosure, the method may include obtaining a diagnosis request (S5011), obtaining diagnosis assistance information using a cardiovascular disease diagnosis assisted neural network model (S5013), and And outputting the diagnosis assistance information (S5015).
심혈관 질병 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득하는 단계(S5011)는, 대상 진단 보조 정보(즉, 획득하고자 하는 진단 보조 정보)의 종류에 따라 달리 구성될 수 있다. 예컨대, 진단 보조 정보 획득에 이용되는 심혈관 질병 진단 보조 신경망 모델은 대상 진단 보조 정보의 종류에 따라 결정될 수 있다.Acquiring the diagnostic assistance information using the cardiovascular disease diagnosis assistance neural network model (S5011) may be configured differently according to the type of the target diagnostic assistance information (ie, the diagnostic assistance information to be acquired). For example, the cardiovascular disease-assisted neural network model used for obtaining the diagnosis assistance information may be determined according to the type of the diagnosis assistance information.
심혈관 질병 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 획득하는 단계(S5013)는 심혈관 질병 진단 보조 신경망 모델을 통하여 획득된 진단 보조 정보를 획득 및 가공하는 것을 포함할 수 있다. 다시 말해, 진단 보조 정보를 획득하는 것은 신경망 모델을 통하여 직접 획득된 1차 진단 보조 정보 및/또는 1차 진단 보조 정보에 기초하여 획득된 2차 진단 보조 정보를 획득하는 것을 더 포함할 수 있다.Acquiring the diagnosis assistance information using the cardiovascular disease diagnosis assistance neural network model (S5013) may include acquiring and processing the diagnosis assistance information acquired through the cardiovascular disease diagnosis assistance neural network model. In other words, acquiring the diagnostic assistance information may further include acquiring the secondary diagnostic assistance information obtained based on the primary diagnostic assistance information and / or the primary diagnostic assistance information directly obtained through the neural network model.
진단 보조 정보를 출력하는 단계(S5015)는 사용자가 인지할 수 있는 형태로 진단 보조 정보를 출력하는 것을 포함할 수 있다. 진단 보조 정보를 출력하는 것은 진단 보조 정보를 시각 또는 청각 데이터 형태로 출력하는 것을 포함할 수 있다. 진단 보조 정보를 출력하는 단계는 출력되는 진단 보조 정보의 종류에 따라 달리 구성될 수 있다. 예컨대, 진단 보조 정보는 그 종류에 따라 달리 출력될 수 있다. The outputting of the diagnostic assistance information (S5015) may include outputting the diagnostic assistance information in a form that can be recognized by the user. Outputting the diagnostic assistance information may include outputting the diagnostic assistance information in the form of visual or audio data. The outputting of the diagnostic assistance information may be configured differently according to the type of the diagnostic assistance information output. For example, the diagnostic assistance information may be output differently according to the type thereof.
도 40은 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다. 도 40을 참조하면, 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법은, 대상 안저 이미지를 획득하는 단계(S310), 피검체의 심혈관 질병 진단 보조 정보를 획득하는 단계(S330) 및 피검체의 심혈관 질병 진단 보조 정보를 출력하는 단계(S350)를 포함할 수 있다.40 is a diagram illustrating a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention. Referring to FIG. 40, in the method for assisting diagnosis of a cardiovascular disease according to an embodiment of the present disclosure, the method may include obtaining a target fundus image (S310), acquiring cardiovascular disease diagnosis assistance information (S330), and blood. And outputting the cardiovascular disease diagnosis assistance information of the sample (S350).
대상 안저 이미지를 획득하는 단계(S310)는 피검체의 안저를 촬상한 대상 안저 이미지를 획득하는 것을 포함할 수 있다.Acquiring the target fundus image (S310) may include acquiring a target fundus image of the fundus of the subject.
피검체의 심혈관 질병 진단 보조 정보를 획득하는 단계(S330)는 대상 안저 이미지에 기초하여, 안저 이미지에 따른 대상 심혈관 질병의 진단에 이용되는 진단 보조 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델을 통하여, 대상 안저 이미지에 따른 피검체의 심혈관 질병 진단 보조 정보를 획득하는 것을 포함할 수 있다.Acquiring the cardiovascular disease diagnosis assistance information of the subject (S330) is based on the target fundus image, through the cardiovascular disease diagnosis assistant neural network model for obtaining the diagnosis aid information used for the diagnosis of the target cardiovascular disease according to the fundus image, And obtaining cardiovascular disease diagnosis assistance information of the subject according to the subject fundus image.
심혈관 질병 진단 보조 정보는 대상 심혈관 질병의 위험도를 나타내는 복수의 등급 중 선택된 등급을 포함하는 등급 정보, 대상 심혈관 질병의 위험도를 판단하기 위한 수치 정보인 점수 정보 및 피검체의 대상 심혈관 질병의 위험군 해당 여부를 나타내는 위험 정보 중 적어도 하나를 포함할 수 있다.The cardiovascular disease diagnosis assistance information includes grade information including a selected grade among a plurality of grades representing the risk of target cardiovascular disease, score information, which is numerical information for determining the risk of the target cardiovascular disease, and whether the subject is a risk group of the target cardiovascular disease. It may include at least one of the risk information indicating.
피검체의 심혈관 질병 진단 보조 정보를 획득하는 단계(S330)는 대상 안저 이미지에 따른 심혈관 질병 진단 보조 정보에 대한 클래스 액티베이션 맵(class activation map)을 획득하는 것을 더 포함할 수 있다.Acquiring the cardiovascular disease diagnosis assistance information of the subject (S330) may further include obtaining a class activation map for the cardiovascular disease diagnosis assistance information according to the target fundus image.
클래스 액티베이션 맵 또는 피처 맵의 출력과 관련하여, 도 47 및 48과 관련하여 설명되는 내용이 유추 적용될 수 있다.Regarding the output of the class activation map or the feature map, the contents described in connection with FIGS. 47 and 48 may be inferred.
피검체의 심혈관 질병 진단 보조 정보를 출력하는 단계(S350)는 심혈관 질병 진단 보조 정보에 대한 클래스 액티베이션 맵에 기초하여 생성되고, 대상 안저 이미지에 대응되는 형태로 마련되어 심혈관 질병 진단 보조 정보와 관련된 특징 영역을 표시하는 심혈관 질병 진단 보조 피처 맵을 출력하는 것을 더 포함할 수 있다.Outputting the cardiovascular disease diagnosis assistance information of the subject (S350) is generated based on the class activation map for the cardiovascular disease diagnosis assistance information, and is provided in a form corresponding to the target fundus image to provide a feature region related to the cardiovascular disease diagnosis assistance information. The method may further include outputting a cardiovascular disease diagnosis assistance feature map indicating.
피검체의 심혈관 질병 진단 보조 정보를 출력하는 단계(S350)는 대상 안저 이미지 및 심혈관 질병 진단 보조 피처 맵을 중첩하여 출력하는 것을 포함할 수 있다.Outputting the cardiovascular disease diagnosis assistance information of the subject (S350) may include outputting a superimposed fundus image and the cardiovascular disease diagnosis aid feature map.
피검체의 심혈관 질병 진단 보조 정보를 출력하는 단계(S350)는 피검체의 심혈관 질병 진단 보조 정보에 기초하여 결정된 지시 정보를 출력하는 것을 더 포함할 수 있다. 이때, 지시 정보는 미리 저장된 심혈관 질병 진단 보조 정보-지시 정보 관계를 이용하여 결정될 수 있다. 예컨대, 지시 정보는 심혈관 질병 진단 보조 정보에 따른 지시 정보가 매칭된 매칭 테이블을 이용하여 결정될 수 있다. 지시 정보는 미리 마련된 심혈관 질병 진단 보조 정보-지시 정보 관계에 따라 결정되고, 심혈관 질병 진단 보조 정보-지시 정보 관계는 심혈관 질병 진단 보조 정보에 대응되는 피검체에 대해 가능한 의료적 처치 방법을 포함할 수 있다.Outputting the cardiovascular disease diagnosis assistance information of the subject (S350) may further include outputting indication information determined based on the cardiovascular disease diagnosis assistance information of the subject. In this case, the indication information may be determined using a prestored cardiovascular disease diagnosis assistance information-instruction information relationship. For example, the indication information may be determined using a matching table to which the indication information according to the cardiovascular disease diagnosis assistance information is matched. The indication information may be determined according to a pre-established cardiovascular disease diagnosis assistant information-instruction information relationship, and the cardiovascular disease diagnosis assistant information-instruction information relationship may include possible medical treatment methods for a subject corresponding to the cardiovascular disease diagnosis assistant information. have.
일 실시예에 따르면, 심혈관 질병의 진단 보조 방법은 안질환에 대한 진단 보조를 수행하는 장치에 의해 수행될 수 있다. 예컨대, 심혈관 질병의 진단 보조 방법은, 대상 안저 이미지에 기초하여, 안저 이미지에 따른 안질환 진단 보조 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델을 통하여, 대상 안저 이미지에 따른 피검체의 안질환 진단 보조 정보를 획득하는 단계를 더 포함할 수 있다.According to one embodiment, the method for assisting diagnosis of cardiovascular disease may be performed by an apparatus for performing diagnosis assistance for eye diseases. For example, the method for assisting diagnosis of cardiovascular diseases may be based on an object fundus image, and through the cardiovascular disease diagnosis assist neural network model for acquiring eye disease diagnosis assistance information according to the fundus image. The method may further include obtaining information.
도 41은 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다. 도 41을 참조하면, 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법은, 대상 안저 이미지를 재구성하는 단계(S320)를 더 포함할 수 있다.41 is a diagram illustrating a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention. Referring to FIG. 41, the method for assisting diagnosis of a cardiovascular disease according to an embodiment of the present invention may further include reconstructing a target fundus image (S320).
대상 안저 이미지를 재구성하는 단계(S320)는 대상 심혈관 질병의 진단을 용이하게 하기 위하여, 대상 안저 이미지에 포함된 혈관 요소가 강조되도록 대상 안저 이미지를 재구성하는 것을 포함할 수 있다. 이때, 피검체의 심혈관 질병 진단 보조 정보를 획득하는 단계(S330)는, 재구성된 대상 안저 이미지에 기초하여 피검체의 심혈관 질병 진단 보조 정보를 획득하는 것을 포함 안저 이미지의 재구성에는 본 명세서에서 설명하는 다양한 전처리 또는 재구성 방법 등이 적용될 수 있다.Reconstructing the subject fundus image (S320) may include reconstructing the subject fundus image such that the vascular element included in the subject fundus image is highlighted to facilitate diagnosis of the target cardiovascular disease. At this time, the step of obtaining the cardiovascular disease diagnosis assistance information of the subject (S330), including the acquisition of the cardiovascular disease diagnosis assistance information of the subject based on the reconstructed target fundus image is described in the description of the fundus image Various pretreatment or reconstruction methods may be applied.
예컨대, 대상 안저 이미지를 재구성하는 단계(S320)는 대상 안저 이미지에, 대상 안저 이미지에 포함된 혈관이 분포하는 영역을 강조하는 전처리를 수행하는 것을 포함할 수 있다. 또는, 대상 안저 이미지를 재구성하는 단계(S320)는 대상 안저 이미지에 포함된 혈관이 분포하는 영역을 추출하는 것을 포함할 수 있다.For example, reconstructing the target fundus image (S320) may include performing preprocessing on the target fundus image to emphasize a region in which blood vessels included in the target fundus image are distributed. Alternatively, reconstructing the target fundus image (S320) may include extracting a region in which blood vessels included in the target fundus image are distributed.
대상 심혈관 질병은 관상동맥 질환일 수 있다. The subject cardiovascular disease may be coronary artery disease.
등급 정보는 관상동맥 질환에 대한 위험도를 나타내는 관상동맥질환 위험 등급 정보이고, 점수 정보는 관상동맥 질환의 진단에 이용되는 관상동맥 칼슘 점수 정보이고, 위험 정보는 피검체의 관상동맥지로한에 대한 위험군 해당 여부를 나타내는 관상동맥 질환 위험 정보일 수 있다.The grade information is coronary artery disease risk grade information indicating the risk for coronary artery disease, the score information is coronary calcium score information used for the diagnosis of coronary artery disease, and the risk information is the risk group for coronary artery disease of the subject. Coronary artery disease risk information indicating whether or not.
심혈관 질병 진단 보조 신경망 모델은, 진단 보조 정보 라벨이 부여된 복수의 안저 이미지를 포함하는 안저 이미지 학습 데이터를 이용하여, 안저 이미지에 기초하여 심혈관 질병 진단 보조 정보를 출력하도록 학습될 수 있다.The cardiovascular disease diagnosis assistive neural network model may be trained to output cardiovascular disease diagnosis assistance information based on the fundus image using fundus image learning data including a plurality of fundus images labeled with the diagnosis aid information label.
본 발명의 일 실시예에 따르면, 안저 이미지를 이용하여 대상 심혈관 질병의 진단을 보조하기 위한 방법에 있어서, 피검체의 안저를 촬상한 대상 안저 이미지를 획득하는 단계, 대상 안저 이미지에 대하여 혈관 요소가 강조되도록 하는 재구성을 수행하여 획득된 재구성된 대상 안저 이미지에 기초하여, 안저 이미지에 기초하여 심혈관 질병 진단 보조 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델을 통하여, 피검체의 심혈관 질병 진단 보조 정보를 획득하는 단계 및 피검체의 심혈관 질병 진단 보조 정보를 출력하는 단계를 포함하는 심혈관 질병 진단 보조 방법이 제공될 수 있다.According to an embodiment of the present invention, in the method for assisting the diagnosis of the target cardiovascular disease using the fundus image, acquiring a target fundus image of the image of the subject's fundus, the blood vessel element with respect to the target fundus image Based on the reconstructed subject fundus image obtained by performing the reconstruction to be emphasized, the cardiovascular disease diagnosis assistance information is obtained through the cardiovascular disease diagnosis assist neural network model that obtains the cardiovascular disease diagnosis aid information based on the fundus image. A cardiovascular disease diagnosis assistance method may be provided, the method comprising: and outputting cardiovascular disease diagnosis assistance information of a subject.
심혈관 질병 진단 보조 신경망 모델은 혈관 요소가 강조된 복수의 안저 이미지 및 복수의 안저 이미지에 부여된 심혈관 질병 진단 보조 라벨을 포함하는 안저 이미지 학습 데이터를 이용하여 학습될 수 있다.The cardiovascular disease diagnosis aid neural network model may be trained using fundus image learning data including a plurality of fundus images with vascular elements highlighted and cardiovascular disease diagnosis aid labels assigned to the plurality of fundus images.
대상 심혈관 질병은 관상동맥 질환이고, 심혈관 질병 진단 보조 정보는 대상 심혈관 질병의 위험도를 나타내는 복수의 등급 중 선택된 등급을 포함하는 등급 정보, 대상 심혈관 질병의 위험도를 판단하기 위한 수치 정보인 점수 정보 및 피검체의 대상 심혈관 질병의 위험군 해당 여부를 나타내는 위험 정보 중 적어도 하나를 포함할 수 있다.The target cardiovascular disease is a coronary artery disease, and the cardiovascular disease diagnosis assistance information includes grade information including a selected grade among a plurality of grades representing the risk of the target cardiovascular disease, score information and numerical information for determining the risk of the target cardiovascular disease. It may include at least one of the risk information indicating whether the subject is a risk group of the target cardiovascular disease.
등급 정보는 관상동맥 질환에 대한 위험도를 나타내는 관상동맥질환 위험 등급 정보이고, 점수 정보는 관상동맥 질환의 진단에 이용되는 관상동맥 칼슘 점수 정보이고, 위험 정보는 피검체의 관상동맥질환에 대한 위험군 해당 여부를 나타내는 관상동맥 질환 위험 정보일 수 있다.Rating information is coronary artery disease risk rating information indicating the risk for coronary artery disease, score information is coronary calcium score information used for the diagnosis of coronary artery disease, risk information is the risk group for coronary artery disease of the subject Coronary artery disease risk information.
피검체의 심혈관 질병 진단 보조 정보를 출력하는 단계는, 심혈관 질병 진단 보조 정보에 기초하여 획득된 지시 정보를 출력하는 것을 더 포함할 수 있다. 지시 정보는 미리 마련된 심혈관 질병 진단 보조 정보-지시 정보 관계에 따라 결정되되, 심혈관 질병 진단 보조 정보-지시 정보 관계는 심혈관 질병 진단 보조 정보에 대응되는 피검체에 대해 가능한 의료적 처치 방법을 포함할 수 있다.The outputting of the cardiovascular disease diagnosis assistance information of the subject may further include outputting indication information obtained based on the cardiovascular disease diagnosis assistance information. The indication information is determined according to a pre-established cardiovascular disease diagnosis assistant information-instruction information relationship, but the cardiovascular disease diagnosis assistant information-instruction information relationship may include a possible medical treatment method for a subject corresponding to the cardiovascular disease diagnosis assistant information. have.
심혈관 질병의 진단 보조 방법은, 대상 안저 이미지에 기초하여, 안저 이미지에 따른 안질환 진단 보조 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델을 통하여, 대상 안저 이미지에 따른 피검체의 안질환 진단 보조 정보를 획득하는 단계를 더 포함할 수 있다.The method for diagnosing cardiovascular disease may be performed by using a cardiovascular disease diagnosis assistive neural network model for acquiring eye disease diagnosis assistance information according to the fundus image based on the subject fundus image. The method may further include obtaining.
이상에서 설명된 몇몇 실시예에 따른 심혈관 질병 진단 보조 방법은, 방법을 실행하는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체의 형태로 제공될 수도 있다.The cardiovascular disease diagnosis assistance method according to some embodiments described above may be provided in the form of a computer-readable recording medium in which a program for executing the method is recorded.
도 42는 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 장치(5000)를 설명하기 위한 도면이다. 도 42를 참조하면, 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 장치(5000)는, 안저 이미지 촬상부(5100), 심혈관 질병 진단 보조 정보 획득부(5300) 및 심혈관 질병 진단 보조 정보 출력부(5500)를 포함할 수 있다.42 is a diagram illustrating an
도 42를 참조하면, 본 발명의 일 실시예에 따른 안저 이미지를 이용하여 대상 심혈관 질병의 진단을 보조하는 심혈관 질병 진단 보조 장치(5000)는 피검체의 안저를 촬상하여 대상 안저 이미지를 획득하는 안저 이미지 획득부, 대상 안저 이미지에 기초하여, 안저 이미지에 따른 대상 심혈관 질병의 진단에 이용되는 진단 보조 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델을 통하여, 대상 안저 이미지에 따른 피검체의 심혈관 질병 진단 보조 정보를 획득하는 심혈관 질병 진단 보조 정보 획득부 및 획득된 심혈관 질병 진단 보조 정보를 출력하는 심혈관 질병 진단 보조 정보 출력부를 포함할 수 있다.Referring to FIG. 42, a cardiovascular disease
이때, 심혈관 질병 진단 보조 정보는 대상 심혈관 질병의 위험도를 나타내는 복수의 등급 중 선택된 등급을 포함하는 등급 정보, 대상 심혈관 질병의 위험도를 판단하기 위한 수치 정보인 점수 정보 및 피검체의 대상 심혈관 질병의 위험군 해당 여부를 나타내는 위험 정보 중 적어도 하나를 포함할 수 있다.In this case, the cardiovascular disease diagnosis assistance information includes grade information including a selected grade among a plurality of grades representing the risk of the target cardiovascular disease, score information which is numerical information for determining the risk of the target cardiovascular disease, and a risk group of the target cardiovascular disease of the subject. It may include at least one of the risk information indicating whether or not.
대상 심혈관 질병은 관상동맥 질환일 수 있다. 이때, 등급 정보는 관상동맥 질환에 대한 위험도를 나타내는 관상동맥질환 위험 등급 정보이고, 점수 정보는 관상동맥 질환의 진단에 이용되는 관상동맥 칼슘 점수 정보이고, 위험 정보는 피검체의 관상동맥질환에 대한 위험군 해당 여부를 나타내는 관상동맥 질환 위험 정보일 수 있다.The subject cardiovascular disease may be coronary artery disease. In this case, the grade information is coronary artery disease risk level information indicating the risk for coronary artery disease, the score information is coronary calcium score information used for the diagnosis of coronary artery disease, the risk information is the risk information for the coronary artery disease of the subject Coronary artery disease risk information may indicate whether the risk group.
심혈관 질병 진단 보조 정보 획득부(5300)는 심혈관 질병 진단 보조 정보에 대한 클래스 액티베이션 맵을 획득할 수 있다.The cardiovascular disease diagnosis assistance
심혈관 질병 진단 보조 정보 출력부(5500)는 대상 안저 이미지에 대응되는 형태로 마련되어 심혈관 질병 진단 보조 정보와 관련된 특징 영역을 표시하는 심혈관 질병 진단 보조 피처 맵을 출력할 수 있다.The cardiovascular disease diagnosis assistance
심혈관 질병 진단 보조 정보 출력부(5500)는 피검체의 심혈관 질병 진단 보조 정보에 기초하고, 미리 저장된 심혈관 질병 진단 보조 정보-지시 정보 관계를 이용하여 결정된 지시 정보를 출력하는 것을 포함할 수 있다.The cardiovascular disease diagnosis assistance
심혈관 질병의 진단 보조 장치(5000)는, 대상 안저 이미지에 기초하여, 안저 이미지에 따른 안질환 진단 보조 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델을 통하여, 대상 안저 이미지에 따른 피검체의 안질환 진단 보조 정보를 획득하는 안질환 진단 보조 정보 획득부를 더 포함할 수 있다. The cardiovascular
심혈관 질병 진단 보조 정보 출력부(5500)는 안질환 진단 보조 정보를 출력할 수 있다.The cardiovascular disease diagnosis assistance
도 43은 본 발명의 다른 일 실시예에 따른 심혈관 질병의 진단 보조 장치(5001)를 설명하기 위한 도면이다. 도 43을 참조하면, 본 발명의 다른 일 실시예에 따른 심혈관 질병의 진단 보조 장치(5001)는, 안저 이미지 촬상부(5101), 심혈관 질병 진단 보조 정보 획득부(5301) 및 심혈관 질병 진단 보조 정보 출력부(5501)을 포함하고, 안저 이미지 재구성부(5701) 또는 안질환 진단 보조 정보 획득부(5901)를 더 포함할 수 있다. FIG. 43 is a diagram for describing an
예컨대, 심혈관 질병의 진단 보조 장치(5001)는, 대상 심혈관 질병의 진단을 용이하게 하기 위하여, 대상 안저 이미지에 포함된 혈관 요소가 강조되도록 대상 안저 이미지를 재구성하는 안저 이미지 재구성부(5701)를 더 포함할 수 있다. 이때, 피검체의 심혈관 질병 진단 보조 정보 획득부는 재구성된 대상 안저 이미지에 기초하여 피검체의 심혈관 질병 진단 보조 정보를 획득할 수 있다.For example, the
이하에서는, 대상 안저 이미지에 기초하여 진단 보조 정보 정보를 획득하는 다양한 경우에 대하여 몇 가지 실시예를 들어 설명한다.Hereinafter, various embodiments of obtaining diagnostic assistance information based on the target fundus image will be described with reference to some embodiments.
2.3.5.2 신경망 모델을 이용한 위험군 선별2.3.5.2 Risk Group Selection Using Neural Network Model
본 발명의 일 실시예에 따르면, 안저 이미지에 기초하여 심혈관 질병의 질병 유무 정보를 획득하도록(또는 위험군을 선별하도록) 학습된 심혈관 질병 진단 보조 신경망 모델을 이용하여 심혈관 질병의 진단을 보조하는 방법이 제공될 수 있다. 이하에서 설명하는 심혈관 질병의 진단 보조 방법 등은 본 명세서에서 설명하는 진단부, 제어부 또는 프로세서에 의해 실행될 수 있다.According to an embodiment of the present invention, a method for assisting the diagnosis of cardiovascular disease using a cardiovascular disease diagnosis assisted neural network model that is trained to obtain disease presence information of cardiovascular disease (or to select a risk group) based on the fundus image is provided. Can be provided. A method for assisting diagnosis of a cardiovascular disease described below may be executed by the diagnosis unit, the controller, or the processor described herein.
도 44는 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다. 도 44를 참조하면, 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법은 진단 요청을 획득하는 단계(S5021), 심혈관 질병 진단 보조 신경망 모델을 이용하여 질병 유무 정보를 획득하는 단계(S5023) 및 진단 보조 정보를 출력하는 단계(S5025)를 포함할 수 있다.44 is a diagram illustrating a method for assisting diagnosis of cardiovascular disease according to one embodiment of the present invention. Referring to FIG. 44, in the method for assisting diagnosis of a cardiovascular disease according to an embodiment of the present disclosure, the method may include obtaining a diagnosis request (S5021), and obtaining disease presence information using a cardiovascular disease diagnosis assisted neural network model (S5023). And outputting diagnostic assistance information (S5025).
진단 요청을 획득하는 단계(S5021)는 진단 대상 안저 이미지(이하, 대상 안저 이미지)를 획득하는 것을 포함할 수 있다. 진단 요청을 획득하는 단계는 획득할 진단 보조 정보(획득 대상 진단 보조 정보)에 대한 정보 획득하는 것을 포함할 수 있다. Acquiring a diagnosis request in operation S5021 may include acquiring a diagnosis fundus image (hereinafter, referred to as an object fundus image). Acquiring the diagnosis request may include acquiring information about the diagnosis assistance information (acquisition target diagnosis assistance information) to be acquired.
진단 요청은 진단 보조 프로세스의 시작을 요청하는 데이터일 수 있다. 진단 요청은 대상 심혈관 질병에 대한 정보를 포함하고, 대상 심혈관 질병과 관련된 진단 보조 정보를 요청하는 데이터일 수도 있다. 진단 요청은 환자의 대상 질병에 대한 위험군 해당 여부와 관련된 질병 유무 정보를 요청하는 데이터일 수 있다. 예컨대, 진단 요청은 대상 안저 이미지 및 대상 진단 보조 정보의 식별 정보를 포함할 수 있다. The diagnostic request may be data requesting the start of a diagnostic assistance process. The diagnostic request may include data about the target cardiovascular disease and may be data requesting diagnostic assistance information related to the target cardiovascular disease. The diagnosis request may be data for requesting disease presence information related to whether the patient is a risk group for the target disease. For example, the diagnosis request may include identification information of the target fundus image and the target diagnosis assistance information.
예컨대, 진단 요청 획득 모듈은 대상 안저 이미지 및 대상 안저 이미지에 기초하여 관상동맥 질환에 대한 진단(또는 진단 보조)를 요청하는 진단 요청(또는 진단 보조 요청)을 획득할 수 있다. 또 예컨대, 진단부는 사용자 입력부를 통하여 사용자에 의한 진단 요청을 획득하거나 통신부를 통하여 외부 기기로부터 진단 요청을 획득할 수 있다.For example, the diagnosis request obtaining module may obtain a diagnosis request (or a diagnosis assistance request) requesting a diagnosis (or diagnosis assistance) for a coronary artery disease based on the subject fundus image and the subject fundus image. For example, the diagnosis unit may acquire a diagnosis request by the user through the user input unit, or obtain a diagnosis request from an external device through the communication unit.
심혈관 질병 진단 보조 신경망 모델을 이용하여 질병 유무 정보를 획득하는 단계(S5023)는 질병 유무 정보를 요청하는 진단 보조 요청에 기초하여 질병 유무 정보를 획득하는 것을 포함할 수 있다. 질병 유무 정보를 획득하는 단계는 대상 심혈관 질병에 대한 진단 보조를 요청하는 진단 보조 요청에 기초하여 질병 유무 정보를 획득하는 것을 포함할 수 있다. Acquiring disease presence information using the cardiovascular disease diagnosis assistance neural network model (S5023) may include obtaining disease presence information based on a diagnosis assistance request for requesting disease presence information. Acquiring disease presence information may include obtaining disease presence information based on a diagnosis assistance request for requesting diagnosis assistance for a target cardiovascular disease.
예컨대, 심혈관 질병 진단 보조 모듈은 대상 안저 이미지에 기초하여 환자의 관상동맥 질병 해당 여부를 나타내는 질병 유무 정보를 획득하는 신경망 모델을 이용하여, 질병 유무 정보 또는 질병 유무 정보 및 타 정보를 획득할 수 있다. 또 예컨대, 진단부는 제어부 또는 프로세서를 통하여 신경망 모델로부터 안저 이미지에 대한 대상 심혈관 질병의 유무 정보를 획득할 수 있다. For example, the cardiovascular disease diagnosis assistance module may acquire disease presence information or disease presence information and other information by using a neural network model that obtains disease presence information indicating whether a patient has coronary artery disease based on a target fundus image. . In addition, for example, the diagnosis unit may acquire information on the presence or absence of the target cardiovascular disease for the fundus image from the neural network model through the controller or the processor.
심혈관 질병 진단 보조 모듈은 대상 질병에 대한 질병 유무 정보에 기초하여 유추된 정보를 더 획득할 수 있다. 예컨대, 심혈관 질병 진단 보조 모듈은 미리 정해진 연관관계에 기초하거나 안저 이미지 외의 입력 값을 함께 고려하여, 대상 심혈관 질병이 아닌 타 질병에 대한 위험도 등을 더 획득할 수 있다. The cardiovascular disease diagnosis assistance module may further obtain inferred information based on disease presence information on the target disease. For example, the cardiovascular disease diagnosis assistance module may further acquire a risk for other diseases other than the target cardiovascular disease based on a predetermined correlation or in consideration of input values other than the fundus image.
진단 보조 정보를 출력하는 단계(S5025)는 대상 심혈관 질병에 대한 질병 유무 정보를 출력하는 것을 더 포함할 수 있다. 진단 보조 정보를 출력하는 단계는 대상 심혈관 질병에 대한 질병 유무 정보 및 타 정보를 함께 출력하는 것을 더 포함할 수 있다. 예컨대, 진단 보조 정보를 출력하는 단계는 질병 유무 정보 및 유추된 정보를 함께 출력할 수 있다.The outputting of the diagnostic assistance information (S5025) may further include outputting disease information on the target cardiovascular disease. The outputting of the diagnosis assistance information may further include outputting disease information and other information on the target cardiovascular disease. For example, the outputting of the diagnosis assistance information may output the disease presence information and the inferred information together.
예컨대, 진단 보조 정보 출력 모듈은 대상 심혈관 질병에 대한 질병 유무 정보를 출력할 수 있다. 진단 보조 정보 출력 모듈은 대상 심혈관 질병에 대한 질병 유무 정보 및 타 정보를 출력할 수 있다. 진단 보조 정보 출력 모듈은 외부 장치로 질병 유무 정보를 전송하거나, 사용자가 인지 가능한 형태로 질병 유무 정보를 출력할 수 있다. 또 예컨대, 진단부는 질병 유무 정보가 사용자에 제공되도록, 표시부 또는 출력부로 질병 유무 정보를 포함하는 진단 보조 정보를 전달할 수 있다.For example, the diagnostic assistance information output module may output disease presence information on the target cardiovascular disease. The diagnostic assistance information output module may output disease presence information and other information on the target cardiovascular disease. The diagnostic assistance information output module may transmit disease presence information to an external device, or may output disease presence information in a form that can be recognized by a user. In addition, for example, the diagnosis unit may transmit the diagnosis assistance information including the disease presence information to the display unit or the output unit so that disease information is provided to the user.
2.3.5.3 신경망 모델을 이용한 등급 판단2.3.5.3 Rating judgment using neural network model
본 발명의 일 실시예에 따르면, 안저 이미지에 기초하여 심혈관 질병의 위험도를 지시하는 등급 정보를 획득하도록 학습된 심혈관 질병 진단 보조 신경망 모델을 이용하여 심혈관 질병의 진단을 보조하는 방법이 제공될 수 있다. 이하에서 설명하는 심혈관 질병의 진단 보조 방법 등은 진단부, 제어부 또는 프로세서에 의해 실행될 수 있다.According to an embodiment of the present invention, a method for assisting diagnosis of cardiovascular disease using a cardiovascular disease diagnosis assisted neural network model trained to obtain grade information indicating a risk of cardiovascular disease based on an ocular fundus image may be provided. . A method for assisting diagnosis of a cardiovascular disease described below may be executed by a diagnosis unit, a controller, or a processor.
도 45는 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다. 도 45를 참조하면, 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법은 진단 요청을 획득하는 단계(S5031), 심혈관 질병 진단 보조 신경망 모델을 이용하여 등급 정보를 획득하는 단계(S5033) 및 진단 보조 정보를 출력하는 단계(S5035)를 포함할 수 있다.45 is a view illustrating a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention. Referring to FIG. 45, in the method for assisting diagnosis of a cardiovascular disease according to an embodiment of the present disclosure, the method may include obtaining a diagnosis request (S5031), obtaining grade information using a cardiovascular disease diagnosis assisted neural network model (S5033), and And outputting the diagnostic assistance information (S5035).
진단 요청을 획득하는 단계(S5031)는 대상 안저 이미지를 획득하는 것을 포함할 수 있다. 진단 요청을 획득하는 단계에는 위험군 선별과 관련하여 전술한 내용이 유사하게 적용될 수 있다. Acquiring a diagnosis request in operation S5031 may include acquiring a target fundus image. In the obtaining of the diagnosis request, the above-described descriptions related to risk group selection may be similarly applied.
진단 요청을 획득하는 단계(S5031)는 진단 대상 안저 이미지 및 대상 심혈관 질병에 대한 정보를 포함하는 진단 요청을 획득하는 것을 포함할 수 있다. 진단 요청을 획득하는 단계(S5031)는 환자의 대상 심혈관 질병과 관련된 등급 정보를 요청하는 진단 요청을 획득하는 것을 포함할 수 있다. 진단 요청을 획득하는 단계(S5031)는 등급 정보 및 타 정보를 요청하는 진단 요청을 획득하는 것을 포함할 수 있다.Acquiring a diagnosis request (S5031) may include obtaining a diagnosis request including a diagnosis fundus image and information on a target cardiovascular disease. Acquiring the diagnosis request (S5031) may include obtaining a diagnosis request for requesting grade information related to the target cardiovascular disease of the patient. Obtaining a diagnostic request (S5031) may include obtaining a diagnostic request for requesting grade information and other information.
예컨대, 진단 요청 획득 모듈은 대상 안저 이미지 및 대상 안저 이미지에 따른 관상동맥 질환의 진단 보조 정보를 요청하는 진단 요청을 획득할 수 있다. 진단부는 사용자 입력부, 사용자 인터페이스 등을 통하여 대상 안저 이미지에 대한 진단 요청을 획득할 수 있다.For example, the diagnosis request obtaining module may obtain a diagnosis request for requesting diagnosis assistance information of coronary artery disease according to the subject fundus image and the subject fundus image. The diagnosis unit may acquire a diagnosis request for the target fundus image through a user input unit, a user interface, or the like.
심혈관 질병 진단 보조 신경망 모델을 이용하여 등급 정보를 획득하는 단계(S5033)는 등급 정보를 요청하는 진단 요청이 획득되면, 대상 안저 이미지로부터 심혈관 질병 진단 보조 신경망 모델을 이용하여 대상 심혈관 질병에 대한 등급 정보를 획득하는 것을 포함할 수 있다. 등급 정보를 획득하는 것은, 진단 요청에 포함된 등급 정보 요청을 식별하고, 등급 정보를 요청하는 진단 요청에 응답하여 대상 심혈관 질병에 대한 등급 정보를 획득하는 것을 포함할 수 있다.Acquiring the grade information using the cardiovascular disease diagnosis secondary neural network model (S5033), if a diagnosis request for requesting the grade information is obtained, the grade information on the target cardiovascular disease using the cardiovascular disease diagnosis secondary neural network model from the target fundus image. It may include acquiring. Acquiring the grade information may include identifying the grade information request included in the diagnosis request, and obtaining grade information for the target cardiovascular disease in response to the diagnosis request requesting the grade information.
예컨대, 심혈관 질병 진단 보조 모듈은 대상 안저 이미지에 기초하여 환자의 관상동맥 질병에 대한 위험도를 나타내는 등급 정보를 획득하는 신경망 모델을 이용하여, 등급 정보 또는 등급 정보 및 타 정보를 획득할 수 있다. 또 예컨대, 진단부는 제어부 또는 프로세서를 통하여 신경망 모델로부터 안저 이미지에 대한 대상 심혈관 질병의 등급 정보를 획득할 수 있다. For example, the cardiovascular disease diagnosis assistance module may obtain grade information or grade information and other information by using a neural network model that obtains grade information indicating a risk for coronary artery disease of the patient based on the subject fundus image. In addition, for example, the diagnosis unit may acquire grade information of the target cardiovascular disease for the fundus image from the neural network model through a controller or a processor.
심혈관 질병 진단 보조 모듈은 대상 질병에 대한 등급 정보에 기초하여 유추된 정보를 더 획득할 수 있다. 예컨대, 심혈관 질병 진단 보조 모듈은 미리 정해진 연관 관계 또는 안저 이미지 외의 입력 값을 함께 고려하여, 대상 심혈관 질병이 아닌 타 질병에 대한 위험도 등을 더 획득할 수 있다. The cardiovascular disease diagnosis assistance module may further obtain inferred information based on the grade information on the target disease. For example, the cardiovascular disease diagnosis assistance module may further acquire a risk for other diseases other than the target cardiovascular disease by considering input values other than a predetermined correlation or fundus image.
진단 보조 정보를 출력하는 단계(S5035)는 대상 심혈관 질병에 대한 등급 정보를 출력하는 것을 더 포함할 수 있다. 진단 보조 정보를 출력하는 단계(S5035)는 대상 심혈관 질병에 대한 등급 정보 및 타 정보를 함께 출력하는 것을 더 포함할 수 있다. 예컨대, 진단 보조 정보를 출력하는 단계는 등급 정보 및 등급 정보를 이용하여 유추된 정보를 함께 출력할 수 있다.The outputting of the diagnostic assistance information (S5035) may further include outputting grade information on the target cardiovascular disease. The outputting of the diagnostic assistance information (S5035) may further include outputting grade information and other information on the target cardiovascular disease. For example, the outputting of the diagnostic assistance information may output the information inferred using the grade information and the grade information.
예컨대, 진단 보조 정보 출력 모듈은 대상 심혈관 질병에 대한 등급 정보를 출력할 수 있다. 진단 보조 정보 출력 모듈은 대상 심혈관 질병에 대한 등급 정보 및 타 정보를 출력할 수 있다. 진단 보조 정보 출력 모듈은 등급 정보를 외부 장치로 전송하거나, 사용자가 인지 가능한 형태로 출력할 수 있다. 또 예컨대, 진단부는 등급 정보가 사용자에 제공되도록, 표시부 또는 출력부로 등급 정보를 포함하는 진단 보조 정보를 전달할 수 있다.For example, the diagnostic assistance information output module may output grade information about the target cardiovascular disease. The diagnostic assistance information output module may output grade information and other information about the target cardiovascular disease. The diagnostic assistance information output module may transmit grade information to an external device or may output the form in a form that a user can recognize. For example, the diagnostic unit may transmit diagnostic assistance information including the grade information to the display unit or the output unit so that the grade information is provided to the user.
2.3.5.4 수치 예측 신경망 점수 예측2.3.5.4 Numerical prediction neural network score prediction
본 발명의 일 실시예에 따르면, 안저 이미지에 기초하여 심혈관 질병과 관련된 점수를 획득하도록 학습된 심혈관 질병 진단 보조 신경망 모델을 이용하여 심혈관 질병의 진단을 보조하는 방법이 제공될 수 있다. 이하에서 설명하는 심혈관 질병의 진단 보조 방법 등은 진단부, 제어부 또는 프로세서에 의해 수행될 수 있다.According to an embodiment of the present invention, a method for assisting the diagnosis of cardiovascular disease using a cardiovascular disease diagnosis assisted neural network model trained to obtain a score associated with cardiovascular disease based on the fundus image may be provided. A method for assisting diagnosis of a cardiovascular disease described below may be performed by a diagnosis unit, a controller, or a processor.
도 46은 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다. 도 46을 참조하면, 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법은 진단 요청을 획득하는 단계(S5041), 심혈관 질병 진단 보조 신경망 모델을 이용하여 점수 정보를 획득하는 단계(S5043) 및 진단 보조 정보를 출력하는 단계(S5045)를 포함할 수 있다.46 is a view illustrating a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention. 46, in the method for assisting diagnosis of a cardiovascular disease according to an embodiment of the present invention, the method includes: obtaining a diagnosis request (S5041), obtaining score information using a cardiovascular disease diagnosis assisted neural network model (S5043), and And outputting the diagnostic assistance information (S5045).
진단 요청을 획득하는 단계(S5041)는 대상 안저 이미지를 획득하는 것을 포함할 수 있다. 진단 요청을 획득하는 단계에는 위험군 선별과 관련하여 전술한 내용이 유사하게 적용될 수 있다. Acquiring a diagnosis request (S5041) may include acquiring an object fundus image. In the obtaining of the diagnosis request, the above-described descriptions related to risk group selection may be similarly applied.
진단 요청을 획득하는 단계(S5041)는 진단 대상 안저 이미지 및 대상 심혈관 질병에 대한 정보를 포함하는 진단 요청, 환자의 대상 심혈관 질병과 관련된 점수 정보를 요청하는 진단 요청 또는 점수 정보 및 타 정보를 요청하는 진단 요청을 획득하는 것을 포함할 수 있다.Acquiring a diagnosis request (S5041) may include a diagnosis request including a diagnosis fundus image and information on a target cardiovascular disease, a request for diagnosis or score information, and other information for requesting score information related to a target cardiovascular disease of a patient; And obtaining a diagnostic request.
예컨대, 진단 요청 획득 모듈은 대상 안저 이미지 및 대상 안저 이미지에 따른 관상동맥 칼슘 점수를 요청하는 진단 요청을 획득할 수 있다.For example, the diagnosis request obtaining module may obtain a diagnosis request for requesting a coronary artery calcium score according to the subject fundus image and the subject fundus image.
심혈관 질병 진단 보조 신경망 모델을 이용하여 점수 정보를 획득하는 단계(S5043)는 점수 정보를 요청하는 진단 요청이 획득되면, 대상 안저 이미지로부터 심혈관 질병 진단 보조 신경망 모델을 이용하여 대상 심혈관 질병에 대한 점수 정보를 획득하는 것을 포함할 수 있다. 점수 정보를 획득하는 것은, 진단 요청에 포함된 점수 정보 요청을 획득하고, 요청되는 점수 정보를 획득하는 것을 포함할 수 있다.Acquiring score information using the cardiovascular disease diagnosis neural network model (S5043), if a diagnosis request for requesting the score information is obtained, score information on the target cardiovascular disease using the cardiovascular disease diagnosis auxiliary neural network model from the target fundus image. It may include acquiring. Obtaining the score information may include obtaining a score information request included in the diagnosis request, and obtaining the requested score information.
예컨대, 심혈관 질병 진단 보조 모듈은 심혈관 질병 진단 보조 신경망 모델을 이용하고 대상 안저 이미지에 기초하여 환자의 관상동맥질환 위험도를 판단하기 위한 관상동맥 칼슘 점수를 획득할 수 있다. 또 예컨대, 진단부는 제어부 또는 프로세서를 통하여 신경망 모델로부터 안저 이미지에 대한 대상 심혈관 질병과 관련된 심혈관 질병 진단 보조 점수 정보를 획득할 수 있다.For example, the cardiovascular disease diagnosis assistance module may use a cardiovascular disease diagnosis aid neural network model and obtain a coronary artery calcium score for determining a patient's risk of coronary artery disease based on the subject fundus image. In addition, for example, the diagnosis unit may acquire cardiovascular disease diagnosis assistance score information related to the target cardiovascular disease for the fundus image from the neural network model through the controller or the processor.
심혈관 질병 진단 보조 모듈은 점수 정보와 연관된 추가 정보 또는 안저 이미지 외의 입력 값을 함께 고려하여 얻어진 추가 진단 보조 정보를 획득할 수도 있다.The cardiovascular disease diagnosis assistance module may obtain additional diagnosis assistance information obtained by considering additional information associated with the score information or input values other than the fundus image.
진단 보조 정보를 출력하는 단계(S5045)는 대상 심혈관 질병에 대한 점수 정보 및/또는 타 정보(예컨대, 타 질병에 대한 진단 보조 정보 또는 대상 심혈관 질병에 대한 등급 또는 질병 유무 정보)를 출력하는 것을 포함할 수 있다. 진단 보조 정보 출력 모듈 또는 진단부는 대상 심혈관 질병에 대한 점수 정보 및/또는 타 정보를 출력할 수 있다.The outputting of the diagnosis assistance information (S5045) may include outputting score information and / or other information (eg, diagnosis assistance information for another disease or grade or disease presence information for the target cardiovascular disease) for the target cardiovascular disease. can do. The diagnostic assistance information output module or the diagnostic unit may output score information and / or other information about the target cardiovascular disease.
2.3.6 진단 보조 정보의 출력2.3.6 Output of diagnostic assistant information
진단 보조 신경망 모델을 통하여 획득된 심혈관 질병 진단 보조 정보는 출력될 수 있다. 심혈관 질병에 대한 진단 보조 정보는 사용자에게 제공될 수 있다. 본 명세서에서 설명하는 클라이언트 장치, 모바일 장치, 진단 장치, 출력부 등은 사용자가 인식 가능한 형태로 심혈관 질병 진단 보조 정보를 출력할 수 있다. Cardiovascular disease diagnosis assistance information obtained through the diagnosis assistance neural network model may be output. Diagnostic assistance information for the cardiovascular disease may be provided to the user. The client device, mobile device, diagnostic device, and output unit described in the present specification may output cardiovascular disease diagnosis assistance information in a form that can be recognized by a user.
심혈관 질병 진단 보조 정보는 시각 및/또는 청각 데이터 형태로 출력될 수 있다. 심혈관 질병 진단 보조 정보는 사용자 인터페이스를 통하여 출력될 수 있다. 예컨대, 심혈관 질병 진단 보조 정보는 도 29 및 30과 관련하여 전술한 사용자 인터페이스를 통하여 출력될 수 있다.The cardiovascular disease diagnosis assistance information may be output in the form of visual and / or audio data. The cardiovascular disease diagnosis assistance information may be output through a user interface. For example, the cardiovascular disease diagnosis assistance information may be output through the user interface described above with reference to FIGS. 29 and 30.
심혈관 질병 진단 보조 정보는 외부 장치로 출력될 수 있다. 예컨대, 진단 장치, 서버 장치, 진단부 등은 유선 또는 무선 통신을 통하여, 획득된 심혈관 질병의 진다 보조 정보를 외부 장치로 전송할 수 있다. 또는, 심혈관 질병 진단 보조 정보는 메모리 또는 서버에 저장될 수 있다.The cardiovascular disease diagnosis assistance information may be output to an external device. For example, the diagnosis apparatus, the server apparatus, the diagnosis unit, etc. may transmit the loss assist information of the acquired cardiovascular disease to an external device through wired or wireless communication. Alternatively, the cardiovascular disease diagnosis assistance information may be stored in a memory or a server.
신경망 모델을 통하여 획득된 진단 보조 정보로부터 얻어진 2차 정보가 출력될 수 있다. 진단 보조 정보로부터 얻어지는 2차 정보는 심혈관 질병 등에 대한 진단을 보다 구체적으로 보조하기 위한 정보일 수 있다. 예컨대, 진단 보조 정보로부터 얻어지는 2차 정보는, 이하에서 설명하는 처방 정보, 지시 정보, 예측 정보 등으로 구현될 수 있다. Secondary information obtained from the diagnostic assistance information obtained through the neural network model may be output. The secondary information obtained from the diagnostic assistant information may be information for more specifically assisting diagnosis of a cardiovascular disease. For example, the secondary information obtained from the diagnostic assistance information may be implemented with prescription information, instruction information, prediction information, and the like described below.
본 명세서에서 설명하는 진단 보조 정보는, 신경망 모델을 통하여 획득된 1차 진단 보조 정보 및/또는 1차 진단 보조 정보로부터 얻어진 2차 진단 보조 정보를 아우르는 것으로 이해될 수 있다. The diagnostic assistance information described herein may be understood to encompass secondary diagnostic assistance information obtained from primary diagnostic assistance information and / or primary diagnostic assistance information obtained through a neural network model.
진단 보조 정보에 기초하여, 처방 정보가 획득될 수 있다. 예컨대, 사용자에게 투여할 의약의 종류, 투약 시기 및 의약의 투여량 등을 포함하는 처방 정보가 포함될 수 있다. 예컨대, 처방 정보는 항고 지질혈증제의 처방 정보를 포함할 수 있다. 처방 정보는, 고지혈증 약물, 고혈압 약물, 항혈전 약물 등 대상 심혈관 질병과 관련하여 피검체에게 처방될 수 있는 약물 정보를 포함할 수 있다.Based on the diagnostic assistance information, prescription information may be obtained. For example, prescription information including the type of medicine to be administered to the user, the time of administration, the dosage of the medicine, and the like may be included. For example, the prescription information may include prescription information of the antihyperlipidemic agent. The prescription information may include drug information that may be prescribed to a subject in connection with a target cardiovascular disease, such as a hyperlipidemic drug, a high blood pressure drug, or an antithrombotic drug.
처방 정보는 진단 보조 정보에 매칭되도록 미리 저장될 수 있다. 처방 정보는 진단 보조 정보에 따른 사용자의 처방 행위가 저장된 데이터베이스를 이용하여 결정될 수 있다. Prescription information may be stored in advance to match the diagnostic assistance information. Prescription information may be determined using a database storing the user's prescription behavior according to the diagnostic assistance information.
처방 정보는 진단 보조 정보에 따른 사용자의 처방 행위 정보를 포함하는 학습 데이터를 이용하여 학습된 신경망 모델을 통하여 획득될 수 있다. 구체적인 예로, 진단 보조 정보 출력에 응답하여 사용자로부터 입력된 처방 데이터를 획득하고, 진단 보조 정보에 처방 데이터 라벨이 부여된 처방 정보 학습 데이터를 획득하고, 획득된 처방 정보 학습 데이터를 이용하여 진단 보조 정보를 입력으로 하여 처방 정보를 출력하도록 학습된 처방 보조 신경망 모델이 제공될 수 있다. 처방 보조 신경망 모델을 이용하여 획득된 처방 정보는 진단 보조 정보와 함께 또는 별도로 사용자에게 제공될 수 있다.Prescription information may be obtained through a neural network model trained using training data including user's prescription behavior information according to the diagnostic assistance information. As a specific example, the prescription data input from the user may be obtained in response to the output of the diagnostic assistant information, the prescription information training data obtained by labeling the prescription data label may be obtained, and the diagnostic assistant information may be obtained using the acquired prescription information training data. A prescription assist neural network model trained to output prescription information may be provided. Prescription information obtained using the prescription assistance neural network model may be provided to the user together with or separately from the diagnosis assistance information.
진단 보조 정보에 기초하여 획득된 지시 정보가 출력될 수 있다. 지시 정보는 의료적 처치 방법에 대한 정보를 포함할 수 있다. 예컨대, 진단 보조 정보에 기초하여, 사용자에게 환자에게 적절할 것으로 예상되는 적어도 하나의 후보 조치를 제공하기 위한 지시 정보가 획득될 수 있다. 지시 정보는 다음 내원 시기, 전원할 병원의 제안, 권유되는 수술 내지 처치 등의 조치 등을 지시할 수 있다. 지시 정보는 진단 보조 정보에 매칭되도록 미리 저장될 수 있다. 지시 정보는 진단 보조 정보에 따른 사용자의 지시 행위가 저장된 데이터베이스를 이용하여 결정될 수 있다.Instruction information obtained based on the diagnosis assistance information may be output. The indication information may include information about the medical treatment method. For example, based on the diagnostic assistance information, indication information may be obtained to provide the user with at least one candidate action that is expected to be appropriate for the patient. The instructional information may indicate the next visit, the proposal of the hospital to be transferred, and the recommended operation or treatment. The indication information may be stored in advance to match the diagnosis assistance information. The indication information may be determined by using a database in which a user's indication action according to the diagnosis assistance information is stored.
예컨대, 지시 정보는 피검체에게 권유되는 생활 습관, 운동 처방등 대상 심혈관 질병과 관련된 관리 가이드라인 정보를 포함할 수 있다.For example, the indication information may include management guideline information related to the target cardiovascular disease, such as lifestyle, exercise regimen, which is recommended to the subject.
지시 정보는 진단 보조 정보에 따른 지시 행위 정보를 포함하는 학습 데이터를 이용하여 학습된 신경망 모델을 통하여 획득될 수 있다. 구체적인 예로, 사용자에게 진단 보조 정보를 제공하는 것에 응답하여 사용자로부터 입력된 지시 데이터를 획득하고, 진단 보조 정보에 따른 지시 데이터 라벨이 부여된 지시 정보 학습 데이터를 획득하고, 획득된 지시 정보 데이터베이스를 이용하여 진단 보조 정보를 입력으로 하여 지시 정보를 출력하도록 학습된 지시 보조 신경망 모델이 제공될 수 있다. 지시 보조 신경망 모델을 이용하여 획득된 지시 정보는 진단 보조 정보와 함께 또는 별도로 사용자에게 제공될 수 있다.The indication information may be obtained through a neural network model trained using learning data including indication behavior information according to the diagnosis assistance information. As a specific example, in response to providing the diagnostic assistance information to the user, the instruction data input from the user may be acquired, the instruction information learning data labeled with the instruction data label according to the diagnosis assistance information may be obtained, and the acquired instruction information database may be used. Therefore, a training instructional neural network model trained to output the instruction information by inputting the diagnostic assistance information may be provided. The indication information obtained using the indication assistance neural network model may be provided to the user together with or separately from the diagnosis assistance information.
진단 보조 정보에 기초하여 획득된 예측 정보가 출력될 수 있다. 예측 정보는 피검체의 대상 심혈관 질병과 관련된 예후에 대한 정보를 포함할 수 있다. 예컨대, 예측 정보는, 피검체의 대상 심혈관 질병과 관련하여 향후 5년 내 사망 확률 또는 향후 10년 내 사망 확률을 나타내는 사망 확률 정보를 포함할 수 있다.The prediction information obtained based on the diagnosis assistance information may be output. The predictive information may include information about the prognosis associated with the subject's cardiovascular disease. For example, the prediction information may include death probability information indicating a probability of death in the next five years or a probability of death in the next ten years with respect to the target cardiovascular disease of the subject.
일 예에 따르면, 예측 정보와 지시 정보 또는 처방 정보는 함께 제공될 수 있다. 예컨대, 2차 정보는 특정 지시 정보 및 처방 정보와 함께, 해당 정보에서 지시하는 후속 절차가 수행된 경우의 예측 정보를 포함할 수 있다.According to an example, the prediction information and the indication information or the prescription information may be provided together. For example, the secondary information may include prediction information when a subsequent procedure indicated by the information is performed along with specific indication information and prescription information.
예를 들어, 2차 정보는, 피검체가 약물을 복용하지 않은 경우의 피검체의 사망 확률을 포함하는 제1 예측 정보 및 획득된 심혈관 질병 진단 보조 정보에 따라 결정된 처방 정보에 따라 약물이 권장량 투여된 경우에 피검체의 사망 확률을 포함하는 제2 예측 정보를 포함할 수 있다.For example, the secondary information may include administering the recommended amount of the drug according to the first prediction information including the probability of death of the subject when the subject did not take the drug and the prescription information determined according to the acquired cardiovascular disease diagnosis assistant information. In this case, the second prediction information including the probability of death of the subject may be included.
다른 예를 들어, 2차 정보는 피검체가 획득된 심혈관 질병 진단 보조 정보에 따라 결정된 지시 정보에 따른 가이드라인을 준수한 경우의 사망 확률 또는 사망 확률 감소에 대한 예측 정보를 포함할 수도 있다.As another example, the secondary information may include predictive information about the probability of death or reduction in the probability of death when the subject complies with the guidelines according to the indication information determined according to the acquired cardiovascular disease diagnosis assistance information.
한편, 본 발명의 일 실시예에 따르면, 진단 보조 정보는 출력된 진단 보조 정보와 관련된 CAM을 포함할 수 있다. 신경망 모델로부터 1차 진단 보조 정보와 함께 또는 1차 진단 보조 정보로서, CAM(class activation map)이 획득될 수 있다. CAM(class activation map)이 획득되는 경우, CAM의 시각화된 이미지가 출력될 수 있다. CAM은 전술한 사용자 인터페이스를 통하여 사용자에게 제공될 수 있다. CAM은 사용자 선택에 따라 제공될 수 있다. CAM 이미지는 안저 이미지와 함께 제공될 수 있다. CAM 이미지는 안저 이미지와 중첩되어 제공될 수 있다.Meanwhile, according to an embodiment of the present invention, the diagnostic assistance information may include a CAM associated with the outputted diagnostic assistance information. A class activation map (CAM) can be obtained with or as primary diagnostic assistance information from the neural network model. When a class activation map (CAM) is obtained, a visualized image of the CAM may be output. The CAM may be provided to the user through the user interface described above. CAM can be provided according to user selection. The CAM image may be provided with the fundus image. The CAM image may be provided in overlap with the fundus image.
구체적인 예로, 안저 이미지에 기초하여 심혈관 질병에 대한 진단을 보조하는 진단 보조 시스템이, 대상 안저 이미지를 획득하는 안저 이미지 획득부, 대상 안저 이미지를 혈관이 강조되도록 처리하는 전처리부, 전처리된 이미지에 기초하여 환자에 대한 심혈관 질병 진단 보조 정보를 획득하는 진단 보조부 및 심혈관 질병 진단 보조 정보를 출력하는 출력부를 포함하는 경우에, 진단 보조부는 심혈관 질병 진단 보조부와 관련된 CAM을 획득하고, 출력부는 획득된 CAM을 대상 안저 이미지에 중첩하여 출력할 수 있다.As a specific example, a diagnosis assistant system for assisting in diagnosis of cardiovascular disease based on the fundus image may include a fundus image acquirer acquiring a target fundus image, a preprocessor configured to process the target fundus image to emphasize blood vessels, and a preprocessed image. And a diagnostic assistant for obtaining cardiovascular disease diagnosis assistant information for the patient and an output unit for outputting the cardiovascular disease diagnosis assistant information, the diagnostic assistant acquires a CAM associated with the cardiovascular disease diagnosis assistant, and the output unit obtains the obtained CAM. Overlaid on the target fundus image.
다시 말해, 사용자에게 진단 보조 정보를 제공하는 방법은, 촬상된 이미지(즉 원본 이미지)에 대응되는 제1 이미지 및 제1 이미지를 제1 이미지에 포함된 대상 요소(예컨대, 혈관)가 강조되도록 재구성하여 획득된 제2 이미지(예컨대, 혈관 강조 이미지 또는 혈관 추출 이미지)에 기초하여 심혈관 질병 진단 보조 신경망 모델을 통하여 획득된 CAM이미지인 제3 이미지를 획득하고, 제1 이미지와 제3 이미지를 중첩하여 표시하는 것을 포함할 수 있다.In other words, a method of providing diagnostic assistance information to a user may include reconstructing a first image corresponding to a captured image (ie, an original image) and a first element corresponding to the captured image (eg, a blood vessel) to be highlighted. A third image, which is a CAM image obtained through a cardiovascular disease diagnosis assisted neural network model, is obtained based on the second image (eg, a blood vessel emphasis image or a blood vessel extraction image) obtained by overlapping the first image and the third image. May include displaying.
도 47은 본 발명의 일 실시예에 따른 진단 보조 정보 방법을 설명하기 위한 도면이다. 도 47을 참조하면, 본 발명의 일 실시예에 따른 진단 보조 방법은 심혈관 질병 진단 보조 정보와 관련된 클래스 액티베이션 맵 또는 클래스 액티베이션 맵으로부터 안저 이미지에 획득된 심혈관 질병 진단 보조 정보와 관련된 영역을 표시하기 위한 피처 맵을 획득하는 것을 포함할 수 있다. 클래스 액티베이션 맵 또는 피처 맵은 사용자에게 시각 정보 형태로 제공될 수 있다.47 is a diagram for describing a method of diagnosing assistance information according to an embodiment of the present invention. Referring to FIG. 47, the diagnostic assistance method according to an embodiment of the present invention provides a method for displaying an area associated with cardiovascular disease diagnosis assistance information acquired in a fundus image from a class activation map or a class activation map associated with cardiovascular disease diagnosis assistance information. Obtaining a feature map. The class activation map or feature map may be provided to the user in the form of visual information.
도 47의 (a)는 본 명세서에서 설명하는 심혈관 질병 진단 보조 신경망 모델에 의하여 획득된 클래스 액티베이션 맵을 개략적으로 도시한 것이다. 클래스 액티베이션 맵은 심혈관 질병 진단 보조 신경망 모델로부터 출력된 진단 보조 정보가 추론된 근거를 시각화하기 위하여 이용되는 특징 맵을 의미할 수 있다. 클래스 액티베이션 맵은 출력 정보와의 연관성을 나타내는 활성 값이 부여된 픽셀들을 포함할 수 있다. 클래스 액티베이션 맵에 포함되는 픽셀들은 색상 값을 가질 수 있다. 색상 값은 활성 값에 따라 결정될 수 있다. 예컨대, 도 47의 (a)에서, 진하게 표시된 영역(또는 특정 색상을 가지는 영역)은 심혈관 질병 진단 보조 신경망 모델에 의하여 획득된 심혈관 질병 진단 보조 정보와 강하게 연관된 영역일 수 있다.FIG. 47A schematically illustrates a class activation map obtained by the cardiovascular disease diagnosis assisted neural network model described herein. The class activation map may refer to a feature map used to visualize the basis for deriving the diagnosis assistance information output from the cardiovascular disease diagnosis assistance neural network model. The class activation map may include pixels assigned an active value indicating association with output information. Pixels included in the class activation map may have color values. The color value can be determined according to the active value. For example, in (a) of FIG. 47, the darkly marked region (or a region having a specific color) may be a region strongly associated with the cardiovascular disease diagnosis assistance information obtained by the cardiovascular disease diagnosis neural network model.
도 47의 (b)는 도 47의 (a)에서 예시하는 클래스 액티베이션 맵으로부터 획득된 피처 맵을 개략적으로 도시한 것이다. 피처 맵은 클래스 액티베이션 맵으로부터 심혈관 질병 진단 보조 정보와의 연관성이 임계치 이상인 영역만을 추출하여 생성될 수 있다. 다시 말해, 피처 맵은 클래스 액티베이션 맵으로부터, 그 활성 값이 임계치 이상인 픽셀들에 기초하여 생성될 수 있다. FIG. 47B schematically illustrates a feature map obtained from the class activation map illustrated in FIG. 47A. The feature map may be generated by extracting only an area whose association with the cardiovascular disease diagnosis assistance information is greater than or equal to a threshold value from the class activation map. In other words, the feature map may be generated from the class activation map based on pixels whose active value is above a threshold.
피처 맵은 시각적으로 강조되는 강조 영역을 포함할 수 있다. 예컨대, 도 47의 (b)를 참조하면, 본 발명의 일 실시예에 따른 피처 맵은, 도 47의 (a)에서 도시하는 클래스 액티베이션 맵으로부터 활성 값이 기준값 이상인 픽셀들에 기초하여 획득된 제1 강조 영역(H1) 및 제2 강조 영역(H2)을 포함할 수 있다. The feature map may include highlight areas that are visually highlighted. For example, referring to FIG. 47B, a feature map according to an embodiment of the present invention is obtained based on pixels whose active value is greater than or equal to a reference value from the class activation map shown in FIG. 47A. The first highlight area H1 and the second highlight area H2 may be included.
도 48은 본 발명의 일 실시예에 따른 진단 보조 정보 방법을 설명하기 위한 도면이다. 도 48을 참조하면, 본 발명의 일 실시예에 따른 진단 보조 방법은 클래스 액티베이션 맵 또는 피처 맵을 안저 이미지에 중첩하는 것을 포함할 수 있다. 안저 이미지 및 안저 이미지에 중첩된 클래스 액티베이션 맵 또는 피처 맵은 사용자에게 시각 정보 형태로 제공될 수 있다.48 is a diagram for describing a method of diagnosing assistance information according to an embodiment of the present invention. Referring to FIG. 48, a method for assisting diagnosis according to an embodiment of the present invention may include superposing a class activation map or a feature map on a fundus image. The fundus image and the class activation map or feature map superimposed on the fundus image may be provided to the user in the form of visual information.
도 48의 (a)는 안저 이미지에 중첩된 클래스 액티베이션 맵의 일 예를 도시한 것이다. 안저 이미지에 중첩된 클래스 액티베이션 맵은 안저 이미지에 포함된 픽셀들에 대한 출력된 진단 보조 정보와의 연관성을 시각적으로 나타낼 수 있다.FIG. 48A illustrates an example of a class activation map superimposed on a fundus image. The class activation map superimposed on the fundus image may visually indicate an association with the output diagnostic assistance information for pixels included in the fundus image.
도 48의 (b)는 안저 이미지에 중첩된 피처 맵의 일 예를 도시한 것이다. 피처 맵에 포함된 강조 영역(H1, H2)은 안저 이미지에 소정 영역을 시각적으로 강조할 수 있다. 피처 맵에 포함된 강조 영역(H1, H2)은 출력된 진단 보조 정보와 강하게 연관된 영역을 시각적으로 강조할 수 있다.FIG. 48B illustrates an example of a feature map superimposed on the fundus image. The highlighted regions H1 and H2 included in the feature map may visually emphasize a predetermined region in the fundus image. The highlighted areas H1 and H2 included in the feature map may visually highlight areas that are strongly associated with the outputted diagnostic assistance information.
도 47 또는 도 48의 (a) 또는 (b)와 같이 진단 보조 정보와 관련된 영역이 표시되는 시각 정보를 사용자에게 제공할 경우, 사용자가 안저 이미지로부터 출력된 진단 보조 정보의 도출 근거가 되는 영역을 보다 명확히 인지하도록 할 수 있다. 예컨대, 심혈관 질병 진단 보조 신경망 모델을 통하여 피검체가 관상동맥질환 위험군에 속함을 나타내는 위험 정보가 획득된 경우, 사용자에게 위험 정보와 연관된 클래스 액티베이션 맵, 피처 맵 또는 클래스 액티베이션 맵 또는 피처 맵이 중첩된 안저 이미지를 제공함으로써, 사용자가 관상동맥 질환과 연관이 있는 혈관 부위를 파악하는데 소요되는 시간이 단축될 수 있다.When providing the user with visual information indicating an area related to the diagnostic assistance information as shown in FIG. 47 or FIG. 48 (a) or (b), the user selects an area on which the diagnosis assistance information output from the fundus image is derived. You can make it clearer. For example, when risk information indicating that a subject belongs to a coronary artery disease risk group is obtained through a cardiovascular disease diagnosis assistive neural network model, the user may overlap a class activation map, a feature map, or a class activation map or a feature map associated with the risk information. By providing an ocular fundus image, the time required for a user to identify vascular sites associated with coronary artery disease can be shortened.
여기에서는 심혈관 질병 진단 보조 신경망 모델을 이용하는 경우를 기준으로 설명하였으나, 이러한 내용은 심혈관계 질병뿐 아니라 다양한 질병에 확대 적용될 수 있다. Here, the description was made based on the case of using a secondary neural network model for diagnosing a cardiovascular disease, but this information can be extended to various diseases as well as cardiovascular diseases.
본 발명의 일 실시예에 의하면, 출력되는 진단 보조 정보는 변경될 수 있다. 출력되는 진단 보조 정보는 신경망 모델의 정확도 또는 신경망 모델의 학습에 이용된 학습 데이터 수에 따라 변경될 수 있다. According to an embodiment of the present invention, the output of the diagnostic assistance information may be changed. The output of the diagnostic assistance information may be changed according to the accuracy of the neural network model or the number of training data used to train the neural network model.
예컨대, 진단 보조 정보 획득에 이용되는 심혈관 질병 진단 보조 신경망 모델의 정확도가 증가함에 따라, 출력되는 진단 보조 정보는 질병 유무 정보에서 등급 정보로 변경될 수 있다. 또는, 심혈관 질병 진단 보조 신경망 모델의 정확도가 증가함에 따라, 출력되는 진단 보조 정보는 등급 정보에서 점수 정보로 변경될 수 있다.For example, as the accuracy of the cardiovascular disease-assisted neural network model used for acquiring the diagnosis assistance information increases, the outputted diagnosis assistance information may be changed from disease presence information to grade information. Alternatively, as the accuracy of the cardiovascular disease diagnosis assistance neural network model increases, the output diagnosis assistance information may be changed from grade information to score information.
또 예컨대, 진단 보조 정보 획득에 이용되는 심혈관 질병 진단 보조 신경망 모델의 학습에 이용된 학습 데이터의 수가 증가함에 따라, 출력되는 진단 보조 정보는 질병 유무 정보에서 등급 정보로 변경될 수 있다. 또는, 출력되는 진단 보조 정보는 등급 정보에서 점수 정보로 변경될 수 있다.In addition, for example, as the number of learning data used for learning the cardiovascular disease assistance neural network model used for obtaining the diagnosis assistance information increases, the output diagnosis assistance information may be changed from disease presence information to grade information. Alternatively, the output diagnostic assistance information may be changed from grade information to score information.
사용자에게 제공되는 진단 보조 정보는 구간 별로 달리 결정될 수 있다. 진단 보조 정보 출력 타입 결정의 기준이 되는 구간은 변경될 수 있다. 일 예로, 신경망 모델로부터 획득되는 진단 보조 정보가 점수 정보를 포함하는 경우, 사용자에게 제공되는 진단 보조 정보의 타입은 점수 정보의 The diagnostic assistance information provided to the user may be determined differently for each section. The section on which the diagnosis assistant information output type is determined may be changed. For example, when the diagnostic assistance information obtained from the neural network model includes the score information, the type of the diagnostic assistance information provided to the user may include the score information.
예컨대, 점수 정보를 출력하는 신경망 모델에 이용되는 학습 데이터에 포함된 데이터가 점수 라벨 값에 대하여 균일하지 않은 데이터를 포함하는 경우, 신경망 모델의 출력 정확도가 점수 값에 따라 상이할 수 있다. 이러한 점을 고려하였을 때, 정확도가 충분히 확보된 점수 구간에 대하여는 점수 값을 출력하되, 그렇지 않은 구간에 대하여는 등급을 출력하는 것이 사용자의 판단에 보다 유용할 수 있다. For example, when the data included in the training data used for the neural network model that outputs the score information includes data that is not uniform with respect to the score label value, the output accuracy of the neural network model may be different according to the score value. Considering this point, it is more useful for the user's judgment to output the score value for the score section having sufficient accuracy, but output the grade for the section that is not accurate.
구체적인 예로, 안저 이미지에 기초하여 점수 정보를 출력하는 신경망 모델을 이용하여 점수 정보를 획득하는 경우, 획득된 점수 정보가 제1 점수 구간에 포함되는 경우, 출력되는 진단 보조 정보는 점수 정보이고, 획득된 점수 정보가 제2 점수 구간에 포함되는 경우, 출력되는 진단 보조 정보는 등급 정보일 수 있다. 이때, 신경망 모델은 제1 점수 구간에서의 출력 정보의 정확도 보다 제2 점수 구간에서의 출력 정보의 정확도가 낮게 학습된 신경망 모델일 수 있다.As a specific example, when the score information is acquired using a neural network model that outputs score information based on the fundus image, when the acquired score information is included in the first score section, the output of the diagnostic assistance information is score information. When the score information is included in the second score section, the output diagnostic assistance information may be grade information. In this case, the neural network model may be a neural network model trained with a lower accuracy of the output information in the second score interval than the accuracy of the output information in the first score interval.
2.4 병렬 신경망 모델을 이용한 심혈관 질병의 진단 보조2.4 Assistive Diagnosis of Cardiovascular Disease Using a Parallel Neural Network Model
본 발명의 일 실시예에 따르면, 신경망 모델을 이용한 심혈관 질병의 진단 보조에 있어서, 전술한 병렬 트레이닝 프로세스 및 병렬 진단 프로세스가 이용될 수 있다. 이하의 내용에 대하여, 특별한 언급이 없는 한 전술한 복수 라벨 대한 진단 보조 시스템에 대한 내용이 유추 적용될 수 있다. According to an embodiment of the present invention, in assisting in the diagnosis of cardiovascular disease using a neural network model, the above-described parallel training process and parallel diagnosis process may be used. With respect to the following, the above description about the diagnostic assistance system for the plurality of labels may be inferred unless otherwise stated.
2.4.1 심혈관 질병에 대한 병렬 진단 보조 시스템2.4.1 Parallel Diagnostic Assistant System for Cardiovascular Disease
본 발명의 일 실시예에 따르면, 심혈관 질병에 대한 병렬 진단 보조 시스템이 제공될 수 있다. 심혈관 질병에 대한 병렬 진단 보조 시스템은 심혈관 질병 진단 보조 정보를 출력하는 복수의 신경망 모델을 학습시키거나 학습된 복수의 신경망 모델을 이용하여 복수의 심혈관 질병 진단 보조 정보를 획득할 수 있다.According to one embodiment of the present invention, a parallel diagnostic assistance system for cardiovascular disease may be provided. The parallel diagnosis assistance system for cardiovascular disease may learn a plurality of neural network models that output cardiovascular disease diagnosis assistance information, or obtain a plurality of cardiovascular disease diagnosis assistance information using the trained plurality of neural network models.
예컨대, 병렬 진단 보조 시스템은 입력된 안저 이미지에 기초하여 환자의 심혈관 질병 진단에 이용되는 제1 진단 보조 정보를 획득하는 제1 신경망 모델 및 환자의 비-심혈관 질병 진단에 이용되는 제2 진단 보조 정보를 획득하는 제2 신경망 모델을 학습시키고, 학습된 제1 신경망 모델 및 제2 신경망 모델을 이용하여 환자의 심혈관 질병 진단 보조 정보를 획득할 수 있다.For example, the parallel diagnosis assistance system may include a first neural network model for obtaining first diagnosis assistance information used for diagnosing a cardiovascular disease of a patient based on an input fundus image and a second diagnosis assistance information used for diagnosing a non-cardiovascular disease of a patient. The second neural network model for acquiring the training may be acquired, and the cardiovascular disease diagnosis assistance information of the patient may be acquired using the trained first neural network model and the second neural network model.
도 49는 본 발명의 일 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다. 도 49를 참조하면, 본 발명의 일 실시예에 따른 병렬 진단 보조 시스템은 학습 장치(1001), 진단 장치(2001) 및 클라이언트 장치(3001)를 포함할 수 있다.49 is a diagram for describing a parallel diagnosis assistance system according to an embodiment of the present invention. Referring to FIG. 49, a parallel diagnosis assistance system according to an embodiment of the present invention may include a
도 49를 참조하면, 학습 장치(1001)는 제1 신경망 모델을 학습하는 제1 학습부(101a) 및 제2 신경망 모델을 학습하는 제2 학습부(101b)를 포함할 수 있다. 도 49를 참조하면, 진단 장치(2001)는 제1 진단부(201a) 및 제2 학습부(201b)를 포함할 수 있다. 도 49를 참조하면, 클라이언트 장치(3001)는 촬상부(301) 및 출력부(303)를 포함할 수 있다. Referring to FIG. 49, the
제1 학습부(101a) 및 제2 학습부(101b)는 물리적으로 구분되거나, 논리적으로 구분되되 하나의 프로세서에서 구동되거나 하나의 메모리에 저장되는 구성일 수 있다. 학습 장치(1001)는 2개 이상의 학습부를 포함할 수도 있다.The
도 50은 본 발명의 일 실시예에 따른 병렬 진단 보조 시스템을 설명하기 위한 도면이다. 도 50을 참조하면, 병렬 진단 보조 시스템은 제1 학습 장치(1001a), 제2 학습 장치(1001b), 제1 진단 장치(2001a), 제2 진단 장치(2001b) 및 클라이언트 장치(3001)를 포함할 수 있다. 제1 학습부(101a) 및 제2 학습부(101b)는 물리적으로 구분되거나, 논리적으로 구분되되 하나의 프로세서에서 구동되거나 하나의 메모리에 저장되는 구성일 수 있다. 학습 장치(1001)는 2개 이상의 학습부를 포함할 수도 있다.50 is a diagram for describing a parallel diagnosis assistance system according to an embodiment of the present invention. Referring to FIG. 50, the parallel diagnosis assistance system includes a
도 50을 참조하면, 제1 학습 장치(1001a)는 제1 학습부(101a)를 포함하고 제2 학습 장치(1001b)는 제2 학습부(101b)를 포함할 수 있다. 도 50을 참조하면, 제1 진단 장치(2001a)는 제1 진단부(201a)를 포함하고, 제2 진단 장치(2001b)는 제2 진단부(201b)를 포함할 수 있다 클라이언트 장치(3001)는 촬상부(301) 및 출력부(303)를 포함할 수 있다. Referring to FIG. 50, the
제1 학습부(101a)는 제1 학습 데이터를 획득하고, 제2 학습부(101b)는 제2 학습 데이터를 획득할 수 있다. 제1 학습부(101a)는 제1 진단 보조 정보를 획득하는 제1 신경망 모델을 학습하고, 제2 학습부(101b)는 제2 진단 보조 정보를 획득하는 제2 신경망 모델을 학습할 수 있다.The
일 예로, 제1 학습부(101a)는 제1 심혈관 질병의 진단을 보조하기 위한 제1 타입 정보를 포함하는 제1 진단 보조 정보를 획득하는 제1 신경망 모델을 학습하고, 제2 학습부(101b)는 제1 심혈관 질병의 진단을 보조하기 위한 제2 타입 정보를 포함하는 제2 진단 보조 정보를 획득하는 제2 신경망 모델을 학습할 수 있다. For example, the
구체적인 예로, 제1 학습부(101a)는 관상동맥 질환에 영향을 미치는 심장 석회화 정도를 판단하기 위한 칼슘 점수 정보인 제1 진단 보조 정보를 획득하는 제1 신경망 모델을 학습하고, 제2 학습부(101b)는 관상동맥 질환의 위험도를 나타내는 등급 정보인 제2 진단 보조 정보를 획득하는 제2 신경망 모델을 학습할 수 있다.As a specific example, the
다른 예로, 제1 학습부(101a)는 제1 심혈관 질병에 대한 진단 보조 정보인 제1 진단 보조 정보를 획득하는 제1 신경망 모델을 학습하고, 제2 학습부(101b)는 제2 심혈관 질병에 대한 진단 보조 정보인 제2 진단 보조 정보를 획득하는 제2 신경망 모델을 학습할 수 있다.As another example, the
구체적인 예로, 제1 학습부(101a)는 관상동맥 질환에 영향을 미치는 심장 석회화 정도를 판단하기 위한 칼슘 점수 정보인 제1 진단 보조 정보를 획득하는 제1 신경망 모델을 학습하고, 제2 학습부(101b)는 당뇨에 대한 위험성을 나타내는 등급 정보인 제2 진단 보조 정보를 획득하는 제2 신경망 모델을 학습할 수 있다.As a specific example, the
또 다른 예로, 제1 학습부(101a)는 심혈관 질병에 대한 진단 보조 정보인 제1 진단 보조 정보를 획득하는 제1 신경망 모델을 학습하고, 제2 학습부(101b)는 심혈관 질병이 아닌 질병(예컨대, 안질환)에 대한 진단 보조 정보인 제2 진단 보조 정보를 획득하는 제2 신경망 모델을 학습할 수 있다. As another example, the
구체적인 예로, 제1 학습부(101a)는 관상동맥 질환에 영향을 미치는 심장 석회화 정도와 관련된 등급 정보인 제1 진단 보조 정보를 획득하는 제1 신경망 모델을 학습하고, 제2 학습부(101b)는 녹내장 위험도를 나타내는 등급 정보를 제2 진단 보조 정보를 획득하는 제2 신경망 모델을 학습할 수 있다.As a specific example, the
제1 진단부(201a)는 제1 신경망 모델을 획득하고, 제2 진단부(201b)는 제2 신경망 모델을 획득할 수 있다. 제1 진단부(201a)는 제1 신경망 모델을 이용하여 제1 진단 보조 정보를 획득하고, 제2 진단부(201b)는 제2 신경망 모델을 이용하여 제2 진단 보조 정보를 획득할 수 있다.The
일 예로, 제1 진단부(201a)는 제1 신경망 모델을 이용하여 제1 심혈관 질병과 관련된 제1 타입 정보를 포함하는 제1 진단 보조 정보를 획득하고, 제2 진단부(201b)는 제2 신경망 모델을 이용하여 제1 심혈관 질병과 관련된 제2 타입 정보를 포함하는 제2 진단 보조 정보를 획득할 수 있다.For example, the
구체적인 예로, 제1 진단부(201a)는 제1 신경망 모델을 이용하여 관상동맥 질환에 영향을 미치는 심장 석회화 정도를 판단하기 위한 칼슘 점수 정보를 정보를 획득하고, 제2 진단부(201b)는 제2 신경망 모델을 이용하여 관상동맥 질환의 위험도를 나타내는 등급 정보를 획득할 수 있다.As a specific example, the
다른 예로, 제1 진단부(201a)는 제1 신경망 모델을 이용하여 제1 심혈관 질병에 대한 진단 보조 정보인 제1 진단 보조 정보를 획득하고, 제2 진단부(201b)는 제2 신경망 모델을 이용하여 제2 심혈관 질병에 대한 진단 보조 정보인 제2 진단 보조 정보를 획득할 수 있다. As another example, the
구체적인 예로, 제1 진단부(201a)는 제1 신경망 모델을 이용하여 관상동맥 질환에 영향을 미치는 심장 석회화 정도를 판단하기 위한 칼슘 점수 정보를 정보를 획득하고, 제2 진단부(201b)는 제2 신경망 모델을 이용하여 당뇨에 대한 위험도를 나타내는 등급 정보를 획득할 수 있다.As a specific example, the
또 다른 예로, 제1 진단부(201a)는 제1 신경망 모델을 이용하여 심혈관 질병에 대한 진단 보조 정보인 제1 진단 보조 정보를 획득하고, 제2 진단부(201b)는 제2 신경망 모델을 이용하여 심혈관 질병이 아닌 질병(예컨대, 안질환)에 대한 진단 보조 정보인 제2 진단 보조 정보를 획득할 수 있다. As another example, the
구체적인 예로, 제1 진단부(201a)는 제1 신경망 모델을 이용하여 관상동맥 질환에 영향을 미치는 심장 석회화 정도를 판단하기 위한 칼슘 점수 정보를 정보를 획득하고, 제2 진단부(201b)는 제2 신경망 모델을 이용하여 녹내장에 대한 위험도를 나타내는 등급 정보를 획득할 수 있다.As a specific example, the
제1 진단부(201a) 및 제2 진단부(201b)는 물리적으로 구분되거나, 논리적으로 구분되되, 하나의 프로세서에서 구동되거나 하나의 메모리에 저장되는 구성일 수 있다. 진단 장치는 2 개 이상의 진단부를 포함할 수도 있다. The
진단 장치는 복수의 진단 모듈을 포함하는 진단부를 포함할 수도 있다. 이와 관련하여서는, 후술하는 심혈관 질병에 대한 병렬 진단 보조 항목에서 보다 상세히 설명한다.The diagnostic apparatus may include a diagnostic unit including a plurality of diagnostic modules. In this regard, it will be described in more detail in the parallel diagnostic subsection for the cardiovascular disease described below.
클라이언트 장치는 안저 이미지를 획득하는 촬상부(301)를 포함할 수 있다. 클라이언트 장치는 촬상부를 통하여 획득된 대상 안저 이미지를 진단 장치로 전달하고, 진단 장치로부터 대상 안저 이미지에 따른 심혈관 질병 진단 보조 정보를 획득할 수 있다.The client device may include an
클라이언트 장치는 출력부(303)를 통하여, 획득된 심혈관 질병 진단 보조 정보를 사용자에게 제공할 수 있다. 클라이언트 장치는 출력부(303)를 통하여, 획득된 심혈관 질병 진단 보조 정보를 시각 및/또는 청각 데이터 형태로 사용자에게 제공할 수 있다.The client device may provide the user with the acquired cardiovascular disease diagnosis assistance information through the
도 49 및 도 50에서는 학습 장치, 진단 장치 및 클라이언트 장치를 포함하는 진단 보조 시스템에 의하여 복수의 심혈관 질병 진단 보조 신경망을 학습하는 경우를 기준으로 설명하였으나, 본 발명의 내용이 이에 한정되는 것은 아니다. 복수의 심혈관 질병 진단 보조 신경망의 학습은, 하나 이상의 장치를 포함하는 다양한 형태의 시스템에 의해 수행될 수 있다.49 and 50 have been described with reference to a case of learning a plurality of cardiovascular disease-assisted neural network by a diagnosis assistance system including a learning device, a diagnosis device, and a client device, but the content of the present invention is not limited thereto. Learning of a plurality of cardiovascular disease diagnosis assistive neural networks may be performed by various types of systems including one or more devices.
도 51은 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다. 도 51을 참조하면, 안저 이미지를 이용하여 대상 심혈관 질병의 진단을 보조하기 위한 방법은, 대상 안저 이미지를 획득하는 단계(S410), 제1 타입 진단 보조 정보를 획득하는 단계(S430), 제2 타입 진단 보조 정보를 획득하는 단계(S450) 및 심혈관 질병 진단 보조 정보를 출력하는 단계(S470)를 포함할 수 있다.51 is a view illustrating a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention. Referring to FIG. 51, in the method for assisting diagnosis of a target cardiovascular disease using a fundus image, the method may include obtaining a target fundus image (S410), obtaining first type diagnosis assistance information (S430), and a second method. The method may include obtaining type diagnosis assistance information (S450) and outputting cardiovascular disease diagnosis assistance information (S470).
대상 안저 이미지를 획득하는 단계(S410)는피검체의 안저를 촬상한 대상 안저 이미지를 획득하는 것을 포함할 수 있다.Acquiring the target fundus image (S410) may include acquiring a target fundus image of the fundus of the subject.
제1 타입 진단 보조 정보를 획득하는 단계(S430)는 대상 안저 이미지에 기초하여, 안저 이미지에 기초하여 대상 심혈관 질병의 진단에 이용되는 제1 타입 진단 보조 정보를 획득하도록 학습된 제1 신경망 모델을 통하여, 대상 안저 이미지에 따른 제1 타입 진단 보조 정보를 획득하는 것을 포함할 수 있다.Acquiring the first type of diagnosis assistance information (S430) may include generating a first neural network model trained to obtain first type of diagnosis assistance information used for diagnosis of a target cardiovascular disease based on the fundus image. In this case, the method may include obtaining first type diagnosis assistance information according to the target fundus image.
제2 타입 진단 보조 정보를 획득하는 단계(S450)는 대상 안저 이미지에 기초하여, 안저 이미지에 기초하여 대상 심혈관 질병의 진단에 이용되는 제2 타입 진단 보조 정보를 획득하도록 학습된 제2 신경망 모델을 통하여, 대상 안저 이미지에 따른 제2 타입 진단 보조 정보를 획득하는 것을 포함할 수 있다.Acquiring the second type of diagnosis assistance information (S450) may include obtaining a second neural network model trained to obtain second type of diagnosis assistance information used for diagnosis of the target cardiovascular disease based on the fundus image. In this case, the method may include obtaining second type diagnosis assistance information according to the target fundus image.
심혈관 질병 진단 보조 정보를 출력하는 단계(S470)는 제1 타입 진단 보조 정보 및 제2 타입 진단 보조 정보에 기초하여, 피검체에 대한 대상 심혈관 질병의 진단을 보조하기 위한 심혈관 질병 진단 보조 정보를 출력하는 것을 포함할 수 있다.The step of outputting the cardiovascular disease diagnosis assistance information (S470) outputs the cardiovascular disease diagnosis assistance information for assisting the diagnosis of the target cardiovascular disease for the subject based on the first type diagnosis assistance information and the second type diagnosis assistance information. It may include doing.
2 타입 진단 보조 정보는, 제1 신경망 모델과 적어도 일부 상이한 제2 신경망 모델을 통하여, 제1 타입 진단 보조 정보와 다른 차원을 가지는 정보로 획득될 수 있다.The two-type diagnosis assistance information may be obtained as information having a different dimension from the first type diagnosis assistance information through a second neural network model that is at least partially different from the first neural network model.
제1 신경망 모델은, 안저 이미지를 대상 심혈관 질병에 대한 위험도를 나타내는 복수의 등급 정보로 분류하도록 학습된 신경망 모델일 수 있다. 이때, 제1 타입 진단 보조 정보는 복수의 등급 정보 중 선택된 등급 정보일 수 있다.The first neural network model may be a neural network model trained to classify the fundus image into a plurality of grade information representing a risk for a target cardiovascular disease. In this case, the first type of diagnosis assistance information may be selected grade information among the plurality of grade information.
제2 신경망 모델은, 안저 이미지에 따른 대상 심혈관 질병의 진단에 이용되는 수치 값인 점수 정보를 예측하도록 학습된 신경망 모델일 수 있다. 이때, 제2 타입 진단 보조 정보는 점수 정보일 수 있다.The second neural network model may be a neural network model trained to predict score information, which is a numerical value used for diagnosing a target cardiovascular disease according to the fundus image. In this case, the second type of diagnosis assistance information may be score information.
제1 신경망 모델은 안저 이미지를 대상 심혈관 질병에 대하여 정상군에 속함을 나타내는 정상 정보 또는 대상 심혈관 질병에 대하여 위험군에 속함을 나타내는 비정상 정보로 분류하도록 학습될 수 있다.The first neural network model may be trained to classify the fundus image into normal information indicating belonging to the normal group for the target cardiovascular disease or abnormal information indicating belonging to the risk group for the target cardiovascular disease.
제1 타입 진단 보조 정보는 피검체의 대상 심혈관 질병에 대한 위험군 해당 여부를 나타내는 위험 정보일 수 있다.The first type of diagnosis assistance information may be risk information indicating whether a subject is a risk group for a target cardiovascular disease.
제1 신경망 모델은, 안저 이미지를 복수의 진단 보조 정보에 대하여 다중 분류하도록 마련되고, 제2 신경망 모델은, 안저 이미지를 제1 진단 보조 정보 및 제2 진단 보조 정보에 대하여 이진 분류하도록 마련될 수 있다.The first neural network model may be provided to multi-classify the fundus image with respect to the plurality of diagnostic assistance information, and the second neural network model may be arranged to binary classify the fundus image with respect to the first diagnostic assistance information and the second diagnostic assistance information. have.
제1 타입 진단 보조 정보는 대상 심혈관 질병에 대한 위험도를 나타내는 등급 정보, 대상 심혈관 질병의 진단에 이용되는 수치 값인 점수 정보, 대상 심혈관 질병에 대하여 위험군에 속함을 나타내는 비정상 정보 중 어느 하나일 수 있다.The first type of diagnosis assistance information may be any one of grade information indicating a risk for the target cardiovascular disease, score information which is a numerical value used for diagnosis of the target cardiovascular disease, and abnormal information indicating belonging to a risk group for the target cardiovascular disease.
제2 타입 진단 보조 정보는 대상 심혈관 질병에 대한 위험도를 나타내는 등급 정보, 대상 심혈관 질병의 진단에 이용되는 수치 값인 점수 정보, 대상 심혈관 질병에 대하여 위험군에 속함을 나타내는 비정상 정보 중 제1 타입 진단 보조 정보와 다른 어느 하나일 수 있다.The second type of diagnosis aid information includes the
대상 심혈관 질병은 관상동맥 질환일 수 있다.The subject cardiovascular disease may be coronary artery disease.
제1 타입 진단 보조 정보는 관상동맥 질환에 대한 위험도를 나타내기 위한 복수의 등급 정보 중 선택된 관상동맥 질환 등급 정보일 수 있다. 이때, 제2 타입 진단 보조 정보는 관상동맥 질환에 대한 위험도를 판단하는데 이용되는 관상동맥 칼슘 점수 정보일 수 있다.The first type of diagnosis assistance information may be coronary disease grade information selected from among a plurality of grade information for indicating a risk for coronary artery disease. In this case, the second type of diagnosis assistance information may be coronary calcium score information used to determine a risk for coronary artery disease.
도 52는 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다. 도 52를 참조하면, 심혈관 질병 진단 보조 정보를 출력하는 단계(S470)는, 제1 타입 진단 보조 정보와 제2 타입 진단 보조 정보가 매칭되는지 판단하는 단계(S471) 및 제1 타입 진단 보조 정보와 제2 타입 진단 보조 정보의 매칭 여부에 따라 결정된 심혈관 질병 진단 보조 정보를 출력하는 단계(S473)를 포함할 수 있다.52 is a diagram illustrating a method for assisting diagnosis of cardiovascular disease according to one embodiment of the present invention. Referring to FIG. 52, the step of outputting the cardiovascular disease diagnosis assistance information (S470) may include determining whether the first type diagnosis assistance information and the second type diagnosis assistance information match (S471), and the first type diagnosis assistance information. And outputting the cardiovascular disease diagnosis assistance information determined according to whether the second type diagnosis assistance information is matched (S473).
제1 타입 진단 보조 정보와 제2 타입 진단 보조 정보가 매칭되는지 판단하는 단계(S471)는In operation S471, it is determined whether the first type diagnostic assistance information and the second type diagnostic assistance information match.
제1 타입 진단 보조 정보와 제2 타입 진단 보조 정보의 매칭 여부에 따라 결정된 심혈관 질병 진단 보조 정보를 출력하는 단계(S473)는 제1 타입 진단 보조 정보 및 제2 타입 진단 보조 정보가 매칭되는 경우, 제1 타입 진단 보조 정보 또는 제2 타입 진단 보조 중 적어도 어느 하나를 포함하는 심혈관 질병 진단 보조 정보를 출력하는 것을 더 포함할 수 있다.The outputting of the cardiovascular disease diagnosis assistant information determined according to whether the first type diagnosis assistant information and the second type diagnosis assistant information is matched (S473) is performed when the first type diagnosis assistant information and the second type diagnosis assistant information are matched. The method may further include outputting cardiovascular disease diagnosis assistance information including at least one of the first type diagnosis assistance information and the second type diagnosis assistance information.
결정된 심혈관 질병 진단 보조 정보를 출력하는 단계(S473)는, 제1 타입 진단 보조 정보 및 제2 타입 진단 보조 정보가 매칭되지 않는 경우, 제1 타입 진단 보조 정보 및 제2 타입 진단 보조 정보 중 선택된 어느 하나의 진단 보조 정보를 포함하는 심혈관 질병 진단 보조 정보를 출력하는 것을 더 포함할 수 있다.The outputting of the determined cardiovascular disease diagnosis assistance information (S473) may include selecting any one of the first type diagnosis assistance information and the second type diagnosis assistance information when the first type diagnosis assistance information and the second type diagnosis assistance information do not match. The method may further include outputting cardiovascular disease diagnosis assistance information including one diagnosis assistance information.
결정된 심혈관 질병 진단 보조 정보를 출력하는 단계(S473)는, 제1 타입 진단 보조 정보 및 제2 타입 진단 보조 정보가 매칭되지 않는 경우, 제1 타입 진단 보조 정보 및 제2 타입 진단 보조 정보 중 선택된 어느 하나의 진단 보조 정보인 기준 진단 보조 정보 및 기준 진단 보조 정보에 매칭되도록 보정된 다른 하나의 진단 보조 정보를 포함하는 심혈관 질병 진단 보조 정보를 출력하는 것을 더 포함할 수 있다.The outputting of the determined cardiovascular disease diagnosis assistance information (S473) may include selecting any one of the first type diagnosis assistance information and the second type diagnosis assistance information when the first type diagnosis assistance information and the second type diagnosis assistance information do not match. The method may further include outputting cardiovascular disease diagnosis assistance information including reference diagnosis assistance information which is one diagnosis assistance information and the other diagnosis assistance information corrected to match the reference diagnosis assistance information.
제1 타입 진단 보조 정보 및 제2 타입 진단 보조 정보가 매칭되는지 판단하는 것은, 미리 마련된 제1 타입 정보-제2 타입 정보 매칭 테이블을 이용하여 제1 타입 진단 보조 정보 및 제2 타입 진단 보조 정보가 매칭되는지 판단하는 것을 포함할 수 있다.Determining whether the first type diagnostic assistance information and the second type diagnostic assistance information match is performed by using the prepared first type information-second type information matching table to determine the first type diagnostic assistance information and the second type diagnostic assistance information. Determining whether a match is found.
상술한 심혈관 질병의 진단 보조 방법은, 방법을 실행하는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체의 형태로 제공될 수 있다.The above-mentioned method for assisting diagnosis of cardiovascular disease may be provided in the form of a computer-readable recording medium in which a program for executing the method is recorded.
도 53은 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 장치를 설명하기 위한 도면이다. 도 53을 참조하면, 본 발명의 일 실시예에 따른 안저 이미지를 이용하여 대상 심혈관 질병의 진단을 보조하는 심혈관 질병 진단 보조 장치(6000)는, 안저 이미지 획득부(6100), 제1 타입 진단 보조 정보 획득부(6300), 제2 타입 진단 보조 정보 획득부(6500) 및 심혈관 질병 진단 보조 정보 출력부(6700)를 포함할 수 있다.53 is a view for explaining a cardiovascular disease diagnosis assistance apparatus according to an embodiment of the present invention. Referring to FIG. 53, a cardiovascular disease
안저 이미지 획득부(6100)는 피검체의 안저를 촬상한 대상 안저 이미지를 획득할 수 있다.The
제1 타입 진단 보조 정보 획득부(6300)는 대상 안저 이미지에 기초하여, 안저 이미지에 기초하여 대상 심혈관 질병의 진단에 이용되는 제1 타입 진단 보조 정보를 획득하도록 학습된 제1 신경망 모델을 통하여, 대상 안저 이미지에 따른 제1 타입 진단 보조 정보를 획득할 수 있다.The first type diagnosis assistance
제2 타입 진단 보조 정보 획득부(6500)는 대상 안저 이미지에 기초하여, 안저 이미지에 기초하여 대상 심혈관 질병의 진단에 이용되는 제2 타입 진단 보조 정보를 획득하도록 학습된 제2 신경망 모델을 통하여, 대상 안저 이미지에 따른 제2 타입 진단 보조 정보를 획득할 수 있다.The second type diagnosis assistance
심혈관 질병 진단 보조 정보 출력부(6700)는 제1 타입 진단 보조 정보 및 제2 타입 진단 보조 정보에 기초하여, 피검체에 대한 대상 심혈관 질병의 진단을 보조하기 위한 심혈관 질병 진단 보조 정보를 출력할 수 있다.The cardiovascular disease diagnosis assistance
제2 타입 진단 보조 정보는, 제1 신경망 모델과 적어도 일부 상이한 제2 신경망 모델을 통하여, 제1 타입 진단 보조 정보와 다른 차원을 가지는 정보로 획득될 수 있다. The second type diagnostic assistance information may be obtained as information having a different dimension from the first type diagnostic assistance information through a second neural network model that is at least partially different from the first neural network model.
제1 신경망 모델은, 안저 이미지를 복수의 진단 보조 정보에 대하여 다중 분류하도록 마련되고, 제2 신경망 모델은, 안저 이미지를 제1 진단 보조 정보 및 제2 진단 보조 정보에 대하여 이진 분류하도록 마련될 수 있다.The first neural network model may be provided to multi-classify the fundus image with respect to the plurality of diagnostic assistance information, and the second neural network model may be arranged to binary classify the fundus image with respect to the first diagnostic assistance information and the second diagnostic assistance information. have.
제1 타입 진단 보조 정보는 대상 심혈관 질병에 대한 위험도를 나타내는 등급 정보, 대상 심혈관 질병의 진단에 이용되는 수치 값인 점수 정보, 대상 심혈관 질병에 대하여 위험군에 속함을 나타내는 비정상 정보 중 어느 하나일 수 있다.The first type of diagnosis assistance information may be any one of grade information indicating a risk for the target cardiovascular disease, score information which is a numerical value used for diagnosis of the target cardiovascular disease, and abnormal information indicating belonging to a risk group for the target cardiovascular disease.
제2 타입 진단 보조 정보는 대상 심혈관 질병에 대한 위험도를 나타내는 등급 정보, 대상 심혈관 질병의 진단에 이용되는 수치 값인 점수 정보, 대상 심혈관 질병에 대하여 위험군에 속함을 나타내는 비정상 정보 중 제1 타입 진단 보조 정보와 다른 어느 하나일 수 있다.The second type of diagnosis aid information includes the
제1 신경망 모델은, 안저 이미지를 대상 심혈관 질병에 대한 위험도를 나타내는 복수의 등급 정보로 분류하도록 학습된 신경망 모델일 수 있다. 이때, 제1 타입 진단 보조 정보는 복수의 등급 정보 중 선택된 등급 정보일 수 있다.The first neural network model may be a neural network model trained to classify the fundus image into a plurality of grade information representing a risk for a target cardiovascular disease. In this case, the first type of diagnosis assistance information may be selected grade information among the plurality of grade information.
제2 신경망 모델은, 안저 이미지에 따른 대상 심혈관 질병의 진단에 이용되는 수치 값인 점수 정보를 예측하도록 학습된 신경망 모델일 수 있다. 이때, 제2 타입 진단 보조 정보는 점수 정보일 수 있다.The second neural network model may be a neural network model trained to predict score information, which is a numerical value used for diagnosing a target cardiovascular disease according to the fundus image. In this case, the second type of diagnosis assistance information may be score information.
제1 신경망 모델은 안저 이미지를 대상 심혈관 질병에 대하여 정상군에 속함을 나타내는 정상 정보 또는 대상 심혈관 질병에 대하여 위험군에 속함을 나타내는 비정상 정보로 분류하도록 학습될 수 있다. 제1 타입 진단 보조 정보는 피검체의 대상 심혈관 질병에 대한 위험군 해당 여부를 나타내는 위험 정보일 수 있다.The first neural network model may be trained to classify the fundus image into normal information indicating belonging to the normal group for the target cardiovascular disease or abnormal information indicating belonging to the risk group for the target cardiovascular disease. The first type of diagnosis assistance information may be risk information indicating whether a subject is a risk group for a target cardiovascular disease.
대상 심혈관 질병은 관상동맥 질환일 수 있다. 제1 타입 진단 보조 정보는 관상동맥 질환에 대한 위험도를 나타내기 위한 복수의 등급 정보 중 선택된 관상동맥 질환 등급 정보일 수 있다. 제2 타입 진단 보조 정보는 관상동맥 질환에 대한 위험도를 판단하는데 이용되는 관상동맥 칼슘 점수 정보일 수 있다.The subject cardiovascular disease may be coronary artery disease. The first type of diagnosis assistance information may be coronary disease grade information selected from among a plurality of grade information for indicating a risk for coronary artery disease. The second type of diagnosis assistance information may be coronary calcium score information used to determine a risk for coronary artery disease.
도 54는 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 장치를 설명하기 위한 도면이다. 도 54를 참조하면, 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 정보 출력부(6701)는 진단 보조 정보 매칭 여부 판단부(6711) 및 심혈관 질병 진단 보조 정보 획득부(6731)를 포함할 수 있다.54 is a view for explaining a cardiovascular disease diagnosis assistance apparatus according to an embodiment of the present invention. Referring to FIG. 54, the cardiovascular disease diagnosis assistance
진단 보조 정보 매칭 여부 판단부(6711)는 제1 타입 진단 보조 정보 및 제2 타입 진단 보조 정보가 매칭되는지 판단할 수 있다.The diagnosis assistance information matching
심혈관 질병 진단 보조 정보 출력부(6731)는 제1 타입 진단 보조 정보와 제2 타입 진단 보조 정보의 매칭 여부에 따라 결정된 심혈관 질병 진단 보조 정보를 출력하는 심혈관 질병 진단 보조 정보 출력할 수 있다.The cardiovascular disease diagnosis assistant
심혈관 질병 진단 보조 정보 출력부(6731)는 제1 타입 진단 보조 정보 및 제2 타입 진단 보조 정보가 매칭되는 경우, 제1 타입 진단 보조 정보 또는 제2 타입 진단 보조 중 적어도 어느 하나를 포함하는 심혈관 질병 진단 보조 정보를 출력할 수 있다.The cardiovascular disease diagnosis assistance
심혈관 질병 진단 보조 정보 출력부(6731)는 제1 타입 진단 보조 정보 및 제2 타입 진단 보조 정보가 매칭되지 않는 경우, 제1 타입 진단 보조 정보 및 제2 타입 진단 보조 정보 중 선택된 어느 하나의 진단 보조 정보를 포함하는 심혈관 질병 진단 보조 정보를 출력할 수 있다. The cardiovascular disease diagnosis assistance
심혈관 질병 진단 보조 정보 출력부(6731)는 제1 타입 진단 보조 정보 및 제2 타입 진단 보조 정보가 매칭되지 않는 경우, 제1 타입 진단 보조 정보 및 제2 타입 진단 보조 정보 중 선택된 어느 하나의 진단 보조 정보인 기준 진단 보조 정보 및 기준 진단 보조 정보에 매칭되도록 보정된 다른 하나의 진단 보조 정보를 포함하는 심혈관 질병 진단 보조 정보를 출력하는 더 포함할 수 있다.The cardiovascular disease diagnosis assistance
2.4.2 심혈관 질병 진단 보조 신경망 모델의 병렬 학습2.4.2 Parallel Learning of Assisted Neural Network Models for Diagnosing Cardiovascular Disease
본 명세서에 따르면, 심혈관 질병의 진단 보조를 위하여, 둘 이상의 신경망 모델에 대하여 병렬적으로 학습하는 방법 및/또는 장치가 제공될 수 있다. 본 명세서에 따르면, 심혈관 질병에 대한 진단 보조 정보를 획득하는 신경망 모델을 포함하는 복수의 진단 보조 신경망 모델을 병렬적으로 학습하는 방법 및/또는 장치가 제공될 수 있다. According to the present disclosure, methods and / or devices for learning in parallel with two or more neural network models may be provided to assist in the diagnosis of cardiovascular disease. According to the present disclosure, a method and / or apparatus for parallel learning a plurality of diagnostic assistive neural network models including a neural network model for obtaining diagnostic assistance information for a cardiovascular disease may be provided.
심혈관 질병 진단 보조 신경망 모델의 병렬 학습은 학습 장치에 의해 수행될 수 있다. Parallel learning of the cardiovascular disease diagnosis aided neural network model may be performed by a learning device.
도 55는 본 발명의 일 실시예에 따른 학습 장치(1001)를 도시한 것이다. 도 55를 참조하면 본 발명의 일 실시예에 따른 학습 장치(1001)는 제1 학습부(101a) 및 제2 학습부(101b)를 포함할 수 있다.55 illustrates a
제1 학습부(101a)는 제1 데이터 가공 모듈(111a), 제1 학습 모듈(131a) 및 제1 학습 결과 획득 모듈(115a)을 포함할 수 있다. 제2 학습부(101b)는 제2 데이터 가공 모듈(111b), 제2 학습 모듈(131b) 및 제2 학습 결과 획득 모듈(151b)을 포함할 수 있다.The
제1 학습부(101a)는 제1 안저 이미지 학습 데이터를 획득할 수 있다. 제1 데이터 가공 모듈(111a)은 제1 안저 이미지 학습 데이터에 포함된 안저 이미지를 재구성할 수 있다. 제1 데이터 가공 모듈(111a)은 제1 학습 모듈에 의하여 획득하고자 하는 진단 보조 정보의 종류를 고려하여 안저 이미지를 적절히 재구성할 수 있다. 제1 데이터 가공 모듈(111a)은 안저 이미지의 혈관이 강조되도록 재구성할 수 있다. 제1 데이터 가공 모듈(111a)은 혈관이 강조된 안저 이미지를 획득할 수 있다.The
제2 학습부(101b)는 제2 안저 이미지 학습 데이터를 획득할 수 있다. 제2 데이터 가공 모듈(111b)은 제2 안저 이미지 학습 데이터에 포함된 안저 이미지를 재구성할 수 있다. 제2 데이터 가공 모듈(111b)은 제2 학습 모듈에 의하여 획득하고자 하는 진단 보조 정보의 종류를 고려하여 안저 이미지를 적절히 재구성할 수 있다. 제2 데이터 가공 모듈(111b)은 안저 이미지를 혈관이 강조되도록 처리할 수 있다.The
제1 학습부(101a)는 제1 신경망 모델을 학습하고, 제2 학습부(101b)는 제2 신경망 모델을 학습할 수 있다. 또는, 제1 학습 모듈은 제1 신경망 모델을 학습하고, 제2 학습 모듈은 제2 신경망 모델을 학습할 수 있다.The
예를 들어, 제1 학습부(101a)는 안저 이미지에 기초하여 제1 심혈관 질병과 관련된 진단 보조 정보를 획득하는 제1 신경망 모델을 학습하고, 제2 학습부(101b)는 안저 이미지에 기초하여 제2 심혈관 질병과 관련된 진단 보조 정보를 획득하는 제2 신경망 모델을 학습할 수 있다.For example, the
구체적인 예로, 제1 학습부(101a)는 안저 이미지에 기초하여 관상동맥 질환의 진단을 위한 점수 정보를 획득하는 제1 신경망 모델을 학습하고, 제2 학습부(101b)는 안저 이미지에 기초하여 고혈압과 관련된 점수 정보를 획득하는 제2 신경망 모델을 학습할 수 있다.As a specific example, the
다른 예를 들어, 제1 학습부(101a)는 안저 이미지에 기초하여 제1 심혈관 질병과 관련된 제1 진단 보조 정보를 획득하는 제1 신경망 모델을 학습하고, 제2 학습부(101b)는 안저 이미지에 기초하여 제1 심혈관 질병과 관련된 제2 진단 보조 정보를 획득하는 제2 신경망 모델을 학습할 수 있다.For another example, the
구체적인 예로, 제1 학습부(101a)는 안저 이미지에 기초하여 관상동맥 질환의 진단을 위한 점수 정보를 획득하는 제1 신경망 모델을 학습하고, 제2 학습부(101b)는 안저 이미지에 기초하여 관상동맥 질환의 진단을 위한 등급 정보를 획득하는 제2 신경망 모델을 학습할 수 있다.As a specific example, the
또 다른 예를 들어, 제1 학습부(101a)는 안저 이미지에 기초하여 심혈관 질병과 관련된 제1 진단 보조 정보를 획득하는 제1 신경망 모델을 학습하고, 제2 학습부(101b)는 타 질병과 관련된 제2 진단 보조 정보를 획득하는 제2 신경망 모델을 학습할 수 있다. For another example, the
구체적인 예로, 제1 학습부(101a)는 안저 이미지에 기초하여 관상동맥 질환의 진단을 위한 등급 정보를 획득하는 제1 신경망 모델을 학습하고, 제2 학습부(101b)는 환자의 녹내장에 대한 위험도를 지시하는 등급 정보를 획득하는 제2 신경망 모델을 학습할 수 있다.As a specific example, the
도 55에서는 제1 학습부(101a) 및 제2 학습부(101b)가 하나의 학습 장치에 포함되는 경우를 기준으로 설명하였으나, 이는 예시일 뿐이며, 제1 학습부(101a) 및 제2 학습부(101b)는 각각 제1 학습 장치 및 제2 학습 장치에 포함될 수도 있다.In FIG. 55, the case where the
도 56은 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다. 도 56을 참조하면, 제1 신경망 모델과 제2 신경망 모델은 서로 병렬적으로(또는 독립적으로) 학습될 수 있다.56 is a view to explain a method of learning a cardiovascular disease diagnosis neural network model according to an embodiment of the present invention. Referring to FIG. 56, the first neural network model and the second neural network model may be learned in parallel with each other (or independently).
도 56과 관련하여 설명하는 제1 신경망 모델의 학습을 위한 일련의 프로세스와 제2 신경망 모델의 학습을 위한 프로세스는 순차적으로 또는 적어도 일부 시간 간격 동안 동시에(concurrently) 수행될 수 있다. The series of processes for learning the first neural network model and the process for learning the second neural network model described with reference to FIG. 56 may be performed sequentially or concurrently for at least some time interval.
도 56을 참조하면, 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 신경망 모델의 학습 방법은, 제1 학습 데이터를 획득하는 단계(6010a), 제1 신경망 모델을 학습하는 단계(6030a), 제1 학습 결과를 획득하는 단계(6050a), 제2 데이터를 획득하는 단계(6010b), 제2 신경망 모델을 학습하는 단계(6030b) 및 제2 학습 결과를 획득하는 단계(6050b)를 포함할 수 있다.Referring to FIG. 56, in the method of learning a cardiovascular disease diagnosis assistive neural network model according to an embodiment of the present disclosure, acquiring first training data (6010a), learning a first neural network model (6030a), and The method may include obtaining a
제1 신경망 모델과 제2 신경망 모델은 서로 다른 계층 구조를 가지도록 마련될 수 있다. 제1 신경망 모델과 제2 신경망 모델은 서로 다른 진단 보조 정보를 출력할 수 있다. 제1 신경망 모델과 제2 신경망 모델은 서로 다른 입력 데이터를 이용하여 진단 보조 정보를 출력할 수 있다.The first neural network model and the second neural network model may be provided to have different hierarchical structures. The first neural network model and the second neural network model may output different diagnostic assistance information. The first neural network model and the second neural network model may output diagnostic assistance information using different input data.
제1 신경망 모델은 안저 이미지에 기초하여 제1 심혈관 질병과 관련된 진단 보조 정보를 획득하도록 학습되고, 제2 신경망 모델은 안저 이미지에 기초하여 제2 심혈관 질병과 관련된 진단 보조 정보를 획득하도록 학습될 수 있다.The first neural network model may be trained to obtain diagnostic assistance information associated with the first cardiovascular disease based on the fundus image, and the second neural network model may be trained to obtain diagnostic assistance information associated with the second cardiovascular disease based on the fundus image. have.
제1 신경망 모델은 안저 이미지에 기초하여 제1 심혈관 질병과 관련된 제1 진단 보조 정보를 획득하록 학습되고, 제2 신경망 모델은 안저 이미지에 기초하여 제1 심혈관 질병과 관련된 제2 진단 보조 정보를 획득하도록 학습될 수 있다.The first neural network model is trained to obtain first diagnostic assistance information associated with the first cardiovascular disease based on the fundus image, and the second neural network model acquires second diagnostic assistance information associated with the first cardiovascular disease based on the fundus image. Can be learned to.
제1 신경망 모델은 안저 이미지에 기초하여 심혈관 질병과 관련된 제1 진단 보조 정보를 획득하도록 학습되고, 제2 신경망 모델은 심혈관 질병이 아닌 타 질병과 관련된 제2 진단 보조 정보를 획득하도록 학습될 수 있다. The first neural network model may be trained to obtain first diagnostic assistance information related to cardiovascular disease based on the fundus image, and the second neural network model may be trained to obtain second diagnostic assistance information related to other diseases other than cardiovascular disease. .
제1 학습 데이터를 획득하는 단계(6010a), 제1 신경망 모델을 학습하는 단계(6030a)및 제1 학습 결과를 획득하는 단계(6050a)는 순차적으로 수행될 수 있다. Acquiring the first training data (6010a), training the first neural network model (6030a) and acquiring the first training result (6050a) may be performed sequentially.
제1 학습 데이터를 획득하는 단계(6010a)는 안저 이미지 학습 데이터를 획득하는 것을 포함할 수 있다. 제1 데이터를 획득하는 단계는 심혈관 질병의 진단 보조를 위한 라벨이 포함된 안저 이미지 학습 데이터를 획득하는 것을 포함할 수 있다.Acquiring the
제1 학습 데이터를 획득하는 것은 미리 마련된 데이터베이스로부터 선택된 소정의 기준을 만족하는 라벨링된 안저 이미지들을 포함하는 학습 데이터를 획득하는 것을 포함할 수 있다. 예컨대, 제1 학습 데이터를 획득하는 것은 대상 질병 또는 대상 진단 보조 정보를 고려하여 선택된 안저 이미지 데이터를 포함하는 학습 데이터를 획득하는 것을 포함할 수 있다.Acquiring the first training data may include acquiring the training data including labeled fundus images satisfying a predetermined criterion selected from a pre-set database. For example, acquiring the first training data may include acquiring training data including the selected fundus image data in consideration of the target disease or the target diagnosis assistance information.
제1 학습 데이터는 대상 심혈관 질병의 유무 라벨, 대상 심혈관 질병과 관련된 등급 라벨 및/또는 대상 심혈관 질병과 관련된 점수 라벨을 포함할 수 있다. 제1 학습 데이터에 포함된 안저 이미지에는 질병 유무 라벨, 등급 라벨 및 점수 라벨 중 적어도 하나의 라벨이 부여되어 있을 수 있다.The first learning data may include a presence or absence label of the target cardiovascular disease, a grade label associated with the target cardiovascular disease, and / or a score label associated with the target cardiovascular disease. The fundus image included in the first learning data may be provided with at least one label among disease presence labels, grade labels, and score labels.
학습 데이터에 포함되는 라벨은 신경망 모델에 의해 출력되는 진단 보조 정보와 동종일 수 있다. 일 예로, 제1 신경망 모델이 안저 이미지에 기초하여 점수 정보를 출력하는 신경망 모델인 경우, 제1 학습 데이터는 점수 라벨을 포함할 수 있다. 다른 예로, 제1 신경망 모델이 안저 이미지에 기초하여 등급 정보를 출력하는 경우, 제1 학습 데이터는 등급 라벨을 포함할 수 있다. 또 다른 예로, 제1 신경망 모델이 안저 이미지에 기초하여 질병 유무 정보를 출력하는 경우 제1 학습 데이터는 질병 유무 라벨을 포함할 수 있다. 다만, 이종의 정보간의 매칭 관계가 미리 마련되어 있는 경우에는 신경망 모델에 의해 출력되는 진단 보조 정보와 이종의 라벨을 포함하는 학습 데이터가 학습에 이용될 수도 있다.The label included in the training data may be homogeneous with the diagnostic assistance information output by the neural network model. For example, when the first neural network model is a neural network model that outputs score information based on the fundus image, the first training data may include a score label. As another example, when the first neural network model outputs grade information based on the fundus image, the first training data may include a grade label. As another example, when the first neural network model outputs disease presence information based on the fundus image, the first learning data may include a disease presence label. However, when a matching relationship between heterogeneous information is prepared in advance, training data including the heterogeneous label and the diagnostic assistance information output by the neural network model may be used for learning.
심혈관 질병 진단 보조 신경망 모델의 학습 방법은, 획득된 제1 학습 데이터에 포함된 안저 이미지를 재구성하는 것을 더 포함할 수 있다. 안저 이미지 재구성은 선택적으로 수행될 수 있다.The training method of the cardiovascular disease diagnosis assistance neural network model may further include reconstructing the fundus image included in the acquired first training data. Fundus image reconstruction may optionally be performed.
제1 학습 데이터에 포함된 안저 이미지를 재구성하는 것은 안저 이미지에 포함된 혈관 성분이 강조되도록 하는 전처리를 수행하는 것을 포함할 수 있다. 안저 이미지의 재구성 또는 전처리에 대하여는 본 명세서에서 전술한 내용이 유추 적용될 수 있다. Reconstructing the fundus image included in the first training data may include performing a preprocessing to emphasize the vascular component included in the fundus image. Regarding reconstruction or preprocessing of the fundus image, the foregoing description may be inferred.
다시 말해, 제1 신경망 모델은 촬상된 상태의 원본 안저 이미지 또는 혈관이 강조되도록 재구성된 이미지 중 적어도 하나를 포함하는 안저 이미지 학습 데이터를 이용하여 학습될 수 있다.In other words, the first neural network model may be trained using the fundus image learning data including at least one of an original fundus image in the photographed state or an image reconstructed to emphasize the blood vessel.
제1 신경망 모델을 학습하는 단계(6030a)는 제1 학습 데이터에 포함된 안저 이미지를 입력 안저 이미지로 하여 획득된 진단 보조 정보를 입력 안저 이미지에 부여된 라벨과 비교하여 제1 신경망 모델을 갱신하는 것을 포함할 수 있다. 예컨대, 제1 신경망 모델을 학습하는 단계(6030a)는 입력 안저 이미지에 기초하여 관상동맥질환과 관련된 등급 정보를 획득하고, 입력 안저 이미지에 부여된 라벨과 획득된 등급 정보를 비교하여 제1 신경망 모델을 갱신하는 것을 포함할 수 있다. 안저 이미지에 부여된 라벨이 등급 정보와 이종인 경우 그 비교는 미리 마련된 매칭 테이블 또는 사용자에 의해 지정된 매칭 관계를 이용하여 수행될 수 있다. 신경망 모델 학습에 대한 구체적인 내용은 본 명세서에서 전술한 내용이 유추 적용될 수 있다.The training of the first neural network model (6030a) may include updating the first neural network model by comparing the diagnostic assistance information obtained by using the fundus image included in the first training data as an input fundus image with a label given to the input fundus image. It may include. For example, the training of the first
제1 학습 결과를 획득하는 단계(6050a)는 제1 학습 데이터에 포함된 안저 이미지를 이용한 학습을 반복 수행한 결과 생성된 제1 신경망 모델의 파라미터를 획득하는 것을 포함할 수 있다. 제1 신경망 모델이 둘 이상의 서브 신경망 모델을 포함하는 앙상블 형태의 신경망 모델인 경우, 제1 학습 결과는 각각의 서브 신경망 모델에 대한 가중치 또는 최종 선택된 서브 신경망 모델을 포함할 수 있다.Acquiring the
제2 데이터를 획득하는 단계(6010b), 제2 신경망 모델을 학습하는 단계(6030b) 및 제2 학습 결과를 획득하는 단계(6050b)는 순차적으로 수행될 수 있다. Acquiring the second data (6010b), training the second neural network model (6030b) and obtaining the second training result (6050b) may be performed sequentially.
제2 학습 데이터는 안저 이미지 또는 기타 입력 데이터를 포함할 수 있다. 제2 학습 데이터는 제1 학습 데이터와 일부 공통되거나 전부 구별되는 데이터를 포함할 수 있다.The second training data may include fundus images or other input data. The second training data may include data that is partly common or entirely distinct from the first training data.
예를 들어, 제1 신경망 모델은 안저 이미지에 기초하여 심혈관 질병에 대한 제1 진단 보조 정보를 획득하고, 제2 신경망 모델은 심혈관 질병에 대한 제2 진단 보조 정보를 획득하는 경우, 제1 학습 데이터와 제2 학습 데이터는 적어도 일부 공통될 수 있다. For example, when the first neural network model obtains the first diagnostic assistance information for the cardiovascular disease based on the fundus image, and the second neural network model acquires the second diagnostic assistance information for the cardiovascular disease, the first training data. And the second training data may be at least partially common.
예컨대, 제1 신경망 모델과 제2 신경망 모델은 동일한 학습 데이터에 포함된 이종의 라벨을 이용하여 학습될 수 있다. 제1 신경망 모델은 학습 데이터에 포함된 점수 라벨을 이용하여 점수 정보를 출력하도록 학습되고, 제2 신경망 모델은 학습 데이터에 포함된 등급 라벨을 이용하여 등급 정보를 출력하도록 학습될 수 있다. For example, the first neural network model and the second neural network model may be trained using heterogeneous labels included in the same training data. The first neural network model may be trained to output score information using the score label included in the training data, and the second neural network model may be trained to output grade information using the grade label included in the training data.
또 예컨대, 제1 신경망 모델과 제2 신경망 모델은 동일한 학습 데이터에 포함된 동종 라벨을 이용하여 학습될 수 있다. 제1 신경망 모델은 학습 데이터에 포함된 점수 라벨을 이용하여 점수 정보를 출력하도록 학습되고, 제2 신경망 모델은, 학습 데이터에 포함된 점수 라벨 및 점수와 등급을 매칭하는 매칭 테이블을 이용하여, 등급 정보를 출력하도록 학습될 수 있다. In addition, for example, the first neural network model and the second neural network model may be trained using homologous labels included in the same training data. The first neural network model is trained to output the score information using the score label included in the training data, and the second neural network model is rated using the score label included in the training data and a matching table that matches the score and the grade. Can be learned to output information.
다른 예를 들어, 제1 신경망 모델은 안저 이미지에 기초하여 제1 심혈관 질병과 관련된 제1 진단 보조 정보를 획득하고, 제2 신경망 모델은 제2 심혈관 질병(또는 심혈관 질병 외의 타 질병)과 관련된 제2 진단 보조 정보를 획득하는 경우, 제1 학습 데이터와 제2 학습 데이터는 일부 공통되거나 구분될 수 있다In another example, the first neural network model obtains first diagnostic assistance information related to the first cardiovascular disease based on the fundus image, and the second neural network model is an agent associated with the second cardiovascular disease (or other disease other than cardiovascular disease). When acquiring the diagnosis assistance information, the first learning data and the second learning data may be partially common or separated.
예컨대, 제1 신경망 모델과 제2 신경망 모델은 동일한 학습 데이터에 포함된 이종의 라벨을 이용하여 학습될 수 있다. 제1 신경망 모델은 학습 데이터에 포함된 관상동맥 질환과 관련된 진단 보조 라벨을 이용하여 관상동맥 질환을 진단하기 위한 진단 보조 정보를 출력하도록 학습되고, 제2 신경망 모델은 학습 데이터에 포함된 고혈압 또는 녹내장의 진단을 위한 진단 보조 라벨을 이용하여 고혈압 진단을 위한 진단 보조 정보를 출력하도록 학습될 수 있다.For example, the first neural network model and the second neural network model may be trained using heterogeneous labels included in the same training data. The first neural network model is trained to output diagnostic assistance information for diagnosing coronary artery disease using a diagnostic aid label associated with coronary artery disease included in the training data, and the second neural network model is hypertension or glaucoma included in the training data. It may be learned to output diagnostic assistance information for diagnosing hypertension using the diagnostic assistance label for diagnosis of the blood pressure.
또 예컨대, 제1 신경망 모델과 제2 신경망 모델은 이종의 라벨을 포함하는 서로 다른 학습 데이터를 이용하여 학습될 수 있다. 제1 신경망 모델은 관상동맥 질환과 관련된 진단 보조 라벨을 포함하는 제1 학습 데이터를 이용하여 관상동맥 질환을 진단하기 위한 진단 보조 정보를 출력하도록 학습되고, 제2 신경망 모델은 고혈압 또는 녹내장의 진단을 위한 진단 보조 정보를 포함하는 제2 학습 데이터를 이용하여 고혈압 진단을 위한 진단 보조 정보를 출력하도록 학습될 수 있다.In addition, for example, the first neural network model and the second neural network model may be trained using different training data including heterogeneous labels. The first neural network model is trained to output diagnostic assistance information for diagnosing coronary artery disease using first training data comprising diagnostic aid labels associated with coronary artery disease, and the second neural network model is used for diagnosing hypertension or glaucoma. Can be trained to output diagnostic assistance information for diagnosing hypertension using second training data including diagnostic assistance information.
제1 학습 데이터와 제2 학습 데이터는 적어도 일부가 동일한 학습 데이터일 수 있고, 함께 또는 따로 획득될 수 있다. 구체적인 예로, 제1 데이터 및 제2 데이터는 미리 마련된 데이터 중 선택되고 적어도 일부 상이하게 결정된 학습 데이터일 수 있다.The first training data and the second training data may be at least part of the same training data, and may be obtained together or separately. As a specific example, the first data and the second data may be learning data selected from preliminary data and at least partially differently determined.
심혈관 질병 진단 보조 신경망 모델의 학습 방법은, 획득된 제2 학습 데이터에 포함된 안저 이미지를 재구성하는 것을 더 포함할 수 있다. 제2 신경망 모델은 재구성된 안저 이미지 또는 원본 안저 이미지에 기초하여 학습될 수 있다. 이미지의 재구성은 본 명세서에서 전술한 것과 유사하게 수행될 수 있다.The training method of the cardiovascular disease diagnosis assistance neural network model may further include reconstructing the fundus image included in the acquired second training data. The second neural network model may be trained based on the reconstructed fundus image or the original fundus image. Reconstruction of the image can be performed similar to that described above in this specification.
제2 학습 데이터에 포함된 안저 이미지는 제2 신경망 모델의 학습에 적합한 형태로 재구성될 수 있다. 제2 학습 데이터에 포함된 안저 이미지는 제2 신경망 모델에서 출력되는 진단 보조 정보의 정확도가 향상되도록 재구성될 수 있다.The fundus image included in the second training data may be reconstructed into a form suitable for learning the second neural network model. The fundus image included in the second training data may be reconstructed to improve the accuracy of the diagnostic assistance information output from the second neural network model.
제1 학습 데이터에 포함된 안저 이미지와 제2 학습 데이터에 포함된 안저 이미지는 서로 달리 재구성될 수 있다. 예컨대, 제1 학습 데이터에 포함된 안저 이미지는 심혈관 질병 진단 보조 정보 획득이 용이하도록 혈관 강조 처리되고, 제2 학습 데이터에 포함된 안저 이미지는 안질환 진단 보조 정보 획득이 용이하도록 처리될 수 있다. The fundus image included in the first training data and the fundus image included in the second training data may be differently reconstructed. For example, the fundus image included in the first learning data may be vascular emphasized to facilitate acquisition of cardiovascular disease diagnosis assistance information, and the fundus image included in the second learning data may be processed to facilitate acquisition of the ocular disease diagnosis assistance information.
제2 신경망 모델을 학습하는 단계는 제2 학습 데이터에 포함된 안저 이미지를 입력 안저 이미지로 하여 획득된 진단 보조 정보를 입력 안저 이미지에 부여된 라벨과 비교하여 제2 신경망 모델을 갱신하는 것을 포함할 수 있다. The training of the second neural network model may include updating the second neural network model by comparing the diagnostic assistance information obtained by using the fundus image included in the second training data as the input fundus image with a label given to the input fundus image. Can be.
예컨대, 제2 신경망 모델을 학습하는 단계는 입력 안저 이미지에 기초하여 관상동맥질환과 관련된 등급 정보를 획득하고, 입력 안저 이미지에 부여된 라벨과 획득된 등급 정보를 비교하여 제1 신경망 모델을 갱신하는 것을 포함할 수 있다. 안저 이미지에 부여된 라벨이 등급 정보와 이종인 경우 그 비교는 미리 마련된 매칭 테이블 또는 사용자에 의해 지정된 매칭 관계를 이용하여 수행될 수 있다. For example, the training of the second neural network model may include obtaining grade information related to coronary artery disease based on the input fundus image, and updating the first neural network model by comparing the label given to the input fundus image with the obtained grade information. It may include. When the label given to the fundus image is heterogeneous with the grade information, the comparison may be performed using a matching table prepared in advance or a matching relationship designated by the user.
제1 신경망 모델 및 제2 신경망 모델은 상호 독립적으로 학습될 수 있다. 또는, 제1 신경망 모델 및 제2 신경망 모델의 학습은 상호 의존적으로 수행될 수도 있다.The first neural network model and the second neural network model may be trained independently of each other. Alternatively, the training of the first neural network model and the second neural network model may be performed interdependently.
예컨대, 제1 학습 데이터와 제2 학습 데이터가 적어도 일부 공통되고, 제1 신경망 모델에 의해 획득된 제1 진단 보조 정보와 제2 신경망 모델에 획득된 제2 진단 보조 정보가 이종인 경우, 제1 진단 보조 정보와 제2 진단 보조 정보의 연관성을 고려하여 제1 신경망 모델 및 제2 신경망 모델의 학습이 함께 수행될 수 있다.For example, when the first training data and the second training data are at least partially in common, and the first diagnostic assistance information obtained by the first neural network model and the second diagnostic assistance information acquired by the second neural network model are heterogeneous, the first diagnosis may be performed. Training of the first neural network model and the second neural network model may be performed in consideration of the correlation between the auxiliary information and the second diagnostic assistance information.
구체적인 예로, 제1 신경망 모델이 점수 라벨이 부여된 입력 안저 이미지를 제1 내지 제3 등급 정보에 대하여 분류하고, 제2 신경망 모델이 입력 안저 이미지를 제1 내지 제5 등급 정보에 대하여 분류할 수 있다. 이때, 제1 신경망 모델 및 제2 신경망 모델을 학습하는 것은 제1 내지 제3 등급 및 제1 내지 제5 등급의 연관 관계 및 각 등급과 점수 값과의 연관 관계를 함께 고려하여 수행될 수 있다. As a specific example, the first neural network model may classify the input fundus image to which the score label is assigned for the first to third grade information, and the second neural network model may classify the input fundus image to the first to fifth grade information. have. In this case, the training of the first neural network model and the second neural network model may be performed in consideration of the correlation between the first to third grades and the first to fifth grades, and the relationship between each grade and the score value.
2.4.3 심혈관 질병에 대한 병렬 진단 보조2.4.3 Parallel Diagnostic Assistant for Cardiovascular Disease
본 명세서에 따르면, 복수의 신경망 모델을 이용하여 진단 보조 프로세스를 병렬적으로 수행하는 장치 및/또는 방법이 제공될 수 있다. 복수의 진단 보조 신경망 모델을 이용하여 심혈관 질병에 대한 진단 보조 정보를 포함하는 복수의 진단 보조 정보를 획득하는 장치 및/또는 방법이 제공될 수 있다. 이하에서 설명하는 병렬 진단 보조 프로세스는 전술한 진단 장치, 진단부, 제어부 또는 프로세서에서 수행될 수 있다.According to the present disclosure, an apparatus and / or method for performing a diagnostic assistance process in parallel using a plurality of neural network models can be provided. An apparatus and / or method for acquiring a plurality of diagnostic assistance information including diagnostic assistance information for a cardiovascular disease using a plurality of diagnostic assistance neural network models may be provided. The parallel diagnosis assistance process described below may be performed by the above-described diagnosis apparatus, diagnosis unit, control unit, or processor.
도 57은 본 발명의 일 실시예에 따른 진단 장치(2001)를 설명하기 위한 도면이다. 도 57을 참조하면, 진단 장치(2001)는 진단 요청 획득 모듈(2011), 데이터 재구성 모듈(2013), 진단 보조 모듈(2015a, 2015b) 및 진단 보조 정보 출력 모듈(2017)을 포함할 수 있다. 57 is a diagram for describing a
진단 요청 획득 모듈(2011)은 진단 보조 정보 요청을 획득할 수 있다. 진단 요청 획득 모듈은 진단 대상 안저 이미지와 함께 진단 보조 정보 요청을 획득할 수 있다. 진단 요청 획득 모듈(2011)은 제1 진단 보조 정보 및 제2 진단 보조 정보를 요청하는 진단 요청을 획득할 수 있다. 진단 요청은 요청되는 제1 진단 보조 정보 및/또는 제2 진단 보조 정보의 정보 타입(예컨대, 질병 유무 정보 또는 등급 정보)를 포함할 수 있다.The diagnosis
진단 요청 획득 모듈(2011)은 사용자 인터페이스를 통하여 진단 요청을 획득할 수 있다. 또는, 진단 요청 획득 모듈은 외부 기기로부터 사용자로부터 획득된 진단 요청을 전달받을 수 있다.The diagnosis
데이터 재구성 모듈(2013)은 획득된 데이터를 가공할 수 있다. 예컨대, 데이터 가공 모듈은 이미지 데이터를 재구성할 수 있다. 또는, 데이터 재구성 모듈은 이미지 전처리 또는 데이터의 직렬과 등, 본 명세서에서 설명하는 학습 데이터의 최적화를 위한 다양한 처리를 수행할 수 있다. The
진단 보조 모듈(2015)은 제1 진단 보조 모듈(2015a) 및 제2 진단 보조 모듈(2015b)을 포함할 수 있다. 제1 진단 보조 모듈(2015a)은 제1 신경망 모델을 이용하여 제1 진단 보조 정보를 획득할 수 있다. 제2 진단 보조 모듈(2015b)은 제2 신경망 모델을 이용하여 제2 진단 보조 정보를 획득할 수 있다. 도 57에서는 하나의 진단 장치가 복수의 진단 보조 모듈을 포함하는 경우를 기준으로 설명하였으나, 본 명세서에서 설명하는 발명이 이에 한정되지는 아니하며, 복수의 진단 장치가 각각의 진단부(또는 진단 보조 모듈)을 가지고 서로 다른 신경망 모델을 이용하여 진단 보조 정보를 획득할 수도 있다. The diagnostic assistance module 2015 may include a first
예를 들어, 제1 진단 보조 모듈(또는 제1 진단부)(2015a)은 제1 신경망 모델을 이용하여 제1 심혈관 질병과 관련된 진단 보조 정보를 획득하고, 제2 진단 보조 모듈(또는 제2 진단부)(2015b)는 제2 신경망 모델을 이용하여 제2 심혈관 질병과 관련된 진단 보조 정보를 획득할 수 있다.For example, the first diagnostic assistance module (or first diagnosis unit) 2015a acquires diagnostic assistance information related to the first cardiovascular disease by using the first neural network model, and the second diagnostic assistance module (or second diagnosis). (B) 2015b may acquire diagnostic assistance information related to the second cardiovascular disease using the second neural network model.
구체적인 예로, 제1 진단 보조 모듈(또는 제1 진단부)(2015a)는 제1 신경망 모델을 이용하여 관상동맥 질환의 진단을 위한 점수 정보를 획득하고, 제2 진단 보조 모듈(또는 제2 진단부) (2015b)는 제2 신경망 모델을 이용하여 고혈압과 관련된 점수 정보를 획득할 수 있다.As a specific example, the first diagnostic assistant module (or first diagnosis unit) 2015a obtains score information for diagnosing coronary artery disease using a first neural network model, and the second diagnostic assistant module (or second diagnosis unit). (2015b) may obtain score information related to hypertension using the second neural network model.
다른 예를 들어, 제1 진단 보조 모듈(또는 제1 진단부)(2015a)는 제1 신경망 모델을 이용하여 제1 심혈관 질병과 관련된 제1 진단 보조 정보를 획득하고, 제2 진단 보조 모듈(또는 제2 진단부)(2015b)는 제1 심혈관 질병과 관련된 제2 진단 보조 정보를 획득할 수 있다.As another example, the first diagnostic assistance module (or the first diagnosis unit) 2015a acquires first diagnostic assistance information related to the first cardiovascular disease by using the first neural network model, and the second diagnostic assistance module (or The
구체적인 예로, 제1 진단 보조 모듈(또는 제1 진단부)(2015a)는 제1 신경망 모델을 이용하여 관상동맥 질환의 진단을 위한 점수 정보를 획득하고, 제2 진단 보조 모듈(또는 제2 진단부) (2015b)는 관상동맥 질환의 진단을 위한 등급 정보를 획득할 수 있다.As a specific example, the first diagnostic assistant module (or first diagnosis unit) 2015a obtains score information for diagnosing coronary artery disease using a first neural network model, and the second diagnostic assistant module (or second diagnosis unit). (2015b) can obtain grade information for diagnosis of coronary artery disease.
또 다른 예를 들어, 제1 진단 보조 모듈(또는 제1 진단부)(2015a)는 제1 신경망 모델을 이용하여 심혈관 질병의 진단과 관련된 제1 진단 보조 정보를 획득하고, 제2 진단 보조 모듈(또는 제2 진단부) (2015b)는 제2 신경망 모델을 이용하여 타 질병의 진단과 관련된 제2 진단 보조 정보를 획득할 수 있다. As another example, the first diagnostic assistance module (or the first diagnostic unit) 2015a obtains first diagnostic assistance information related to the diagnosis of a cardiovascular disease by using a first neural network model, and obtains a second diagnostic assistance module ( Alternatively, the
구체적인 예로, 제1 진단 보조 모듈(또는 제1 진단부)(2015a)는 제1 신경망 모델을 이용하여 관상동맥 질환의 진단을 위한 등급 정보를 획득하고, 제2 진단 보조 모듈(또는 제2 진단부) (2015b)은 녹내장 진단을 위한 등급 정보를 획득할 수 있다.As a specific example, the first diagnostic assistant module (or the first diagnostic unit) 2015a obtains grade information for diagnosing coronary artery disease using the first neural network model, and the second diagnostic assistant module (or the second diagnostic unit). (2015b) can obtain grade information for diagnosing glaucoma.
진단 보조 정보 출력 모듈은 진단 보조 정보를 출력할 수 있다. 진단 보조 정보 출력 모듈은 제1 진단 보조 정보 및 제2진단 보조 정보에 기초하여 획득된 최종 진단 보조 정보 및/또는 제1 진단 보조 정보, 제2 진단 보조 정보 또는 최종 진단 보조 정보로부터 얻어진 2차 진단 보조 정보를 출력할 수 있다. 진단 보조 정보 출력 모듈은 진단 보조 정보를 사용자에게 제공하거나 외부 장치로 전송할 수 있다.The diagnostic assistance information output module may output diagnostic assistance information. The diagnostic assistance information output module may be configured to perform the second diagnosis obtained from the final diagnostic assistance information and / or the first diagnostic assistance information, the second diagnostic assistance information, or the final diagnostic assistance information obtained based on the first diagnostic assistance information and the second diagnostic assistance information. Auxiliary information can be output. The diagnostic assistance information output module may provide diagnostic assistance information to a user or transmit the information to an external device.
도 58은 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다.58 is a view to explain a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention.
도 58을 참조하면, 58A는 데이터 획득 모듈(또는 진단 요청 획득 모듈)의 동작을 설명하기 위한 흐름도이다. 도 58을 참조하면, 58B는 데이터 재구성 모듈의 동작을 설명하기 위한 흐름도이다. 58C는 제1 진단 보조 모듈의 동작을 설명하기 위한 흐름도이다. 58D는 제2 진단 보조 모듈의 동작을 설명하기 위한 흐름도이다. 도 58E는 진단 보조 정보 출력 모듈의 동작을 설명하기 위한 흐름도이다. 다만, 58A 내지 58E 에서 나타내는 동작들은 반드시 위에 설명된 모듈에 의해 수행되어야 하는 것은 아니다. 예를 들어, 58A 내지 58E와 관련하여 설명되는 동작들은 하나의 모듈, 예컨대 양안 진단 보조 모듈, 진단 장치의 프로세서 또는 제어부 등에서 수행될 수도 있다.Referring to FIG. 58, 58A is a flowchart for describing an operation of a data acquisition module (or a diagnostic request acquisition module). Referring to FIG. 58, 58B is a flowchart for describing an operation of a data reconstruction module. 58C is a flowchart for describing an operation of the first diagnostic assistance module. 58D is a flowchart for describing an operation of the second diagnostic assistance module. 58E is a flowchart for explaining an operation of a diagnostic assistance information output module. However, operations shown in 58A to 58E are not necessarily to be performed by the module described above. For example, operations described in connection with 58A through 58E may be performed in one module, such as a binocular diagnostic assistance module, a processor or controller of a diagnostic apparatus, and the like.
도 58을 참조하면, 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법은, 대상 안저 이미지를 획득하는 단계(S7001), 대상 안저 이미지를 재구성하는 단계(S7003), 재구성된 이미지에 기초하여 제1 신경망 모델을 통하여 제1 진단 보조 정보를 획득하는 단계(S7005), 재구성된 이미지에 기초하여 제2 신경망 모델을 통하여 제2 진단 보조 정보를 획득하는 단계(S7007) 및 제1 진단 보조 정보와 제2 진단 보조 정보에 기초하여 진단 보조 정보를 출력하는 단계(S7009)를 포함할 수 있다.Referring to FIG. 58, in the method for assisting diagnosis of a cardiovascular disease according to an embodiment of the present disclosure, acquiring a target fundus image (S7001), reconstructing a target fundus image (S7003), based on the reconstructed image Acquiring first diagnostic assistance information through the first neural network model (S7005), acquiring second diagnostic assistance information through the second neural network model based on the reconstructed image (S7007), and first diagnostic assistance information; The method may include outputting the diagnostic assistance information based on the second diagnostic assistance information (S7009).
대상 안저 이미지를 획득하는 단계(S7001)는 진단 요청 획득 모듈 또는 촬상부에 의해 수행될 수 있다. 예컨대, 대상 안저 이미지를 획득하는 단계(S7001)는 대상 안저 이미지 및 대상 안저 이미지에 대한 진단 보조 정보를 요청하는 진단 요청을 획득하는 것을 포함할 수 있다. 또 예컨대, 대상 안저 이미지를 획득하는 단계(S7001)는 촬상부를 통해 대상 안저 이미지를 획득하는 것을 포함할 수 있다. 또는, 대상 안저 이미지를 획득하는 것은 진단 요청을 획득하는 것에 응답하여 대상 안저 이미지를 획득하는 것을 포함할 수 있다.Acquiring the target fundus image (S7001) may be performed by the diagnostic request obtaining module or the imaging unit. For example, the obtaining of the target fundus image (S7001) may include obtaining a diagnosis request for requesting the target fundus image and the diagnosis assistance information about the target fundus image. In addition, for example, acquiring the target fundus image (S7001) may include acquiring the target fundus image through the imaging unit. Alternatively, acquiring the subject fundus image may include acquiring the subject fundus image in response to acquiring the diagnostic request.
대상 안저 이미지를 재구성하는 단계(S7003)는 데이터 재구성 모듈, 제어부 또는 프로세서에 의해 수행될 수 있다. 대상 안저 이미지의 재구성 또는 전처리는 전술한 것과 유사하게 적용될 수 있다. Reconstructing the target fundus image (S7003) may be performed by a data reconstruction module, a controller, or a processor. Reconstruction or preprocessing of the subject fundus image may be applied similarly to the foregoing.
대상 안저 이미지는 획득할 진단 보조 정보에 따라 달리 재구성될 수 있다. 다시 말해, 병렬적으로 동작하는 복수의 진단부(또는 진단 모듈)는 같은 대상 안저 이미지를 달리 재구성하여 마련된 복수의 재구성 이미지를 각각 이용하여 진단 보조 정보를 획득할 수 있다. 구체적인 예로, 진단 보조 방법이 대상 안저 이미지에 기초하여 제1 신경망 모델을 이용하여 관상동맥 질환과 관련된 제1 진단 보조 정보를 획득하고, 제2 신경망 모델을 이용하여 안질환과 관련된 제2 진단 보조 정보를 획득하는 것을 포함하는 경우, 대상 안저 이미지를 재구성하는 단계는, 대상 안저 이미지를 혈관이 강조되도록 재구성한 제1 재구성 안저 이미지 및 대상 안저 이미지의 시신경유두가 강조되도록 재구성한 제2 재구성 안저 이미지를 획득하는 것을 포함할 수 있다. The target fundus image may be reconstructed differently according to the diagnostic assistance information to be obtained. In other words, a plurality of diagnostic units (or diagnostic modules) operating in parallel may obtain diagnostic assistance information using a plurality of reconstructed images prepared by differently reconstructing the same target fundus image. As a specific example, the diagnostic assistance method obtains first diagnostic assistance information related to coronary artery disease using a first neural network model based on a target fundus image, and second diagnostic assistance information related to eye disease using a second neural network model. Reconstructing the subject fundus image may include obtaining a first reconstructed fundus image reconstructing the target fundus image so that blood vessels are highlighted and a second reconstructed fundus image reconstructing the optic nerve papilla of the target fundus image to be highlighted. May include acquiring.
도 58에서는 대상 안저 이미지를 재구성한 후 재구성된 이미지에 기초하여 제1 및/또는 제2 진단 보조 정보가 획득되는 경우를 기준으로 설명하였으나, 이는 예시일 뿐이며, 재구성 단계는 생략될 수 있다.In FIG. 58, the first and / or second diagnostic assistance information is obtained based on the reconstructed image after reconstructing the target fundus image. However, this is only an example, and the reconstruction step may be omitted.
제1 신경망 모델을 통하여 제1 진단 보조 정보를 획득하는 단계(S7005)는 제어부 또는 프로세서에 의해 수행될 수 있다. 제2 신경망 모델을 통하여 제2 진단 보조 정보를 획득하는 단계(S7007)는 제어부 또는 프로세서에 의해 수행될 수 있다. 제1 진단 보조 정보를 획득하는 단계 (S7005) 및 제2 진단 보조 정보를 획득하는 단계(S7007)는 동일한 프로세서에서 수행되거나 구분되는 프로세서에서 수행될 수 있다. 제1 진단 보조 정보를 획득하는 단계 및 제2 진단 보조 정보를 획득하는 단계는 동시에 또는 순차적으로 수행될 수 있다. Acquiring the first diagnostic assistance information through the first neural network model (S7005) may be performed by a controller or a processor. Acquiring the second diagnostic assistance information through the second neural network model (S7007) may be performed by a controller or a processor. Acquiring the first diagnostic assistance information (S7005) and acquiring the second diagnostic assistance information (S7007) may be performed in the same processor or in a separate processor. Acquiring the first diagnostic assistance information and acquiring the second diagnostic assistance information may be performed simultaneously or sequentially.
예를 들어, 제1 신경망 모델을 통하여 제1 진단 보조 정보를 획득하는 것은 제1 심혈관 질병에 대한 제1 타입 정보를 포함하는 제1 진단 보조 정보를 획득하는 것을 포함하고, 제2 신경망 모델을 통하여 제2 진단 보조 정보를 획득하는 것은 제1 심혈관 질병에 대한 제2 타입 정보를 포함하는 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다. For example, acquiring the first diagnostic assistance information through the first neural network model includes acquiring first diagnostic assistance information including first type information about the first cardiovascular disease, and through the second neural network model. Acquiring the second diagnostic assistance information may include acquiring second diagnostic assistance information including second type information for the first cardiovascular disease.
구체적인 예로, 제1 신경망 모델을 통하여 제1 진단 보조 정보를 획득하는 것은 관상동맥 질환의 진단에 이용되는 칼슘 점수를 나타내는 점수 정보를 획득하는 것을 포함하고, 제2 신경망 모델을 통하여 제2 진단 보조 정보를 획득하는 것은 관상동맥 질환의 위험도를 나타내는 등급 정보를 획득하는 것을 포함할 수 있다. As a specific example, acquiring the first diagnostic assistance information through the first neural network model includes acquiring score information indicating a calcium score used for diagnosing coronary artery disease, and obtaining second diagnostic assistance information through the second neural network model. Acquiring may include acquiring grade information indicating a risk of coronary artery disease.
다른 예를 들어, 제1 신경망 모델을 통하여 제1 진단 보조 정보를 획득하는 것은 제1 심혈관 질병에 대한 제1 진단 보조 정보를 획득하는 것을 포함하고, 제2 신경망 모델을 통하여 제2 진단 보조 정보를 획득하는 것은 제2 심혈관 질병(또는 비-심혈관 질환)에 대한 제2 진단 보조 정보를 획득하는 것을 포함할 수 있다.In another example, acquiring the first diagnostic assistance information through the first neural network model includes acquiring the first diagnostic assistance information for the first cardiovascular disease, and obtaining the second diagnostic assistance information through the second neural network model. Acquiring may include acquiring second diagnostic assistance information for a second cardiovascular disease (or non-cardiovascular disease).
각각의 신경망 모델을 이용한 진단 보조 정보의 획득은 전술한 신경망 모델을 이용한 심혈관 질병의 진단 보조 항목에서 설명한 것과 유사하게 수행될 수 있다. Acquisition of the diagnostic assistance information using each neural network model may be performed similarly to that described in the diagnosis assistance item of the cardiovascular disease using the neural network model described above.
진단 보조 정보를 출력하는 단계(S7009)는 제어부 또는 프로세서에 의해 수행될 수 있다. 진단 보조 정보의 출력에 대하여는 특별한 언급이 없는 한, 전술한 진단 보조 정보의 출력 항목과 유사하게 적용될 수 있다.The outputting of the diagnostic assistance information (S7009) may be performed by a controller or a processor. The output of the diagnostic assistance information may be similarly applied to the output items of the above-described diagnostic assistance information, unless otherwise specified.
진단 보조 정보를 출력하는 단계(S7009)는 제1 진단 보조 정보 및/또는 제2 진단 보조 정보를 출력하는 것을 포함할 수 있다. 진단 보조 정보를 출력하는 단계는 제1 진단 보조 정보 및 제2 진단 보조 정보에 기초하여 생성된 최종 진단 보조 정보를 출력하는 것을 포함할 수 있다. 또는, 진단 보조 정보를 출력하는 단계(S7009)는 제1 진단 보조 정보 및 제2 진단 보조 정보 중 선택된 정보를 출력하는 것을 포함할 수 있다.The outputting of the diagnostic assistance information (S7009) may include outputting the first diagnostic assistance information and / or the second diagnostic assistance information. The outputting of the diagnostic assistance information may include outputting final diagnostic assistance information generated based on the first diagnostic assistance information and the second diagnostic assistance information. Alternatively, outputting the diagnostic assistance information (S7009) may include outputting selected information from the first diagnostic assistance information and the second diagnostic assistance information.
진단 보조 정보를 출력하는 단계와 관련하여, 이하에서 보다 자세히 설명한다.Regarding the step of outputting the diagnostic assistance information, it will be described in more detail below.
2.4.4 복수의 진단 보조 정보의 출력2.4.4 Output of multiple diagnostic assistance information
본 발명의 일 실시예에 의하면, 병렬적으로 구동되는 복수의 신경망 모델을 통하여 획득된 복수의 진단 보조 정보는 출력될 수 있다. 이하에서는, 전술한 예에서와 같이 제1 신경망 모델을 이용하여 제1 진단 보조 정보가 획득되고, 제2 신경망 모델을 이용하여 제2 진단 보조 정보가 획득 되는 경우를 기준으로, 진단 보조 정보의 출력에 대하여 설명한다.According to an embodiment of the present invention, a plurality of diagnostic assistance information obtained through a plurality of neural network models driven in parallel may be output. Hereinafter, based on the case where the first diagnostic assistance information is obtained using the first neural network model and the second diagnostic assistance information is obtained using the second neural network model, as in the above-described example, the output of the diagnostic assistance information is output. It demonstrates.
본 발명의 일 실시예에 따르면, 제1 진단 보조 정보 및/또는 제2 진단 보조 정보에 기초하여 출력 정보가 결정될 수 있다. 출력 정보는 사용자에게 제공되거나, 외부 장치로 전달될 수 있다. 출력 정보는 클라이언트 장치, 진단 장치 또는 모바일 장치를 통하여 사용자에게 제공될 수 있다. 출력 정보는 사용자 인터페이스를 통하여 사용자에게 제공될 수 있다. 출력 정보는 시각 및/또는 청각 데이터를 통하여 사용자에게 제공될 수 있다. 출력 정보는 유선 또는 무선 통신을 수행하는 통신부 또는 통신 인터페이스를 통하여 외부 장치로 전달될 수 있다. 출력 정보는 서버 장치, 클라이언트 장치 또는 모바일 장치로 전달될 수 있다. According to an embodiment of the present invention, the output information may be determined based on the first diagnostic assistance information and / or the second diagnostic assistance information. The output information may be provided to the user or transferred to an external device. The output information may be provided to the user via a client device, diagnostic device or mobile device. The output information may be provided to the user through the user interface. The output information may be provided to the user via visual and / or auditory data. The output information may be transmitted to an external device through a communication unit or a communication interface that performs wired or wireless communication. The output information can be delivered to the server device, client device or mobile device.
출력되는 진단 보조 정보는, 제1 신경망 모델에 의해 획득되는 제1 진단 보조 정보 및 제2 신경망 모델에 의해 획득되는 제2 진단 보조 정보를 포함할 수 있다. The output diagnostic assistance information may include first diagnostic assistance information obtained by the first neural network model and second diagnostic assistance information obtained by the second neural network model.
예컨대, 출력되는 진단 보조 정보는, 제1 신경망 모델에 의해 획득되는 관상동맥질환에 대한 점수 정보 및 제2 신경망 모델에 의해 획득되는 관상동맥질환에 대한 위험 등급 정보일 수 있다. 또 예컨대, 출력되는 진단 보조 정보는 제1 신경망 모델에 의해 획득되는 관상동맥질환에 대한 점수 정보 및 제2 신경망 모델에 의해 획득되는 뇌졸중(또는 녹내장 등의 안질환)에 대한 위험 등급 정보일 수 있다.For example, the output of the diagnostic assistance information may be score information on coronary artery disease obtained by the first neural network model and risk grade information on coronary artery disease obtained by the second neural network model. In addition, for example, the output of the diagnostic assistance information may be score information on coronary artery disease acquired by the first neural network model and risk grade information on stroke (or ocular disease such as glaucoma) obtained by the second neural network model. .
출력되는 진단 보조 정보는, 제1 신경망 모델에 의해 획득되는 제1 진단 보조 정보 및 제2 신경망 모델에 의해 획득되는 제2 진단 보조 정보로부터 선택된 정보일 수 있다.The output diagnostic assistance information may be information selected from first diagnostic assistance information obtained by the first neural network model and second diagnostic assistance information obtained by the second neural network model.
본 발명의 일 실시예에 의하면, 복수의 신경망 모델에 의해 획득된 복수의 진단 보조 정보 중 선택된 진단 보조 정보가 출력될 수 있다. 예컨대, 출력되는 진단 보조 정보는 제1 진단 보조 정보 및 제2 진단 보조 정보 중 선택된 진단 보조 정보일 수 있다. 출력되는 진단 보조 정보는 출력되는 진단 보조 정보는 복수의 진단 보조 정보 중, 정확도 또는 위험도에 기초하여 선택된 진단 보조 정보일 수 있다.According to an embodiment of the present invention, the diagnostic assistance information selected from the plurality of diagnostic assistance information obtained by the plurality of neural network models may be output. For example, the output diagnostic assistance information may be selected from among the first diagnostic assistance information and the second diagnostic assistance information. The output of the diagnostic assistance information may be the diagnostic assistance information that is selected based on accuracy or risk among the plurality of diagnostic assistance information.
경우에 따라, 제1 및/또는 제2 신경망 모델은 지속적으로 학습 및 갱신될 수 있다. 제1 및/또는 제2 신경망 모델이 학습됨에 따라, 출력되는 정보가 변경될 수 있다. 다시 말해, 제1 및/또는 제2 신경망 모델이 갱신됨에 따라, 각 신경망 모델에 투입된 학습데이터의 수 또는 각 신경망 모델의 정확도가 변경될 수 있으며, 따라서 출력되는 정보의 형태도 변경될 수 있다.In some cases, the first and / or second neural network model may be continuously learned and updated. As the first and / or second neural network models are trained, the output information may be changed. In other words, as the first and / or second neural network models are updated, the number of training data input to each neural network model or the accuracy of each neural network model may change, and thus the type of information to be output may also change.
예를 들어, 제1 대상 안저 이미지에 기초하여 획득된 제1 진단 보조 정보 및 제2 진단 보조 정보에 기초하여 출력된 출력 정보는 제1 진단 보조 정보에 포함된 제1 타입 정보(예컨대, 등급 정보)이고, 제1 타입 정보 획득 이후에 제2 대상 안저 이미지에 기초하여 획득된 제1 진단 보조 정보 및 제2 진단 보조 정보에 기초하여 출력된 출력 정보는 제2 진단 보조 정보에 포함된 제2 타입 정보(예컨대, 점수 정보)일 수 있다. For example, the output information output based on the first diagnostic assistance information and the second diagnostic assistance information acquired based on the first target fundus image may include first type information (eg, rating information) included in the first diagnostic assistance information. ) And output information based on the first diagnostic assistance information and the second diagnostic assistance information acquired based on the second target fundus image after obtaining the first type information is a second type included in the second diagnostic assistance information. Information (eg, score information).
경우에 따라, 제1 진단 보조 정보 및 제2 진단 보조 정보가 나타내는 정보가 논리적으로 불합치하는 경우가 있을 수 있다. 이때, 출력되는 진단 보조 정보는 제1 진단 보조 정보 및 제2 진단 보조 정보 중 선택된 정보일 수 있다. In some cases, the information indicated by the first diagnostic assistance information and the second diagnostic assistance information may be logically inconsistent. In this case, the output diagnostic assistance information may be selected information from the first diagnostic assistance information and the second diagnostic assistance information.
일 예로, 제1 진단 보조 정보가 제1 심혈관 질병에 대한 제1 타입 정보이고, 제2 진단 보조 정보가 제1 심혈관 질병에 대한 제2 타입 정보인 경우, 제1 타입 정보와 제2 타입 정보가 나타내는 위험도가 상이할 수 있다. 이때, 출력되는 진단 보조 정보는 미리 정해진 우선 순위에 따른 타입의 정보이거나, 미리 정해진 기준에 따라 결정된 타입의 정보일 수 있다.For example, when the first diagnostic assistance information is the first type information about the first cardiovascular disease and the second diagnostic assistance information is the second type information about the first cardiovascular disease, the first type information and the second type information are The risks presented may be different. In this case, the output diagnostic assistance information may be information of a type according to a predetermined priority or information of a type determined according to a predetermined criterion.
출력 되는 진단 보조 정보는 우선 순위에 따라 정해질 수 있다. 우선 순위는 정보의 타입에 대하여 정해질 수 있다. 일 예로, 우선 순위는 질병 유무 정보가 등급 정보보다 우선하고, 등급 정보 점수 정보보다 우선하는 것으로 정해질 수 있다. 우선 순위는 사용자에 의해 지정될 수 있다. 우선 순위는 신경망 모델의 형태 또는 정확도에 따라 미리 정해질 수 있다.The output of the diagnostic assistance information may be determined according to the priority. The priority may be determined for the type of information. For example, the priority may be determined that disease status information has priority over grade information and grade information score information. The priority may be specified by the user. The priority may be predetermined according to the shape or accuracy of the neural network model.
일 실시예에 따르면, 제1 진단 보조 정보와 제2 진단 보조 정보가 매칭되는 경우, 출력되는 진단 보조 정보는 제1 진단 보조 정보 및 제2 진단 보조 정보를 포함하고, 제1 진단 보조 정보와 제2 진단 보조 정보가 매칭되지 않는 경우, 출력되는 진단 보조 정보는 제1 진단 보조 정보와 제2 진단 보조 정보 중 우선 순위를 가지는 정보를 포함할 수 있다. According to an embodiment of the present disclosure, when the first diagnostic assistant information and the second diagnostic assistant information match, the output diagnostic assistant information includes the first diagnostic assistant information and the second diagnostic assistant information, When the diagnosis assistance information does not match, the output diagnosis assistance information may include information having a priority among the first diagnosis assistance information and the second diagnosis assistance information.
출력 되는 진단 보조 정보는 제1 타입 정보와 제2 타입 정보 중 보다 정확도가 높은 정보일 수 있다. 다시 말해, 상대적으로 정확도가 높은 신경망 모델로부터 획득된 정보에 출력 우선 순위가 부여될 수 있다.The output diagnostic assistance information may be information having a higher accuracy than the first type information and the second type information. In other words, output priority may be given to information obtained from a relatively accurate neural network model.
출력 되는 진단 보조 정보는 제1 타입 정보와 제2 타입 정보 중 보다 위험도가 높은 상태를 나타내는 정보일 수 있다. 다시 말해, 상대적으로 위험도가 높은 정보에 출력 우선 순위가 부여될 수 있다. The output diagnostic assistance information may be information indicating a higher risk state among the first type information and the second type information. In other words, output priority may be given to relatively high risk information.
예컨대, 제1 타입 정보는 관상동맥 질환에 대한 위험도를 나타내는 등급 정보이고 제2타입 정보는 관상동맥 질환의 진단을 위한 칼슘 점수를 나타내는 점수 정보인 경우, 점수 정보는 환자가 경도 관상동맥질환자에 해당함을 나타내는 값, 예컨대, 8을 지시하고, 등급 정보는 환자가 중등도 관상동맥질환자임을 나타내는 C등급 정보인 경우, 출력되는 진단 보조 정보는 C등급 정보로 결정될 수 있다.For example, when the first type information is grade information indicating a risk for coronary artery disease and the second type information is score information indicating a calcium score for diagnosing coronary artery disease, the score information corresponds to a patient with mild coronary artery disease. If a value indicating, for example, 8 is indicated, and the grade information is grade C information indicating that the patient is a moderate coronary artery disease patient, the output of the diagnostic assistance information may be determined as grade C information.
우선순위를 가지는 제1 진단 보조 정보와 차순위에 해당하는 제2 진단 보조 정보가 함께 제공될 수도 있다. 이때, 사용자에게 우선순위에 대하여 고지하는 안내가 함께 제공될 수도 있다.The first diagnostic assistance information having priority and the second diagnostic assistance information corresponding to the next priority may be provided together. In this case, the user may be provided with a guide for notifying the priority.
제1 진단 보조 정보 및 제2 진단 보조 정보가 나타내는 정보가 논리적으로 불합치하는 경우, 제2 및/또는 제2 진단 보조 정보는 상호 의미하는 바가 합치되도록 보정될 수 있다. 다시 말해, 출력되는 진단 보조 정보는 제1 진단 보조 정보 및 보정된 제2 진단 보조 정보를 포함할 수 있다. When the information indicated by the first diagnostic assistant information and the second diagnostic assistant information is logically inconsistent, the second and / or second diagnostic assistant information may be corrected to coincide with each other. In other words, the output diagnosis assistance information may include first diagnosis assistance information and corrected second diagnosis assistance information.
이때, 미리 정해진 우선순위에 따라 결정된 기준 정보에 맞추어 다른 정보가 보정될 수 있다. 예컨대, 등급 정보가 점수 정보에 대하여 우선순위를 가지고, 획득된 제1 진단 보조 정보에 따른 등급 정보와 제2 진단 보조 정보에 따른 점수 정보가 매칭되지 않는 경우, 점수 정보는 등급 정보를 기준 정보로 하여 보정될 수 있다.In this case, other information may be corrected according to reference information determined according to a predetermined priority. For example, when the grade information has priority over the score information and the grade information according to the obtained first diagnostic assistance information does not match the score information according to the second diagnostic assistance information, the score information is based on the grade information as reference information. Can be corrected.
다시 말해, 제1 진단 보조 정보와 제2 진단 보조 정보가 매칭되는 경우, 출력되는 진단 보조 정보는 제1 진단 보조 정보 및 제2 진단 보조 정보를 포함하고, 제1 진단 보조 정보와 제2 진단 보조 정보가 매칭되지 않는 경우, 출력되는 진단 보조 정보는 기준 정보로 결정된 제1 진단 보조 정보와 제1 진단 보조 정보에 맞추어 보정된 제2 진단 보조 정보를 포함할 수 있다.In other words, when the first diagnostic assistant information and the second diagnostic assistant information match, the output diagnostic assistant information includes the first diagnostic assistant information and the second diagnostic assistant information, and the first diagnostic assistant information and the second diagnostic assistant information. When the information does not match, the output diagnostic assistance information may include first diagnostic assistance information determined as reference information and second diagnostic assistance information corrected according to the first diagnostic assistance information.
보정되는 정보는 기준 정보와 매칭되도록 보정될 수 있다. 예를 들어, 기준 정보가 등급 정보로서 B등급 정보인 경우, 점수 정보는 등급 정보와 매칭되도록 1 내지 10의 수치 값을 가지도록 보정될 수 있다. 출력되는 진단 보조 정보는 B등급 정보 및 B등급에 매칭되도록 10으로 보정된 값을 가지는 점수 정보를 포함할 수 있다.The corrected information may be corrected to match the reference information. For example, when the reference information is grade B information as grade information, the score information may be corrected to have a numerical value of 1 to 10 to match the grade information. The output diagnosis assistance information may include class B information and score information having a value corrected to 10 to match the class B.
보정되는 정보는 기준 정보와 인접하도록 보정될 수 있다. 예를 들어, 기준 정보가 등급 정보로서 B 등급 정보이고 획득된 점수 정보가 14인 경우, 출력되는 진단 보조 정보는 B등급 정보 및 B등급에 인접하도록 11로 보정된 값을 가지는 점수 정보를 포함할 수 있다.The corrected information may be corrected to be adjacent to the reference information. For example, when the reference information is grade B information as grade information and the obtained score information is 14, the output of the diagnostic assistant information includes grade B information and score information having a value corrected to 11 to be adjacent to the grade B. Can be.
기준 정보와 함께 보정된 정보가 출력되는 경우, 사용자에게 기준 정보 및 보정된 정보를 각각 고지하기 위한 표시 정보가 함께 출력될 수도 있다.When the corrected information is output together with the reference information, display information for notifying the reference information and the corrected information to the user may be output together.
출력되는 진단 보조 정보는, 제1 신경망 모델에 의해 획득되는 제1 진단 보조 정보 및 제2 신경망 모델에 의해 획득되는 제2 진단 보조 정보에 기초하여 결정될 수 있다. 출력되는 진단 보조 정보는 제1 진단 보조 정보 및/또는 제2 진단 보조 정보를 고려하여 결정되는 2차 정보를 포함할 수 있다.The output diagnostic assistance information may be determined based on the first diagnostic assistance information obtained by the first neural network model and the second diagnostic assistance information obtained by the second neural network model. The output diagnosis assistance information may include secondary information determined in consideration of the first diagnosis assistance information and / or the second diagnosis assistance information.
예컨대, 제1 진단 보조 정보가 제1 심혈관 질병의 진단에 이용되는 제1 파라미터의 값을 나타내는 점수 정보이고, 제2 진단 보조 정보가 제1 심혈관 질병에 대한 제2 파라미터를 나타내는 등급 정보인 경우에, 출력되는 진단 보조 정보는 제1 진단 보조 정보 및 제2 진단 보조 정보에 기초하여 결정된 환자의 제1 심혈관 질병에 대한 위험도 정보를 포함할 수 있다. For example, when the first diagnostic assistance information is score information indicating the value of the first parameter used for the diagnosis of the first cardiovascular disease, and the second diagnostic assistance information is grade information indicating the second parameter for the first cardiovascular disease. The output of the diagnosis assistance information may include risk information on the first cardiovascular disease of the patient determined based on the first diagnosis assistance information and the second diagnosis assistance information.
또 예컨대, 제1 진단 보조 정보가 제1 심혈관 질병의 진단에 이용되는 제1 점수 정보이고, 제2 진단 보조 정보가 제1 심혈관 질병에 대한 제2 점수 정보인 경우에, 출력되는 진단 보조 정보는, 제1 점수 정보 및 제2 점수 정보를 함께 고려하여 얻어진 제3 점수 정보일 수 있다. 예컨대, 제1 점수 정보 및/또는 제2 점수 정보는 프래밍험 스코어 계산에 이용되는 인자이고 제 3 점수 정보는 프래밍험 스코어 값을 나타낼 수 있다.For example, when the first diagnostic assistance information is the first score information used for the diagnosis of the first cardiovascular disease and the second diagnostic assistance information is the second score information for the first cardiovascular disease, the diagnostic assistance information outputted is The third score information may be obtained by considering the first score information and the second score information. For example, the first score information and / or the second score information may be a factor used for calculating the framingham score and the third score information may indicate the framingham score value.
한편, 위에서는 병렬적으로 구동되는 복수의 신경망 모델이 제1 신경망 모델 및 제2 신경망 모델을 포함하는 경우를 기준으로 설명하였으나, 본 발명이 이에 한정되는 것은 아니며, 보다 많은 수의 신경망 모델을 병렬 학습하고, 학습된 신경망 모델들을 이용하여 다수의 진단 보조 정보를 획득하고, 획득된 진단 보조 정보를 출력하는 것도 가능하다.On the other hand, while the above described a case where a plurality of neural network models driven in parallel includes a first neural network model and a second neural network model, the present invention is not limited to this, a larger number of neural network models in parallel It is also possible to learn, obtain a plurality of diagnostic assistance information using the learned neural network models, and output the obtained diagnostic assistance information.
일 예로, 진단 보조 방법은, 제1 신경망 모델을 통하여 제1 진단 보조 정보를 획득하고, 제2 신경망 모델을 통하여 제2 진단 보조 정보를 획득하고, 제3 신경망 모델을 통하여 제3 진단 보조 정보를 획득하는 것을 포함할 수 있다.For example, the diagnostic assistance method may include obtaining first diagnostic assistance information through a first neural network model, obtaining second diagnostic assistance information through a second neural network model, and obtaining third diagnostic assistance information through a third neural network model. May include acquiring.
이때, 출력되는 진단 보조 정보는 제1 내지 제3 진단 보조 정보를 포함하거나, 제1 내지 제3 진단 보조 정보 중 선택된 적어도 하나의 진단 보조 정보를 포함하거나, 제1 내지 제3 진단 보조 정보에 기초하여 결정된 출력 정보일 수 있다. In this case, the output diagnostic assistance information includes first to third diagnostic assistance information, includes at least one diagnostic assistance information selected from the first to third diagnostic assistance information, or is based on the first to third diagnostic assistance information. The output information may be determined.
예컨대, 제1 진단 보조 정보는 제1 심혈관 질병과 관련된 제1 타입 정보이고, 제2 진단 보조 정보는 제1 심혈관 질병과 관련된 제2 타입 정보이고, 제3 진단 보조 정보는 제2 심혈관 질병과 관련된 진단 보조 정보인 경우, 출력되는 진단 보조 정보는 제1 진단 보조 정보 또는 제2 진단 보조 정보 중 선택된 어느 하나 및 제3 진단 보조 정보를 포함할 수 있다. For example, the first diagnostic assistance information is first type information related to the first cardiovascular disease, the second diagnostic assistance information is second type information related to the first cardiovascular disease, and the third diagnostic assistance information is associated with the second cardiovascular disease. In the case of the diagnostic assistance information, the output diagnostic assistance information may include any one selected from the first diagnostic assistance information or the second diagnostic assistance information and the third diagnostic assistance information.
2.5 양안 이미지의 이용2.5 Use of binocular image
2.5.1 배경2.5.1 background
본 발명의 일 실시예에 따르면, 진단 보조에 양안 이미지가 이용될 수 있다. 심혈관 질병에 대하여 진단을 보조하는 경우, 환자의 좌안 및 우안의 이미지를 획득하고 각 이미지에 기초한 진단 보조 정보를 함께 획득함으로써, 정확하고 안정적인 진단 보조가 가능할 수 있다. According to one embodiment of the invention, binocular images may be used for diagnostic assistance. When assisting diagnosis for cardiovascular disease, accurate and stable diagnosis assistance may be possible by acquiring images of the left and right eyes of the patient and acquiring the diagnosis assistance information based on each image.
다시 말해, 안저 이미지에 기초하여 심혈관계 이상을 검출하고자 하는 경우에, 좌안 안저 이미지 및 우안 안저 이미지 중 하나의 안저 이미지에서만 이상 징후가 발견되거나, 좌안 안저 이미지 및 우안 안저 이미지가 각각 나타내는 이상 정도가 상이한 경우가 있을 수 있다. 이러한 경우, 양안 안저 이미지 중, 이상 징후가 발견되지 않은 안저 이미지 만을 고려하여 진단 보조 정보를 획득하거나 상대적으로 낮은 위험도를 나타내는 안저 이미지만을 고려하여 진단 보조 정보를 획득하는 경우, 환자에게 적절한 조치가 취해지지 않을 수 있다. In other words, when cardiovascular abnormalities are to be detected based on the fundus image, abnormalities are found only in one fundus image of the left eye fundus image and the right eye fundus image, or the degree of abnormality represented by the left eye fundus image and the right eye fundus image, respectively. There may be different cases. In such a case, when the patient obtains the diagnosis aid information considering only the fundus image of which no abnormal signs are found, or when the diagnosis aid information is obtained only by considering the fundus image having a relatively low risk, appropriate measures are taken by the patient. You may not lose.
위와 같은 문제는, 안저 이미지를 이용하여 질환 진단을 보조하고자 하는 다양한 경우에 유사하게 발생할 수 있다. 이하에서는 심혈관 질병 진단을 보조하기 위하여 신경망 모델을 이용하는 경우를 기준으로 설명하나, 본 명세서에서 설명하는 발명의 내용이 이에 한정되는 것은 아니며, 안저 이미지를 이용하여 진단을 보조하는 다양한 경우에 유사하게 적용될 수 있다. The above problem may similarly occur in various cases where the fundus image is used to assist in diagnosing a disease. In the following description, a neural network model is used to assist in diagnosing cardiovascular disease. However, the present invention is not limited thereto, and may be similarly applied to various cases of assisting diagnosis using a fundus image. Can be.
이하에서는, 상술한 문제를 해결하기 위하여, 양안 안저 이미지를 고려하여 신경망 모델을 학습하고 양안 안저 이미지를 고려하여 진단 보조 정보를 획득하는 방법 등에 대하여 몇몇 실시예를 들어 설명한다.Hereinafter, in order to solve the above-described problem, a method of learning a neural network model in consideration of the binocular fundus image and obtaining diagnostic assistance information in consideration of the binocular fundus image will be described with reference to some embodiments.
2.5.2 양안 진단 보조 시스템2.5.2 Binocular diagnostic assistance system
본 발명의 일 실시예에 따르면, 양안 이미지를 함께 이용하여 심혈관 질병에 대한 진단을 보조하는 심혈관 질병에 진단 보조 시스템(이하, 양안 진단 보조 시스템)이 제공될 수 있다. 양안 진단 보조 시스템은 좌안 이미지 및 우안 이미지를 이용하여 신경망 모델을 학습하거나 좌안 이미지 및 우안 이미지를 이용하여 진단 보조 정보를 획득할 수 있다.According to an embodiment of the present invention, a diagnosis assistance system (hereinafter referred to as a binocular diagnosis assistance system) may be provided for a cardiovascular disease that assists diagnosis of a cardiovascular disease using a binocular image together. The binocular diagnosis assistance system may learn a neural network model using a left eye image and a right eye image, or obtain diagnostic assistance information using a left eye image and a right eye image.
양안 이미지를 이용하여 심혈관 질병에 대한 진단을 보조하는 양안 진단 보조 시스템은, 이하에서 특별한 설명이 없는 한, 도 1 내지 9, 42 및 43과 관련하여 전술한 것과 유사하게 구현될 수 있다. A binocular diagnostic assistance system that aids in the diagnosis of cardiovascular disease using binocular images can be implemented similar to that described above with respect to FIGS. 1-9, 42 and 43, unless otherwise specified below.
도 59는 본 발명의 일 실시예에 따른 진단 보조 시스템을 설명하기 위한 도면이다. 도 59를 참조하면, 본 발명의 일 실시예에 따른 진단 보조 시스템은 학습 장치(1002), 진단 장치(2002) 및 클라이언트 장치(3002)를 포함할 수 있다.59 is a diagram illustrating a diagnosis assistance system according to an embodiment of the present invention. Referring to FIG. 59, a diagnostic assistance system according to an embodiment of the present invention may include a
학습 장치(1002)는 양안 학습부(102)를 포함할 수 있다. 양안 학습부(102)는 양안 이미지를 획득하고 심혈관 질병 진단의 보조를 위한 신경망 모델을 학습할 수 있다. 양안 학습부(102)는 학습 장치(1001)의 제어부, 프로세서 또는 메모리에 마련될 수 있다. The
양안 학습부(102)는 좌안 안저 이미지 및 우안 안저 이미지를 포함하는 안저 이미지 학습 데이터를 포함하고, 안저 이미지에 기초하여 심혈관 질병 진단 보조 정보를 출력하는 신경망 모델을 학습할 수 있다. 양안 학습부(102)는 좌안 또는 우안으로 라벨링된 안저 이미지를 포함하는 안저 이미지 학습 데이터에 기초하여 환자의 심혈관 질병 진단 보조 정보를 출력하는 신경망 모델을 학습할 수 있다. 양안 학습부((102)는 좌안 또는 우안으로 라벨링되고 서로 매칭된 좌안 안저 이미지 및 우안 안저 안저 이미지를 포함하는 안저 이미지 학습 데이터에 기초하여 환자의 심혈관 질병 진단 보조 정보를 출력하는 신경망 모델을 학습할 수 있다. The
진단 장치(2002)는 양안 진단부(202)를 포함할 수 있다. 양안 진단부(201c)는 심혈관 질병 진단 보조 신경망 모델을 이용하여 환자의 심혈관 질병 진단을 위한 진단 보조 정보를 획득할 수 있다. 진단부(202)는 진단 장치(2002)의 제어부 또는 프로세서에 마련될 수 있다.The
양안 진단부(202)는 환자의 양안 안저 이미지를 획득하고, 환자의 심혈관 질병 진단 보조 정보를 획득할 수 있다. 양안 진단부(202)는 환자의 좌안 안저 이미지 및 우안 안저 이미지를 획득하고, 환자의 심혈관 질병 진단 보조 정보를 획득할 수 있다. 양안 진단부(202)는 환자의 좌안 및 우안 안저 이미지를 함께 고려하여 획득되는 양안 진단 보조 정보를 획득할 수도 있다. 양안 진단부(202)는 환자의 좌안 안저 이미지에 대응되는 좌안 진단 보조 정보 및 환자의 우안에 대응되는 우안 진단 보조 정보를 획득할 수 있다.The
양안 진단부(202)는 하나의 모델을 이용하여 좌안 진단 보조 정보 및 우안 진단 보조 정보를 획득할 수 있다. 양안 진단부(202)는 좌안 진단 보조 신경망 모델을 이용하여 좌안 진단 보조 정보를 획득하고, 우안 진단 보조 신경망 모델을 이용하여 우안 진단 보조 정보를 획득할 수 있다.The
클라이언트 장치(3002)는 촬상부(301) 및 출력부(303)를 포함할 수 있다. 클라이언트 장치(3002)는 본 명세서에서 전술한 것과 유사하게 동작할 수 있다. 클라이언트 장치(3002)는 대상 안저 이미지를 촬상하고, 촬상된 대상 안저 이미지를 진단 장치에 전송하고, 진단 장치로부터 대상 안저 이미지에 따른 진단 보조 정보를 획득할 수 있다. The
도 60은 본 발명의 일 실시예에 따른 진단 보조 시스템을 설명하기 위한 도면이다. 도 60을 참조하면, 본 발명의 일 실시예에 따른 진단 보조 시스템은 학습 장치(1003), 진단 장치(2003) 및 클라이언트 장치(3003)를 포함할 수 있다. 60 is a diagram for describing a diagnosis assistance system according to an embodiment of the present invention. Referring to FIG. 60, a diagnostic assistance system according to an embodiment of the present invention may include a
도 60을 참조하면, 학습 장치(1003)는 좌안 학습부(103a) 및 우안 학습부(103b)를 포함할 수 있다. 좌안 학습부(103a) 및 우안 학습부(103b)는 각각 좌안 또는 우안 안저 이미지를 포함하는 안저 이미지 학습 데이터를 획득하고, 진단 보조 정보를 출력하는 신경망 모델을 학습할 수 있다. 좌안 학습부(103a) 및 우안 학습부(103b)는 전술한 양안 학습부에 포함될 수도 있다. 좌안 학습부(103a) 및 우안 학습부(103b)는 학습 장치(1003)의 제어부, 프로세서 또는 메모리에 마련될 수 있다.Referring to FIG. 60, the
좌안 학습부(103a)는 좌안 이미지를 포함하는 안저 이미지 학습 데이터를 이용하여, 대상 좌안 안저 이미지에 따른 진단 보조 정보를 획득하는 좌안 진단 보조 신경망 모델을 학습할 수 있다. 우안 학습부(103b)는 우안 이미지를 포함하는 안저 이미지 학습 데이터를 이용하여, 대상 우안 안저 이미지에 따른 진단 보조 정보를 획득하는 우안 진단 보조 신경망 모델을 학습할 수 있다.The left eye learning unit 103a may learn a left eye diagnosis assisted neural network model for acquiring diagnosis aid information according to the target left eye fundus image by using the fundus image learning data including the left eye image. The right
좌안 진단 보조 신경망 모델 및 우안 진단 보조 신경망 모델의 초기 형태는 서로 다른 계층 구조로 마련될 수 있다. 또는, 좌안 진단 보조 신경망 모델 및 우안 진단 보조 신경망 모델의 초기 형태는 유사한 구조로 마련될 수 있다. 이때, 학습이 진행됨에 따라 각 신경망 모델을 구성하는 파라미터가 달라질 수 있다.The initial forms of the left eye diagnosis neural network model and the right eye diagnosis neural network model may be provided in different hierarchical structures. Alternatively, the initial forms of the left eye diagnosis neural network model and the right eye diagnosis neural network model may be provided in a similar structure. At this time, as learning progresses, parameters constituting each neural network model may vary.
도 60을 참조하면, 진단 장치(2003)는 좌안 진단부(203a) 및 우안 진단부(203b)를 포함할 수 있다. 좌안 진단부(203a) 및 우안 진단부(203b)는 각각 좌안 안저 이미지 및 우안 안저 이미지에 따른 진단 보조 정보를 신경망 모델을 이용하여 획득할 수 있다. 좌안 진단부(203a) 및 우안 진단부(203b)는 진단 장치(2003)의 제어부, 프로세서 또는 메모리에 마련될 수 있다.Referring to FIG. 60, the
좌안 진단부(203a)는 환자의 좌안 안저 이미지에 대응되는 좌안 진단 보조 정보를 획득할 수 있다. 좌안 진단부(203a)는 좌안 진단 보조 신경망 모델을 이용하여 좌안 진단 보조 정보를 획득할 수 있다.The left
우안 진단부(203b)는 환자의 우안 안저 이미지에 대응되는 우안 진단 보조 정보를 획득할 수 있다. 우안 진단부(203b)는 우안 진단 보조 신경망 모델을 이용하여 우안 진단 보조 정보를 획득할 수 있다.The right
클라이언트 장치(3003)는 본 명세서에서 전술한 것과 유사하게 동작할 수 있다. 촬상부(301)는 좌안 안저 이미지를 획득하고 좌안 진단부(203a)에 제공할 수 있다. 촬상부(301)는 우안 안저 이미지를 획득하고 우안 진단부(203b)에 제공할 수 있다. 출력부(303)는 좌안 진단부(203a) 로부터 좌안 진단 보조 정보를 획득하고 출력할 수 있다. 출력부(303)는 우안 진단부(203b)로부터 우안 진단 보조 정보를 획득하고 출력할 수 있다.
도 61은 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 방법을 설명하기 위한 도면이다. 도 61을 참조하면, 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 방법은, 대상 좌안 안저 이미지 및 대상 우안 안저 이미지를 획득하는 단계(S510), 좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보를 획득하는 단계(S530) 및 양안 심혈관 질병 진단 보조 정보를 출력하는 단계(S550)를 포함할 수 있다. 61 is a view for explaining a cardiovascular disease diagnosis method according to an embodiment of the present invention. Referring to FIG. 61, in the method for assisting cardiovascular disease diagnosis according to an embodiment of the present disclosure, the method may include obtaining a target left eye fundus image and a target right eye fundus image (S510), and providing left eye cardiovascular disease diagnosis assistant information and right eye cardiovascular disease diagnosis assistant. Acquiring the information (S530) and outputting the binocular cardiovascular disease diagnosis assistance information (S550).
대상 좌안 안저 이미지 및 대상 우안 안저 이미지를 획득하는 단계(S510)는 피검체의 대상 좌안 안저 이미지 및 대상 우안 안저 이미지를 획득하는 것을 포함할 수 있다.Acquiring a target left eye fundus image and a target right eye fundus image (S510) may include obtaining a target left eye fundus image and a target right eye fundus image of the subject.
좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보를 획득하는 단계(S530)는 안저 이미지에 기초하여 심혈관 질병 진단 보조 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델을 이용하여, 대상 좌안 안저 이미지에 따른 좌안 심혈관 질병 진단 보조 정보 및 대상 우안 안저 이미지에 따른 우안 심혈관 질병 진단 보조 정보를 획득하는 것을 포함할 수 있다.Acquiring the left eye cardiovascular disease assistance information and the right eye cardiovascular disease diagnosis assistance information (S530) by using the cardiovascular disease diagnosis assistance neural network model to obtain the cardiovascular disease diagnosis assistance information based on the fundus image, according to the target left eye fundus image And acquiring the right eye cardiovascular disease diagnosis assistance information according to the left eye cardiovascular disease diagnosis assistance information and the target right eye fundus image.
양안 심혈관 질병 진단 보조 정보를 출력하는 단계(S550)는 좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보를 고려하여 생성된 양안 심혈관 질병 진단 보조 정보를 출력하는 것을 포함할 수 있다.The step S550 of outputting binocular cardiovascular disease diagnosis assistance information may include outputting binocular cardiovascular disease diagnosis assistance information generated in consideration of left eye cardiovascular disease diagnosis assistance information and right eye cardiovascular disease diagnosis assistance information.
좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보는, 대상 심혈관 질병 진단에 이용되는 점수 정보, 대상 심혈관 질병의 위험도를 나타내는 복수의 등급 중 선택된 등급을 포함하는 등급 정보 및 피검체의 대상 심혈관 질병의 위험군 해당 여부를 나타내는 위험 정보 중 적어도 하나를 포함할 수 있다. The left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information may include score information used for diagnosing the target cardiovascular disease, grade information including a selected grade among a plurality of grades representing the risk of the target cardiovascular disease, and the target cardiovascular disease of the subject. It may include at least one of the risk information indicating whether the risk group of the.
좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보를 획득하는 단계(S530)는 좌안 안저 이미지에 기초하여 심혈관 질병 진단 보조 정보를 획득하는 좌안 심혈관 질병 진단 보조 신경망 모델을 이용하여 좌안 심혈관 질병 진단 보조 정보를 획득하고, 우안 안저 이미지에 기초하여 심혈관 질병 진단 보조 정보를 획득하는 우안 심혈관 질병 진단 보조 신경망 모델을 이용하여 우안 심혈관 질병 진단 보조 정보를 획득하는 것을 포함할 수 있다.Acquiring the left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information (S530) is to use the left eye cardiovascular disease diagnosis assistance neural network model to obtain the cardiovascular disease diagnosis assistance information based on the left eye fundus image assistance for diagnosing the left eye cardiovascular disease And acquiring the right eye cardiovascular disease diagnosis assistance information by using the right eye cardiovascular disease diagnosis assistance neural network model for obtaining the information and obtaining the cardiovascular disease diagnosis assistance information based on the right eye fundus image.
한편, 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법은, 전술한 방법에 더하여, 대상 좌안 안저 이미지 및 대상 우안 안저 이미지에 기초하여, 안질환 진단 보조 정보를 획득하는 안질환 진단 보조 신경망 모델을 이용하여, 대상 좌안 안저 이미지에 따른 좌안 안질환 진단 보조 정보 및 대상 우안 안저 이미지에 따른 우안 안질환 진단 보조 정보를 획득하는 단계 및/또는 좌안 안질환 진단 보조 정보 및 우안 안질환 진단 보조 정보를 출력하는 단계를 더 포함할 수 있다. Meanwhile, the method for assisting diagnosis of a cardiovascular disease according to an embodiment of the present invention, in addition to the above-described method, an eye disease diagnosis assisting neural network for acquiring eye disease diagnosis assistance information based on a target left eye fundus image and a target right eye fundus image. Acquiring left eye disease diagnosis assistance information according to the target left eye fundus image and right eye disease diagnosis assistance information according to the target right eye fundus image and / or left eye disease diagnosis assistance information and right eye disease diagnosis assistance information using the model It may further comprise the step of outputting.
도 62는 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 방법을 설명하기 위한 도면이다. 도 62를 참조하면, 본 발명의 일 실시예에 따른 양안 심혈관 질병 진단 보조 정보를 출력하는 단계(S550)는, 좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보가 매칭되는지 판단하는 단계(S551) 및 좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보의 매칭 여부에 따라 결정된 심혈관 질병 진단 보조 정보를 출력하는 단계(S553)를 포함할 수 있다.62 is a view for explaining a cardiovascular disease diagnosis method according to an embodiment of the present invention. Referring to FIG. 62, in operation S550 of outputting binocular cardiovascular disease diagnosis assistance information according to an embodiment of the present disclosure, determining whether the left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information match (S551). And outputting the cardiovascular disease diagnosis assistance information determined according to whether the left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information are matched (S553).
양안 심혈관 질병 진단 보조 정보를 출력하는 단계(S553)는, 좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보가 매칭되는 경우, 좌안 심혈관 질병 진단 보조 정보, 우안 심혈관 질병 진단 보조 정보 또는 좌안 심혈관 질병 진단 보조 정보와 우안 심혈관 질병 진단 보조 정보의 중간 정보로 결정된 양안 심혈관 질병 진단 보조 정보를 출력하는 것을 포함할 수 있다.The step of outputting the binocular cardiovascular disease diagnosis assistance information (S553) may include: when the left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information match, the left eye cardiovascular disease diagnosis assistance information, the right eye cardiovascular disease diagnosis assistance information, or the left eye cardiovascular disease And outputting binocular cardiovascular disease diagnosis assistance information determined as intermediate information between the diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information.
양안 심혈관 질병 진단 보조 정보를 출력하는 단계(S553)는, 좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보가 매칭되지 않는 경우, 좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보 중 대상 심혈관 질병에 대하여 상대적으로 높은 위험을 나타내는 것을 양안 심혈관 질병 진단 보조 정보로 결정하는 것을 더 포함할 수 있다.In operation S553, when the left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information do not match, the target cardiovascular system among the left eye cardiovascular disease diagnosis assistant information and the right eye cardiovascular disease diagnosis assistant information may be output. The method may further include determining as binocular cardiovascular disease diagnosis assistance information indicating a relatively high risk for the disease.
좌안 심혈관 질병 진단 보조 정보는 좌안 안저 이미지로부터 획득된 심장혈관 석회화 판단에 이용되는 좌안 관상동맥 칼슘 점수를 포함하고, 우안 심혈관 질병 진단 보조 정보는 우안 안저 이미지로부터 획득된 심장혈관 석회화 판단에 이용되는 우안 관상동맥 칼슘 점수를 포함할 수 있다.The left eye cardiovascular disease diagnosis assistance information includes the left eye coronary artery calcium score used for cardiovascular calcification determination obtained from the left eye fundus image, and the right eye cardiovascular disease diagnosis assistance information is the right eye used for the cardiovascular calcification judgment obtained from the right eye fundus image. Coronary artery calcium scores.
이때, 좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보가 매칭되는지 판단하는 단계(S551)는 좌안 관상동맥 칼슘 점수 및 우안 관상동맥 칼슘 점수의 차이가 임계값 이하인지 판단하는 것을 포함할 수 있다.In this case, the determining whether the left eye cardiovascular disease assistance information and the right eye cardiovascular disease diagnosis information match (S551) may include determining whether a difference between the left eye coronary artery calcium score and the right eye coronary artery calcium score is less than or equal to a threshold value. .
양안 심혈관 질병 진단 보조 정보를 출력하는 단계(S553)는, 좌안 관상동맥 칼슘 점수 및 우안 관상동맥 칼슘 점수의 차이가 임계값 이상인 경우, 좌안 관상동맥 칼슘 점수 및 우안 관상동맥 칼슘 점수 중 높은 값을 양안 심혈관 질병 진단 보조 정보로 결정하는 것을 포함할 수 있다.The step (S553) of outputting the binocular cardiovascular disease diagnosis assistance information may include a higher value of the left eye coronary calcium score and the right eye coronary calcium score when the difference between the left eye coronary calcium score and the right eye coronary calcium score is greater than or equal to the threshold. And determining with cardiovascular disease diagnosis assistance information.
양안 심혈관 질병 진단 보조 정보를 출력하는 단계(S553)는, 좌안 관상동맥 칼슘 점수 및 우안 관상동맥 칼슘 점수의 차이가 임계값 이상인 경우, 좌안 관상동맥 칼슘 점수 및 우안 관상동맥 칼슘 점수 중 높은 값을 포함하는 것을 양안 심혈관 질병 진단 보조 정보로 결정하고, 좌안 관상동맥 칼슘 점수 및 우안 관상동맥 칼슘 점수의 차이가 발생하였음을 고지하는 안내를 결정된 양안 심혈관 질병 진단 보조 정보와 함께 출력하는 것을 포함할 수 있다.The step of outputting the binocular cardiovascular disease diagnosis assistance information (S553) includes a higher value of the left eye coronary calcium score and the right eye coronary calcium score when the difference between the left eye coronary calcium score and the right eye coronary calcium score is greater than or equal to the threshold. It may include determining that the binocular cardiovascular disease diagnosis assistance information, and outputting the guidance that the difference between the left eye coronary artery calcium score and the right eye coronary artery calcium score occurred together with the determined binocular cardiovascular disease diagnosis assistance information.
양안 심혈관 질병 진단 보조 정보를 출력하는 단계(S553)는, 좌안 관상동맥 칼슘 점수 및 우안 관상동맥 칼슘 점수의 차이가 임계값 이상인 경우, 좌안 관상동맥 칼슘 점수 및 우안 관상동맥 칼슘 점수 중 상대적으로 높은 값을 포함하는 것을 양안 심혈관 질병 진단 보조 정보로 결정하고, 좌안 관상동맥 칼슘 점수 및 우안 관상동맥 칼슘 점수 중 상대적으로 높은 값을 포함하는 정보가 획득된 대상 안저 이미지를 사용자에게 고지하는 이상 안저 이미지 안내를 결정된 양안 심혈관 질병 진단 보조 정보와 함께 출력하는 것을 포함할 수 있다.The step of outputting binocular cardiovascular disease diagnosis assistance information (S553) is a relatively higher value of the left eye coronary calcium score and the right eye coronary calcium score when the difference between the left eye coronary calcium score and the right eye coronary calcium score is greater than or equal to the threshold. It is determined that the binocular cardiovascular disease diagnosis information, including, and the abnormal fundus image guide to inform the user of the target fundus image obtained the information including a relatively high value of the left eye coronary artery calcium score and right eye coronary artery calcium score And outputting the determined binocular cardiovascular disease diagnosis assistance information.
도 63은 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 장치(7000)를 설명하기 위한 도면이다. 도 63을 참조하면, 본 발명의 일 실시예에 따른 안저 이미지를 이용하여 대상 심혈관 질병의 진단을 보조하는 심혈관 질병 진단 장치 (7000)는, 안저 이미지 획득부(7100), 좌안 심혈관 질병 진단 보조 정보 획득부(7300), 우안 심혈관 질변 진단 보조 정보 획득부(7500) 및 양안 심혈관 질병 진단 보조 정보 출력부(7700)를 포함할 수 있다. 63 is a view for explaining a cardiovascular disease
안저 이미지 획득부(7100)는 피검체의 대상 좌안 안저 이미지 및 대상 우안 안저 이미지를 획득할 수 있다.The fundus
좌안 심혈관 질병 진단 보조 정보 획득부(7300)는 안저 이미지에 기초하여 심혈관 질병 진단 보조 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델을 이용하여, 대상 좌안 안저 이미지에 따른 좌안 심혈관 질병 진단 보조 정보를 획득할 수 있다.The left eye cardiovascular disease diagnosis assistance
우안 심혈관 질변 진단 보조 정보 획득부(7500)는 심혈관 질병 진단 보조 신경망 모델을 이용하여, 대상 우안 안저 이미지에 따른 우안 심혈관 질병 진단 보조 정보를 획득할 수 있다.The right eye cardiovascular diagnosis assistance
양안 심혈관 질병 진단 보조 정보 출력부(7700)는 좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보를 고려하여 생성된 양안 심혈관 질병 진단 보조 정보를 출력할 수 있다.The binocular cardiovascular disease diagnosis assistant
좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보는, 대상 심혈관 질병 진단에 이용되는 점수 정보, 대상 심혈관 질병의 위험도를 나타내는 복수의 등급 중 선택된 등급을 포함하는 등급 정보 및 피검체의 대상 심혈관 질병의 위험군 해당 여부를 나타내는 위험 정보 중 적어도 하나를 포함할 수 있다.The left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information may include score information used for diagnosing the target cardiovascular disease, grade information including a selected grade among a plurality of grades representing the risk of the target cardiovascular disease, and the target cardiovascular disease of the subject. It may include at least one of the risk information indicating whether the risk group of the.
좌안 심혈관 질병 진단 보조 정보 획득부(7300)는, 좌안 안저 이미지에 기초하여 심혈관 질병 진단 보조 정보를 획득하는 좌안 심혈관 질병 진단 보조 신경망 모델을 이용하여 좌안 심혈관 질병 진단 보조 정보를 획득할 수 있다.The left eye cardiovascular disease diagnosis assistance
우안 심혈관 질병 진단 보조 정보 획득부(7500)는, 우안 안저 이미지에 기초하여 심혈관 질병 진단 보조 정보를 획득하는 우안 심혈관 질병 진단 보조 신경망 모델을 이용하여 우안 심혈관 질병 진단 보조 정보를 획득할 수 있다.The right eye cardiovascular disease diagnosis assistance
좌안 심혈관 질병 진단 보조 신경망 모델은, 좌안을 촬상하여 얻어진 좌안 안저 이미지에 기초하여 좌안 심혈관 질병 진단 보조 정보를 출력하도록 마련될 수 있다. 우안 심혈관 질병 진단 보조 신경망 모델은, 우안을 촬상하여 얻어진 우안 안저 이미지에 기초하여 우안 심혈관 질병 진단 보조 정보를 출력하도록 마련될 수 있다. 좌안 심혈관 질병 진단 보조 신경망 모델 및 우안 심혈관 질병 진단 보조 신경망 모델을 구성하는 파라미터는 적어도 일부 상이할 수 있다.The left eye cardiovascular disease diagnosis assistance neural network model may be provided to output left eye cardiovascular disease diagnosis assistance information based on a left eye fundus image obtained by imaging the left eye. The right eye cardiovascular disease diagnosis assistance neural network model may be provided to output right eye cardiovascular disease diagnosis assistance information based on the right eye fundus image obtained by imaging the right eye. The parameters constituting the left eye cardiovascular disease diagnosis assistance neural network model and the right eye cardiovascular disease diagnosis assistance neural network model may be at least partially different.
심혈관 질병 진단 보조 장치(7000)는, 대상 좌안 안저 이미지 및 대상 우안 안저 이미지에 기초하여, 안질환 진단 보조 정보를 획득하는 안질환 진단 보조 신경망 모델을 이용하여, 대상 좌안 안저 이미지에 따른 좌안 안질환 진단 보조 정보 및 대상 우안 안저 이미지에 따른 우안 안질환 진단 보조 정보를 획득하는 안질환 진단 보조 정보 획득부를 더 포함할 수 있다.The cardiovascular disease
도 64는 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 장치(7000)를 설명하기 위한 도면이다. 도 64를 참조하면, 본 발명의 일 실시예에 따른 심혈관 질병 진단 보조 장치(7000)의 양안 심혈관 질병 진단 정보 출력부(7701)는, 양안 진단 보조 정보 매칭 여부 판단부(7711) 및 양안 심혈관 질병 진단 보조 정보 획득부(7731)를 포함할 수 있다.64 is a view for explaining a cardiovascular disease
양안 진단 보조 정보 매칭 여부 판단부(7711)는 좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보가 매칭되는지 판단할 수 있다The binocular diagnosis assistance information matching
양안 심혈관 질병 진단 보조 정보 출력부(7731)는 좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보의 매칭 여부에 따라 결정된 양안 심혈관 질병 진단 보조 정보를 출력할 수 있다. The binocular cardiovascular disease diagnosis assistance information output unit 7171 may output the binocular cardiovascular disease diagnosis assistance information determined according to whether the left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information are matched.
양안 심혈관 질병 진단 보조 정보 출력부(7731)는 좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보가 매칭되는 경우, 좌안 심혈관 질병 진단 보조 정보, 우안 심혈관 질병 진단 보조 정보 또는 좌안 심혈관 질병 진단 보조 정보와 우안 심혈관 질병 진단 보조 정보의 중간 정보로 결정된 양안 심혈관 질병 진단 보조 정보를 출력할 수 있다.The binocular cardiovascular disease diagnosis assistance information output unit 7131 may be used to identify left eye cardiovascular disease diagnosis assistance information and right eye cardiovascular disease diagnosis assistance information, right eye cardiovascular disease diagnosis assistance information, right eye cardiovascular disease diagnosis assistance information, or left eye cardiovascular disease diagnosis assistance information. The binocular cardiovascular disease diagnosis assistant information determined as intermediate information between the right and right eye cardiovascular disease diagnosis assistant information can be output.
양안 심혈관 질병 진단 보조 정보 출력부(7731)는 좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보가 매칭되지 않는 경우, 좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보 중 대상 심혈관 질병에 대하여 상대적으로 높은 위험을 나타내는 것을 양안 심혈관 질병 진단 보조 정보로 결정할 수 있다. 다시 말해, 좌안 심혈관 질병 진단 보조 정보 및 우안 심혈관 질병 진단 보조 정보 중 대상 심혈관 질병에 대하여 상대적으로 높은 위험을 나타내는 것으로 결정된 양안 심혈관 질병 진단 보조 정보를 출력할 수 있다.The binocular cardiovascular disease diagnosis assistance information output unit 7131 may determine a target cardiovascular disease among left eye cardiovascular disease diagnosis assistance information and right eye cardiovascular disease diagnosis assistance information when the left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information do not match. Representing a relatively high risk can be determined with assistance information for binocular cardiovascular disease diagnosis. In other words, binocular cardiovascular disease diagnosis assistance information determined to represent a relatively high risk for the target cardiovascular disease among left eye cardiovascular disease diagnosis assistance information and right eye cardiovascular disease diagnosis assistance information may be output.
좌안 심혈관 질병 진단 보조 정보는 좌안 안저 이미지로부터 획득된 심장혈관 석회화 판단에 이용되는 좌안 관상동맥 칼슘 점수를 포함하고, 우안 심혈관 질병 진단 보조 정보는 우안 안저 이미지로부터 획득된 심장혈관 석회화 판단에 이용되는 우안 관상동맥 칼슘 점수를 포함할 수 있다.The left eye cardiovascular disease diagnosis assistance information includes the left eye coronary artery calcium score used for cardiovascular calcification determination obtained from the left eye fundus image, and the right eye cardiovascular disease diagnosis assistance information is the right eye used for the cardiovascular calcification judgment obtained from the right eye fundus image. Coronary artery calcium scores.
양안 진단 보조 정보 매칭 여부 판단부(7711)는 좌안 관상동맥 칼슘 점수 및 우안 관상동맥 칼슘 점수의 차이가 임계 값 이하인지 판단할 수 있다.The binocular diagnosis assistance
양안 심혈관 질병 진단 보조 정보 출력부(7731)는, 좌안 관상동맥 칼슘 점수 및 우안 관상동맥 칼슘 점수의 차이가 임계값 이상인 경우, 좌안 관상동맥 칼슘 점수 및 우안 관상동맥 칼슘 점수 중 높은 것으로 결정된 양안 심혈관 질병 진단 보조 정보를 출력할 수 있다.The binocular cardiovascular disease diagnosis assistance information output unit 7171 is a binocular cardiovascular disease determined as the higher of the left eye coronary calcium score and the right eye coronary calcium score when the difference between the left eye coronary calcium score and the right eye coronary calcium score is greater than or equal to the threshold. Diagnostic assistant information can be output.
양안 심혈관 질병 진단 보조 정보 출력부(7731)는, 좌안 관상동맥 칼슘 점수 및 우안 관상동맥 칼슘 점수의 차이가 임계값 이상인 경우, 좌안 관상동맥 칼슘 점수 및 우안 관상동맥 칼슘 점수 중 높은 값을 포함하는 것을 양안 심혈관 질병 진단 보조 정보로 결정할 수 있다. The binocular cardiovascular disease diagnosis assistance information output unit 7131 includes a higher value of the left eye coronary calcium score and the right eye coronary calcium score when the difference between the left eye coronary calcium score and the right eye coronary calcium score is greater than or equal to the threshold. Bilateral cardiovascular disease diagnosis assistance information can be determined.
양안 심혈관 질병 진단 보조 정보 출력부(7731)는, 좌안 관상동맥 칼슘 점수 및 우안 관상동맥 칼슘 점수의 차이가 발생하였음을 고지하는 안내를 결정된 양안 심혈관 질병 진단 보조 정보와 함께 출력할 수 있다. The binocular cardiovascular disease diagnosis assistance information output unit 7131 may output a guide for notifying that a difference between the left eye coronary artery calcium score and the right eye coronary artery calcium score has occurred together with the determined binocular cardiovascular disease diagnosis assistance information.
2.5.3 양안 안저 이미지의 획득2.5.3 Acquisition of binocular fundus image
본 발명의 일 실시예에 따르면, 신경망 모델의 학습을 위한 양안 안저 이미지 학습 데이터가 획득될 수 있다. According to an embodiment of the present invention, binocular fundus image training data for training a neural network model may be obtained.
양안 안저 이미지 데이터는 좌안 안저 이미지 및 우안 안저 이미지를 포함할 수 있다. 양안 안저 이미지 데이터는 좌안 안저 이미지를 포함하는 좌안 안저 이미지 데이터 및 우안 안저 이미지를 포함하는 우안 안저 이미지 데이터를 포함할 수 있다. 양안 안저 이미지 데이터는 서로 매칭된 좌안 안저 이미지 및 우안 안저 이미지를 포함할 수 있다. 다시 말해, 양안 안저 이미지 데이터는 서로 매칭된 좌안 안저 이미지 및 우안 안저 이미지를 포함하는 양안 이미지 세트를 복수 개 포함할 수 있다. The binocular fundus image data may include a left eye fundus image and a right eye fundus image. The binocular fundus image data may include left eye fundus image data including a left eye fundus image and right eye fundus image data including a right eye fundus image. The binocular fundus image data may include a left eye fundus image and a right eye fundus image matched with each other. In other words, the binocular fundus image data may include a plurality of binocular image sets including a left eye fundus image and a right eye fundus image matched with each other.
일 예로, 양안 안저 이미지 데이터는 좌안 라벨이 부여된 좌안 안저 이미지 및 우안 라벨이 부여된 우안 이미지를 포함할 수 있다. 또는, 양안 안저 이미지 데이터는 양안 정보를 나타내는 별도의 정보가 부여되지 않은 좌안 이미지 및 우안 이미지를 포함할 수도 있다.For example, the binocular fundus image data may include a left eye fundus image labeled with a left eye and a right eye image labeled with a right eye. Alternatively, the binocular fundus image data may include a left eye image and a right eye image to which no separate information representing the binocular information is given.
예컨대, 양안 안저 이미지 데이터는 피검체의 좌안을 촬상하여 획득된 제1 이미지 및 피검체의 우안을 촬상하여 획득된 제2 이미지를 포함할 수 있다. 또 예컨대, 양안 안저 이미지 데이터는 제1 피검체의 좌안을 촬상하여 획득되고 좌안으로 라벨링된 제1 안저 이미지 및 제2 피검체의 우안을 촬상하여 획득되고 우안으로 라벨링된 제2 안저 이미지를 포함할 수 있다. 또 예컨대, 양안 안저 이미지 데이터는 제1 피검체의 좌안을 촬상하여 획득되고 제1 피검체의 좌안으로 라벨링된 제1 이미지 및 제1 피검체의 우안을 촬상하여 획득되고 제1 피검체의 우안으로 라벨링된 제2 이미지를 포함하는 제1 양안 이미지 세트를 포함할 수 있다. For example, the binocular fundus image data may include a first image obtained by photographing a left eye of a subject and a second image obtained by photographing a right eye of a subject. Also, for example, the binocular fundus image data may include a first fundus image obtained by photographing a left eye of a first subject and labeled with a left eye and a second fundus image obtained by photographing a right eye of a second subject and labeled with a right eye. Can be. Also, for example, binocular fundus image data may be obtained by photographing the left eye of the first subject and the first eye and the right eye of the first subject labeled with the left eye of the first subject, and the right eye of the first subject. And a first set of binocular images that includes a labeled second image.
좌안 안저 이미지 데이터 및 우안 안저 이미지 데이터는 별도로 저장 및/또는 관리될 수 있다. 또는, 좌안 안저 이미지 데이터 및 우안 안저 이미지 데이터는 함께 저장 및/또는 관리되고, 각각에 부여된 라벨에 의해 구분될 수 있다.The left eye fundus image data and the right eye fundus image data may be stored and / or managed separately. Alternatively, the left eye fundus image data and the right eye fundus image data may be stored and / or managed together and distinguished by labels assigned to each.
본 발명의 일 실시예에 따르면, 진단 보조 정보의 획득을 위한 양안 대상 안저 이미지가 획득될 수 있다. 진단 보조 정보의 획득을 위하여, 좌안 대상 안저 이미지 및 우안 대상 안저 이미지가 획득될 수 있다. According to an embodiment of the present invention, a binocular target fundus image for obtaining diagnostic assistance information may be obtained. In order to obtain the diagnosis assistance information, the left eye fundus image and the right eye fundus image may be acquired.
좌안 대상 안저 이미지(또는 좌안 안저 이미지) 및 우안 대상 안저 이미지(또는 우안 안저 이미지) 는 사용자 입력을 통하여 획득될 수 있다. 예컨대, 좌안 대상 안저 이미지를 획득하는 것은 좌안 촬영 개시를 나타내는 사용자 입력이 획득된 후 촬상된 안저 이미지를 획득하는 것을 포함할 수 있다. 좌안 촬영 개시를 나타내는 사용자 입력이 획득된 후 촬상된 안저 이미지를 획득된 안저 이미지는 좌안 대상 안저 이미지로 결정될 수 있다. 좌안 대상 안저 이미지로 결정된 이미지에는 좌안 라벨이 부여될 수 있다.The left eye fundus image (or left eye fundus image) and the right eye fundus image (or right eye fundus image) may be obtained through user input. For example, acquiring the left eye fundus image may include acquiring a photographic fundus image after a user input indicating left eye photographing start is obtained. The acquired fundus image may be determined as a left eye target fundus image after a user input indicating left eye photographing start is obtained. An image determined as the left eye fundus image may be assigned a left eye label.
또는, 좌안 안저 이미지 및 우안 안저 이미지는 미리 마련된 알고리즘 또는 신경망 모델을 통하여 구별될 수 있다. 좌안 라벨 또는 우안 라벨은 미리 마련된 알고리즘 또는 신경망 모델을 통하여 부여될 수도 있다.Alternatively, the left eye fundus image and the right eye fundus image may be distinguished through a previously prepared algorithm or neural network model. The left eye label or the right eye label may be given through a prepared algorithm or neural network model.
2.5.4 양안 안저 이미지 데이터를 이용한 신경망 모델 학습2.5.4 Neural network model training using binocular fundus image data
전술한 진단 보조 시스템, 학습 장치, 서버 장치 또는 모바일 장치는 양안 안저 이미지 학습 데이터를 이용하여 심혈관 질병 진단을 보조하는 신경망 모델을 학습할 수 있다. 각 장치의 학습부, 제어부 또는 프로세서는 심혈관 질병 진단 보조 신경망 모델의 학습을 수행할 수 있다. The above-described diagnosis assistance system, learning device, server device, or mobile device may learn a neural network model that assists cardiovascular disease diagnosis using binocular fundus image learning data. The learning unit, the controller, or the processor of each device may perform training of the cardiovascular disease diagnosis neural network model.
심혈관 질병 진단 보조 신경망 모델은 좌안 안저 이미지 및 우안 안저 이미지를 포함하는 학습 데이터를 이용하여 학습될 수 있다. 심혈관 질병 진단 보조 신경망 모델은 좌안 또는 우안으로 라벨링된 안저 이미지를 포함하는 학습 데이터를 이용하여 학습될 수 있다. The cardiovascular disease diagnosis assisted neural network model may be trained using training data including a left eye fundus image and a right eye fundus image. The cardiovascular disease diagnosis assisted neural network model may be trained using training data including an ocular fundus image labeled as left or right eye.
이하에서는, 본 명세서에서 전술한 내용을 기초로, 양안 안저 이미지를 이용하여 심혈관 질병의 진단을 보조하기 위한 신경망 모델을 학습하는 경우에 특유한 내용을 중심으로 설명한다.Hereinafter, based on the above-described content in the present specification, a description will be given focusing on the specific contents when learning a neural network model for assisting the diagnosis of cardiovascular diseases using binocular fundus images.
도 65는 본 발명의 일 실시예에 따른 학습 장치를 설명하기 위한 도면이다. 도 65를 참조하면, 본 발명의 일 실시예에 따른 학습 장치(1004)는 양안 데이터 가공 모듈(114), 양안 진단 보조 신경망 학습 모듈(134) 및 양안 학습 결과 획득 모듈(154)를 포함하는 양안 학습부(104)를 포함할 수 있다.65 is a diagram for explaining a learning apparatus according to an embodiment of the present invention. Referring to FIG. 65, a
양안 데이터 가공 모듈(114)은 안저 이미지 학습 데이터를 획득하고, 획득된 안저 이미지 학습 데이터에 포함된 안저 이미지를 가공할 수 있다. 예컨대, 양안 데이터 가공 모듈(114)은 안저 이미지를 심혈관 질병 진단 보조에 용이한 형태로 재구성할 수 있다. 양안 데이터 가공 모듈(114)은 안저 이미지에 포함된 혈관 요소가 강조되도록 전처리하거나, 안저 이미지에 포함된 혈관 요소를 추출할 수 있다. 그 외에도, 양안 데이터 가공 모듈(114)은 본 명세서 전반에 걸쳐 설명하는 다양한 이미지 전처리, 가공 또는 재구성 동작을 수행할 수 있다. 경우에 따라, 양안 데이터 가공 모듈(114)은 생략될 수 있다.The binocular
양안 진단 보조 신경망 학습 모듈(134)은 가공된 양안 안저 이미지를 이용하여, 양안 진단 보조 신경망 모델을 학습할 수 있다. 양안 진단 보조 신경망 학습 모듈(134)은 입력 양안 안저 이미지에 기초하여 심혈관 질병 진단 보조 정보를 출력하고, 입력 양안 안저 이미지에 부여된 라벨과 출력된 심혈관 질병 진단 보조 정보를 비교하여 양안 진단 보조 신경망 모델을 학습할 수 있다.The binocular diagnosis assistance neural
일 예로, 양안 진단 보조 신경망 학습 모듈(134)은 진단 보조 라벨이 부여된 좌안 안저 이미지 및 우안 안저 이미지를 포함하는 양안 안저 이미지 학습 데이터를 이용하여, 양안 진단 보조 정보(또는 좌안 진단 보조 정보 및 우안 진단 보조 정보)를 출력하고, 출력된 정보와 라벨의 비교에 기초하여 양안 진단 보조 신경망 모델을 학습할 수 있다.For example, the binocular diagnosis aid neural
다른 예로, 양안 진단 보조 신경망 학습 모듈(134)은 진단 보조 라벨과 좌안 라벨이 부여된 좌안 안저 이미지 및 진단 보조 라벨과 우안 라벨이 부여된 우안 안저 이미지를 포함하는 양안 안저 이미지 학습 데이터를 이용하여, 진단 보조 정보를 출력하고, 출력된 정보와 라벨의 비교에 기초하여 양안 진단 보조 신경망 모델을 학습할 수 있다. As another example, the binocular diagnosing neural
이때, 일 실시예에 따르면, 한 쌍의 좌안 안저 이미지 및 우안 안저 이미지가 하나의 단위 학습 데이터를 구성할 수 있다. 보다 구체적으로, 양안 진단 보조 신경망 학습 모듈(131c)은 제1 좌안 안저 이미지 및 제1 우안 안저 이미지를 포함하는 제1 단위 학습 데이터에 기초하여 양안 진단 보조 신경망 모델을 통하여 출력된 제1 진단 보조 정보와 제1 좌안 안저 이미지 및 제1 우안 안저 이미지에 부여된 제1 진단 보조 라벨을 비교하고 그 결과에 기초하여 양안 진단 보조 신경망 모델을 갱신할 수 있다. In this case, according to an embodiment, a pair of left eye fundus images and a right eye fundus image may constitute one unit learning data. More specifically, the binocular diagnostic assistance neural network learning module 131c may include first diagnostic assistance information output through the binocular diagnosis assistance neural network model based on first unit learning data including a first left eye fundus image and a first right eye fundus image. And the first diagnostic aid label assigned to the first left eye fundus image and the first right eye fundus image, and update the binocular diagnosis aid neural network model based on the result.
예컨대, 제1 좌안 안저 이미지 및 제1 우안 안저 이미지를 포함하는 제1 단위 학습 데이터에 기초하여 양안 진단 보조 신경망 모델을 학습하는 것은, 제1 좌안 안저 이미지에 기초하여 획득된 제1 진단 보조 정보 및 제1 우안 안저 이미지에 기초하여 획득된 제2 진단 보조 정보를 제1 진단 보조 라벨과 비교하고 그 결과에 기초하여 양안 진단 보조 신경망 모델을 갱신하는 것을 포함할 수 있다.For example, learning the binocular diagnostic assistance neural network model based on the first unit training data including the first left eye fundus image and the first right eye fundus image may include: first diagnosis assistance information obtained based on the first left eye fundus image; And comparing the second diagnostic assistance information obtained based on the first right eye fundus image with the first diagnostic assistance label and updating the binocular diagnosis assistance neural network model based on the result.
구체적인 예로, 양안 진단 보조 신경망 모델은 양안 안저 이미지에 기초하여 관상동맥질환의 진단을 보조하기 위한 칼슘 정보를 획득하도록 학습될 수 있다. 이때, 양안 진단 보조 신경망 모델을 학습하는 것은, 입력 좌안 안저 이미지에 따른 좌안 칼슘 정보를 입력 좌안 안저 이미지에 부여된 칼슘 점수 라벨과 비교하거나 입력 우안 안저 이미지에 따른 우안 칼슘 정보를 입력 우안 안저 이미지에 부여된 칼슘 점수 라벨과 비교하여 양안 진단 보조 신경망 모델을 갱신하는 것을 포함할 수 있다. As a specific example, the binocular diagnostic aided neural network model may be trained to obtain calcium information to assist in the diagnosis of coronary artery disease based on the binocular fundus image. At this time, learning the binocular diagnostic assisted neural network model, comparing the left eye calcium information according to the input left eye fundus image with the calcium score label given to the input left eye fundus image or input the right eye calcium information according to the input right eye fundus image to the input right eye fundus image And updating the binocular diagnostic assistance neural network model as compared to the given calcium score label.
다른 구체적인 예로, 좌안 안저 이미지와 우안 안저 이미지가 하나의 단위 학습 데이터를 구성하는 경우, 양안 진단 보조 신경망 모델은 입력 좌안 안저 이미지 및 입력 우안 안저 이미지를 함께 고려하여 획득된 양안 칼슘 점수 정보와 입력 좌안 및 우안 이미지에 부여된 칼슘 점수 라벨을 비교한 후, 비교 결과에 기초하여 양안 진단 보조 신경망 모델을 갱신하는 것을 포함할 수 있다.As another specific example, when the left eye fundus image and the right eye fundus image constitute one unit of learning data, the binocular diagnosing assistive neural network model includes binocular calcium score information and input left eye obtained by considering the input left eye fundus image and the input right eye fundus image. And comparing the calcium score label assigned to the right eye image, and updating the binocular diagnostic assistance neural network model based on the comparison result.
양안 칼슘 정보는 좌안 안저 이미지에 기초하여 획득된 좌안 칼슘 점수 및 우안 안저 이미지에 기초하여 획득된 우안 칼슘 점수의 평균값, 최대값 또는 최저값일 수 있다. 양안 칼슘 정보는 좌안 안저 이미지 및 우안 안저 이미지를 병합한 양안 병합 이미지를 입력 안저 이미지로 하여 획득된 칼슘 점수 정보일 수 있다. The binocular calcium information may be an average value, a maximum value, or a minimum value of the left eye calcium score obtained based on the left eye fundus image and the right eye calcium score obtained based on the right eye fundus image. The binocular calcium information may be calcium score information obtained by using a binocular merged image obtained by merging a left eye fundus image and a right eye fundus image as an input fundus image.
한편, 본 발명의 일 실시예에 따르면, 양안 진단 보조 신경망 모델은, 좌안 안저 이미지로부터 획득된 좌안 진단 보조 정보 및 우안 안저 이미지로부터 획득된 우안 진단 보조 정보에 기초하여 양안 진단 보조 정보를 출력하되, 양안 진단 보조 정보가 결정되는 방식에 따라 그 형태가 달리 마련될 수 있다.Meanwhile, according to an embodiment of the present invention, the binocular diagnosis assistance neural network model outputs binocular diagnosis assistance information based on left eye diagnosis assistance information obtained from the left eye fundus image and right eye diagnosis assistance information obtained from the right eye fundus image. The form may be provided differently depending on the manner in which the binocular diagnosis assistance information is determined.
예컨대, 양안 진단 보조 신경망 모델은, 좌안 진단 보조 정보 및 우안 진단 보조 정보 중 최대값(또는, 위험도가 상대적으로 높음을 나타내는 진단 보조 정보)가 출력 양안 진단 보조 정보로 결정되도록 학습되는 제1 양안 진단 보조 신경망 모델, 좌안 진단 보조 정보 및 우안 진단 보조 정보 중 최소값(또는, 위험도가 상대적으로 낮음을 나타내는 진단 보조 정보)가 출력 양안 진단 보조 정보로 결정되도록 학습되는 제2 양안 진단 보조 신경망 모델 또는 좌안 진단 보조 정보 및 우안 진단 보조 정보의 평균값(또는, 위험도의 중간 값을 나타내는 진단 보조 정보)가 출력 양안 진단 보조 정보로 결정되도록 학습되는 제3 양안 진단 보조 신경망 모델 중 어느 하나일 수 있다. 이때, 제1 내지 제3 양안 진단 보조 신경망 모델의 계층 또는 학습 양태는 서로 다를 수 있다.For example, the binocular diagnosis assistance neural network model includes a first binocular diagnosis trained such that a maximum value (or diagnosis aid information indicating a relatively high risk) among the left eye diagnosis aid information and the right eye diagnosis aid information is determined as the output binocular diagnosis aid information. Secondary binocular diagnosing neural network model or left eye diagnosing trained to determine the minimum value of the supplemental neural network model, left eye diagnosing assistance information, and right eye diagnosing assistance information (or diagnostic assistant information indicating a relatively low risk) as output binocular diagnosing assistance information. The average value (or diagnostic assistance information representing a median risk level) of the assistance information and the right eye diagnosis assistance information may be any one of a third binocular diagnosis assistance neural network model trained to be determined as output binocular diagnosis assistance information. In this case, hierarchies or learning aspects of the first to third binocular diagnosis aid network may be different.
양안 학습 결과 획득 모듈(154)은, 양안 안저 이미지 학습 데이터를 이용한 양안 진단 보조 신경망 모델의 학습 결과를 획득할 수 있다. 양안 학습 결과 획득 모듈(151c)은, 학습된 양안 진단 보조 신경망 모델의 파라미터를 획득할 수 있다.The binocular learning
도 66은 본 발명의 일 실시예에 따른 학습 장치를 설명하기 위한 도면이다. 도 66을 참조하면, 학습 장치(1005)는 좌안 데이터 가공 모듈(115a), 좌안 진단 보조 신경망 학습 모듈(135a) 및 좌안 학습 결과 획득 모듈(155a)을 포함하는 좌안 학습부(105a) 및 우안 데이터 가공 모듈(115b), 우안 진단 보조 신경망 학습 모듈(135b) 및 우안 학습 결과 획득 모듈(155b)을 포함하는 우안 학습부(105b)를 포함할 수 있다. 66 is a diagram for explaining a learning apparatus according to an embodiment of the present invention. Referring to FIG. 66, the
도 66과 관련하여 및 이하에서 설명되는 좌안 진단 보조 신경망 모델 및 우안 진단 보조 신경망 모델의 학습과 관련하여, 전술한 신경망 모델의 병렬 학습과 관련된 내용이 적용될 수 있다. With reference to FIG. 66 and with respect to learning of the left eye diagnosis neural network model and the right eye diagnosis neural network model described below, the contents related to parallel learning of the neural network model described above may be applied.
좌안 데이터 가공 모듈(115a)은 좌안 안저 이미지를 포함하는 좌안 안저 이미지 학습 데이터를 획득하고, 좌안 안저 이미지를 가공할 수 있다. 좌안 데이터 가공 모듈(115b)은 좌안 안저 이미지의 방향을 정렬할 수 있다. 좌안 데이터 가공 모듈(115a)은 학습 데이터에 포함된 좌안 안저 이미지들의 방향을 정렬할 수 있다. 좌안 데이터 가공 모듈(115a)은 학습 데이터에 포함된 좌안 안저 이미지를 재구성하거나 전처리(예컨대, 혈관 강조 처리)할 수 있다. 좌안 데이터 가공 모듈(115a)은 임의의 안저 이미지를 획득하고, 좌안 안저 이미지의 형태로 재구성할 수 있다. 예컨대, 좌안 데이터 가공 모듈(115a)은 우안 안저 이미지를 획득하고, 안저 이미지를 좌우 반전하여 좌안 안저 이미지의 형태로 변형할 수 있다. 좌안 데이터 가공 모듈(115a)은 생략될 수 있다.The left eye
좌안 진단 보조 신경망 학습 모듈(135a)은 가공된 좌안 안저 이미지들을 포함하는 좌안 안저 이미지 학습 데이터를 이용하여 좌안 안저 이미지에 기초하여 좌안 진단 보조 정보를 획득하는 좌안 진단 보조 신경망 모델을 학습할 수 있다. 좌안 진단 보조 신경망 학습 모듈(135a)은 입력 좌안 안저 이미지로부터 좌안 진단 보조 신경망을 통하여 심혈관 질병 진단 보조 정보를 획득하고, 획득된 정보와 입력 안저 이미지에 부여된 라벨을 비교하여 좌안 진단 보조 신경망 모델을 갱신할 수 있다.The left eye diagnosis neural
좌안 학습 결과 획득 모듈(155a)은 좌안 안저 이미지 학습 데이터를 이용한 좌안 진단 보조 신경망 모델의 학습 결과 또는 학습된 좌안 진단 보조 신경망 모델의 파라미터를 획득할 수 있다.The left eye learning
우안 데이터 가공 모듈(115b)은 우안 안저 이미지를 포함하는 우안 안저 이미지 학습 데이터를 획득하고, 우안 안저 이미지를 가공할 수 있다. 우안 데이터 가공 모듈(115b)은 우안 안저 이미지를 재구성 또는 가공할 수 있다. 우안 데이터 가공 모듈(115b)은 전술한 좌안 데이터 가공 모듈(115a)과 유사하게 동작할 수 있다.The right eye
우안 진단 보조 신경망 학습 모듈(135b)은 가공된 우안 안저 이미지들을 포함하는 우안 안저 이미지 학습 데이터를 이용하여 우안 안저 이미지에 기초하여 우안 진단 보조 정보를 획득하는 우안 진단 보조 신경망 모델을 학습할 수 있다. 우안 진단 보조 신경망 학습 모듈(135b)은 입력 우안 안저 이미지로부터 우안 진단 보조 신경망을 통하여 심혈관 질병 진단 보조 정보를 획득하고, 획득된 정보와 입력 안저 이미지에 부여된 라벨을 비교하여 우안 진단 보조 신경망 모델을 갱신할 수 있다.The right eye diagnosis assisted neural
우안 학습 결과 획득 모듈(155b)은 우안 안저 이미지 학습 데이터를 이용한 우안 진단 보조 신경망 모델의 학습 결과 또는 학습된 우안 진단 보조 신경망 모델의 파라미터를 획득할 수 있다.The right eye learning
도 67은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다. FIG. 67 is a diagram illustrating a learning method of a diagnostic assisted neural network model according to an embodiment of the present invention. FIG.
도 67을 참조하면, 67A는 데이터 획득 모듈의 동작을 설명하기 위한 흐름도이다. 67B는 양안 데이터 가공 모듈의 동작을 설명하기 위한 흐름도이다. 67C는 양안 진단 보조 신경망 학습 모듈의 동작을 설명하기 위한 흐름도이다. 67D는 양안 학습 결과 획득 모듈의 동작을 설명하기 위한 흐름도이다. 다만, 67A 내지 67D 에서 나타내는 동작들이 반드시 위 설명된 모듈들에 의해 수행되어야 하는 것은 아니다. 예를 들어, 67A 내지 67D의 동작들은, 하나의 모듈, 예컨대, 양안 진단 보조 신경망 학습 모듈에서 수행될 수도 있다.Referring to FIG. 67, 67A is a flowchart for describing an operation of a data acquisition module. 67B is a flowchart for explaining the operation of the binocular data processing module. 67C is a flow chart for explaining the operation of the binocular diagnostic assistive neural network learning module. 67D is a flowchart for explaining the operation of the binocular learning result obtaining module. However, operations shown in 67A to 67D are not necessarily to be performed by the modules described above. For example, the operations of 67A-67D may be performed in one module, such as a binocular diagnostic assistive neural network learning module.
도 67을 참조하면, 진단 보조 신경망 모델의 학습 방법은, 양안 이미지 학습 데이터를 획득하는 단계(S8001), 획득된 양안 이미지를 가공하는 단계(S8003), 가공된 양안 이미지에 기초하여 양안 진단 보조 신경망을 학습하는 단계(S8005) 및 학습 결과를 획득하는 단계(S8007)를 포함할 수 있다. 이하에서 설명하는 진단 보조 신경망 모델의 학습 방법은 전술한 학습 장치, 학습부, 제어부 또는 프로세서에 의해 수행될 수 있다.Referring to FIG. 67, in the method of learning a diagnosis assisted neural network model, acquiring binocular image training data (S8001), processing the acquired binocular image (S8003), and the binocular diagnostic assisted neural network based on the processed binocular image. Learning (S8005) and obtaining a learning result (S8007). The learning method of the diagnosis assisted neural network model described below may be performed by the above-described learning apparatus, learning unit, controller, or processor.
양안 이미지 학습 데이터를 획득하는 단계(S8001)는 양안 안저 이미지 학습 데이터를 외부 장치로부터 획득하거나, 메모리로부터 불러오는 것을 포함할 수 있다. 양안 이미지 학습 데이터는 좌안 또는 우안 라벨링되지 않은 복수의 안저 이미지를 포함할 수 있다. 양안 이미지 학습 데이터는 좌안 라벨 또는 우안 라벨이 부여된 복수의 안저 이미지를 포함할 수 있다. 양안 이미지 학습 데이터는 서로 매칭된 좌안 안저 이미지 및 우안 안저 이미지를 포함하는 단위 양안 학습 데이터를 복수 개 포함할 수 있다. 양안 이미지 학습 데이터에 포함되는 좌안 안저 이미지, 우안 안저 이미지 또는 단위 양안 학습 데이터에는 심혈관 질병과 관련된 진단 정보가 라벨링되어 있을 수 있다. 예컨대, 양안 이미지 학습 데이터에 포함되는 좌안 안저 이미지, 우안 안저 이미지 또는 단위 양안 학습 데이터에는 심혈관 질병과 관련된 점수 라벨, 등급 라벨 및 질병 유무 라벨 중 하나 이상의 라벨이 부여되어 있을 수 있다.Acquiring the binocular image training data (S8001) may include acquiring the binocular fundus image training data from an external device or loading from the memory. The binocular image training data may include a plurality of fundus images that are not labeled with left or right eye. The binocular image training data may include a plurality of fundus images to which a left eye label or a right eye label is assigned. The binocular image learning data may include a plurality of unit binocular learning data including a left eye fundus image and a right eye fundus image matched with each other. The left eye fundus image, the right eye fundus image, or the unit ocular eye learning data included in the binocular image training data may be labeled with diagnostic information related to cardiovascular disease. For example, the left eye fundus image, the right eye fundus image, or the unit eye exam learning data included in the binocular image learning data may be given one or more labels of a score label, a grade label, and a disease presence label associated with a cardiovascular disease.
획득된 양안 이미지를 가공하는 단계(S8003)는 양안 안저 이미지 학습 데이터에 포함된 좌안 안저 이미지 및/또는 우안 안저 이미지를 재구성하는 것을 포함할 수 있다. 획득된 양안 이미지를 가공하는 것은 좌안 안저 이미지 또는 우안 안저 이미지에 포함된 혈관 요소가 강조되도록 재구성하는 것을 포함할 수 있다. 획득된 양안 이미지를 가공하는 단계(S8003)는 전술한 양안 데이터 가공 모듈에 의해 수행될 수 있다.Processing the obtained binocular image (S8003) may include reconstructing the left eye fundus image and / or the right eye fundus image included in the binocular fundus image training data. Processing the obtained binocular image may include reconstructing the vascular elements included in the left eye fundus image or the right eye fundus image to be highlighted. The process of processing the obtained binocular image (S8003) may be performed by the above-described binocular data processing module.
가공된 양안 이미지에 기초하여 양안 진단 보조 신경망을 학습하는 단계(S8005)는 좌안 안저 이미지 또는 우안 안저 이미지를 포함하는 학습 데이터를 이용하여, 좌안 안저 이미지 또는 우안 안저 이미지에 따른 심혈관 질병 진단 보조 정보(예컨대, 관상동맥 점수 정보 또는 관상동맥질환 위험 등급 정보)를 출력하는 양안 진단 보조 신경망 모델을 학습하는 것을 포함할 수 있다. 가공된 양안 이미지에 기초하여 양안 진단 보조 신경망을 학습하는 단계(S8005)는 동일인의(즉, 동일 피검체로부터 유래한) 한 쌍의 좌안 안저 이미지 및 우안 안저 이미지를 포함하는 단위 학습 데이터를 복수 개 포함하는 학습 데이터를 이용하여 한 쌍의 안저 이미지에 따른 심혈관 질병 진단 보조 정보를 출력하는 진단 보조 신경망 모델을 학습할 수 있다. 양안 진단 보조 신경망을 학습하는 단계(S8005)는 전술한 양안 진단 보조 신경망 학습 모듈(131c)을 이용하여 수행될 수 있다.The training of the binocular diagnosing assistance neural network based on the processed binocular image (S8005) may be performed by using training data including a left eye fundus image or a right eye fundus image. For example, it may include learning a binocular diagnostic assistance neural network model that outputs coronary artery score information or coronary disease risk rating information. Learning the binocular diagnosing neural network based on the processed binocular image (S8005) includes a plurality of unit learning data including a pair of left eye fundus images and a right eye fundus image of the same person (ie, derived from the same subject). By using the included training data, a diagnosis aid neural network model that outputs cardiovascular disease diagnosis aid information according to a pair of fundus images may be trained. Learning the binocular diagnosis assistance neural network (S8005) may be performed using the binocular diagnosis assistance neural network learning module 131c described above.
학습 결과를 획득하는 단계(S8007)는 학습된 양안 진단 보조 신경망 또는 학습된 양안 진단 보조 신경망을 구성하는 파라미터를 획득하는 것을 포함할 수 있다. 학습 결과를 획득하는 단계(S8007)는 전술한 양안 학습 결과 획득 모듈(151c)에 의해 수행될 수 있다.Acquiring the learning result (S8007) may include acquiring a parameter constituting the learned binocular diagnosis assistance network or the learned binocular diagnosis assistance network. Acquiring a learning result (S8007) may be performed by the above-described binocular learning result obtaining module 151c.
도 68은 본 발명의 일 실시예에 따른 진단 보조 신경망 모델의 학습 방법을 설명하기 위한 도면이다. FIG. 68 is a diagram for describing a method of learning a diagnostic assistance neural network model according to an embodiment of the present invention. FIG.
도 68을 참조하면, 68A는 데이터 획득 모듈의 동작을 설명하기 위한 흐름도이다. 68B는 양안 데이터 가공 모듈(또는 좌안 데이터 가공 모듈 및 우안 데이터 가공 모듈)의 동작을 설명하기 위한 흐름도이다. 68C는 좌안 진단 보조 신경망 학습 모듈의 동작을 설명하기 위한 흐름도이다. 68D는 우안 학습 결과 획득 모듈의 동작을 설명하기 위한 흐름도이다. 68E는 학습 결과 획득 모듈(또는, 좌안 학습 결과 획득 모듈 및 우안 학습 결과 획득 모듈)의 동작을 설명하기 위한 흐름도일 수 있다.Referring to FIG. 68, 68A is a flowchart for describing an operation of a data acquisition module. 68B is a flowchart for explaining the operation of the binocular data processing module (or the left eye data processing module and the right eye data processing module). 68C is a flowchart for explaining the operation of the left eye diagnosis assisted neural network learning module. 68D is a flowchart for explaining the operation of the right eye learning result obtaining module. 68E may be a flowchart for describing an operation of the learning result obtaining module (or the left eye learning result obtaining module and the right eye learning result obtaining module).
다만, 68A 내지 67E 에서 나타내는 동작들이 반드시 위 설명된 모듈들에 의해 수행되어야 하는 것은 아니다. 예를 들어, 68A 내지 68E의 동작들은, 하나의 모듈, 예컨대, 양안 진단 보조 신경망 학습 모듈에서 수행될 수도 있다.However, operations shown in 68A to 67E are not necessarily to be performed by the modules described above. For example, the operations of 68A through 68E may be performed in one module, such as a binocular diagnostic assistance neural network learning module.
도 68을 참조하면, 진단 보조 신경망 모델의 학습 방법은, 양안 이미지 학습 데이터를 획득하는 단계(S9001), 양안 이미지를 가공하는 단계(S9003), 좌안 진단 보조 신경망을 학습하는 단계(S9005), 우안 진단 보조 신경망을 학습하는 단계(S9007) 및 학습 결과를 획득하는 단계(S9009)를 포함할 수 있다. 이하에서 설명하는 진단 보조 신경망 모델의 학습 방법은 전술한 학습 장치, 학습부, 제어부 또는 프로세서에 의해 수행될 수 있다.Referring to FIG. 68, the training method of the diagnosis assisted neural network model includes: acquiring binocular image learning data (S9001), processing a binocular image (S9003), learning a left eye diagnosis assisted neural network (S9005), and right eye. Learning (S9007) and obtaining a learning result (S9009) may comprise the diagnostic auxiliary neural network. The learning method of the diagnosis assisted neural network model described below may be performed by the above-described learning apparatus, learning unit, controller, or processor.
양안 이미지 학습 데이터를 획득하는 단계(S9001)는 좌안 안저 이미지 및 우안 안저 이미지를 포함하는 양안 안저 이미지를 획득하는 것을 포함할 수 있다. 양안 이미지 학습 데이터는 좌안 안저 이미지 학습 데이터 및 우안 안저 이미지 학습 데이터를 포함할 수 있다. 다시 말해, 양안 이미지 학습 데이터는 서로 구분 저장된 좌안 안저 이미지 학습 데이터 및 우안 안저 이미지 학습 데이터를 포함할 수 있다. 양안 이미지 학습 데이터는 좌안 라벨이 부여된 좌안 안저 이미지 및 우안 라벨이 부여된 우안 안저 이미지를 포함할 수 있다. Acquiring binocular image learning data (S9001) may include acquiring a binocular fundus image including a left eye fundus image and a right eye fundus image. The binocular image training data may include left eye fundus image training data and right eye fundus image training data. In other words, the binocular image learning data may include left eye fundus image learning data and right eye fundus image learning data stored separately from each other. The binocular image training data may include a left eye fundus image labeled with a left eye and a right eye fundus image labeled with a right eye.
양안 이미지 학습 데이터를 획득하는 단계(S9001)는 데이터 획득 모듈, 양안 데이터 가공 모듈에서 수행될 수 있다. 양안 이미지 학습 데이터를 획득하는 단계(S9001)는 좌안 데이터 가공 모듈(111d) 또는 우안 데이터 가공 모듈(111e)에서 각각 수행될 수 있다. Acquiring the binocular image learning data (S9001) may be performed by a data acquisition module and a binocular data processing module. Acquiring the binocular image learning data (S9001) may be performed by the left eye data processing module 111d or the right eye data processing module 111e, respectively.
양안 이미지를 가공하는 단계(S9003)는 양안 안저 이미지 학습 데이터에 포함된 양안 이미지를 가공하는 것을 포함할 수 있다. 양안 안저 이미지 학습 데이터에 포함된 양안 이미지를 가공하는 것은 양안 안저 이미지 학습 데이터에 포함된 좌안 안저 이미지 또는 우안 안저 이미지를 신경망 모델의 학습이 용이한 형태로 변환하는 것을 포함할 수 있다. 안저 이미지의 재구성, 변환 또는 가공에 대하여는 본 명세서에서 전술한 내용이 유추 적용될 수 있다. 양안 이미지를 가공하는 단계(S9003)는 양안 데이터 가공 모듈(111c)에 의해 수행될 수 있다.Processing the binocular image (S9003) may include processing the binocular image included in the binocular fundus image learning data. Processing the binocular image included in the binocular fundus image learning data may include converting the left eye fundus image or the right eye fundus image included in the binocular fundus image learning data into a form that facilitates learning of the neural network model. Regarding reconstruction, transformation, or processing of the fundus image, the foregoing description may be inferred. The step S9003 of processing the binocular image may be performed by the binocular data processing module 111c.
양안 이미지를 가공하는 단계(S9003)는 좌안 안저 이미지 및 우안 안저 이미지를 따로 가공하는 것을 포함할 수 있다. 다시 말해, 양안 이미지를 가공하는 단계(S9003)는 좌안 안저 이미지에 대하여 좌안 안저 이미지 전처리를 수행하는 단계 및 우안 안저 이미지에 대하여 우안 안저 이미지 전처리를 수행하는 단계를 포함할 수 있다. 이때, 좌안 안저 이미지에 적용되는 전처리는 우안 안저 이미지에 적용되는 전처리와 상이할 수 있다. 예컨대, 좌안 안저 이미지에 적용되는 전처리 필터와 우안 안저 이미지에 적용되는 전처리 필터는 서로 좌우 반전 형태로 마련될 수 있다.Processing the binocular image (S9003) may include separately processing the left eye fundus image and the right eye fundus image. In other words, the step S9003 of processing the binocular image may include performing left eye fundus image preprocessing on the left eye fundus image and performing right eye fundus image preprocessing on the right eye fundus image. In this case, the preprocessing applied to the left eye fundus image may be different from the preprocessing applied to the right eye fundus image. For example, the preprocessing filter applied to the left eye fundus image and the preprocessing filter applied to the right eye fundus image may be provided in a left and right inverted form.
일 실시예에 따르면, 양안 이미지를 가공하는 단계(S9003)는 임의의 안저 이미지를 획득하고, 좌안 안저 이미지로 변환하는 단계 및/또는 임의의 안저 이미지를 획득하고, 우안 안저 이미지로 변환하는 단계를 포함할 수 있다.According to an embodiment, the step of processing the binocular image (S9003) may include obtaining any fundus image, converting it into a left eye fundus image, and / or obtaining any fundus image and converting it to a right eye fundus image. It may include.
양안 이미지를 가공하는 단계(S9003)는 좌안 데이터 가공 모듈(111d) 및 우안 데이터 가공 모듈(111e)에 의해 수행될 수 있다. 양안 이미지를 가공하는 단계(S9003)는 생략될 수 있다.The step S9003 of processing the binocular image may be performed by the left eye data processing module 111d and the right eye data processing module 111e. The step S9003 of processing the binocular image may be omitted.
좌안 진단 보조 신경망을 학습하는 단계(S9005)는 가공된 좌안 안저 이미지 데이터를 이용하여 좌안 안저 이미지에 기초하여 좌안 진단 보조 정보를 출력하는 좌안 진단 보조 신경망 모델을 학습하는 것을 포함할 수 있다. 좌안 진단 보조 신경망을 학습하는 단계(S9005)는 좌안 진단 보조 신경망 모델을 통하여 입력 좌안 안저 이미지에 따른 좌안 진단 보조 정보를 획득하고, 획득된 좌안 진단 보조 정보와 입력 좌안 안저 이미지에 부여된 라벨을 비교하고, 그 결과에 기초하여 좌안 진단 보조 신경망 모델을 갱신하는 것을 포함할 수 있다. 좌안 진단 보조 신경망을 학습하는 단계(S9005)는 좌안 진단 보조 신경망 학습 모듈에 의해 수행될 수 있다. Learning the left eye diagnosis assisted neural network (S9005) may include learning a left eye diagnosis aided neural network model that outputs left eye diagnosis assistance information based on the left eye fundus image using the processed left eye fundus image data. Learning the left eye diagnosis neural network (S9005) is to obtain the left eye diagnosis aid information according to the input left eye fundus image through the left eye diagnosis neural network model, and compare the obtained label with the left eye diagnosis aid information and the input left eye fundus image And updating the left eye diagnosis assistance neural network model based on the result. Learning the left eye diagnosis assisted neural network (S9005) may be performed by the left eye diagnosis aided neural network learning module.
우안 진단 보조 신경망을 학습하는 단계(S9007)는 가공된 우안 안저 이미지 데이터를 이용하여 우안 안저 이미지에 기초하여 우안 진단 보조 정보를 출력하는 우안 진단 보조 신경망 모델을 학습하는 것을 포함할 수 있다. 우안 진단 보조 신경망을 학습하는 단계(S9007)는 우안 진단 보조 신경망 모델을 통하여 입력 우안 안저 이미지에 따른 우안 진단 보조 정보를 획득하고, 획득된 우안 진단 보조 정보와 입력 우안 안저 이미지에 부여된 라벨을 비교하고, 그 결과에 기초하여 우안 진단 보조 신경망 모델을 갱신하는 것을 포함할 수 있다. 우안 진단 보조 신경망을 학습하는 단계(S9007)는 우안 진단 보조 신경망 학습 모델에 의해 수행될 수 있다.Learning the right eye diagnosis assisted neural network (S9007) may include learning a right eye diagnosis aided neural network model that outputs right eye diagnosis aid information based on the right eye fundus image using the processed right eye fundus image data. In the training of the right eye diagnosis neural network (S9007), the right eye diagnosis aid information according to the input right eye fundus image is obtained through the right eye diagnosis neural network model, and the acquired right eye diagnosis aid information and the label given to the input right eye fundus image are compared. And updating the right eye diagnosis assistance neural network model based on the result. Learning the right eye diagnosis assisted neural network (S9007) may be performed by the right eye diagnosis aided neural network learning model.
좌안 진단 보조 신경망을 학습하는 단계(S9005) 및 우안 진단 보조 신경망을 학습하는 단계(S9007)는 병렬적으로 수행될 수 있다. 이와 관련하여, 전술한 신경망 모델의 병렬 학습의 내용이 적용될 수 있다.Learning the left eye diagnosis assisted neural network (S9005) and learning the right eye diagnosis assisted neural network (S9007) may be performed in parallel. In this regard, the content of parallel learning of the neural network model described above may be applied.
학습 결과를 획득하는 단계(S9009)는 학습된 좌안 진단 보조 신경망 모델 및 학습된 우안 진단 보조 신경망 모델을 획득하는 것을 포함할 수 있다. 또는, 학습 결과를 획득하는 단계(S9009)는 학습된 좌안 진단 보조 신경망 모델을 구성하는 파라미터 및 학습된 우안 진단 보조 신경망 모델을 구성하는 파라미터를 획득하는 것을 포함할 수 있다. Acquiring the learning result (S9009) may include acquiring the learned left eye diagnosis assistance neural network model and the learned right eye diagnosis assistance neural network model. Alternatively, the obtaining of the learning result (S9009) may include obtaining a parameter configuring the learned left eye diagnosis assistance neural network model and a parameter configuring the learned right eye diagnosis assistance neural network model.
2.5.5 양안 안저 이미지를 이용한 진단 보조2.5.5 Diagnostic Assistance Using Binocular Fundus Images
본 명세서에 따르면, 양안 안저 이미지를 이용하여 피검체에 대한 심혈관 질병 진단 보조 정보를 획득하는 시스템, 장치 또는 방법이 제공될 수 있다. 양안 이미지를 이용하여 심혈관 질병 진단 보조 정보를 획득하고 사용자에게 제공함으로써, 진단 결과에 대한 신뢰도가 증진될 수 있다. According to the present disclosure, a system, apparatus, or method for acquiring cardiovascular disease diagnosis assistance information for a subject using a binocular fundus image may be provided. By obtaining the cardiovascular disease diagnosis assistance information using the binocular image and providing it to the user, the reliability of the diagnosis result may be enhanced.
전술한 진단 보조 시스템, 진단 장치, 서버 장치, 클라이언트 장치 또는 모바일 장치는 학습된 심혈관 질병 진단 보조 신경망 모델을 이용하여 할 수 있다. 각 장치의 진단부, 제어부 또는 프로세서는 심혈관 질병 진단 보조 신경망 모델을 이용한 진단 보조를 수행할 수 있다. The above-described diagnostic assistance system, diagnosis apparatus, server apparatus, client apparatus or mobile apparatus may be performed using the learned cardiovascular disease diagnosis assistance neural network model. The diagnosis unit, the controller, or the processor of each device may perform diagnosis assistance using a cardiovascular disease diagnosis assistance neural network model.
이하에서는, 본 명세서에서 전술한 내용을 기초로, 양안 안저 이미지를 이용하여 심혈관 질병의 진단을 보조하는 경우에 특유한 내용을 중심으로 설명한다. Hereinafter, based on the above-mentioned content in the present specification, the description will be mainly focused on the specific content in the case of assisting the diagnosis of cardiovascular disease using a binocular fundus image.
도 69는 본 발명의 일 실시예에 따른 진단 장치(2004)를 설명하기 위한 도면이다. 도 69를 참조하면, 본 발명의 일 실시예에 따른 진단 장치(2004)는, 진단 요청 획득 모듈(214), 양안 진단 보조 모듈(234) 및 양안 진단 보조 정보 출력 모듈(254)를 포함하는 진단부(204)를 포함할 수 있다. 69 is a diagram for describing a
양안 진단 요청 획득 모듈(214)은 진단 요청을 획득할 수 있다. 양안 진단 요청 획득 모듈(214)은 양안 안저 이미지(좌안 안저 이미지 및 우안 안저 이미지)를 포함하고 양안 안저 이미지에 대한 진단 보조 정보를 요청하는 진단 요청을 획득할 수 있다. 양안 진단 요청 획득 모듈(214)은 대상 좌안 안저 이미지 및 대상 우안 안저 이미지를 순차로 획득할 수 있다. 양안 진단 요청 획득 모듈(214)은 대상 좌안 안저 이미지에 대한 진단 요청 및 대상 우안 안저 이미지에 대한 진단 요청을 순차로 획득할 수 있다. 양안 진단 요청 획득 모듈(214)은 대상 좌안 안저 이미지와 대상 우안 안저 이미지를 포함하는 대상 양안 안저 이미지 데이터를 포함하고 진단 보조 정보를 요청하는 진단 요청을 획득할 수 있다.The binocular diagnosis
양안 진단 보조 모듈(234)은 대상 양안 안저 이미지(또는, 대상 좌안 안저 이미지 및 대상 우안 안저 이미지)를 획득하고, 획득된 대상 양안 안저 이미지에 따른 심혈관 질병 진단 보조 정보를 획득할 수 있다. The binocular
양안 진단 보조 모듈(234)은 대상 좌안 및 우안 안저 이미지 모두에 대하여 진단 보조 정보를 획득하도록 학습된 양안 진단 보조 신경망 모델을 이용할 수 있다. 양안 진단 보조 모듈(234)은 대상 좌안 안저 이미지를 획득하고, 양안 진단 보조 신경망 모델을 통하여 대상 좌안 안저 이미지에 대한 좌안 진단 보조 정보를 획득할 수 있다. 양안 진단 보조 모듈(231c)은 대상 우안 안저 이미지를 획득하고, 양안 진단 보조 신경망 모델을 통하여 대상 우안 안저 이미지에 대한 우안 진단 보조 정보를 획득할 수 있다. The binocular
양안 진단 보조 모듈(234)은 좌안 안저 이미지 및 우안 안저 이미지를 포함하는 단위 대상 안저 이미지에 기초하여 진단 보조 정보를 획득하도록 학습된 양안 진단 보조 신경망 모델을 이용할 수 있다. 양안 진단 보조 모듈(234)은 동일 피검체의 동일자에 촬영된(혹은 기준 기간 내에 촬영된) 좌안 안저 이미지 및 우안 안저 이미지를 포함하는 단위 대상 안저 이미지를 획득하고, 양안 진단 보조 신경망 모델을 통하여 단위 대상 안저 이미지에 대한 우안 진단 보조 정보를 획득할 수 있다. 단위 대상 안저 이미지는 좌안 안저 이미지 및 우안 안저 이미지가 병합된 형태이거나, 좌안 안저 이미지 및 우안 안저 이미지의 특징을 병합한 형태일 수 있다.The binocular
양안 진단 보조 정보 출력 모듈(254)은 획득된 양안 진단 보조 정보를 출력할 수 있다. 양안 진단 보조 정보 출력 모듈(254)은 좌안 안저 이미지에 기초하여 획득된 좌안 진단 보조 정보 또는 우안 안저 이미지에 기초하여 획득된 좌안 진단 보조 정보를 출력할 수 있다. 양안 진단 보조 정보 출력 모듈(254)은 좌안 진단 보조 정보 및 우안 진단 보조 정보를 동시에 또는 순차로 출력할 수 있다. The binocular diagnosis assistance
양안 진단 보조 정보 출력 모듈(254)은 외부 장치로 양안 진단 보조 정보를 전송하거나, 별도의 메모리에 양안 진단 보조 정보, 좌안 진단 보조 정보 또는 우안 진단 보조 정보를 저장할 수 있다. 양안 진단 보조 정보 출력 모듈(254)은 사용자 인터페이스를 통하여 양안 진단 보조 정보, 좌안 진단 보조 정보 또는 우안 진단 보조 정보를 출력할 수 있다. 양안 진단 보조 정보 출력 모듈(254)은 시각 또는 청각 데이터 형태로 진단 보조 정보를 출력할 수 있다. The binocular diagnosis assistance
양안 진단 보조 정보 출력 모듈(254)에 의하여 출력되는 정보는 좌안 진단 보조 정보, 우안 진단 보조 정보 또는 양안 진단 보조 정보일 수 있다. 출력되는 정보는 좌안 진단 보조 정보, 우안 진단 보조 정보 및/또는 양안 진단 보조 정보에 기초하여 결정된 2차 정보일 수 있다. 이와 관련하여, 이하의 양안 진단 보조 정보의 출력 항목에서 보다 상세히 설명한다.The information output by the binocular diagnosis assistance
본 발명의 일 실시예에 따르면, 진단 장치(2004)는 좌안 진단 모드로 동작할 수 있다. 좌안 진단 모드는 진단 장치(2004)가 사용자로부터 좌안 진단 요청 또는 양안 진단 요청을 획득함에 따라 개시될 수 있다.According to an embodiment of the present invention, the
좌안 진단 모드에서, 양안 진단 요청 획득 모듈(214)은 사용자로부터 좌안 진단 요청을 획득할 수 있다. 좌안 진단 모드에서, 양안 진단 요청 획득 모듈(214)은 대상 좌안 안저 이미지 및 좌안 진단 보조 정보를 요청하는 좌안 진단 요청을 획득할 수 있다.In the left eye diagnosis mode, the binocular diagnosis
좌안 진단 모드에서, 양안 진단 보조 모듈(234)은 대상 좌안 안저 이미지를 획득하고, 양안 진단 보조 신경망 모델을 통하여 대상 좌안 안저 이미지에 따른 심혈관 질병 진단 보조 정보를 획득할 수 있다. In the left eye diagnosis mode, the binocular
좌안 진단 모드에서, 양안 진단 보조 정보 출력 모듈(254)은 대상 좌안 안저 이미지에 대한 심혈관 질병 진단 보조 정보를 출력할 수 있다. 예컨대, 양안 진단 보조 정보 출력 모듈(254)은 대상 좌안 안저 이미지에 대한 심혈관 질병 진단 보조 정보를 대상 좌안 안저 이미지와 함께 사용자 인터페이스의 좌안 진단 정보 표시부를 통하여 출력할 수 있다.In the left eye diagnosis mode, the binocular diagnosis assistance
좌안 진단 모드가 사용자의 좌안 진단 요청에 의해 획득된 경우, 양안 진단 보조 정보 출력 모듈(254)은 좌안 진단 보조 정보를 출력할 수 있다. 좌안 진단 모드가 사용자의 양안 진단 요청에 의해 획득된 경우, 양안 진단 보조 정보 출력 모듈(254)은 좌안 진단 보조 정보를 우안 진단 보조 정보와 함께 출력할 수 있다. When the left eye diagnosis mode is acquired by the user's left eye diagnosis request, the binocular diagnosis assistance
본 발명의 일 실시예에 따르면, 진단 장치(2004)는 우안 진단 모드로 동작할 수 있다. 좌안 진단 모드는 진단 장치(2004)가 사용자로부터 좌안 진단 요청 또는 양안 진단 요청을 획득함에 따라 개시될 수 있다. According to an embodiment of the present invention, the
우안 진단 모드에서, 양안 진단 요청 획득 모듈(211c)은 사용자로부터 우안 진단 요청, 예컨대, 대상 우안 안저 이미지 및 우안 진단 보조 정보를 요청하는 우안 진단 요청을 획득할 수 있다. In the right eye diagnosis mode, the binocular diagnosis request obtaining module 211c may obtain a right eye diagnosis request from the user, for example, a right eye diagnosis request requesting a target right eye fundus image and right eye diagnosis assistance information.
우안 진단 모드에서, 양안 진단 보조 정보 출력 모듈(251c)은 대상 우안 안저 이미지에 대한 심혈관 질병 진단 보조 정보를 출력할 수 있다. 예컨대, 양안 진단 보조 정보 출력 모듈(251c)은 대상 우안 안저 이미지에 대한 심혈관 질병 진단 보조 정보를 대상 우안 안저 이미지와 함께 사용자 인터페이스의 우안 진단 정보 표시부를 통하여 출력할 수 있다.In the right eye diagnosis mode, the binocular diagnosis assistance information output module 251c may output cardiovascular disease diagnosis assistance information about the target right eye fundus image. For example, the binocular diagnosis assistance information output module 251c may output cardiovascular disease diagnosis assistance information about the target right eye fundus image together with the target right eye fundus image through the right eye diagnosis information display unit of the user interface.
양안 진단 보조 정보 출력 모듈(254)은, 우안 진단 모드가 사용자의 우안 진단 요청에 의해 획득된 경우, 우안 진단 보조 정보를 출력하고, 우안 진단 모드가 사용자의 양안 진단 요청에 의해 획득된 경우, 우안 진단 보조 정보를 좌안 진단 보조 정보와 함께 출력할 수 있다. The binocular diagnosis assistance
본 발명의 일 실시예에 따르면, 진단 장치(2004)는 양안 진단 모드로 동작할 수 있다. 좌안 진단 모드는 진단 장치(2004)가 사용자로부터 양안 진단 요청을 획득함에 따라 개시될 수 있다. According to an embodiment of the present invention, the
양안 진단 모드에서, 양안 진단 요청 획득 모듈(214)은 사용자로부터 양안 진단 요청을 획득할 수 있다. 양안 진단 모드에서, 양안 진단 보조 정보 출력 모듈(254)은 대상 양안 안저 이미지(예컨대, 서로 매칭된 좌안 안저 이미지 및 우안 안저 이미지를 포함하는 대상 데이터 또는 서로 매칭된 좌안 안저 이미지 및 우안 안저 이미지에 기초하여 생성된 합성 이미지)에 대한 심혈관 질병 진단 보조 정보를 출력할 수 있다. 예컨대, 양안 진단 보조 정보 출력 모듈(254)은 신경망 모델을 통하여 획득된 양안 심혈관 질병 진단 보조 정보를 대상 양안 안저 이미지와 함께 사용자 인터페이스의 진단 정보 표시부를 통하여 출력할 수 있다.In the binocular diagnosis mode, the binocular diagnosis
도 70은 본 발명의 일 실시예에 따른 진단 장치(2005)를 설명하기 위한 도면이다. 도 70을 참조하면, 본 발명의 일 실시예에 따른 진단 장치(2005)는, 좌안 진단 요청 획득 모듈(215a), 좌안 진단 보조 모듈(235a) 및 좌안 진단 보조 정보 출력 모듈(255b)을 포함하는 좌안 진단부(205a) 및 우안 진단 요청 획득 모듈(215b), 우안 진단 보조 모듈(235b) 및 우안 진단 보조 정보 출력 모듈(255b)을 포함하는 우안 진단부(205b)를 포함할 수 있다.70 is a diagram for describing a
도 70과 관련하여 및 이하에서 설명되는 좌안 진단 보조 신경망 모델 및 우안 진단 보조 신경망 모델을 이용한 진단 보조에 대하여, 본 명세서에서 전술한 신경망 모델의 병렬 이용과 관련된 내용이 유사하게 적용될 수 있다. Regarding FIG. 70 and the diagnosis assistance using the left eye diagnosis neural network model and the right eye diagnosis neural network model described below, the contents related to parallel use of the neural network model described above may be similarly applied.
좌안 진단 요청 획득 모듈(215a)은 좌안 안저 이미지에 대응되는 진단 보조 정보를 요청하는 좌안 진단 요청을 획득할 수 있다. 좌안 진단 요청 획득 모듈(211d)은 좌안 안저 이미지 및 좌안 진단 요청을 획득할 수 있다. The left eye diagnosis
좌안 진단 보조 모듈(235a)은 대상 좌안 안저 이미지를 획득하고, 좌안 진단 보조 신경망 모델을 이용하여 대상 좌안 안저 이미지에 대한 심혈관 질병 진단 보조 정보인 좌안 진단 보조 정보를 획득할 수 있다.The left eye
좌안 진단 보조 정보 출력 모듈(251d)은 좌안 진단 보조 정보를 출력할 수 있다. The left eye diagnosis assistance information output module 251d may output the left eye diagnosis assistance information.
우안 진단 요청 획득 모듈(215b)은 우안 안저 이미지에 대응되는 진단 보조 정보를 요청하는 우안 진단 요청을 획득할 수 있다. 우안 진단 요청 획득 모듈(215b)은 우안 안저 이미지 및 우안 진단 요청을 획득할 수 있다.The right eye diagnosis request obtaining module 215b may obtain a right eye diagnosis request for requesting diagnosis assistance information corresponding to the right eye fundus image. The right eye diagnosis request obtaining module 215b may obtain a right eye fundus image and a right eye diagnosis request.
우안 진단 보조 모듈(235b)은 대상 우안 안저 이미지를 획득하고, 우안 진단 보조 신경망 모델을 이용하여 대상 우안 안저 이미지에 대한 심혈관 질병 진단 보조 정보인 우안 진단 보조 정보를 획득할 수 있다.The right eye
우안 진단 보조 정보 출력 모듈(255b)은 우안 진단 보조 정보를 출력할 수 있다. 우안 진단 보조 정보 출력 모듈(255b)과 좌안 진단 보조 정보 출력 모듈(255a)은 함께 진단 보조 정보를 출력할 수 있다. 우안 진단 보조 정보 출력 모듈(255b)과 좌안 진단 보조 정보 출력 모듈(255a)은 하나의 사용자 인터페이스를 통하여 진단 보조 정보를 출력할 수 있다.The right eye diagnosis assistance
본 발명의 일 실시예에 따르면, 진단 장치(2005)는 좌안 진단 모드로 동작할 수 있다. 좌안 진단 모드는 진단 장치(2005)가 사용자로부터 좌안 진단 요청 또는 양안 진단 요청을 획득함에 따라 개시될 수 있다. According to an embodiment of the present invention, the
좌안 진단 모드에서, 좌안 진단 요청 획득 모듈(215a)은 좌안 안저 이미지를 획득하고, 좌안 진단 보조 모듈(235a)은 좌안 안저 이미지에 기초하여 좌안 진단 보조 정보를 획득하고, 좌안 진단 보조 정보 출력 모듈(255b)은 좌안 진단 보조 정보를 출력할 수 있다. In the left eye diagnosis mode, the left eye diagnosis
본 발명의 일 실시예에 따르면, 진단 장치(2005)는 우안 진단 모드로 동작할 수 있다. 우안 진단 모드는 진단 장치(2005)가 사용자로부터 우안 진단 요청 또는 양안 진단 요청을 획득함에 따라 개시될 수 있다. According to an embodiment of the present invention, the
우안 진단 모드에서, 우안 진단 요청 획득 모듈(215b)은 우안 안저 이미지를 획득하고, 우안 진단 보조 모듈(235b)은 우안 안저 이미지에 기초하여 우안 진단 보조 정보를 획득하고, 우안 진단 보조 정보 출력 모듈(255b)은 우안 진단 보조 정보를 출력할 수 있다. In the right eye diagnosis mode, the right eye diagnosis request obtaining module 215b acquires the right eye fundus image, the right eye
본 발명의 일 실시예에 따르면, 진단 장치(2005)는 양안 진단 모드로 동작할 수 있다. 양안 진단 모드는 진단 장치(2005)가 사용자로부터 양안 진단 요청을 획득함에 따라 개시될 수 있다. According to an embodiment of the present invention, the
양안 진단 모드에서, 좌안 진단 요청 획득 모듈(215a)은 좌안 안저 이미지를 획득하고, 우안 진단 요청 획득 모듈(215b)은 우안 안저 이미지를 획득하고, 좌안 진단 보조 모듈(235a)은 좌안 안저 이미지에 기초하여 좌안 진단 보조 정보를 획득하고, 우안 진단 보조 모듈(235b)은 우안 안저 이미지에 기초하여 우안 진단 보조 정보를 획득하고, 좌안 진단 보조 정보 출력 모듈(255a)은 좌안 진단 보조 정보를 출력하고, 우안 진단 보조 정보 출력 모듈(255b)은 우안 진단 보조 정보를 출력할 수 있다. In binocular diagnosis mode, the left eye diagnosis
도 71은 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다.71 is a view illustrating a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention.
도 71을 참조하면, 71A는 데이터 획득 모듈(또는 진단 요청 획득 모듈)의 동작을 설명하기 위한 흐름도이다. 71B는 진단 보조 모듈의 동작을 설명하기 위한 흐름도이다. 71C은 양안 진단 보조 정보 출력 모듈의 동작을 설명하기 위한 흐름도이다. 다만, 71A 내지 71C 에서 나타내는 동작들은 반드시 위 설명한 모듈들에 의해 수행되어야 하는 것은 아니다. 예를 들어, 71A 내지 71C 의 동작들은, 하나의 모듈, 예컨대, 양안 진단 보조 모듈, 진단 장치의 프로세서 또는 제어부 등에서 수행될 수도 있다.Referring to FIG. 71, 71A is a flowchart for describing an operation of a data acquisition module (or a diagnostic request acquisition module). 71B is a flowchart for explaining the operation of the diagnostic assistance module. 71C is a flowchart for explaining the operation of the binocular diagnostic assistance information output module. However, operations shown in the 71A to 71C are not necessarily to be performed by the modules described above. For example, operations of 71A through 71C may be performed in one module, such as a binocular diagnostic assistance module, a processor or controller of a diagnostic apparatus, or the like.
도 71을 참조하면, 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법은 양안 진단 대상 이미지를 획득하는 단계(S1101), 좌안 진단 보조 정보를 획득하는 단계(S1103), 우안 진단 보조 정보를 획득하는 단계(S1105) 및 진단 보조 정보를 출력하는 단계(S1107)를 포함할 수 있다. 도 71과 관련하여 설명하는 심혈관 질병의 전부 또는 일부는 진단 보조 방법은, 진단 장치가 좌안 진단 모드, 우안 진단 모드 또는 양안 진단 모드일 때 수행될 수 있다.Referring to FIG. 71, in the method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention, the method may include obtaining binocular diagnosis target image (S1101), acquiring left eye diagnosis assistance information (S1103), and right eye diagnosis assistance information. The method may include acquiring (S1105) and outputting diagnostic assistance information (S1107). All or part of the cardiovascular disease described with reference to FIG. 71 may be performed when the diagnostic apparatus is in a left eye diagnosis mode, a right eye diagnosis mode, or a binocular diagnosis mode.
양안 진단 대상 이미지를 획득하는 단계(S1101)는 피검체의 좌안 대상 안저 이미지 및 우안 대상 안저 이미지를 획득하는 것을 포함할 수 있다. 양안 진단 대상 이미지를 획득하는 단계(S1101)는 양안 진단 대상 이미지 및 진단 요청을 획득하는 것을 포함할 수 있다. Acquiring a binocular diagnosis target image (S1101) may include acquiring a left eye fundus image and a right eye fundus image of a subject. Acquiring a binocular diagnosis target image (S1101) may include obtaining a binocular diagnosis target image and a diagnosis request.
좌안 진단 보조 정보를 획득하는 단계(S1103)는 안저 이미지에 따른 심혈관 질병 진단 보조 정보를 출력하도록 학습된 양안 진단 보조 신경망 모델을 이용하여, 획득된 좌안 대상 안저 이미지에 대한 심혈관 질병 진단 보조 정보를 획득하는 것을 포함할 수 있다. 예컨대, 좌안 진단 보조 정보를 획득하는 단계(S1103)는 양안 진단 보조 신경망 모델을 이용하여, 획득된 좌안 대상 안저 이미지에 대한 칼슘 점수 정보를 획득하는 것을 포함할 수 있다. Acquiring the left eye diagnosis assistance information (S1103) by using the binocular diagnosis aid neural network model learned to output the cardiovascular disease diagnosis aid information according to the fundus image, to obtain the cardiovascular disease diagnosis aid information for the acquired left eye fundus image It may include doing. For example, the step S1103 of acquiring the left eye diagnosis assistance information may include obtaining calcium score information of the acquired left eye fundus image using the binocular diagnosis assistance neural network model.
우안 진단 보조 정보를 획득하는 단계(S1105)는 안저 이미지에 따른 심혈관 질병 진단 보조 정보를 출력하도록 학습된 양안 진단 보조 신경망 모델을 이용하여, 획득된 우안 대상 안저 이미지에 대한 심혈관 질병 진단 보조 정보를 획득하는 것을 포함할 수 있다. 예컨대, 우안 진단 보조 정보를 획득하는 단계(S1105)는 양안 진단 보조 신경망 모델을 이용하여, 획득된 우안 대상 안저 이미지에 대한 칼슘 점수 정보를 획득하는 것을 포함할 수 있다.Acquiring the right eye diagnosis assistance information (S1105) by using the binocular diagnosis aid neural network model trained to output cardiovascular disease diagnosis aid information according to the fundus image, obtaining cardiovascular disease diagnosis aid information on the acquired right eye fundus image It may include doing. For example, the step of obtaining right eye diagnosis assistance information (S1105) may include obtaining calcium score information on the acquired right eye fundus image using the binocular diagnosis aid neural network model.
좌안 진단 보조 정보를 획득하는 단계(S1103) 및 우안 진단 보조 정보를 획득하는 단계(S1105)는 순차로 또는 일부 동시에 수행될 수 있으며, 순서는 변경될 수 있다. 좌안 진단 보조 정보를 획득하는 단계(S1103) 및 우안 진단 보조 정보를 획득하는 단계(S1105)의 수행 순서는 사용자 입력에 따라 결정될 수 있다. Acquiring left eye diagnosis assistance information (S1103) and acquiring right eye diagnosis assistance information (S1105) may be performed sequentially or partially simultaneously, and the order may be changed. The order of performing step S1103 of acquiring left eye diagnosis assistance information and step S1105 of acquiring right eye diagnosis assistance information may be determined according to a user input.
진단 보조 정보를 출력하는 단계(S1107)는 획득된 좌안 진단 보조 정보 및 우안 진단 보조 정보를 출력하는 것을 포함할 수 있다. 진단 보조 정보를 출력하는 단계(S1107)는 획득된 좌안 진단 보조 정보 및 우안 진단 보조 정보를 순차로 또는 함께 출력하는 것을 포함할 수 있다. 진단 보조 정보를 출력하는 단계(S1107)는 획득된 좌안 진단 보조 정보 및 우안 진단 보조 정보를 사용자 인터페이스를 통하여 출력하는 것을 포함할 수 있다. The outputting of the diagnostic assistance information (S1107) may include outputting the acquired left eye assistance information and right eye assistance information. The outputting of the diagnosis assistance information (S1107) may include outputting the acquired left eye assistance information and right eye diagnosis assistance information sequentially or together. The outputting of the diagnostic assistance information (S1107) may include outputting the acquired left eye assistance information and right eye assistance information through a user interface.
진단 보조 정보를 출력하는 단계(S1107)는 좌안 진단 보조 정보 및 우안 진단 보조 정보를 고려하여 출력 진단 보조 정보를 결정하는 것을 포함할 수 있다.The outputting of the diagnosis assistance information (S1107) may include determining output diagnosis assistance information in consideration of left eye diagnosis assistance information and right eye diagnosis assistance information.
출력 진단 보조 정보는 좌안 진단 보조 정보 및 우안 진단 보조 중 선택된 진단 보조 정보일 수 있다. 출력 진단 보조 정보는 미리 정해진 우선 순위에 따라 선택된 진단 보조 정보일 수 있다. 출력 진단 보조 정보는 좌안 진단 보조 정보 및 우안 진단 보조 중 선택된 기준 진단 보조 정보 및 기준 진단 보조 정보에 맞추어 보정된 나머지 진단 보조 정보일 수 있다. The output diagnosis assistance information may be selected from among left eye assistance and right eye assistance. The output diagnostic assistance information may be diagnostic assistance information selected according to a predetermined priority. The output diagnosis assistance information may be the remaining diagnosis assistance information corrected according to the selected reference diagnosis assistance information and reference diagnosis assistance information among the left eye diagnosis assistance information and the right eye diagnosis assistance.
출력 진단 보조 정보는 좌안 진단 보조 정보 및 우안 진단 보조에 기초하여 생성된 2차 진단 보조 정보일 수 있다. 출력 진단 보조 정보는 좌안 진단 보조 정보 및 우안 진단 보조에 기초하여 생성된 처방 정보, 지시 정보 등일 수 있다. The output diagnosis assistance information may be secondary diagnosis assistance information generated based on the left eye diagnosis assistance information and the right eye diagnosis assistance information. The output diagnosis assistance information may be prescription information, indication information, etc. generated based on the left eye diagnosis assistance information and the right eye diagnosis assistance.
한편, 좌안 진단 보조 정보와 우안 진단 보조 정보가 불일치하는 경우가 있을 수 있다. Meanwhile, there may be a case where left eye diagnosis assistance information and right eye diagnosis assistance information are inconsistent.
예컨대, 좌안 또는 우안 진단 보조 정보가 질병 유무 정보인 경우, 좌안 진단 보조 정보는 피검체가 대상 질병을 보유함을 나타내는 비정상 정보이고, 우안 진단 보조 정보는 피검체가 대상 질병을 보유하지 않음을 나타내는 정상 정보일 수 있다. 또 예컨대, 좌안 또는 우안 진단 보조 정보가 등급 정보인 경우, 좌안 진단 보조 정보는 피검체가 경도 위험군에 속함을 나타내는 B 등급 정보이고, 우안 진단 보조 정보는 피검체가 중등도 위험군에 속함을 나타내는 C 등급 정보일 수 있다. 또 예컨대, 좌안 또는 우안 진단 보조 정보가 점수 정보인 경우, 좌안 진단 보조 정보는 피검체의 심혈관 질병 진단 보조를 위한 점수가 5임을 나타내는 점수 정보이고, 우안 진단 보조 정보는 피검체의 심혈관 질병 진단 보조를 위한 점수가 12임을 나타내는 점수 정보일 수 있다. For example, when the left eye or right eye diagnosis assistance information is disease presence information, the left eye diagnosis assistance information is abnormal information indicating that the subject possesses the target disease, and the right eye diagnosis assistance information indicates that the subject does not possess the target disease. It may be normal information. For example, when the left eye or right eye diagnosis aid information is grade information, the left eye diagnosis aid information is grade B information indicating that the subject belongs to a mild risk group, and the right eye diagnosis aid information is grade C indicating that the subject belongs to a moderate risk group. Information. For example, when the left eye or right eye diagnosis assistance information is score information, the left eye diagnosis aid information is score information indicating that a score for assisting the cardiovascular disease diagnosis of the subject is 5, and the right eye diagnosis aid information is the cardiovascular disease diagnosis aid of the subject. The score information may indicate that a score for 12 is 12.
이하에서는, 위 경우들과 같이 좌안 진단 보조 정보와 우안 진단 보조 정보가 불일치하는 경우를 고려하였을 때, 좌안 진단 보조 정보 및 우안 진단 보조 정보를 고려하여 출력 진단 보조 정보를 결정하는 것을 포함하는 진단 보조 정보를 출력하는 단계(S1107)와 관련하여, 몇몇 실시예를 들어 설명한다.Hereinafter, in consideration of the case where the left eye diagnosis assistance information and the right eye diagnosis assistance information are inconsistent as in the above cases, the diagnosis aid including determining the output diagnosis assistance information in consideration of the left eye diagnosis assistance information and the right eye diagnosis assistance information Regarding the step of outputting information (S1107), some embodiments will be described.
일 예로, 진단 보조 정보를 출력하는 단계(S1107)는, 좌안 진단 보조 정보 및 우안 진단 보조 정보를 비교하는 단계 및 좌안 진단 보조 정보 및 우안 진단 보조 정보의 비교 결과를 고려하여 출력 진단 보조 정보를 결정하는 단계를 포함할 수 있다. For example, in the outputting of the diagnosis assistance information (S1107), the output diagnosis assistance information may be determined by comparing the left eye diagnosis assistance information and the right eye diagnosis assistance information and the comparison result of the left eye diagnosis assistance information and the right eye diagnosis assistance information. It may include the step.
비교 결과를 고려하여 출력 진단 보조 정보를 결정하는 단계는, 좌안 진단 보조 정보 및 우안 진단 보조 정보가 일치하는 경우, 좌안 진단 보조 정보, 우안 진단 보조 정보 또는 좌안 진단 보조 정보와 우안 진단 보조 정보의 중간 정보(중간 값)을 출력 진단 보조 정보로 결정하는 것을 포함할 수 있다.The step of determining the output diagnosis assistant information in consideration of the comparison result may include: when the left eye diagnosis assistant information and the right eye diagnosis assistant information are matched, the middle of the left eye diagnosis assistant information, right eye diagnosis assistant information, or left eye diagnosis assistant information and right eye diagnosis assistant information. Determining information (middle value) as output diagnostic assistance information.
비교 결과를 고려하여 출력 진단 보조 정보를 결정하는 단계는, 좌안 진단 보조 정보 및 우안 진단 보조 정보가 불일치하는 경우, 좌안 진단 보조 정보 및 우안 진단 보조 정보 중 선택된 어느 하나를 출력 진단 보조 정보로 결정하는 것을 포함할 수 있다. 또는, 비교 결과를 고려하여 출력 진단 보조 정보를 결정하는 단계는, 좌안 진단 보조 정보 및 우안 진단 보조 정보가 불일치하는 경우, 좌안 진단 보조 정보 및 우안 진단 보조 정보 중 미리 정해진 우선 순위에 따라 선택된 어느 하나를 출력 진단 보조 정보로 결정하는 것을 포함할 수 있다.The determining of the output diagnosis assistance information in consideration of the comparison result may include determining any one selected from the left eye diagnosis assistance information and the right eye diagnosis assistance information as the output diagnosis assistance information when the left eye diagnosis assistance information and the right eye diagnosis assistance information are inconsistent. It may include. Alternatively, the determining of the output diagnosis assistance information in consideration of the comparison result may include selecting one of the left eye diagnosis assistance information and the right eye diagnosis assistance information according to a predetermined priority when the left eye diagnosis assistance information and the right eye diagnosis assistance information are inconsistent. May be determined as output diagnostic assistance information.
예컨대, 좌안 진단 보조 정보 및 우안 진단 보조 정보가 불일치하는 경우, 좌안 진단 보조 정보 및 우안 진단 보조 정보 중 높은 위험도를 나타내는 정보가 출력 진단 보조 정보로 결정될 수 있다. For example, when the left eye diagnosis assistance information and the right eye diagnosis assistance information do not match, information indicating a high risk among the left eye diagnosis assistance information and the right eye diagnosis assistance information may be determined as the output diagnosis assistance information.
구체적인 예로, 좌안 안저 이미지에 기초하여 획득된 좌안 심혈관 질병 위험도 등급 정보와 우안 안저 이미지에 기초하여 획득된 우안 심혈관 질병 위험도 등급 정보가 일치하는 경우, 그 심혈관 질병 위험도 등급 정보가 출력 진단 보조 정보로 결정되고, 좌안 심혈관 질병 위험도 등급 정보가 우안 심혈관 질병 위험도 등급 정보와 불일치하는 경우, 둘 중 피검체가 보다 위험한 상태임을 나타내는 등급 정보가 출력 진단 보조 정보로 결정될 수 있다. As a specific example, when the left eye cardiovascular disease risk rating information obtained based on the left eye fundus image and the right eye cardiovascular disease risk rating information obtained based on the right eye fundus image match, the cardiovascular disease risk rating information is determined as the output diagnosis assistance information. If the left eye cardiovascular disease risk rating information is inconsistent with the right eye cardiovascular disease risk rating information, the grade information indicating that the subject is more dangerous may be determined as the output diagnosis assistance information.
예컨대, 좌안 심혈관 질병 위험도 등급 정보가 피검체가 정상군에 속함을 나타내는 A 등급 정보이고 우안 심혈관 위험 등급 정보가 피검체가 경도위험군에 속함을 나타내는 B 등급 정보인 경우, 출력되는 진단 보조 정보는 B 등급 정보로 결정될 수 있다.For example, when the left eye cardiovascular disease risk rating information is Class A information indicating that the subject belongs to the normal group and the right eye cardiovascular risk rating information is Class B information indicating that the subject belongs to the mild risk group, the diagnostic assistance information outputted is B It may be determined by the grade information.
다른 구체적인 예로, 좌안 안저 이미지에 기초하여 획득된 좌안 심혈관 질병 유무 정보와 우안 안저 이미지에 기초하여 획득된 우안 심혈관 질병 유무 정보가 일치하는 경우, 그 심혈관 질병 유무 정보를 출력 진단 보조 정보로 결정하고, 좌안 심혈관 질병 유무 정보와 우안 심혈관 질병 유무 정보가 불일치하는 경우에는 피검체가 위험군에 속함을 나타내는 질병 유무 정보를 출력 진단 보조 정보로 결정할 수 있다. As another specific example, when the left eye cardiovascular disease information obtained based on the left eye fundus image and the right eye cardiovascular disease information obtained based on the right eye fundus image match, the cardiovascular disease information is determined as the output diagnosis assistance information. When there is a mismatch between left eye cardiovascular disease information and right eye cardiovascular disease information, disease presence information indicating that a subject belongs to a risk group may be determined as output diagnosis assistance information.
예컨대, 좌안 심혈관 질병 유무 정보는 피검체가 정상군에 속함을 나타내는 정상 정보이고, 우안 심혈관 질병 유무 정보는 피검체가 비정상군에 속함을 나타내는 비정상 정보인 경우, 출력 진단 보조 정보는 비정상 진단 보조 정보로 결정될 수 있다.For example, the left eye cardiovascular disease information is normal information indicating that the subject belongs to the normal group, and the right eye cardiovascular disease information is abnormal information indicating that the subject belongs to the abnormal group, the output diagnosis assistance information is abnormal diagnosis assistance information. Can be determined.
비교 결과를 고려하여 출력 진단 보조 정보를 결정하는 단계는, 좌안 진단 보조 정보 및 우안 진단 보조 정보의 차이가 임계치를 초과하는지 여부를 판단하는 것을 포함할 수 있다. The determining of the output diagnosis assistance information in consideration of the comparison result may include determining whether a difference between the left eye assistance information and the right eye assistance information exceeds a threshold.
비교 결과를 고려하여 출력 진단 보조 정보를 결정하는 단계는, 좌안 진단 보조 정보 및 우안 진단 보조 정보의 차이가 임계치를 초과하는 경우, 좌안 진단 보조 정보 및 우안 진단 보조 정보가 불일치하는 경우와 동일하게 취급할 수 있다. 비교 결과를 고려하여 출력 진단 보조 정보를 결정하는 단계는, 좌안 진단 보조 정보 및 우안 진단 보조 정보의 차이가 임계치를 초과하는 경우, 좌안 진단 보조 정보 및 우안 진단 보조 정보 중 선택된 어느 하나를 출력 진단 보조 정보로 결정하는 것을 포함할 수 있다.The step of determining the output diagnosis assistance information in consideration of the comparison result is the same as the case where the left eye assistance information and the right eye assistance information are inconsistent when the difference between the left eye diagnosis information and the right eye diagnosis assistance information exceeds a threshold. can do. The step of determining the output diagnosis assistance information in consideration of the comparison result may include outputting any one selected from the left eye diagnosis assistance information and the right eye diagnosis assistance information when the difference between the left eye diagnosis assistance information and the right eye diagnosis assistance information exceeds a threshold. May include determining with information.
비교 결과를 고려하여 출력 진단 보조 정보를 결정하는 단계는, 좌안 진단 보조 정보 및 우안 진단 보조 정보의 차이가 임계치를 초과하지 않는 경우, 좌안 진단 보조 정보 및 우안 진단 보조 정보가 일치하는 경우와 동일하게 취급할 수 있다. 비교 결과를 고려하여 출력 진단 보조 정보를 결정하는 단계는, 좌안 진단 보조 정보 및 우안 진단 보조 정보의 차이가 임계치를 초과하지 않는 경우, 좌안 진단 보조 정보, 우안 진단 보조 정보 또는 좌안 진단 보조 정보와 우안 진단 보조 정보의 중간 정보(중간 값)을 출력 진단 보조 정보로 결정하는 것을 포함할 수 있다.The step of determining the output diagnosis assistance information in consideration of the comparison result is the same as the case where the left eye diagnosis assistance information and the right eye diagnosis assistance information match when the difference between the left eye diagnosis assistance information and the right eye diagnosis assistance information does not exceed a threshold. Can handle The step of determining the output diagnosis assistance information in consideration of the comparison result may include: when the difference between the left eye diagnosis aid information and the right eye diagnosis aid information does not exceed a threshold value, the left eye diagnosis aid information, the right eye diagnosis aid information, or the left eye diagnosis aid information and the right eye. And determining the intermediate information (median value) of the diagnostic assistance information as output diagnostic assistance information.
다른 예로, 진단 보조 정보를 출력하는 단계(S1107)는, 좌안 진단 보조 정보 및 우안 진단 보조 정보가 매칭되는지 판단하는 단계 및 판단 결과에 기초하여 출력 진단 보조 정보를 결정하는 단계를 포함할 수 있다.As another example, the step of outputting the diagnosis assistance information (S1107) may include determining whether the left eye diagnosis assistance information and the right eye diagnosis assistance information match, and determining the output diagnosis assistance information based on the determination result.
판단 결과에 기초하여 출력 진단 보조 정보를 결정하는 단계는, 좌안 진단 보조 정보 및 우안 진단 보조 정보가 매칭되는 경우, 그 진단 보조 정보를 출력 진단 보조 정보로 결정하는 것을 포함할 수 있다. 또는, 판단 결과에 기초하여 출력 진단 보조 정보를 결정하는 단계는, 좌안 진단 보조 정보 및 우안 진단 보조 정보가 매칭되는 경우, 좌안 진단 보조 정보, 우안 진단 보조 정보 또는 좌안 진단 보조 정보와 우안 진단 보조 정보의 중간 정보(중간 값)을 출력 진단 보조 정보로 결정하는 것을 포함할 수 있다. 또는, 판단 결과에 기초하여 출력 진단 보조 정보를 결정하는 단계는, 좌안 진단 보조 정보 및 우안 진단 보조 정보가 매칭되는 경우, 좌안 진단 보조 정보 및 우안 진단 보조 정보 중 최대값을 가지는 정보 또는 최소값을 가지는 정보를 출력 진단 보조 정보로 결정하는 것을 포함할 수 있다.The determining of the output diagnosis assistance information based on the determination result may include determining the diagnosis assistance information as the output diagnosis assistance information when the left eye diagnosis assistance information and the right eye diagnosis assistance information match. Alternatively, the determining of the output diagnosis assistance information based on the determination result may include: when the left eye diagnosis assistance information and the right eye diagnosis assistance information match, the left eye diagnosis assistance information, the right eye diagnosis assistance information, or the left eye diagnosis assistance information and the right eye diagnosis assistance information. And determining the intermediate information (intermediate value) of the output diagnostic assistance information. Alternatively, the determining of the output diagnosis assistance information based on the determination result may include: when the left eye assistance information and the right eye assistance information are matched, information having the maximum value or the minimum value among the left eye diagnosis assistance information and the right eye diagnosis assistance information is included. Determining the information as output diagnostic assistance information.
판단 결과에 기초하여 출력 진단 보조 정보를 결정하는 단계는, 좌안 진단 보조 정보 및 우안 진단 보조 정보가 매칭되지 않는 경우, 좌안 진단 보조 정보, 우안 진단 보조 정보 또는 좌안 진단 보조 정보와 우안 진단 보조 정보의 중간 정보(중간 값 또는 평균 값)을 출력 진단 보조 정보로 결정하는 것을 포함할 수 있다. 판단 결과에 기초하여 출력 진단 보조 정보를 결정하는 단계는, 좌안 진단 보조 정보 및 우안 진단 보조 정보가 매칭되지 않는 경우, 좌안 진단 보조 정보 및 우안 진단 보조 정보 중 최대값을 가지는 정보 또는 최소값을 가지는 정보를 출력 진단 보조 정보로 결정하는 것을 포함할 수 있다.The step of determining the output diagnosis assistance information based on the determination result may include determining whether left eye diagnosis assistance information, right eye diagnosis assistance information, or left eye diagnosis assistance information and right eye diagnosis assistance information are not matched. Determining intermediate information (median value or average value) as output diagnostic assistance information. Determining the output diagnosis assistance information based on the determination result, when the left eye diagnosis assistance information and the right eye diagnosis assistance information does not match, information having the maximum value or information having the minimum value among the left eye diagnosis assistance information and the right eye diagnosis assistance information May be determined as output diagnostic assistance information.
판단 결과에 기초하여 출력 진단 보조 정보를 결정하는 단계는, 좌안 진단 보조 정보 및 우안 진단 보조 정보가 매칭되지 않는 경우, 좌안 진단 보조 정보 및 우안 진단 보조 정보 중 선택된 어느 하나를 출력 진단 보조 정보로 결정하는 것을 포함할 수 있다. 예컨대, 좌안 진단 보조 정보 및 우안 진단 보조 정보가 매칭되지 않는 경우, 좌안 진단 보조 정보 및 우안 진단 보조 정보 중 높은 위험도를 나타내는 정보가 출력 진단 보조 정보로 결정될 수 있다.In the determining of the output diagnosis assistance information based on the determination result, when the left eye diagnosis assistance information and the right eye diagnosis assistance information do not match, the selected one of the left eye diagnosis assistance information and the right eye diagnosis assistance information is determined as the output diagnosis assistance information. It may include doing. For example, when the left eye diagnosis assistance information and the right eye diagnosis assistance information do not match, information indicating a high risk among the left eye diagnosis assistance information and the right eye diagnosis assistance information may be determined as the output diagnosis assistance information.
구체적인 예로, 좌안 진단 보조 정보가 피검체의 좌안 이미지에 기초하여 획득된 심혈관 질병 진단 보조 점수를 나타내는 좌안 점수 정보와 우안 진단 보조 정보가 피검체의 우안 이미지에 기초하여 획득된 심혈관 질병 진단 보조 점수를 나타내는 우안 점수 정보가 매칭되는 경우, 우안 점수 정보, 좌안 점수 정보 또는 우안 점수 정보와 좌안 점수 정보의 평균값이 출력 점수 정보로 결정될 수 있다. 우안 점수 정보와 좌안 점수 정보가 매칭되지 않는 경우, 보다 위험도가 높음을 나타내는 점수 정보가 출력 점수 정보로 결정될 수 있다.As a specific example, the left eye score information indicating the cardiovascular disease diagnosis score obtained based on the left eye image of the subject and the left eye score information representing the cardiovascular disease diagnosis score obtained based on the right eye image of the subject are obtained. When the right eye score information is matched, the average value of the right eye score information, the left eye score information, or the right eye score information and the left eye score information may be determined as output score information. When the right eye score information and the left eye score information do not match, score information indicating a higher risk may be determined as output score information.
우안 점수 정보와 좌안 점수 정보의 매칭 여부는 미리 정해진 기준에 따라 결정될 수 있다. 예컨대, 우안 점수 정보와 좌안 점수 정보의 매칭 여부를 판단하는 것은, 도 32에서 도시하는 것과 같은 등급-점수 관계 테이블을 이용하여, 좌안 점수 정보와 우안 점수 정보가 같은 등급에 매칭되는 경우 좌안 점수 정보와 우안 점수 정보는 매칭되는 것으로 판단하고, 우안 점수 정보와 좌안 점수 정보가 다른 등급에 매칭되는 경우, 우안 점수 정보와 좌안 점수 정보는 매칭되지 않는 것으로 판단하는 것을 포함할 수 있다.Whether the right eye score information and the left eye score information match may be determined according to a predetermined criterion. For example, determining whether the right eye score information and the left eye score information match is performed by using a grade-score relationship table as shown in FIG. 32, when the left eye score information and the right eye score information match the same grade, the left eye score information. And the right eye score information may be determined to be matched, and when the right eye score information and the left eye score information match different grades, the right eye score information and the left eye score information may be determined not to match.
위 실시예들에서는, 피검체에 대하여 보다 안정적인 진단 보조 결과를 제공하기 위하여, 좌안에서 나타내는 정보와 우안에서 나타내는 정보가 불일치하는 경우에, 보다 위험도가 높음을 나타내는 정보를 선택하여 출력하는 경우들을 기준으로 설명하였으나, 본 명세서에 따른 발명에 이에 한정되는 것은 아니다. 예컨대, 정밀 검사가 복잡하거나 신경망 모델을 통한 판단 시 실제보다 위험도가 높은 것으로 판단되는 경향성이 있는 경우에는, 보다 저위험을 나타내는 진단 보조 정보가 출력 진단 보조로 결정 및 출력될 수도 있다.In the above embodiments, in order to provide a more stable diagnostic assistance result for the subject, when information shown in the left eye and information in the right eye are inconsistent, information indicating higher risk is selected and output. Although described as, but is not limited to the invention according to the present specification. For example, when the inspection is complicated or when the neural network model has a tendency to be determined to be higher than the actual risk, diagnostic assistant information indicating a lower risk may be determined and output as the output diagnosis assistant.
도 72는 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다. 72 is a view to explain a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention.
도 72를 참조하면, 72A는 데이터 획득 모듈(또는 진단 요청 획득 모듈)의 동작을 설명하기 위한 흐름도이다. 72B는 양안 진단 보조 모듈의 동작을 설명하기 위한 흐름도이다. 72C은 양안 진단 보조 정보 출력 모듈의 동작을 설명하기 위한 흐름도이다. 다만, 72A 내지 72C 에서 나타내는 동작들은 반드시 위에 설명된 모듈에 의해 수행되어야 하는 것은 아니다. 예를 들어, 72A 내지 72C 에서 나타내는 동작들은 하나의 모듈, 예컨대 양안 진단 보조 모듈, 진단 장치의 프로세서 또는 제어부 등에서 수행될 수도 있다.Referring to FIG. 72, 72A is a flowchart for describing an operation of a data acquisition module (or a diagnostic request acquisition module). 72B is a flowchart for explaining the operation of the binocular diagnostic assistance module. 72C is a flowchart for explaining the operation of the binocular diagnostic assistance information output module. However, operations shown in 72A to 72C are not necessarily to be performed by the module described above. For example, the operations shown in 72A to 72C may be performed in one module, for example, a binocular diagnostic assistance module, a processor or a controller of the diagnostic apparatus.
도 72를 참조하면, 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법은 양안 진단 대상 이미지를 획득하는 단계(S1201), 양안 진단 보조 정보를 획득하는 단계(S1203) 및 진단 보조 정보를 출력하는 단계(S1205)를 포함할 수 있다. 도 72와 관련하여 설명하는 심혈관 질병의 전부 또는 일부는 진단 보조 방법은, 진단 장치가 좌안 진단 모드, 우안 진단 모드 또는 양안 진단 모드일 때 수행될 수 있다.Referring to FIG. 72, in the diagnosis assisting method of a cardiovascular disease according to an embodiment of the present invention, the method may include obtaining binocular diagnosis target images (S1201), acquiring binocular diagnosis assistance information (S1203), and outputting diagnosis assistance information. It may include the step (S1205). All or part of the cardiovascular disease described in connection with FIG. 72 may be performed when the diagnosis apparatus is in the left eye diagnosis mode, the right eye diagnosis mode, or the binocular diagnosis mode.
양안 진단 대상 이미지를 획득하는 단계(S1201)는 피검체의 좌안 안저 이미지 및 우안 안저 이미지를 포함하는 양안 진단 요청을 획득하는 것을 포함할 수 있다. Acquiring a binocular diagnosis target image (S1201) may include obtaining a binocular diagnosis request including a left eye fundus image and a right eye fundus image of a subject.
양안 진단 보조 정보를 획득하는 단계(S1203)는 양안 안저 이미지를 입력으로 하여 심혈관 질병 진단 보조 정보를 출력하도록 학습된 양안 진단 보조 신경망 모델을 이용하여, 대상 양안 안저 이미지로부터 피검체에 대한 심혈관 질병 진단 보조 정보를 획득하는 것을 포함할 수 있다. 양안 진단 보조 신경망 모델은, 서로 매칭된(다시 말해, 동일인의 동일 시기에 촬상된) 좌안 안저 이미지 및 우안 안저 이미지를 포함하는 양안 대상 안저 이미지를 입력으로 하여 피검체의 심혈관 질병 진단 보조 정보를 출력하도록 학습된 신경망 모델일 수 있다. 양안 진단 보조 정보를 획득하는 단계(S1203)는 학습된 양안 진단 보조 신경망 모델을 이용하여, 대상 양안 안저 이미지에 따른 양안 심혈관 질병 진단 보조 정보, 예컨대, 양안 칼슘 정보, 양안 등급 정보 또는 양안 질병 유무 정보를 획득하는 것을 포함할 수 있다.Acquiring binocular diagnosis assistance information (S1203) is a cardiovascular disease diagnosis for a subject from a target binocular fundus image by using a binocular diagnosis aid neural network model trained to output cardiovascular disease diagnosis aid information by inputting binocular fundus images. Obtaining assistance information. The binocular diagnosis assisted neural network model outputs assistance information for cardiovascular disease diagnosis of a subject by inputting a binocular target fundus image including a left eye fundus image and a right eye fundus image matched with each other (that is, captured at the same time of the same person). It can be a neural network model trained to. Acquiring the binocular diagnosis assistance information (S1203) is a binocular cardiovascular disease diagnosis aid information, for example, binocular calcium information, binocular grade information or binocular disease presence information according to the target binocular fundus image using the trained binocular diagnosing neural network model It may include acquiring.
진단 보조 정보를 출력하는 단계(S1305)는 획득된 양안 진단 보조 정보 또는 양안 진단 보조 정보에 기초하여 획득된 2차 정보를 출력하는 것을 포함할 수 있다. 진단 보조 정보의 출력은 본 명세서에서 전술한 것과 유사하게 수행될 수 있다.The step of outputting the diagnosis assistance information (S1305) may include outputting the obtained secondary information based on the obtained binocular diagnosis assistance information or the binocular diagnosis assistance information. The output of the diagnostic assistance information can be performed similar to that described above in this specification.
도 73은 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법을 설명하기 위한 도면이다. 73 is a view illustrating a method for assisting diagnosis of cardiovascular disease according to an embodiment of the present invention.
도 73의 73A는 데이터 획득 모듈(또는 진단 요청 획득 모듈)의 동작의 일 예를 설명하기 위한 흐름도이다. 73B은 좌안 진단 보조 모듈의 동작의 일 예를 설명하기 위한 흐름도이다. 73C는 우안 진단 보조 모듈의 동작의 일 예를 설명하기 위한 흐름도이다. 73D는 양안 진단 보조 정보 출력 모듈의 동작의 일 예를 설명하기 위한 흐름도이다. 다만, 73A 내지 73D 에서 나타내는 동작들은 반드시 위에 설명된 모듈에 의해 수행되어야 하는 것은 아니다. 예를 들어, 73A 내지 73C 에서 나타내는 동작들은 하나의 모듈, 예컨대 양안 진단 보조 모듈, 진단 장치의 프로세서 또는 제어부 등에서 수행될 수도 있다.73A of FIG. 73 is a flowchart for explaining an example of an operation of a data acquisition module (or a diagnostic request acquisition module). 73B is a flowchart for explaining an example of the operation of the left eye diagnostic assistance module. 73C is a flowchart for explaining an example of the operation of the right eye diagnosis assistance module. 73D is a flowchart for explaining an example of an operation of the binocular diagnostic assistance information output module. However, operations shown in 73A to 73D are not necessarily to be performed by the module described above. For example, the operations shown in 73A to 73C may be performed by one module, for example, a binocular diagnostic assistance module, a processor or a controller of the diagnostic apparatus.
도 73을 참조하면, 본 발명의 일 실시예에 따른 심혈관 질병의 진단 보조 방법은 양안 진단 대상 이미지를 획득하는 단계(S1301), 좌안 진단 보조 정보를 획득하는 단계(S1303), 우안 진단 보조 정보를 획득하는 단계(S1305) 및 진단 보조 정보를 출력하는 단계(S1307)를 포함할 수 있다. 도 73과 관련하여 설명하는 심혈관 질병의 전부 또는 일부는 진단 보조 방법은, 진단 장치가 좌안 진단 모드, 우안 진단 모드 또는 양안 진단 모드일 때 수행될 수 있다.Referring to FIG. 73, in the method for diagnosing cardiovascular disease according to an embodiment of the present invention, the method may include obtaining a binocular diagnosis target image (S1301), acquiring left eye diagnosis assistant information (S1303), and right eye diagnosis assistance information. The method may include acquiring (S1305) and outputting diagnostic assistance information (S1307). All or part of the cardiovascular disease described in connection with FIG. 73 may be performed when the diagnosis assisting apparatus is in a left eye diagnosis mode, a right eye diagnosis mode, or a binocular diagnosis mode.
양안 진단 대상 이미지를 획득하는 단계(S1301)는 좌안 안저 이미지 및 우안 안저 이미지를 획득하는 것을 포함할 수 있다. 양안 진단 대상 이미지를 획득하는 단계(S1301)는 좌안 안저 이미지에 대한 진단 요청 및/또는 우안 안저 이미지에 대한 진단 요청을 획득하는 것을 포함할 수 있다. Acquiring a binocular diagnosis target image (S1301) may include acquiring a left eye fundus image and a right eye fundus image. Obtaining a binocular diagnosis target image (S1301) may include obtaining a diagnosis request for the left eye fundus image and / or a diagnosis request for the right eye fundus image.
좌안 진단 보조 정보를 획득하는 단계(S1303)는 좌안 안저 이미지에 따른 심혈관 질병 진단 보조 정보를 출력하도록 학습된 좌안 진단 보조 신경망 모델을 이용하여, 좌안 대상 안저 이미지에 대한 심혈관 질병 진단 보조 정보, 예컨대, 양안 칼슘 정보, 양안 등급 정보 또는 양안 질병 유무 정보를 획득하는 것을 포함할 수 있다. 예컨대, 좌안 진단 보조 정보를 획득하는 단계(S1303)는 좌안 진단 보조 신경망 모델을 이용하여, 좌안 대상 안저 이미지에 대한 칼슘 점수 정보를 획득하는 것을 포함할 수 있다. Acquiring the left eye diagnosis assistance information (S1303), using the left eye diagnosis neural network model trained to output cardiovascular disease diagnosis aid information according to the left eye fundus image, cardiovascular disease diagnosis aid information for the left eye fundus image, for example, It may include obtaining binocular calcium information, binocular grade information or binocular disease presence information. For example, the step S1303 of acquiring the left eye diagnosis assistance information may include obtaining calcium score information on the left eye subject fundus image using the left eye diagnosis assistance neural network model.
우안 진단 보조 정보를 획득하는 단계(S1305)는 우안 안저 이미지에 따른 심혈관 질병 진단 보조 정보를 출력하도록 학습된 우안 진단 보조 신경망 모델을 이용하여, 획득된 우안 대상 안저 이미지에 대한 심혈관 질병 진단 보조 정보, 예컨대, 양안 칼슘 정보, 양안 등급 정보 또는 양안 질병 유무 정보를 획득하는 것을 포함할 수 있다. 예컨대, 우안 진단 보조 정보를 획득하는 단계(S1103)는 우안 진단 보조 신경망 모델을 이용하여, 획득된 우안 대상 안저 이미지에 대한 칼슘 점수 정보를 획득하는 것을 포함할 수 있다.Acquiring the right eye diagnosis assistance information (S1305), the cardiovascular disease diagnosis aid information for the acquired right eye fundus image using the right eye diagnosis aid neural network model trained to output cardiovascular disease diagnosis aid information according to the right eye fundus image, For example, the method may include obtaining binocular calcium information, binocular grade information, or binocular disease presence information. For example, the step of obtaining right eye diagnosis assistance information (S1103) may include obtaining calcium score information on the acquired right eye fundus image using the right eye diagnosis neural network model.
좌안 진단 보조 정보를 획득하는 단계(S1303) 및 우안 진단 보조 정보를 획득하는 단계(S1305)는 병렬적으로 수행될 수 있다. 좌안 진단 보조 신경망 모델 및 우안 진단 보조 신경망 모델은 병렬적으로 마련되고 이용될 수 있다. 좌안 진단 보조 신경망 모델 및 우안 진단 보조 신경망 모델을 이용한 심혈관 질병의 병렬 진단 보조와 관련하여, 전술한 병렬 진단 보조 시스템 등에 관한 내용이 적용될 수 있다.Acquiring left eye diagnosis assistance information (S1303) and acquiring right eye diagnosis assistance information (S1305) may be performed in parallel. The left eye diagnostic neural network model and the right eye diagnostic neural network model may be prepared and used in parallel. With respect to parallel diagnosis assistance of cardiovascular disease using the left eye diagnosis neural network model and the right eye diagnosis neural network model, the above-described information regarding the parallel diagnosis assistance system and the like may be applied.
진단 보조 정보를 출력하는 단계(S1307)는 좌안 진단 보조 정보 및 우안 진단 보조 정보 또는 좌안 진단 보조 정보 및 우안 진단 보조 정보에 기초하여 생성된 2차 정보를 출력하는 것을 포함할 수 있다. The step of outputting the diagnosis assistance information (S1307) may include outputting secondary information generated based on the left eye diagnosis assistance information and the right eye diagnosis assistance information or the left eye diagnosis assistance information and the right eye diagnosis assistance information.
좌안 진단 보조 정보와 우안 진단 보조 정보가 불일치하는 경우가 있을 수 있다. 좌안 진단 보조 정보와 우안 진단 보조 정보가 불일치하는 경우의 진단 보조 정보를 출력하는 단계(S1307)는 도 71과 관련하여 전술한 진단 보조 정보를 출력하는 단계(S1107)과 유사하게 구현될 수 있다.There may be a case where left eye diagnosis assistance information and right eye diagnosis assistance information are inconsistent. The step S1307 of outputting the diagnosis assistant information when the left eye diagnosis assistant information and the right eye diagnosis assistant information are inconsistent may be implemented similarly to the step S1107 of outputting the diagnosis assistant information described above with reference to FIG. 71.
2.5.6 양안 진단 보조 정보의 제공2.5.6 Provision of binocular diagnostic assistance information
양안 이미지에 기초하여 획득된 진단 보조 정보는 사용자에게 제공될 수 있다. 클라이언트 장치, 모바일 장치 또는 진단 장치는 진단 보조 정보를 사용자에게 제공할 수 있다. 진단 보조 정보는 사용자 인터페이스를 통하여 사용자에게 제공될 수 있다. Diagnostic assistance information obtained based on the binocular image may be provided to the user. The client device, mobile device or diagnostic device may provide diagnostic assistance information to the user. Diagnostic assistance information may be provided to a user through a user interface.
진단 보조 정보가 좌안 진단 보조 정보 및 우안 진단 보조 정보를 포함하는 경우, 각각의 진단 보조 정보가 사용자에게 제공될 수 있다. 일 예로, 사용자 인터페이스는 좌안 정보 표시부 및 우안 정보 표시부를 포함하고, 클라이언트 장치는 좌안 정보 표시부를 통하여 좌안 진단 정보를 출력하고 우안 정보 표시부를 통하여 우안 진단 정보를 출력할 수 있다. When the diagnosis assistance information includes the left eye diagnosis assistance information and the right eye diagnosis assistance information, each diagnosis assistance information may be provided to the user. For example, the user interface may include a left eye information display unit and a right eye information display unit, and the client device may output left eye diagnosis information through the left eye information display unit and output right eye diagnosis information through the right eye information display unit.
본 발명의 일 실시예에 따르면, 신경망 모델을 통하여 획득된 양안 진단 보조 정보, 양안 진단 보조 정보에 기초하여 획득된 출력 진단 보조 정보 또는 양안 진단 보조 정보 또는 출력 진단 보조 정보에 기초하여 획득된 2차 정보가 사용자에게 제공될 수 있다. According to an embodiment of the present invention, the binocular diagnostic assistance information obtained through the neural network model, the output diagnosis assistance information obtained based on the binocular diagnosis assistance information, or the secondary obtained based on the binocular diagnosis assistance information or the output diagnosis assistance information. Information can be provided to the user.
사용자에게 제공되는 양안 진단 보조 정보는, 좌안 안저 이미지에 기초하여 획득된 좌안 진단 보조 정보, 우안 안저 이미지에 기초하여 획득된 우안 진단 보조 정보 또는 양안 안저 이미지(또는 양안 합성 이미지 또는 양안 합성 데이터)에 기초하여 획득된 양안 진단 보조 정보일 수 있다. 예컨대, 양안 진단 보조 정보는, 좌안 안저 이미지에 기초하여 획득되고 심혈관 질병의 위험도를 나타내는 좌안 질병 유무 정보, 좌안 등급 정보 또는 좌안 점수 정보를 포함할 수 있다. 또 예컨대, 양안 진단 보조 정보는, 우안 안저 이미지에 기초하여 획득되고 심혈관 질병의 위험도를 나타내는 우안 질병 유무 정보, 우안 등급 정보 또는 우안 점수 정보일 수 있다.The binocular diagnosis assistance information provided to the user may be included in the left eye diagnosis aid information obtained based on the left eye fundus image, the right eye diagnosis aid information obtained based on the right eye fundus image, or the binocular fundus image (or the binocular compound image or the binocular compound data). It may be binocular diagnostic assistance information obtained based on. For example, the binocular diagnosis assistance information may include left eye disease presence information, left eye rating information, or left eye score information obtained based on the left eye fundus image and indicating a risk of cardiovascular disease. In addition, for example, the binocular diagnosis assistance information may be right eye disease presence information, right eye grade information, or right eye score information obtained based on the right eye fundus image and indicating a risk of cardiovascular disease.
사용자에게 제공되는 출력 진단 보조 정보는, 좌안 진단 보조 정보 및 우안 진단 보조 정보에 기초하여 획득된 출력 진단 보조 정보일 수 있다. 출력 진단 보조 정보는, 좌안 진단 보조 정보, 우안 진단 보조 정보 또는 좌안 진단 보조 정보 및 우안 진단 보조 정보의 중간 정보(또는 중간 값)일 수 있다. 출력 진단 보조 정보는, 좌안 진단 보조 정보 및 우안 진단 보조 정보 중 선택된 정보일 수 있다. 출력 진단 보조 정보는, 좌안 진단 보조 정보 및 우안 진단 보조 정보 중 선택된 기준 정보 및 보정된 나머지 정보를 포함할 수 있다.The output diagnosis assistance information provided to the user may be output diagnosis assistance information obtained based on the left eye diagnosis assistance information and the right eye diagnosis assistance information. The output diagnosis assistance information may be intermediate information (or intermediate value) of left eye diagnosis assistance information, right eye diagnosis assistance information or left eye diagnosis assistance information, and right eye diagnosis assistance information. The output diagnosis assistance information may be information selected from left eye diagnosis assistance information and right eye diagnosis assistance information. The output diagnosis assistance information may include selected reference information among the left eye diagnosis assistance information and the right eye diagnosis assistance information and the remaining corrected information.
사용자에게 제공되는 2차 정보는, 좌안 진단 보조 정보, 우안 진단 보조 정보 및/또는 양안 진단 보조 정보에 기초하여 획득된 2차 정보일 수 있다. 2차 정보(또는 추가 정보)는, 처방 정보, 지시 정보 또는 CAM 등을 포함할 수 있다. 2차 정보와 관련하여서는 본 명세서에서 전술한 내용이 적용될 수 있다.The secondary information provided to the user may be secondary information obtained based on left eye diagnosis assistance information, right eye diagnosis assistance information, and / or binocular diagnosis assistance information. Secondary information (or additional information) may include prescription information, indication information or CAM. With regard to the secondary information, the above description may be applied herein.
양안 별 추가 정보가 제공될 수 있다. 예컨대, 좌안에 기초하여 획득된 좌안 진단 보조 정보로부터 획득된 좌안 추가 정보 및 우안에 기초하여 획득된 우안 진단 보조 정보로부터 획득된 우안 추가 정보가 제공될 수도 있다. 추가 정보는 사용자 인터페이스를 통하여 제공될 수 있다. 예컨대, 클라이언트 장치는 사용자 인터페이스의 좌안 정보 표시부를 통하여 좌안 추가 정보를 출력하고, 우안 정보 표시부를 통하여 우안 추가 정보를 출력할 수 있다. Additional information may be provided for each binocular. For example, left eye additional information obtained from the left eye diagnosis assistance information obtained based on the left eye and right eye additional information obtained from the right eye diagnosis assistance information obtained based on the right eye may be provided. Additional information may be provided via the user interface. For example, the client device may output left eye additional information through the left eye information display unit of the user interface and output right eye additional information through the right eye information display unit.
일 실시예에 따르면, 좌안 진단 보조 정보 및 우안 진단 보조 정보의 차이가 임계치를 초과하는 경우, 좌안 진단 보조 정보, 우안 진단 보조 정보 및 사용자에게 비정상적 차이가 발생하였음을 나타내는 안내가 함께 출력될 수 있다. According to an embodiment, when the difference between the left eye diagnosis assistance information and the right eye diagnosis assistance information exceeds a threshold, the left eye diagnosis assistance information, the right eye diagnosis assistance information, and a guide indicating that an abnormal difference has occurred to the user may be output together. .
예컨대, 좌안에 기초하여 획득된 칼슘 점수를 나타내는 좌안 점수 정보와 우안에 기초하여 획득된 칼슘 점수 정보를 나타내는 우안 점수 정보의 차이가 기준 차이를 초과하는 경우, 클라이언트 장치는 좌안 점수 정보, 우안 점수 정보 및 양안으로부터 얻어진 점수 정보가 비정상적으로 큼을 나타내는 안내를 함께 출력할 수 있다. 예컨대, 클라이언트 장치는, 좌안 점수 정보가 우안 점수 정보보다 큰 경우, 좌안 점수 정보, 우안 점수 정보 및 좌안 점수 정보를 강조하는 시각 효과를 함께 출력할 수 있다.For example, when the difference between the left eye score information indicating the calcium score obtained based on the left eye and the right eye score information indicating the calcium score information obtained based on the right eye exceeds the reference difference, the client device determines the left eye score information and the right eye score information. And a guide indicating that the score information obtained from both eyes is abnormally large. For example, if the left eye score information is greater than the right eye score information, the client device may output a visual effect for emphasizing the left eye score information, the right eye score information, and the left eye score information.
또 예컨대, 클라이언트 장치는, 좌안으로부터 획득된 심혈관 질병 진단 보조 정보(예컨대, 좌안 칼슘 정보)가 우안으로부터 획득된 심혈관 질병 진단 보조 정보에 비하여 월등히 큰 경우, 피검체의 좌안과 관련된 순환계에 비정상 상태가 발생하였음을 알리는 안내를 출력할 수 있다. 예컨대, 클라이언트 장치는, 좌안과 연결된 혈관에 경화, 협착 또는 혈전 등의 이상 징후가 있을 수 있음을 나타내는 안내를 출력할 수 있다. Also, for example, when the cardiovascular disease diagnosis assistance information (eg, left eye calcium information) obtained from the left eye is significantly larger than the cardiovascular disease diagnosis assistance information obtained from the right eye, the client device may have an abnormal state in the circulatory system associated with the left eye of the subject. A guide indicating that the occurrence can be output. For example, the client device may output a guidance indicating that there may be an abnormality in the blood vessel connected with the left eye, such as hardening, narrowing, or thrombus.
이상에서는, 안저 이미지의 품질 판단 또는 적합성 판단 방법을 데이터 베이스 구축, 신경망 모델의 학습 및 신경망 모델의 구동에 적용하는 경우를 기준으로 설명하였으나, 본 명세서에서 개시하는 발명의 내용이 이에 한정되는 것은 아니다. 안저 이미지가 아닌 이미지의 경우라도, 이미지에 소정 영역에 흠결이 발생할 수 있고, 이미지에 기초하여 소정의 정보가 획득되는 경우, 본 명세서에서 개시하는 발명의 내용이 유추 적용될 수 있다.In the above description, the quality judgment or suitability determination method of the fundus image has been described based on a case of applying the database construction, the neural network model learning, and the driving of the neural network model, but the content of the invention disclosed herein is not limited thereto. . Even in the case of an image other than a fundus image, defects may occur in a predetermined region in the image, and when predetermined information is obtained based on the image, the contents of the present disclosure disclosed herein may be inferred.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described by the limited embodiments and the drawings as described above, various modifications and variations are possible to those skilled in the art from the above description. For example, the described techniques may be performed in a different order than the described method, and / or components of the described systems, structures, devices, circuits, etc. may be combined or combined in a different form than the described method, or other components. Or even if replaced or substituted by equivalents, an appropriate result can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are within the scope of the claims that follow.
Claims (23)
피검체의 대상 좌안 안저 이미지 및 대상 우안 안저 이미지를 획득하는 단계;
상기 안저 이미지에 기초하여 심혈관 질병 진단 보조 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델을 이용하여, 상기 대상 좌안 안저 이미지에 따른 좌안 심혈관 질병 진단 보조 정보 및 상기 대상 우안 안저 이미지에 따른 우안 심혈관 질병 진단 보조 정보를 획득하는 단계; 및
상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보를 고려하여 생성된 양안 심혈관 질병 진단 보조 정보를 출력하는 단계; 를 포함하되,
상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보는, 상기 대상 심혈관 질병 진단에 이용되는 점수 정보, 상기 대상 심혈관 질병의 위험도를 나타내는 복수의 등급 중 선택된 등급을 포함하는 등급 정보 및 상기 피검체의 상기 대상 심혈관 질병의 위험군 해당 여부를 나타내는 위험 정보 중 적어도 하나를 포함하는,
심혈관 질병의 진단 보조 방법.
In the method for assisting the diagnosis of the target cardiovascular disease using the fundus image,
Obtaining a subject left eye fundus image and a subject right eye fundus image of the subject;
Cardiovascular disease diagnosis assistance information for acquiring cardiovascular disease diagnosis assistance information based on the fundus image, and the right eye cardiovascular disease diagnosis assistance information according to the left eye fundus image and the right eye fundus image diagnosis aid according to the right eye fundus image Obtaining information; And
Outputting binocular cardiovascular disease diagnosis assistance information generated in consideration of the left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information; Including,
The left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information include score information used for diagnosing the target cardiovascular disease, grade information including a selected grade among a plurality of grades indicating a risk of the target cardiovascular disease, and the blood At least one of the risk information indicating whether the subject is a risk group of the target cardiovascular disease,
Assisted method of diagnosis of cardiovascular diseases.
상기 양안 심혈관 질병 진단 보조 정보를 출력하는 단계는,
상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보가 매칭되는지 판단하는 단계; 및
상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보의 매칭 여부에 따라 결정된 상기 양안 심혈관 질병 진단 보조 정보를 출력하는 단계; 를 포함하는
심혈관 질병의 진단 보조 방법.
The method of claim 1,
Outputting the binocular cardiovascular disease diagnosis assistance information,
Determining whether the left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information match; And
Outputting the binocular cardiovascular disease diagnosis assistance information determined according to whether the left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information are matched; Containing
Assisted method of diagnosis of cardiovascular diseases.
상기 결정된 양안 심혈관 질병 진단 보조 정보를 출력하는 단계는,
상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보가 매칭되는 경우, 상기 좌안 심혈관 질병 진단 보조 정보, 상기 우안 심혈관 질병 진단 보조 정보 또는 상기 좌안 심혈관 질병 진단 보조 정보와 상기 우안 심혈관 질병 진단 보조 정보의 중간 정보로 결정된 상기 양안 심혈관 질병 진단 보조 정보를 출력하는 것을 포함하는
심혈관 질병의 진단 보조 방법.
The method of claim 2,
Outputting the determined binocular cardiovascular disease diagnosis assistance information,
When the left eye cardiovascular disease assistance information and the right eye cardiovascular disease assistance information match, the left eye cardiovascular disease assistance information, the right eye cardiovascular disease assistance information or the left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance Outputting the binocular cardiovascular disease diagnosis assistance information determined as intermediate information of the information.
Assisted method of diagnosis of cardiovascular diseases.
상기 결정된 양안 심혈관 질병 진단 보조 정보를 출력하는 단계는,
상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보가 매칭되지 않는 경우, 상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보 중 상기 대상 심혈관 질병에 대하여 상대적으로 높은 위험을 나타내는 것을 상기 양안 심혈관 질병 진단 보조 정보로 결정하는 것을 더 포함하는,
심혈관 질병의 진단 보조 방법.
The method of claim 2,
Outputting the determined binocular cardiovascular disease diagnosis assistance information,
When the left eye cardiovascular disease assistance information and the right eye cardiovascular disease assistance information do not match, the left cardiovascular disease assistance information and the right eye cardiovascular disease assistance information indicate a relatively high risk for the target cardiovascular disease. Further comprising determining with the binocular cardiovascular disease diagnosis assistance information,
Assisted method of diagnosis of cardiovascular diseases.
상기 좌안 심혈관 질병 진단 보조 정보는 상기 대상 좌안 안저 이미지로부터 획득되고 심장혈관 석회화 판단에 이용되는 좌안 관상동맥 칼슘 점수를 포함하고, 상기 대상 우안 심혈관 질병 진단 보조 정보는 상기 우안 안저 이미지로부터 획득되고 상기 심장혈관 석회화 판단에 이용되는 우안 관상동맥 칼슘 점수를 포함하는
심혈관 질병의 진단 보조 방법.
The method of claim 2,
The left eye cardiovascular disease diagnosis assistance information includes a left eye coronary artery calcium score obtained from the subject left eye fundus image and used for cardiovascular calcification, and the target right eye cardiovascular disease diagnosis aid information is obtained from the right eye fundus image and the heart Including right eye coronary calcium score used to determine vascular calcification
Assisted method of diagnosis of cardiovascular diseases.
상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보가 매칭되는지 판단하는 단계는 상기 좌안 관상동맥 칼슘 점수 및 상기 우안 관상동맥 칼슘 점수의 차이가 임계값 이하인지 판단하는 것을 포함하는,
심혈관 질병의 진단 보조 방법.
The method of claim 5,
Determining whether the left eye cardiovascular disease assistance information and the right eye cardiovascular disease diagnosis information is matched includes determining whether a difference between the left eye coronary artery calcium score and the right eye coronary artery calcium score is less than or equal to a threshold value.
Assisted method of diagnosis of cardiovascular diseases.
상기 양안 심혈관 질병 진단 보조 정보를 출력하는 단계는,
상기 좌안 관상동맥 칼슘 점수 및 상기 우안 관상동맥 칼슘 점수의 차이가 상기 임계값 이상인 경우, 상기 좌안 관상동맥 칼슘 점수 및 상기 우안 관상동맥 칼슘 점수 중 높은 값을 상기 양안 심혈관 질병 진단 보조 정보로 결정하는 것을 포함하는,
심혈관 질병의 진단 보조 방법.
The method of claim 6,
Outputting the binocular cardiovascular disease diagnosis assistance information,
When the difference between the left eye coronary artery calcium score and the right eye coronary artery calcium score is greater than or equal to the threshold value, determining a higher value of the left eye coronary artery calcium score and the right eye coronary artery calcium score as the bilateral cardiovascular disease diagnosis assistance information. Included,
Assisted method of diagnosis of cardiovascular diseases.
상기 양안 심혈관 질병 진단 보조 정보를 출력하는 단계는,
상기 좌안 관상동맥 칼슘 점수 및 상기 우안 관상동맥 칼슘 점수의 차이가 상기 임계값 이상인 경우, 상기 좌안 관상동맥 칼슘 점수 및 상기 우안 관상동맥 칼슘 점수 중 높은 값을 포함하는 것을 상기 양안 심혈관 질병 진단 보조 정보로 결정하고,
상기 좌안 관상동맥 칼슘 점수 및 상기 우안 관상동맥 칼슘 점수의 차이가 발생하였음을 고지하는 안내를 상기 결정된 양안 심혈관 질병 진단 보조 정보와 함께 출력하는 것을 포함하는,
심혈관 질병의 진단 보조 방법.
The method of claim 6,
Outputting the binocular cardiovascular disease diagnosis assistance information,
When the difference between the left eye coronary artery calcium score and the right eye coronary artery calcium score is greater than or equal to the threshold value, the left eye coronary artery calcium score and the right eye coronary artery calcium score include a higher value as the bilateral cardiovascular disease diagnosis assistance information. Decide,
And outputting, along with the determined binocular cardiovascular disease diagnosis assistance information, a notice that a difference between the left eye coronary artery calcium score and the right eye coronary artery calcium score has occurred.
Assisted method of diagnosis of cardiovascular diseases.
상기 양안 심혈관 질병 진단 보조 정보를 출력하는 단계는,
상기 좌안 관상동맥 칼슘 점수 및 상기 우안 관상동맥 칼슘 점수의 차이가 상기 임계값 이상인 경우, 상기 좌안 관상동맥 칼슘 점수 및 상기 우안 관상동맥 칼슘 점수 중 상대적으로 높은 값을 포함하는 것을 상기 양안 심혈관 질병 진단 보조 정보로 결정하고,
상기 좌안 관상동맥 칼슘 점수 및 상기 우안 관상동맥 칼슘 점수 중 상대적으로 높은 값을 포함하는 정보가 획득된 대상 안저 이미지를 사용자에게 고지하는 이상 안저 이미지 안내를 상기 결정된 양안 심혈관 질병 진단 보조 정보와 함께 출력하는 것을 포함하는,
심혈관 질병의 진단 보조 방법.
The method of claim 6,
Outputting the binocular cardiovascular disease diagnosis assistance information,
When the difference between the left eye coronary artery calcium score and the right eye coronary artery calcium score is greater than or equal to the threshold value, the left eye coronary artery calcium score and the right eye coronary artery calcium score include a higher value of the assistance for diagnosing bilateral cardiovascular disease Determined by information,
Outputting an abnormal fundus image guide to inform a user of a target fundus image from which information including a relatively high value of the left eye coronary artery calcium score and the right eye coronary artery calcium score is obtained together with the determined binocular cardiovascular disease diagnosis assistance information Including,
Assisted method of diagnosis of cardiovascular diseases.
상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보를 획득하는 단계는,
좌안 안저 이미지에 기초하여 상기 심혈관 질병 진단 보조 정보를 획득하는 좌안 심혈관 질병 진단 보조 신경망 모델을 이용하여 상기 좌안 심혈관 질병 진단 보조 정보를 획득하고,
우안 안저 이미지에 기초하여 상기 심혈관 질병 진단 보조 정보를 획득하는 우안 심혈관 질병 진단 보조 신경망 모델을 이용하여 상기 우안 심혈관 질병 진단 보조 정보를 획득하는 것을 포함하는,
심혈관 질병의 진단 보조 방법.
The method of claim 1,
Acquiring the left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information,
Acquiring the left eye cardiovascular disease diagnosis assistance information using a left eye cardiovascular disease diagnosis aid neural network model which obtains the cardiovascular disease diagnosis aid information based on a left eye fundus image,
Acquiring the right eye cardiovascular disease diagnosis assistance information using the right eye cardiovascular disease diagnosis assistive neural network model for obtaining the cardiovascular disease diagnosis assistance information based on the right eye fundus image;
Assisted method of diagnosis of cardiovascular diseases.
상기 대상 좌안 안저 이미지 및 상기 대상 우안 안저 이미지에 기초하여, 안질환 진단 보조 정보를 획득하는 안질환 진단 보조 신경망 모델을 이용하여, 상기 대상 좌안 안저 이미지에 따른 좌안 안질환 진단 보조 정보 및 상기 대상 우안 안저 이미지에 따른 우안 안질환 진단 보조 정보를 획득하는 단계; 및
상기 좌안 안질환 진단 보조 정보 및 상기 우안 안질환 진단 보조 정보를 출력하는 단계;를 더 포함하는
심혈관 질병의 진단 보조 방법.
The method of claim 1,
Based on the subject's left eye fundus image and the subject's right eye fundus image, using the eye disease diagnosis neural network model to obtain eye disease diagnosis assistance information, the left eye disease diagnosis assistance information and the subject right eye according to the subject's left eye fundus image Obtaining right eye disease diagnosis assistance information according to the fundus image; And
And outputting the left eye disease diagnosis assistance information and the right eye disease diagnosis assistance information.
Assisted method of diagnosis of cardiovascular diseases.
피검체의 대상 좌안 안저 이미지 및 대상 우안 안저 이미지를 획득하는 안저 이미지 획득부;
상기 안저 이미지에 기초하여 심혈관 질병 진단 보조 정보를 획득하는 심혈관 질병 진단 보조 신경망 모델을 이용하여, 상기 대상 좌안 안저 이미지에 따른 좌안 심혈관 질병 진단 보조 정보를 획득하는 좌안 심혈관 질병 진단 보조 정보 획득부;
상기 심혈관 질병 진단 보조 신경망 모델을 이용하여, 상기 대상 우안 안저 이미지에 따른 우안 심혈관 질병 진단 보조 정보를 획득하는 우안 심혈관 질병 진단 보조 정보 획득부; 및
상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보를 고려하여 생성된 양안 심혈관 질병 진단 보조 정보를 출력하는 양안 심혈관 질병 진단 보조 정보 출력부; 를 포함하되,
상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보는, 상기 대상 심혈관 질병 진단에 이용되는 점수 정보, 상기 대상 심혈관 질병의 위험도를 나타내는 복수의 등급 중 선택된 등급을 포함하는 등급 정보 및 상기 피검체의 상기 대상 심혈관 질병의 위험군 해당 여부를 나타내는 위험 정보 중 적어도 하나를 포함하는,
심혈관 질병의 진단 보조 장치.
In the cardiovascular disease diagnosis apparatus for assisting the diagnosis of the target cardiovascular disease using the fundus image,
A fundus image acquirer configured to acquire a target left eye fundus image and a target right eye fundus image of the subject;
A left eye cardiovascular disease diagnosis assistance information acquisition unit for acquiring left eye cardiovascular disease diagnosis assistance information according to the target left eye fundus image using a cardiovascular disease diagnosis assistance neural network model for obtaining cardiovascular disease diagnosis assistance information based on the fundus image;
A right eye cardiovascular disease diagnosis assistance information acquisition unit for obtaining right eye cardiovascular disease diagnosis assistance information according to the target right eye fundus image using the cardiovascular disease diagnosis neural network model; And
Binocular cardiovascular disease diagnosis assistance information output unit configured to output binocular cardiovascular disease diagnosis assistance information generated in consideration of the left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information; Including,
The left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information include score information used for diagnosing the target cardiovascular disease, grade information including a selected grade among a plurality of grades indicating a risk of the target cardiovascular disease, and the blood At least one of the risk information indicating whether the subject is a risk group of the target cardiovascular disease,
Assistive device for diagnosis of cardiovascular diseases.
상기 양안 심혈관 질병 진단 보조 정보 출력부는
상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보가 매칭되는지 판단하는 양안 진단 보조 정보 매칭 여부 판단부; 및
상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보의 매칭 여부에 따라 결정된 상기 양안 심혈관 질병 진단 보조 정보를 출력하는 양안 심혈관 질병 진단 보조 정보 출력부;
심혈관 질병의 진단 보조 장치.
The method of claim 13,
The binocular cardiovascular disease diagnosis assistance information output unit
A binocular diagnosis assistance information matching unit determining whether the left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance information match; And
A binocular cardiovascular disease diagnosis assistant information output unit configured to output the binocular cardiovascular disease diagnosis assistant information determined according to whether the left eye cardiovascular disease diagnosis assistant information and the right eye cardiovascular disease diagnosis assistant information are matched;
Assistive device for diagnosis of cardiovascular diseases.
상기 양안 심혈관 질병 진단 보조 정보 출력부는,
상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보가 매칭되는 경우, 상기 좌안 심혈관 질병 진단 보조 정보, 상기 우안 심혈관 질병 진단 보조 정보 또는 상기 좌안 심혈관 질병 진단 보조 정보와 상기 우안 심혈관 질병 진단 보조 정보의 중간 정보로 결정된 상기 양안 심혈관 질병 진단 보조 정보를 출력하는,
심혈관 질병의 진단 보조 장치.
The method of claim 13,
The binocular cardiovascular disease diagnosis assistance information output unit,
When the left eye cardiovascular disease assistance information and the right eye cardiovascular disease assistance information match, the left eye cardiovascular disease assistance information, the right eye cardiovascular disease assistance information or the left eye cardiovascular disease diagnosis assistance information and the right eye cardiovascular disease diagnosis assistance Outputting the binocular cardiovascular disease diagnosis assistance information determined as intermediate information of the information,
Assistive device for diagnosis of cardiovascular diseases.
상기 양안 심혈관 질병 진단 보조 정보 출력부는,
상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보가 매칭되지 않는 경우, 상기 좌안 심혈관 질병 진단 보조 정보 및 상기 우안 심혈관 질병 진단 보조 정보 중 상기 대상 심혈관 질병에 대하여 상대적으로 높은 위험을 나타내는 것을 상기 양안 심혈관 질병 진단 보조 정보로 결정하는 것을 더 포함하는,
심혈관 질병의 진단 보조 장치.
The method of claim 13,
The binocular cardiovascular disease diagnosis assistance information output unit,
When the left eye cardiovascular disease assistance information and the right eye cardiovascular disease assistance information do not match, the left cardiovascular disease assistance information and the right eye cardiovascular disease assistance information indicate a relatively high risk for the target cardiovascular disease. Further comprising determining with the binocular cardiovascular disease diagnosis assistance information,
Assistive device for diagnosis of cardiovascular diseases.
상기 좌안 심혈관 질병 진단 보조 정보는 상기 대상 좌안 안저 이미지로부터 획득되고 심장혈관 석회화 판단에 이용되는 좌안 관상동맥 칼슘 점수를 포함하고, 상기 우안 심혈관 질병 진단 보조 정보는 상기 대상 우안 안저 이미지로부터 획득되고 상기 심장혈관 석회화 판단에 이용되는 우안 관상동맥 칼슘 점수를 포함하는
심혈관 질병의 진단 보조 장치.
The method of claim 13,
The left eye cardiovascular disease diagnosis assistance information includes left eye coronary artery calcium score obtained from the subject left eye fundus image and used for cardiovascular calcification, and the right eye cardiovascular disease diagnosis aid information is obtained from the subject right eye fundus image and the heart Including right eye coronary calcium score used to determine vascular calcification
Assistive device for diagnosis of cardiovascular diseases.
상기 양안 진단 보조 정보 매칭 여부 판단부는, 상기 좌안 관상동맥 칼슘 점수 및 상기 우안 관상동맥 칼슘 점수의 차이가 임계 값 이상인지 판단하는,
심혈관 질병의 진단 보조 장치.
The method of claim 16,
The binocular diagnostic assistance information matching unit determines whether the difference between the left eye coronary artery calcium score and the right eye coronary artery calcium score is greater than or equal to a threshold value,
Assistive device for diagnosis of cardiovascular diseases.
상기 양안 심혈관 질병 진단 보조 정보 출력부는,
상기 좌안 관상동맥 칼슘 점수 및 상기 우안 관상동맥 칼슘 점수의 차이가 상기 임계값 이상인 경우, 상기 좌안 관상동맥 칼슘 점수 및 상기 우안 관상동맥 칼슘 점수 중 높은 값을 상기 양안 심혈관 질병 진단 보조 정보로 결정하는,
심혈관 질병의 진단 보조 장치.
The method of claim 17,
The binocular cardiovascular disease diagnosis assistance information output unit,
When the difference between the left eye coronary artery calcium score and the right eye coronary artery calcium score is greater than or equal to the threshold value, a higher value of the left eye coronary artery calcium score and the right eye coronary artery calcium score is determined as the bilateral cardiovascular disease diagnosis assistance information,
Assistive device for diagnosis of cardiovascular diseases.
상기 양안 심혈관 질병 진단 보조 정보 출력부는,
상기 좌안 관상동맥 칼슘 점수 및 상기 우안 관상동맥 칼슘 점수의 차이가 상기 임계값 이상인 경우, 상기 좌안 관상동맥 칼슘 점수 및 상기 우안 관상동맥 칼슘 점수 중 높은 값을 포함하는 것을 상기 양안 심혈관 질병 진단 보조 정보로 결정하고,
상기 좌안 관상동맥 칼슘 점수 및 상기 우안 관상동맥 칼슘 점수의 차이가 발생하였음을 고지하는 안내를 상기 결정된 양안 심혈관 질병 진단 보조 정보와 함께 출력하는,
심혈관 질병의 진단 보조 장치.
The method of claim 17,
The binocular cardiovascular disease diagnosis assistance information output unit,
When the difference between the left eye coronary artery calcium score and the right eye coronary artery calcium score is greater than or equal to the threshold value, the left eye coronary artery score and the right eye coronary artery calcium score include a higher value as the bilateral cardiovascular disease diagnosis assistance information. Decide,
Outputting, along with the determined binocular cardiovascular disease diagnosis assistance information, a notice indicating that a difference between the left eye coronary artery calcium score and the right eye coronary artery calcium score has occurred;
Assistive device for diagnosis of cardiovascular diseases.
상기 좌안 심혈관 질병 진단 보조 정보 획득부는, 좌안을 촬상하여 획득된 좌안 안저 이미지에 기초하여 상기 심혈관 질병 진단 보조 정보를 획득하는 좌안 심혈관 질병 진단 보조 신경망 모델을 이용하여 상기 좌안 심혈관 질병 진단 보조 정보를 획득하고,
상기 우안 심혈관 질병 진단 보조 정보 획득부는, 우안을 촬상하여 획득된 우안 안저 이미지에 기초하여 상기 심혈관 질병 진단 보조 정보를 획득하는 우안 심혈관 질병 진단 보조 신경망 모델을 이용하여 상기 우안 심혈관 질병 진단 보조 정보를 획득하는,
심혈관 질병의 진단 보조 장치.
The method of claim 13,
The left eye cardiovascular disease diagnosis assistance information acquisition unit acquires the left eye cardiovascular disease diagnosis assistance information by using a left eye cardiovascular disease diagnosis assistance neural network model for acquiring the cardiovascular disease diagnosis assistance information based on the left eye fundus image obtained by imaging the left eye. and,
The right eye cardiovascular disease diagnosis assistance information acquisition unit obtains the right eye cardiovascular disease diagnosis assistance information by using the right eye cardiovascular disease diagnosis assistance neural network model for acquiring the cardiovascular disease diagnosis assistance information based on the right eye fundus image obtained by imaging the right eye. doing,
Assistive device for diagnosis of cardiovascular diseases.
상기 좌안 심혈관 질병 진단 보조 신경망 모델은, 좌안을 촬상하여 얻어진 좌안 안저 이미지에 기초하여 상기 좌안 심혈관 질병 진단 보조 정보를 출력하도록 마련되고,
상기 우안 심혈관 질병 진단 보조 신경망 모델은, 우안을 촬상하여 얻어진 우안 안저 이미지에 기초하여 상기 우안 심혈관 질병 진단 보조 정보를 출력하도록 마련되되,
상기 좌안 심혈관 질병 진단 보조 신경망 모델 및 상기 우안 심혈관 질병 진단 보조 신경망 모델을 구성하는 파라미터는 적어도 일부 상이한,
심혈관 질병의 진단 보조 장치.
The method of claim 13,
The left eye cardiovascular disease diagnosis assistance neural network model is provided to output the left eye cardiovascular disease diagnosis assistance information based on the left eye fundus image obtained by imaging the left eye,
The right eye cardiovascular disease diagnosis assistance neural network model is provided to output the right eye cardiovascular disease diagnosis assistance information based on the right eye fundus image obtained by imaging the right eye,
The parameters constituting the left eye cardiovascular disease diagnosis assistance neural network model and the right eye cardiovascular disease diagnosis assistance neural network model are at least partially different,
Assistive device for diagnosis of cardiovascular diseases.
상기 대상 좌안 안저 이미지 및 상기 대상 우안 안저 이미지에 기초하여, 안질환 진단 보조 정보를 획득하는 안질환 진단 보조 신경망 모델을 이용하여, 상기 대상 좌안 안저 이미지에 따른 좌안 안질환 진단 보조 정보 및 상기 대상 우안 안저 이미지에 따른 우안 안질환 진단 보조 정보를 획득하는 안질환 진단 보조 정보 획득부; 를 더 포함하는
심혈관 질병의 진단 보조 장치.
The method of claim 1,
Based on the subject's left eye fundus image and the subject's right eye fundus image, using the eye disease diagnosis neural network model to obtain eye disease diagnosis assistance information, the left eye disease diagnosis assistance information and the subject right eye according to the subject's left eye fundus image Eye disease diagnosis assistance information acquisition unit for acquiring right eye disease diagnosis assistance information according to the fundus image; Containing more
Assistive device for diagnosis of cardiovascular diseases.
A computer-readable recording medium having recorded thereon a program for executing the method of any one of claims 1 to 11.
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862694901P | 2018-07-06 | 2018-07-06 | |
| US62/694,901 | 2018-07-06 | ||
| US201862715729P | 2018-08-07 | 2018-08-07 | |
| US62/715,729 | 2018-08-07 | ||
| US201862776345P | 2018-12-06 | 2018-12-06 | |
| US62/776,345 | 2018-12-06 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200005413A true KR20200005413A (en) | 2020-01-15 |
Family
ID=69156691
Family Applications (12)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180157562A KR20200005407A (en) | 2018-07-06 | 2018-12-07 | Diagnostic auxiliary image providing device based on eye image |
| KR1020180157560A KR20200005405A (en) | 2017-12-20 | 2018-12-07 | Diagnosis assistance system |
| KR1020180157559A KR20200005404A (en) | 2017-12-20 | 2018-12-07 | Diagnosis assistance system |
| KR1020180157563A KR102212500B1 (en) | 2018-07-06 | 2018-12-07 | Fundus image management device and method for determining quality of fundus image |
| KR1020180157564A KR102270659B1 (en) | 2018-07-06 | 2018-12-07 | Fundus image management device and method for determining suitability of fundus image |
| KR1020180157561A KR20200005406A (en) | 2017-12-20 | 2018-12-07 | Diagnosis assistance system |
| KR1020180166720A KR20200005411A (en) | 2018-07-06 | 2018-12-20 | Cardiovascular disease diagnosis assistant method and apparatus |
| KR1020180166721A KR20200005412A (en) | 2018-07-06 | 2018-12-20 | Cardiovascular disease diagnosis assistant method and apparatus |
| KR1020180166722A KR20200005413A (en) | 2018-07-06 | 2018-12-20 | Cardiovascular disease diagnosis assistant method and apparatus |
| KR1020190056631A KR102345026B1 (en) | 2018-07-06 | 2019-05-14 | Cloud server and diagnostic assistant systems based on cloud server |
| KR1020210187639A KR20210158853A (en) | 2018-07-06 | 2021-12-24 | Cloud server and diagnostic assistant systems based on cloud server |
| KR1020230089164A KR20230110233A (en) | 2018-07-06 | 2023-07-10 | Cloud server and diagnostic assistant systems based on cloud server |
Family Applications Before (8)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180157562A KR20200005407A (en) | 2018-07-06 | 2018-12-07 | Diagnostic auxiliary image providing device based on eye image |
| KR1020180157560A KR20200005405A (en) | 2017-12-20 | 2018-12-07 | Diagnosis assistance system |
| KR1020180157559A KR20200005404A (en) | 2017-12-20 | 2018-12-07 | Diagnosis assistance system |
| KR1020180157563A KR102212500B1 (en) | 2018-07-06 | 2018-12-07 | Fundus image management device and method for determining quality of fundus image |
| KR1020180157564A KR102270659B1 (en) | 2018-07-06 | 2018-12-07 | Fundus image management device and method for determining suitability of fundus image |
| KR1020180157561A KR20200005406A (en) | 2017-12-20 | 2018-12-07 | Diagnosis assistance system |
| KR1020180166720A KR20200005411A (en) | 2018-07-06 | 2018-12-20 | Cardiovascular disease diagnosis assistant method and apparatus |
| KR1020180166721A KR20200005412A (en) | 2018-07-06 | 2018-12-20 | Cardiovascular disease diagnosis assistant method and apparatus |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190056631A KR102345026B1 (en) | 2018-07-06 | 2019-05-14 | Cloud server and diagnostic assistant systems based on cloud server |
| KR1020210187639A KR20210158853A (en) | 2018-07-06 | 2021-12-24 | Cloud server and diagnostic assistant systems based on cloud server |
| KR1020230089164A KR20230110233A (en) | 2018-07-06 | 2023-07-10 | Cloud server and diagnostic assistant systems based on cloud server |
Country Status (1)
| Country | Link |
|---|---|
| KR (12) | KR20200005407A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102227605B1 (en) * | 2020-08-25 | 2021-03-16 | (주)제이엘케이 | Apparatus and method for learning peripheral artery diagnosis image, diagnosis apparatus and method for peripheral lesion artery having significant diffrences using the learning model costructed by the same |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102402011B1 (en) * | 2020-02-18 | 2022-05-27 | 재단법인 아산사회복지재단 | Medical image process apparatus and medical image learning method, and medical image process method |
| KR102475730B1 (en) * | 2020-04-03 | 2022-12-08 | 성균관대학교산학협력단 | Method for detecting out-of-distribution data using test-time augmentation and apparatus performing the same |
| KR102220573B1 (en) * | 2020-04-06 | 2021-02-25 | 두에이아이(주) | Method, apparatus and computer program for calculating quality score of fundus image data using artificial intelligence |
| KR102538848B1 (en) | 2020-05-12 | 2023-05-31 | 부산대학교병원 | Deep learning architecture system for real time quality interpretation of fundus image |
| KR102538508B1 (en) * | 2020-05-18 | 2023-05-31 | 오스템임플란트 주식회사 | Apparatus for managing electronic chart linked with medical imaging module and method thereof |
| KR102198302B1 (en) * | 2020-05-20 | 2021-01-05 | 주식회사 지피바이오 | Growth prediction method and apparatus |
| KR102410292B1 (en) * | 2020-05-27 | 2022-06-17 | 주식회사 스파이더코어 | Deep Neural Network based Retinal Image Analysis Method and Apparatus for Detection of Abnormal Kidney Function |
| KR102482680B1 (en) * | 2020-06-03 | 2022-12-28 | 고려대학교 산학협력단 | Apparatus and method for predicting biometry based on fundus image |
| KR102466792B1 (en) * | 2020-06-09 | 2022-11-14 | 성균관대학교산학협력단 | Artificial intelligence based macular degeneration disease deterioration prediction devices and methods |
| KR102406538B1 (en) * | 2020-08-13 | 2022-06-08 | 순천향대학교 산학협력단 | Deep Neural Networks(DNN) based eye diseases diagnosis apparatus using fundus images and method thereof |
| WO2022080913A1 (en) * | 2020-10-14 | 2022-04-21 | Samsung Electronics Co., Ltd. | Methods and systems for examining an eye to detect a disease |
| KR102443982B1 (en) * | 2020-10-22 | 2022-09-16 | 순천향대학교 산학협력단 | Deep learning based fundus image classification device and method for diagnosis of ophthalmic diseases |
| KR20220065927A (en) * | 2020-11-13 | 2022-05-23 | (주)루티헬스 | Apparatus and method for interpreting medical image |
| JP2022085227A (en) | 2020-11-27 | 2022-06-08 | オリエンタルモーター株式会社 | Ac motor control device and drive system including the same |
| KR102521660B1 (en) * | 2020-11-30 | 2023-04-14 | 주식회사 메디픽셀 | Method and apparatus for extracting vascular image using multiple prediction results |
| KR102549782B1 (en) * | 2020-12-02 | 2023-06-30 | 주식회사 레드위즈 | Apparatus for collecting and registering product with substitution for purchasing automatically based on artificial intelligence deep learning system and method thereof |
| KR102313662B1 (en) * | 2020-12-30 | 2021-10-19 | 뉴로핏 주식회사 | Device and method for determining quality of image |
| WO2022145541A1 (en) * | 2020-12-30 | 2022-07-07 | 주식회사 메디웨일 | Method and device for assisting renal disease diagnosis |
| WO2022145542A1 (en) * | 2020-12-30 | 2022-07-07 | 주식회사 메디웨일 | Method and device for assisting cardiovascular disease diagnosis |
| KR20220108235A (en) * | 2021-01-25 | 2022-08-03 | 자이메드 주식회사 | Apparatus and method for supporting reading of biometric imageme |
| KR102536281B1 (en) * | 2021-02-26 | 2023-05-26 | (주)블라우비트 | Apparatus and method for diagnosing alzheimer's using retinal optic nerve |
| KR102296907B1 (en) * | 2021-03-02 | 2021-09-01 | 주식회사 에이아이댑스 | The method and system for providing cloud service based blockchain |
| KR102493242B1 (en) * | 2021-03-26 | 2023-01-30 | 한국과학기술연구원 | Method and System for Judging Aortic Valve Stenosis Risk and Other Cardiovascular Diseases Risk from Photoplethysmography through Artificial Intelligence Learning |
| KR102323650B1 (en) * | 2021-04-07 | 2021-11-09 | 김원국 | Image/sound acquiring or editing apparatus for creating an original image/sound file or a deepfake modified file having metadata related to file creating history, hashbank server for receiving and storing hash values related to an original image/sound file or a deepfake modified file, and server and mathod for receiving and processing an original image/recorded sound file or a deepfake modified file |
| WO2023017875A1 (en) * | 2021-08-12 | 2023-02-16 | 고려대학교 산학협력단 | Apparatus and method for predicting biometry on basis of fundus image |
| KR102623722B1 (en) * | 2021-09-17 | 2024-01-11 | 동국대학교 산학협력단 | Apparatus and method for analysis of retinal disease based on deep learning |
| KR102403166B1 (en) * | 2021-09-29 | 2022-05-30 | 주식회사 인피닉 | Data augmentation method for machine learning, and computer program recorded on record-medium for executing method therefor |
| KR102580279B1 (en) * | 2021-10-25 | 2023-09-19 | 아주대학교산학협력단 | Method for providing the necessary information for a diagnosis of alzheimer's disease and apparatus for executing the method |
| KR102567138B1 (en) * | 2021-12-30 | 2023-08-17 | 가천대학교 산학협력단 | Method and system for diagnosing hair health based on machine learning |
| KR102567671B1 (en) * | 2021-12-30 | 2023-08-17 | 가천대학교 산학협력단 | Efficient hair damage detection method and system using sem image based on convolutional neural network |
| KR102569597B1 (en) * | 2023-01-13 | 2023-08-25 | 주식회사 아이브 | Data pipeline management method and system for artificial intelligence model learning |
| KR102651589B1 (en) * | 2023-07-20 | 2024-03-27 | 주식회사 크레스콤 | Disease prognosis integrated prediction method, device and computer program Using mage and non-image data |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5354831B2 (en) * | 2001-08-21 | 2013-11-27 | キヤノン株式会社 | Ophthalmic imaging equipment |
| JP2005342284A (en) * | 2004-06-04 | 2005-12-15 | Canon Inc | Eye refractivity measuring device |
| KR100669625B1 (en) * | 2005-03-25 | 2007-01-15 | 엘지전자 주식회사 | Assuming system of eyeball position using morphologic image processing and method thereof |
| JP4909378B2 (en) * | 2009-06-02 | 2012-04-04 | キヤノン株式会社 | Image processing apparatus, control method therefor, and computer program |
| JP4909377B2 (en) * | 2009-06-02 | 2012-04-04 | キヤノン株式会社 | Image processing apparatus, control method therefor, and computer program |
| JP6025882B2 (en) | 2015-02-05 | 2016-11-16 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP6867117B2 (en) * | 2016-07-08 | 2021-04-28 | 株式会社トプコン | Medical image processing method and medical image processing device |
| JP2018014059A (en) * | 2016-07-22 | 2018-01-25 | 株式会社トプコン | Medical information processing system and medical information processing method |
| JP2018061621A (en) * | 2016-10-11 | 2018-04-19 | オプトス ピーエルシー | Ocular fundus imaging apparatus, ocular fundus imaging method, and ocular fundus imaging program |
| KR101857624B1 (en) * | 2017-08-21 | 2018-05-14 | 동국대학교 산학협력단 | Medical diagnosis method applied clinical information and apparatus using the same |
| KR101848321B1 (en) | 2017-10-27 | 2018-04-20 | 주식회사 뷰노 | Method for facilitating dignosis of subject based on fovea image thereof and apparatus using the same |
-
2018
- 2018-12-07 KR KR1020180157562A patent/KR20200005407A/en unknown
- 2018-12-07 KR KR1020180157560A patent/KR20200005405A/en unknown
- 2018-12-07 KR KR1020180157559A patent/KR20200005404A/en unknown
- 2018-12-07 KR KR1020180157563A patent/KR102212500B1/en active IP Right Grant
- 2018-12-07 KR KR1020180157564A patent/KR102270659B1/en active IP Right Grant
- 2018-12-07 KR KR1020180157561A patent/KR20200005406A/en unknown
- 2018-12-20 KR KR1020180166720A patent/KR20200005411A/en not_active Application Discontinuation
- 2018-12-20 KR KR1020180166721A patent/KR20200005412A/en not_active Application Discontinuation
- 2018-12-20 KR KR1020180166722A patent/KR20200005413A/en not_active Application Discontinuation
-
2019
- 2019-05-14 KR KR1020190056631A patent/KR102345026B1/en active IP Right Grant
-
2021
- 2021-12-24 KR KR1020210187639A patent/KR20210158853A/en not_active Application Discontinuation
-
2023
- 2023-07-10 KR KR1020230089164A patent/KR20230110233A/en not_active Application Discontinuation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102227605B1 (en) * | 2020-08-25 | 2021-03-16 | (주)제이엘케이 | Apparatus and method for learning peripheral artery diagnosis image, diagnosis apparatus and method for peripheral lesion artery having significant diffrences using the learning model costructed by the same |
| WO2022045766A1 (en) * | 2020-08-25 | 2022-03-03 | (주)제이엘케이 | Peripheral artery diagnosis-image learning device and method, and concerning peripheral artery disease diagnosis device and method using learning model constructed through learning device and method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102270659B1 (en) | 2021-06-29 |
| KR20200005406A (en) | 2020-01-15 |
| KR20200005407A (en) | 2020-01-15 |
| KR102345026B1 (en) | 2021-12-29 |
| KR20200005408A (en) | 2020-01-15 |
| KR20200005405A (en) | 2020-01-15 |
| KR20210158853A (en) | 2021-12-31 |
| KR20230110233A (en) | 2023-07-21 |
| KR102212500B1 (en) | 2021-02-04 |
| KR20200005412A (en) | 2020-01-15 |
| KR20200005409A (en) | 2020-01-15 |
| KR20200005404A (en) | 2020-01-15 |
| KR20200005411A (en) | 2020-01-15 |
| KR20200005433A (en) | 2020-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20200005413A (en) | Cardiovascular disease diagnosis assistant method and apparatus | |
| US11869184B2 (en) | Method and device for assisting heart disease diagnosis | |
| US11790645B2 (en) | Diagnosis assistance system and control method thereof | |
| US20240144478A1 (en) | Method and device for assisting heart disease diagnosis | |
| KR102301058B1 (en) | Diagnosis assistance system and control method thereof | |
| KR102333670B1 (en) | Diagnostic auxiliary image providing device based on eye image | |
| CA3083035A1 (en) | Deep learning-based diagnosis and referral of ophthalmic diseases and disorders | |
| KR102596534B1 (en) | Diagnosis assistance method and apparatus | |
| Shanthini et al. | Threshold segmentation based multi-layer analysis for detecting diabetic retinopathy using convolution neural network | |
| US20220301709A1 (en) | Diagnosis assistance method and cardiovascular disease diagnosis assistance method | |
| WO2019171398A1 (en) | A fundus image analysis system | |
| Li et al. | High-accuracy 3D segmentation of wet age-related macular degeneration via multi-scale and cross-channel feature extraction and channel attention | |
| Negi et al. | An Experimental Approach Pertaining To Transfer Learning Models For Classification Of Diabetic Retinopathy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal |