KR20230015152A - 딥러닝을 이용한 백내장 진단방법 및 시스템 - Google Patents
딥러닝을 이용한 백내장 진단방법 및 시스템 Download PDFInfo
- Publication number
- KR20230015152A KR20230015152A KR1020210096560A KR20210096560A KR20230015152A KR 20230015152 A KR20230015152 A KR 20230015152A KR 1020210096560 A KR1020210096560 A KR 1020210096560A KR 20210096560 A KR20210096560 A KR 20210096560A KR 20230015152 A KR20230015152 A KR 20230015152A
- Authority
- KR
- South Korea
- Prior art keywords
- cataract
- grade
- deep learning
- severity
- diagnosis
- Prior art date
Links
- 208000002177 Cataract Diseases 0.000 title claims abstract description 382
- 238000013135 deep learning Methods 0.000 title claims abstract description 120
- 238000003745 diagnosis Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 90
- 230000036541 health Effects 0.000 claims abstract description 31
- 238000012360 testing method Methods 0.000 claims description 51
- 230000004304 visual acuity Effects 0.000 claims description 45
- 238000005286 illumination Methods 0.000 claims description 40
- 238000011156 evaluation Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 30
- 238000007781 pre-processing Methods 0.000 claims description 18
- 239000002775 capsule Substances 0.000 claims description 16
- 238000001356 surgical procedure Methods 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 9
- 206010007764 Cataract subcapsular Diseases 0.000 claims description 3
- 210000001653 corpus striatum Anatomy 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000001225 therapeutic effect Effects 0.000 abstract 3
- 210000000695 crystalline len Anatomy 0.000 description 51
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000000386 microscopy Methods 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- 206010024214 Lenticular opacities Diseases 0.000 description 3
- 230000001054 cortical effect Effects 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 238000013016 damping Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000003164 Diplopia Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/117—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes
- A61B3/1173—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes for examining the eye lens
- A61B3/1176—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes for examining the eye lens for determining lens opacity, e.g. cataract
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/117—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/13—Ophthalmic microscopes
- A61B3/135—Slit-lamp microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Urology & Nephrology (AREA)
- Eye Examination Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
본 발명은 딥러닝을 이용한 백내장 진단방법 및 시스템에 관한 것으로, 더욱 상게하게는 딥러닝을 이용하여 세극등 현미경 검사결과 이미지 및 역반사조명 검사결과 이미지로부터 백내장 진행정도를 예측하고, 이를 기준으로 백내장의 심각성을 평가하여 치료계획을 수립 및 제공하는 딥러닝을 이용한 백내장 진단방법 및 시스템에 관한 것이다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법은, 입력부가 세극등 현미경(Slit lamp) 검사결과 이미지 및 피검사자의 건강검진 결과를 수신하는 입력단계, 백내장 진단부가 상기 세극등 현미경 검사결과 이미지를 딥러닝 예측모델에 입력하여 수정체 핵의 백내장 진행 정도를 예측하고, 상기 피검사자가 백내장인지 여부를 판별하는 백내장 진단단계, 심각성 평가부가 상기 수정체 핵의 백내장 진행 정도를 기준으로 상기 피검사자의 백내장 심각성을 평가하는 백내장 심각성 평가단계 및 치료단계 판단부가 상기 백내장 심각성 또는 건강검진 결과를 이용하여 상기 피검사자에게 필요한 백내장 치료단계를 판단하여 제공하는 치료계획 제공단계를 포함 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법은, 입력부가 세극등 현미경(Slit lamp) 검사결과 이미지 및 피검사자의 건강검진 결과를 수신하는 입력단계, 백내장 진단부가 상기 세극등 현미경 검사결과 이미지를 딥러닝 예측모델에 입력하여 수정체 핵의 백내장 진행 정도를 예측하고, 상기 피검사자가 백내장인지 여부를 판별하는 백내장 진단단계, 심각성 평가부가 상기 수정체 핵의 백내장 진행 정도를 기준으로 상기 피검사자의 백내장 심각성을 평가하는 백내장 심각성 평가단계 및 치료단계 판단부가 상기 백내장 심각성 또는 건강검진 결과를 이용하여 상기 피검사자에게 필요한 백내장 치료단계를 판단하여 제공하는 치료계획 제공단계를 포함 할 수 있다.
Description
본 발명은 딥러닝을 이용한 백내장 진단방법 및 시스템에 관한 것으로, 더욱 상세하게는 딥러닝을 이용하여 세극등 현미경(Slit lamp) 검사결과 이미지 및 역반사조명(Retroillumination) 검사결과 이미지로부터 백내장 진행정도를 예측하고, 이를 기준으로 백내장의 심각성을 평가하여 치료계획을 수립 및 제공하는 딥러닝을 이용한 백내장 진단방법 및 시스템에 관한 것이다.
백내장(Cataract)이란 수정체의 혼탁으로 인해 사물이 뿌옇게 보이게 되는 질환을 말한다. 백내장의 형태는 혼탁이 발생한 위치 별로 피질형(Cortical), 핵형(Nuclear), 후낭하형(Posterior Subscapsular) 등으로 분류된다. 즉, 수정체에 혼탁이 발생한 위치가 수정체의 피질(Cortex)에 발생하였는지, 수정체 핵에 발생하였는지 또는 뒤쪽 수정체 낭(Posterior sub-capsule)에 발생하였는지 등을 기준으로 분류하게 된다.
백내장이 발병할 경우, 수정체 혼탁의 위치와 정도 및 범위에 따라 시력감소 또는 한쪽 눈으로 보는 경우에도 사물이 2개로 겹쳐 보이는 단안복시 등의 불편함이 초래될 수 있다.
종래에는 이러한 백내장을 진단하기 위한 방법으로 세극등 현미경(Slit lamp)검사 등과 같은 현미경 검사를 통해 의료진이 직접 환자의 수정체를 확대하여 자세히 관찰하여 백내장 질환의 유무와 위치 및 그 진행 정도를 주관적인 판단에 따라 진단하였다.
그러나, 백내장 진행 정도의 구별은 매우 미세하여 주관적인 판단에만 의존할 경우 일관된 진단이 어려울 수 있다는 문제점이 존재한다. 동일한 검사에서 의료진에 따라 다른 진단결과가 도출될 수 있음이 그 예이다. 즉, 육안에 의한 식별의 한계를 극복하기 위하여 수정체 혼탁의 위치와 정도 및 범위를 객관화하여 자동으로 식별하는 기술이 요구된다.
전술한 문제점을 해결하기 위하여 본 발명은 기 학습된 딥러닝 예측모델을 이용하여 세극등 현미경 검사 또는 역반사조명 검사를 통해 획득한 이미지를 분석하여 피검사자의 백내장 진행 정도를 정확하게 분석할 수 있는 딥러닝을 이용한 백내장 진단방법 및 시스템을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예로써, 딥러닝을 이용한 백내장 진단방법이 제공된다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법은, 입력부가 세극등 현미경(Slit lamp) 검사결과 이미지 및 피검사자의 건강검진 결과를 수신하는 입력단계, 백내장진단부가 상기 세극등 현미경 검사결과 이미지를 딥러닝 예측모델에 입력하여 수정체 핵의 백내장 진행 정도를 예측하고, 상기 피검사자가 백내장인지 여부를 판별하는 백내장 진단단계, 심각성평가부가 상기 수정체 핵의 백내장 진행 정도를 기준으로 상기 피검사자의 백내장 심각성을 평가하는 백내장 심각성 평가단계 및 치료단계판단부가 상기 백내장 심각성 또는 건강검진 결과를 이용하여 상기 피검사자에게 필요한 백내장 치료단계를 판단하여 제공하는 치료계획 제공단계를 포함 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법에서,
상기 입력단계 전에, 전처리부가 Faster R-CNN을 이용하여 상기 세극등 현미경 검사 결과 이미지에서 수정체에 해당하는 영역만을 추출하는 전처리 단계를 더 포함 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법에서,
상기 수정체 핵의 백내장 진행 정도는, 상기 수정체의 핵이 혼탁한 정도를 기준으로 등급을 구분한 NO등급 및 상기 수정체의 핵의 갈변 정도를 기준으로 등급을 구분한 NC등급을 이용하여 판별되는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법에서,
상기 백내장 진단단계는, 상기 NO등급 및 NC등급이 모두 0인 경우 상기 피검사자에 대하여 백내장 없음으로 판단하는 단계 및 상기 NO등급 또는 NC등급이 0이 아닌 경우 상기 피검사자를 백내장 있음으로 판단하는 단계를 더 포함 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법에서,
상기 백내장 심각성은 백내장 없음, 경증(mild), 중등증(moderate) 및 중증(severe)으로 구분되고, 상기 백내장 심각성 평가단계는, 상기 NO등급과 상기 NC등급 중 큰 값을 기준으로 상기 백내장 심각성을 평가하는 단계 및 상기 건강검진 결과에서 상기 피검사자의 시력을 추출하여 일정 기준 이상인지 여부를 판단하는 단계를 더 포함 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법에서,
상기 치료계획 제공단계는, 상기 백내장 심각성이 백내장 없음으로 평가된 경우, 상기 피검사자의 시력이 일정기준 이상이면 다음 검사일정을 제공하고 상기 피검사자의 시력이 일정기준 미만이면 병원방문 권유 문구를 출력하는 단계, 상기 백내장 심각성이 경증으로 평가된 경우 병원방문 권유 문구를 출력하는 단계, 상기 백내장 심각성이 중등증으로 평가되는 경우, 상기 피검사자의 시력이 일정기준 이상이면 병원방문 권유 문구를 출력하고, 상기 피검사자의 시력이 일정기준 미만이면 수술 권유 문구를 출력하는 단계 및 상기 백내장 심각성이 중증으로 평가되는 경우 수술 권유 문구를 출력하는 단계를 더 포함 할 수 있다.
본 발명의 또 다른 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법은,
입력부가 역반사조명(Retroillumination) 검사결과 이미지 및 피검사자의 건강검진 결과를 수신하는 입력단계, 백내장진단부가 상기 역반사조명 검사결과 이미지를 딥러닝 예측모델에 입력하여 수정체 피질 및 후낭하의 백내장 진행 정도를 예측하고, 상기 피검사자가 백내장인지 여부를 판별하는 백내장 진단단계, 심각성평가부가 상기 수정체 피질 및 후낭하의 백내장 진행 정도를 기준으로 상기 피검사자의 백내장 심각성을 평가하는 백내장 심각성 평가단계 및 치료단계판단부가 상기 백내장 심각성 또는 건강검진 결과를 이용하여 상기 피검사자에게 필요한 백내장 치료단계를 판단하여 제공하는 치료계획 제공단계를 포함 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법에서,
상기 입력단계 전에, 전처리부가 Faster R-CNN을 이용하여 상기 역반사조명 검사결과 이미지에서 수정체에 해당하는 영역만을 추출하는 전처리 단계를 더 포함 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법에서,
상기 수정체 피질의 백내장 진행 정도는, 상기 역반사조명 검사결과 이미지의 수정체 피질 부분에 불투명한 혼탁이 존재하는지 여부 및 상기 불투명한 혼탁이 전체 수정체에서 차지하는 면적을 기준으로 등급을 구분한 CO등급을 이용하여 판별되고, 상기 수정체 후낭하의 백내장 진행정도는, 상기 역반사조명 검사결과 이미지의 수정체 뒤쪽 부분에 불투명한 혼탁이 존재하는지 여부 및 상기 불투명한 혼탁이 전체 수정체에서 차지하는 면적을 기준으로 등급을 구분한 PSC등급을 이용하여 판별되는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법에서,
상기 백내장 진단단계는, 상기 CO등급 및 PSC등급이 모두 0인 경우 상기 피검사자에 대하여 백내장 없음으로 판단하는 단계 및 상기 CO등급 또는 PSC등급이 0이 아닌 경우 상기 피검사자에 대하여 백내장 있음으로 판단하는 단계를 더 포함 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법에서,
상기 백내장 심각성은 백내장 없음, 경증(mild), 중등증(moderate) 및 중증(severe)으로 구분되고, 상기 백내장 심각성 평가단계는, 상기 CO등급 및 PSC등급 중 큰 값을 기준으로 백내장 심각성 정도를 평가하는 단계 및 상기 건강검진 결과에서 상기 피검사자의 시력을 추출하여 일정 기준 이상인지 여부를 판단하는 단계를 더 포함 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법에서,
상기 치료계획 제공단계는, 상기 백내장 심각성이 백내장 없음으로 평가된 경우, 상기 피검사자의 시력이 일정기준 이상이면 다음 검사일정을 제공하고 상기 피검사자의 시력이 일정기준 미만이면 병원방문 권유 문구를 출력하는 단계, 상기 백내장 심각성이 경증으로 평가된 경우 병원방문 권유 문구를 출력하는 단계, 상기 백내장 심각성이 중등증으로 평가된 경우, 상기 피검사자의 시력이 일정기준 이상이면 병원방문 권유 문구를 출력하고, 상기 피검사자의 시력이 일정기준 미만이면 수술 권유 문구를 출력하는 단계 및 상기 백내장 심각성이 중증으로 평가된 경우 수술 권유 문구를 출력하는 단계를 더 포함 할 수 있다.
본 발명의 또 다른 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법은,
입력부가 세극등 현미경(Slit lamp) 검사결과 이미지, 역반사조명(Retroillumination) 검사결과 이미지 및 피검사자의 건강검진 결과를 수신하는 입력단계, 백내장진단부가 상기 세극등 현미경 검사결과 이미지, 상기 역반사조명 검사결과 이미지를 딥러닝 예측모델에 입력하여 수정체 핵, 피질 및 후낭하의 백내장 진행 정도를 예측하고, 상기 피검사자가 백내장인지 여부를 판별하는 백내장 진단단계, 심각성평가부가 상기 수정체 핵, 피질 및 후낭하의 백내장 진행 정도를 기준으로 상기 피검사자의 백내장 심각성을 평가하는 백내장 심각성 평가단계 및 치료단계판단부가 상기 백내장 심각성 또는 건강검진 결과를 이용하여 상기 피검사자에게 필요한 백내장 치료단계를 판단하여 제공하는 치료계획 제공단계를 포함 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법에서,
상기 입력단계 전에, 전처리부가 Faster R-CNN을 이용하여 상기 세극등 현미경 검사 결과 이미지 또는 상기 역반사조명 검사결과 이미지에서 수정체에 해당하는 영역만을 추출하는 전처리 단계를 더 포함 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법에서,
상기 수정체 핵의 백내장 진행 정도는 상기 수정체 핵의 혼탁한 정도를 기준으로 등급을 구분한 NO등급 및 상기 수정체 핵의 갈변 정도를 기준으로 등급을 구분한 NC 등급을 이용하여 판별되며, 상기 수정체 피질의 백내장 진행 정도는 상기 역반사조명 검사결과 이미지의 수정체 피질 부분에 불투명한 혼탁이 존재하는지 여부 및 상기 불투명한 혼탁이 전체 수정체에서 차지하는 면적을 기준으로 등급을 구분한 CO등급을 이용하여 판별되고, 상기 수정체 후낭하의 백내장 진행정도는 상기 역반사조명 검사결과 이미지의 수정체 뒤쪽 부분에 불투명한 혼탁이 존재하는지 여부 및 상기 불투명한 혼탁이 전체 수정체에서 차지하는 면적을 기준으로 등급을 구분한 PSC등급을 이용하여 판별되는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법에서,
상기 백내장 진단단계는, 상기 NO등급, NC등급, CO등급 및 PSC등급이 모두 0인 경우 상기 피검사자에 대하여 백내장 없음으로 판단하는 단계 및 상기 NO등급, NC등급, CO등급 또는 PSC등급이 0이 아닌 경우 상기 피검사자에 대하여 백내장 있음으로 판단하는 단계를 더 포함 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법에서,
상기 백내장 심각성은 백내장 없음, 경증(mild), 중등증(moderate) 및 중증(severe)으로 구분되고, 상기 백내장 심각성 평가단계는, 상기 NO등급, NC등급, CO등급 및 PSC등급 중 큰 값을 기준으로 백내장 심각성 정도를 평가하는 단계 및 상기 건강검진 결과에서 상기 피검사자의 시력을 추출하여 일정 기준 이상인지 여부를 판단하는 단계를 더 포함 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단방법에서,
상기 치료계획 제공단계는, 상기 백내장 심각성이 백내장 없음으로 평가된 경우, 상기 피검사자의 시력이 일정기준 이상이면 다음 검사일정을 제공하고 상기 피검사자의 시력이 일정기준 미만이면 병원방문 권유 문구를 출력하는 단계, 상기 백내장 심각성이 경증으로 평가된 경우 병원방문 권유 문구를 출력하는 단계, 상기 백내장 심각성이 중등증으로 평가된 경우, 상기 피검사자의 시력이 일정기준 이상이면 병원방문 권유 문구를 출력하고, 상기 피검사자의 시력이 일정기준 미만이면 수술 권유 문구를 출력하는 단계 및 상기 백내장 심각성이 중증으로 평가된 경우 수술 권유 문구를 출력하는 단계를 더 포함 할 수 있다.
본 발명의 일 실시예로써, 전술한 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체가 제공된다.
본 발명의 일 실시예로써, 딥러닝을 이용한 백내장 진단시스템이 제공된다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단시스템은,
세극등 현미경 검사결과 이미지, 역반사조명 검사결과 이미지 또는 피검사자의 건강검진 결과를 획득하는 입력부, 상기 세극등 현미경 검사결과 이미지 또는 상기 역반사조명 검사결과 이미지를 기초로 기 학습된 딥러닝 예측모델, 상기 딥러닝 예측모델을 이용하여 수정체 핵, 피질 또는 후낭하의 백내장 진행 정도를 예측하고, 상기 백내장 진행 정도를 기준으로 상기 피검사자가 백내장인지 여부를 판별하는 백내장진단부, 상기 백내장 진행 정도를 기준으로 백내장 심각성을 평가하는 심각성 평가부, 상기 백내장 심각성 또는 상기 건강검진 결과를 이용하여 상기 피검사자에게 필요한 백내장 치료단계를 판단하여 제공하는 치료단계판단부를 포함할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단시스템은,
Faster R-CNN을 이용하여 상기 세극등 현미경 검사 결과 이미지 또는 상기 역반사조명 검사결과 이미지에서 수정체에 해당하는 영역만을 추출하는 전처리부를 더 포함 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단시스템에서,
상기 전처리부는, 상기 세극등 현미경 검사결과 이미지와 상기 역반사조명 검사결과 이미지를 변형시켜 상기 딥러닝 예측모델의 학습에 사용되는 데이터의 수를 증가시키는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단시스템에서,
상기 딥러닝 예측모델은, ImageNet 1k 데이터 세트를 사용하여 사전 학습된 네트워크에서 4번째 Residual block과 완전 연결된 레이어(fully connected layer)를 추출하여 학습되는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단시스템에서,
상기 딥러닝 예측모델은, CB(Class Balanced) loss 함수와 GCE(Generalized Cross Entropy) loss 함수를 결합한 함수를 목적함수로 사용하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단시스템에서,
상기 딥러닝 예측모델은, Residual block을 갖는 네트워크에서 활용되며, ResNet, Wide ResNet, ResNext 및 MobileNet V2 중 적어도 어느 하나의 네트워크에 대해서 학습을 진행한 뒤, 각각의 네트워크에서 도출된 예측을 결합함으로써 구현되는 것을 특징으로 할 수 있다.
본 발명에 따르면, 기 학습된 딥러닝 예측모델을 이용하여 세극등 현미경 검사결과 이미지 및 역반사조명 검사결과 이미지로부터 피검사자의 백내장 여부를 객관적으로 진단할 수 있다.
또한, 상기 예측 결과 및 시력 결과를 이용하여 피검사자의 백내장 심각성을 평가할 수 있으며, 심각성 정도에 따라 적절한 치료계획을 제공할 수 있다는 이점이 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급된 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1(a)는 세극등 현미경 검사결과 이미지의 예시도, 도 1(b)는 역반사조명 검사결과 이미지의 예시도이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝 예측모델이 백내장 진행정도를 예측할 때 사용하는 기준 데이터이다.
도 3은 본 발명에 따른 딥러닝을 이용한 백내장 진단방법의 순서도이다.
도 4는 본 발명의 제1 실시예에 따른 백내장 진단단계의 순서도이다.
도 5는 본 발명의 제1 실시예에 따른 백내장 심각성 평가단계의 순서도이다.
도 6은 본 발명의 제2 실시예에 따른 백내장 진단단계의 순서도이다.
도 7은 본 발명의 제2 실시예에 따른 백내장 심각성 평가단계의 순서도이다.
도 8은 본 발명의 제3 실시예에 따른 백내장 진단단계의 순서도이다.
도 9는 본 발명의 제3 실시예에 따른 백내장 심각성 평가단계의 순서도이다.
도 10은 본 발명의 일 실시예에 따른 치료계획 제공단계의 순서도이다.
도 11은 본 발명의 일 실시 예에 따른 딥러닝을 이용한 백내장 진단시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝 예측모델이 백내장 진행정도를 예측할 때 사용하는 기준 데이터이다.
도 3은 본 발명에 따른 딥러닝을 이용한 백내장 진단방법의 순서도이다.
도 4는 본 발명의 제1 실시예에 따른 백내장 진단단계의 순서도이다.
도 5는 본 발명의 제1 실시예에 따른 백내장 심각성 평가단계의 순서도이다.
도 6은 본 발명의 제2 실시예에 따른 백내장 진단단계의 순서도이다.
도 7은 본 발명의 제2 실시예에 따른 백내장 심각성 평가단계의 순서도이다.
도 8은 본 발명의 제3 실시예에 따른 백내장 진단단계의 순서도이다.
도 9는 본 발명의 제3 실시예에 따른 백내장 심각성 평가단계의 순서도이다.
도 10은 본 발명의 일 실시예에 따른 치료계획 제공단계의 순서도이다.
도 11은 본 발명의 일 실시 예에 따른 딥러닝을 이용한 백내장 진단시스템의 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "~부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고"연결되어 있는 경우도 포함한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1(a)는 세극등 현미경 검사결과 이미지의 예시도, 도 1(b)는 역반사조명 검사결과 이미지의 예시도이다.
이때, 세극등 현미경(Slit lamp) 검사결과 이미지는 고배율의 현미경이 달린 세극등 현미경으로 피검사자의 눈을 확대하여 촬영한 이미지를 의미하며, 역반사조명(Retroillumination) 검사결과 이미지는 세극등 현미경 검사에서 조명법을 달리한 것으로 안구에 광선을 직접 조사하고, 반사된 광선에 의해 관찰된 수정체, 각막 등 안구구조물을 촬영한 이미지를 의미한다.
도 2는 본 발명의 본 발명의 일 실시예에 따른 딥러닝 예측모델(10)이 백내장 진행 정도를 예측할 때 사용하는 기준 데이터이다.
도 2를 참조하면, 기준 데이터는 피검사자의 백내장 진행 정도를 수정체의 핵, 피질 및 후낭하 영역 별로 구분하여 나타낼 수 있다.
이때, 수정체 핵의 백내장 진행 정도는 수정체 핵의 혼탁한 정도를 기준으로 등급을 구분한 NO등급 및 수정체 핵의 갈변 정도를 기준으로 등급을 구분한 NC 등급으로 분류될 수 있다. 이때, NO등급 및 NC등급은 수정체 핵의 혼탁 및 갈변이 없을 때를 0 등급으로 하고 도 2에 나타난 바와 같이 각각 1 내지 6 등급으로 분류한 총 7개의 단계로 구분될 수 있다.
또한, 수정체 피질의 백내장 진행 정도는 역반사조명 검사결과 이미지의 수정체 피질 부분에 불투명한 혼탁이 존재하는지 여부 및 상기 불투명한 혼탁이 전체 수정체에서 차지하는 면적을 기준으로 등급을 구분한 CO등급을 이용하여 분류될 수 있다. 이때, CO등급은 피질 혼탁이 없을 때를 0 등급으로 하고 도 2에 나타난 바와 같이 1 내지 5 등급으로 분류한 총 6개의 단계로 구분될 수 있다.
또한, 수정체 후낭하의 백내장 진행정도는 역반사조명 검사결과 이미지의 수정체 뒤쪽 부분에 불투명한 혼탁이 존재하는지 여부 및 상기 불투명한 혼탁이 전체 수정체에서 차지하는 면적을 기준으로 등급을 구분한 PSC등급을 이용하여 분류될 수 있다. 이때, PSC등급은 후낭하 혼탁이 없을 때를 0 등급으로 하고 도 2에 나타난 바와 같이 1 내지 5 등급으로 분류한 총 6개의 단계로 구분될 수 있다.
이때, NO등급, NC등급, CO등급 및 PSC등급은 등급의 크기가 클수록 백내장 진행 정도가 큰 것을 의미할 수 있다.
본 발명의 일 실시 예에 따른 백내장 진단방법에서 사용되는 딥러닝 예측모델(10)은 기존에 축적된 세극등 현미경 검사결과 이미지 및 역반사조명 검사결과 이미지에 백내장 진행 정도를 레이블링하여 학습된 예측모델로 구현될 수 있다.
이때, 학습이란 딥러닝 예측 모델에 입력된 현미경 검사결과 이미지가 도 2의 기준 데이터에서 어떤 등급에 해당하는지를 예측하고, 예측한 결과가 레이블링과 일치하는지 여부를 비교하여 오차율을 산출한 뒤 그 오차율을 줄여나가는 과정을 의미한다.
이하, 본 발명의 일 실시예에 따른 백내장 진단방법에서 사용되는 딥러닝 예측모델(10)의 학습과정에 대하여 상세히 설명한다.
실시예에 따라, 딥러닝 예측모델(10)은 과적합 문제를 해결하기 위하여 기존에 축적된 세극등 현미경 검사결과 이미지 또는 역반사조명 검사결과 이미지를 변형(Data Augmentation)시켜 학습에 사용되는 데이터의 수를 증가시킬 수 있다.
이때, 세극등 현미경 검사결과 이미지의 변형방법으로는 하기의 [표 1]과 같은 데이터 변형방법이 사용될 수 있다.
| Augmented Techniques | Hyper Parameters |
| Crop | Randomlnt(0, 16) |
| Gaussian Blur | Normal (0.0, 3.0) |
| Flip Horizontal / Vertical | P=0.5 |
| Rotation | Uniform (-45.0, 45.0) |
| Change Brightness | Uniform (-30.0, 30.0) |
| Remove Saturation | Uniform (0.0, 0.5) |
또한, 상기 딥러닝 예측모델(10)은, ImageNet 1k 데이터 세트를 사용하여 사전 학습된 네트워크에서 4번째 Residual block과 완전 연결된 레이어(fully connected layer)를 추출하여 학습되는 것을 특징으로 할 수 있다.이때, 사전 학습된 네트워크는 ResNet-18로 구현될 수 있다. 여기서, ResNet-18은 18개의 계층으로 구성된 컨벌루션 신경망을 의미한다.
이와 같이 사전 학습된 네트워크에서 일부분을 가져와 다른 종류의 예측 모델을 구축하는 것을 전이학습(Transfer Learning)이라고 하며, 본 발명은 전술한 방식을 통해 모델의 일부분만을 학습시킴으로써 모델이 학습 데이터를 외우는 것을 최소화할 수 있다.
실시 예에 따라, 상기 딥러닝 예측모델(10)은 Residual block을 가진 모든 네트워크에서 활용될 수 있으며, 이에 따라 ResNet, Wide ResNet, ResNext, MobileNet V2 와 같은 다양한 네트워크에 대해서 학습을 진행한 뒤, 각각의 네트워크에서 도출된 예측을 결합함으로써 보다 정확한 예측을 도출할 수 있다.
또한, 전술한 방식으로 학습된 딥러닝 예측모델은 종래의 딥러닝 예측모델에 비해 이미지 인식 수행 능력 및 데이터 분류 능력이 향상된다.
실시 예에 따라, 상기 딥러닝 예측 모델은 CB(Class Balanced) loss 함수와 GCE(Generalized Cross Entropy) loss 함수를 결합한 함수를 목적함수로 사용하는 것을 특징으로 할 수 있다.
이때, CB loss 함수는 하기의 [수학식 1]과 같이 나타낼 수 있다.
여기서, 
은 샘플의 예상부피를 의미하는 유효숫자를, 
, 
은 데이터 셋의 크기를, 
는 목적 함수(Loss function)를 의미한다.
의료 데이터와 같이, 데이터의 수가 불균형한 데이터셋을 이용하여 모델을 학습하게 되면 모델은 학습 데이터에서 수가 많았던 클래스로 이미지를 분류하려는 편향성을 갖게 될 수 있다.
즉, 정상적인 이미지가 학습데이터에 많은 경우 심각성이 높은 환자에 대해서도 정상으로 분류하거나 심각성이 낮은 것으로 분류할 가능성이 높아지므로 이러한 모델을 이용한 질환 진단은 심각한 오류를 초래한다.
따라서, 본 발명에 따른 딥러닝 예측모델(10)은 데이터의 불균형과 상관없이 높은 정확성을 갖도록 하기 위해 CB loss함수를 사용하여 최적화 과정을 수행할 수 있다.
이때, GCE loss 함수는 하기의 [수학식 2]와 같이 나타낼 수 있다.
여기서, 
는 j번째 원소가 1인 one-hot vector이며, 
는 f(x)의 j번째 원소를 의미한다.
GCE loss란 이미지에 레이블링(Labeling)이 잘못된 경우에도 강건하게 학습을 할 수 있도록 제안된 목적함수이다.
딥러닝 예측모델(10)의 학습에 사용되는 데이터는 임상의가 이미지를 보고 판단한 진단결과를 기준으로 레이블링이 수행된 것일 수 있다. 이때, 학습에 사용되는 데이터는 개인의 편향성이 반영된 것이므로, 동일한 이미지임에도 불구하고 다양한 수준의 진단이 내려질 수 있다. 이러한 주관적인 편향성이 반영된 레이블링을 사용하여 모델을 학습할 경우 학습된 모델의 정확성을 기대하기 어렵다.
따라서, 본 발명에 따른 딥러닝 예측모델(10)은 객관적인 진단을 할 수 있는 능력을 높이기 위해 GCE loss를 목적함수로 사용할 수 있다.
GCE loss 함수는 하이퍼 파라미터 
에 따라 값이 달라지는데, L'Hoptial의 정리에 의해 
이면 CE loss와 동일하고 
인 경우에는 Mean Absolute Error (MAE) loss와 동일하다.
즉, 본 발명의 실시예에 따른 딥러닝 예측모델(10)은 세극등 현미경 검사결과 이미지 또는 역반사조명 검사결과 이미지를 기준 데이터와 비교하여 피검사자의 NO등급, NC등급, CO등급 및 PSC등급을 분류할 수 있으며, 이를 통해 백내장 진행 정도를 예측할 수 있다.
도 3은 본 발명에 따른 딥러닝을 이용한 백내장 진단방법의 순서도이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 입력단계(S100), 백내장 진단단계(S200), 백내장 심각성 평가단계(S300) 및 치료계획 제공단계(S400)를 포함할 수 있다.
입력단계에서는 입력부(200)가 세극등 현미경(Slit lamp) 검사결과 이미지, 역반사조명(Retroillumination) 검사결과 이미지 또는 피검사자의 건강검진 결과 중 적어도 어느 하나를 수신한다.
상기 피검사자의 건강검진 결과는 피검사자의 나이, 이름 등의 개인정보 또는 키, 몸무게, 시력정보 등의 신체정보를 포함할 수 있다.
실시 예에 따라, 상기 입력단계(S100)에서는 전처리부(100)가 Faster R-CNN을 이용하여 상기 세극등 현미경 검사결과 이미지에서 수정체에 해당하는 영역만을 추출하는 전처리 단계를 먼저 수행할 수 있다.
이는 도 1(a)에 나타난 바와 같이, 데이터 분석에 있어서 필요하지 않은 피검사자의 동공영역 외의 부분과 같은 정보가 포함된 경우 불필요한 영역에 의해 학습 성능이 낮아질 수 있으므로, 피검사자의 동공영역 또는 수정체가 포함된 영역과 같이 필요한 정보만 추출하여 집중적으로 분석하기 위함이다.
본 발명의 백내장 진단단계(S200) 및 백내장 심각성 평가단계(S300)와 관련하여서는 이하 도 4 내지 도 9를, 치료계획 제공단계(S400)와 관련하여서는 이하 도 10을 참조하여 상세히 설명하기로 한다.
도 4 및 도 5는 본 발명의 제1 실시예에 따른 백내장 진단단계(S201), 및 백내장 심각성 평가단계(S301)의 순서도이다.
도 4 및 도 5를 참조하면, 본 발명의 제1 실시예에 따른 백내장 진단방법은 세극등 현미경 검사결과 이미지를 이용하여 백내장을 진단하고 백내장의 심각성을 평가한다.
상기 백내장 진단단계(S201)에서는 백내장진단부(500)가 상기 세극등 현미경 검사결과 이미지를 딥러닝 예측모델(10)에 입력하여 수정체 핵의 백내장 진행 정도를 예측하고, 피검사자가 백내장인지 여부를 판별한다.
실시예에 따라, 상기 백내장 진단단계(S201)는 상기 NO등급 및 NC등급이 모두 0인 경우 상기 피검사자에 대하여 백내장 없음으로 판단하는 단계(S211) 및 상기 NO등급 또는 NC등급이 0이 아닌 경우 상기 피검사자를 백내장 있음으로 판단하는 단계(S221)를 더 포함 할 수 있다.
즉, 백내장진단부(500)는 세극등 현미경 검사결과 이미지를 기 학습된 딥러닝 예측모델(10)에 입력하여 입력된 세극등 현미경 검사결과 이미지가 갖는 NO등급 및 NC등급을 예측할 수 있으며, 예측된 세극등 현미경 검사결과 이미지의 NO등급과 NC등급이 모두 0인 경우 피검사자에 대하여 백내장 없음으로 판단할 수 있다.
상기 백내장 심각성 평가단계(S301)에서는 심각성평가부(300)가 수정체 핵의 백내장 진행 정도를 기준으로 피검사자의 백내장 심각성을 평가한다. 이때, 백내장 심각성은 백내장 없음, 경증(mild), 중등증(moderate) 및 중증(severe)으로 구분될 수 있다.
예를 들어 백내장 심각성은 백내장 진행 정도(NO등급 또는 NC등급)가 0등급인 경우 백내장 없음으로, 1~2 등급인 경우 경증으로, 3~4 등급인 경우 중등증으로 5~6등급인 경우 중증으로 구분될 수 있다.
즉, 백내장 진행 정도가 높을수록(i.e. NO등급 또는 NC등급이 높을수록) 백내장이 심각한 것으로 구분된다.
실시 예에 따라, 상기 백내장 심각성 평가단계(S301)는 NO등급과 NC등급 중 큰 값을 기준으로 백내장 심각성을 평가하는 단계(S311) 및 상기 건강검진 결과에서 상기 피검사자의 시력을 추출하여 일정 기준 이상인지 여부를 판단하는 단계(S321)를 더 포함 할 수 있다.
예를 들어, NO등급은 2등급, NC 등급은 3등급인 경우 둘 중 큰 값인 3등급을 기준으로 백내장 심각성을 평가하므로, 백내장 심각성은 중등증으로 평가될 것이다.
도 6 및 도 7은 본 발명의 제2 실시예에 따른 백내장 진단단계(S202), 및 백내장 심각성 평가단계(S302)의 순서도이다.
도 6 및 도 7을 참조하면, 본 발명의 제2 실시예에 따른 백내장 진단방법은 역반사조명 검사결과 이미지를 이용하여 백내장을 진단하고 백내장의 심각성을 평가한다.
상기 백내장 진단단계(S202)에서는 백내장진단부(500)가 역반사조명 검사결과 이미지를 딥러닝 예측모델(10)에 입력하여 수정체 피질 및 후낭하의 백내장 진행 정도를 예측하고, 피검사자가 백내장인지 여부를 판별한다.
실시예에 따라, 상기 백내장 진단단계(S202)는 상기 CO등급 및 PSC등급이 모두 0인 경우 상기 피검사자에 대하여 백내장 없음으로 판단하는 단계(S212) 및 상기 CO등급 또는 PSC등급이 0이 아닌 경우 상기 피검사자에 대하여 백내장 있음으로 판단하는 단계(S222)를 더 포함할 수 있다.
즉, 백내장진단부(500)는 역반사조명 검사결과 이미지를 기 학습된 딥러닝 예측모델(10)에 입력하여 입력된 역반사조명 검사결과 이미지가 갖는 CO등급 및 PSC등급을 예측할 수 있으며, 예측된 역반사조명 검사결과 이미지의 CO등급과 PSC등급이 모두 0인 경우 피검사자에 대하여 백내장 없음으로 판단할 수 있다.
상기 백내장 심각성 평가단계(S302)에서는 심각성평가부(300)가 수정체 피질 및 후낭하의 백내장 진행 정도를 기준으로 피검사자의 백내장 심각성을 평가한다. 이때, 백내장 심각성은 백내장 없음, 경증(mild), 중등증(moderate) 및 중증(severe)으로 구분될 수 있다.
예를 들어, 백내장 심각성은 백내장 진행 정도(CO등급 또는 PSC등급)가 0등급인 경우 백내장 없음으로, 1~2 등급인 경우 경증으로, 3~4 등급인 경우 중등증으로 5~6등급인 경우 중증으로 구분될 수 있다.
즉, 백내장 진행 정도가 높을수록(i.e. CO등급 또는 PSC등급이 높을수록) 백내장이 심각한 것으로 구분된다.
실시 예에 따라 상기 백내장 심각성 평가단계(S302)는, CO등급 및 PSC등급 중 큰 값을 기준으로 백내장 심각성 정도를 평가하는 단계(S312) 및 상기 건강검진 결과에서 상기 피검사자의 시력을 추출하여 일정 기준 이상인지 여부를 판단하는 단계(S322)를 더 포함할 수 있다.
예를 들어, CO등급은 1등급, PSC 등급은 5등급인 경우 둘 중 큰 값인 5등급을 기준으로 백내장 심각성을 평가하므로, 백내장 심각성은 중증으로 평가될 것이다.
도 8 및 도 9는 본 발명의 제3 실시예에 따른 백내장 진단단계(S203), 및 백내장 심각성 평가단계(S303)의 순서도이다.
도 8 및 도 9를 참조하면, 본 발명의 제3 실시예에 따른 백내장 진단방법은 세극등 현미경 검사결과 이미지와 역반사조명 검사결과 이미지를 함께 사용하여 백내장 진단 및 심각성을 평가한다.
상기 백내장 진단단계(S200)에서는 백내장 진단부(500)가 세극등 현미경 검사결과 이미지 및 역반사조명 검사결과 이미지를 딥러닝 예측모델(10)에 입력하여 수정체 핵, 피질 및 후낭하의 백내장 진행 정도를 예측하고, 상기 피검사자가 백내장인지 여부를 판별한다.
실시예에 따라, 상기 백내장 진단단계(S200)는 상기 NO등급, NC등급, CO등급 및 PSC등급이 모두 0인 경우 상기 피검사자에 대하여 백내장 없음으로 판단하는 단계(S213) 및 상기 NO등급, NC등급, CO등급 또는 PSC등급이 0이 아닌 경우 상기 피검사자에 대하여 백내장 있음으로 판단하는 단계(S223)를 더 포함 할 수 있다.
즉, 백내장진단부(500)는 세극등 현미경 검사결과 이미지와 역반사조명 검사결과 이미지를 기 학습된 딥러닝 예측모델(10)에 입력하여 입력된 세극등 현미경 검사결과 이미지 및 역반사조명 검사결과 이미지가 갖는 NO등급, NC등급, CO등급 및 PSC등급을 예측할 수 있으며, 예측된 세극등 현미경 검사결과 이미지 및 역반사조명 검사결과 이미지의 NO등급, NC등급, CO등급 및 PSC등급이 모두 0인 경우 피검사자에 대하여 백내장 없음으로 판단할 수 있다.
상기 백내장 심각성 평가단계(S303)에서는 심각성평가부(300)가 상기 수정체 핵, 피질 및 후낭하의 백내장 진행 정도를 기준으로 상기 피검사자의 백내장 심각성을 평가한다. 이때, 백내장 심각성은 백내장 없음, 경증(mild), 중등증(moderate) 및 중증(severe)으로 구분될 수 있다.
예를 들어, 백내장 심각성은 백내장 진행 정도(NO등급, NC등급, CO등급 또는 PSC등급)가 0등급인 경우 백내장 없음으로, 1~2 등급인 경우 경증으로, 3~4 등급인 경우 중등증으로 5~6등급인 경우 중증으로 구분될 수 있다.
즉, 백내장 진행 정도가 높을수록(i.e. NO등급, NC등급, CO등급 또는 PSC등급이 높을수록) 백내장이 심각한 것으로 구분된다.
실시 예에 따라, 상기 백내장 심각성 평가단계(S300)는, NO등급, NC등급, CO등급 및 PSC등급 중 큰 값을 기준으로 백내장 심각성을 평가하는 단계(S313) 및 상기 건강검진 결과에서 상기 피검사자의 시력을 추출하여 일정 기준 이상인지 여부를 판단하는 단계(S323)를 더 포함 할 수 있다.
예를 들어, NO등급이 1등급, NC등급이 2등급, CO등급이 2등급 및 PSC등급이 1등급인 경우 그 중에서 큰 값인 2등급을 기준으로 백내장 심각성을 평가하며, 이 경우 백내장 심각성은 경증으로 평가될 수 있다.
실시예에 따라, NO등급, NC등급, CO등급 및 PSC등급을 기준으로 백내장 심각성을 평가한다는 것은 NO등급, NC등급, CO등급 및 PSC등급을 기준으로 수정체 핵, 피질 및 후낭하 별로 각각의 백내장 심각성 정도를 평가하는 것을 의미할 수 있다. 이 경우 실시 예에 따라, 경증, 중등증 또는 중증의 개수를 기준으로 심각성 정도를 재평가할 수도 있을 것이다.
예를 들어, NO등급이 3등급, NC등급이 5등급, CO등급이 2등급 및 PSC등급이 5등급인 경우, 수정체 핵의 백내장 진행 정도는 중증(NO등급, NC등급 중 큰 값이 5등급이므로)으로 평가되고, 수정체 피질의 백내장 진행 정도는 경증(CO등급이 2등급이므로)으로 평가되고, 수정체 후낭하의 백내장 진행 정도는 중증(PSC등급이 5등급이므로)으로 평가될 수 있다.
이때, 수정체 핵, 피질 및 후낭하의 백내장 진행 정도 3개 중 2개가 중증으로 평가되는 것을 기준으로 중증 백내장 진행 정도를 보다 세분화할 수 있을 것이다(ex. 중증 0개, 중증 1개 중증 2개로 세분화 가능).
도 10은 본 발명의 일 실시예에 따른 치료계획 제공단계(S400)의 순서도이다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 치료계획 제공단계(S400)에서는 치료단계판단부(400)가 백내장 심각성 또는 건강검진 결과를 이용하여 피검사자에게 필요한 백내장 치료단계를 판단하여 제공한다.
실시예에 따라, 상기 치료계획 제공단계(S400)는 상기 백내장 심각성이 백내장 없음으로 판단된 경우 피검사자의 시력이 일정기준 이상이면 다음 검사일정을 제공하고 피검사자의 시력이 일정기준 미만이면 병원방문 권유 문구를 출력하는 단계(S410), 상기 백내장 심각성이 경증으로 평가되는 경우 병원방문 권유 문구를 출력하는 단계 (S420), 상기 백내장 심각성이 중등증으로 평가되는 경우, 피검사자의 시력이 일정기준 이상이면 병원방문 권유 문구를 출력하고, 피검사자의 시력이 일정기준 미만이면 수술 권유 문구를 출력하는 단계(S430) 및 상기 백내장 심각성이 중증으로 평가되는 경우 수술 권유 문구를 출력하는 단계(S440)를 더 포함 할 수 있다.
즉, 백내장 없음으로 판단된 경우에도 피검사자의 시력이 문제가 있는지 여부를 기준으로 다음 검사일정을 제공할 것인지 시력저하의 다른 원인을 확인하기 위해 병원에 방문하여 임상의의 진료를 받아볼 것을 권유할 것인지 결정하여 제공할 수 있으며, 백내장 심각성이 중등증인 경우 피검사자의 시력에 문제가 있는지 여부를 기준으로 수술 권유 문구를 출력할 것인지 병원에 방문하여 임상의의 진료를 받아볼 것을 권유하는 문구를 출력할 것인지 결정하여 제공할 수 있다.
또한, 본 발명은 도 3 내지 도 10의 진단방법을 프로그램으로 구현하기 위한 컴퓨터로 판독 가능한 기록 매체로 제공할 수 있다. 다시 말해서, 전술 한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다.
본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로 그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 딥러닝을 이용한 백내장 진단시스템(1)의 블록도이다.
도 11을 참조하면, 본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단시스템(1)은, 세극등 현미경 검사결과 이미지, 역반사조명 검사결과 이미지 또는 피검사자의 건강검진 결과를 획득하는 입력부(200), 상기 세극등 현미경 검사결과 이미지 또는 상기 역반사조명 검사결과 이미지를 기초로 기 학습된 딥러닝 예측모델(10), 상기 딥러닝 예측모델(10)을 이용하여 수정체 핵, 피질 또는 후낭하의 백내장 진행 정도를 예측하고, 상기 백내장 진행 정도를 기준으로 상기 피검사자가 백내장인지 여부를 판별하는 백내장 진단부(500), 상기 백내장 진행 정도를 기준으로 백내장 심각성을 평가하는 심각성 평가부(300), 상기 백내장 심각성 또는 상기 건강검진 결과를 이용하여 상기 피검사자에게 필요한 백내장 치료단계를 판단하여 제공하는 치료단계 판단부(400)를 포함할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 백내장 진단시스템(1)은, Faster R-CNN을 이용하여 상기 세극등 현미경 검사 결과 이미지 또는 상기 역반사조명 검사결과 이미지에서 수정체에 해당하는 영역만을 추출하는 전처리부(100)를 더 포함 할 수 있다.
상기 전처리부(100)는, 상기 세극등 현미경 검사결과 이미지와 상기 역반사조명 검사결과 이미지를 변형시켜 상기 딥러닝 예측모델(10)의 학습에 사용되는 데이터의 수를 증가시키는 것을 특징으로 할 수 있다.
실시예에 따라, 상기 딥러닝 예측모델(10)은, ImageNet 1k 데이터 세트를 사용하여 사전 학습 된 네트워크에서 4번째 Residual block과 완전 연결된 레이어(fully connected layer)를 추출하여 학습되는 것을 특징으로 할 수 있다.
이때, 사전 학습된 네트워크는 ResNet-18로 구현될 수 있다. 여기서, ResNet-18은 18개의 계층으로 구성된 컨벌루션 신경망을 의미한다.
실시예에 따라, 상기 딥러닝 예측모델(10)은, CB(Class Balanced) loss 함수와 GCE(Generalized Cross Entropy) loss 함수를 결합한 함수를 목적함수로 사용하는 것을 특징으로 할 수 있다.
실시 예에 따라, 상기 딥러닝 예측모델(10)은 Residual block을 가진 모든 네트워크에서 활용될 수 있으며, 이에 따라 ResNet, Wide ResNet, ResNext, MobileNet V2 와 같은 다양한 네트워크에 대해서 학습을 진행한 뒤, 각각의 네트워크에서 도출된 예측을 결합함으로써 보다 정확한 예측을 도출할 수 있다.
본 발명의 일 실시 예에 따른 시스템과 관련하여서는 전술한 방법에 대한 내용이 적용될 수 있다. 따라서, 시스템과 관련하여 전술한 방법에 대한 내용과 동일한 내용에 대하여는 설명을 생략한다.
본 발명의 일 실시 예에 따른 진단방법 및 진단시스템의 정확성을 평가하기 위해 실험한 결과, 하기의 [표 2]과 같은 실험결과를 얻을 수 있었다.
| 백내장 진행 정도 기준 | Accuracy |
| NO등급 | 93.62% |
| NC등급 | 92.57% |
| CO등급 | 90.87% |
| PSC등급 | 90.28% |
즉, 상기 [표 1]에 따르면 본 발명의 일 실시예에 따른 진단방법 및 진단 시스템은 수정체 핵의 백내장 진행 정도를 나타내는 NO등급 및 NC등급의 분류 정확도는 각각 93.62%와 92.57%이고, 수정체 피질의 백내장 진행 정도를 나타내는 CO등급의 분류 정확도는 90.87%, 수정체 후낭하의 백내장 진행 정도를 나타내는 PSC등급의 분류 정확도는 90.28%인 것을 알 수 있다. 이는 기존의 등급 분류 정확도인 (NO등급) 61.51%, (NC등급) 70.94%, (CO등급) 58.75%, (PSC등급) 64.89% 보다 높다. 즉, 본 발명의 일 실시예에 따른 진단방법 및 진단시스템에 의할 경우 백내장 진단의 정확성을 향상시킬 수 있을 것이다.
상기 실험에서, 딥러닝 예측모델은 Region Detection Network(RDN)와 Classification Network(CN)으로 분류되었으며, RDN을 먼저 학습시킨 뒤(1단계), 학습이 완료된 RDN을 고정시킨 다음 CN을 학습시키는 과정(2단계)을 통해 구현되었다.
상기 1단계는 이미 학습된 RDN을 ImageNet-1K 데이터 셋을 이용하여 수정체에 해당하는 위치를 추출하는 과정으로, 하기 [수학식 3]과 같은 표준 평활 손실함수를 활용하여 학습시켰다.
이때, 학습률은 0.005, 운동량은 0.9, 가중치 감쇠계수는 0.0005의 옵티 마이저를 사용하였으며, 미니 배치 크기 8의 10에폭(epoch)동안 네트워크를 학습시켰으며, RDN에 잘린 이미지가 주어질 경우에는 크기를 224x224로 조정하고 0에서 1로 정규화하였다.
상기 2단계는 각 이미지 유형에 대하여 두 가지 유형의 등급을 예측하는 과정으로, CN을 GCE loss 함수를 목적함수로 갖는 CB loss 함수를 최소화하는 방법으로 학습시켰다.
이때, 기본 하이퍼 매개변수가 있는 Adam 최적화 프로그램을 사용하였으며, 무게 감쇠 계수는 0.0005로 설정하였다. 또한, 학습률은 처음에는 완전 연결 층에 대해 0.001을 설정하고, 마지막 잔여 블록에 대하여는 0.0001을 설정하였다. 다음 학습의 수렴을 위해 10에폭(epoch)마다 학습률을 0.95배 감소시켰으며 미니 배치 크기 32로 200에폭(epoch)동안 네트워크를 훈련시켰다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 딥러닝을 이용한 백내장 진단시스템
10: 딥러닝 예측모델
100: 전처리부
200: 입력부
300: 심각성평가부
400: 치료단계판단부
500: 백내장 진단부
10: 딥러닝 예측모델
100: 전처리부
200: 입력부
300: 심각성평가부
400: 치료단계판단부
500: 백내장 진단부
Claims (25)
- 딥러닝을 이용한 백내장 진단방법에 있어서,
입력부가 세극등 현미경(Slit lamp) 검사결과 이미지 및 피검사자의 건강검진 결과를 수신하는 입력단계;
백내장진단부가 상기 세극등 현미경 검사결과 이미지를 딥러닝 예측모델에 입력하여 수정체 핵의 백내장 진행 정도를 예측하고, 상기 피검사자가 백내장인지 여부를 판별하는 백내장 진단단계;
심각성평가부가 상기 수정체 핵의 백내장 진행 정도를 기준으로 상기 피검사자의 백내장 심각성을 평가하는 백내장 심각성 평가단계; 및
치료단계판단부가 상기 백내장 심각성 또는 건강검진 결과를 이용하여 상기 피검사자에게 필요한 백내장치료단계를 판단하여 제공하는 치료계획 제공단계를 포함하는 딥러닝을 이용한 백내장 진단방법.
- 제 1 항에 있어서,
상기 입력단계 전에,
전처리부가 Faster R-CNN을 이용하여 상기 세극등 현미경 검사 결과 이미지에서 수정체에 해당하는 영역만을 추출하는 전처리 단계를 더 포함하는 딥러닝을 이용한 백내장 진단방법. - 제 1 항에 있어서,
상기 수정체 핵의 백내장 진행 정도는, 상기 수정체의 핵이 혼탁한 정도를 기준으로 등급을 구분한 NO등급 및 상기 수정체의 핵의 갈변 정도를 기준으로 등급을 구분한 NC등급을 이용하여 판별되는 것을 특징으로 하는 딥러닝을 이용한 백내장 진단방법.
- 제 3 항에 있어서,
상기 백내장 진단단계는,
상기 NO등급 및 NC등급이 모두 0인 경우 상기 피검사자에 대하여 백내장 없음으로 판단하는 단계; 및
상기 NO등급 또는 NC등급이 0이 아닌 경우 상기 피검사자를 백내장 있음으로 판단하는 단계를 더 포함하는 딥러닝을 이용한 백내장 진단방법.
- 제 4 항에 있어서,
상기 백내장 심각성은 백내장 없음, 경증(mild), 중등증(moderate) 및 중증(severe)으로 구분되고,
상기 백내장 심각성 평가단계는, 상기 NO등급과 상기 NC등급 중 큰 값을 기준으로 상기 백내장 심각성을 평가하는 단계; 및
상기 건강검진 결과에서 상기 피검사자의 시력을 추출하여 일정 기준 이상인지 여부를 판단하는 단계를 더 포함하는 딥러닝을 이용한 백내장 진단방법.
- 제 5 항에 있어서,
상기 치료계획 제공단계는,
상기 백내장 심각성이 백내장 없음으로 평가된 경우, 상기 피검사자의 시력이 일정기준 이상이면 다음 검사일정을 제공하고 상기 피검사자의 시력이 일정기준 미만이면 병원방문 권유 문구를 출력하는 단계;
상기 백내장 심각성이 경증으로 평가된 경우 병원방문 권유 문구를 출력하는 단계;
상기 백내장 심각성이 중등증으로 평가된 경우, 상기 피검사자의 시력이 일정기준 이상이면 병원방문 권유 문구를 출력하고, 상기 피검사자의 시력이 일정기준 미만이면 수술 권유 문구를 출력하는 단계; 및
상기 백내장 심각성이 중증으로 평가된 경우 수술 권유 문구를 출력하는 단계를 더 포함하는 딥러닝을 이용한 백내장 진단방법.
- 딥러닝을 이용한 백내장 진단방법에 있어서,
입력부가 역반사조명(Retroillumination) 검사결과 이미지 및 피검사자의 건강검진 결과를 수신하는 입력단계;
백내장진단부가 상기 역반사조명 검사결과 이미지를 딥러닝 예측모델에 입력하여 수정체 피질 및 후낭하의 백내장 진행 정도를 예측하고, 상기 피검사자가 백내장인지 여부를 판별하는 백내장 진단단계;
심각성평가부가 상기 수정체 피질 및 후낭하의 백내장 진행 정도를 기준으로 상기 피검사자의 백내장 심각성을 평가하는 백내장 심각성 평가단계; 및
치료단계판단부가 상기 백내장 심각성 또는 건강검진 결과를 이용하여 상기 피검사자에게 필요한 백내장 치료단계를 판단하여 제공하는 치료계획 제공단계를 포함하는 딥러닝을 이용한 백내장 진단방법.
- 제 7 항에 있어서,
상기 입력단계 전에,
전처리부가 Faster R-CNN을 이용하여 상기 역반사조명 검사결과 이미지에서 수정체에 해당하는 영역만을 추출하는 전처리 단계를 더 포함하는 딥러닝을 이용한 백내장 진단방법.
- 제 7 항에 있어서,
상기 수정체 피질의 백내장 진행 정도는,
상기 역반사조명 검사결과 이미지의 수정체 피질 부분에 불투명한 혼탁이 존재하는지 여부 및 상기 불투명한 혼탁이 전체 수정체에서 차지하는 면적을 기준으로 등급을 구분한 CO등급을 이용하여 판별되고,
상기 수정체 후낭하의 백내장 진행정도는,
상기 역반사조명 검사결과 이미지의 수정체 뒤쪽 부분에 불투명한 혼탁이 존재하는지 여부 및 상기 불투명한 혼탁이 전체 수정체에서 차지하는 면적을 기준으로 등급을 구분한 PSC등급을 이용하여 판별되는 것을 특징으로 하는 딥러닝을 이용한 백내장 진단방법.
- 제 9 항에 있어서,
상기 백내장 진단단계는,
상기 CO등급 및 PSC등급이 모두 0인 경우 상기 피검사자에 대하여 백내장 없음으로 판단하는 단계; 및
상기 CO등급 또는 PSC등급이 0이 아닌 경우 상기 피검사자에 대하여 백내장 있음으로 판단하는 단계를 더 포함하는 딥러닝을 이용한 백내장 진단방법.
- 제 10 항에 있어서,
상기 백내장 심각성은 백내장 없음, 경증(mild), 중등증(moderate) 및 중증(severe)으로 구분되고,
상기 백내장 심각성 평가단계는, 상기 CO등급 및 PSC등급 중 큰 값을 기준으로 백내장 심각성을 평가하는 단계; 및
상기 건강검진 결과에서 상기 피검사자의 시력을 추출하여 일정 기준 이상인지 여부를 판단하는 단계를 더 포함하는 딥러닝을 이용한 백내장 진단방법.
- 제 11 항에 있어서,
상기 치료계획 제공단계는,
상기 백내장 심각성이 백내장 없음으로 평가된 경우, 상기 피검사자의 시력이 일정기준 이상이면 다음 검사일정을 제공하고 상기 피검사자의 시력이 일정기준 미만이면 병원방문 권유 문구를 출력하는 단계;
상기 백내장 심각성이 경증으로 평가된 경우 병원방문 권유 문구를 출력하는 단계;
상기 백내장 심각성이 중등증으로 평가된 경우, 상기 피검사자의 시력이 일정기준 이상이면 병원방문 권유 문구를 출력하고, 상기 피검사자의 시력이 일정기준 미만이면 수술 권유 문구를 출력하는 단계; 및
상기 백내장 심각성이 중증으로 평가된 경우, 수술 권유 문구를 출력하는 단계를 더 포함하는 딥러닝을 이용한 백내장 진단방법.
- 딥러닝을 이용한 백내장 진단방법에 있어서,
입력부가 세극등 현미경(Slit lamp) 검사결과 이미지, 역반사조명(Retroillumination) 검사결과 이미지 및 피검사자의 건강검진 결과를 수신하는 입력단계;
백내장진단부가 상기 세극등 현미경 검사결과 이미지, 상기 역반사조명 검사결과 이미지를 딥러닝 예측모델에 입력하여 수정체 핵, 피질 및 후낭하의 백내장 진행 정도를 예측하고, 상기 피검사자가 백내장인지 여부를 판별하는 백내장 진단단계;
심각성평가부가 상기 수정체 핵, 피질 및 후낭하의 백내장 진행 정도를 기준으로 상기 피검사자의 백내장 심각성을 평가하는 백내장 심각성 평가단계; 및
치료단계판단부가 상기 백내장 심각성 또는 건강검진 결과를 이용하여 상기 피검사자에게 필요한 백내장 치료단계를 판단하여 제공하는 치료계획 제공단계를 포함하는 딥러닝을 이용한 백내장 진단방법.
- 제 13 항에 있어서,
상기 입력단계 전에,
전처리부가 Faster R-CNN을 이용하여 상기 세극등 현미경 검사 결과 이미지 또는 상기 역반사조명 검사결과 이미지에서 수정체에 해당하는 영역만을 추출하는 전처리 단계를 더 포함하는 딥러닝을 이용한 백내장 진단방법.
- 제 13 항에 있어서,
상기 수정체 핵의 백내장 진행 정도는,
상기 수정체 핵의 혼탁한 정도를 기준으로 등급을 구분한 NO등급 및 상기 수정체 핵의 갈변 정도를 기준으로 등급을 구분한 NC 등급을 이용하여 판별되며,
상기 수정체 피질의 백내장 진행 정도는,
상기 역반사조명 검사결과 이미지의 수정체 피질 부분에 불투명한 혼탁이 존재하는지 여부 및 상기 불투명한 혼탁이 전체 수정체에서 차지하는 면적을 기준으로 등급을 구분한 CO등급을 이용하여 판별되고,
상기 수정체 후낭하의 백내장 진행정도는,
상기 역반사조명 검사결과 이미지의 수정체 뒤쪽 부분에 불투명한 혼탁이 존재하는지 여부 및 상기 불투명한 혼탁이 전체 수정체에서 차지하는 면적을 기준으로 등급을 구분한 PSC등급을 이용하여 판별되는 것을 특징으로 하는 딥러닝을 이용한 백내장 진단방법.
- 제 15 항에 있어서,
상기 백내장 진단단계는,
상기 NO등급, NC등급, CO등급 및 PSC등급이 모두 0인 경우 상기 피검사자에 대하여 백내장 없음으로 판단하는 단계; 및
상기 NO등급, NC등급, CO등급 또는 PSC등급이 0이 아닌 경우 상기 피검사자에 대하여 백내장 있음으로 판단하는 단계를 더 포함하는 딥러닝을 이용한 백내장 진단방법.
- 제 16 항에 있어서,
상기 백내장 심각성은 백내장 없음, 경증(mild), 중등증(moderate) 및 중증(severe)으로 구분되고,
상기 백내장 심각성 평가단계는,
상기 NO등급, NC등급, CO등급 및 PSC등급 중 큰 값을 기준으로 백내장 심각성을 평가하는 단계; 및
상기 건강검진 결과에서 상기 피검사자의 시력을 추출하여 일정 기준 이상인지 여부를 판단하는 단계를 더 포함하는 딥러닝을 이용한 백내장 진단방법.
- 제 17 항에 있어서,
상기 치료계획 제공단계는,
상기 백내장 심각성이 백내장 없음으로 평가된 경우, 상기 피검사자의 시력이 일정기준 이상이면 다음 검사일정을 제공하고 상기 피검사자의 시력이 일정기준 미만이면 병원방문 권유 문구를 출력하는 단계;
상기 백내장 심각성이 경증으로 평가된 경우, 병원방문 권유 문구를 출력하는 단계;
상기 백내장 심각성이 중등증으로 평가된 경우, 상기 피검사자의 시력이 일정기준 이상이면 병원방문 권유 문구를 출력하고, 상기 피검사자의 시력이 일정기준 미만이면 수술 권유 문구를 출력하는 단계; 및
상기 백내장 심각성이 중증으로 평가된 경우, 수술 권유 문구를 출력하는 단계를 더 포함하는 딥러닝을 이용한 백내장 진단방법.
- 제 1 항 내지 제 18 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
- 딥러닝을 이용한 백내장 진단시스템에 있어서,
세극등 현미경 검사결과 이미지, 역반사조명 검사결과 이미지 또는 피검사자의 건강검진 결과를 획득하는 입력부;
상기 세극등 현미경 검사결과 이미지 또는 상기 역반사조명 검사결과 이미지를 기초로 기 학습된 딥러닝 예측모델;
상기 딥러닝 예측모델을 이용하여 수정체 핵, 피질 또는 후낭하의 백내장 진행 정도를 예측하고, 상기 백내장 진행 정도를 기준으로 상기 피검사자가 백내장인지 여부를 판별하는 백내장진단부;
상기 백내장 진행 정도를 기준으로 백내장 심각성을 평가하는 심각성 평가부; 및
상기 백내장 심각성 또는 상기 건강검진 결과를 이용하여 상기 피검사자에게 필요한 백내장 치료단계를 판단하여 제공하는 치료단계판단부를 포함하는 딥러닝을 이용한 백내장 진단시스템.
- 제 20 항에 있어서,
Faster R-CNN을 이용하여 상기 세극등 현미경 검사 결과 이미지 또는 상기 역반사조명 검사결과 이미지에서 수정체에 해당하는 영역만을 추출하는 전처리부를 더 포함하는 딥러닝을 이용한 백내장 진단시스템.
- 제 21 항에 있어서,
상기 전처리부는,
상기 세극등 현미경 검사결과 이미지와 상기 역반사조명 검사결과 이미지를 변형시켜 상기 딥러닝 예측모델의 학습에 사용되는 데이터의 수를 증가시키는 것을 특징으로 하는 딥러닝을 이용한 백내장 진단시스템.
- 제 20 항에 있어서,
상기 딥러닝 예측모델은,
ImageNet 1k 데이터 세트를 사용하여 사전 학습된 네트워크에서 4번째 Residual block과 완전 연결된 레이어(fully connected layer)를 추출하여 학습되는 것을 특징으로 하는 딥러닝을 이용한 백내장 진단시스템.
- 제 20 항에 있어서,
상기 딥러닝 예측모델은,
CB(Class Balanced) loss 함수와 GCE(Generalized Cross Entropy) loss 함수를 결합한 함수를 목적함수로 사용하는 것을 특징으로 하는 딥러닝을 이용한 백내장 진단시스템.
- 제 20 항에 있어서,
상기 딥러닝 예측모델은,
Residual block을 갖는 네트워크에서 활용되며,
ResNet, Wide ResNet, ResNext 및 MobileNet V2 중 적어도 어느 하나의 네트워크에 대해서 학습을 진행한 뒤, 각각의 네트워크에서 도출된 예측을 결합함으로써 구현되는 것을 특징으로 하는 딥러닝을 이용한 백내장 진단 시스템.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210096560A KR102587830B1 (ko) | 2021-07-22 | 2021-07-22 | 딥러닝을 이용한 백내장 진단방법 및 시스템 |
| PCT/KR2022/005134 WO2023003136A1 (ko) | 2021-07-22 | 2022-04-08 | 딥러닝을 이용한 백내장 진단방법 및 시스템 |
| EP22846008.5A EP4374773A1 (en) | 2021-07-22 | 2022-04-08 | Method and system for diagnosis of cataract, using deep learning |
| KR1020230078693A KR102669542B1 (ko) | 2023-06-20 | 딥러닝을 이용한 백내장 진단방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210096560A KR102587830B1 (ko) | 2021-07-22 | 2021-07-22 | 딥러닝을 이용한 백내장 진단방법 및 시스템 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230078693A Division KR102669542B1 (ko) | 2023-06-20 | 딥러닝을 이용한 백내장 진단방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230015152A true KR20230015152A (ko) | 2023-01-31 |
| KR102587830B1 KR102587830B1 (ko) | 2023-10-10 |
Family
ID=84980209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210096560A KR102587830B1 (ko) | 2021-07-22 | 2021-07-22 | 딥러닝을 이용한 백내장 진단방법 및 시스템 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4374773A1 (ko) |
| KR (1) | KR102587830B1 (ko) |
| WO (1) | WO2023003136A1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150130361A (ko) * | 2013-03-14 | 2015-11-23 | 유니버시티 오브 매사추세츠 | 백내장 및 노안을 억제하는 방법 |
| JP2015216939A (ja) * | 2014-05-13 | 2015-12-07 | 株式会社三城ホールディングス | 白内障検査装置および白内障判定プログラム |
| KR102208508B1 (ko) * | 2017-10-18 | 2021-01-27 | 주식회사 씨엠랩 | 복합적인 안과 진료를 수행하는 시스템 및 방법 |
| KR20210012097A (ko) * | 2019-07-23 | 2021-02-03 | 단국대학교 산학협력단 | 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법 |
| KR20210073388A (ko) * | 2019-12-10 | 2021-06-18 | 사회복지법인 삼성생명공익재단 | 전안부 이미지를 이용한 각막 병변 분석 시스템 및 방법 그리고 컴퓨터로 판독 가능한 기록 매체 |
-
2021
- 2021-07-22 KR KR1020210096560A patent/KR102587830B1/ko active IP Right Grant
-
2022
- 2022-04-08 EP EP22846008.5A patent/EP4374773A1/en active Pending
- 2022-04-08 WO PCT/KR2022/005134 patent/WO2023003136A1/ko active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150130361A (ko) * | 2013-03-14 | 2015-11-23 | 유니버시티 오브 매사추세츠 | 백내장 및 노안을 억제하는 방법 |
| JP2015216939A (ja) * | 2014-05-13 | 2015-12-07 | 株式会社三城ホールディングス | 白内障検査装置および白内障判定プログラム |
| KR102208508B1 (ko) * | 2017-10-18 | 2021-01-27 | 주식회사 씨엠랩 | 복합적인 안과 진료를 수행하는 시스템 및 방법 |
| KR20210012097A (ko) * | 2019-07-23 | 2021-02-03 | 단국대학교 산학협력단 | 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법 |
| KR20210073388A (ko) * | 2019-12-10 | 2021-06-18 | 사회복지법인 삼성생명공익재단 | 전안부 이미지를 이용한 각막 병변 분석 시스템 및 방법 그리고 컴퓨터로 판독 가능한 기록 매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023003136A1 (ko) | 2023-01-26 |
| KR20230093403A (ko) | 2023-06-27 |
| EP4374773A1 (en) | 2024-05-29 |
| KR102587830B1 (ko) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Norouzifard et al. | Automated glaucoma diagnosis using deep and transfer learning: Proposal of a system for clinical testing | |
| Hu et al. | Unified diagnosis framework for automated nuclear cataract grading based on smartphone slit-lamp images | |
| Kauppi | Eye fundus image analysis for automatic detection of diabetic retinopathy | |
| EP3944185A1 (en) | Computer-implemented method, system and computer program product for detecting a retinal condition from eye fundus images | |
| Panda et al. | Describing the structural phenotype of the glaucomatous optic nerve head using artificial intelligence | |
| Gunasekaran et al. | [Retracted] A Deep Learning Framework for Earlier Prediction of Diabetic Retinopathy from Fundus Photographs | |
| Krishnan et al. | Intelligent-based decision support system for diagnosing glaucoma in primary eyecare centers using eye tracker | |
| Hassan et al. | Exploiting the transferability of deep learning systems across multi-modal retinal scans for extracting retinopathy lesions | |
| Fırat et al. | Automatic detection of keratoconus on Pentacam images using feature selection based on deep learning | |
| Kapoor et al. | The role of artificial intelligence in the diagnosis and management of glaucoma | |
| Krishnamoorthy et al. | GO-DBN: Gannet optimized deep belief network based wavelet kernel elm for detection of diabetic retinopathy | |
| Zubair et al. | Automated grading of diabetic macular edema using color retinal photographs | |
| Rakhmetulayeva et al. | IMPLEMENTATION OF CONVOLUTIONAL NEURAL NETWORK FOR PREDICTING GLAUCOMA FROM FUNDUS IMAGES. | |
| Naramala et al. | Enhancing Diabetic Retinopathy Detection Through Machine Learning with Restricted Boltzmann Machines | |
| KR102587830B1 (ko) | 딥러닝을 이용한 백내장 진단방법 및 시스템 | |
| KR102669542B1 (ko) | 딥러닝을 이용한 백내장 진단방법 및 시스템 | |
| CN113273959B (zh) | 一种便携式糖尿病视网膜病变诊疗仪 | |
| Kanakatte et al. | A decision support system for retinal image defect detection | |
| Abinaya et al. | Detection and Classification Of Diabetic Retinopathy Using Machine Learning–A Survey | |
| Antony Ammal et al. | Metric measures of optic nerve head in screening glaucoma with machine learning | |
| Boyina et al. | Classification of Uncertain ImageNet Retinal Diseases using ResNet Model | |
| Sangamesh et al. | A New Approach to Recognize a Patient with Diabetic Retinopathy using Pre-trained Deep Neural Network EfficientNetB0 | |
| Sharma et al. | A system for grading diabetic maculopathy severity level | |
| Hussein et al. | Convolutional Neural Network in Classifying Three Stages of Age-Related Macula Degeneration | |
| Ranadive et al. | Predicting Glaucoma Diagnosis Using AI |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| A107 | Divisional application of patent | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |