KR20220021171A - Deep Neural Networks(DNN) based eye diseases diagnosis apparatus using fundus images and method thereof - Google Patents

Deep Neural Networks(DNN) based eye diseases diagnosis apparatus using fundus images and method thereof Download PDF

Info

Publication number
KR20220021171A
KR20220021171A KR1020200101660A KR20200101660A KR20220021171A KR 20220021171 A KR20220021171 A KR 20220021171A KR 1020200101660 A KR1020200101660 A KR 1020200101660A KR 20200101660 A KR20200101660 A KR 20200101660A KR 20220021171 A KR20220021171 A KR 20220021171A
Authority
KR
South Korea
Prior art keywords
fundus image
image
fundus
neural network
deep neural
Prior art date
Application number
KR1020200101660A
Other languages
Korean (ko)
Other versions
KR102406538B1 (en
Inventor
남윤영
Original Assignee
순천향대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천향대학교 산학협력단 filed Critical 순천향대학교 산학협력단
Priority to KR1020200101660A priority Critical patent/KR102406538B1/en
Priority to CN202010915725.9A priority patent/CN114140371A/en
Publication of KR20220021171A publication Critical patent/KR20220021171A/en
Application granted granted Critical
Publication of KR102406538B1 publication Critical patent/KR102406538B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Abstract

The present invention relates to an eye disease diagnosis apparatus using a fundus image and a method thereof. More specifically, the present invention relates to a deep neural network based eye disease diagnosis apparatus using a fundus image and a method thereof. A training dataset is normalized by performing image preprocessing including region-of-interest reduction, isolight plane contrast-limited adaptive histogram equalization, and data augmentation. A deep neural network is applied to diagnose an eye disease including normal, glaucoma (GLC), age-related macular degeneration (AMD), and diabetic retinopathy (DR).

Description

안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 장치 및 방법{Deep Neural Networks(DNN) based eye diseases diagnosis apparatus using fundus images and method thereof}DEEP Neural Networks (DNN) based eye diseases diagnosis apparatus using fundus images and method thereof

본 발명은 안저 이미지를 이용한 안구질환 진단 장치 및 방법에 관한 것으로, 더욱 상세하게는 관심영역(Region of Interest: ROI) 축소, 등광 평면 대조 제한 적응 히스토그램 등화 및 데이터 증강 등을 포함하는 이미지 전처리를 수행하여 학습 데이터세트를 정규화하고, 심층 신경망을 적용하여 정상(Nomal), 녹내장(Glaucoma: GLC), 연령 관련 황반 변성(Age related macula degeneration: AMD), 당뇨병 망막증(Diabetic Retinopathy: DR)을 포함하는 복수의 안구질환을 진단할 수 있는 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for diagnosing eye diseases using a fundus image, and more particularly, image preprocessing including region of interest (ROI) reduction, isolight plane contrast-limited adaptive histogram equalization, and data augmentation. to normalize the training dataset, and apply a deep neural network to apply multiple To an apparatus and method for diagnosing eye diseases based on a deep neural network using a fundus image capable of diagnosing eye diseases.

당뇨병 망막증(Diabetic Retinopathy: DR), 녹내장(Glaucoma: GLC), 연령 관련 황반 변성(Age related macula degeneration: AMD)은 전 세계적으로 시력 상실과 실명을 일으키는 주요 원인이다.Diabetic Retinopathy (DR), Glaucoma (GLC), and Age related macula degeneration (AMD) are the leading causes of vision loss and blindness worldwide.

당뇨병 망막증은 망막의 혈관 합병증으로, 망막에 손상을 입히고, 이로 인해 즉시 치료하지 않으면 심각한 시력 상실을 초래한다.Diabetic retinopathy is a vascular complication of the retina that damages the retina, leading to severe vision loss if not treated promptly.

2000년부터 2030년까지 전 세계의 당뇨병 인구 증가율은 2.8%에서 4.4%로 추산되며, 이는 당뇨병으로 고통받는 환자가 약 1억7100만명에서 1억9500만명에 해당된다. 당뇨병 환자 중 2%의 실명과 향후 15년 동안 약 10%의 시력 손실을 겪을 위험이 있다.From 2000 to 2030, the global diabetes population growth rate is estimated to be 2.8% to 4.4%, which corresponds to about 171 million to 195 million people suffering from diabetes. There is a risk of blindness in 2% of people with diabetes and loss of vision in about 10% over the next 15 years.

또한, 녹내장(GLC)은 시신경 헤드를 손상시키고 시력 손실을 일으키는 안구 내 차압의 영향으로 발생한다.Glaucoma (GLC) also occurs under the influence of differential pressure within the eyeball, which damages the optic nerve head and causes vision loss.

연령 관련 황반변성(AMD) 또한 60세 이상의 노인들에게 시력 손실과 실명의 원인을 제공하고 있으며, 60세 이상의 노인들에게 큰 영향을 미치는 것으로 나타나고 있다.Age-related macular degeneration (AMD) is also a cause of vision loss and blindness in the elderly over the age of 60, and appears to have a significant impact on the elderly over the age of 60.

이러한 수많은 환자는 인간의 5가지 기본 감각 중 하나인 시력 때문에 그들의 삶에서 어려움을 겪을 수 있을 것이다.Many of these patients will struggle in their lives because of sight, one of the five basic human senses.

전문가나 의사들이 상술한 안구질환들을 진단하는 방법으로는 다양한 기법들이 있으며, 이 기법들은 단면 이미지 촬영인 광학적 일관성 단층촬영(OCT) 및 안저 이미지 촬영을 통해 촬영된 안저 이미지들을 이용하여 안구질환을 판단한다.There are various techniques for diagnosing the above-mentioned eye diseases by experts or doctors, and these techniques determine eye diseases using fundus images taken through optical coherence tomography (OCT) and fundus imaging, which are cross-sectional imaging. do.

또한, 안구질환의 빠른 진단 및 정확한 진단을 위해 DR, GLC, AMD 각각의 진단영역에 있어서 다양한 인공지능 모델들을 적용한 이미지 분류에 의한 안구질환 진단 장치들이 연구 및 개발되고 있다.In addition, for rapid diagnosis and accurate diagnosis of eye diseases, eye disease diagnosis apparatuses by image classification to which various artificial intelligence models are applied in each of DR, GLC, and AMD diagnosis areas are being researched and developed.

당뇨망막병증의 주기적인 스크리닝에 의한 조기 검출과 적절한 치료에 따라 당뇨망막병증에 의한 실명 위험을 50% 정도 감소시킬 수 있는 것으로 나타나고 있다.It has been shown that the risk of blindness due to diabetic retinopathy can be reduced by 50% by early detection and appropriate treatment through periodic screening of diabetic retinopathy.

통상적으로 안과질환을 진단하기 위해 광학적 일관성 단층촬영(Optical coherence tomography: OCT) 및 안저 이미지 촬영 등을 수행하여 안저 이미지를 획득한다.In general, in order to diagnose an ophthalmic disease, a fundus image is obtained by performing optical coherence tomography (OCT) and fundus imaging.

안저 이미지는 당뇨망막병증(Diabetic Retinopathy: DR), 녹내장(Glaucoma), 연령 관련 황반변성(Age-related maculas degeneration: AMD) 등의 많은 안과 질환들을 진단하고 검진하는 데 이용되고 있다. 따라서 안저 이미지의 품질은 임상의가 올바른 검사 및 진단을 수행할 수 있는 능력에 영향을 줄 수 있다.Fundus images are being used to diagnose and screen many eye diseases, such as diabetic retinopathy (DR), glaucoma (Glaucoma), and age-related macular degeneration (AMD). Therefore, the quality of fundus images can affect the clinician's ability to perform the correct examination and diagnosis.

이와 같이 안저 이미지로부터 복수의 안과질환을 진단할 수 있음에도 불구하고, 종래 인공지능을 적용한 안과질환 진단 장치는 안저 이미지로부터 특화된 하나의 안구질환만을 검출할 수 있었다.Although a plurality of ophthalmic diseases can be diagnosed from the fundus image as described above, the conventional ophthalmic disease diagnosis apparatus to which artificial intelligence is applied can detect only one specialized eye disease from the fundus image.

즉, 종래 인공지능을 이용한 안구질환 진단 장치는 안저 이미지로부터 하나의 안구질환만을 검출하고, 둘 이상의 안구질환을 검출할 수 없는 문제점이 있었다.That is, there is a problem that the conventional apparatus for diagnosing eye diseases using artificial intelligence detects only one eye disease from the fundus image and cannot detect two or more eye diseases.

대한민국 공개특허 제10-2020-0065923호(2020.06.09.공개)Republic of Korea Patent Publication No. 10-2020-0065923 (published on June 9, 2020)

따라서 본 발명의 목적은 관심영역 축소, 등광 평면 대조 제한 적응 히스토그램 등화 및 데이터 증강 등을 포함하는 이미지 전처리를 수행하여 학습 데이터세트를 정규화하고, 심층 신경망을 적용하여 정상(Nomal), 녹내장(Glaucoma: GLC), 연령 관련 황반변성(Age related macular degeneration: AMD), 당뇨병 망막증(Diabetic Retinopathy: DR)을 포함하는 복수의 안구질환을 진단할 수 있는 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 장치 및 방법을 제공함에 있다.Therefore, an object of the present invention is to normalize the learning dataset by performing image preprocessing including reduction of the region of interest, isolight plane contrast restriction adaptive histogram equalization, and data augmentation, etc., and apply a deep neural network to obtain Normal, Glaucoma: An apparatus and method for diagnosing eye diseases based on a deep neural network using fundus images that can diagnose multiple eye diseases including GLC), age related macular degeneration (AMD), and diabetic retinopathy (DR) is in providing.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 장치는: 적어도 둘 이상의 안구질환 각각에 대한 다수의 안저 이미지 및 각 안저 이미지별 해당 안구질환에 대한 전문가의 주석을 포함하는 학습 데이터세트를 획득하여 출력하는 안저 이미지 획득부; 심층 신경망 인공지능 모델을 포함하여 상기 안저 이미지 획득부로부터 입력되는 학습 데이터세트를 상기 심층 신경망(DNN) 인공지능 모델에 적용하여 학습시켜 당뇨병 망막증, 연령 관련 황반변성, 녹내장 및 정상에 대해 학습된 심층 신경망 인공지능 모델을 출력하는 심층 학습부; 진단할 진단 대상 안저 이미지를 획득하여 출력하는 진단 이미지 획득부; 및 상기 심층 신경망 인공지능 모델을 입력받아 구동하고 있으며, 상기 진단 대상 안저 이미지를 상기 심층 신경망 인공지능 모델에 적용하여 상기 진단 대상 안저 이미지에 안구질환이 존재하는지의 여부 및 안구질환 존재 시 해당 안구질환 진단 결과를 출력하는 안구질환 진단부를 포함하는 것을 특징으로 한다.A deep neural network-based eye disease diagnosis apparatus using a fundus image according to the present invention for achieving the above object is: A plurality of fundus images for each of at least two or more eye diseases, and an expert's comment on the corresponding eye disease for each fundus image An fundus image acquisition unit for obtaining and outputting a training dataset comprising; Including a deep neural network artificial intelligence model, the learning dataset input from the fundus image acquisition unit is applied to the deep neural network (DNN) artificial intelligence model to learn and deep learned for diabetic retinopathy, age-related macular degeneration, glaucoma and normal a deep learning unit that outputs a neural network artificial intelligence model; a diagnostic image acquisition unit for acquiring and outputting a fundus image to be diagnosed; and the deep neural network artificial intelligence model is input and driven, and the diagnosis target fundus image is applied to the deep neural network artificial intelligence model to determine whether an eye disease is present in the diagnosis target fundus image, and if an eye disease exists, the corresponding eye disease It characterized in that it comprises an eye disease diagnosis unit for outputting a diagnosis result.

상기 학습 데이터세트는, 당뇨병 망막증을 가지는 다수의 안저 이미지 및 상기 당뇨병 망막증에 대한 주석을 가지는 당뇨병 망막증 학습 데이터, 연령 관련 황반변성(AMD)를 가지는 안저 이미지 및 상기 연령 관련 황반변성에 대한 주석을 가지는 연령 관련 황반변성 학습 데이터 및 녹내장을 가지는 안저 이미지, 상기 녹내장에 대한 주석을 가지는 녹내장 학습 데이터 및 정상 안저 이미지를 포함하는 정상 학습 데이터를 포함하는 것을 특징으로 한다.The training dataset includes a plurality of fundus images with diabetic retinopathy and diabetic retinopathy learning data with annotations on the diabetic retinopathy, fundus images with age-related macular degeneration (AMD) and age with annotations on the age-related macular degeneration. It is characterized in that it includes normal learning data including relevant macular degeneration learning data and a fundus image having glaucoma, glaucoma learning data having an annotation for the glaucoma, and a normal fundus image.

상기 장치는: 상기 학습 데이터세트의 안저 이미지 및 상기 진단 대상 안저 이미지의 크기 및 수를 조절하는 이미지 전처리를 수행하여 출력하는 이미지 전처리부를 더 포함하는 것을 특징으로 한다.The apparatus is characterized by further comprising: an image preprocessing unit that performs image preprocessing for adjusting the size and number of the fundus image of the training dataset and the fundus image to be diagnosed, and outputs the image preprocessing unit.

상기 이미지 전처리부는, 상기 학습 데이터세트의 안저 이미지 및 상기 평가 대상 안저 이미지에서 관심영역을 추출하여 크기를 조절하는 관심영역 획득부; 및 상기 관심영역 획득부로부터 출력되는 안저 이미지의 적어도 하나 이상의 파라미터를 조절하여 상기 안저 이미지에 대한 이미지 수를 증강하는 이미지 증강부를 포함하는 것을 특징으로 한다.The image preprocessor may include: a region of interest acquisition unit configured to extract a region of interest from the fundus image of the training dataset and the evaluation target fundus image and adjust the size; and an image enhancer configured to enhance the number of images for the fundus image by adjusting at least one parameter of the fundus image output from the region of interest acquiring unit.

상기 관심영역 획득부는, 상기 안저 이미지의 적색 채널 및 청색 채널의 안저 이미지를 추출하는 채널 선택부; 상기 적색 채널 및 청색 채널을 포함하는 안저 이미지를 관심영역만을 포함하는 크기로 조절하여 출력하는 크기 조절부; 및 상기 크기 조절된 안저 이미지 대조 제한 적응 히스토그램 등화를 적용하여 출력하는 대조 제한 적응 히스토그램 등화부를 포함하는 것을 특징으로 한다.The region of interest obtaining unit may include: a channel selector for extracting fundus images of a red channel and a blue channel of the fundus image; a size adjustment unit for outputting the fundus image including the red channel and the blue channel by adjusting the size including only the region of interest; and a contrast-limited adaptive histogram equalizer that applies and outputs the scaled fundus image contrast-limited adaptive histogram equalization.

상기 장치는: 상기 이미지 전처리에 의해 생성된 학습 데이터세트를 학습 세트와 검증 세트로 나눈 후 상기 학습된 상기 심층 신경망 인공지능 모델에 대해 상기 검증 세트에 의해 K-fold 교차 검증을 수행하여 검증결과를 출력하는 검증부를 더 포함하는 것을 특징으로 한다.The apparatus is: After dividing the training dataset generated by the image preprocessing into a training set and a validation set, K-fold cross-validation is performed by the validation set on the trained deep neural network artificial intelligence model to obtain a validation result It characterized in that it further comprises a verification unit to output.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 방법은: 안저 이미지 획득부가 적어도 둘 이상의 안구질환 각각에 대한 다수의 안저 이미지 및 각 안저 이미지별 해당 안구질환에 대한 전문가의 주석을 포함하는 학습 데이터세트를 획득하여 출력하는 안저 이미지 획득 과정; 심층 학습부가 심층 신경망 인공지능 모델을 포함하여 상기 안저 이미지 획득부로부터 입력되는 학습 데이터세트를 상기 심층 신경망(DNN) 인공지능 모델에 적용하여 학습시켜 당뇨병 망막증, 연령 관련 황반변성, 녹내장 및 정상에 대해 학습된 심층 신경망 인공지능 모델을 출력하는 심층 학습 과정; 진단 이미지 획득부가 진단할 진단 대상 안저 이미지를 획득하여 출력하는 진단 이미지 획득 과정; 및 안구질환 진단부가 상기 심층 신경망 인공지능 모델을 입력받아 구동하고 있으며, 상기 진단 대상 안저 이미지를 상기 심층 신경망 인공지능 모델에 적용하여 상기 진단 대상 안저 이미지에 안구질환이 존재하는지의 여부 및 안구질환 존재 시 해당 안구질환 진단 결과를 출력하는 안구질환 진단 과정을 포함하는 것을 특징으로 한다. A deep neural network-based eye disease diagnosis method using a fundus image according to the present invention for achieving the above object is: A fundus image acquisition unit provides a plurality of fundus images for each of at least two or more eye diseases and the corresponding eye disease for each fundus image. Fundus image acquisition process of acquiring and outputting a training dataset including an expert's annotation on the subject; The deep learning unit applies the learning dataset input from the fundus image acquisition unit, including the deep neural network artificial intelligence model, to the deep neural network (DNN) artificial intelligence model to learn diabetic retinopathy, age-related macular degeneration, glaucoma and normal A deep learning process that outputs the trained deep neural network artificial intelligence model; a diagnostic image acquisition process in which a diagnostic image acquisition unit acquires and outputs a fundus image to be diagnosed; and an eye disease diagnosis unit receives and operates the deep neural network artificial intelligence model, and applies the diagnosis target fundus image to the deep neural network artificial intelligence model to determine whether an eye disease exists in the diagnosis target fundus image and whether an eye disease exists It is characterized in that it includes an eye disease diagnosis process for outputting the corresponding eye disease diagnosis result.

상기 학습 데이터세트는, 당뇨병 망막증을 가지는 다수의 안저 이미지 및 상기 당뇨병 망막증에 대한 주석을 가지는 당뇨병 망막증 학습 데이터, 연령 관련 황반변성(AMD)를 가지는 안저 이미지 및 상기 연령 관련 황반변성에 대한 주석을 가지는 연령 관련 황반변성 학습 데이터 및 녹내장을 가지는 안저 이미지, 상기 녹내장에 대한 주석을 가지는 녹내장 학습 데이터 및 정상 안저 이미지를 포함하는 정상 학습 데이터를 포함하는 것을 특징으로 한다.The training dataset includes a plurality of fundus images with diabetic retinopathy and diabetic retinopathy learning data with annotations on the diabetic retinopathy, fundus images with age-related macular degeneration (AMD) and age with annotations on the age-related macular degeneration. It is characterized in that it includes normal learning data including relevant macular degeneration learning data and a fundus image having glaucoma, glaucoma learning data having an annotation for the glaucoma, and a normal fundus image.

상기 방법은: 이미지 전처리부가 상기 학습 데이터세트의 안저 이미지 및 상기 진단 대상 안저 이미지의 크기 및 수를 조절하는 이미지 전처리를 수행하여 출력하는 이미지 전처리 과정을 더 포함하는 것을 특징으로 한다.The method is characterized by further comprising: an image pre-processing step of performing image pre-processing in which an image pre-processing unit adjusts the size and number of fundus images of the training dataset and the fundus images to be diagnosed, and outputting the image pre-processing steps.

상기 이미지 전처리 과정은, 상기 이미지 전처리부가 관심영역 획득부를 통해 상기 학습 데이터세트의 안저 이미지 및 상기 평가 대상 안저 이미지에서 관심영역을 추출하여 크기를 조절하는 관심영역 획득 단계; 및 상기 이미지 전처리부가 이미지 증강부를 통해 상기 관심영역 획득부로부터 출력되는 안저 이미지의 적어도 하나 이상의 파라미터를 조절하여 상기 안저 이미지에 대한 이미지 수를 증강하는 이미지 증강 단계를 포함하는 것을 특징으로 한다.The image preprocessing may include: obtaining, by the image preprocessing unit, a region of interest acquiring a region of interest by extracting a region of interest from the fundus image of the training dataset and the fundus image to be evaluated through the region of interest acquiring unit and adjusting the size; and an image augmentation step in which the image preprocessor adjusts at least one parameter of the fundus image output from the region of interest acquiring unit through the image augmentation unit to enhance the number of images for the fundus image.

상기 관심영역 획득 단계는, 상기 안저 이미지의 적색 채널 및 청색 채널의 안저 이미지를 추출하는 채널 선택 단계; 상기 적색 채널 및 청색 채널을 포함하는 안저 이미지를 관심영역만을 포함하는 크기로 조절하여 출력하는 크기 조절 단계; 및 상기 크기 조절된 안저 이미지 대조 제한 적응 히스토그램 등화를 적용하여 출력하는 대조 제한 적응 히스토그램 등화 단계를 포함하는 것을 특징으로 한다.The obtaining of the region of interest may include: a channel selection step of extracting fundus images of a red channel and a blue channel of the fundus image; a size adjustment step of adjusting and outputting the fundus image including the red channel and the blue channel to a size including only the region of interest; and a contrast-limited adaptive histogram equalization step of applying and outputting the scaled fundus image contrast-limited adaptive histogram equalization.

상기 방법은: 검증부가 상기 이미지 전처리에 의해 생성된 학습 데이터세트를 학습 세트와 검증 세트로 나눈 후 상기 학습된 상기 심층 신경망 인공지능 모델에 대해 상기 검증 세트에 의해 K-fold 교차 검증을 수행하여 검증결과를 출력하는 검증 과정을 더 포함하는 것을 특징으로 한다.The method is: After a verification unit divides the training dataset generated by the image preprocessing into a training set and a verification set, the trained deep neural network artificial intelligence model is verified by performing K-fold cross-validation by the verification set. It characterized in that it further comprises a verification process for outputting the result.

본 발명은 심층 신경망(Deep Neural Networks: DNN)을 적용하여 안저 이미지로부터 정상, 녹내장, 연결 관련 황반변성, 당뇨병 망막증을 포함하는 안구질환을 학습시키므로, 안저 이미지로부터 둘 이상의 안구질환을 분류하여 진단할 수 있는 효과가 있다.The present invention applies a deep neural network (DNN) to learn eye diseases including normal, glaucoma, connection-related macular degeneration, and diabetic retinopathy from the fundus image, so it is possible to classify and diagnose two or more eye diseases from the fundus image. can have an effect.

또한, 본 발명은 대조 제한 적응 히스토그램 등화(CLAHE) 데이터 전처리를 적용하여 선형 누적분포함수(CDF)로부터 가장 낮은 평균 절대 오차율을 극복할 수 있는 효과가 있다.In addition, the present invention has the effect of overcoming the lowest average absolute error rate from the linear cumulative distribution function (CDF) by applying control-limited adaptive histogram equalization (CLAHE) data preprocessing.

또한, 본 발명은 K-fold 교차 검증을 수행하므로 더 많은 수의 특징을 가진 모델에서 검증을 수행하므로 보다 향상된 검증결과를 제공하는 효과가 있다.In addition, since the present invention performs K-fold cross-validation, it has the effect of providing improved verification results because verification is performed on a model with a larger number of features.

또한, 본 발명은 데이터 증강을 통해 가짜 이미지가 아닌 진짜 이미지의 수를 증가시켜 안구질환의 진단 정확도를 향상시킬 수 있는 효과가 있다.In addition, the present invention has the effect of increasing the number of real images rather than fake images through data augmentation, thereby improving the diagnosis accuracy of eye diseases.

도 1은 본 발명에 따른 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 장치의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 이미지 전처리를 수행한 안저 이미지를 나타낸 도면이다.
도 3은 본 발명에 따른 이미지 증강 이미지 전처리를 수행한 안저 이미지를 나타낸 도면이다.
도 4는 본 발명에 따른 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 방법을 나타낸 흐름도이다.
도 5는 본 발명에 따른 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 방법 중 이미지 전처리 방법을 나타낸 흐름도이다.
1 is a diagram showing the configuration of an apparatus for diagnosing eye diseases based on a deep neural network using a fundus image according to the present invention.
2 is a view showing a fundus image on which image pre-processing according to the present invention is performed.
3 is a view showing a fundus image on which image enhancement image pre-processing according to the present invention is performed.
4 is a flowchart illustrating a method for diagnosing eye diseases based on a deep neural network using a fundus image according to the present invention.
5 is a flowchart illustrating an image preprocessing method among the deep neural network-based eye disease diagnosis methods using fundus images according to the present invention.

이하 첨부된 도면을 참조하여 본 발명에 따른 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단장치의 구성 및 동작을 상세히 설명하고, 상기 장치에서의 안저 이미지를 이용한 안구질환 진단 방법을 설명한다.Hereinafter, the configuration and operation of a deep neural network-based eye disease diagnosis apparatus using a fundus image according to the present invention will be described in detail with reference to the accompanying drawings, and an eye disease diagnosis method using the fundus image in the device will be described.

도 1은 본 발명에 따른 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 장치 및 방법의 구성을 나타낸 도면이고, 도 2는 본 발명에 따른 이미지 전처리를 수행한 안저 이미지를 나타낸 도면이며, 도 3은 본 발명에 따른 이미지 증강 이미지 전처리를 수행한 안저 이미지를 나타낸 도면이다. 이하 도 1 내지 도 3을 참조하여 설명한다.1 is a diagram showing the configuration of an apparatus and method for diagnosing an eye disease based on a deep neural network using a fundus image according to the present invention, FIG. 2 is a diagram showing a fundus image on which image preprocessing according to the present invention is performed, and FIG. 3 is this It is a view showing a fundus image that has been subjected to image enhancement image pre-processing according to the present invention. Hereinafter, it will be described with reference to FIGS. 1 to 3 .

본 발명에 따른 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단장치는 안저 이미지 획득부(100), 진단 이미지 획득부(200), 심층 학습부(400) 및 안구질환 진단부(600)를 포함하고, 실시예에 따라 이미지 전처리부(300) 및 교차 검증부(500)를 더 포함할 수 있을 것이다.An apparatus for diagnosing eye diseases based on a deep neural network using a fundus image according to the present invention includes a fundus image acquisition unit 100, a diagnostic image acquisition unit 200, a deep learning unit 400 and an eye disease diagnosis unit 600, According to an embodiment, the image preprocessor 300 and the cross-verification unit 500 may be further included.

안저 이미지 획득부(100)는 적어도 둘 이상의 안구질환 각각에 대한 다수의 안저 이미지 및 각 안저 이미지별 해당 안구질환에 대한 전문가의 주석을 포함하는 학습 데이터세트를 획득하여 출력한다.The fundus image acquisition unit 100 acquires and outputs a learning dataset including a plurality of fundus images for each of at least two or more eye diseases and an expert's annotation for each eye disease for each fundus image.

본 발명에서는 다수의 정상 안저 이미지, 다수의 녹내장 안저 이미지, 다수의 연령 관련 황반변성 안저 이미지, 다수의 당뇨병 망막증 안저 이미지와 각 안저 이미지들에는 해당 안구질환에 대응하는 주석을 포함한다.In the present invention, a plurality of normal fundus images, a plurality of glaucoma fundus images, a plurality of age-related macular degeneration fundus images, a plurality of diabetic retinopathy fundus images, and each fundus image include annotations corresponding to corresponding eye diseases.

예를 들어, 본 발명에서는 총 2,335개의 안저 이미지가 획득되어 학습에 사용될 수 있으며, 상기 2,335개 중 정상 안저 이미지는 1195, 녹내장 안저 이미지는 168, 연경 관련 황반변성 안저 이미지는 65, 당뇨병 망막증 안저 이미지는 907개를 포함할 수 있을 것이다. 각 안저 이미지는 전문가에 의해 기록된 주석정보를 포함할 것이다.For example, in the present invention, a total of 2,335 fundus images can be acquired and used for learning, and among the 2,335, the normal fundus image is 1195, the glaucoma fundus image is 168, the ligament-related macular degeneration fundus image is 65, and the diabetic retinopathy fundus image is 1195. may contain 907. Each fundus image will include annotation information recorded by an expert.

상기 안저 이미지는 ORIGA(-light)1, IDRID2, Messidor3, ARIA4, STARE5 등의 데이터베이스로부터 수집될 수 있을 것이다. 각 데이터베이스는 적어도 하나 이상의 특정 안구질환에 대한 안저 이미지들을 저장하여 관리한다.The fundus image may be collected from databases such as ORIGA(-light)1, IDRID2, Messidor3, ARIA4, STARE5, and the like. Each database stores and manages fundus images for at least one or more specific eye diseases.

진단 이미지 획득부(200)는 안저 카메라 및 OCT 카메라로부터 진단할 대상의 안저 이미지인 진단 대상 안저 이미지를 획득할 수도 있고, 저장수단으로부터 진단 대상 안저 이미지를 로드하여 획득할 수도 있으며, 통신수단을 통해 진단 대상 안저 이미지를 수신받아 획득할 수도 있을 것이다.The diagnosis image acquisition unit 200 may acquire a fundus image to be diagnosed, which is a fundus image of a target to be diagnosed, from a fundus camera and an OCT camera, or may be obtained by loading a fundus image to be diagnosed from a storage means, and may be obtained through communication means. It may be obtained by receiving the fundus image to be diagnosed.

이미지 전처리부(300)는 상기 안저 이미지 획득부(100)로부터 입력되는 학습 데이터세트의 안저 이미지를 이미지 전처리하여 심층 학습부(400)로 출력하거나, 상기 진단 이미지 획득부(200)로부터 입력되는 진단 대상 안저 이미지를 이미지 전처리하여 안구질환 진단부(600)로 출력한다.The image pre-processing unit 300 pre-processes the fundus image of the training dataset input from the fundus image acquisition unit 100 and outputs it to the deep learning unit 400, or a diagnosis input from the diagnostic image acquisition unit 200 The target fundus image is pre-processed and output to the eye disease diagnosis unit 600 .

상기 이미지 전처리부(300)는 관심영역 획득부(310) 및 이미지 증강부(320)를 포함하고, 상기 관심영역 획득부(310)는 채널 선택부(311), 크기 조절부(312) 및 대조 제한 적응 히스토그램 등화부(313)를 포함한다.The image preprocessor 300 includes a region of interest acquisition unit 310 and an image augmentation unit 320 , and the region of interest acquisition unit 310 includes a channel selector 311 , a size adjuster 312 , and a collation unit. and a constraint adaptive histogram equalizer 313 .

관심영역 획득부(310)는 안저 이미지로부터 관심영역만을 추출하여 출력한다.The region of interest acquisition unit 310 extracts and outputs only the region of interest from the fundus image.

구체적으로 채널 선택부(311)는 하기 수학식 1에서 나타낸 바와 같이 25, 13의 임계값에 기반한 적색 채널 및 녹색 채널을 추출하여 전체 안저 이미지를 표준화하여 출력한다. 상기 녹색 채널은 보완적인 계층이다.Specifically, as shown in Equation 1 below, the channel selector 311 extracts the red channel and the green channel based on the threshold values of 25 and 13 to standardize and output the entire fundus image. The green channel is a complementary layer.

Figure pat00001
Figure pat00001

여기서 imax는 이미지 폭이고, jmax는 이미지의 높이이다.where i max is the image width and j max is the image height.

크기 조절부(312)는 상기 추출된 채널의 안저 이미지를 384*384의 크기로 조절한다.The size adjustment unit 312 adjusts the fundus image of the extracted channel to a size of 384*384.

대조제한 적응 히스토그램 등화부(313)는 상기 크기 조절부(312)에서 크기 조절된 안저 이미지를 휘도 평면에서 히스토그램 등화를 수행한다. 상기 대조제한 적응 히스토그램 등화부(313)는 휘도 평면에서 히스토그램 등화를 수행함으로써 선형 누적분포함수(CDF)로부터 가장 낮은 평균 절대 오차율을 극복할 수 있도록 한다.The contrast-limited adaptive histogram equalizer 313 performs histogram equalization of the fundus image whose size is adjusted by the size adjuster 312 in the luminance plane. The contrast-limited adaptive histogram equalizer 313 can overcome the lowest average absolute error rate from the linear cumulative distribution function (CDF) by performing histogram equalization on the luminance plane.

관심영역 획득부(310)는 도 2의 왼쪽의 원본 안저 이미지를 도 2의 가운데와 같이 관심영역만(ROI)을 추출하고, 도 2의 오른쪽과 같이 대조 제한 적응 히스토그램 등화(ISOL-CLAHE)를 수행하여 ROI만 추출된 안저 이미지의 품질을 개선한다.The region of interest acquisition unit 310 extracts only the region of interest (ROI) from the original fundus image on the left side of FIG. 2 as shown in the center of FIG. To improve the quality of the fundus image from which only the ROI is extracted.

이미지 증강부(320)는 상기 관심영역 획득부(310)로부터 출력되는 안저 이미지의 적어도 하나 이상의 파라미터를 조절하여 상기 안저 이미지에 대한 이미지 수를 증강하여 출력한다.The image augmentation unit 320 adjusts at least one parameter of the fundus image output from the region of interest obtaining unit 310 to augment and output the number of images for the fundus image.

상기 이미지 증강은 가짜 이미지의 생성 없이, 안저 이미지의 크기(파라미터)를 20% 이내에서 확대하거나, 일정 각도(파라미터)로 회전하거나, 밝기(파라미터)를 25% 이내에서 변경하여 안저 이미지의 수를 증강한다.The image augmentation increases the number of fundus images by enlarging the size (parameter) of the fundus image within 20%, rotating it at a certain angle (parameter), or changing the brightness (parameter) within 25%, without creating a fake image. augment

예를 들면, 도 3과 같이 왼쪽이 원본 안저 이미지이고, 가운데 왼쪽이 원본 안저 이미지를 +25%의 밝기 조절과 80도 반 시계 방향으로 회전을 시킨 안저 이미지이며, 가운데 오른쪽이 원본 안저 이미지를 +25%의 밝기 조절, 20%의 줌아웃(축소), 수평 플립, 40도 반 시계 방향 회전 등을 수행한 이미지이며, 맨 오른쪽은 +25%의 밝기 조절, 20%의 줌인(확대), 수평 플립을 수행한 증강 이미지이다.For example, as shown in Figure 3, the left is the original fundus image, the left center is the fundus image with brightness adjustment of +25% and 80 degrees counterclockwise rotation of the original fundus image, and the right center is the original fundus image + Image with 25% brightness adjustment, 20% zoom out (reduce), horizontal flip, 40 degree counterclockwise rotation, etc. The far right is +25% brightness adjustment, 20% zoom in (zoom in), horizontal flip. It is an augmented image that has been performed.

이미지 증강은 AMD의 매우 작은 데이터세트 크기와 NR 및 DR의 매우 큰 데이터세트로 인해 생성될 수 있는 성능 차이를 방지한다.Image enhancement avoids the performance differences that can be created by AMD's very small dataset sizes and NR and DR's very large datasets.

그러나 상기 안저 이미지의 증강 시 모든 기능, 즉 시신경 디스크, 황반 및 혈관을 포함하여야 하므로 파라미터에 이동은 적용되지 않는다.However, since all functions, that is, the optic nerve disc, the macula, and blood vessels, must be included when the fundus image is augmented, the movement of the parameters is not applied.

심층 학습부(400)는 입력되는 안저 이미지의 형상을 384*384*384*383의 최적 형상으로 구성하고, 4급 연결 소프트맥스 예측 확률을 적용한 심층 신경망(DNN) 인공지능 모델이 구성되며, 상기 이미지 전처리된 학습 데이터세트의 안저이미지를 상기 심층 신경망 인공지능 모델에 적용하여 학습시키고, 학습된 심층 신경망 인공지능 모델을 교차 검증부(500) 및 안구진환 진단부(600)로 출력한다.The deep learning unit 400 configures the shape of the input fundus image to an optimal shape of 384 * 384 * 384 * 383, and a deep neural network (DNN) artificial intelligence model to which the fourth-class connected softmax prediction probability is applied is configured, The fundus image of the image preprocessed learning dataset is applied to the deep neural network artificial intelligence model to learn, and the learned deep neural network artificial intelligence model is output to the cross-validation unit 500 and the eye disease diagnosis unit 600 .

본 발명의 심층 학습부(400)는 신경망 최적화기가 적용되고, 신경망 최적화기는 가중치를 형성하고 학습을 수행하는 데 중요한 역할을 하며, 손실함수는 최적화기가 올바른 방향으로 이동하도록 안내한다. 본 발명에서는 Adadelta라고 하는 적응적 구배 확장 최적화기가 적용되며 학습 강건성과 학습 속도 변화를 방지한다. 상기 Adadelta의 학습 속도는 0.001 이내이고, 범주형 Cross-entropy 손실함수를 사용한다.In the deep learning unit 400 of the present invention, a neural network optimizer is applied, the neural network optimizer plays an important role in forming weights and performing learning, and the loss function guides the optimizer to move in the right direction. In the present invention, an adaptive gradient extension optimizer called Adadelta is applied to prevent learning robustness and learning rate change. The learning rate of the Adadelta is within 0.001, and a categorical cross-entropy loss function is used.

상기 이미지 전처리부(300)에서 출력되는 데이터세트는 80%만 학습에 적용하고, 10%는 테스트용으로, 10%는 검증용으로 사용한다.Only 80% of the dataset output from the image preprocessor 300 is applied to learning, 10% is used for testing, and 10% is used for verification.

교차 검증부(500)는 상기 심층 학습부(400)에서 학습된 심층 신경망 인공지능 모델에 상기 10%의 검증용 데이터세트를 입력받아 K-fold 교차검증, 특히 10배 교차 검증을 수행한다. 검증에 실패하면 심층 학습부(400)는 재학습을 수행하도록 구성되는 것이 바람직할 것이다.The cross-validation unit 500 receives the 10% verification data set to the deep neural network artificial intelligence model learned in the deep learning unit 400 and performs K-fold cross-validation, particularly 10-fold cross-validation. If the verification fails, the deep learning unit 400 will preferably be configured to perform re-learning.

안구질환 진단부(600)는 상기 교차 검증부(500)를 통해 검증에 성공한 학습된 심층 신경망 인공지능모델에 이미지 전처리된 진단 대상 안저 이미지를 적용하여 안구질환을 분류하고, 분류된 안구질환을 출력한다.The eye disease diagnosis unit 600 classifies the eye disease by applying the image pre-processed diagnosis target fundus image to the learned deep neural network artificial intelligence model that has been successfully verified through the cross verification unit 500, and outputs the classified eye disease. do.

도 4는 본 발명에 따른 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 방법을 나타낸 흐름도이다.4 is a flowchart illustrating a method for diagnosing eye diseases based on a deep neural network using a fundus image according to the present invention.

도 4를 참조하면, 안저 이미지 획득부(100)는 상술한 다수의 데이터베이스들로부터 본 발명에 따라 필요한 안저 이미지 및 각 안저 이미지에 대한 전문가의 주석을 포함하는 안저 이미지 학습 데이터세트를 획득하여 이미지 전처리부(300)로 출력한다(S111).Referring to FIG. 4 , the fundus image acquisition unit 100 obtains a fundus image learning dataset including an expert's comment on the fundus image and each fundus image required according to the present invention from the above-described plurality of databases to pre-process the image. It outputs to the unit 300 (S111).

이미지 전처리부(300)는 입력되는 학습 데이터세트의 안저 이미지들을 이미지 전처리하여 이미지 전처리된 학습 데이터세트를 심층 학습부(400)로 제공한다(S113).The image preprocessing unit 300 image preprocesses the fundus images of the input training dataset and provides the image preprocessed training dataset to the deep learning unit 400 ( S113 ).

심층 학습부(400)는 이미지 전처리부(300)로부터 입력되는 이미지 전처리된 학습 데이터세트의 안저 이미지들을 심층 신경망 인공지능모델에 적용하여 학습을 시켜 안구질환 진단 모델을 생성하여 교차 검증부(500) 및 안구질환 진단부(600)로 제공한다(S115).The deep learning unit 400 applies the fundus images of the image preprocessed learning dataset input from the image preprocessor 300 to the deep neural network artificial intelligence model to learn and generate an eye disease diagnosis model and cross-validation unit 500 and provided to the eye disease diagnosis unit 600 (S115).

교차 검증부(500)는 생성된 안구질환 진단 모델에 검증용 데이터세트를 적용하여 K-fold 교차 검증을 수행하여 성공 여부를 판단한다(S117).The cross-validation unit 500 applies the verification dataset to the generated eye disease diagnosis model to perform K-fold cross-validation to determine success (S117).

성공이면 안구질환 진단부(600)는 심층 학습부(400)로부터 입력된 심층 신경망 인공지능 모델인 안구질환 진단 모델을 구동하고, 진단 이미지 획득부(200)로부터 획득되어 이미지 전처리부(300)를 통해 진단 대상 안저 이미지가 입력되는지를 모니터링하고(S119), 진단 대상 안저 이미지가 입력되면 안구질환 진단 모델에 적용하여(S123) 진단결과를 출력한다(S125).If successful, the eye disease diagnosis unit 600 drives the eye disease diagnosis model, which is a deep neural network artificial intelligence model input from the deep learning unit 400 , and is acquired from the diagnostic image acquisition unit 200 and uses the image preprocessing unit 300 . It monitors whether a fundus image to be diagnosed is input through the system (S119), and when the fundus image to be diagnosed is input, it is applied to an eye disease diagnosis model (S123) and a diagnosis result is output (S125).

도 5는 본 발명에 따른 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 방법 중 이미지 전처리 방법을 나타낸 흐름도이다.5 is a flowchart illustrating an image preprocessing method among the deep neural network-based eye disease diagnosis methods using fundus images according to the present invention.

도 5를 참조하면, 우선 이미지 전처리부(300)의 관심영역 획득부(310)는 채널 선택부(311)를 통해 입력되는 학습 데이터세트의 각 안저 이미지의 적색 채널 및 청색 채널만을 추출하여 크기 조절부(312)로 출력한다(S211).Referring to FIG. 5 , first, the region of interest acquisition unit 310 of the image preprocessor 300 extracts only the red channel and the blue channel of each fundus image of the training dataset input through the channel selector 311 and adjusts the size. It outputs to the unit 312 (S211).

크기 조절부(312)는 상기 적색 채널의 안저 이미지의 크기를 384 픽셀로 조절한 후 대조 제한 적응 히스토그램 등화부(313)로 출력한다(S213).The size adjustment unit 312 adjusts the size of the fundus image of the red channel to 384 pixels, and then outputs it to the contrast restriction adaptive histogram equalizer 313 ( S213 ).

대조 제한 적응 히스토그램 등화부(313)는 크기 조절된 안저 이미지를 휘도 평면에서 히스토그램 등화를 수행하여 이미지 증강부(320)로 출력한다(S215).The contrast-limited adaptive histogram equalizer 313 outputs the scaled fundus image to the image enhancer 320 by performing histogram equalization on the luminance plane (S215).

이미지 증강부(320)는 입력되는 각 안저 이미지에 대해 파마리터를 변경하면서 상기 안저 이미지에 대한 증강 이미지를 생성하고, 증강 이미지가 생성된 학습 데이터세트를 심층 학습부(400)로 제공한다(S220).The image augmentation unit 320 generates an augmented image for the fundus image while changing the parameter for each input fundus image, and provides the training dataset from which the augmented image is generated to the deep learning unit 400 (S220). ).

한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.On the other hand, it is common knowledge in the art that the present invention is not limited to the typical preferred embodiments described above, but can be improved, changed, replaced, or added in various ways without departing from the spirit of the present invention. Those who have will be able to understand it easily. If implementation by such improvement, change, substitution, or addition falls within the scope of the appended claims below, the technical idea should also be regarded as belonging to the present invention.

100: 안저 이미지 획득부 200: 진단 이미지 획득부
300: 이미지 전처리부 310: 관심영역 획득부
311: 채널 선택부 312: 크기 조절부
313: 대조제한 적응 히스토그램 등화부
320: 이미지 증강부 400: 심층 학습부
500: 교차 검증부 600: 안구질환 진단부
100: fundus image acquisition unit 200: diagnostic image acquisition unit
300: image preprocessor 310: region of interest acquisition unit
311: channel selection unit 312: size adjustment unit
313: Contrast restriction adaptive histogram equalizer
320: image augmentation unit 400: deep learning unit
500: cross validation unit 600: eye disease diagnosis unit

Claims (12)

적어도 둘 이상의 안구질환 각각에 대한 다수의 안저 이미지 및 각 안저 이미지별 해당 안구질환에 대한 전문가의 주석을 포함하는 학습 데이터세트를 획득하여 출력하는 안저 이미지 획득부;
심층 신경망 인공지능 모델을 포함하여 상기 안저 이미지 획득부로부터 입력되는 학습 데이터세트를 상기 심층 신경망(DNN) 인공지능 모델에 적용하여 학습시켜 당뇨병 망막증, 연령 관련 황반변성, 녹내장 및 정상에 대해 학습된 심층 신경망 인공지능 모델을 출력하는 심층 학습부;
진단할 진단 대상 안저 이미지를 획득하여 출력하는 진단 이미지 획득부; 및
상기 심층 신경망 인공지능 모델을 입력받아 구동하고 있으며, 상기 진단 대상 안저 이미지를 상기 심층 신경망 인공지능 모델에 적용하여 상기 진단 대상 안저 이미지에 안구질환이 존재하는지의 여부 및 안구질환 존재 시 해당 안구질환 진단 결과를 출력하는 안구질환 진단부를 포함하는 것을 특징으로 하는 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 장치.
a fundus image acquisition unit for acquiring and outputting a learning dataset including a plurality of fundus images for each of at least two or more eye diseases and an expert's comment on the corresponding eye disease for each fundus image;
Including a deep neural network artificial intelligence model, the learning dataset input from the fundus image acquisition unit is applied to the deep neural network (DNN) artificial intelligence model and trained to learn about diabetic retinopathy, age-related macular degeneration, glaucoma and normal a deep learning unit that outputs a neural network artificial intelligence model;
a diagnostic image acquisition unit for acquiring and outputting a fundus image to be diagnosed; and
The deep neural network artificial intelligence model is received and driven, and the diagnosis target fundus image is applied to the deep neural network artificial intelligence model to determine whether an eye disease exists in the diagnosis target fundus image, and if an eye disease exists, the corresponding eye disease diagnosis An apparatus for diagnosing eye diseases based on a deep neural network using a fundus image, characterized in that it includes an eye disease diagnosis unit that outputs a result.
제1항에 있어서,
상기 학습 데이터세트는,
당뇨병 망막증을 가지는 다수의 안저 이미지 및 상기 당뇨병 망막증에 대한 주석을 가지는 당뇨병 망막증 학습 데이터, 연령 관련 황반변성(AMD)를 가지는 안저 이미지 및 상기 연령 관련 황반변성에 대한 주석을 가지는 연령 관련 황반변성 학습 데이터 및 녹내장을 가지는 안저 이미지, 상기 녹내장에 대한 주석을 가지는 녹내장 학습 데이터 및 정상 안저 이미지를 포함하는 정상 학습 데이터를 포함하는 것을 특징으로 하는 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 장치.
According to claim 1,
The training dataset is
Multiple fundus images with diabetic retinopathy and diabetic retinopathy learning data with annotations for the diabetic retinopathy, fundus images with age-related macular degeneration (AMD) and age-related macular degeneration learning data with annotations for the age-related macular degeneration, and An apparatus for diagnosing eye diseases based on a deep neural network using a fundus image, comprising: a fundus image having glaucoma, glaucoma learning data having an annotation on the glaucoma, and normal learning data including a normal fundus image.
제2항에 있어서,
상기 학습 데이터세트의 안저 이미지 및 상기 진단 대상 안저 이미지의 크기 및 수를 조절하는 이미지 전처리를 수행하여 출력하는 이미지 전처리부를 더 포함하는 것을 특징으로 하는 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 장치.
3. The method of claim 2,
An apparatus for diagnosing eye diseases based on a deep neural network using a fundus image, characterized in that it further comprises an image preprocessing unit that performs image preprocessing for adjusting the size and number of fundus images of the learning dataset and the fundus images to be diagnosed.
제3항에 있어서,
상기 이미지 전처리부는,
상기 학습 데이터세트의 안저 이미지 및 상기 평가 대상 안저 이미지에서 관심영역을 추출하여 크기를 조절하는 관심영역 획득부; 및
상기 관심영역 획득부로부터 출력되는 안저 이미지의 적어도 하나 이상의 파라미터를 조절하여 상기 안저 이미지에 대한 이미지 수를 증강하는 이미지 증강부를 포함하는 것을 특징으로 하는 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단장치.
4. The method of claim 3,
The image pre-processing unit,
a region of interest obtaining unit extracting a region of interest from the fundus image of the training dataset and the evaluation target fundus image and adjusting the size; and
A deep neural network-based eye disease diagnosis apparatus using a fundus image, characterized in that it comprises an image enhancer for increasing the number of images for the fundus image by adjusting at least one parameter of the fundus image output from the region of interest acquiring unit.
제4항에 있어서,
상기 관심영역 획득부는,
상기 안저 이미지의 적색 채널 및 청색 채널의 안저 이미지를 추출하는 채널 선택부;
상기 적색 채널 및 청색 채널을 포함하는 안저 이미지를 관심영역만을 포함하는 크기로 조절하여 출력하는 크기 조절부; 및
상기 크기 조절된 안저 이미지 대조 제한 적응 히스토그램 등화를 적용하여 출력하는 대조 제한 적응 히스토그램 등화부를 포함하는 것을 특징으로 하는 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단장치.
5. The method of claim 4,
The region of interest acquisition unit,
a channel selection unit for extracting fundus images of a red channel and a blue channel of the fundus image;
a size adjustment unit for outputting the fundus image including the red channel and the blue channel by adjusting the size including only the region of interest; and
A deep neural network-based eye disease diagnosis apparatus using a fundus image, characterized in that it comprises a contrast-limited adaptive histogram equalizer outputting the size-adjusted fundus image contrast-limited adaptive histogram equalization.
제5항에 있어서,
상기 이미지 전처리에 의해 생성된 학습 데이터세트를 학습 세트와 검증 세트로 나눈 후 상기 학습된 상기 심층 신경망 인공지능 모델에 대해 상기 검증 세트에 의해 K-fold 교차 검증을 수행하여 검증결과를 출력하는 검증부를 더 포함하는 것을 특징으로 하는 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단장치.
6. The method of claim 5,
After dividing the training dataset generated by the image preprocessing into a training set and a verification set, a verification unit that outputs a verification result by performing K-fold cross-validation by the verification set on the learned deep neural network artificial intelligence model A deep neural network-based eye disease diagnosis apparatus using a fundus image, characterized in that it further comprises.
안저 이미지 획득부가 적어도 둘 이상의 안구질환 각각에 대한 다수의 안저 이미지 및 각 안저 이미지별 해당 안구질환에 대한 전문가의 주석을 포함하는 학습 데이터세트를 획득하여 출력하는 안저 이미지 획득 과정;
심층 학습부가 심층 신경망 인공지능 모델을 포함하여 상기 안저 이미지 획득부로부터 입력되는 학습 데이터세트를 상기 심층 신경망(DNN) 인공지능 모델에 적용하여 학습시켜 당뇨병 망막증, 연령 관련 황반변성, 녹내장 및 정상에 대해 학습된 심층 신경망 인공지능 모델을 출력하는 심층 학습 과정;
진단 이미지 획득부가 진단할 진단 대상 안저 이미지를 획득하여 출력하는 진단 이미지 획득 과정; 및
안구질환 진단부가 상기 심층 신경망 인공지능 모델을 입력받아 구동하고 있으며, 상기 진단 대상 안저 이미지를 상기 심층 신경망 인공지능 모델에 적용하여 상기 진단 대상 안저 이미지에 안구질환이 존재하는지의 여부 및 안구질환 존재 시 해당 안구질환 진단 결과를 출력하는 안구질환 진단 과정을 포함하는 것을 특징으로 하는 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 방법.
A fundus image acquisition process in which the fundus image acquisition unit acquires and outputs a learning dataset including a plurality of fundus images for each of at least two or more eye diseases and an expert's annotation for each fundus image;
The deep learning unit applies the learning dataset input from the fundus image acquisition unit, including the deep neural network artificial intelligence model, to the deep neural network (DNN) artificial intelligence model to learn diabetic retinopathy, age-related macular degeneration, glaucoma and normal A deep learning process that outputs the trained deep neural network artificial intelligence model;
a diagnostic image acquisition process in which a diagnostic image acquisition unit acquires and outputs a fundus image to be diagnosed; and
The eye disease diagnosis unit receives and operates the deep neural network artificial intelligence model, and the diagnosis target fundus image is applied to the deep neural network artificial intelligence model to determine whether an eye disease exists in the diagnosis target fundus image and when an eye disease exists A deep neural network-based eye disease diagnosis method using a fundus image, characterized in that it includes an eye disease diagnosis process that outputs the corresponding eye disease diagnosis result.
제7항에 있어서,
상기 학습 데이터세트는,
당뇨병 망막증을 가지는 다수의 안저 이미지 및 상기 당뇨병 망막증에 대한 주석을 가지는 당뇨병 망막증 학습 데이터, 연령 관련 황반변성(AMD)를 가지는 안저 이미지 및 상기 연령 관련 황반변성에 대한 주석을 가지는 연령 관련 황반변성 학습 데이터 및 녹내장을 가지는 안저 이미지, 상기 녹내장에 대한 주석을 가지는 녹내장 학습 데이터 및 정상 안저 이미지를 포함하는 정상 학습 데이터를 포함하는 것을 특징으로 하는 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 방법.
8. The method of claim 7,
The training dataset is
Multiple fundus images with diabetic retinopathy and diabetic retinopathy learning data with annotations for the diabetic retinopathy, fundus images with age-related macular degeneration (AMD) and age-related macular degeneration learning data with annotations for the age-related macular degeneration, and A deep neural network-based eye disease diagnosis method using a fundus image, comprising: a fundus image having glaucoma, glaucoma learning data having an annotation on the glaucoma, and normal learning data including a normal fundus image.
제8항에 있어서,
이미지 전처리부가 상기 학습 데이터세트의 안저 이미지 및 상기 진단 대상 안저 이미지의 크기 및 수를 조절하는 이미지 전처리를 수행하여 출력하는 이미지 전처리 과정을 더 포함하는 것을 특징으로 하는 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 방법.
9. The method of claim 8,
Deep neural network-based eye disease using a fundus image, characterized in that the image preprocessing unit further comprises an image preprocessing process for performing image preprocessing for adjusting the size and number of fundus images of the learning dataset and the fundus images to be diagnosed diagnostic method.
제9항에 있어서,
상기 이미지 전처리 과정은,
상기 이미지 전처리부가 관심영역 획득부를 통해 상기 학습 데이터세트의 안저 이미지 및 상기 평가 대상 안저 이미지에서 관심영역을 추출하여 크기를 조절하는 관심영역 획득 단계; 및
상기 이미지 전처리부가 이미지 증강부를 통해 상기 관심영역 획득부로부터 출력되는 안저 이미지의 적어도 하나 이상의 파라미터를 조절하여 상기 안저 이미지에 대한 이미지 수를 증강하는 이미지 증강 단계를 포함하는 것을 특징으로 하는 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 방법.
10. The method of claim 9,
The image preprocessing process is
an ROI obtaining step in which the image preprocessor extracts a region of interest from the fundus image of the training dataset and the evaluation target fundus image through the region of interest acquirer and adjusts the size; and
Using a fundus image, characterized in that the image preprocessing unit adjusts at least one parameter of the fundus image output from the region of interest acquisition unit through the image augmentation unit to enhance the number of images for the fundus image. A deep neural network-based ocular disease diagnosis method.
제10항에 있어서,
상기 관심영역 획득 단계는,
상기 안저 이미지의 적색 채널 및 청색 채널의 안저 이미지를 추출하는 채널 선택 단계;
상기 적색 채널 및 청색 채널을 포함하는 안저 이미지를 관심영역만을 포함하는 크기로 조절하여 출력하는 크기 조절 단계; 및
상기 크기 조절된 안저 이미지 대조 제한 적응 히스토그램 등화를 적용하여 출력하는 대조 제한 적응 히스토그램 등화 단계를 포함하는 것을 특징으로 하는 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 방법.
11. The method of claim 10,
The step of acquiring the region of interest is
a channel selection step of extracting a fundus image of a red channel and a blue channel of the fundus image;
a size adjustment step of adjusting and outputting the fundus image including the red channel and the blue channel to a size including only the region of interest; and
A method for diagnosing eye diseases based on a deep neural network using a fundus image, characterized in that it includes a contrast-limited adaptive histogram equalization step of applying and outputting the scaled fundus image contrast-limited adaptive histogram equalization.
제11항에 있어서,
검증부가 상기 이미지 전처리에 의해 생성된 학습 데이터세트를 학습 세트와 검증 세트로 나눈 후 상기 학습된 상기 심층 신경망 인공지능 모델에 대해 상기 검증 세트에 의해 K-fold 교차 검증을 수행하여 검증결과를 출력하는 검증 과정을 더 포함하는 것을 특징으로 하는 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 방법.
12. The method of claim 11,
After the verification unit divides the training dataset generated by the image preprocessing into a training set and a verification set, K-fold cross-validation is performed by the verification set on the trained deep neural network artificial intelligence model to output a verification result A deep neural network-based eye disease diagnosis method using a fundus image, characterized in that it further comprises a verification process.
KR1020200101660A 2020-08-13 2020-08-13 Deep Neural Networks(DNN) based eye diseases diagnosis apparatus using fundus images and method thereof KR102406538B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200101660A KR102406538B1 (en) 2020-08-13 2020-08-13 Deep Neural Networks(DNN) based eye diseases diagnosis apparatus using fundus images and method thereof
CN202010915725.9A CN114140371A (en) 2020-08-13 2020-09-03 Eye disease diagnosis device and method based on deep neural network by utilizing eye fundus image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200101660A KR102406538B1 (en) 2020-08-13 2020-08-13 Deep Neural Networks(DNN) based eye diseases diagnosis apparatus using fundus images and method thereof

Publications (2)

Publication Number Publication Date
KR20220021171A true KR20220021171A (en) 2022-02-22
KR102406538B1 KR102406538B1 (en) 2022-06-08

Family

ID=80438141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200101660A KR102406538B1 (en) 2020-08-13 2020-08-13 Deep Neural Networks(DNN) based eye diseases diagnosis apparatus using fundus images and method thereof

Country Status (2)

Country Link
KR (1) KR102406538B1 (en)
CN (1) CN114140371A (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114887232B (en) * 2022-07-15 2023-04-11 北京鹰瞳科技发展股份有限公司 Device for controlling red light irradiation of eye ground and myopia physiotherapy equipment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190115713A (en) * 2018-04-03 2019-10-14 고려대학교 산학협력단 Device for vessel detection and retinal edema diagnosis using multi-functional neurlal network and method for detecting and diagnosing same
KR20200005409A (en) * 2018-07-06 2020-01-15 연세대학교 산학협력단 Fundus image management device and method for determining suitability of fundus image
KR20200023029A (en) * 2018-08-24 2020-03-04 연세대학교 산학협력단 Diagnosis assistance system and control method thereof
KR20200065923A (en) 2018-11-30 2020-06-09 아주대학교산학협력단 The Method and System for Evaluating the Quality of Medical Image dataset for Machine Learning
KR20200069209A (en) * 2018-12-06 2020-06-16 주식회사 메디웨일 Diagnostic auxiliary image providing device based on eye image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190115713A (en) * 2018-04-03 2019-10-14 고려대학교 산학협력단 Device for vessel detection and retinal edema diagnosis using multi-functional neurlal network and method for detecting and diagnosing same
KR20200005409A (en) * 2018-07-06 2020-01-15 연세대학교 산학협력단 Fundus image management device and method for determining suitability of fundus image
KR20200023029A (en) * 2018-08-24 2020-03-04 연세대학교 산학협력단 Diagnosis assistance system and control method thereof
KR20200065923A (en) 2018-11-30 2020-06-09 아주대학교산학협력단 The Method and System for Evaluating the Quality of Medical Image dataset for Machine Learning
KR20200069209A (en) * 2018-12-06 2020-06-16 주식회사 메디웨일 Diagnostic auxiliary image providing device based on eye image

Also Published As

Publication number Publication date
KR102406538B1 (en) 2022-06-08
CN114140371A (en) 2022-03-04

Similar Documents

Publication Publication Date Title
US20220230300A1 (en) Using Deep Learning to Process Images of the Eye to Predict Visual Acuity
Suganyadevi et al. Diabetic retinopathy detection using deep learning methods
KR102406538B1 (en) Deep Neural Networks(DNN) based eye diseases diagnosis apparatus using fundus images and method thereof
CN114667539A (en) Fundus image classification device and method based on deep learning for diagnosing eye diseases
Giancardo Automated fundus images analysis techniques to screen retinal diseases in diabetic patients
Sreejini et al. Severity grading of DME from retina images: A combination of PSO and FCM with Bayes classifier
Vyas et al. A survey on automated eye disease detection using computer vision based techniques
Prabha et al. Diabetic Retinopathy Detection Using Automated Segmentation Techniques
KR102497990B1 (en) Quality evaluation of fundus images apparatus using transfer learning and method thereof
Gandhimathi et al. Detection of neovascularization in proliferative diabetic retinopathy fundus images.
Belharar et al. DeepRetino: Ophthalmic disease classification from retinal images using deep learning
Boyina et al. Classification of Uncertain ImageNet Retinal Diseases using ResNet Model
Shivappriya et al. Disease prediction based on retinal images
Topaloglu Quantum Machine Learning for Ocular Disease Recognition
Hussein et al. Convolutional Neural Network in Classifying Three Stages of Age-Related Macula Degeneration
Jiang et al. Segmentation of Laser Marks of Diabetic Retinopathy in the Fundus Photographs Using Lightweight U-Net
Khandolkar et al. Survey on Techniques for Diabetic Retinopathy Detection & Classification
Viraktamath et al. Detection of Diabetic Maculopathy
Chaabane et al. Glaucoma Retinal Image Classification Based on Multichannel Gabor Filtering and Transfer Learning
Biswas et al. Grading Quality of Color Retinal Images to Assist Fundus Camera Operators
Prashanth et al. Early and efficient detection of glaucoma using image processing and deep learning
Sridevi et al. Improvised Detection of Diabetic Retinopathy Using Fast R CNN
Giancardo et al. Quality analysis of retina images for the automatic diagnosis of diabetic retinopathy
Sopharak et al. Automatic exudates detection on thai diabetic retinopathy patients’ retinal images
Amin et al. Multiple Eye Disease Detection Using Deep Learning

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant