KR20200020079A - 안저 사진에서 녹내장 진단을 위해 cam에서 추출된 roi를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크 - Google Patents

안저 사진에서 녹내장 진단을 위해 cam에서 추출된 roi를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크 Download PDF

Info

Publication number
KR20200020079A
KR20200020079A KR1020180095338A KR20180095338A KR20200020079A KR 20200020079 A KR20200020079 A KR 20200020079A KR 1020180095338 A KR1020180095338 A KR 1020180095338A KR 20180095338 A KR20180095338 A KR 20180095338A KR 20200020079 A KR20200020079 A KR 20200020079A
Authority
KR
South Korea
Prior art keywords
cnn
ranking
stage
cam
roi
Prior art date
Application number
KR1020180095338A
Other languages
English (en)
Other versions
KR102183847B1 (ko
Inventor
김대영
전태준
김도현
엄영섭
김채리
Original Assignee
한국과학기술원
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, 고려대학교 산학협력단 filed Critical 한국과학기술원
Priority to KR1020180095338A priority Critical patent/KR102183847B1/ko
Publication of KR20200020079A publication Critical patent/KR20200020079A/ko
Application granted granted Critical
Publication of KR102183847B1 publication Critical patent/KR102183847B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Abstract

안저 사진에서 녹내장 진단을 위해 CAM에서 추출된 ROI를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크가 제시된다. 본 발명에서 제안하는 안저 사진에서 녹내장 진단을 위해 CAM에서 추출된 ROI를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크 동작 방법은 제1-스테이지 랭킹 CNN을 통해 CAM(Class Activation Map) 마크 필터 이미지와 원본 안저 이미지를 결합하여 CAM으로부터 ROI(Region of Interests)를 추출하는 단계 및 제2-스테이지 랭킹 CNN을 통해 랭킹-CNN(Ranking-Convolutional Neural Networks)이 상기 ROI를 입력으로 사용하여 CNN을 다시 랭킹하고 최종 예측 값을 출력하는 단계를 포함한다.

Description

안저 사진에서 녹내장 진단을 위해 CAM에서 추출된 ROI를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크{A 2-stage ranking-CNN for diagnosis of glaucoma from fundus images using CAM-extracted ROI as an intermediate input}
본 발명은 안저 사진에서 녹내장 진단을 위해 CAM에서 추출된 ROI를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크 에 관한 것이다.
녹내장은 안구 내압 상승(IOP)이나 혈액 순환 장애와 같은 여러 가지 원인으로 인해 시신경손상이 진행되어 시야 결손이 발생하고 시력이 저하되는 질환으로 조기에 발견하여 적절한 치료를 받지 않으면 실명에까지 이르게 되는 안 질환이다. 일단 녹내장이 진단되면 평생 동안 지속적인 관리가 필요하며 손상된 시신경은 회복되지 않는다. 따라서 녹내장의 조기 발견 및 치료가 가장 좋은 예방법이지만 녹내장으로 인한 시신경 손상이 점차적으로 나타나고, 증상이 나타났을 때는 이미 병이 상당히 진행된 상태이다. 또한, 조기에 녹내장을 확인하기 위해서는 안압 측정, 시신경 유두 검사, 전방각 검사 등 다양한 검사를 시행한 결과를 종합하여 녹내장의 유무를 판단한다.
기계 학습을 통해 안저 이미지에서 정상 및 녹내장을 분류하고 의사의 녹내장 진단 기준을 이용하는 몇 가지 종래기술들이 있다. Chen은 컨볼루션 신경 네트워크(convolutional neural network)를 사용하여 정상 및 녹내장의 분류를 수행했다. Chen은 ORIGA와 SCES 안저 이미지 데이터 세트로 평가한 AlexNet 스타일의 CNN을 설계하였다. Chen의 연구는 CNN을 사용하여 녹내장을 분류하지만, 정상 및 녹내장 등급만을 분류하고 우수한 분류 성능을 나타내지는 않는다.
Li는 디스크/컵 관심 영역(ROI)에 초점을 맞춘 녹내장 진단을 위해 CNN과 SVM을 결합한 모델을 제안했다. Li의 연구는 Chen의 연구와 동일한 한계를 지니고 있지만 동시에 디스크/컵 ROI를 직접 추출하지는 않고 대신 ORIGA 데이터 세트에서 수동으로 레이블이 지정된 ROI를 사용했다. Khali는 녹내장 탐지를 위한 여러 가지 기계 학습 기술에 대한 리뷰를 수행했다. 의사 결정 트리(decision tree), 퍼지 로직(fuzzy logic), K-nearest neighbor, 지원 벡터 머신, Naive Bayes와 같은 다양한 기계 학습 기술이 비교되었다.
그러나, 위에서 설명한 연구 중 어느 것도 정상 및 녹내장의 중간 상태를 고려하지 않았으며 분류 성능이 우수하지 않다. 더욱이, 이러한 중간 클래스는 정상과 녹내장 사이의 연속적인 상태이기 때문에 랭킹-CNN을 사용한 분류가 필요하다.
본 발명이 이루고자 하는 기술적 과제는 정상, 의심 및 녹내장으로 분류되는 안저 이미지를 분류하는 2 단계 랭킹-CNN(2sRanking-CNN)을 제공하는데 있다.
일 측면에 있어서, 본 발명에서 제안하는 안저 사진에서 녹내장 진단을 위해 CAM에서 추출된 ROI를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크 동작 방법은 제1-스테이지 랭킹 CNN을 통해 CAM(Class Activation Map) 마크 필터 이미지와 원본 안저 이미지를 결합하여 CAM으로부터 ROI(Region of Interests)를 추출하는 단계 및 제2-스테이지 랭킹 CNN을 통해 랭킹-CNN(Ranking-Convolutional Neural Networks)이 상기 ROI를 입력으로 사용하여 CNN을 다시 랭킹하고 최종 예측 값을 출력하는 단계를 포함한다.
상기 CAM 마크 필터 이미지와 원본 안저 이미지를 결합하여 CAM으로부터 ROI를 추출하는 단계는 안저 이미지 데이터 세트는 정상, 의심 및 녹내장을 각각 나타내는 등급으로 구성되어 랭킹-CNN은 두 개의 하위 분류자로 구성되고, 랭킹-CNN은 트레인-세트 및 유효-세트에 의해 두 개의 하위 분류자를 트레이닝하여 CAM을 마스크 필터로 획득한다.
상기 CAM은 GAP 레이어 직전의 피쳐 맵과 소프트맥스(softmax) 레이어의 가중치의 내적을 수행하여 이미지 형태로 표시하고, 제1-스테이지 랭킹 CNN 및 제2-스테이지 랭킹 CNN의 하위 분류자를 단일 CNN으로 대체하고, 제1-스테이지 랭킹 CNN 및 제2-스테이지 랭킹 CNN의 각각의 예측을 다중 레이블 분류로 수행함으로써 다중 레이블 CNN에 적용한다.
상기 제2-스테이지 랭킹 CNN을 통해 랭킹-CNN이 상기 ROI를 입력으로 사용하여 CNN을 다시 랭킹하고 최종 예측 값을 출력하는 단계는 제2-스테이지 랭킹 CNN은 CAM으로부터 추출된 ROI 이미지를 입력하고, 모델을 학습하여 최종 예측 값을 출력한다.
상기 제2-스테이지 랭킹 CNN의 하위 분류자는 데이터 세트를 그룹으로 나누어 이진 분류를 수행하고, 상기 제2-스테이지 랭킹 CNN은 오버 피팅을 방지하기 위해 전체 연결, 배치 정규화 및 드롭 아웃 레이어를 사용하여 두 개의 하위 분류자의 이진 예측을 합산하여 최종 클래스를 결정한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 안저 사진에서 녹내장 진단을 위해 CAM에서 추출된 ROI를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크 장치는 CAM(Class Activation Map) 마크 필터 이미지와 원본 안저 이미지를 결합하여 CAM으로부터 ROI(Region of Interests)를 추출하는 제1-스테이지 랭킹 CNN 및 랭킹-CNN(Ranking-Convolutional Neural Networks)이 상기 ROI를 입력으로 사용하여 CNN을 다시 랭킹하고 최종 예측 값을 출력하는 제2-스테이지 랭킹 CNN을 포함한다.
본 발명의 실시예들에 따르면 2단계 랭킹-CNN은 정상, 의심 및 녹내장을 동시에 분류하는 CNN 및 3 종 CNN의 단일 단계 순위와 정확도를 비교한다. 그 결과, 2단계 랭킹-CNN은 96.46 %의 정확도, 96 %의 특이도, 97.56 %의 의심 감도, 95.18 %의 녹내장 민감도를 달성할 수 있다. 또한, 제1-스테이지 랭킹 CNN 모델의 결과로 얻어진 CAM의 강조된 영역은 안저 검사자가 주어진 안저 이미지에서 녹내장을 진단하는 참조 영역을 포함한다. 결과적으로, 제안하는 2단계 랭킹-CNN이 정상과 질병 사이의 중간 상태를 갖는 모든 의료 이미징 데이터에 유사하게 적용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 2단계 랭킹-CNN의 전체 구조를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 CAM에서 추출된 ROI를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크의 동작 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 CAM 추출 마스크 및 ROI 이미지를 갖는 원본 안저 이미지를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 2단계 랭킹-CNN의 오차행렬을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 2단계 랭킹-CNN의 트레이닝 및 검증을 이한 그래프이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 2단계 랭킹-CNN의 전체 구조를 나타내는 도면이다.
녹내장은 안압 상승에 의해 시신경이 만성적으로 손상되어 시야 결손을 일으키는 질환이다. 따라서 녹내장으로 확진되기 전에 의심되는 환자를 모니터링하고 치료하는 것이 중요하다. 본 발명에서는 안저 이미지를 정상, 의심, 녹내장으로 분류하는 2 단계 랭킹 결정 방식의 CNN을 제안한다. 또한, CAM(Class Activation Map)을 마스크 필터로 사용하여 원래의 안저 이미지와 중간 입력으로 결합하는 방법을 제안한다. 본 발명의 일 실시예에 따른 2단계 랭킹-CNN은 기존의 3 등급 CNN 및 랭킹 CNN에 비해 평균 정확도를 약 10 % 향상 시켰으며 특히 3 등급 CNN보다 20 % 이상 의심스러운 등급의 민감도를 향상 시켰다. 또한 추출된 ROI는 의사의 진단 기준과 일치하는 것으로 나타났다. 제안하는 방법은 의심스러운 상태가 있는 모든 의료 데이터에 효율적으로 적용될 것으로 기대된다.
본 발명의 일 실시예에 따르면 정상, 의심 및 녹내장으로 분류된 안저 이미지를 분류하는 2 단계 랭킹 CNN (2sRanking-CNN)을 제안한다.
2 단계 랭킹 CNN은 ROI 추출을 위한 마스크 필터로 트레인-세트 및 유효-세트로 가볍게 트레이닝된 제1-스테이지 랭킹 CNN 모델의 CAM을 사용한다. 랭킹-CNN은 이진 분류 모델로 구성되기 때문에 의심 클래스의 CAM은 랭킹-CNN을 구성하는 모델의 CAM 평균값을 사용한다. 추출된 CAM은 원본 안저 이미지와 통합되어 제2-스테이지 랭킹 CNN 모델의 입력으로 사용된다. 그리고 제2-스테이지 랭킹 CNN 모델의 분류 결과를 최종 예측으로 사용한다.
제안하는 2 단계 랭킹 CNN은 정상, 의심스러운 및 녹내장을 동시에 분류하는 CNN 및 3-클래스 CNN의 단일 스테이지 랭킹과 정확도를 비교한다. 그 결과, 2 단계 랭킹 CNN은 96.46 %의 정확도, 96 %의 특이도, 97.56 %의 의심 감도, 95.18 %의 녹내장 민감도를 달성했다. 평균 정확도를 기반으로 2 단계 랭킹 CNN은 각각 랭킹-CNN 및 3-클래스 CNN 순위보다 9.61 % 및 10.6 % 높으며 의심스러운 경우 민감도가 14.63 % 및 24.39 % 더 높다. 또한, 제1-스테이지 랭킹 CNN 모델의 결과로 얻어진 CAM의 강조된 영역은 안저 검사자가 주어진 안저 이미지에서 녹내장을 진단하는 참조 영역을 포함한다. 결과적으로, 2 단계 랭킹 CNN이 정상과 질병 사이의 중간 상태를 갖는 모든 의료 이미징 데이터에 유사하게 적용될 수 있다.
제안하는 안저 사진에서 녹내장 진단을 위해 CAM에서 추출된 ROI를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크 장치는 제1-스테이지 랭킹 CNN(110) 및 제2-스테이지 랭킹 CNN(120)을 포함한다.
제1-스테이지 랭킹 CNN(110)는 CAM(Class Activation Map) 마크 필터 이미지(114)와 원본 안저 이미지(111)를 결합하여 CAM(113)으로부터 ROI(Region of Interests)(115)를 추출한다.
제1-스테이지 랭킹 CNN(110)는 안저 이미지 데이터 세트는 정상, 의심 및 녹내장을 각각 나타내는 등급으로 구성되어 랭킹-CNN은 두 개의 하위 분류자로 구성되고, 랭킹-CNN은 트레인-세트 및 유효-세트에 의해 두 개의 하위 분류자를 트레이닝하여 CAM을 마스크 필터로 획득한다.
상기 CAM은 GAP 레이어 직전의 피쳐 맵과 소프트맥스(softmax) 레이어의 가중치의 내적을 수행하여 이미지 형태로 표시하고, 제1-스테이지 랭킹 CNN 및 제2-스테이지 랭킹 CNN의 하위 분류자를 단일 CNN으로 대체하고, 제1-스테이지 랭킹 CNN 및 제2-스테이지 랭킹 CNN의 각각의 예측을 다중 레이블 분류로 수행함으로써 다중 레이블 CNN에 적용한다.
제2-스테이지 랭킹 CNN(120)는 CAM 추출 ROI(112)를 입력으로 사용하여 CNN을 다시 랭킹하고 최종 예측 값을 출력한다.
상기 제2-스테이지 랭킹 CNN(120)는 CAM으로부터 추출된 ROI 이미지를 입력하고, 모델을 학습하여 최종 예측 값을 출력한다.
상기 제2-스테이지 랭킹 CNN의 하위 분류자는 데이터 세트를 그룹으로 나누어 이진 분류를 수행하고, 상기 제2-스테이지 랭킹 CNN은 오버 피팅을 방지하기 위해 전체 연결, 배치 정규화 및 드롭 아웃 레이어를 사용하여 두 개의 하위 분류자의 이진 예측을 합산하여 최종 클래스를 결정한다. 도 2 내지 5를 참조하여 CAM에서 추출된 ROI를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크의 전체 동작을 더욱 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 CAM에서 추출된 ROI를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크의 동작 방법을 설명하기 위한 흐름도이다.
제안하는 CAM에서 추출된 ROI를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크의 동작 방법은 제1-스테이지 랭킹 CNN을 통해 CAM(Class Activation Map) 마크 필터 이미지와 원본 안저 이미지를 결합하여 CAM으로부터 ROI(Region of Interests)를 추출하는 단계(110) 및 제2-스테이지 랭킹 CNN을 통해 랭킹-CNN(Ranking-Convolutional Neural Networks)이 상기 ROI를 입력으로 사용하여 CNN을 다시 랭킹하고 최종 예측 값을 출력하는 단계(120)를 포함한다.
단계(110)에서, 제1-스테이지 랭킹 CNN을 통해 CAM(Class Activation Map) 마크 필터 이미지와 원본 안저 이미지를 결합하여 CAM으로부터 ROI(Region of Interests)를 추출한다. 이때, 안저 이미지 데이터 세트는 정상, 의심 및 녹내장을 각각 나타내는 등급으로 구성되어 랭킹-CNN은 두 개의 하위 분류자로 구성되고, 랭킹-CNN은 트레인-세트 및 유효-세트에 의해 두 개의 하위 분류자를 트레이닝하여 CAM을 마스크 필터로 획득한다.
상기 CAM은 GAP 레이어 직전의 피쳐 맵과 소프트맥스(softmax) 레이어의 가중치의 내적을 수행하여 이미지 형태로 표시하고, 제1-스테이지 랭킹 CNN 및 제2-스테이지 랭킹 CNN의 하위 분류자를 단일 CNN으로 대체하고, 제1-스테이지 랭킹 CNN 및 제2-스테이지 랭킹 CNN의 각각의 예측을 다중 레이블 분류로 수행함으로써 다중 레이블 CNN에 적용한다.
단계(120)에서, 제2-스테이지 랭킹 CNN을 통해 랭킹-CNN이 상기 ROI를 입력으로 사용하여 CNN을 다시 랭킹하고 최종 예측 값을 출력한다. 이때, 제2-스테이지 랭킹 CNN은 CAM으로부터 추출된 ROI 이미지를 입력하고, 모델을 학습하여 최종 예측 값을 출력한다.
상기 제2-스테이지 랭킹 CNN의 하위 분류자는 데이터 세트를 그룹으로 나누어 이진 분류를 수행하고, 상기 제2-스테이지 랭킹 CNN은 오버 피팅을 방지하기 위해 전체 연결, 배치 정규화 및 드롭 아웃 레이어를 사용하여 두 개의 하위 분류자의 이진 예측을 합산하여 최종 클래스를 결정한다.
다시 도 1을 참조하면, 본 발명의 실시예에 따른 안저 사진에서 녹내장 진단을 위해 CAM에서 추출된 ROI를 중간 입력자로 사용하는 2단계 랭킹 CNN은 CAM에서 ROI를 추출하는 제1 스테이지 랭킹-CNN(CAM 추출 ROI) 및 제2 스테이지 랭킹-CNN으로 구성된다. 1 스테이지 랭킹-CNN은 원본 안저 이미지를 입력하고 CAM 마스크 필터 영상을 출력한다. 안저 이미지 데이터 세트는 3 개의 클래스로 구성되어 있기 때문에 랭킹-CNN은 두 개의 이진 분류자로 구성된다. 편의상, 정상 및 의심을 하나의 클래스로 그룹화하는 경우를 (NS) - (G)라고 하고 의심 및 녹내장을 (N) - (SG)와 같은 하나의 클래스로 그룹화한다. CAM 추출 ROI 단계에서 CAM 마스크 필터 이미지는 원래 안저 이미지와 결합되어 ROI가 된다. 2단계 랭킹-CNN은 위의 ROI를 입력으로 사용하여 CNN을 다시 한 번 랭킹하고 최종 예측 값을 출력한다.
랭킹-CNN은 예를 들어 N 개의 클래스를 분류하는 CNN을 고려할 때 최종 예측에서 N 개의 크기의 소프트맥스(softmax) 레이어를 사용하여 다중 레이블 분류를 분류하는 것이 일반적이다.
그러나 클래스가 연속적이고 경계가 애매한 경우 일반 다중 레이블 분류가 제대로 작동하지 않을 수 있다. 나이를 추정하는 것이 전형적인 예이며, 등급이 있는 질병도 한 예가 될 수 있다.
랭킹-CNN은 클래스 분류를 위해 N-1 개의 작은 CNN 모델을 생성하고 각 모델은 하나의 클래스를 기준점으로 하여 이진 분류를 수행한다. 예를 들어 10-50 세의 나이를 예측할 때 첫 번째 CNN 모델은 11 세에 기반하고 10 번째 모델은 20 세에 기반한 이진 분류이다. 결과적으로 N 개의 클래스에 대해 N-1 이진 예측이 얻어지며 클래스의 분류는 실제 값의 수이다.
유사하게, 연령 추정의 예에서 10 세는 참값이 0이고 20 세는 10 개의 참값을 가진다. 본 발명의 실시예에 따르면, CNN이 효율적으로 적용될 수 있다고 결정했기 때문에 녹내장 진단에서 랭킹-CNN을 이용한다. 왜냐하면 제안하는 방법 또한 나이를 예측하는 것과 비슷한 방식으로 연속적이고 경계가 있기 때문이다. 또한, 2단계 랭킹-CNN은 단순히 랭킹 CNN을 적용하는 것이 아니라 클래스 들간의 모호한 분류를 효과적으로 할 수 있다.
우리의 안저 이미지 데이터 세트는 정상, 의심 및 녹내장의 3 가지 클래스로 구성되어 있으므로 랭킹- CNN은 두 가지 하위 분류자로 구성된다. 제1 스테이지 랭킹-CNN의 목표는 트레인-세트 및 유효-세트에 의해 두 개의 하위 분류자를 훈련시켜 CAM을 마스크 필터로 얻는 것이다.
CAM을 추출하려면 소프트맥스(softmax) 레이어 바로 앞에 있는 레이어가 GAP(Global Average Pooling) 또는 FC(Fully-Connected) 레이어가 아니어야 한다.
또한, 하위 분류자는 ?(deep) CNN 일 수 있다. 이는 연령 추정의 경우와 달리 두 개의 하위 분류자만 필요하기 때문이다. 본 발명의 실시예에서는 하위 분류자로 121 레이어 DenseNet을 사용했다.
어느 정도의 에포크(epochs)을 트레이닝한 후, 20개의 에포크(epoch)에서, 최종 부류를 예측하기 위해 두 개의 하위 분류자의 예측을 모은다. 중요한 점은 CAM을 추출할 때 실제 클래스가 아닌 예측된 클래스를 기반으로 해야 한다는 것이다. 예측 된 클래스가 제1 스테이지에서 잘못 되었다면 제2 스테이지에서 같은 클래스의 다른 ROI와 비교하여 수정할 수 있다. 또한, 테스트 세트는 제1 스테이지에서 실제 클래스를 알지 못하기 때문에 테스트 세트는 실제 클래스를 기반으로 추출되는 경우 ROI를 가질 수 없다. 결과적으로 제1 스테이지 랭킹-CNN은 각 하위 분류자에 대해 3 개의 CAM을 출력하므로 총 6 개의 CAM이 생성된다.
제1 스테이지에서 얻은 CAM을 마스크 필터 이미지로 사용하고 원래의 안저 이미지와 결합하여 ROI를 생성한다. CAM은 GAP 레이어 직전의 피쳐 맵과 소프트맥스(softmax) 레이어의 가중치를 내재적으로 수행하여 이미지 형태로 표시한다. 결과적으로 클래스 C로 분류 할 확률을 계산할 때 각 가중치에 피쳐 맵을 곱한 다음 합산하여 모델이 입력 이미지를 어떤 기준으로 분류하는지 시각화하는 것이 가능하다. CAM에 대한 보다 공식적인 설명을 추가하기 위해 fk(x, y)는 입력 이미지의 (x, y) 공간 위치의 k 번째 활성화라고 가정한다. 그러면, GAP 레이어의 출력값
Figure pat00001
는
Figure pat00002
이다. 따라서, 주어진 클래스 C에 대해, 소프트맥스(softmax) 레이어에 대한 입력 Sc는
Figure pat00003
로 표현될 수 있으며, 여기서
Figure pat00004
는 유닛 k에 대한 클래스 C의 가중치를 나타낸다. 결과적으로
Figure pat00005
는 주어진 클래스 C에 대한
Figure pat00006
의 중요성을 나타낼 수 있다. Sc에
Figure pat00007
를 대입하면 다음과 같은 표현식을 얻을 수 있다.
Figure pat00008
(1)
Figure pat00009
를 클래스 C에 대한 CAM으로 정의하면, (x, y) 공간 위치에 대한 Mc (x, y)는 다음과 같다.
Figure pat00010
따라서 위의 방정식에서 주어진 이미지가 클래스 C로 분류 될 때
Figure pat00011
및
Figure pat00012
공간 위치의 중요성을 나타낸다. 제안하는 2단계 랭킹-CNN은보다 구체적인 기능을 추출하기 위해 중간 CAM을 원래 입력 이미지와 결합하는 것을 목표로 한다.
본 발명에서는 CAM을 녹내장의 효율적인 분류를 위해 CNN에 적용하였으나 제1 스테이지 및 제2 스테이지 하위 분류자를 단일 CNN으로 대체하여 각 단의 예측을 수행함으로써 일반 다중 레이블 CNN에 적용 할 수 있다.
제1 스테이지의 결과로 얻어진 CAM의 수는 하위 분류자당 세 개이다. 여기에서는 (N)-(SG)의 일반 클래스 CAM을 일반적으로 예측되는 입력의 마스크 필터로 사용한다.
같은 방식으로, 녹내장에 의해 예측 된 입력의 마스크 필터는 (NS) - (G)의 녹내장 등급 CAM을 사용한다. 그 이유는 각 그룹에서 개별적으로 분류된 클래스의 CAM이보다 구체적인 특성을 나타내는 것으로 생각되기 때문이다. 의심되는 부류의 경우 CAM은 (N) - (SG) 그룹의 녹내장에 가깝고 (NS) - (G) 그룹의 정상에 가깝다. 따라서, 의심 클래스의 마스크 필터는 하위 분류자의 CAM의 평균을 사용한다.
도 3은 본 발명의 일 실시예에 따른 CAM 추출 마스크 및 ROI 이미지를 갖는 원본 안저 이미지를 나타내는 도면이다.
도 3는 원본 안저 영상과 함께 CAM 추출 ROI 단계에서 생성된 마스크 필터 이미지와 ROI 이미지를 보여준다. 도 2 의 정상(310) 및 녹내장(320) 클래스에 대한 원본, 마스크 필터 및 ROI 이미지를 보여준다.
도 2의 정상(310) 및 녹내장(320)에서 녹내장의 경우 디스크/컵 영역(disk/cup area)에 초점을 맞추어 CAM을 생성하는 반면, 평상시 디스크/컵 영역 외에도 전체 영역을 커버하는 것을 볼 수 있다. 도 2의 의심(330) 이미지는 원본, 2 개의 마스크 필터, 평균 마스크 필터 및 의심 클래스의 ROI 이미지를 보여준다.
도 2의 의심(330)에서 (NS) - (G) 그룹의 마스크 필터는 정상(310)의 마스크 필터와 유사하지만 (N) - (SG) 그룹의 마스크 필터 녹내장(320)과 유사하다.
따라서 이러한 두 가지 평균을 마스크 필터로 사용하여 의심스러운 클래스의 ROI를 얻는 것이 타당하다. 마지막으로, 각 클래스의 ROI 이미지는 제2 스테이지 랭킹-CNN의 중간 입력으로 사용된다.
2 단계 랭킹-CNN은 CAM 추출 ROI 이미지를 입력하여 모델을 학습한다. 제1 스테이지에서와 마찬가지로 하위 분류 기준은 데이터 세트를 (NS) - (G) 및 (N) - (SG) 그룹으로 나누어 이진 분류를 수행한다. 121 레이어 DenseNet은 제1 스테이지와 동일한 하위 분류자로 사용된다.
제1 스테이지와 달리 제2 스테이지는 CAM을 추출할 필요가 없으므로 완전히 연결된 레이어를 사용할 수 있다. 따라서 오버피팅(overfitting)을 방지하기 위해 121 레이어 DenseNet 이후 전체 연결된 배치 정규화(batch normalization) 및 드롭 아웃(dropout) 레이어를 사용한다. 마지막으로, 두 개의 하위 분류자의 이진 예측을 집계하여 최종 클래스를 결정한다.
실험을 위한 2단계 랭킹-CNN, 랭킹-CNN, 3-클래스 CNN의 구성은 다음과 같다. ImageNet 데이터 세트에서 사전 훈련 된 121-레이어 DenseNet은 각 CNN의 하위 분류자/분류자로 사용되었다. 비교를 위한 랭킹-CNN은 2단계 랭킹-CNN의 2 단계와 동일하며, 3 클래스 CNN은 2단계 랭킹-CNN의 하위 분류자와 동일한 구조를 갖지만, 소프트맥스(softmax) 레이어는 이진 분류 대신 3 클래스 예측을 수행한다. RMSprop가 최적화 함수로 사용되었고, 초기 학습 속도 0.0001은 매 에포크 당 0.9 팩터로 감소되도록 설정되었다. 1 단계 입력으로 사용 된 원래의 안저 영상은 512x512로 크기가 조정되었고 출력 CAM은 32x32에서 512x512로 크기 조정되어 마스크 필터로 사용되었다. 제 2 단계의 완전 접속 된 층의 크기는 2048이고 드롭 아웃 비율은 0.5로 설정되었다. 열차 세트 대 테스트 세트의 비율은 80:20이고 열차 세트의 15 %는 유효성 검사 세트로 설정된다. 결과적으로, 총 992 개의 안저 영상은 각각 열차 세트, 유효성 검사 세트 및 검사 세트에 의해 674, 119 및 199로 나뉘어진다. 제1 스테이지 랭킹-CNN은 총 20 개 에포크에 대해 교육을 받고 유효성 검사 손실이 가장 적을 때를 기준으로 CAM을 출력한다. 마찬가지로, 제2 스테이지 랭킹-CNN은 50 개의 신기원에 대해 훈련되고 유효성 검사 손실이 최소화 될 때 최종 클래스를 예측한다. 제1 스테이지와 제2 스테이지 모두 과다 보정을 방지하기 위해 이미지 확대를 수행했다. 이미지를 12.5 % 내에서 임의의 비율로 확대 및 축소하고 임의로 이미지를 가로로 뒤집는다. 그러나 안저 사진 자체가 전체 안저를 포함하도록 촬영 되었기 때문에 무작위로 자르기가 수행되지 않았으므로 이미지 기능의 손실에 대한 문제가 있었다.
실험을 위한 소프트웨어 및 하드웨어 환경은 다음과 같다. 2 개의 NVIDIA Titan X GPU와 Intel CoreTM i7-6700K CPU를 장착한 32GB 서버에서 테스트를 수행했다.
운영체제는 Ubuntu 16.04이며, CNN 모델의 개발에는 Python 기반 기계 학습 라이브러리가 사용된다.
도 4는 본 발명의 일 실시예에 따른 2단계 랭킹-CNN의 오차행렬을 나타내는 도면이다.
녹내장 분류의 평가는 평균 정확도(Acc), 특이도(Sp), 의심스러운 민감도(SeS) 및 녹내장(SeG)의 민감도의 네 가지 측정 기준에 근거한다. 평균 정확도는 총 데이터의 정확하게 예측된 비율을 의미한다.
트루 네거티브 레이트(true negative rate)로 알려진 특이성은 올바르게 정상적으로 식별된 네거티브 비율을 측정한다. 트루 포지티브 레이트(true positive rate) 또는 리콜(recall)로 알려진 감도는 의심 또는 녹내장으로 정확하게 식별되는 양성 반응의 백분율을 측정한다.
표 1은 2단계 랭킹-CNN, 순위 CNN 및 평가 행렬에 기반한 3 클래스 CNN의 성능 평가 결과를 요약한 것이다. 보다 구체적인 평가를 위해 각 방법에 대한 오류 행렬이 도 4에 나와 있다.
표 1에서 제안한 2단계 랭킹-CNN은
Figure pat00013
는 96.46 %,
Figure pat00014
는 96.00 %,
Figure pat00015
는 97.56 %,
Figure pat00016
는 95.18 %를 달성했다.
Figure pat00017
의 경우 CNN 및 CNN보다 각각 9.59 % 및 10.60 % 더 높다.
Figure pat00018
의 경우, 2단계 랭킹-CNN은 각각 CNN 및 3-CNN 순위보다 16 % 및 12 % 높다. 주목할만한 것은
Figure pat00019
의 결과이다.
제안 된 방법은 랭킹-CNN보다 14.63 % 높으며 특히 3 클래스 CNN보다 24.39 % 높다. 이러한 결과는 CNN이 상대적으로 연속적이고 경계가 모호한 의심 클래스에서 효율적이며 CAM 추출 ROI 방법으로 2단계 랭킹-CNN을 도입하여보다 효율적인 결과를 얻을 수 있음을 보여준다. 반면
Figure pat00020
는 세 가지 방법 모두에서 90 % 이상의 정확도를 보였으며 2단계 랭킹-CNN은 다른 두 가지 방법보다 1.20 % 및 2.41 % 더 높았다. 이 결과는 녹내장 클래스가 다른 클래스와 비교하여 특징이 다르다는 것을 보여 주며 반대로 정상 클래스와 수상한 클래스를 효율적으로 분류하여 2단계 랭킹-CNN의 성능을 향상시킨다.
유사하게, 도 4는 2단계 랭킹-CNN에서
Figure pat00021
와
Figure pat00022
가 다른 두 가지 방법보다 어둡다는 것을 보여준다. 이는 정상 및 의심스러운 클래스가 잘 분류됨을 의미한다. 도 4에서 볼 수 있듯이, CNN 순위에서 녹내장에 대한 정상 분류의 비율은 4 % 인 반면, 의심스러운 분류의 비율은 16 % 이다.
마찬가지로 3 클래스 CNN에서는 각각 5 %와 11 % 이다. 반면, 2단계 랭킹-CNN에서는 녹내장에 대한 정상 분류의 비율이 3 %로 두 가지 방법과 큰 차이가 없지만 잘못 분류된 비율은 1 %에 불과하다.
도 5는 본 발명의 일 실시예에 따른 2단계 랭킹-CNN의 트레이닝 및 검증을 이한 그래프이다.
도 5는 각 방법에 대한 교육 및 검증 손실을 보여준다. 또한, 2단계 랭킹-CNN의 손실은 제2 스테이지 랭킹-CNN 에서 총 50 개 에포크의 손실을 의미한다. 도 5에서 2단계 랭킹-CNN이 학습 및 검증 손실에서 급격히 감소한다는 것을 관찰 할 수 있다. 이것은 2단계 랭킹-CNN이 필터링된 이미지 자체의 두 번째 학습을 허용하므로 손실이 신속하게 감소되고 보다 자세한 기능을 학습할 수 있다는 것을 의미한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 제1-스테이지 랭킹 CNN을 통해 CAM(Class Activation Map) 마크 필터 이미지와 원본 안저 이미지를 결합하여 CAM으로부터 ROI(Region of Interests)를 추출하는 단계; 및
    제2-스테이지 랭킹 CNN을 통해 랭킹-CNN(Ranking-Convolutional Neural Networks)이 상기 ROI를 입력으로 사용하여 CNN을 다시 랭킹하고 최종 예측 값을 출력하는 단계
    를 포함하는 랭킹 컨볼루셔널 뉴럴 네트워크 동작 방법.
  2. 제1항에 있어서,
    상기 CAM 마크 필터 이미지와 원본 안저 이미지를 결합하여 CAM으로부터 ROI를 추출하는 단계는,
    안저 이미지 데이터 세트는 정상, 의심 및 녹내장을 각각 나타내는 등급으로 구성되어 랭킹-CNN은 두 개의 하위 분류자로 구성되고, 랭킹-CNN은 트레인-세트 및 유효-세트에 의해 두 개의 하위 분류자를 트레이닝하여 CAM을 마스크 필터로 획득하는
    랭킹 컨볼루셔널 뉴럴 네트워크 동작 방법.
  3. 제2항에 있어서,
    상기 CAM은 GAP 레이어 직전의 피쳐 맵과 소프트맥스(softmax) 레이어의 가중치의 내적을 수행하여 이미지 형태로 표시하고, 제1-스테이지 랭킹 CNN 및 제2-스테이지 랭킹 CNN의 하위 분류자를 단일 CNN으로 대체하고, 제1-스테이지 랭킹 CNN 및 제2-스테이지 랭킹 CNN의 각각의 예측을 다중 레이블 분류로 수행함으로써 다중 레이블 CNN에 적용하는
    랭킹 컨볼루셔널 뉴럴 네트워크 동작 방법.
  4. 제1항에 있어서,
    상기 제2-스테이지 랭킹 CNN을 통해 랭킹-CNN이 상기 ROI를 입력으로 사용하여 CNN을 다시 랭킹하고 최종 예측 값을 출력하는 단계는,
    제2-스테이지 랭킹 CNN은 CAM으로부터 추출된 ROI 이미지를 입력하고, 모델을 학습하여 최종 예측 값을 출력하는
    랭킹 컨볼루셔널 뉴럴 네트워크 동작 방법.
  5. 제4항에 있어서,
    상기 제2-스테이지 랭킹 CNN의 하위 분류자는 데이터 세트를 그룹으로 나누어 이진 분류를 수행하고, 상기 제2-스테이지 랭킹 CNN은 오버 피팅을 방지하기 위해 전체 연결, 배치 정규화 및 드롭 아웃 레이어를 사용하여 두 개의 하위 분류자의 이진 예측을 합산하여 최종 클래스를 결정하는
    랭킹 컨볼루셔널 뉴럴 네트워크 동작 방법.
  6. CAM(Class Activation Map) 마크 필터 이미지와 원본 안저 이미지를 결합하여 CAM으로부터 ROI(Region of Interests)를 추출하는 제1-스테이지 랭킹 CNN; 및
    랭킹-CNN(Ranking-Convolutional Neural Networks)이 상기 ROI를 입력으로 사용하여 CNN을 다시 랭킹하고 최종 예측 값을 출력하는 제2-스테이지 랭킹 CNN
    을 포함하는 랭킹 컨볼루셔널 뉴럴 네트워크 장치.
  7. 제6항에 있어서,
    상기 제1-스테이지 랭킹 CNN는,
    안저 이미지 데이터 세트는 정상, 의심 및 녹내장을 각각 나타내는 등급으로 구성되어 랭킹-CNN은 두 개의 하위 분류자로 구성되고, 랭킹-CNN은 트레인-세트 및 유효-세트에 의해 두 개의 하위 분류자를 트레이닝하여 CAM을 마스크 필터로 획득하는
    랭킹 컨볼루셔널 뉴럴 네트워크 장치.
  8. 제7항에 있어서,
    상기 CAM은 GAP 레이어 직전의 피쳐 맵과 소프트맥스(softmax) 레이어의 가중치의 내적을 수행하여 이미지 형태로 표시하고, 제1-스테이지 랭킹 CNN 및 제2-스테이지 랭킹 CNN의 하위 분류자를 단일 CNN으로 대체하고, 제1-스테이지 랭킹 CNN 및 제2-스테이지 랭킹 CNN의 각각의 예측을 다중 레이블 분류로 수행함으로써 다중 레이블 CNN에 적용하는
    랭킹 컨볼루셔널 뉴럴 네트워크 장치.
  9. 제6항에 있어서,
    상기 제2-스테이지 랭킹 CNN는,
    CAM으로부터 추출된 ROI 이미지를 입력하고, 모델을 학습하여 최종 예측 값을 출력하는
    랭킹 컨볼루셔널 뉴럴 네트워크 장치.
  10. 제9항에 있어서,
    상기 제2-스테이지 랭킹 CNN의 하위 분류자는 데이터 세트를 그룹으로 나누어 이진 분류를 수행하고, 상기 제2-스테이지 랭킹 CNN은 오버 피팅을 방지하기 위해 전체 연결, 배치 정규화 및 드롭 아웃 레이어를 사용하여 두 개의 하위 분류자의 이진 예측을 합산하여 최종 클래스를 결정하는
    랭킹 컨볼루셔널 뉴럴 네트워크 장치.
KR1020180095338A 2018-08-16 2018-08-16 안저 사진에서 녹내장 진단을 위해 cam에서 추출된 roi를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크 KR102183847B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180095338A KR102183847B1 (ko) 2018-08-16 2018-08-16 안저 사진에서 녹내장 진단을 위해 cam에서 추출된 roi를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180095338A KR102183847B1 (ko) 2018-08-16 2018-08-16 안저 사진에서 녹내장 진단을 위해 cam에서 추출된 roi를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크

Publications (2)

Publication Number Publication Date
KR20200020079A true KR20200020079A (ko) 2020-02-26
KR102183847B1 KR102183847B1 (ko) 2020-11-27

Family

ID=69637697

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180095338A KR102183847B1 (ko) 2018-08-16 2018-08-16 안저 사진에서 녹내장 진단을 위해 cam에서 추출된 roi를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크

Country Status (1)

Country Link
KR (1) KR102183847B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102236615B1 (ko) * 2020-07-31 2021-04-06 주식회사 웨이센 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치
WO2022005090A1 (ko) * 2020-07-03 2022-01-06 주식회사 뷰노 진단 결과를 제공하기 위한 방법 및 장치
CN114693961A (zh) * 2020-12-11 2022-07-01 北京航空航天大学 眼底照片分类方法、眼底图像处理方法和系统
GR1010325B (el) * 2022-02-18 2022-10-14 Συστηματα Υπολογιστικης Ορασης, Irida Labs A.E., Επισημανση μη χαρακτηρισμενων εικονων με χρηση συνελικτικων νευρωνικων δικτυων
WO2024072067A1 (ko) * 2022-09-27 2024-04-04 사회복지법인 삼성생명공익재단 멀티모달 딥 러닝 모델을 이용한 녹내장 환자의 미래 시야 예측 방법
CN114693961B (zh) * 2020-12-11 2024-05-14 北京航空航天大学 眼底照片分类方法、眼底图像处理方法和系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230069315A (ko) 2021-11-11 2023-05-19 충북대학교 산학협력단 안저 이미지를 이용한 안 질환 진단 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김도현 외 3명, Tournament Based Ranking CNN for the Cataract grading, ACCV 2018(2018.07.07.) *
전태준 외 4명, 2sRanking-CNN: A 2-stage ranking-CNN for diagnosis of glaucoma from fundus images using CAM-extracted ROI as an intermediate Input, BMVC 2018.07.04.* *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022005090A1 (ko) * 2020-07-03 2022-01-06 주식회사 뷰노 진단 결과를 제공하기 위한 방법 및 장치
KR20220004476A (ko) * 2020-07-03 2022-01-11 주식회사 뷰노 진단 결과를 제공하기 위한 방법 및 장치
KR102236615B1 (ko) * 2020-07-31 2021-04-06 주식회사 웨이센 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치
WO2022025690A1 (ko) * 2020-07-31 2022-02-03 주식회사 웨이센 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치
CN114693961A (zh) * 2020-12-11 2022-07-01 北京航空航天大学 眼底照片分类方法、眼底图像处理方法和系统
CN114693961B (zh) * 2020-12-11 2024-05-14 北京航空航天大学 眼底照片分类方法、眼底图像处理方法和系统
GR1010325B (el) * 2022-02-18 2022-10-14 Συστηματα Υπολογιστικης Ορασης, Irida Labs A.E., Επισημανση μη χαρακτηρισμενων εικονων με χρηση συνελικτικων νευρωνικων δικτυων
WO2024072067A1 (ko) * 2022-09-27 2024-04-04 사회복지법인 삼성생명공익재단 멀티모달 딥 러닝 모델을 이용한 녹내장 환자의 미래 시야 예측 방법

Also Published As

Publication number Publication date
KR102183847B1 (ko) 2020-11-27

Similar Documents

Publication Publication Date Title
Gayathri et al. A lightweight CNN for Diabetic Retinopathy classification from fundus images
Li et al. CANet: cross-disease attention network for joint diabetic retinopathy and diabetic macular edema grading
KR102183847B1 (ko) 안저 사진에서 녹내장 진단을 위해 cam에서 추출된 roi를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크
Sevastopolsky Optic disc and cup segmentation methods for glaucoma detection with modification of U-Net convolutional neural network
Elangovan et al. Glaucoma assessment from color fundus images using convolutional neural network
Tayal et al. DL-CNN-based approach with image processing techniques for diagnosis of retinal diseases
Kandhasamy et al. Diagnosis of diabetic retinopathy using multi level set segmentation algorithm with feature extraction using SVM with selective features
Gayathri et al. Automated classification of diabetic retinopathy through reliable feature selection
Singh et al. Deep learning system applicability for rapid glaucoma prediction from fundus images across various data sets
Puneet et al. Optical coherence tomography image based eye disease detection using deep convolutional neural network
López-Cabrera et al. Classification of breast cancer from digital mammography using deep learning
Elloumi Cataract grading method based on deep convolutional neural networks and stacking ensemble learning
Luo et al. Joint optic disc and optic cup segmentation based on boundary prior and adversarial learning
Deepa et al. Automated grading of diabetic retinopathy using CNN with hierarchical clustering of image patches by siamese network
Elmoufidi et al. Diabetic retinopathy prevention using efficientNetB3 architecture and fundus photography
Escorcia-Gutierrez et al. Analysis of pre-trained convolutional neural network models in diabetic retinopathy detection through retinal fundus images
Revathi et al. Particle Swarm Optimization based Detection of Diabetic Retinopathy using a Novel Deep CNN
Haider et al. Modified Anam-Net Based Lightweight Deep Learning Model for Retinal Vessel Segmentation.
Jibhakate et al. Early glaucoma detection using machine learning algorithms of VGG-16 and Resnet-50
Jun et al. 2sRanking-CNN: A 2-stage ranking-CNN for diagnosis of glaucoma from fundus images using CAM-extracted ROI as an intermediate input
Basheer et al. Machine learning based classification of cervical cancer using k-nearest neighbour, random forest and multilayer perceptron algorithms
Norouzifard et al. A comparison of transfer learning techniques, deep convolutional neural network and multilayer neural network methods for the diagnosis of glaucomatous optic neuropathy
Helen et al. EYENET: An Eye Disease Detection System using Convolutional Neural Network
Syed et al. A diagnosis model for detection and classification of diabetic retinopathy using deep learning
Tasnimi et al. Diagnosis of anomalies based on hybrid features extraction in thyroid images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant