KR20200023673A - 백내장 진단을 위한 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크 - Google Patents

백내장 진단을 위한 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크 Download PDF

Info

Publication number
KR20200023673A
KR20200023673A KR1020180095337A KR20180095337A KR20200023673A KR 20200023673 A KR20200023673 A KR 20200023673A KR 1020180095337 A KR1020180095337 A KR 1020180095337A KR 20180095337 A KR20180095337 A KR 20180095337A KR 20200023673 A KR20200023673 A KR 20200023673A
Authority
KR
South Korea
Prior art keywords
convolutional neural
cataract
neural network
sets
classes
Prior art date
Application number
KR1020180095337A
Other languages
English (en)
Other versions
KR102187701B1 (ko
Inventor
김대영
김도현
전태준
엄영섭
김채리
Original Assignee
한국과학기술원
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, 고려대학교 산학협력단 filed Critical 한국과학기술원
Priority to KR1020180095337A priority Critical patent/KR102187701B1/ko
Publication of KR20200023673A publication Critical patent/KR20200023673A/ko
Application granted granted Critical
Publication of KR102187701B1 publication Critical patent/KR102187701B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

백내장 진단을 위한 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크 동작 방법 및 장치가 제시된다. 본 발명에서 제안하는 백내장 진단을 위한 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크 동작 방법은 백내장 데이터셋을 구성하는 복수의 클래스들을 복수의 집합으로 나누는 단계, 상기 복수의 집합으로 나누는 과정을 상기 복수의 클래스 모두가 하나의 집합에 하나의 클래스가 소속될 때까지 반복하는 단계, 상기 복수의 집합으로 나누어진 순서대로 토너먼트 구조를 생성하는 단계, 상기 복수의 집합으로 나누어진 백내장 데이터 셋을 판별하는 이진 컨볼루셔널 뉴럴 네트워크 모델(binary cnn model)을 학습시키는 단계 및 상기 학습시킨 이진 컨볼루셔널 뉴럴 네트워크 모델을 사용하여 입력 이미지(input image)의 이진 컨볼루셔널 뉴럴 네트워크 모델의 이진 출력을 획득하고, 획득된 이진 출력에 기초하여 토너먼트 구조에 따라 복수의 레이블 중 하나를 결정하는 단계를 포함한다.

Description

백내장 진단을 위한 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크{Tournament Based Ranking CNN for the Cataract grading}
본 발명은 백내장 진단을 위한 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크에 관한 것이다.
백내장은 수정체에 혼탁이 생겨 투명도를 상실하면서 시력이 저하되는 질환으로, 혼탁이 발생하는 위치에 따라 핵백내장, 피질백내장, 낭밑백내장 등으로 나눌 수 있다. 이 중 나이가 들면서 수정체 섬유와 단백질의 변성으로 수정체핵에 경화가 생겨서 발생하는 핵백내장이 가능 흔한 형태의 백내장이다. 핵백내장의 경우 수정체핵의 경화 정도에 따라 1부터 6의 6개의 등급으로 나눌 수 있다. 등급이 1에 가까울수록 혼탁한 정도가 낮고 수정체가 투명하여 시력에 영향이 적다. 등급이 6에 가까울수록 백내장의 경과가 심화 되었으며, 시야가 불투명하다. 주로 핵백내장 등급 3~4부터 의사들이 환자들에게 백내장 수술이 필요하다고 권고를 내린다. 하지만 등급 6개의 데이터가 균등하게 분포하고 있지 않다. 그 이유는 데이터 수집에 있어서, 백내장이 심한 정도인 5,6 등급의 환자를 구하기 어려운 반면에 경과가 심하지 않거나 미미한 2등급 근처의 정상인 사람이 비교적 훨씬 많기 때문이다. 또한, 백내장의 등급도 얼굴 나이 예측과 같이 class간의 순서를 가진 데이터 셋이면서 등급 간의 경계가 모호하다. 인접한 백내장 등급 간의 구별은 쉽지 않다. 예를 들어, 등급 1과 등급 2의 혼탁도 차이는 거의 없어 구분이 어렵다. 하지만 등급이 올라갈수록 혼탁한 정도가 현저하게 드러나는 것을 알 수 있다. 종래 기술에 따른 랭킹 컨볼루셔널 뉴럴 네트워크(Ranking CNN)에서 나타났듯이 데이터 셋의 등급과 사진의 특징이 선형적인 관계를 갖고 있지 않다. 예를 들어, 등급이 5이상부터는 혼탁도가 급격하게 증가하여 안구의 수정체 렌즈의 구조 자체가 보이지 않는 경향이 있고, 2등급과 3등급의 차이 또한 혼탁한 정도가 육안으로 구별할 수 있을 정도로 차이가 많이 나는 것을 확인할 수 있다.
따라서 효율적인 백내장 진단을 위해 앞서 설명한 이미지 분류에 탁월한 성능을 보이는 깊은 컨볼루션 인공 신경망을 사용하면서 분류에 중요한 특징 추출(feature extraction)과 원활한 학습을 위해 전달 학습(transfer learning)을 사용하고, 데이터의 순서를 가지는 레이블(label)의 특성, 선형이지 않은 이미지와 등급간의 관계, 그리고 데이터 클래스 간에 존재하는 수의 차이를 고려하여 효율적인 분류를 위해 위에서 설명한 랭킹 CNN의 변형을 사용하여 더 높은 정확도를 가지는 모델을 제안한다.
본 발명이 이루고자 하는 기술적 과제는 이전에 시도되지 않았던 매우 깊은 인공신경망을 이용하여 백내장의 등급을 효과적으로 판별할 수 있는 모델을 제공하는데 있다. 범주간의 데이터 수가 심각한 불균형을 이룰 때 모델의 학습이 많은 수의 데이터를 가진 쪽으로 편향되게 이루어진다. 특히 의료데이터의 경우 심각한 환자의 수가 평범한 질환을 가지지 않는 환자의 수보다 월등히 적기 때문에 이러한 상황이 빈번하다. 하지만 오히려 빈번하지 않은 희귀한 질병을 가진 케이스의 경우를 진단해 낼 수 있는 능력이 의료진단에 있어서 더 필요하다. 또한 백내장과 같이 인접한 등급 간의 구별이 모호한 데이터의 경우 보다 정확하게 구분할 수 있는 모델이 필요하다. 따라서, 인공신경망을 이용하여 백내장의 등급을 학습시킴과 동시에 데이터의 수가 적은 범주에 대해서도 정확도를 향상시킬 수 있는 알고리즘을 제안한다.
일 측면에 있어서, 본 발명에서 제안하는 백내장 진단을 위한 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크 동작 방법은 백내장 데이터셋을 구성하는 복수의 클래스들을 복수의 집합으로 나누는 단계, 상기 복수의 집합으로 나누는 과정을 상기 복수의 클래스 모두가 하나의 집합에 하나의 클래스가 소속될 때까지 반복하는 단계, 상기 복수의 집합으로 나누어진 순서대로 토너먼트 구조를 생성하는 단계, 상기 복수의 집합으로 나누어진 백내장 데이터 셋을 판별하는 이진 컨볼루셔널 뉴럴 네트워크 모델(binary cnn model)을 학습시키는 단계 및 상기 학습시킨 이진 컨볼루셔널 뉴럴 네트워크 모델을 사용하여 입력 이미지(input image)의 이진 컨볼루셔널 뉴럴 네트워크 모델의 이진 출력을 획득하고, 획득된 이진 출력에 기초하여 토너먼트 구조에 따라 복수의 레이블 중 하나를 결정하는 단계를 포함한다.
상기 백내장 데이터셋을 구성하는 복수의 클래스들을 복수의 집합으로 나누는 단계는 복수의 클래스들을 복수의 집합으로 나누는 이진 모델의 AUC를 기준으로 가장 높게 나오는 경우에 기초하여 나누는 방법, 복수의 클래스들을 복수의 집합으로 나눌 때 백내장 데이터 셋을 이루는 이미지의 개수를 균등하게 분포하도록 나누는 방법, 또는 복수의 클래스들을 복수의 집합이 갖는 등급의 수가 균등하게 나뉘는 방법 중 어느 하나를 이용한다.
상기 복수의 집합으로 나누어진 순서대로 토너먼트 구조를 생성하는 단계는 입력된 백내장 이미지가 거치는 이진 컨볼루셔널 뉴럴 네트워크 모델의 순서를 결정하고, 상기 복수의 집합으로 나누는 과정을 상기 복수의 클래스 모두가 하나의 집합에 하나의 클래스가 소속될 때까지 반복할 때, 나뉘는 순서대로 토너먼트 구조를 생성한다.
상기 복수의 집합으로 나누어진 백내장 데이터 셋을 판별하는 이진 컨볼루셔널 뉴럴 네트워크 모델(binary cnn model)을 학습시키는 단계는 이진 컨볼루셔널 뉴럴 네트워크 모델 별로 해당 클래스를 분류하도록 학습시킨다.
랭킹 컨볼루셔널 뉴럴 네트워크의 변형을 통해 깊은 컨볼루션 인공 신경망을 사용하면서 분류에 필요한 특징 추출 및 학습을 위해 전달 학습을 사용하고, 데이터의 순서를 가지는 레이블의 특성, 선형이지 않은 이미지와 등급간의 관계, 및 데이터 클래스 간에 존재하는 수의 차이를 고려하여 분류한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 백내장 진단을 위한 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크 장치는 백내장 데이터셋을 구성하는 복수의 클래스들을 복수의 집합으로 나누고, 상기 복수의 집합으로 나누는 과정을 상기 복수의 클래스 모두가 하나의 집합에 하나의 클래스가 소속될 때까지 반복하는 집합 생성부, 상기 복수의 집합으로 나누어진 순서대로 토너먼트 구조를 생성하는 토너먼트 구조 생성부, 상기 복수의 집합으로 나누어진 백내장 데이터 셋을 판별하는 이진 컨볼루셔널 뉴럴 네트워크 모델(binary cnn model)을 학습시키는 모델 학습부 및 상기 학습시킨 이진 컨볼루셔널 뉴럴 네트워크 모델을 사용하여 입력 이미지(input image)의 이진 컨볼루셔널 뉴럴 네트워크 모델의 이진 출력을 획득하고, 획득된 이진 출력에 기초하여 토너먼트 구조에 따라 복수의 레이블 중 하나를 결정하는 판단부를 포함한다.
본 발명의 실시예들에 따르면 최신 기술의 이미지 처리의 성능이 좋은 깊은 인공신경망 모델의 일종인 Resnet을 기존의 다른 데이터로 학습된 모델을 가져와 백내장 데이터에 이식을 하여 학습을 한 후, 결과 산출 방법에 있어서 토너먼트 방식을 취하여 데이터간의 순서성과 구별하기 힘든 모호함을 해결하고, 클래스 간의 학습 시에 수의 균형을 맞추는 효과를 가져왔다. 그 결과 기존의 다른 인공신경망 모델과 비교하여 양극단의 데이터 분류 성능의 확연한 향상을 가져왔다. 또한 CAM(Class Activation Map)을 통해 판단의 근거를 시각화함으로써, ROI 이미지 추출 기술이 없이도 충분히 백내장 진단에 기여하는 부분을 효과적으로 깊은 인공신경망 스스로 추출하여 진단을 내릴 수 있다.
도 1은 본 발명의 일 실시예에 따른 백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 동작 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 데이터 셋을 나누는 방식의 의사 코드이다.
도 3은 본 발명의 일 실시예에 따른 데이터 셋을 나누는 방식을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 AUC를 기준으로 두 부분집합으로 나누는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 6등급으로 이루어진 백내장 데이터 셋을 AUC 기준으로 나눈 토너먼트 구조를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 클래스 수의 정 가운데를 기준으로 두 부분집합으로 나누는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 백내장 6등급 데이터 셋을 정 가운데를 기준으로 부분집합을 나눈 결과를 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 백내장 6등급 데이터 셋을 이미지 개수의 균형 기준으로 부분집합을 나눈 결과를 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 백내장 6등급 데이터 셋을 이미지 개수의 균형을 기준으로 부분집합을 나눈 결과를 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 토너먼트 구조를 생성하는 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 이미지를 입력 받아 분류모델의 결과를 산출하는 방법을 설명하기 위함 도면이다.
도 12는 본 발명의 일 실시예에 따른 이진 컨볼루셔널 뉴럴 네트워크 모델의 구조를 나타내는 도면이다.
도 13은 본 발명의 일 실시예에 따른 백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 동작 장치의 구성을 나타내는 도면이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 동작 방법을 설명하기 위한 흐름도이다.
제안하는 백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 동작 방법은 백내장 데이터셋을 구성하는 복수의 클래스들을 복수의 집합으로 나누는 단계(110), 상기 복수의 집합으로 나누는 과정을 상기 복수의 클래스 모두가 하나의 집합에 하나의 클래스가 소속될 때까지 반복하는 단계(120), 상기 복수의 집합으로 나누어진 순서대로 토너먼트 구조를 생성하는 단계(130), 상기 복수의 집합으로 나누어진 백내장 데이터 셋을 판별하는 이진 컨볼루셔널 뉴럴 네트워크 모델(binary cnn model)을 학습시키는 단계(140), 상기 학습시킨 이진 컨볼루셔널 뉴럴 네트워크 모델을 사용하여 입력 이미지(input image)의 이진 컨볼루셔널 뉴럴 네트워크 모델의 이진 출력을 획득하고, 획득된 이진 출력에 기초하여 토너먼트 구조에 따라 복수의 레이블 중 하나를 결정하는 단계(150)를 포함한다.
본 발명의 실시예에 따르면, 단계(110)에서 백내장 데이터셋을 구성하는 복수의 클래스들을 두 부분집합으로 나눌 수 있다. 두 부분집합으로 나누는 것은 실시 예일뿐 이에 한정되지는 않는다.
백내장 데이터셋을 구성하는 복수의 클래스들을 복수의 집합으로 나누는 방법으로는, 복수의 클래스들을 복수의 집합으로 나누는 이진 모델의 AUC를 기준으로 가장 높게 나오는 경우에 기초하여 나누는 방법, 복수의 클래스들을 복수의 집합으로 나눌 때 백내장 데이터 셋을 이루는 이미지의 개수를 균등하게 분포하도록 나누는 방법, 또는 복수의 클래스들을 복수의 집합이 갖는 등급의 수가 균등하게 나뉘는 방법 중 어느 하나를 이용한다.
단계(120)에서, 상기 복수의 집합으로 나누는 과정을 상기 복수의 클래스 모두가 하나의 집합에 하나의 클래스가 소속될 때까지 반복한다.
단계(130)에서, 상기 복수의 집합으로 나누어진 순서대로 토너먼트 구조를 생성한다.
입력된 백내장 이미지가 거치는 이진 컨볼루셔널 뉴럴 네트워크 모델의 순서를 결정하고, 상기 복수의 집합으로 나누는 과정을 상기 복수의 클래스 모두가 하나의 집합에 하나의 클래스가 소속될 때까지 반복할 때, 나뉘는 순서대로 토너먼트 구조를 생성한다.
단계(140)에서, 상기 복수의 집합으로 나누어진 백내장 데이터 셋을 판별하는 이진 컨볼루셔널 뉴럴 네트워크 모델(binary cnn model)을 학습시킨다. 이때, 이진 컨볼루셔널 뉴럴 네트워크 모델 별로 해당 클래스를 분류하도록 학습시킨다.
단계(150)에서, 상기 학습시킨 이진 컨볼루셔널 뉴럴 네트워크 모델을 사용하여 입력 이미지(input image)의 이진 컨볼루셔널 뉴럴 네트워크 모델의 이진 출력을 획득하고, 획득된 이진 출력에 기초하여 토너먼트 구조에 따라 복수의 레이블 중 하나를 결정한다.
본 발명의 실시예에 따르면, 제안하는 모델은 먼저 백내장 데이터셋을 구성하는 6개의 클래스들을 두 집합으로 나눈다. 두 부분으로 나누는 과정을 모든 클래스가 하나의 집합에 하나의 클래스가 소속될 때까지 반복한다. 나누어진 순서대로 토너먼트 구조를 만든다. 나누어진 두 데이터 셋을 판별하는 이진 컨볼루셔널 뉴럴 네트워크를 학습시킨다. 이후, 학습시킨 모델을 사용하여 입력 이미지의 이진 컨볼루셔널 뉴럴 네트워크 모델의 이진 출력을 얻고 그 결과를 토대로 토너먼트 구조에 따라 6개의 레이블 중 하나를 결정한다.
이와 같이, 백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 동작 방법은, 랭킹 컨볼루셔널 뉴럴 네트워크의 변형을 통해 깊은 컨볼루션 인공 신경망을 사용하면서 분류에 필요한 특징 추출 및 학습을 위해 전달 학습을 사용하고, 데이터의 순서를 가지는 레이블의 특성, 선형이지 않은 이미지와 등급간의 관계, 및 데이터 클래스 간에 존재하는 수의 차이를 고려하여 분류한다.
본 발명의 실시예에 따르면, 입력으로 1부터 6까지 등급이 매겨진 백내장사진의 입력을 받게 되고, 이미지 넷(Image net) 데이터 넷으로 이진 모델을 프리트레닝된다(pretrained). 이미지 넷의 데이터와 백내장의 데이트를 통해 학습을 완료한 후, 결과로 나오는 이진 값을 토대로 토너먼트 구조로 결과 값을 판별하여 등급을 정하게 된다. 그리고 모델의 마지막 컨볼루셔널 레이어와 출력 노드의 가중치를 곱하여 CAM(Class Activation Map)을 추출해 낸다. 이 추출된 CAM은 모델이 입력된 이미지를 판별하는 근거를 시각화 하여주는 자료로 활용된다.
도 2는 본 발명의 일 실시예에 따른 데이터 셋을 나누는 방식의 의사 코드이다.
본 발명의 일 실시예에 따르면, 데이터 셋을 두 개의 부분집합으로 나누되, 특정한 하나의 백내장 등급을 기준으로 큰 등급을 가진 집합과 그렇지 않은 부분집합으로 나눈다. 이후, 위의 과정을 모든 부분집합이 하나의 등급만으로 이루어 질 때까지 반복한다. 도 2에 데이터 셋을 나누는 과정에 대한 의사 코드가 표현되어 있다.
도 3은 본 발명의 일 실시예에 따른 데이터 셋을 나누는 방식을 설명하기 위한 도면이다.
분할 기준(Division Criteria)에 의해 하나의 클래스 집합(310)이 둘(311, 312)로 나뉘게 된다. 둘로 나뉘어진 데이터 셋의 클래스 집합은 나뉘기 전의 클래스 집합의 자식(child) 노드로 들어가게 된다. 이러한 분할 기준에 따라 다양한 토너먼트 구조가 나올 수 있다. 이때 나뉘는 두 부분집합의 클래스들은 항상 한쪽 부분집합의 클래스 등급은 다른 한쪽보다 커야 한다.
데이터 셋을 두 부분집합으로 나눌 때 기준이 되는 등급을 정하는 방법은 여러 가지가 있지만 여기서는 세 가지의 방법을 제안한다.
첫 번째로는 두 부분집합을 나누는 이진 모델의 AUC를 기준으로 가장 높게 나오는 경우를 토대로 나누는 방법과, 두 번째로는 두 부분집합으로 나눌 때 데이터 셋을 이루는 이미지의 개수가 최대한 균등하게 분포하도록 나누는 방법, 그리고 세 번째로는 두 부분집합이 갖는 등급의 수가 균등하게 나뉘는 방법이 있다.
도 4는 본 발명의 일 실시예에 따른 AUC를 기준으로 두 부분집합으로 나누는 방법을 설명하기 위한 도면이다.
첫 번째의 방법의 장점은 두 부분집합으로 나눌 때 가장 정확도가 높게 나오는 두 부분집합으로 나누는 방법을 택함으로써, 등급을 나누는데 있어서 가장 정확도가 높은 방법을 취함과 동시에, 어느 정도 데이터 셋의 균형을 맞추어 학습을 돕는 방식이다 따라서 가장 구별하기 쉬운 경계를 먼저 나눔으로써, 모호한 경계로 인한 오차를 줄이기 위해 고안한 방법이다. 클래스 M부터 N까지의 클래스 셋에서 나뉘는 기준이 되는 K를 M부터 N까지 증가시켜 나누면서 두 부분집합을 모델에 학습시켜 가장 높은 정확도로 두 부분집합을 나누는 K를 기준으로 나누는 방법이다.
도 5는 본 발명의 일 실시예에 따른 6등급으로 이루어진 백내장 데이터 셋을 AUC 기준으로 나눈 토너먼트 구조를 나타내는 도면이다.
본 발명의 실시예에 따른 6등급으로 이루어진 백내장 데이터 셋(510)을 AUC 기준으로 클래스 1, 2, 3, 4(521) 및 클래스 5, 6(522)의 두 부분집합으로 나눈다. 이후, 클래스 1, 2, 3, 4(521)을 AUC 기준으로 클래스 1, 2(531) 및 클래스 3, 4(532)의 두 부분집합으로 나누고, 클래스 5, 6(522)을 클래스 5(533) 및 클래스 6(534)로 나눈다. 클래스 1, 2(531)는 클래스 1(541) 및 클래스 2(542)로 나뉘고, 클래스 3, 4(532)는 클래스 3(543) 및 클래스 4(544)로 나뉜다.
도 6은 본 발명의 일 실시예에 따른 클래스 수의 정 가운데를 기준으로 두 부분집합으로 나누는 방법을 설명하기 위한 도면이다.
두 번째 방법과 세 번째 방법은 데이터 수의 불균형으로 인해 모델이 데이터 수가 많은 한쪽으로 편향되어 학습되는 현상을 방지하기 위해 고안한 방법이다. 두 번째 방법은 M부터 N까지의 클래스가 있을 때 M과 N 사이의 정 가운데를 기준으로 두 부분집합으로 나누는 방법이다.
도 6(a)는 M부터 N까지의 클래스가 홀수일 경우 M과 N 사이의 정 가운데를 기준으로 두 부분집합(611a, 612a)으로 나누는 방법이다.
도 6(b)는 M부터 N까지의 클래스가 짝수일 경우 가운데의 기준이 두 개가 생길 수 있다. 이때는 두 부분집합(611b, 612b)의 총 이미지 개수가 좀더 균형을 이루는 기준으로 나눈다.
도 7은 본 발명의 일 실시예에 따른 백내장 6등급 데이터 셋을 정 가운데를 기준으로 부분집합을 나눈 결과를 나타내는 도면이다.
본 발명의 실시예에 따른 6등급으로 이루어진 백내장 데이터 셋(710)을 정 가운데를 기준으로 클래스 1, 2, 3(721) 및 클래스 4, 5, 6(722)의 두 부분집합으로 나눈다. 이후, 클래스 1, 2, 3(721)을 정 가운데를 기준으로 클래스 1, 2(731) 및 클래스 3(732)의 두 부분집합으로 나누고, 클래스 4, 5, 6(722)을 클래스 4(733) 및 클래스 5, 6(734)로 나눈다. 클래스 1, 2(731)는 클래스 1(741) 및 클래스 2(742)로 나뉘고, 클래스 5, 6(732)은 클래스 5(743) 및 클래스 6(744)으로 나뉜다.
도 8은 본 발명의 일 실시예에 따른 백내장 6등급 데이터 셋을 이미지 개수의 균형 기준으로 부분집합을 나눈 결과를 나타내는 도면이다.
세 번째 방법은 양 데이터 셋의 이미지 개수가 균형이 맞도록 두 부분집합(811, 812)으로 나누는 방법이다. 이 방법은 결국 양 데이터 셋의 숫자의 곱이 최대가 되는 점이 기준이 된다. 그 이유는 두 수의 곱이 최대가 될 때는 두수가 같아질수록 커지기 때문이다.
도 9는 본 발명의 일 실시예에 따른 백내장 6등급 데이터 셋을 이미지 개수의 균형을 기준으로 부분집합을 나눈 결과를 나타내는 도면이다.
본 발명의 실시예에 따른 6등급으로 이루어진 백내장 데이터 셋(910)을 이미지 개수의 균형을 기준으로 클래스 3, 4, 5, 6(921) 및 클래스 1, 2(922)의 두 부분집합으로 나눈다. 이후, 클래스 3, 4, 5, 6(921)을 이미지 개수의 균형을 기준으로 클래스 4, 5, 6(931) 및 클래스 3(932)의 두 부분집합으로 나누고, 클래스 1, 2(922)를 클래스 1(933) 및 클래스 2(934)로 나눈다. 클래스 4, 5, 6(931)은 클래스 5, 6(941) 및 클래스 4(942)로 나뉘고, 클래스 5, 6(932)은 클래스 5(951) 및 클래스 6(952)으로 나뉜다.
도 10은 본 발명의 일 실시예에 따른 토너먼트 구조를 생성하는 과정을 설명하기 위한 도면이다.
데이터 셋을 나눈 후 데이터 셋이 나누어진 순서대로 토너먼트 구조를 구성한다. 이 토너먼트 구조는 입력된 이미지가 거치는 이진 컨볼루셔널 뉴럴 네트워크 모델의 순서를 결정한다. 하나의 집합에서 두 개의 부분집합으로 반복적으로 나뉠 때, 나뉘는 순서대로 토너먼트 대진표가 생성된다. 예를 들어 1,2,3,4,5,6 클래스들을 4를 기준으로 1,2,3,4와 5,6으로 나누었다면(1010), 1,2,3,4(1021) 와 5,6(1022)으로 나뉘어서 대진표를 구성하게 되고 1,2,3,4(1021)에서 2를 기준으로 다시 나뉘었다면 1,2그룹(1031)과 3,4그룹(1032)이 나뉘는 대진이 생성된다. 그 후 하나의 클래스가 하나의 집합에 속할 때까지 반복되므로 1(1041)과 2(1042)가 나뉘고, 3(1043)과 4(1044)가 나뉘는 대진이 생성되고, 5(1033),6(1034) 또한 서로 나뉘게 되는 대진이 생성된다. 그리고 각 이진 모델은 나뉜 부분집합의 클래스를 분류하는 방법을 학습하게 된다.
대진이 생성되고 나면 대진표에 따라 나뉘는 클래스의 부분집합을 분류하는 이진 컨볼루셔널 뉴럴 네트워크 모델을 학습시킨다. 도 10에서 보듯이 모델1(1010) 은 대진표가 나누는 대로 부분집합 1,2,3,4 (1021) 와 5,6 (1022)을 분류하도록 학습시키고 모델2(1021)는 마찬가지로 부분집합 1,2(1031)와 3,4(1032)를 구별하도록 학습시킨다.
도 11은 본 발명의 일 실시예에 따른 이미지를 입력 받아 분류모델의 결과를 산출하는 방법을 설명하기 위함 도면이다.
분류의 결과 산출방식 역시 대진표 구조에 따른다. 입력 이미지는 처음 전체 레이블 집합을 두 부분집합으로 나눈 모델1의 입력으로 입력된다. 판별되는 결과에 따라 다음 입력으로 들어갈 모델이 정해지며, 다음 입력으로 정해질 모델은 이전 모델이 결과로써 분류한 부분집합을 입력으로 받는 모델이다. 이 과정은 분류되는 부분집합의 레이블 수가 하나일 때까지 반복되며 그 레이블이 이미지의 분류 결과이다.
대진표는 도 11과 같이 모델1(1110), 모델2(1121), 모델3(1122), 모델4(1131) 및 모델5(1132)로 나뉘어져 있고, 대진표에 따라 클래스1(1141), 클래스2(1142), 클래스3(1143), 클래스4(1144), 클래스5(1133), 클래스6(1134)로 분류할 수 있다.
예를 들어, 그림의 모델1(1110)의 이진 컨볼루셔널 뉴럴 네트워크가 이진 출력으로 1을 출력하였다면, 4를 기준으로 입력이미지의 백내장 등급이 크다는 것을 의미하므로 입력 이미지는 부분집합 {5,6}(1122)에 속하게 된다. 이 부분집합 {5,6}(1122)을 입력으로 받는 모델은 모델3(1122) 이므로 입력 이미지는 모델3(1122)으로 입력되고 이진 결과가 0이라면 5를 기준으로 등급이 같거나 작다는 뜻이므로 클래스 5(1133)에 속하게 되며 분류 결과는 클래스 5(1133)가 된다.
도 12는 본 발명의 일 실시예에 따른 이진 컨볼루셔널 뉴럴 네트워크 모델의 구조를 나타내는 도면이다.
위에서 분류에 사용된 model은 pretrained 된 Resenet CNN이다. 이 모델은 cifar 10 데이터 셋으로 미리 학습이 되어 있으며 마지막의 전체 연결 레이어(fully connected layer)를 새로운 전체 연결 레이어(fully connected layer)로 대체하고 멀티 클래스 분류 모델(multi class classification model)이 아니라 이진 출력 모델이므로 출력 레이어의 신경망 개수는 하나이다. 이전에 미리 학습된 이미지넷(imagenet) 데이터 셋과 마찬가지로 224*224*3의 이미지를 입력으로 받는다.
프리트레이닝된(Pretrained) 모델을 쓰면 생기는 다양한 이점들이 존재한다. 첫 번째로 데이터 수가 적은 경우에도 많은 파라미터들의 학습이 필요한 깊은 뉴럴 네트워크 모델의 학습이 가능하다는 점이다. 종래기술에 따르면 이미지 적용 분야가 다른 이미지넷과 일반 의료 이미지 사이에서도 전달 학습이 효과적으로 이루어진 것을 확인 할 수 있었다.
또한 프리트레이닝된 네트워크를 사용하게 되면 파라미터 값들에 대해 민감하여 파인 튜닝(fine tuning)을 위해 여러 번 시도를 해야 하지만 이 여러 번 시도 없이도 정확한 결과를 얻을 수 있다.
프리트레이닝된 Resnet을 사용하나 CAM의 시각화를 위해서 프리트레이닝된 Resnet의 전체 연결 레이어를 삭제하고 GAP 레이어와 이진 출력 레이어를 추가하여 구성하였다.
도 13은 본 발명의 일 실시예에 따른 백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 동작 장치의 구성을 나타내는 도면이다.
제안하는 백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 동작 장치(1300)는 집합 생성부(1310), 토너먼트 구조 생성부(1320), 모델 학습부(1330), 판단부(1340)를 포함한다.
집합 생성부(1310)는 백내장 데이터셋을 구성하는 복수의 클래스들을 복수의 집합으로 나누고, 상기 복수의 집합으로 나누는 과정을 상기 복수의 클래스 모두가 하나의 집합에 하나의 클래스가 소속될 때까지 반복한다. 집합 생성부(1310)는 복수의 클래스들을 복수의 집합으로 나누는 이진 모델의 AUC를 기준으로 가장 높게 나오는 경우에 기초하여 나누는 방법, 복수의 클래스들을 복수의 집합으로 나눌 때 백내장 데이터 셋을 이루는 이미지의 개수를 균등하게 분포하도록 나누는 방법, 또는 복수의 클래스들을 복수의 집합이 갖는 등급의 수가 균등하게 나뉘는 방법 중 어느 하나를 이용한다.
토너먼트 구조 생성부(1320)는 상기 복수의 집합으로 나누어진 순서대로 토너먼트 구조를 생성한다. 토너먼트 구조 생성부(1320)는 입력된 백내장 이미지가 거치는 이진 컨볼루셔널 뉴럴 네트워크 모델의 순서를 결정하고, 상기 복수의 집합으로 나누는 과정을 상기 복수의 클래스 모두가 하나의 집합에 하나의 클래스가 소속될 때까지 반복할 때, 나뉘는 순서대로 토너먼트 구조를 생성한다.
모델 학습부(1330)는 상기 복수의 집합으로 나누어진 백내장 데이터 셋을 판별하는 이진 컨볼루셔널 뉴럴 네트워크 모델(binary cnn model)을 학습시킨다. 이진 컨볼루셔널 뉴럴 네트워크 모델 별로 해당 클래스를 분류하도록 학습시킨다.
판단부(1340)는 상기 학습시킨 이진 컨볼루셔널 뉴럴 네트워크 모델을 사용하여 입력 이미지(input image)의 이진 컨볼루셔널 뉴럴 네트워크 모델의 이진 출력을 획득하고, 획득된 이진 출력에 기초하여 토너먼트 구조에 따라 복수의 레이블 중 하나를 결정한다.
본 발명의 실시예에 따르면, 제안하는 모델은 먼저 백내장 데이터셋을 구성하는 6개의 클래스들을 두 집합으로 나눈다. 두 부분으로 나누는 과정을 모든 클래스가 하나의 집합에 하나의 클래스가 소속될 때까지 반복한다. 나누어진 순서대로 토너먼트 구조를 만든다. 나누어진 두 데이터 셋을 판별하는 이진 컨볼루셔널 뉴럴 네트워크를 학습시킨다. 이후, 학습시킨 모델을 사용하여 입력 이미지의 이진 컨볼루셔널 뉴럴 네트워크 모델의 이진 출력을 얻고 그 결과를 토대로 토너먼트 구조에 따라 6개의 레이블 중 하나를 결정한다.
이와 같이, 백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 동작 방법은, 랭킹 컨볼루셔널 뉴럴 네트워크의 변형을 통해 깊은 컨볼루션 인공 신경망을 사용하면서 분류에 필요한 특징 추출 및 학습을 위해 전달 학습을 사용하고, 데이터의 순서를 가지는 레이블의 특성, 선형이지 않은 이미지와 등급간의 관계, 및 데이터 클래스 간에 존재하는 수의 차이를 고려하여 분류한다.
본 발명의 실시예에 따르면, 입력으로 1부터 6까지 등급이 매겨진 백내장사진의 입력을 받게 되고, 이미지 넷(Image net) 데이터 넷으로 이진 모델을 프리트레닝된다(pretrained). 이미지 넷의 데이터와 백내장의 데이트를 통해 학습을 완료한 후, 결과로 나오는 이진 값을 토대로 토너먼트 구조로 결과 값을 판별하여 등급을 정하게 된다. 그리고 모델의 마지막 컨볼루셔널 레이어와 출력 노드의 가중치를 곱하여 CAM(Class Activation Map)을 추출해 낸다. 이 추출된 CAM은 모델이 입력된 이미지를 판별하는 근거를 시각화 하여주는 자료로 활용된다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 백내장 데이터셋을 구성하는 복수의 클래스들을 복수의 집합으로 나누는 단계;
    상기 복수의 집합으로 나누는 과정을 상기 복수의 클래스 모두가 하나의 집합에 하나의 클래스가 소속될 때까지 반복하는 단계;
    상기 복수의 집합으로 나누어진 순서대로 토너먼트 구조를 생성하는 단계;
    상기 복수의 집합으로 나누어진 백내장 데이터 셋을 판별하는 이진 컨볼루셔널 뉴럴 네트워크 모델(binary cnn model)을 학습시키는 단계; 및
    상기 학습시킨 이진 컨볼루셔널 뉴럴 네트워크 모델을 사용하여 입력 이미지(input image)의 이진 컨볼루셔널 뉴럴 네트워크 모델의 이진 출력을 획득하고, 획득된 이진 출력에 기초하여 토너먼트 구조에 따라 복수의 레이블 중 하나를 결정하는 단계
    를 포함하는 백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 동작 방법.
  2. 제1항에 있어서,
    상기 백내장 데이터셋을 구성하는 복수의 클래스들을 복수의 집합으로 나누는 단계는,
    복수의 클래스들을 복수의 집합으로 나누는 이진 모델의 AUC를 기준으로 가장 높게 나오는 경우에 기초하여 나누는 방법, 복수의 클래스들을 복수의 집합으로 나눌 때 백내장 데이터 셋을 이루는 이미지의 개수를 균등하게 분포하도록 나누는 방법, 또는 복수의 클래스들을 복수의 집합이 갖는 등급의 수가 균등하게 나뉘는 방법 중 어느 하나를 이용하는
    백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 동작 방법.
  3. 제1항에 있어서,
    상기 복수의 집합으로 나누어진 순서대로 토너먼트 구조를 생성하는 단계는,
    입력된 백내장 이미지가 거치는 이진 컨볼루셔널 뉴럴 네트워크 모델의 순서를 결정하고, 상기 복수의 집합으로 나누는 과정을 상기 복수의 클래스 모두가 하나의 집합에 하나의 클래스가 소속될 때까지 반복할 때, 나뉘는 순서대로 토너먼트 구조를 생성하는
    백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 동작 방법.
  4. 제1항에 있어서,
    상기 복수의 집합으로 나누어진 백내장 데이터 셋을 판별하는 이진 컨볼루셔널 뉴럴 네트워크 모델(binary cnn model)을 학습시키는 단계는,
    이진 컨볼루셔널 뉴럴 네트워크 모델 별로 해당 클래스를 분류하도록 학습시키는
    백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 동작 방법.
  5. 제1항에 있어서,
    랭킹 컨볼루셔널 뉴럴 네트워크의 변형을 통해 깊은 컨볼루션 인공 신경망을 사용하면서 분류에 필요한 특징 추출 및 학습을 위해 전달 학습을 사용하고, 데이터의 순서를 가지는 레이블의 특성, 선형이지 않은 이미지와 등급간의 관계, 및 데이터 클래스 간에 존재하는 수의 차이를 고려하여 분류하는
    백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 동작 방법.
  6. 백내장 데이터셋을 구성하는 복수의 클래스들을 복수의 집합으로 나누고, 상기 복수의 집합으로 나누는 과정을 상기 복수의 클래스 모두가 하나의 집합에 하나의 클래스가 소속될 때까지 반복하는 집합 생성부;
    상기 복수의 집합으로 나누어진 순서대로 토너먼트 구조를 생성하는 토너먼트 구조 생성부;
    상기 복수의 집합으로 나누어진 백내장 데이터 셋을 판별하는 이진 컨볼루셔널 뉴럴 네트워크 모델(binary cnn model)을 학습시키는 모델 학습부; 및
    상기 학습시킨 이진 컨볼루셔널 뉴럴 네트워크 모델을 사용하여 입력 이미지(input image)의 이진 컨볼루셔널 뉴럴 네트워크 모델의 이진 출력을 획득하고, 획득된 이진 출력에 기초하여 토너먼트 구조에 따라 복수의 레이블 중 하나를 결정하는 판단부
    를 포함하는 백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 장치.
  7. 제6항에 있어서,
    상기 집합 생성부는,
    복수의 클래스들을 복수의 집합으로 나누는 이진 모델의 AUC를 기준으로 가장 높게 나오는 경우에 기초하여 나누는 방법, 복수의 클래스들을 복수의 집합으로 나눌 때 백내장 데이터 셋을 이루는 이미지의 개수를 균등하게 분포하도록 나누는 방법, 또는 복수의 클래스들을 복수의 집합이 갖는 등급의 수가 균등하게 나뉘는 방법 중 어느 하나를 이용하는
    백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 장치.
  8. 제6항에 있어서,
    상기 토너먼트 구조 생성부는,
    입력된 백내장 이미지가 거치는 이진 컨볼루셔널 뉴럴 네트워크 모델의 순서를 결정하고, 상기 복수의 집합으로 나누는 과정을 상기 복수의 클래스 모두가 하나의 집합에 하나의 클래스가 소속될 때까지 반복할 때, 나뉘는 순서대로 토너먼트 구조를 생성하는
    백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 장치.
  9. 제6항에 있어서,
    상기 모델 학습부는,
    이진 컨볼루셔널 뉴럴 네트워크 모델 별로 해당 클래스를 분류하도록 학습시키는
    백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 장치.
  10. 제6항에 있어서,
    랭킹 컨볼루셔널 뉴럴 네트워크의 변형을 통해 깊은 컨볼루션 인공 신경망을 사용하면서 분류에 필요한 특징 추출 및 학습을 위해 전달 학습을 사용하고, 데이터의 순서를 가지는 레이블의 특성, 선형이지 않은 이미지와 등급간의 관계, 및 데이터 클래스 간에 존재하는 수의 차이를 고려하여 분류하는
    백내장 진단을 위한 토너먼트 기반의 컨볼루셔널 뉴럴 네트워크 장치.
KR1020180095337A 2018-08-16 2018-08-16 백내장 진단을 위한 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크 KR102187701B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180095337A KR102187701B1 (ko) 2018-08-16 2018-08-16 백내장 진단을 위한 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180095337A KR102187701B1 (ko) 2018-08-16 2018-08-16 백내장 진단을 위한 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크

Publications (2)

Publication Number Publication Date
KR20200023673A true KR20200023673A (ko) 2020-03-06
KR102187701B1 KR102187701B1 (ko) 2020-12-07

Family

ID=69802418

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180095337A KR102187701B1 (ko) 2018-08-16 2018-08-16 백내장 진단을 위한 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크

Country Status (1)

Country Link
KR (1) KR102187701B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560999A (zh) * 2021-02-18 2021-03-26 成都睿沿科技有限公司 一种目标检测模型训练方法、装置、电子设备及存储介质
WO2022034956A1 (ko) * 2020-08-11 2022-02-17 단국대학교 산학협력단 랜덤 포레스트 알고리즘을 기반으로 하는 백내장 등급 진단 장치 및 그 방법
KR20220117366A (ko) * 2021-02-15 2022-08-24 경기대학교 산학협력단 특징 맵을 이용한 출력 노드 변화 시각화 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170136357A (ko) * 2016-06-01 2017-12-11 서울대학교산학협력단 인공 신경망 기반 예측 모델 생성 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170136357A (ko) * 2016-06-01 2017-12-11 서울대학교산학협력단 인공 신경망 기반 예측 모델 생성 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김도현 외 3인, Tournament Based Ranking CNN for the Cateract grading(2018, 7, 7)* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022034956A1 (ko) * 2020-08-11 2022-02-17 단국대학교 산학협력단 랜덤 포레스트 알고리즘을 기반으로 하는 백내장 등급 진단 장치 및 그 방법
KR20220117366A (ko) * 2021-02-15 2022-08-24 경기대학교 산학협력단 특징 맵을 이용한 출력 노드 변화 시각화 장치 및 방법
CN112560999A (zh) * 2021-02-18 2021-03-26 成都睿沿科技有限公司 一种目标检测模型训练方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR102187701B1 (ko) 2020-12-07

Similar Documents

Publication Publication Date Title
Bae et al. Digital museum of retinal ganglion cells with dense anatomy and physiology
Wu et al. Cascaded fully convolutional networks for automatic prenatal ultrasound image segmentation
CN110188239B (zh) 一种基于跨模态注意力机制的双流视频分类方法和装置
US9152926B2 (en) Systems, methods, and media for updating a classifier
US20190205620A1 (en) High-quality training data preparation for high-performance face recognition systems
CN103262119B (zh) 用于对图像进行分割的方法和系统
CN110766051A (zh) 一种基于神经网络的肺结节形态学分类方法
JP2020522794A (ja) ニューラルネットワーク分類
CN113407759B (zh) 一种基于自适应特征融合的多模态实体对齐方法
Ji et al. A new multistage medical segmentation method based on superpixel and fuzzy clustering
CN113656596B (zh) 一种基于三元组筛选融合的多模态实体对齐方法
Zheng et al. Deep convolutional neural networks for multiplanar lung nodule detection: Improvement in small nodule identification
KR102187701B1 (ko) 백내장 진단을 위한 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크
US11748450B2 (en) Method and system for training image classification model
US11120297B2 (en) Segmentation of target areas in images
JP2022502762A (ja) ニューラルネットワーク捜索方法、装置、プロセッサ、電子機器、記憶媒体及びコンピュータプログラム
CN109919252A (zh) 利用少数标注图像生成分类器的方法
Pant et al. Pneumonia detection: An efficient approach using deep learning
CN111667459A (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
Xie et al. Optic disc and cup image segmentation utilizing contour-based transformation and sequence labeling networks
JP2020030480A (ja) 畳み込みニューラルネットワーク並びにこれを用いた画像識別装置及び画像識別方法、並びに学習手段
Jun et al. Tournament based ranking CNN for the cataract grading
WO2016095068A1 (en) Pedestrian detection apparatus and method
CN113392831A (zh) 分析一组帧中的对象
CN110135428A (zh) 图像分割处理方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant