KR102538848B1 - 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템 - Google Patents

실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템 Download PDF

Info

Publication number
KR102538848B1
KR102538848B1 KR1020200056763A KR20200056763A KR102538848B1 KR 102538848 B1 KR102538848 B1 KR 102538848B1 KR 1020200056763 A KR1020200056763 A KR 1020200056763A KR 20200056763 A KR20200056763 A KR 20200056763A KR 102538848 B1 KR102538848 B1 KR 102538848B1
Authority
KR
South Korea
Prior art keywords
quality
fundus
deep learning
determination unit
picture
Prior art date
Application number
KR1020200056763A
Other languages
English (en)
Other versions
KR20210138439A (ko
Inventor
박건형
Original Assignee
부산대학교병원
주식회사 에이아이인사이트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교병원, 주식회사 에이아이인사이트 filed Critical 부산대학교병원
Priority to KR1020200056763A priority Critical patent/KR102538848B1/ko
Priority to PCT/KR2021/004254 priority patent/WO2021230500A1/ko
Publication of KR20210138439A publication Critical patent/KR20210138439A/ko
Application granted granted Critical
Publication of KR102538848B1 publication Critical patent/KR102538848B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템에 관한 것으로, 더욱 상세하게는 안저 사진 유무, 안저 사진의 품질 정보 및 안저 사진 내의 중요한 특징점인 시신경유두의 위치를 동시에 출력할 수 있는 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템에 관한 것이다.
본 발명에 따른 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템은 특징 추출(feature extraction)을 수행하도록 안저사진이 입력되는 베이스모듈(100); 상기 베이스모듈(100)의 출력에 두 개의 완전연결층(fully connected layer)이 병렬로 연결되는 브랜치모듈(200); 상기 브랜치모듈(200)은 상기 안저사진의 품질을 추론하는 품질결정부(210); 및 상기 안저사진에서 중심와 또는 시신경유두의 좌표를 추론하는 위치결정부(220);로 구성하되, 상기 품질결정부(210) 및 위치결정부(220)는 상기 베이스모듈(100)의 평균 풀링(average pooling) 레이어 출력에 바로 연결되는 것을 특징으로 한다.
상기 브랜치모듈(200)은 시그모이드(sigmoid) 함수를 활성화 함수로 사용하는 것을 특징으로 한다. 상기 품질결정부(210)의 출력값(score)의 전체 합은 1.0이고, 상기 위치결정부(220)의 출력값(score)은 각각 0~1.0 사이의 값인 것을 특징으로 한다.
상기 품질결정부(210)는 [수학식 1]의 손실함수(loss function)에 의해 트레이닝 되는 것을 특징으로 한다. 상기 위치결정부(220)는 [수학식 2]의 손실함수(loss function)에 의해 트레이닝 되는 것을 특징으로 한다.

Description

실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템{DEEP LEARNING ARCHITECTURE SYSTEM FOR REAL TIME QUALITY INTERPRETATION OF FUNDUS IMAGE}
본 발명은 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템에 관한 것으로, 더욱 상세하게는 안저 사진 유무, 안저 사진의 품질 정보 및 안저 사진 내의 중요한 특징점인 시신경유두의 위치를 동시에 출력할 수 있는 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템에 관한 것이다.
안저 사진기로 촬영을 할 때에는 사진이 의사가 판독할 수준의 충분한 화질을 갖추었는지에 대한 판단이 필요하다. 또한, 대부분의 일반 안저 사진기는 기술적인 한계로 인해 전체 망막 중에서 극히 일부분만 촬영하게 되어 있는데, 이때 현재 촬영된 부분이 중심와와 시신경유두를 포함한 적절한 위치를 촬영하였는지도 판단하여야 한다. 이러한 판단은 보통 숙련된 촬영 전문가에 의해 가능하지만, 만약 이것을 간단하면서도 빠르게 작동할 수 있는 딥러닝 인공지능에 의해 수행할 수 있다면 그 응용분야는 넓다.
특히, 이러한 인공지능 시스템을 안저 사진기 자체에 탑재하게 되면, 촬영 과정을 실시간으로 인공지능이 평가하고 있다가 적절한 화질과 위치를 만족할 경우 자동으로 사진을 촬영하도록 할 수 있다. 이것은 상대적으로 까다로운 안저사진 촬영 과정을 쉽고 편리하게 만들어줄 수 있다.
또한, 안저사진을 판독하는 대형 인공지능 시스템의 앞단에 사전 검열을 위한 시스템으로 사용할 경우, 입력된 안저사진을 미리 선별하여 화질이 도저히 판독을 하기에 불가능한 품질이거나, 적절한 위치에 촬영되지 않았다면 판독을 거부하도록 하여 전체 판독 시스템이 과도한 부하가 걸리는 것을 방지하는데도 이용할 수 있다.
한국공개특허 1020200005408 (2020.01.15.) “안저 이미지 관리 장치 및 안저 이미지의 품질 판단 방법”
본 발명은 상기의 문제점을 해결하기 위해서 안출된 것으로서, 본 발명의 목적은 안저 사진이 의료진이 판독 가능한 수준의 충분한 화질을 갖추었는지 딥러닝 알고리즘을 통해 수행할 수 있는 시스템을 제공하는 것이다.
또한, 본 발명의 목적은 일반 안저 사진기의 기술적인 한계로 인해 전체 망막 중 일부분만 촬영하는 경우가 있어 촬영된 부분이 중심와와 시신경유두를 포함한 적절한 위치를 촬영하였는지 판단할 수 있는 딥러닝 알고리즘 시스템을 제공하는 것이다.
발명이 해결하고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템은,
특징 추출(feature extraction)을 수행하도록 안저사진이 입력되는 베이스모듈(100);
상기 베이스모듈(100)의 출력에 두 개의 완전연결층(fully connected layer)이 병렬로 연결되는 브랜치모듈(200);
상기 브랜치모듈(200)은,
상기 안저사진의 품질을 추론하는 품질결정부(210); 및
상기 안저사진에서 중심와 또는 시신경유두의 좌표를 추론하는 위치결정부(220);로 구성하되,
상기 품질결정부(210) 및 위치결정부(220)는 상기 베이스모듈(100)의 평균 풀링(average pooling) 레이어 출력에 바로 연결되는 것을 특징으로 한다.
상기 브랜치모듈(200)은 시그모이드(sigmoid) 함수를 활성화 함수로 사용하는 것을 특징으로 한다.
상기 품질결정부(210)의 출력값(score)의 전체 합은 1.0이고, 상기 위치결정부(220)의 출력값(score)은 각각 0~1.0 사이의 값인 것을 특징으로 한다.
상기 품질결정부(210)는 [수학식 1]의 손실함수(loss function)에 의해 트레이닝 되는 것을 특징으로 한다.
[수학식 1]
Figure 112020048033307-pat00001
(여기서, Ci는 정답(ground truth) 출력값(score)이고, Pi는 인공지능 출력값(score)).
상기 위치결정부(220)는 [수학식 2]의 손실함수(loss function)에 의해 트레이닝 되는 것을 특징으로 한다.
[수학식 2]
Figure 112020048033307-pat00002
(여기서, px, py는 인공지능이 예측한 x, y좌표값이고, tx, ty는 정답(ground truth) x, y 좌표값).
상기 과제의 해결 수단에 의해, 본 발명은 안저 사진이 의료진이 판독 가능한 수준의 충분한 화질을 갖추었는지 딥러닝 알고리즘을 통해 수행할 수 있는 시스템을 제공할 수 있다.
또한, 본 발명은 일반 안저 사진기의 기술적인 한계로 인해 전체 망막 중 일부분만 촬영하는 경우가 있어 촬영된 부분이 중심와와 시신경유두를 포함한 적절한 위치를 촬영하였는지 판단하는 딥러닝 알고리즘 시스템을 제공할 수 있다.
본 발명은 안저사진의 품질과 필요한 정보의 위치를 자동적으로 확인하는 딥러닝 알고리즘 시스템으로 본 발명을 안저사진기에 적용하여 상대적으로 까다로운 안저사진 촬영 과정을 쉽고 편리하게 만들 수 있다.
본 발명을 안저사진을 판독하는 대형 인공지능 시스템의 앞단에 사전 검열을 위한 시스템으로 사용할 경우, 입력된 안저사진을 미리 선별하여 전체 판독 시스템에 과도한 부하가 걸리지 않도록 방지할 수 있다.
본 발명은 안저사진 여부, 안저사진의 품질 정보 및 안저사진 내의 시신경유두 위치를 동시에 출력하면서도 간단한 구조로 인해 핸드폰 수준의 하드웨어에서도 초당 수십장을 판독하는 것이 가능하다.
도 1은 본 발명인 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템의 구조를 나타내는 구조도이다.
도 2는 본 발명인 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템의 전체 구조를 레이어(layer), 필터(filters), 입력(input) 및 출력(output) 해상도를 포함하는 전체 구조를 도식화하여 나타내었다.
도 3은 종래의 MobileNet 기본 구조를 나타내어 도식화한 것으로, 종래 MobileNet 기본 구조에서 변형된 구조(붉은색 점선)를 표기하여 나타내었다.
도 4는 품질결정부(210)의 출력 구조를 나타낸 구조도이다.
도 5는 위치결정부(220)의 출력 구조를 나타낸 구조도이다.
도 6은 본 발명에서 딥러닝 기반 모델 학습을 위해 안저사진과 안저사진이 아닌 데이터를 확보하여 제공하는 사진세트이다.
도 7은 본 발명인 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템의 구조의 출력 및 손실함수(loss function)를 나타낸 모식도이다.
도 8은 본 발명인 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템의 구조에서 사용된 샘플 코드이다.
도 9는 본 발명인 본 발명인 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템의 구조를 핸드폰에서 실행한 결과를 나타낸 사진이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명에 대한 해결하고자 하는 과제, 과제의 해결 수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시 예 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 보다 상세히 설명하기로 한다.
본 발명에 따른 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템은 안저사진의 품질정보와 시신경유두 또는 중심와의 위치정보 두 가지를 동시에 곧바로(direct) 하나의 아키텍처에서 추론하는 알고리즘이다. 따라서 이하 본 발명인 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템을 DirectNet으로 명명한다.
일반적인 합성곱신경망 아키텍처들은 크게 사진의 분류를 위한 분류(classify) 계열의 알고리즘과 사진 내에서 특정 물체의 위치를 찾는 객체 탐지(object detection) 계열의 알고리즘으로 나뉜다. 하지만 본 발명인 DirectNet은 상기 두 개의 역할을 하나의 아키텍처에서 곧바로(direct)로 출력하는 것이 큰 특징이라고 할 수 있다. 따라서 알고리즘 두 개를 하나로 압축하여 사용함으로써, 저사양의 하드웨어에서도 실시간으로 작동할 수 있게 된다.
그 구성은 도 1에 나타난 같이 크게 특징 추출(feature extraction)을 위한 베이스모듈(100) 구조와 상기 베이스모듈(100) 뒤에 간단한 브랜치 구조를 연결한 브랜치모듈(200)로 구성된다. 또한, 본 발명인 DirectNet의 전체 구조를 도식화하여 도 2와 같이 나타내었다.
1) 베이스 모듈
먼저, 상기 베이스모듈(100)은 특징 추출(feature extraction)을 수행하도록 안저사진이 입력된다. 상기 베이스모듈(100)은 MobileNet V1을 전신으로 한다. 즉, 상기 MobileNet V1의 원래 구조 전체는 도 3과 동일하며, 도 3에 도식화되어 있듯이 상기 MobileNet V1의 일부 구조는 본 발명인 DirectNet에서도 사용되었으며 이를 상기 베이스모듈(100)이라 한다.
다만, 본 발명인 DirectNet은 상기 MobileNet V1에서 붉은색 점선으로 나타낸 구조를 새로운 구조로 대체되었으며 이를 상기 브랜치모듈(200)이라 한다.
상기 베이스모듈(100)에 입력되는 안저사진의 입력 해상도는 상기 MobileNet V1의 입력 해상도인 224x224x3 (width x height x RGB)보다 다소 높은 250x250x3 (width x height x RGB)으로 설정한다. 이는 실험을 통하여 구해진 안저 사진을 처리하는 최적 해상도에 해당한다.
2). 브랜치 모듈
상기 브랜치모듈(200)은 상기 베이스모듈(100)의 출력에 두 개의 완전연결층(fully connected layer)이 병렬로 연결된다. 상기 브랜치모듈(200)은 둘 다 시그모이드(sigmoid) 함수를 활성화 함수(activation function)로 사용한다.
종래의 MobileNet V1과의 차이점은 품질추론을 위한 품질결정부(dense 1 layer, 210)과 좌표추론을 위한 위치결정부(dense 2 layer, 220)이 병렬로 연결되었다는 점과, 상기 품질결정부(dense 1 layer, 210)과 상기 위치결정부(dense 2 layer, 220)이 곧바로 상기 베이스모듈(100)의 평균 풀링(average pooling) 레이어 출력에 바로 연결되어 있다는 것이다. 이것은 원본구조에서 FC layer를 제거한 것이며, 이로 인해 약 100만 번의 부동소수점 연산이 생략되어 속도를 빠르게 할 수 있게 된다. 또한 품질과 좌표를 동시에 하나의 네트워크에서 얻을 수 있다는 장점이 있다.
상기 브랜치모듈(200)은, 도 1에 나타난 바와 같이, 품질결정부 및 위치결정부로 구성된다. 상기 품질결정부는 상기 안저사진의 품질을 추론한다. 상기 위치결정부는 상기 안저사진에서 중심와 또는 시신경유두의 좌표를 추론한다.
[표 1]은 본 발명인 상기 품질결정부(dense 1 layer, 210)과 상기 위치결정부(dense 2 layer, 220)의 입력(input) 및 출력(output) 구조를 나타내었다.
Activation function Input Output
품질결정부
(dense 1 layer)		 Sigmoid 1x1x1024 11
위치결정부
(dense 2 layer)		 Sigmoid 1x1x1024 2
3) 브랜치 모듈 출력 구조
상기 브랜치 모듈의 최종 출력은 13(11+2)개로, 상기 품질결정부(dense 1 layer, 210)의 출력 11개와 상기 위치결정부(dense 2 layer, 220)의 출력 2개로 구성된다.
먼저, 상기 품질결정부(dense 1 layer, 210) 구조는 도 4에 나타난 바와 같이, 컬러사진결정부(211), 흑백사진결정부(212) 및 안저사진결정부(213)로 구성된다.
상기 컬러사진결정부(211)는 컬러 안저사진에 대한 5단계의 품질 출력값(score)을 출력한다. 상기 컬러사진결정부(211)는 매우좋음, 좋음, 보통, 나쁨, 매우 나쁨으로 상기 안저사진의 품질을 출력한다.
상기 흑백사진결정부(212)는 흑백 안저사진에 대한 5단계의 품질 출력값(score)을 출력한다. 상기 흑백사진결정부(212)는 매우좋음, 좋음, 보통, 나쁨, 매우 나쁨으로 상기 안저사진의 품질을 출력한다. 상기 안저사진결정부(213)는 안저사진 여부를 출력한다. 즉 안저사진일 경우 0에 가까운 값을, 안자사진이 아닐 경우 1에 가까운 값을 출력한다.
일실시예로, 도 4에서 상기 품질결정부(dense 1 layer, 210)는 “좋은 품질로 촬영된 컬러 안저사진”이 입력되었을 경우, 상기 컬러사진결정부(211)는 0.31 / 0.11 / 0.12 / 0.12 / 0.05를 출력하고, 흑백사진결정부(212)는 0.05 / 0.12 / 0.03 / 0.04 / 0.04를 출력하며, 상기 안저사진결정부(213)는 0.05를 출력하게 된다. 이것에 대한 해석을 하자면, 출력 값(score) 중에서 최대치는 상기 컬러사진결정부(211)의 0.31 (매우좋음)이며, 따라서 인공지능은 입력된 사진이 “컬러 안저사진 매우 좋은 품질” 이라고 판단하게 된다. 또한 상기 안저사진결정부(213)는 0.05를 출력하여 0.31에 비해 매우 작은 값이며, 따라서 안저사진이 아닐 가능성이 낮은 것으로 판단하게 된다. 만약 고양이 사진과 같이 안저사진이 아닌 이미지가 입력되었을 경우, 반대로 상기 안저사진결정부(213)의 출력이 품질결정부(210)의 11개 값(score) 중 가장 높은 값을 출력하게 되며, 이것이 안저사진이 아니라고 결론을 내리게 된다.
다음으로, 상기 위치결정부(dense 2 layer, 220) 구조는 도 5에 나타난 바와 같이, 제1좌표부(221) 및 제2좌표부(222)로 구성된다.
상기 위치결정부(dense 2 layer, 220)은 시신경유두 또는 중심와의 좌표를 결정하며 제1좌표부(221) 및 제2좌표부(222)는 상기 시신경유두 또는 중심와의 x 및 y 좌푯값을 나타낸다.
상기 품질결정부(dense 1 layer, 210)과 상기 위치결정부(dense 2 layer, 220) 출력값에서 상기 두 레이어의 가장 큰 차이점은 상기 품질결정부(dense 1 layer, 210)의 출력은 softmax로 묶여있어 전체 스코어 합이 1.0인 반면, 상기 위치결정부(dense 2 layer, 220)은 각각의 시그모이드(sigmoid) 출력을 그대로 받기 때문에 출력값이 각각 0~1.0 사이의 값이 된다는 것이다.
이렇게 하는 이유는 상기 품질결정부(dense 1 layer, 210)의 출력의 경우, 상기 안저사진에 대한 평가는 11개의 카테고리 중 1개에만 귀속될 수 있기 때문이며, 상기 위치결정부(dense 2 layer, 220)의 경우에는 각각이 X, Y 좌표를 의미하므로 각각 0~1.0 사이의 값을 가지도록 해야 하기 때문이다.
4) 모델 학습 방법과 손실함수(loss function) 설계
본 발명인 DirectNet을 이용한 딥러닝 모델 학습을 위해, 도 6에 나타난 바와 같이, 시신경유두 위치정보와 5가지 품질정보로 분류된 안저사진 5만장과 안저사진이 아닌 사진세트 5만장을 포함하여 약 10만장의 이미지 데이터를 확보하여 활용하였다. 이때 5가지 품질정보로 분류된 컬러 안저사진은 다시 내부적으로 흑백변환을 하여 5개의 컬러품질 + 5개의 흑백품질을 합하여 총 10개의 품질 정보를 생성하여 트레이닝 한다.
딥러닝 학습 트레이닝을 위한 손실함수(loss function)의 설계는 도 7에 나타난 바와 같다. 상기 품질결정부(dense 1 layer, 210)과 상기 위치결정부(dense 2 layer, 220)에 대해 각각 다른 손실함수(loss function)를 적용하여 합산한 값을 사용한다. Sigmoid 출력에 Softmax 연산을 처리해 출력된 안저사진의 품질 점수는 Categorical cross entropy를 사용하고, 안저사진의 시신경유두 좌표는 mean squared error (MSE)를 사용하여 계산한 각각의 손실(loss)을 합산한 값을 전체 손실(loss)값으로 계산하여 트레이닝 한다.
상기 품질결정부(dense 1 layer, 210)은 [수학식 1]의 손실함수(loss1)에 의해 트레이닝 되는 것을 특징으로 한다.
Figure 112020048033307-pat00003
(여기서, Ci는 정답(ground truth) 출력값(score)이고, Pi는 인공지능 출력값(score)).
상기 위치결정부(dense 2 layer, 220)은 [수학식 2]의 손실함수(loss2)에 의해 트레이닝 되는 것을 특징으로 한다.
Figure 112020048033307-pat00004
(여기서, px, py는 인공지능이 예측한 x, y좌표값이고, tx, ty는 정답(ground truth) x, y 좌표값).
5) 실제 코드 및 테스트 결과
도 8은 본 발명인 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템(DirctNet)의 구조에서 사용된 샘플 코드이다.
도 9는 본 발명인 본 발명인 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템의 구조를 핸드폰에서 실행한 결과를 나타낸 사진이다. 흰색점이 시신경유두의 위치를 나타낸다.
상기 과제의 해결 수단에 의해, 본 발명은 안저 사진이 의료진이 판독 가능한 수준의 충분한 화질을 갖추었는지 딥러닝 알고리즘을 통해 수행할 수 있는 시스템을 제공할 수 있다.
또한, 본 발명은 일반 안저 사진기의 기술적인 한계로 인해 전체 망막 중 일부분만 촬영하는 경우가 있어 촬영된 부분이 중심와와 시신경유두를 포함한 적절한 위치를 촬영하였는지 판단하는 딥러닝 알고리즘 시스템을 제공할 수 있다.
본 발명은 안저사진의 품질과 필요한 정보의 위치를 자동적으로 확인하는 딥러닝 알고리즘 시스템으로 본 발명을 안저사진기에 적용하여 상대적으로 까다로운 안저사진 촬영 과정을 쉽고 편리하게 만들 수 있다.
본 발명을 안저사진을 판독하는 대형 인공지능 시스템의 앞단에 사전 검열을 위한 시스템으로 사용할 경우, 입력된 안저사진을 미리 선별하여 전체 판독 시스템에 과도한 부하가 걸리지 않도록 방지할 수 있다.
본 발명은 안저사진 여부, 안저사진의 품질 정보 및 안저사진 내의 시신경유두 위치를 동시에 출력하면서도 간단한 구조로 인해 핸드폰 수준의 하드웨어에서도 초당 수십장을 판독하는 것이 가능하다.
이와 같이, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100. 베이스모듈
200. 브랜치모듈
210. 품질결정부(dense 1 layer)
211. 컬러사진결정부
212. 흑백사진결정부
213. 안저사진결정부
220. 위치결정부(dense 2 layer)
221. 제1좌표부
222. 제2좌표부

Claims (5)

  1. 특징 추출(feature extraction)을 수행하도록 안저사진이 입력되는 베이스모듈(100);
    상기 베이스모듈(100)의 출력에 두 개의 완전연결층(fully connected layer)이 병렬로 연결되는 브랜치모듈(200);
    상기 브랜치모듈(200)은,
    상기 안저사진의 품질을 추론하는 품질결정부(210); 및
    상기 안저사진에서 중심와 또는 시신경유두의 좌표를 추론하는 위치결정부(220);로 구성하되,
    상기 품질결정부(210) 및 위치결정부(220)는 상기 베이스모듈(100)의 평균 풀링(average pooling) 레이어 출력에 바로 연결되며,
    상기 위치결정부(220)는,
    [수학식 2]의 손실함수(loss function)에 의해 트레이닝 되는 것을 특징으로 하는 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템 :
    [수학식 2]
    Figure 112022040048925-pat00016

    (여기서, px, py는 예상된 x, y 좌표값이고, tx, ty는 실제 x, y 좌표값).
  2. 제 1항에 있어서,
    상기 브랜치모듈(200)은,
    시그모이드(sigmoid) 함수를 활성화 함수로 사용하는 것을 특징으로 하는 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템.
  3. 제 1항에 있어서,
    상기 품질결정부(210)의 출력값(score)의 전체 합은 1.0이고,
    상기 위치결정부(220)의 출력값(score)은 각각 0~1.0 사이의 값인 것을 특징으로 하는 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템.
  4. 제 1항에 있어서,
    상기 품질결정부(210)는,
    [수학식 1]의 손실함수(loss function)에 의해 트레이닝 되는 것을 특징으로 하는 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템 :
    [수학식 1]
    Figure 112020048033307-pat00005

    (여기서, Ci는 실제 출력값(score)이고, Pi는 예상된 출력값(score)).
  5. 삭제
KR1020200056763A 2020-05-12 2020-05-12 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템 KR102538848B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200056763A KR102538848B1 (ko) 2020-05-12 2020-05-12 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템
PCT/KR2021/004254 WO2021230500A1 (ko) 2020-05-12 2021-04-06 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200056763A KR102538848B1 (ko) 2020-05-12 2020-05-12 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템

Publications (2)

Publication Number Publication Date
KR20210138439A KR20210138439A (ko) 2021-11-19
KR102538848B1 true KR102538848B1 (ko) 2023-05-31

Family

ID=78524830

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200056763A KR102538848B1 (ko) 2020-05-12 2020-05-12 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템

Country Status (2)

Country Link
KR (1) KR102538848B1 (ko)
WO (1) WO2021230500A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115083005B (zh) * 2022-06-13 2023-07-04 广东省人民医院 一种基于深度学习的rop图像分类系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102036416B1 (ko) * 2017-11-17 2019-10-24 안영샘 진단 영상을 변환하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
CN110033481A (zh) * 2018-01-10 2019-07-19 北京三星通信技术研究有限公司 用于进行图像处理的方法和设备
KR102122302B1 (ko) * 2018-03-26 2020-06-12 주식회사 뷰노 안저 촬영기를 제어하는 방법 및 이를 이용한 장치
KR102090109B1 (ko) * 2018-04-30 2020-03-17 연세대학교 산학협력단 학습 및 추론 장치 및 그 방법
KR102220109B1 (ko) * 2018-05-31 2021-02-25 주식회사 뷰노 심층 신경망을 이용하여 영상을 분류하는 방법 및 이를 이용한 장치
WO2020009292A1 (ko) * 2018-07-06 2020-01-09 주식회사 메디웨일 안저 이미지 관리 장치 및 안저 이미지의 품질 판단 방법
KR102212500B1 (ko) 2018-07-06 2021-02-04 주식회사 메디웨일 안저 이미지 관리 장치 및 안저 이미지의 품질 판단 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Domain-invariant interpretable fundus image quality assessment", Medical Image Analysis Volume 61, 2020.04*

Also Published As

Publication number Publication date
KR20210138439A (ko) 2021-11-19
WO2021230500A1 (ko) 2021-11-18

Similar Documents

Publication Publication Date Title
US7912285B2 (en) Foreground/background segmentation in digital images with differential exposure calculations
WO2020246861A1 (en) Method and apparatus for training neural network model for enhancing image detail
US8000526B2 (en) Detecting redeye defects in digital images
US7403654B2 (en) Enhanced automatic red eye removal
US8170350B2 (en) Foreground/background segmentation in digital images
US20090238452A1 (en) Region Detection
US20080170778A1 (en) Method and system for detection and removal of redeyes
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
KR102262671B1 (ko) 비디오 영상에 보케 효과를 적용하는 방법 및 기록매체
CN111079688A (zh) 一种人脸识别中的基于红外图像的活体检测的方法
KR102538848B1 (ko) 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템
CN115019340A (zh) 一种基于深度学习的夜间行人检测算法
Srigowri Enhancing unpaired underwater images with cycle consistent network
CN114885094B (zh) 一种图像处理方法、图像处理器、图像处理模组及设备
CN1734468A (zh) 复杂环境下动态人脸侦测系统
JP2024056578A (ja) 画像処理装置、撮影装置、画像処理装置の制御方法及びプログラム
Bharath et al. Vascular Finger Vein Image Segmentation Using Bifold Contrast Limited Enhancement
Sen et al. Automatic Redeye Detection and Correction in Digital Images
SIMARRO EVALUATION AND IMPROVEMENT OF A FACE DETECTION METHOD ON THE BASIS OF SKIN COLOR
CN114359058A (zh) 基于深度学习的图像调色方法及计算机可读存储介质
CN117575919A (zh) 一种基于数据生成的受电弓异常图像恢复方法
CN117671695A (zh) 文档区域检测模型训练及文档区域检测方法和装置
Farinella Messina et al.(45) Date of Patent: Jul. 30, 2013

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant