KR20210012097A - 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법 - Google Patents

딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법 Download PDF

Info

Publication number
KR20210012097A
KR20210012097A KR1020190089122A KR20190089122A KR20210012097A KR 20210012097 A KR20210012097 A KR 20210012097A KR 1020190089122 A KR1020190089122 A KR 1020190089122A KR 20190089122 A KR20190089122 A KR 20190089122A KR 20210012097 A KR20210012097 A KR 20210012097A
Authority
KR
South Korea
Prior art keywords
diabetic retinopathy
bounding box
severity
pathological
detection
Prior art date
Application number
KR1020190089122A
Other languages
English (en)
Other versions
KR102313143B1 (ko
Inventor
김대원
정영훈
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Priority to KR1020190089122A priority Critical patent/KR102313143B1/ko
Publication of KR20210012097A publication Critical patent/KR20210012097A/ko
Application granted granted Critical
Publication of KR102313143B1 publication Critical patent/KR102313143B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

본 발명은 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법에 대한 것이다.
본 발명에 따르면, 당뇨성 망막 병증을 진단받은 환자들의 안저영상을 수집하는 영상수집부, 상기 수집된 안저영상을 Faster R-CNN 기반의 객체인식 알고리즘에 입력하여 당뇨성 망막 병증의 병리적 특징을 학습시키는 학습부, 병증을 진단받고자 하는 피검자의 안저영상을 입력받으면, 입력된 피검자의 안저영상을 학습이 완료된 Faster R-CNN 기반의 객체인식 알고리즘에 입력하여 병리증상으로 판별되는 영역을 설정된 경계박스로 나타내어 검출하는 검출부, 상기 병리증상 데이터에 대한 전처리 과정을 수행하는 신호처리부, 그리고 전처리가 완료된 상기 병리증상 데이터를 랜덤포레스트 분류기에 입력하고, 상기 입력된 병리증상 데이터를 분석하여 당뇨성 망막병증의 중중도를 복수의 등급으로 분류하는 중증도 분류부를 포함한다.
본 발명에 따른 당뇨망막병증 검출 및 증증도 분류장치는 안과질환 의료진이나 검사자의 주관적 해석 개입을 방지하고 객관적 자료와 지표를 이용하여 구체적으로 진단할 수 있으며 의료영상 분석 분야 업무의 효율성을 높일 수 있다.

Description

딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법{Diabetic retinopathy detection and severity classification apparatus Based on Deep Learning and method thereof}
본 발명은 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 촬영된 안저영상을 이용하여 당뇨성 망막 병증의 병리적 특징인 미세 혈관류, 망막 출혈 및 경성 삼출물을 검출하고, 검출된 병증의 중증도를 등급으로 분류하는 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법에 관한 것이다.
당뇨성 망막 병증은 당뇨병 환자의 대표적인 미세혈관 합병증으로서 우리나라에서 환자들에게 시력 저하 및 실명을 일으키는 주요한 원인 중 하나이며, 당뇨 환자의 약 60%가 이 질병이 발생한다. 안저 검사를 통해 빠른 치료가 이루어질수록 유병률이 낮아짐에도 불구하고 초기 단계에서는 환자가 인지할 수 있는 증상이 없기 때문에 발견 및 치료가 늦어지는 경향을 보인다.
당뇨성 망막 병증의 초기 단계인 비증식성 당뇨성 망막 병증의 경우 안저 검사를 통해 미세혈관류(Microaneurysm), 경성 삼출물(Hard exudate), 면화반(Soft exudate), 망막 출혈 등의 병리 증상을 관찰 할 수 있다. 미세혈관류는 당뇨성 망막 병증에서 가장 먼저 관찰 할 수 있는 임상 소견으로서, 당뇨성 망막 병증이 진행함에 따라 비정상적으로 확장되며 심할 경우 증식성 당뇨성 망막 병증으로 발전 할 수 있다.
망막 출혈의 경우, 망막에 있는 혈관이 터져 시야가 흐려지거나 시력이 떨어지는 증상이 있다. 이때 경성 삼출물의 경우 망막혈관으로부터 장액이 새어 나와 지질이 남게 되는 현상으로, 경성 삼출물을 통해 환자의 혈중 콜레스테롤 수치를 추정 할 수 있다.
ETDRS 시력표(Early Treatment Diabetic Retinopathy Study)에서는 당뇨성 망막 병증을 증식성(PDR)과 비증식성(NPDR)으로 분류하고 비증식성을 정상 망막(No apparent retinopathy), 가벼운 비증식성 당뇨성 망막 병증(Mild NPDR), 중증도 비증식성 당뇨성 망막 병증(Moderate NPDR), 심한 비증식성 당뇨성 망막 병증(Severe NPDR), 증식성 당뇨성 망막 병증(PDR)으로 세분화하였다.
이러한 분류를 통해 안과에서는 등급에 따라 다른 치료가 이루어지고 있으며, 각각의 치료 방법이 다르기 때문에 환자의 망막 상태의 심각도 등급을 분류할 필요가 있다. 하지만, 안저영상을 판독하고 분류할 때, 검사자의 주관적 해석이 개입될 수 있고 안저 촬영 장치에 따라 밝기, 명암, 색조 등이 다를 수 있으며 전문의가 아닌 경우 오진의 가능성이 존재한다.
따라서 당뇨성 망막 병증의 조기진단 및 분류를 위한 특이도와 민감도를 개선하기 위한 연구의 필요성이 대두되고 있다.
본 발명의 배경이 되는 기술은 대한민국 등록특허공보 제10-1848321호(2018.04.20. 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는, 촬영된 안저영상을 이용하여 당뇨성 망막 병증의 병리적 특징인 미세 혈관류, 망막 출혈 및 경성 삼출물을 검출하고, 검출된 병증의 중증도를 등급으로 분류하는 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법을 제공하는데 목적이 있다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 딥러닝을 기반으로 하여 당뇨성 망막 병증 검출 및 증증도 분류 장치에 있어서, 당뇨성 망막 병증을 진단받은 환자들의 안저영상을 수집하는 영상수집부, 상기 수집된 안저영상을 Faster R-CNN 기반의 객체인식 알고리즘에 입력하여 당뇨성 망막 병증의 병리적 특징을 학습시키는 학습부, 병증을 진단받고자 하는 피검자의 안저영상을 입력받으면, 입력된 피검자의 안저영상을 학습이 완료된 Faster R-CNN 기반의 객체인식 알고리즘에 입력하여 병리증상으로 판별되는 영역을 설정된 경계박스로 나타내어 검출하는 검출부, 상기 병리증상 데이터에 대한 전처리 과정을 수행하는 신호처리부, 그리고 전처리가 완료된 상기 병리증상 데이터를 랜덤포레스트 분류기에 입력하고, 상기 입력된 병리증상 데이터를 분석하여 당뇨성 망막병증의 중중도를 복수의 등급으로 분류하는 중증도 분류부를 포함한다.
상기 검출부는, 상기 객체인식 알고리즘에 포함된 특징맵을 이용하여 상기 안저영상으로부터 망막출혈, 경상 삼출물 및 미세혈관류 중에서 적어도 하나에 해당하는 영역에 대해 경계박스를 생성할 수 있다.
상기 검출부는, 상기 경계박스에 대응하여 병리증상 데이터를 획득하며, 상기 병리증상 데이터는, 상기 경계박스에 대한 이미지, 경계박스에 대한 좌표값, 상기 경계박스내에 포함된 픽셀의 개수, 당뇨성 망막 병증 타입, 및 상기 당뇨성 망막 병증 타입에 해당되는 확률값 중에서 적어도 하나를 포함할 수 있다.
상기 신호처리부는, 상기 경계박스 내에 모든 픽셀값을 복수 레벨의 명암값을 가지는 회색조로 변환하고, 상기 회색조로 변화된 픽셀을 역변환하며, 상기 역변환된 픽셀에 히스토그램 평활화과정을 적용하여 명암 값의 분포를 균일하게 한 다음, 상기 명암값의 분포가 균일하게 된 픽셀을 이진화할 수 있다.
상기 신호처리부는, 상기 경계박스를 기준으로 X,Y축의 좌표값을 도출하고, 도출된 좌표값을 통해 경계박스 내에 검출된 객체들 간의 거리값을 연산하고, 연산된 거리값의 합을 통해 병리증상 데이터의 분포도를 획득할 수 있다.
상기 중증도 분류부는, 기 구축된 복수의 의사결정트리에 상기 경계박스내에 포함된 출혈 병변의 픽셀 개수, 병리 증상의 분포도 및 병명 특성정보 확률 중에서 적어도 하나를 랜덤으로 적용하여 결과값을 산출하며, 상기 복수의 의사결정트리로부터 각각 산출된 결과값을 이용하여 중증도의 등급을 분류할 수 있다.
또한, 본 발명의 실시예에 따르면, 당뇨성 망막 병증 검출 및 증증도 분류 장치를 이용한 당뇨망막병증 검출 및 증증도 분류방법에 있어서, 당뇨성 망막 병증을 진단받은 환자들의 안저영상을 수집하는 단계, 상기 수집된 안저영상을 Faster R-CNN 기반의 객체인식 알고리즘에 입력하여 당뇨성 망막 병증의 병리적 특징을 분석하는 방법을 학습시키는 단계, 병증을 진단받고자 하는 피검자의 안저영상을 입력받으면, 입력된 피검자의 안저영상을 학습이 완료된 Faster R-CNN 기반의 객체인식 알고리즘에 입력하여 경계박스를 설정하며, 설정된 경계박스에 대한 병리증상 데이터를 검출하는 단계, 상기 병리증상 데이터에 대한 전처리 과정을 수행하는 단계, 그리고 전처리가 완료된 병리증상 데이터를 랜덤포레스트 분류기에 입력하고, 상기 입력된 병리증상 데이터를 분석하여 당뇨성 망막병증의 중증도를 복수의 등급으로 분류하는 단계를 포함한다.
이와 같이 본 발명에 따르면 해당 병리증상과 중증도 등급 사이의 상관관계에 대한 실험과 효율적으로 등급을 분류하기 위해 데이터 신호처리 과정, 병리증상의 특징, 그리고 머신 러닝의 특성을 이용하여 분류기를 학습시키고 테스트함으로써 적절한 분류 결과를 도출할 수 있다. 따라서, 본 발명에 따르면 안과질환 의료진이나 검사자의 주관적 해석 개입을 방지하고 객관적 자료와 지표를 이용하여 구체적으로 진단할 수 있으며 의료영상 분석 분야 업무의 효율성을 높일 수 있다.
도 1은 본 발명의 실시예에 따른 당뇨망막병증 검출 및 증증도 분류장치를 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 당뇨망막병증 검출 및 증증도 분류 방법을 설명하기 위한 순서도이다.
도 3은 도 2에 도시된 S220단계를 설명하기 위한 순서도이다.
도 4는 도 3에 도시된 S222단계에서 입력된 안저영상에 대한 예를 나타내는 예시도이다.
도 5는 도 3에 도시된 S223단계에서 당뇨성 망막병증 병리 증상 검출에 사용된 Faster R-CNN의 구조를 나타내는 도면이다.
도 6은 도 2에 도시된 S230단계에서 Faster R-CNN에 입력된 원본 안저영상과, 원본 안저영상으로부터 병리증상이 발생된 위치에 추출된 경계박스에 대한 예를 나타내는 예시도이다.
도 7은 도 6에서 추출된 경계박스에 대한 병리 증상 데이터를 설명하기 위한 도면이다.
도 8은 도 2에 도시된 S240단계를 설명하기 위한 순서도이다.
도 9는 도 8에 도시된 S241단계 내지 S244 단계에 대한 예를 나타내는 예시도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하에서는 도 1를 이용하여 본 발명의 실시예에 따른 당뇨망막병증 검출 및 증증도 분류장치에 대해 더욱 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 당뇨망막병증 검출 및 증증도 분류장치를 설명하기 위한 구성도이다.
도 1에 도시된 바와 같이, 당뇨망막병증 검출 및 증증도 분류장치(100)는 영상수집부(110), 학습부(120), 검출부(130), 신호처리부(140) 및 중증도 분류부(150)를 포함한다.
먼저, 영상수집부(110)는 안구 뒤쪽에 위치한 망막을 촬영하는 특수 안저 카메라를 통해 생성된 안저영상을 수집한다. 이때, 수집된 안저영상은 당뇨성 망막 병증을 진단받은 환자의 안구를 촬영한 영상을 의미한다.
그리고, 학습부(120)는 영상수집부(110)에 수집된 안저영상을 기 구축된 신경망모델에 입력하여 당뇨성 망막 병증의 병리적 특징을 학습시킨다. 부연하자면, 학습부(120)는 Faster R-CNN 기반의 객체인식 알고리즘을 구축한다. 그리고, 학습부(120)는 구축된 Faster R-CNN 기반의 객체인식 알고리즘에 수집된 안저 영상을 입력받고, 입력된 안저영상을 통해 미세혈관류, 망막출혈, 그리고 경성 삼출물의 특징을 학습한다.
그 다음, 검출부(130)는 병증을 진단받고자 하는 피검자의 안저영상을 수신하고, 수신된 피검자의 안저영상을 학습이 완료된 R-CNN 기반의 객체인식 알고리즘에 입력한다. 그리고, 검출부(130)는 Faster R-CNN 기반의 객체인식 알고리즘에 따라 병리증상 데이터를 획득한다. 그 다음, 검출부(130)는 획득한 병리 증상 데이터를 이용하여 미세혈관류, 망막출혈, 그리고 경성 삼출물 중에서 어느 하나의 병리 증상을 검출한다.
이때, 병리증상 데이터는 병리증상을 의심하게 하는 경계박스(Bounding box)에 대한 이미지, 경계 영역에 대한 좌표값, 경계 영역 내에 포함된 픽셀의 개수, 병증 타입, 및 병증일 경우에 해당되는 확률값을 포함한다.
신호처리부(140)는 획득한 병리증상 데이터에 전처리 과정을 수행한다. 이를 다시 설명하면, 신호처리부(140)는 검출부(130)에서 출력한 병리증상 데이터를 중증도 분류부(150)로 전달하기 위해 데이터를 정제하고 전처리 과정을 수행한다. 따라서, 신호처리부(140)는 병리증상 데이터에 포함된 경계박스 내에 모든 픽셀에 대하여 배경영역과 증상이 나타나는 부분을 뚜렷하게 구분되게 한다.
마지막으로, 중증도 분류부(150)는 신호처리부(140)에 의해 전처리된 병리증상 데이터를 랜덤포레스트 분류기에 입력하여 중증도를 분류한다. 즉, 중증도 분류부(150)는 랜덤 포레스트를 구성하는 의사 결정 트리의 집합에서 각각의 트리로부터 얻어낸 정보 획득량의 평균값을 이용하여 당뇨성 병증을 3가지 등급으로 분류한다.
이하에서는 도 2 내지 도 9를 통해 본 발명의 실시예에 당뇨망막병증 검출 및 증증도 분류 방법에 대하여 구체적으로 설명한다.
도 2는 본 발명의 실시예에 따른 당뇨망막병증 검출 및 증증도 분류 방법을 설명하기 위한 순서도이다.
도 2에 도시된 바와 같이, 먼저, 영상수집부(110)는 당뇨성 망막 병증을 진단받은 환자의 안저영상을 수집한다(S210).
안저영상은 안구 뒤쪽에 위치한 망막을 촬영한 영상을 나타내는 것으로, 당뇨성 망막 병증을 진단받은 환자의 망막은 고혈당에 의해 망막혈관의 구조적인 변화가 발생된다. 따라서 병증을 진단받은 환자의 안저영상에는 출혈, 부종 및 삼출물의 축적 등이 나타난다.
그 다음, 학습부(120)는 영상수집부(110)에 수집된 복수의 안저영상을 Faster R-CNN에 입력하여 학습을 수행한다(S220).
이하에서는 도 3 내지 도 5를 통해 Faster R-CNN의 학습 수행 과정을 더욱 상세하게 설명한다.
도 3은 도 2에 도시된 S220단계를 설명하기 위한 순서도이고, 도 4는 도 3에 도시된 S222단계에서 입력된 안저영상에 대한 예를 나타내는 예시도이고, 도 5는 도 3에 도시된 S223단계에서 당뇨성 망막병증 병리 증상 검출에 사용된 Faster R-CNN의 구조를 나타내는 도면이다.
먼저 학습부(120)는 당뇨성 망막 병증에 대한 라벨링 작업을 수행한다(S221).
예를 들어, 미세혈관류는 라벨0이고, 망막출혈은 라벨 1이며, 경성 삼출물은 라벨 2로 분류한다.
그리고, 학습부(120)는 수집된 안저영상으로부터 학습데이터를 추출한다(S222).
도 4에 도시된 바와 같이, 당뇨성 망막병증을 진단받은 환자의 안저영상은 미세혈관류, 망막 출혈 및 경성 삼출물에 대한 증상을 나타낸다. 그러므로, 학습부(120)는 수신된 안저영상으로부터 학습데이터를 추출한다. 여기서 학습데이터는 안저영상에 대한 전체크기와, 학습하고자 하는 객체 즉, 당뇨성 망막 병증의 이름 및 객체의 좌표(Xmax, Ymax, Xmin, Ymin)를 포함한다.
그리고, 학습부(120)는 추출된 학습데이터를 Faster R-CNN에 입력하여 병리 증상을 나타내는 경계박스(Bounding Box)를 설정하도록 학습시킨다(S223).
Faster R-CNN은 관심 영역(RoI; Region of Interest)에 대한 특징(feature) 추출을 위한 계산을 공유하고 딥러닝 기반의 영역 제안 네트워크(RPN; Region Proposal Network)를 도입하여 객체를 탐지한다. 이때, RPN은 객체를 포함할 가능성이 높은 영역을 선택적으로 탐색하여 객체를 탐지하는 알고리즘이다.
따라서, 도 5에 도시된 바와 같이, 먼저 Faster R-CNN은 컨볼루션 진행 단계에서 복수개의 레이어를 구성한다. 그리고, Faster R-CNN은 입력된 학습데이터를 기 구성된 복수개의 레이어에 반복적으로 거치게 함으로서 특징맵(feature map)을 추출한다. 그 다음, Faster R-CNN은 특징맵(feature map)을 RPN과 관심 영역 풀링 레이어(RoI Pooling Layer)에 각각 전달한다. 그러면, RPN은 병리 증상을 포함하고 있을 가능성이 높은 위치에 형성된 윈도우를 대량 획득하고, 획득된 복수의 윈도우에 있는 포함된 특징맵을 검색하여 경계박스를 검출한다.
그리고, 관심 영역 풀링 레이어(RoI Pooling Layer)는 검출된 객체에 대한 당뇨성 망막 병증 타입에 해당되는 확률값과 경계박스에 대한 좌표값을 획득한다.
S220단계가 완료된 다음, 검출부(130)는 병증을 진단받고자 하는 피검자의 안저영상을 입력받는다. 그리고 검출부(130)는 입력된 피검자의 안저영상을 학습이 완료된 Faster R-CNN 기반의 객체인식 알고리즘에 입력하여 병리증상으로 판별된 영역에 경계박스를 설정하고, 설정된 경계박스에 대한 병리 증상 데이터를 추출한다(S230).
도 6은 도 2에 도시된 S230단계에서 Faster R-CNN에 입력된 원본 안저영상과, 원본 안저영상으로부터 병리증상이 발생된 위치에 추출된 경계박스에 대한 예를 나타내는 예시도이고, 도 7은 도 6에서 추출된 경계박스에 대한 병리 증상 데이터를 설명하기 위한 도면이다.
먼저, 도 6의 (a)는 당뇨성 망막 병증을 진단받고자 하는 피검자의 안저영상 원본을 나타내고, (b)는 피검자의 안저영상 원본에 복수개의 경계박스가 설정된 상태를 나타낸다.
더욱 상세하게 설명하면, 검출부(130)는 피검자의 안저영상 원본을 Faster R-CNN에 입력한다. 그러면, Faster R-CNN는 객체인식 알고리즘에 따라 입력된 피검자의 안저영상 원본에 복수개의 경계박스를 설정한다. 그리고 검출부(130)는 각각의 경계박스에 대한 병리증상 데이터를 검출한다.
여기서 병리증상 데이터는 경계박스에 대한 이미지와, 경계박스에 대한 좌표값, 경계박스 내에 포함된 픽셀의 개수, 당뇨성 망막 병증 타입, 및 당뇨성 망막 병증 타입에 해당되는 확률값 중에서 적어도 하나를 포함한다.
부연하자면, 도 7에 도시된 바와 같이, 경계박스에 대한 좌표값은 경계박스의 위치값을 나타내는 것으로 (x, y, 넓이, 높이)를 포함하는 4가지의 변수로 표현된다. 그리고, 픽셀의 개수는 경계박스의 크기에 따라 달라지며, 경계박스 전체에 분포되어 있는 픽셀의 개수를 나타낸다. 또한, 당뇨성 망막 병증 타입은 경계박스를 병리증상으로 분류하기 위해 기 설정된 라벨값으로 구분된다. 따라서, 경계박스에 포함된 병리증상이 미세혈관류이면 0으로 나타내고, 망막출혈이면 1로 나타내며, 경성 삼출물이면 2로 나타낸다.
마지막으로 당뇨성 망막 병증 타입에 해당되는 확률값은 앞서 분류된 병리증상에 해당되는 확률을 나타낸다.
S230단계에서 병리증상 데이터 검출이 완료되면, 신호처리부(140)는 검출된 병리증상 데이터를 정제하고 전처리 과정을 수행한다(S240).
이하에서는 도 8 및 도 9를 통해 병리증상 데이터를 정제하고 전처리 과정을 수행하는 방법에 대해 더욱 상세하게 설명한다.
도 8은 도 2에 도시된 S240단계를 설명하기 위한 순서도이고, 도 9은 도 8에 도시된 S241단계 내지 S244 단계에 대한 예를 나타내는 예시도이다.
도 8 및 도 9에 도시된 바와 같이, 신호처리부(140)는 검출된 병리증상 데이터를 회색조(Gray scale)로 변환시킨다(S241).
신호처리부(140)는 경계 박스(Bounding Box)로 이루어진 직사각형 영역 내에 포함된 모든 픽셀에 대하여 배경 영역과 구분하고자 해당 객체에 대한 픽셀 값을 256단계의 명암값(회색조)으로 표현한다.
그 다음, 신호처리부(140)는 회색조로 변환된 픽셀을 역변환한다(S242).
즉, 신호처리부(140)는 256단계(0~255)의 회색조로 표현된 픽셀값을 하기의 수학식 1에 적용하여 역변환시킨다.
Figure pat00001
여기서, x는 선택된 어느 하나의 픽셀에 대한 픽셀값이고, x'는 역변환된 픽셀값을 나타낸다.
S242단계가 완료되면, 신호처리부(140)는 역변환된 픽셀에 히스토그램 평활화 과정을 적용시킨다(S243).
여기서 히스토그램 평활화는 명암의 분포를 재분배 및 새로운 값으로 설정하는 과정을 나타낸다. 따라서, 신호처리부(140)는 역변환된 픽셀에 히스토그램 평활화를 수행하여 명암값의 분포를 균일하게 만들고 경계를 뚜렷하게 구분시킨다. 따라서, 신호처리부(140)는 경계박스내에 포함된 배경 영역과 미세혈관 및 망막출혈 영역을 분리할 수 있다.
그 다음, 신호처리부(140)는 명암값의 분포가 균일하게 된 픽셀을 이진화시킨다(S244).
신호처리부(140)는 기본적인 임계처리 방식을 이용하여 0과 1로 표현되는 바이너리 데이터로 변환시킨다. 그러면, 신호처리부(140)는 출혈이 발생된 영역만을 분리하여 픽셀 데이터를 획득한다.
마지막으로, 신호처리부(140)는 경계 박스의 좌표값을 이용하여 병리증상 데이터의 분포도를 획득한다(S245).
부연하자면, 신호처리부(140)는 안저영상내에서 망막 출혈과 미세혈관류의 분포를 분석하기 위하여 추출한 객체의 박스를 기준으로 X,Y축의 좌표값을 도출한다. 그리고 신호처리부(140)는 도출된 좌표값을 수학식 2에 적용하여 객체들간의 거리값을 연산한다.
Figure pat00002
여기서, X는 객체의 X축 값을 나타내고, Y는 객체의 Y축 값을 나타낸다.
그리고, 신호처리부(140)는 연산된 거리값의 합을 통해 병리증상 데이터의 분포도를 획득한다. 이때, 병리증상 데이터는 전처리 과정을 거쳐 분류기로 전달되는 특징정보를 포함하며, 당뇨성 망막 병증의 심각도를 분류하기 위해 사용된다.
즉, 병리증상 데이터는 미세혈관류 및 망막 출혈의 픽셀 개수, 각 객체의 최대거리, 당뇨성 망막 병증 타입, 및 당뇨성 망막 병증 타입에 해당되는 확률값을 포함한다.
S245단계가 완료되면, 중증도 분류부(150)는 전처리된 병리증상 데이터를 랜덤포레스트 분류기에 입력한다. 그러면, 랜덤포레스트 분류기는 입력된 병리증상 데이터를 분석하여, 중증도 분류부(150)는 그 결과에 따라 당뇨성 망막병증의 중증도를 복수의 등급으로 분류시킨다(S250).
부연하자면, 중증도 분류부(150)는 대략 9개의 의사결정트리를 구축한다. 이때, 본 발명의 실시예에서는 의사결정트리의 개수를 9개로 설정하였으나, 이에 한정하지 않고 입력되는 변수 및 의서결정트리를 구성하는 규칙들에 따라 의사결정트리의 개수를 변경하여 적용한다.
그리고, 중증도 분류부(150)는 구축된 9개의 의사결정트리에 전처리가 완료된 병리증상 데이터를 랜덤으로 입력한다. 여기서 병리증상 데이터는 경계박스 내에 포함된 출혈 병변의 픽셀 개수, 병리 증상의 분포도 및 병명 특성정보 확률을 포함한다.
그러면, 9개의 의사결정트리는 입력된 병리증상 데이터를 이용하여 각각의 결과값을 산출한다. 그 다음, 중증도 분류부(150)는 산출된 각각된 결과값을 다수결 논리에 따라 병증의 중증도를 판단한다. 그리고, 중증도 분류부(150)는 판단된 결과를 상, 중, 하의 3개의 등급으로 나타낼 수 있다.
이와 같이 본 발명에 따른 당뇨망막병증 검출 및 증증도 분류장치는 해당 병리증상과 중증도 등급 사이의 상관관계에 대한 실험과 효율적으로 등급을 분류하기 위해 데이터 신호처리 과정, 병리증상 의 특징, 그리고 머신 러닝의 특성을 이용하여 분류기를 학습시키고 테스트함으로써 적절한 분류 결과를 도출할 수 있다. 따라서, 본 발명에 따른 당뇨망막병증 검출 및 증증도 분류장치는 안과질환 의료진이나 검사자의 주관적 해석 개입을 방지하고 객관적 자료와 지표를 이용하여 구체적으로 진단할 수 있으며 의료영상 분석 분야 업무의 효율성을 높일 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 당뇨망막병증 검출 및 증증도 분류장치
110 : 영상수집부
120 : 학습부
130 : 검출부
140 : 신호처리부
150 : 중증도 분류부

Claims (13)

  1. 딥러닝을 기반으로 하여 당뇨성 망막 병증 검출 및 증증도 분류 장치에 있어서,
    병증을 진단받고자 하는 피검자의 안저영상을 입력받으면, 입력된 피검자의 안저영상을 학습이 완료된 Faster R-CNN 기반의 객체인식 알고리즘에 입력하여 병리증상으로 판별되는 영역을 설정된 경계박스로 나타내어 검출하는 검출부,
    상기 병리증상 데이터에 대한 전처리 과정을 수행하는 신호처리부, 그리고
    전처리가 완료된 상기 병리증상 데이터를 랜덤포레스트 분류기에 입력하고, 상기 입력된 병리증상 데이터를 분석하여 당뇨성 망막병증의 중중도를 복수의 등급으로 분류하는 중증도 분류부를 포함하는 당뇨성 망막 병증 검출 및 증증도 분류 장치.
  2. 제1항에 있어서,
    당뇨성 망막 병증을 진단받은 환자들의 안저영상을 수집하는 영상수집부, 그리고
    상기 수집된 안저영상을 Faster R-CNN 기반의 객체인식 알고리즘에 입력하여 당뇨성 망막 병증의 병리적 특징을 학습시키는 학습부를 더 포함하는 당뇨성 망막 병증 검출 및 중증도 분류장치.
  3. 제1항에 있어서,
    상기 검출부는,
    상기 객체인식 알고리즘을 이용하여 상기 안저영상으로부터 망막출혈, 경상 삼출물 및 미세혈관류 중에서 적어도 하나에 해당하는 영역에 대해 경계박스를 생성하는 당뇨성 망막 병증 검출 및 증증도 분류 장치.
  4. 제1항에 있어서,
    상기 검출부는,
    상기 경계박스에 대응하여 병리증상 데이터를 획득하며,
    상기 병리증상 데이터는,
    상기 경계박스에 대한 이미지, 경계박스에 대한 좌표값, 상기 경계박스내에 포함된 픽셀의 개수, 당뇨성 망막 병증 타입, 및 상기 당뇨성 망막 병증 타입 해당되는 확률값 중에서 적어도 하나를 포함하는 당뇨성 망막 병증 검출 및 증증도 분류 장치.
  5. 제1항에 있어서,
    상기 신호처리부는,
    상기 경계박스 내에 모든 픽셀값을 복수 레벨의 명암값을 가지는 회색조로 변환하고, 상기 회색조로 변화된 픽셀을 역변환하며, 상기 역변환된 픽셀에 히스토그램 평활화과정을 적용하여 명암 값의 분포를 균일하게 한 다음, 상기 명암값의 분포가 균일하게 된 픽셀을 이진화하는 당뇨성 망막 병증 검출 및 증증도 분류 장치.
  6. 제5항에 있어서,
    상기 신호처리부는,
    상기 경계박스를 기준으로 X,Y축의 좌표값을 도출하고, 도출된 좌표값을 통해 경계박스 내에 검출된 객체들 간의 거리값을 연산하고, 연산된 거리값의 합을 통해 병리증상 데이터의 분포도를 획득하는 당뇨성 망막 병증 검출 및 증증도 분류 장치.
  7. 제4항에 있어서,
    상기 중증도 분류부는,
    기 구축된 복수의 의사결정트리에 상기 경계박스내에 포함된 출혈 병변의 픽셀 개수, 병리 증상의 분포도 및 병명 특성정보 확률 중에서 적어도 하나를 랜덤으로 적용하여 결과값을 산출하며,
    상기 복수의 의사결정트리로부터 각각 산출된 결과값을 이용하여 중증도의 등급을 분류하는 당뇨성 망막 병증 검출 및 증증도 분류 장치.
  8. 당뇨성 망막 병증 검출 및 증증도 분류 장치를 이용한 당뇨망막병증 검출 및 증증도 분류방법에 있어서,
    당뇨성 망막 병증을 진단받은 환자들의 안저영상을 수집하는 단계,
    상기 수집된 안저영상을 Faster R-CNN 기반의 객체인식 알고리즘에 입력하여 당뇨성 망막 병증의 병리적 특징을 분석하는 방법을 학습시키는 단계,
    병증을 진단받고자 하는 피검자의 안저영상을 입력받으면, 입력된 피검자의 안저영상을 학습이 완료된 Faster R-CNN 기반의 객체인식 알고리즘에 입력하여 병리증상으로 판별되는 영역에 경계박스를 설정하며, 설정된 경계박스에 대한 병리증상 데이터를 검출하는 단계,
    상기 병리증상 데이터에 대한 전처리 과정을 수행하는 단계, 그리고
    전처리가 완료된 상기 병리증상 데이터를 랜덤포레스트 분류기에 입력하고, 상기 입력된 병리증상 데이터를 분석하여 당뇨성 망막병증의 중중도를 복수의 등급으로 분류하는 단계를 포함하는 당뇨성 망막 병증 검출 및 증증도 분류 방법.
  9. 제8항에 있어서,
    상기 병리증상 데이터를 검출하는 단계는,
    상기 객체인식 알고리즘을 이용하여 상기 안저영상으로부터 망막출혈, 경상 삼출물 및 미세혈관류 중에서 적어도 하나에 해당하는 영역에 대해 경계박스를 생성하는 당뇨성 망막 병증 검출 및 증증도 분류 방법.
  10. 제8항에 있어서,
    상기 병리증상 데이터를 검출하는 단계는,
    상기 경계박스에 대응하여 병리증상 데이터를 획득하며,
    상기 병리증상 데이터는,
    상기 경계박스에 대한 이미지, 경계박스에 대한 좌표값, 상기 경계박스내에 포함된 픽셀의 개수, 당뇨성 망막 병증 타입, 및 상기 당뇨성 망막 병증 타입에 해당되는 확률값 중에서 적어도 하나를 포함하는 당뇨성 망막 병증 검출 및 증증도 분류 방법.
  11. 제8항에 있어서,
    상기 전처리 과정을 수행하는 단계는,
    상기 경계박스 내에 모든 픽셀값을 복수 레벨의 명암값을 가지는 회색조로 변환하는 단계,
    상기 회색조로 변화된 픽셀을 역변환하는 단계,
    상기 역변환된 픽셀에 히스토그램 평활화과정을 적용하여 명암 값의 분포를 균일하게 한 다음, 상기 명암값의 분포가 균일하게 된 픽셀을 이진화하여 출력하는 단계를 포함하는 당뇨성 망막 병증 검출 및 증증도 분류 방법.
  12. 제11항에 있어서,
    상기 전처리 과정을 수행하는 단계는,
    상기 경계박스를 기준으로 X,Y축의 좌표값을 도출하고, 도출된 좌표값을 통해 경계박스 내에 검출된 객체들 간의 거리값을 연산하고, 연산된 거리값의 합을 통해 병리증상 데이터의 분포도를 획득하는 단계를 더 포함하는 당뇨성 망막 병증 검출 및 증증도 분류 방법.
  13. 제10항에 있어서,
    상기 중증도를 분류하는 단계는,
    기 구축된 복수의 의사결정트리에 상기 경계박스내에 포함된 출혈 병변의 픽셀 개수, 병리 증상의 분포도 및 병명 특성정보 확률 중에서 적어도 하나를 랜덤으로 적용하여 결과값을 산출하는 단계, 그리고
    상기 복수의 의사결정트리로부터 각각 산출된 결과값을 이용하여 중증도의 등급을 분류하는 단계를 포함하는 당뇨성 망막 병증 검출 및 증증도 분류 방법.
KR1020190089122A 2019-07-23 2019-07-23 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법 KR102313143B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190089122A KR102313143B1 (ko) 2019-07-23 2019-07-23 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190089122A KR102313143B1 (ko) 2019-07-23 2019-07-23 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20210012097A true KR20210012097A (ko) 2021-02-03
KR102313143B1 KR102313143B1 (ko) 2021-10-18

Family

ID=74571816

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190089122A KR102313143B1 (ko) 2019-07-23 2019-07-23 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102313143B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102321428B1 (ko) * 2021-02-16 2021-11-05 메디컬아이피 주식회사 병변 파악 방법 및 그 장치
WO2022197157A1 (ko) * 2021-03-18 2022-09-22 가톨릭대학교 산학협력단 딥러닝 기반의 안저 형광 혈관 조영 영상 내 비관류 영역의 자동 탐지 장치 및 방법
WO2023277293A1 (ko) * 2021-06-28 2023-01-05 서울대학교병원 응급환자 중증도 분류 시스템 및 방법
WO2023003136A1 (ko) * 2021-07-22 2023-01-26 사회복지법인 삼성생명공익재단 딥러닝을 이용한 백내장 진단방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140018748A (ko) * 2012-08-03 2014-02-13 삼성전자주식회사 의료 영상에서 병변의 분석 장치 및 방법
JP2016107148A (ja) * 2014-01-21 2016-06-20 株式会社トプコン 眼科画像処理装置
JP2018027273A (ja) * 2016-08-19 2018-02-22 学校法人自治医科大学 糖尿病網膜症の病期判定支援システムおよび糖尿病網膜症の病期の判定を支援する方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140018748A (ko) * 2012-08-03 2014-02-13 삼성전자주식회사 의료 영상에서 병변의 분석 장치 및 방법
JP2016107148A (ja) * 2014-01-21 2016-06-20 株式会社トプコン 眼科画像処理装置
JP2018027273A (ja) * 2016-08-19 2018-02-22 学校法人自治医科大学 糖尿病網膜症の病期判定支援システムおよび糖尿病網膜症の病期の判定を支援する方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102321428B1 (ko) * 2021-02-16 2021-11-05 메디컬아이피 주식회사 병변 파악 방법 및 그 장치
WO2022197157A1 (ko) * 2021-03-18 2022-09-22 가톨릭대학교 산학협력단 딥러닝 기반의 안저 형광 혈관 조영 영상 내 비관류 영역의 자동 탐지 장치 및 방법
WO2023277293A1 (ko) * 2021-06-28 2023-01-05 서울대학교병원 응급환자 중증도 분류 시스템 및 방법
WO2023003136A1 (ko) * 2021-07-22 2023-01-26 사회복지법인 삼성생명공익재단 딥러닝을 이용한 백내장 진단방법 및 시스템
KR20230015152A (ko) * 2021-07-22 2023-01-31 사회복지법인 삼성생명공익재단 딥러닝을 이용한 백내장 진단방법 및 시스템

Also Published As

Publication number Publication date
KR102313143B1 (ko) 2021-10-18

Similar Documents

Publication Publication Date Title
Orlando et al. An ensemble deep learning based approach for red lesion detection in fundus images
Niemeijer et al. Image structure clustering for image quality verification of color retina images in diabetic retinopathy screening
Zhang et al. Detection of microaneurysms using multi-scale correlation coefficients
Marín et al. A new supervised method for blood vessel segmentation in retinal images by using gray-level and moment invariants-based features
KR102313143B1 (ko) 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법
Sopharak et al. Simple hybrid method for fine microaneurysm detection from non-dilated diabetic retinopathy retinal images
KR20200005407A (ko) 안구 이미지 기반의 진단 보조 이미지 제공 장치
Raman et al. Proposed retinal abnormality detection and classification approach: Computer aided detection for diabetic retinopathy by machine learning approaches
Pathan et al. Automated segmentation and classifcation of retinal features for glaucoma diagnosis
Valizadeh et al. Presentation of a segmentation method for a diabetic retinopathy patient’s fundus region detection using a convolutional neural network
Saranya et al. Detection and classification of red lesions from retinal images for diabetic retinopathy detection using deep learning models
Ghoshal et al. An improved vessel extraction scheme from retinal fundus images
AbdelMaksoud et al. A comprehensive diagnosis system for early signs and different diabetic retinopathy grades using fundus retinal images based on pathological changes detection
Irshad et al. Automated detection of Cotton Wool Spots for the diagnosis of Hypertensive Retinopathy
Murugeswari et al. Investigations of severity level measurements for diabetic macular oedema using machine learning algorithms
Vij et al. A systematic review on diabetic retinopathy detection using deep learning techniques
Li et al. Vessel recognition of retinal fundus images based on fully convolutional network
Pendekal et al. An ensemble classifier based on individual features for detecting microaneurysms in diabetic retinopathy
Ştefan et al. A review of glaucoma detection from digital fundus images using machine learning techniques
Yadav et al. Automatic Cataract Severity Detection and Grading Using Deep Learning
Sreng et al. Primary screening of diabetic retinopathy based on integrating morphological operation and support vector machine
Mankar et al. Automatic detection of diabetic retinopathy using morphological operation and machine learning
Kamil et al. An accurate system to measure the diabetic retinopathy using svm classifier
Faheem Diagnosing hypertensive retinopathy through retinal images
Sangamesh et al. A New Approach to Recognize a Patient with Diabetic Retinopathy using Pre-trained Deep Neural Network EfficientNetB0

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)