KR20190087272A - 안저영상을 이용한 녹내장 진단 방법 및 이를 위한 장치 - Google Patents

Abstract

안저영상을 이용한 녹내장 진단 방법 및 이를 위한 장치가 개시된다. 본 발명의 일실시예에 따른 녹내장 진단 방법은 원본 안저영상(FUNDUS IMAGE)에 대한 전처리 영상을 기반으로 상기 원본 안저영상에 대한 복수개의 변형 영상들을 생성하는 데이터 증폭 단계; 상기 복수개의 변형 영상들을 기반으로 서로 종류가 다른 복수개의 개별 학습 모델들을 학습시키고, 학습된 복수개의 개별 학습 모델들 각각의 출력을 기반으로 녹내장 판독 모델을 생성하는 단계; 및 상기 녹내장 판독 모델을 기반으로 상기 원본 안저영상에 대한 녹내장 등급을 진단하는 단계를 포함한다.

Description

안저영상을 이용한 녹내장 진단 방법 및 이를 위한 장치 {METHOD FOR DIAGNOSING GLAUCOMA USING FUNDUS IMAGE AND APPARATUS THEREFOR}

본 발명은 녹내장을 진단하는 기술에 관한 것으로, 특히 녹내장 판독 모델을 기반으로 안저영상에 대한 녹내장 등급을 진단하는 기술에 관한 것이다.

녹내장은 백내장, 황반변성과 더불어 3대 실명 유발 안과질환으로, 2014년 이루어진 녹내장 질환의 역학조사에 따르면, 2013년 기준으로 전 세계 40대 이상 성인 중에서 약 3.54%(6천 4백 30만명)가 녹내장 환자이며, 2020년에는 그 수가 7천 6백만 명까지 증가할 것으로 추정하고 있다(Tham et al., 2014). 또한, 2010년 기준으로 전 세계적으로 녹내장으로 실명한 환자는 2백 10만명이고, 시력을 손실한 환자는 4백 20만명에 이른다는 조사 결과가 발표되었다(Bourne et al., 2017). 경제적 관점에서 녹내장을 분석한 연구 결과에 따르면, 녹내장 환자가 직접적으로 지불하는 의료비용은 미국에서만 29억 달러에 이른다고 보고하고 있다(Varma et al., 2011).

녹내장(Glaucoma)은 신경절세포(Retinal Ganglion Cell, RGC)와 그 축삭(Axon)이 손상됨으로써 실명에 이를 수 있는 질병이다. 녹내장은 만성적이고, 비가역적으로 진행하는 특성 때문에 조기에 발견한 녹내장은 치료제 또는 수술을 통해 진행을 늦출 수 있고, 치료 효과 역시 좋은 편이다. 하지만, 질환의 특성상 말기 단계까지 환자가 뚜렷하게 느낄 수 있는 시야 결손이나 시력 저하와 같은 주관적인 증상이 없는 경우가 많다. 또한, 진행 단계가 심한 녹내장의 경우 치료 예후가 나쁘기 때문에, 검진을 통해 조기 발견의 중요성이 매우 크다.

현재 녹내장을 진단하는 방법으로는 주사레이저현미경(Scanning Laser Polarimetry, SLP) 또는 빛간섭단층촬영(Optical Coherence Tomography, OCT), 시야검사(Visual Field Test), 시신경유두(Optic Disc, OD)의 함몰 비율 비교가 대표적인 진단방법이다.

도 1에 도시된 OCT를 이용한 진단의 경우, 시신경섬유층의 두께를 측정하는 방식으로 정량화와 객관화가 가능한 장점이 있으나, 시신경유두(OD)로부터 매우 제한된 영역에 있는 망막 신경 섬유층(Retinal Nerve Fiber Layer, RNFL)만을 측정하므로 촬영 영역 외부에 존재하는 녹내장과 관련된 병변을 검출하기에는 한계가 있다. 시야결손전녹내장(Preperimetric Glaucoma) 또는 초기 녹내장의 경우, RNFL의 결손은 시신경유두에서 시작하여 망막 주변부로 확장되는 양상을 보인다. 따라서, OCT 측정결과에서 유의미하게 나타나는 시신경유두 영역의 RNFL 결손은 초기 녹내장을 진단하는데 많은 제약이 있다.

도 2에 도시된 시야검사는 환자의 미세한 시야결손 여부를 측정하는 방법으로 녹내장 확진에 많이 사용하지만, 측정에 오랜 시간과 노력이 소요된다는 단점과 초기 녹내장의 경우 측정 일관성이 떨어진다는 단점이 있다. 또한, OCT와 마찬가지로 시야결손녹내장의 진단에 한계가 존재한다. 2016년 동경대에서는 시야검사 결과 데이터를 이용하여 딥러닝 적용사례를 발표하였다(Asaoka et al., 2016). 시야검사는 일반적으로 30분 이상의 검사시간이 소요되고, 검사과정에서 환자뿐만 아니라 검사를 주관하는 의료진까지도 많은 노력을 기울여야 하는 단점이 있다. 또한, 시야검사 장비는 안저촬영기보다 상대적으로 고가이기 때문에 의료 현장에 보급된 비율 측면에서도 의료 접근성이 좋지 않으며, 저비용으로 녹내장 선별검사를 진행하기에는 어려움이 있다. 또한, 시야결손이 발생하지 않은 시야결손전녹내장의 검출에는 한계가 있다. Asaoka et al.(2016)의 연구 역시 녹내장 중증도 등급화 이슈는 고려하지 않았다.

Chen et al. (2015)은 녹내장을 자동으로 판독하기 위해 안저영상에서 시신경유두(OD) 영역을 추출하여 딥러닝을 적용하는 방법을 제시하였다. 그러나, Chen et al. (2015)의 연구는 안저영상에서 시신경유두 영역만을 딥러닝에 적용했다는 단점이 존재한다. 즉, 안저영상의 시신경유두에서 녹내장과 관련된 병변을 식별할 수 있는 상황은 대부분 중기 이상의 녹내장 단계에서 나타나기 때문에 시야결손전녹내장이나 초기 녹내장을 검출하기에는 한계가 있다. 또한, 녹내장 중증도의 등급화에 관련된 이슈는 제시하지 못하고 있다.

도 3에 도시된 것처럼, 안저영상에서 시신경유두(OD) 영역을 이용해 녹내장을 진단하는 종래의 방법은 신경다발을 형성하고 있는 시신경유두에서 컵과 디스크의 비율(Cup-to-Disc Ratio, CDR)을 계산하는 것이다. CDR 방법 역시 시신경유두라는 매우 제한된 영역을 가지고 진단하기 때문에 시야결손전녹내장과 초기 녹내장을 선별하기에 어려움이 있고, 중증도 정량화 역시 한계가 있다.

반면, 녹내장 발병 초기단계에서 가장 먼저 결손이 발생하는 해부학적 조직은 신경절세포의 축삭으로 구성된 망막 신경 섬유층(RNFL)이다. 이러한 병리학적 특성을 고려할 때, 건강검진 또는 안과검사에서 실시하는 안저촬영(Fundus Photography) 검사를 통해 RNFL의 결손 여부를 판독해서 조기에 녹내장의 징후를 발견하는 것이 매우 중요하다. 초기 녹내장 환자의 망막을 촬영한 안저영상에서는 국소적인 쐐기모양의 RNFL 결손을 확인가능하다. 통상적으로 안저영상에서 RNFL의 결손을 육안으로 정확하게 판독하는 작업은 고도의 숙달된 안과 전문의만이 가능한 난이도가 매우 높은 작업이다.

결론적으로, 현재까지 안저영상 전체를 이용해 시야결손전녹내장과 초기 녹내장을 자동으로 검출하는 능력을 제공하고, 동시에 녹내장 중증도를 등급화할 수 있는 기능을 제공하는 딥러닝 연구는 아직까지 발표된 사례가 없다.

한국 등록 특허 제10-1848321호, 2018년 4월 20일 공고(명칭: 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치)

본 발명의 목적은 진단 검사 비용이 저렴하면서 동시에 의료 접근성이 좋은 안저영상을 바탕으로 시야결손전녹내장과 초기 녹내장의 선별검사가 가능한 녹내장 진단 방법을 제공하는 것이다.

또한, 본 발명의 목적은 녹내장 중증도를 자동으로 등급화할 수 있는 딥러닝 모델을 기반으로 망막 신경 섬유층의 미세한 결손을 자동으로 판독함으로써 녹내장의 중증도 등급화하여 진단하는 것이다.

또한, 본 발명의 목적은 녹내장의 중증도를 등급화할 수 있는 기술을 제공함으로써 향후 의료서비스 품질을 향상시키고, 관련 의료비용 지출의 절감과 함께 실명위험율을 낮춤으로써 실명에 따른 사회적 비용 역시 절감하는 것이다.

또한, 본 발명의 목적은 현재 널리 보급되어 있는 안저촬영기에 탑재 또는 연동 가능한 인공지능 기반 임상 의사 결정 지원 시스템(Clinical Decision Support System, CDSS) 개념의 소프트웨어 형태로 녹내장 진단 기능을 제공함으로써 다양한 분야에서 활용될 수 있도록 하는 것이다.

또한, 본 발명의 목적은 녹내장 선별검사 자동화 서비스에 활용 가능한 녹내장 진단 기술을 제공하고, 대규모로 이루어지는 안저촬영 촬영 결과의 판독 효율과 정확성을 향상시키고, 이에 따른 시간적 이득을 전문의의 2차 판독에 할애함으로써 보다 경제적이고 정확한 검강검진 결과를 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 녹내장 진단 방법은 원본 안저영상(FUNDUS IMAGE)에 대한 전처리 영상을 기반으로 상기 원본 안저영상에 대한 복수개의 변형 영상들을 생성하는 데이터 증폭 단계; 상기 복수개의 변형 영상들을 기반으로 서로 종류가 다른 복수개의 개별 학습 모델들을 학습시키고, 학습된 복수개의 개별 학습 모델들 각각의 출력을 기반으로 녹내장 판독 모델을 생성하는 단계; 및 상기 녹내장 판독 모델을 기반으로 상기 원본 안저영상에 대한 녹내장 등급을 진단하는 단계를 포함한다.

이 때, 데이터 증폭 단계는 상기 전처리 영상에서 검출된 시신경유두(OPTIC DISC)를 기준으로 기설정된 범위 내에서 상기 복수개의 변형 영상들을 생성하기 위한 복수개의 캡처 영역들을 지정하는 단계를 포함할 수 있다.

이 때, 복수개의 캡처 영역들은 상기 시신경유두의 크기를 고려하여 기설정된 변의 길이를 갖는 정사각형 형태이고, 상기 시신경유두의 중심점을 원의 중심으로 하는 가상 원의 원주 상에 무게중심이 위치하되, 상기 가상 원의 반지름이 상기 시신경유두의 경계에 상응하는 원의 반지름보다 길 수 있다.

이 때, 복수개의 개별 학습 모델들의 출력 등급은 적어도 3개 이상의 출력을 갖는 3등급 이상에 상응할 수 있다.

이 때, 녹내장 판독 모델을 생성하는 단계는 상기 학습된 복수개의 개별 학습 모델들 각각의 출력을 수치화하여 통합한 행렬을 기반으로 상기 녹내장 판독 모델을 생성할 수 있다.

이 때, 복수개의 캡처 영역들을 지정하는 단계는 상기 가상 원의 원주 상에서 어느 하나의 점을 기준점으로 설정하고, 상기 기준점으로부터 기설정된 각도만큼 이동하면서 상기 복수개의 캡처 영역들에 상응하는 복수개의 무게중심들을 설정할 수 있다.

이 때, 데이터 증폭 단계는 상기 복수개의 캡처 영역들을 캡처하여 복수개의 캡처 영상들을 생성하고, 상기 복수개의 캡처 영상들 각각에 대해 회전 및 채널 분리를 수행하여 상기 복수개의 변형 영상들을 생성할 수 있다.

이 때, 데이터 증폭 단계는 상기 전처리 영상을 이진화하고, 이진화 영상의 화소값을 나타낸 행렬의 가로축과 세로축 각각에 대한 합산 벡터를 기반으로 상기 시신경유두의 중심점과 경계를 추정하는 단계를 더 포함할 수 있다.

이 때, 추정하는 단계는 상기 가로축의 합산 벡터 최대값과 상기 세로축의 합산 벡터 최대값에 상응하게 상기 중심점의 좌표를 추정하고, 상기 가로축과 세로축 각각의 합산 벡터에서 값이 '0'에 해당하는 부분을 제외한 나머지 영역을 기반으로 상기 경계에 상응하는 원의 반지름을 추정할 수 있다.

이 때, 복수개의 개별 학습 모델들은 합성곱 다층신경망(CONVOLUTIONAL NEURAL NETWORK, CNN)에 상응하되, 상호간에 다층신경망의 은닉층 개수, 입력 데이터 종류 및 출력 개수 중 적어도 하나가 상이할 수 있다.

이 때, 원본 안저영상을 이진화한 화소값을 기반으로 생성된 2차원 행렬 값을 기반으로 안저의 좌측 접선과 우측 접선을 각각 검출하고, 상기 좌측 접선과 우측 접선을 기준으로 상기 안저의 정보를 포함하고 있지 않은 불필요 영역을 삭제하여 상기 전처리 영상을 생성하는 전처리 단계를 더 포함할 수 있다.

또한, 본 발명의 일실시예에 따른 녹내장 진단 장치는, 원본 안저영상(FUNDUS IMAGE)에 대한 전처리 영상을 생성하는 전처리부; 상기 전처리 영상을 기반으로 상기 원본 안저영상에 대한 복수개의 변형 영상들을 생성하는 데이터 증폭부; 상기 복수개의 변형 영상들을 기반으로 서로 종류가 다른 복수개의 개별 학습 모델들을 학습시키고, 학습된 복수개의 개별 학습 모델들 각각의 출력을 기반으로 녹내장 판독 모델을 생성하는 녹내장 판독 모델 생성부; 상기 녹내장 판독 모델을 기반으로 상기 원본 안저영상에 대한 녹내장 등급을 진단하는 처리부; 및 상기 복수개의 개별 학습 모델들 및 상기 녹내장 판독 모델을 저장하는 저장부를 포함한다.

이 때, 데이터 증폭부는 상기 전처리 영상에서 검출된 시신경유두(OPTIC DISC)를 기준으로 기설정된 범위 내에서 상기 복수개의 변형 영상들을 생성하기 위한 복수개의 캡처 영역들을 지정할 수 있다.

이 때, 복수개의 캡처 영역들은 상기 시신경유두의 크기를 고려하여 기설정된 변의 길이를 갖는 정사각형 형태이고, 상기 시신경유두의 중심점을 원의 중심으로 하는 가상 원의 원주 상에 무게중심이 위치하되, 상기 가상 원의 반지름이 상기 시신경유두의 경계에 상응하는 원의 반지름보다 길 수 있다.

이 때, 복수개의 개별 학습 모델들의 출력 등급은 적어도 3개 이상의 출력을 갖는 3등급 이상에 상응할 수 있다.

이 때, 녹내장 판독 모델 생성부는 상기 학습된 복수개의 개별 학습 모델들 각각의 출력을 수치화하여 통합한 행렬을 기반으로 상기 녹내장 판독 모델을 생성할 수 있다.

이 때, 데이터 증폭부는 상기 가상 원의 원주 상에서 어느 하나의 점을 기준점으로 설정하고, 상기 기준점으로부터 기설정된 각도만큼 이동하면서 상기 복수개의 캡처 영역들에 상응하는 복수개의 무게중심들을 설정할 수 있다.

이 때, 데이터 증폭부는 상기 복수개의 캡처 영역들을 캡처하여 복수개의 캡처 영상들을 생성하고, 상기 복수개의 캡처 영상들 각각에 대해 회전 및 채널 분리를 수행하여 상기 복수개의 변형 영상들을 생성할 수 있다.

이 때, 데이터 증폭부는 상기 전처리 영상을 이진화하고, 이진화 영상의 화소값을 나타낸 행렬의 가로축과 세로축 각각에 대한 합산 벡터를 기반으로 상기 시신경유두의 중심점과 경계를 추정할 수 있다.

이 때, 데이터 증폭부는 상기 가로축의 합산 벡터 최대값과 상기 세로축의 합산 벡터 최대값에 상응하게 상기 중심점의 좌표를 추정하고, 상기 가로축과 세로축 각각의 합산 벡터에서 값이 '0'에 해당하는 부분을 제외한 나머지 영역을 기반으로 상기 경계에 상응하는 원의 반지름을 추정할 수 있다.

이 때, 복수개의 개별 학습 모델들은 합성곱 다층신경망(CONVOLUTIONAL NEURAL NETWORK, CNN)에 상응하되, 상호간에 다층신경망의 은닉층 개수, 입력 데이터 종류 및 출력 개수 중 적어도 하나가 상이할 수 이다.

이 때, 전처리부는 원본 안저영상을 이진화한 화소값을 기반으로 생성된 2차원 행렬 값을 기반으로 안저의 좌측 접선과 우측 접선을 각각 검출하고, 상기 좌측 접선과 우측 접선을 기준으로 상기 안저의 정보를 포함하고 있지 않은 불필요 영역을 삭제하여 상기 전처리 영상을 생성할 수 있다.

본 발명에 따르면, 진단 검사 비용이 저렴하면서 동시에 의료 접근성이 좋은 안저영상을 바탕으로 시야결손전녹내장과 초기 녹내장의 선별검사가 가능한 녹내장 진단 방법을 제공할 수 있다.

또한, 본 발명은 녹내장 중증도를 자동으로 등급화할 수 있는 딥러닝 모델을 기반으로 망막 신경 섬유층의 미세한 결손을 자동으로 판독함으로써 녹내장의 중증도 등급화하여 진단할 수 있다.

또한, 본 발명은 녹내장의 중증도를 등급화할 수 있는 기술을 제공함으로써 향후 의료서비스 품질을 향상시키고, 관련 의료비용 지출의 절감과 함께 실명위험율을 낮춤으로써 실명에 따른 사회적 비용 역시 절감할 수 있다.

또한, 본 발명은 현재 널리 보급되어 있는 안저촬영기에 탑재 또는 연동 가능한 인공지능 기반 임상 의사 결정 지원 시스템(Clinical Decision Support System, CDSS) 개념의 소프트웨어 형태로 녹내장 진단 기능을 제공함으로써 다양한 분야에서 활용될 수 있도록 할 수 있다.

또한, 본 발명은 녹내장 선별검사 자동화 서비스에 활용 가능한 녹내장 진단 기술을 제공하고, 대규모로 이루어지는 안저촬영 촬영 결과의 판독 효율과 정확성을 향상시키고, 이에 따른 시간적 이득을 전문의의 2차 판독에 할애함으로써 보다 경제적이고 정확한 검강검진 결과를 제공할 수 있다.

도 1 내지 도 3은 종래의 녹내장 진단 방법의 일 예를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 녹내장 진단 시스템을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 녹내장 진단 방법을 나타낸 동작 흐름도이다.
도 6은 본 발명에 따른 원본 안저영상의 일 예를 나타낸 도면이다.
도 7은 본 발명에 따른 전처리 과정에서 인식되는 정보의 일 예를 나타낸 도면이다.
도 8은 본 발명에 따른 전처리 영상의 일 예를 나타낸 도면이다.
도 9 내지 도 11은 본 발명에 따른 전처리 과정에서 안저 경계를 추출하는 과정의 일 예를 나타낸 도면이다.
도 12 내지 도 14는 본 발명에서 시신경유두의 중심점과 경계를 추출하는 과정의 일 예를 나타낸 도면이다.
도 15는 본 발명에 따른 캡처 영역의 일 예를 나타낸 도면이다.
도 16 내지 도 17은 본 발명에 따른 데이터 증폭 과정의 일 예를 나타낸 도면이다.
도 18 내지 도 23은 본 발명에 따른 복수개의 변형 영상들의 일 예를 나타낸 도면이다.
도 24 내지 도 25는 본 발명에 따른 복수개의 개별 학습 모델들 및 녹내장 판독 모델을 이용한 녹내장 등급 진단 과정의 일 예를 나타낸 도면이다.
도 26은 본 발명의 일실시예에 따른 녹내장 진단 장치를 나타낸 블록도이다.
도 27는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 4는 본 발명의 일실시예에 따른 녹내장 진단 시스템을 나타낸 도면이다.

도 4를 참조하면, 본 발명의 일실시예에 따른 녹내장 진단 시스템은 안저 촬영기(Fundus Scope)(400), 녹내장 진단 장치(410) 및 모니터(420)를 포함한다.

현재 범용적으로 사용되고 있는 안저촬영 장비는 녹내장을 초기에 감지할 수 있는 망막 신경 섬유층(Retinal Nerve Fiber Layer, RNFL)의 미세한 결손을 자동으로 판독할 수 있는 기능을 제공하지 못하고 있다. 이와 같은 상황과 녹내장이라는 질병의 특성을 고려해볼 때, 녹내장 진단을 위해 자동화된 선별검사가 가능하고, 녹내장의 중증도를 등급화할 수 있으며, 시야결손전녹내장과 초기 녹내장 역시 검출 가능한 기술이 절실한 상황이다.

따라서, 본 발명에서는 시야결손전녹내장과 초기 녹내장 단계에서부터 발생하는 망막 신경 섬유층(RNFL)의 결손 여부를 자동으로 판독할 수 있고, 녹내장의 중증도를 등급화할 수 있는 녹내장 진단 장치(410)를 제공하고자 한다.

본 발명의 일실시예에 따른 녹내장 진단 장치(410)는 원본 안저영상(401)에 대한 전처리 영상을 기반으로 원본 안저영상(401)에 대한 복수개의 변형 영상들을 생성한다.

이 때, 원본 안저영상(401)은 안저 촬영기(400)로 녹내장 진단 대상자의 안구를 촬영하여 획득할 수 있다.

이 때, 녹내장 진단 장치(410)는 원본 안저영상(401)을 이진화한 화소값을 기반으로 생성된 2차원 행렬 값을 기반으로 안저의 좌측 접선과 우측 접선을 각각 검출하고, 좌측 접선과 우측 접선을 기준으로 안저의 정보를 포함하고 있지 않은 불필요 영역을 삭제하여 전처리 영상을 생성할 수 있다.

이 때, 전처리 영상에서 검출된 시신경유두(Optic Disc)를 기준으로 기설정된 범위 내에서 복수개의 변형 영상들을 생성하기 위한 복수개의 캡처 영역들을 지정할 수 있다.

이 때, 복수개의 캡처 영역들은 시신경유두의 크기를 고려하여 기설정된 변의 길이를 갖는 정사각형 형태이고, 시신경유두의 중심점을 원의 중심으로 하는 가상 원의 원주 상에 무게중심이 위치하되, 가상 원의 반지름이 시신경유두의 경계에 상응하는 원의 반지름보다 길 수 있다.

이 때, 전처리 영상을 이진화하고, 이진화 영상의 화소값을 나타낸 행렬의 가로축과 세로축 각각에 대한 합산 벡터를 기반으로 시신경유두의 중심점과 경계를 추정할 수 있다.

이 때, 가로축의 합산 벡터 최대값과 세로축의 합산 벡터 최대값에 상응하게 중심점의 좌표를 추정하고, 가로축과 세로축 각각의 합산 벡터에서 값이 '0'에 해당하는 부분을 제외한 나머지 영역을 기반으로 경계에 상응하는 원의 반지름을 추정할 수 있다.

이 때, 가상 원의 원주 상에서 어느 하나의 점을 기준점으로 설정하고, 기준점으로부터 기설정된 각도만큼 이동하면서 복수개의 캡처 영역들에 상응하는 복수개의 무게중심들을 설정할 수 있다.

이 때, 복수개의 캡처 영역들을 캡처하여 복수개의 캡처 영상들을 생성하고, 복수개의 캡처 영상들 각각에 대해 회전 및 채널 분리를 수행하여 복수개의 변형 영상들을 생성할 수 있다.

또한, 본 발명의 일실시예에 따른 녹내장 진단 장치(410)는 복수개의 변형 영상들을 기반으로 서로 종류가 다른 복수개의 개별 학습 모델들을 학습시키고, 학습된 복수개의 개별 학습 모델들 각각의 출력을 기반으로 녹내장 판독 모델을 생성한다.

이 때, 복수개의 개별 학습 모델들의 출력 등급은 적어도 3개 이상의 출력을 갖는 3등급 이상에 상응할 수 있다.

이 때, 복수개의 개별 학습 모델들은 합성곱 다층신경망(CONVOLUTIONAL NEURAL NETWORK, CNN)에 상응하되, 상호간에 다층신경망의 은닉층 개수, 입력 데이터 종류 및 출력 개수 중 적어도 하나가 상이할 수 있다.

또한, 본 발명의 일실시예에 따른 녹내장 진단 장치(410)는 녹내장 판독 모델을 기반으로 원본 안저영상(401)에 대한 녹내장 등급을 진단한다.

이 때, 학습된 복수개의 개별 학습 모델들 각각의 출력을 수치화하여 통합한 행렬을 기반으로 녹내장 판독 모델을 생성할 수 있다.

이 때, 녹내장 판독 모델을 이용하여 녹내장 진단이 완료되면, 모니터(420)를 이용하여 의사 또는 녹내장 진단 대상자에게 녹내장 등급을 출력해줄 수 있다.

이와 같은 녹내장 진단 장치(410)는 의료서비스 품질을 향상시키고 관련 의료비용의 지출을 절감시킴으로써 실명위험률을 낮출 수 있으며, 이에 따라 실명에 따른 사회적 비용 역시 절감하는 효과를 기대할 수 있다.

또한, 본 발명의 일실시예에 따른 녹내장 진단 장치(410)를 건강검진과 안과진단에 활용한다면, 의료기기 시장에 미치는 파급효과가 매우 클 것으로 예상할 수 있다. 예를 들어, 본 발명에 따라 제공되는 연구결과는 인공지능 기반 임상 의사 결정 지원 시스템(Clinical Decision Support System, CDSS) 개념의 소프트웨어에 상응하는 것으로, 이러한 형태의 CDSS는 현재 널리 보급되어 있는 안저 촬영기(400)에 탑재 또는 연동하는 형태로 활용될 수 있다.

또한, 대부분의 건강검진 항목에 기본적으로 포함되어 있는 안저촬영 검사를 본 발명의 일실시예에 따른 녹내장 진단 장치(410)와 연동하여 수행함으로써 녹내장 선별검사 자동화 서비스에 활용할 수도 있다. 이와 같은 활용을 통해 대규모로 이루어지는 안저촬영 결과의 판독 효율과 정확성을 높일 수 있고, 이에 따른 시간적 이득을 전문의의 2차 판독에 할애함으로써 검진자에게 보다 경제적이고 정확한 건강검진 결과를 제공할 수 있다.

또한, 본 발명의 일실시예에 따른 녹내장 진단 장치(410)를 안과 진료현장에 활용하면, 시간의 변화에 따른 환자의 망막 상태를 객관적으로 비교할 수 있으므로 만성적이고 비가역적인 특성의 녹내장 질환에 효과적으로 대처할 수 있다.

또한, 조기에 녹내장을 발견할 수 있기 때문에 녹내장의 확진 또는 주의 추적 관찰에 대한 의학적 의사 결정이 늦어지는 것을 방지하여 환자가 지불해야 하는 의료비용을 절감할 수 있다. 그리고, 조기에 발견하여 치료함으로써 치료 효과의 증대도 기대할 수 있다.

또한, 녹내장을 조기에 발견하면, 환자의 실명 위험률을 최대 95%까지 낮출 수 있으며, 이에 따라 추가 사회적 손실 비용을 절감할 수 있는 효과도 기대할 수 있다.

도 5는 본 발명의 일실시예에 따른 녹내장 진단 방법을 나타낸 동작흐름도이다.

도 5를 참조하면, 본 발명의 일실시예에 따른 녹내장 진단 방법은 원본 안저영상(Fundus Image)에 대한 전처리 영상을 기반으로 원본 안저영상에 대한 복수개의 변형 영상들을 생성한다(S510).

이 때, 원본 안저영상은 안저촬영기(Fundus Scope) 또는 안저카메라(Fundus Camera)를 통해 환자의 망막을 촬영한 영상에 상응하는 것으로, 도 6과 같이 촬영될 수 있다.

이 때, 도 6에 도시된 것과 같은 원본 안저영상은 3채널 컬러 영상에 상응할 수 있고, 녹내장의 유무를 판독하거나 녹내장의 중증도를 등급화하기 위해 기본적으로 입력되는 데이터에 상응할 수 있다.

이 때, 전처리 영상은 원본 안저영상에 대한 전처리 과정을 통해 생성된 것일 수 있다. 이와 같은 전처리 과정은 원본 안저영상에 존재하는 불필요한 정보들을 제거하고, 녹내장의 판독을 위한 기계 학습에 활용 가능한 상태로 변환하기 위한 것일 수 있다.

이 때, 도 5에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 녹내장 진단 방법은 원본 안저영상을 이진화한 화소값을 기반으로 생성된 2차원 행렬 값을 기반으로 안저의 좌측 접선과 우측 접선을 각각 검출하고, 좌측 접선과 우측 접선을 기준으로 안저의 정보를 포함하고 있지 않은 불필요 영역을 삭제하여 전처리 영상을 생성할 수 있다.

예를 들어, 전처리 과정은 도 7에 도시된 것처럼 원본 안저영상에 포함된 안저 좌측 접선(711), 안저 우측 접선(712), 정보 미포함 영역(720), 안저 영역(730), 시신경유두(740), 안저의 중심점(750) 등의 정보를 인식하고, 인식된 정보를 기반으로 녹내장을 판독하는데 불필요한 영역을 삭제하는 과정에 해당할 수 있다.

이 때, 불필요한 영역이란, 도 7에 도시된 안저 좌측 접선(711)과 안저 우측 접선(712)의 바깥 영역, 즉 안저 정보가 포함되어 있지 않은 영역을 의미할 수 있다. 따라서, 도 8에 도시된 것처럼 안저 정보가 포함되어 있지 않은 불필요 영역(811, 812)을 삭제하여 전처리 영상을 생성할 수 있다.

이 때, 도 7에 도시된 정보 미포함 영역(720)은 도 8에 도시된 불필요 영역(811, 812)과 유사하게 안저 정보를 포함하지는 않지만, 안저 좌측 접선(711)과 안저 우측 접선(712)의 안쪽에 위치하므로 전처리 과정에서 삭제되지 않는다. 따라서, 정보 미포함 영역(720)은 해당 안저영상의 영상번호나 촬영일 등과 같은 별도의 마킹정보를 나타내는데 활용될 수도 있다.

이와 같은 전처리 과정에서는 원본 안저영상에서 안저 좌측 접선과 안저 우측 접선을 검출하여 그 사이의 영역을 추출하는 것이 핵심일 수 있다.

따라서, 이하에서는 도 9 내지 도 11을 참조하여, 원본 안저영상에서 안저 좌측 접선과 안저 우측 접선을 검출하는 과정을 상세하게 설명하도록 한다.

먼저, 도 9를 참조하면, 원본 안저영상(Picture Original, PO)(911)을 회색 안저영상(Picture Grey, PG)(912) 형식으로 변환할 수 있다. 이 때, 회색 안저영상(912)의 데이터는 2차원 행렬 구조를 가질 수 있다. 따라서, 이 행렬을 다시 특정 임계값(ThresHoldBinary, THB)을 기준으로 이진화하여 이진화 안저영상(Picture Binary, PB)(913)으로 변환할 수 있다. 이 때, 이진화 안저영상(913)도 2차원 행렬의 자료구조를 가질 수 있으므로, 이진화 안저영상(913)의 화소를 행렬로 표현하여 이진영상 화소값 행렬(920)로 나타낼 수 있다. 이 때, 도 10에 도시된 것처럼 이진영상 화소값 행렬을 가로축으로 합산하고, 가로축으로 합산한 결과에 상응하는 가로축 합산 벡터(930)를 2차원 평면상에 플로팅(Floating)하여 가로축 합산 벡터 플로팅 도면(914)을 획득할 수 있다. 이 때, 합산 벡터(930)나 가로축 합산 벡터 플로팅 도면(914)을 참조하면, 도 7에 도시된 것과 같은 안저 영역(730)을 제외한 부분은 모두 값이 0으로 나타나는 것을 확인할 수 있다. 즉, 도 10과 같이 합산열(1010)을 합산한 합산열 벡터값(1011)이 '0'에 해당하는 부분은 원본 안저영상(911)에서 합산열(1010)에 대응하는 부분에 안저 정보가 포함되지 않았다는 것을 의미하므로 불필요한 영역으로 판단할 수 있다.

따라서, 도 11에 도시된 것처럼 가로축 합산 벡터 플로팅 도면(914)에서 가로축 합산 벡터의 값이 0보다 크게 변화하는 부분을 각각 안저 좌측 접선(941)과 안저 우측 접선(942)의 위치로 검출할 수 있다. 이 때, 가로축 합산 벡터 플로팅 도면(914)에 플로팅된 선의 좌측을 기준으로 먼저 검출되는 부분을 안저 좌측 접선(941)의 위치로 판단하고, 플로팅된 선의 우측을 기준으로 먼저 검출되는 부분을 안저 우측 접선(942)의 위치로 판단할 수 있다.

또한, 본 발명에서는 상기와 같은 전처리 과정을 통해 획득한 전처리 영상을 입력으로 받아 복수개의 변형 영상들을 생성하는 데이터 증폭 작업을 수행할 수 있다.

이 때, 데이터 증폭의 목적은 녹내장 판독 모델을 구축하는 과정에서 최적화의 대상이 되는 모델 파라미터를 충분히 학습시키기 위한 학습 데이터를 제공하기 위함일 수 있다. 또한, 데이터 증폭을 기반으로 다양한 학습 데이터를 제공함으로써 녹내장 판독 모델이 특정 데이터에 종속되지 않게 하는 효과도 기대할 수 있다.

이 때, 데이터 증폭을 위해 가장 먼저 실시하는 작업은 전처리 영상에서 시신경유두를 검출하고, 시신경유두의 외부경계선을 추정하는 것이다. 즉, 본 발명에서는 시야결손전녹내장이나 초기 녹내장을 검출하기 위해 망막 신경 섬유층(RNFL)의 결손 여부를 판독해야 한다. 이 때, 망막 신경 섬유층(RNFL)은 곧 시신경에 해당하고, 시신경유두는 망막이 시신경으로 이어지는 부분에 해당하므로, 전처리 영상에서 시신경유두를 검출함으로써 망막 신경 섬유층의 대략적인 위치를 파악할 수 있다.

이 때, 시신경유두는 도 12에 도시된 것처럼 전처리 영상에 포함된 안저 영상 중에서 가장 밝은 부분에 해당할 수 있다. 이하에서는 도 13 내지 도 14를 참조하여 전처리 영상에서 시신경유두의 중심점과 경계를 추정하는 과정을 상세하게 설명하도록 한다.

먼저, 전처리 영상을 이진화하고, 이진화 영상의 화소값을 나타낸 행렬의 가로축과 세로축 각각에 대한 합산 벡터를 기반으로 시신경유두의 중심점과 경계를 추정할 수 있다.

예를 들어, 도 13을 참조하면, 전처리 영상(1311)을 회색 전처리 영상(1312) 형식으로 변환할 수 있다. 이 때, 회식 전처리 영상(1312)의 데이터는 2차원 행렬 구조를 가질 수 있다. 따라서, 이 행렬을 다시 특정 임계값(THO)을 기준으로 이진화하여 이진화 전처리 영상(1313)으로 변환할 수 있다. 이 때, 이진화 전처리 영상(1313)도 2차원 행렬의 자료구조를 가질 수 있으므로, 이진화 전처리 영상(1313)의 화소를 행렬로 표현하여 이진영상 화소값 행렬(1320)로 나타낼 수 있다.

이 때, 도 14에 도시된 것처럼 이진영상 화소값 행렬(1320)을 가로축 및 세로축으로 각각 합산하고, 각각 합산한 결과에 상응하는 가로축 합산 벡터(1331) 및 세로축 합산 벡터(1332)를 각각 2차원 평면상에 플로팅(Floating)하여 가로축 합산 벡터 플로팅 도면(1315)와 세로축 합산 벡터 플로팅 도면(1314)을 획득할 수 있다.

이 후, 가로축의 합산 벡터 최대값과 세로축의 합산 벡터 최대값에 상응하게 중심점의 좌표를 추정하고, 가로축과 세로축 각각의 합산 벡터에서 값이 '0'에 해당하는 부분을 제외한 나머지 영역을 기반으로 경계에 상응하는 원의 반지름을 추정할 수 있다.

예를 들어, 도 14를 참조하면 이진영상 화소값 행렬(1320)에서 시신경유두를 제외한 부분은 모두 값이 0으로 나타나는 것을 확인할 수 있다. 즉, 합산열(1410)이나 합산행(1420)을 합산한 합산열 벡터값(1411)이나 합산행 벡터값(1421)이 '0'에 해당하는 부분은 전처리 영상(1311)에서 시신경유두에 대한 정보가 포함되지 않았다는 것을 의미할 수 있다.

따라서, 도 13에 도시된 것처럼 가로축 합산 벡터 플로팅 도면(1315)에서 가로축 합산 벡터(1331)의 값이 0보다 크게 변화하는 부분을 각각 시신경유두 좌측 접선(1341)과 시신경유두 우측 접선(1342)의 위치로 검출할 수 있다. 또한, 세로축 합산 벡터 플로팅 도면(1314)에서 세로축 합산 벡터(1332)의 값이 0보다 크게 변화하는 부분을 각각 시신경유두 상단 접선(1351)과 시신경유두 하단 접선(1352)의 위치로 검출할 수 있다.

이 때, 가로축 합산 벡터 플로팅 도면(1315)에 플로팅된 선의 좌측을 기준으로 먼저 검출되는 부분을 시신경유두 좌측 접선(1341)의 위치로 판단하고, 플로팅된 선의 우측을 기준으로 먼저 검출되는 부분을 시신경유두 우측 접선(1342)의 위치로 판단할 수 있다. 또한, 세로축 합산 벡터 플로팅 도면(1314)에 플로팅된 선의 상단을 기준으로 먼저 검출되는 부분을 시신경유두 상단 접선(1351)의 위치로 판단하고, 플로팅된 선의 하단을 기준으로 먼저 검출되는 부분을 시신경유두 하단 접선(1352)의 위치로 판단할 수 있다.

이 때, 검출된 시신경유두 좌측 접선(1341)과 시신경유두 우측 접선(1342) 사이의 거리 또는 시신경유두 상단 접선(1351)과 시신경유두 하단 접선(1352) 사이의 거리를 이용하여 시신경유두의 경계에 상응하는 원의 반지름을 추정할 수 있다.

이 후, 전처리 영상에서 검출된 시신경유두(Optic Disc)를 기준으로 기설정된 범위 내에서 복수개의 변형 영상들을 생성하기 위한 복수개의 캡처 영역들을 지정할 수 있다.

먼저, 복수개의 캡처 영역들은 시신경유두의 크기를 고려하여 기설정된 변의 길이를 갖는 정사각형 형태이고, 시신경유두의 중심점을 원의 중심으로 하는 가상 원의 원주 상에 무게중심이 위치하되, 가상 원의 반지름이 시신경유두의 경계에 상응하는 원의 반지름보다 길 수 있다.

이하에서는 도 12를 참조하여 복수개의 캡처 영역들을 지정하는 과정을 상세하게 설명하도록 한다.

도 12를 참조하면, 먼저 시신경유두 경계(1210)에 해당하는 원보다 반지름이 긴 가상 원(1220)을 생성할 수 있다. 이 때, 가상 원(1220)의 원주 상에서 N개의 점을 임의로 추출하여 캡처영역 무게중심(1220-1~1220-8)으로 설정할 수 있다.

이 때, 가상 원의 원주 상에서 어느 하나의 점을 기준점으로 설정하고, 기준점으로부터 기설정된 각도만큼 이동하면서 복수개의 캡처 영역들에 상응하는 복수개의 무게중심들을 설정할 수 있다. 예를 들어, 기설정된 각도가 30도라고 가정하면, 총 12개의 무게중심이 설정될 수 있다.

이 때, 설정된 캡처영역 무게중심(1220-1~1220-8)을 중심으로 하고, 기설정된 변의 길이를 갖는 정사각형이 캡처 영역(1231~1233)에 상응할 수 있다. 이 때, 도 12에서는 3개의 캡처 영역(1231~1233)만 표시하였으나, 도 12에는 총 8개의 캡처영역 무게중심(1220-1~1220-8)이 존재하므로 이에 상응하게 8개의 캡처 영역이 설정될 수 있다.

이 때, 캡처 영역(1231~1233)에 시신경유두가 포함될 수 있도록, 캡처 영역(1231~1233)의 한 변의 길이는 시신경유두 경계(1210)에 해당하는 원의 반지름보다 큰 값으로 설정할 수 있다.

이 때, 복수개의 캡처 영역들을 캡처하여 복수개의 캡처 영상들을 생성하고, 복수개의 캡처 영상들 각각에 대해 회전 및 채널 분리를 수행하여 복수개의 변형 영상들을 생성할 수 있다.

예를 들어, 복수개의 캡처 영역들을 캡처하면 도 15에 도시된 것과 같은 캡처 영상을 생성할 수 있다.

이 때, 복수개의 캡처 영상들 각각에 대해 도 16 내지 도 17에 도시된 것과 같이 회전 및 채널 분리를 수행하여 복수개의 변형 영상들(1610~1640, 1710~1740)을 생성할 수 있다.

도 16을 참조하면, 회전을 통해 생성된 변형 영상은, 캡처 영상(1600)을 90도 회전한 변형 영상(1610), 180도 회전한 변형 영상(1620), 270도 회전한 변형 영상(1630)을 포함할 수 있고, 캡처영상(1600)과 동일한 형태의 360도 회전한 변형 영상(1640)까지 포함할 수 있다.

도 17을 참조하면, 채널 분리를 통해 생성된 변형 영상은, 캡처 영상(1700)에서 R채널만 분리한 변형 영상(1720), G채널만 분리한 변형 영상(1730), B채널만 분리한 변형 영상(1740)을 포함할 수 있고, 채널 분리를 수행하지 않은 변형 영상(1710)까지 포함할 수 있다.

이 때, 본원발명에서는 전처리 영상에 대해 회전 및 채널 분리를 수행하여 복수개의 변형 영상들을 생성할 수도 있다.

예를 들어, 도 18에 도시된 것처럼 전처리 영상의 채널 분리를 수행하여, 컬러 영상(1810), R채널 영상(1820), G채널 영상(1830), B채널 영상(1840)에 상응하는 변형 영상들을 생성할 수 있다.

다른 예를 들어, 전처리 영상의 채널분리를 통해 생성된 컬러 영상(1820)을 회전하여 도 19에 도시된 것과 같은 변형 영상들(1910~1940)을 생성하거나 또는 전처리 영상의 채널분리를 통해 생성된 R채널 영상(1820)을 회전하여 도 20에 도시된 것과 같은 변형 영상들(2010~2040)을 생성할 수도 있다.

이 때, 도 21 내지 도 23에 도시된 것처럼, 캡처 영상에 대해서도 회전과 채널분리를 복합적으로 수행함으로써 다양한 종류의 변형 영상들을 생성할 수 있다.

이와 같이 데이터 증폭을 수행함으로써 1장의 원본 안저영상에서 다수의 변형 영상들을 생성할 수 있고, 본 발명에서는 이와 같이 획득한 변형 영상들을 기계학습의 학습 데이터로 사용할 수 있다.

즉, 본 발명의 일실시예에 따른 녹내장 진단 방법은 복수개의 변형 영상들을 기반으로 서로 종류가 다른 복수개의 개별 학습 모델들을 학습시키고, 학습된 복수개의 개별 학습 모델들 각각의 출력을 기반으로 녹내장 판독 모델을 생성한다(S520).

예를 들어, 도 24에 도시된 구조의 학습 과정을 통해 녹내장 판독 모델에 상응하는 앙상블 모델(2440)을 생성할 수 있다.

계속해서 도 24를 참조하면, 복수개의 개별 학습 모델들(2420)은 합성곱 다층신경망(CONVOLUTIONAL NEURAL NETWORK, CNN)에 상응하되, 상호간에 다층신경망의 은닉층 개수, 입력 데이터 종류 및 출력 개수 중 적어도 하나가 상이할 수 있다.

이 때, 입력 데이터를 다르게 한다는 것은 데이터 증폭 과정에서 적용하는 세부 방법에 따라 복수개의 변형 영상들을 기반으로 하는 서로 다른 부분 집합을 구성하고, 각각의 부분 집합을 각각의 개별 학습 모델에 배치하는 것에 상응할 수 있다. 예를 들어, 도 24에 도시된 것처럼 4개의 개별 학습 모델들(2420)이 존재하는 경우, 복수개의 변형 영상들(2410)을 기반으로 서로 다른 4개의 부분 집합들을 구성할 수 있다. 이 후, 개별 학습 모델들(2420)마다 서로 다른 부분 집합을 배치함으로써 개별 학습 모델 별로 입력되는 입력 데이터를 다르게 할 수 있다.

이 때, 개별 학습 모델들(2420)의 출력 등급도 다양하게 구성될 수 있는데, 본 발명에 따른 복수개의 개별 학습 모델들의 출력 등급은 적어도 3개 이상의 출력을 갖는 3등급 이상에 상응할 수 있다.

예를 들어, 출력 등급이 5등급에 상응하는 개별 학습 모델의 경우, 정상(Normal, N), Preperimetric Glaucoma(G0), Stage1 Glaucoma(G1), Stage2 Glaucoma(G2), Stage3 Glaucoma(G3)에 상응하는 5개의 출력을 가질 수 있으며, 5개의 출력을 기반으로 기계학습을 실시할 수 있다.

다른 예를 들어, 출력 등급이 3등급에 상응하는 개별 학습 모델의 경우, {N}, {G0, G1}, {G2, G3}에 상응하는 3개의 출력을 가질 수 있다.

또 다른 예를 들어, 본 발명에는 적용되지 않을 수 있지만, 출력 등급이 2등급에 상응하는 개별 학습 모델의 경우, {N}, {G0, G1, G2, G3} 또는 {N}, {G0, G1} 또는 {N, G0}, {G1, G2, G3}에 상응하는 2개의 출력을 가질 수도 있다.

이 때, 학습된 복수개의 개별 학습 모델들 각각의 출력을 수치화하여 통합한 행렬을 기반으로 녹내장 판독 모델을 생성할 수 있다.

예를 들어, 도 24에 도시된 것처럼 개별 모델 출력 행렬(2430)을 바탕으로 녹내장 판독 모델에 상응하는 앙상블 모델(2440)을 생성할 수 있다. 즉, 개별 모델 출력 행렬(2430)을 기계학습 데이터로 사용하는 앙상블 모델(2440)을 최적화하면 최종적인 녹내장 판독 모델의 생성이 완료될 수 있다. 이 때, 앙상블 모델(2440)을 구성하는 방법으로 SVM(Support Vector Machine), ANN(Artificial Neural Network), XGB(eXtreame Gradient Boosting), CNN(Convolutional Neural Network) 등을 적용할 수도 있다.

또한, 본 발명의 일실시예에 따른 녹내장 진단 방법은 녹내장 판독 모델을 기반으로 원본 안저영상에 대한 녹내장 등급을 진단한다(S530).

즉, 도 25를 참조하면, 원본 안저영상을 통해 생성된 복수개의 변형 영상들을 복수개의 개별 학습 모델들에 각각 다른 입력값에 상응하게 입력하고, 복수개의 개별 학습 모델들의 출력을 수치화하여 통합한 행렬에 상응하는 앙상블 모델을 기반으로 녹내장 등급에 상응하는 최종 판독결과를 출력할 수 있다.

예를 들어, 녹내장 등급은 정상, 시야결손전녹내장, 1기 녹내장, 2기 녹내장, 3기 녹내장 등으로 분류하여 진단할 수 있고, 모니터나 화면을 통해 의사 또는 환자에게 출력해줄 수 있다.

또한, 최종적으로 판독된 녹내장 등급 진단 결과는 저장모듈에 기록되어 보관될 수 있다.

또한, 도 5에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 녹내장 진단 방법은 상술한 바와 같이 본 발명의 일실시예에 따른 녹내장 진단 과정에서 발생하는 다양한 정보를 별도의 저장 모듈에 저장할 수 있다.

이와 같은 녹내장 진단 방법을 통해 시야결손전녹내장과 초기 녹내장의 선별검사를 수행할 수 있다.

또한, 망막 신경 섬유층의 미세한 결손을 자동으로 판독함으로써 녹내장의 중증도 등급화하여 진단할 수 있다.

또한, 의료서비스 품질을 향상시키고, 관련 의료비용 지출의 절감과 함께 실명위험율을 낮춤으로써 실명에 따른 사회적 비용 역시 절감할 수 있다.

도 26은 본 발명의 일실시예에 따른 녹내장 진단 장치를 나타낸 블록도이다.

도 26을 참조하면, 본 발명의 일실시예에 따른 녹내장 진단 장치는 전처리부(2610), 데이터 증폭부(2620), 녹내장 판독 모델 생성부(2630), 처리부(2640) 및 저장부(2650)를 포함한다.

전처리부(2610)는 원본 안저영상(Fundus Image)에 대한 전처리 영상을 생성한다.

이 때, 원본 안저영상은 안저촬영기(Fundus Scope) 또는 안저카메라(Fundus Camera)를 통해 환자의 망막을 촬영한 영상에 상응하는 것으로, 도 6과 같이 촬영될 수 있다.

이 때, 도 6에 도시된 것과 같은 원본 안저영상은 3채널 컬러 영상에 상응할 수 있고, 녹내장의 유무를 판독하거나 녹내장의 중증도를 등급화하기 위해 기본적으로 입력되는 데이터에 상응할 수 있다.

이 때, 전처리 영상은 원본 안저영상에 대한 전처리 과정을 통해 생성된 것일 수 있다. 이와 같은 전처리 과정은 원본 안저영상에 존재하는 불필요한 정보들을 제거하고, 녹내장의 판독을 위한 기계 학습에 활용 가능한 상태로 변환하기 위한 것일 수 있다.

이 때, 원본 안저영상을 이진화한 화소값을 기반으로 생성된 2차원 행렬 값을 기반으로 안저의 좌측 접선과 우측 접선을 각각 검출하고, 좌측 접선과 우측 접선을 기준으로 안저의 정보를 포함하고 있지 않은 불필요 영역을 삭제하여 전처리 영상을 생성할 수 있다.

예를 들어, 전처리 과정은 도 7에 도시된 것처럼 원본 안저영상에 포함된 안저 좌측 접선(711), 안저 우측 접선(712), 정보 미포함 영역(720), 안저 영역(730), 시신경유두(740), 안저의 중심점(750) 등의 정보를 인식하고, 인식된 정보를 기반으로 녹내장을 판독하는데 불필요한 영역을 삭제하는 과정에 해당할 수 있다.

이 때, 불필요한 영역이란, 도 7에 도시된 안저 좌측 접선(711)과 안저 우측 접선(712)의 바깥 영역, 즉 안저 정보가 포함되어 있지 않은 영역을 의미할 수 있다. 따라서, 도 8에 도시된 것처럼 안저 정보가 포함되어 있지 않은 불필요 영역(811, 812)을 삭제하여 전처리 영상을 생성할 수 있다.

이 때, 도 7에 도시된 정보 미포함 영역(720)은 도 8에 도시된 불필요 영역(811, 812)과 유사하게 안저 정보를 포함하지는 않지만, 안저 좌측 접선(711)과 안저 우측 접선(712)의 안쪽에 위치하므로 전처리 과정에서 삭제되지 않는다. 따라서, 정보 미포함 영역(720)은 해당 안저영상의 영상번호나 촬영일 등과 같은 별도의 마킹정보를 나타내는데 활용될 수도 있다.

이와 같은 전처리 과정에서는 원본 안저영상에서 안저 좌측 접선과 안저 우측 접선을 검출하여 그 사이의 영역을 추출하는 것이 핵심일 수 있다.

따라서, 이하에서는 도 9 내지 도 11을 참조하여, 원본 안저영상에서 안저 좌측 접선과 안저 우측 접선을 검출하는 과정을 상세하게 설명하도록 한다.

먼저, 도 9를 참조하면, 원본 안저영상(Picture Original, PO)(911)을 회색 안저영상(Picture Grey, PG)(912) 형식으로 변환할 수 있다. 이 때, 회색 안저영상(912)의 데이터는 2차원 행렬 구조를 가질 수 있다. 따라서, 이 행렬을 다시 특정 임계값(ThresHoldBinary, THB)을 기준으로 이진화하여 이진화 안저영상(Picture Binary, PB)(913)으로 변환할 수 있다. 이 때, 이진화 안저영상(913)도 2차원 행렬의 자료구조를 가질 수 있으므로, 이진화 안저영상(913)의 화소를 행렬로 표현하여 이진영상 화소값 행렬(920)로 나타낼 수 있다. 이 때, 도 10에 도시된 것처럼 이진영상 화소값 행렬을 가로축으로 합산하고, 가로축으로 합산한 결과에 상응하는 가로축 합산 벡터(930)를 2차원 평면상에 플로팅(Floating)하여 가로축 합산 벡터 플로팅 도면(914)을 획득할 수 있다. 이 때, 합산 벡터(930)나 가로축 합산 벡터 플로팅 도면(914)을 참조하면, 도 7에 도시된 것과 같은 안저 영역(730)을 제외한 부분은 모두 값이 0으로 나타나는 것을 확인할 수 있다. 즉, 도 10과 같이 합산열(1010)을 합산한 합산열 벡터값(1011)이 '0'에 해당하는 부분은 원본 안저영상(911)에서 합산열(1010)에 대응하는 부분에 안저 정보가 포함되지 않았다는 것을 의미하므로 불필요한 영역으로 판단할 수 있다.

따라서, 도 11에 도시된 것처럼 가로축 합산 벡터 플로팅 도면(914)에서 가로축 합산 벡터의 값이 0보다 크게 변화하는 부분을 각각 안저 좌측 접선(941)과 안저 우측 접선(942)의 위치로 검출할 수 있다. 이 때, 가로축 합산 벡터 플로팅 도면(914)에 플로팅된 선의 좌측을 기준으로 먼저 검출되는 부분을 안저 좌측 접선(941)의 위치로 판단하고, 플로팅된 선의 우측을 기준으로 먼저 검출되는 부분을 안저 우측 접선(942)의 위치로 판단할 수 있다.

데이터 증폭부(2620)는 전처리 영상을 기반으로 원본 안저영상에 대한 복수개의 변형 영상들을 생성한다.

본 발명에서는 상기와 같은 전처리 과정을 통해 획득한 전처리 영상을 입력으로 받아 복수개의 변형 영상들을 생성하는 데이터 증폭 작업을 수행할 수 있다.

이 때, 데이터 증폭의 목적은 녹내장 판독 모델을 구축하는 과정에서 최적화의 대상이 되는 모델 파라미터를 충분히 학습시키기 위한 학습 데이터를 제공하기 위함일 수 있다. 또한, 데이터 증폭을 기반으로 다양한 학습 데이터를 제공함으로써 녹내장 판독 모델이 특정 데이터에 종속되지 않게 하는 효과도 기대할 수 있다.

이 때, 데이터 증폭을 위해 가장 먼저 실시하는 작업은 전처리 영상에서 시신경유두를 검출하고, 시신경유두의 외부경계선을 추정하는 것이다. 즉, 본 발명에서는 시야결손전녹내장이나 초기 녹내장을 검출하기 위해 망막 신경 섬유층(RNFL)의 결손 여부를 판독해야 한다. 이 때, 망막 신경 섬유층(RNFL)은 곧 시신경에 해당하고, 시신경유두는 망막이 시신경으로 이어지는 부분에 해당하므로, 전처리 영상에서 시신경유두를 검출함으로써 망막 신경 섬유층의 대략적인 위치를 파악할 수 있다.

이 때, 시신경유두는 도 12에 도시된 것처럼 전처리 영상에 포함된 안저 영상 중에서 가장 밝은 부분에 해당할 수 있다. 이하에서는 도 13 내지 도 14를 참조하여 전처리 영상에서 시신경유두의 중심점과 경계를 추정하는 과정을 상세하게 설명하도록 한다.

먼저, 전처리 영상을 이진화하고, 이진화 영상의 화소값을 나타낸 행렬의 가로축과 세로축 각각에 대한 합산 벡터를 기반으로 시신경유두의 중심점과 경계를 추정할 수 있다.

예를 들어, 도 13을 참조하면, 전처리 영상(1311)을 회색 전처리 영상(1312) 형식으로 변환할 수 있다. 이 때, 회식 전처리 영상(1312)의 데이터는 2차원 행렬 구조를 가질 수 있다. 따라서, 이 행렬을 다시 특정 임계값(THO)을 기준으로 이진화하여 이진화 전처리 영상(1313)으로 변환할 수 있다. 이 때, 이진화 전처리 영상(1313)도 2차원 행렬의 자료구조를 가질 수 있으므로, 이진화 전처리 영상(1313)의 화소를 행렬로 표현하여 이진영상 화소값 행렬(1320)로 나타낼 수 있다.

이 때, 도 14에 도시된 것처럼 이진영상 화소값 행렬(1320)을 가로축 및 세로축으로 각각 합산하고, 각각 합산한 결과에 상응하는 가로축 합산 벡터(1331) 및 세로축 합산 벡터(1332)를 각각 2차원 평면상에 플로팅(Floating)하여 가로축 합산 벡터 플로팅 도면(1315)와 세로축 합산 벡터 플로팅 도면(1314)을 획득할 수 있다.

이 후, 가로축의 합산 벡터 최대값과 세로축의 합산 벡터 최대값에 상응하게 중심점의 좌표를 추정하고, 가로축과 세로축 각각의 합산 벡터에서 값이 '0'에 해당하는 부분을 제외한 나머지 영역을 기반으로 경계에 상응하는 원의 반지름을 추정할 수 있다.

예를 들어, 도 14를 참조하면 이진영상 화소값 행렬(1320)에서 시신경유두를 제외한 부분은 모두 값이 0으로 나타나는 것을 확인할 수 있다. 즉, 합산열(1410)이나 합산행(1420)을 합산한 합산열 벡터값(1411)이나 합산행 벡터값(1421)이 '0'에 해당하는 부분은 전처리 영상(1311)에서 시신경유두에 대한 정보가 포함되지 않았다는 것을 의미할 수 있다.

따라서, 도 13에 도시된 것처럼 가로축 합산 벡터 플로팅 도면(1315)에서 가로축 합산 벡터(1331)의 값이 0보다 크게 변화하는 부분을 각각 시신경유두 좌측 접선(1341)과 시신경유두 우측 접선(1342)의 위치로 검출할 수 있다. 또한, 세로축 합산 벡터 플로팅 도면(1314)에서 세로축 합산 벡터(1332)의 값이 0보다 크게 변화하는 부분을 각각 시신경유두 상단 접선(1351)과 시신경유두 하단 접선(1352)의 위치로 검출할 수 있다.

이 때, 가로축 합산 벡터 플로팅 도면(1315)에 플로팅된 선의 좌측을 기준으로 먼저 검출되는 부분을 시신경유두 좌측 접선(1341)의 위치로 판단하고, 플로팅된 선의 우측을 기준으로 먼저 검출되는 부분을 시신경유두 우측 접선(1342)의 위치로 판단할 수 있다. 또한, 세로축 합산 벡터 플로팅 도면(1314)에 플로팅된 선의 상단을 기준으로 먼저 검출되는 부분을 시신경유두 상단 접선(1351)의 위치로 판단하고, 플로팅된 선의 하단을 기준으로 먼저 검출되는 부분을 시신경유두 하단 접선(1352)의 위치로 판단할 수 있다.

이 때, 검출된 시신경유두 좌측 접선(1341)과 시신경유두 우측 접선(1342) 사이의 거리 또는 시신경유두 상단 접선(1351)과 시신경유두 하단 접선(1352) 사이의 거리를 이용하여 시신경유두의 경계에 상응하는 원의 반지름을 추정할 수 있다.

이 후, 전처리 영상에서 검출된 시신경유두(Optic Disc)를 기준으로 기설정된 범위 내에서 복수개의 변형 영상들을 생성하기 위한 복수개의 캡처 영역들을 지정할 수 있다.

먼저, 복수개의 캡처 영역들은 시신경유두의 크기를 고려하여 기설정된 변의 길이를 갖는 정사각형 형태이고, 시신경유두의 중심점을 원의 중심으로 하는 가상 원의 원주 상에 무게중심이 위치하되, 가상 원의 반지름이 시신경유두의 경계에 상응하는 원의 반지름보다 길 수 있다.

이하에서는 도 12를 참조하여 복수개의 캡처 영역들을 지정하는 과정을 상세하게 설명하도록 한다.

도 12를 참조하면, 먼저 시신경유두 경계(1210)에 해당하는 원보다 반지름이 긴 가상 원(1220)을 생성할 수 있다. 이 때, 가상 원(1220)의 원주 상에서 N개의 점을 임의로 추출하여 캡처영역 무게중심(1220-1~1220-8)으로 설정할 수 있다.

이 때, 가상 원의 원주 상에서 어느 하나의 점을 기준점으로 설정하고, 기준점으로부터 기설정된 각도만큼 이동하면서 복수개의 캡처 영역들에 상응하는 복수개의 무게중심들을 설정할 수 있다. 예를 들어, 기설정된 각도가 30도라고 가정하면, 총 12개의 무게중심이 설정될 수 있다.

이 때, 설정된 캡처영역 무게중심(1220-1~1220-8)을 중심으로 하고, 기설정된 변의 길이를 갖는 정사각형이 캡처 영역(1231~1233)에 상응할 수 있다. 이 때, 도 12에서는 3개의 캡처 영역(1231~1233)만 표시하였으나, 도 12에는 총 8개의 캡처영역 무게중심(1220-1~1220-8)이 존재하므로 이에 상응하게 8개의 캡처 영역이 설정될 수 있다.

이 때, 캡처 영역(1231~1233)에 시신경유두가 포함될 수 있도록, 캡처 영역(1231~1233)의 한 변의 길이는 시신경유두 경계(1210)에 해당하는 원의 반지름보다 큰 값으로 설정할 수 있다.

이 때, 복수개의 캡처 영역들을 캡처하여 복수개의 캡처 영상들을 생성하고, 복수개의 캡처 영상들 각각에 대해 회전 및 채널 분리를 수행하여 복수개의 변형 영상들을 생성할 수 있다.

예를 들어, 복수개의 캡처 영역들을 캡처하면 도 15에 도시된 것과 같은 캡처 영상을 생성할 수 있다.

이 때, 복수개의 캡처 영상들 각각에 대해 도 16 내지 도 17에 도시된 것과 같이 회전 및 채널 분리를 수행하여 복수개의 변형 영상들(1610~1640, 1710~1740)을 생성할 수 있다.

도 16을 참조하면, 회전을 통해 생성된 변형 영상은, 캡처 영상(1600)을 90도 회전한 변형 영상(1610), 180도 회전한 변형 영상(1620), 270도 회전한 변형 영상(1630)을 포함할 수 있고, 캡처영상(1600)과 동일한 형태의 360도 회전한 변형 영상(1640)까지 포함할 수 있다.

도 17을 참조하면, 채널 분리를 통해 생성된 변형 영상은, 캡처 영상(1700)에서 R채널만 분리한 변형 영상(1720), G채널만 분리한 변형 영상(1730), B채널만 분리한 변형 영상(1740)을 포함할 수 있고, 채널 분리를 수행하지 않은 변형 영상(1710)까지 포함할 수 있다.

이 때, 본원발명에서는 전처리 영상에 대해 회전 및 채널 분리를 수행하여 복수개의 변형 영상들을 생성할 수도 있다.

예를 들어, 도 18에 도시된 것처럼 전처리 영상의 채널 분리를 수행하여, 컬러 영상(1810), R채널 영상(1820), G채널 영상(1830), B채널 영상(1840)에 상응하는 변형 영상들을 생성할 수 있다.

다른 예를 들어, 전처리 영상의 채널분리를 통해 생성된 컬러 영상(1820)을 회전하여 도 19에 도시된 것과 같은 변형 영상들(1910~1940)을 생성하거나 또는 전처리 영상의 채널분리를 통해 생성된 R채널 영상(1820)을 회전하여 도 20에 도시된 것과 같은 변형 영상들(2010~2040)을 생성할 수도 있다.

이 때, 도 21 내지 도 23에 도시된 것처럼, 캡처 영상에 대해서도 회전과 채널분리를 복합적으로 수행함으로써 다양한 종류의 변형 영상들을 생성할 수 있다.

이와 같이 데이터 증폭을 수행함으로써 1장의 원본 안저영상에서 다수의 변형 영상들을 생성할 수 있고, 본 발명에서는 이와 같이 획득한 변형 영상들을 기계학습의 학습 데이터로 사용할 수 있다.

녹내장 판독 모델 생성부(2630)는 복수개의 변형 영상들을 기반으로 서로 종류가 다른 복수개의 개별 학습 모델들을 학습시키고, 학습된 복수개의 개별 학습 모델들 각각의 출력을 기반으로 녹내장 판독 모델을 생성한다.

예를 들어, 도 24에 도시된 구조의 학습 과정을 통해 녹내장 판독 모델에 상응하는 앙상블 모델(2440)을 생성할 수 있다.

계속해서 도 24를 참조하면, 복수개의 개별 학습 모델들(2420)은 합성곱 다층신경망(CONVOLUTIONAL NEURAL NETWORK, CNN)에 상응하되, 상호간에 다층신경망의 은닉층 개수, 입력 데이터 종류 및 출력 개수 중 적어도 하나가 상이할 수 있다.

이 때, 입력 데이터를 다르게 한다는 것은 데이터 증폭 과정에서 적용하는 세부 방법에 따라 복수개의 변형 영상들을 기반으로 하는 서로 다른 부분 집합을 구성하고, 각각의 부분 집합을 각각의 개별 학습 모델에 배치하는 것에 상응할 수 있다. 예를 들어, 도 24에 도시된 것처럼 4개의 개별 학습 모델들(2420)이 존재하는 경우, 복수개의 변형 영상들(2410)을 기반으로 서로 다른 4개의 부분 집합들을 구성할 수 있다. 이 후, 개별 학습 모델들(2420)마다 서로 다른 부분 집합을 배치함으로써 개별 학습 모델 별로 입력되는 입력 데이터를 다르게 할 수 있다.

이 때, 개별 학습 모델들(2420)의 출력 등급도 다양하게 구성될 수 있는데, 본 발명에 따른 복수개의 개별 학습 모델들의 출력 등급은 적어도 3개 이상의 출력을 갖는 3등급 이상에 상응할 수 있다.

예를 들어, 출력 등급이 5등급에 상응하는 개별 학습 모델의 경우, 정상(Normal, N), Preperimetric Glaucoma(G0), Stage1 Glaucoma(G1), Stage2 Glaucoma(G2), Stage3 Glaucoma(G3)에 상응하는 5개의 출력을 가질 수 있으며, 5개의 출력을 기반으로 기계학습을 실시할 수 있다.

다른 예를 들어, 출력 등급이 3등급에 상응하는 개별 학습 모델의 경우, {N}, {G0, G1}, {G2, G3}에 상응하는 3개의 출력을 가질 수 있다.

또 다른 예를 들어, 본 발명에는 적용되지 않을 수 있지만, 출력 등급이 2등급에 상응하는 개별 학습 모델의 경우, {N}, {G0, G1, G2, G3} 또는 {N}, {G0, G1} 또는 {N, G0}, {G1, G2, G3}에 상응하는 2개의 출력을 가질 수도 있다.

이 때, 학습된 복수개의 개별 학습 모델들 각각의 출력을 수치화하여 통합한 행렬을 기반으로 녹내장 판독 모델을 생성할 수 있다.

예를 들어, 도 24에 도시된 것처럼 개별 모델 출력 행렬(2430)을 바탕으로 녹내장 판독 모델에 상응하는 앙상블 모델(2440)을 생성할 수 있다. 즉, 개별 모델 출력 행렬(2430)을 기계학습 데이터로 사용하는 앙상블 모델(2440)을 최적화하면 최종적인 녹내장 판독 모델의 생성이 완료될 수 있다. 이 때, 앙상블 모델(2440)을 구성하는 방법으로 SVM(Support Vector Machine), ANN(Artificial Neural Network), XGB(eXtreame Gradient Boosting), CNN(Convolutional Neural Network) 등을 적용할 수도 있다.

처리부(2640)는 녹내장 판독 모델을 기반으로 원본 안저영상에 대한 녹내장 등급을 진단한다.

즉, 도 25를 참조하면, 원본 안저영상을 통해 생성된 복수개의 변형 영상들을 복수개의 개별 학습 모델들에 각각 다른 입력값에 상응하게 입력하고, 복수개의 개별 학습 모델들의 출력을 수치화하여 통합한 행렬에 상응하는 앙상블 모델을 기반으로 녹내장 등급에 상응하는 최종 판독결과를 출력할 수 있다.

예를 들어, 녹내장 등급은 정상, 시야결손전녹내장, 1기 녹내장, 2기 녹내장, 3기 녹내장 등으로 분류하여 진단할 수 있고, 모니터나 화면을 통해 의사 또는 환자에게 출력해줄 수 있다.

저장부(2650)는 복수개의 개별 학습 모델들 및 녹내장 판독 모델을 저장한다. 또한, 최종적으로 판독된 녹내장 등급 진단 결과를 저장하여 보관할 수도 있다.

또한, 저장부(2650)는 상술한 바와 같이 본 발명의 일실시예에 따른 녹내장 진단을 위한 기능을 지원할 수 있다. 이 때, 저장부(2650)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.

한편, 녹내장 진단 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.

이와 같은 녹내장 진단 장치를 이용하여 시야결손전녹내장과 초기 녹내장의 선별검사를 수행할 수 있다.

또한, 망막 신경 섬유층의 미세한 결손을 자동으로 판독함으로써 녹내장의 중증도 등급화하여 진단할 수 있다.

또한, 의료서비스 품질을 향상시키고, 관련 의료비용 지출의 절감과 함께 실명위험율을 낮춤으로써 실명에 따른 사회적 비용 역시 절감할 수 있다.

도 27는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.

도 27을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 27에 도시된 바와 같이, 컴퓨터 시스템(2700)은 버스(2720)를 통하여 서로 통신하는 하나 이상의 프로세서(2710), 메모리(2730), 사용자 입력 장치(2740), 사용자 출력 장치(2750) 및 스토리지(2760)를 포함할 수 있다. 또한, 컴퓨터 시스템(2700)은 네트워크(2780)에 연결되는 네트워크 인터페이스(2770)를 더 포함할 수 있다. 프로세서(2710)는 중앙 처리 장치 또는 메모리(2730)나 스토리지(2760)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(2730) 및 스토리지(2760)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(2731)이나 RAM(2732)을 포함할 수 있다.

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.

이상에서와 같이 본 발명에 따른 안저영상을 이용한 녹내장 진단 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

400: 안저 촬영기 401, 911: 원본 안저영상
410: 녹내장 진단 장치 420: 모니터
711, 941: 안저 좌측 접선 712, 942: 안저 우측 접선
720: 정보 미포함 영역 730: 안저 영역
740: 시신경유두 750: 안저의 중심점
811, 812: 불필요 영역 912: 회색 안저영상
913: 이진화 안저영상
914, 1315: 가로축 합산 벡터 플로팅 도면
920, 1320: 이진영상 화소값 행렬 930, 1331: 가로축 합산 벡터
1010, 1410: 합산열 1011, 1411: 합산열 벡터값
1020: 안저 영역 1021: 안저 영역 합산 벡터값
1210: 시신경유두 경계 1220: 가상 원
1220-1~1220-8: 캡처영역 무게중심 1231~1233: 캡처영역
1311: 전처리 영상 1312: 회색 전처리 영상
1313: 이진화 전처리 영상 1314: 세로축 합산 벡터 플로팅 도면
1332: 세로축 합산 벡터 1341: 시신경유두 좌측 접선
1342: 시신경유두 우측 접선 1351: 시신경유두 상단 접선
1352: 시신경유두 하단 접선 1420: 합산행
1421: 합산행 벡터값 1600, 1700: 캡처 영상
1610~1640, 1710~1740: 변형 영상 1810: 컬러 영상
1820: R채널 영상 1830: G채널 영상
1840: B채널 영상 1910: 0도 컬러 영상
1920: 90도 컬러 영상 1930: 180도 컬러 영상
1940: 270도 컬러 영상 2010: 0도 R채널 영상
2020: 90도 R채널 영상 2030: 180도 R채널 영상
2040: 270도 R채널 영상 2410: 복수개의 변형 영상들
2420: 복수개의 개별 학습 모델들 2430: 개별 모델 출력 행렬
2440: 앙상블 모델 2450: 최종 판독 결과
2610: 전처리부 2620: 데이터 증폭부
2630: 녹내장 판독 모델 생성부 2640: 처리부
2650: 저장부 2700: 컴퓨터 시스템
2710: 프로세서 2720: 버스
2730: 메모리 2731: 롬
2732: 램 2740: 사용자 입력 장치
2750: 사용자 출력 장치 2760: 스토리지
2770: 네트워크 인터페이스 2780: 네트워크

Claims (20)

1. 원본 안저영상(FUNDUS IMAGE)에 대한 전처리 영상을 기반으로 상기 원본 안저영상에 대한 복수개의 변형 영상들을 생성하는 데이터 증폭 단계;
   상기 복수개의 변형 영상들을 기반으로 서로 종류가 다른 복수개의 개별 학습 모델들을 학습시키고, 학습된 복수개의 개별 학습 모델들 각각의 출력을 기반으로 녹내장 판독 모델을 생성하는 단계; 및
   상기 녹내장 판독 모델을 기반으로 상기 원본 안저영상에 대한 녹내장 등급을 진단하는 단계
   를 포함하는 것을 특징으로 하는 녹내장 진단 방법.
2. 청구항 1에 있어서,
   상기 데이터 증폭 단계는
   상기 전처리 영상에서 검출된 시신경유두(OPTIC DISC)를 기준으로 기설정된 범위 내에서 상기 복수개의 변형 영상들을 생성하기 위한 복수개의 캡처 영역들을 지정하는 단계를 포함하는 것을 특징으로 하는 녹내장 진단 방법.
3. 청구항 2에 있어서,
   상기 복수개의 캡처 영역들은
   상기 시신경유두의 크기를 고려하여 기설정된 변의 길이를 갖는 정사각형 형태이고, 상기 시신경유두의 중심점을 원의 중심으로 하는 가상 원의 원주 상에 무게중심이 위치하되, 상기 가상 원의 반지름이 상기 시신경유두의 경계에 상응하는 원의 반지름보다 긴 것을 특징으로 하는 녹내장 진단 방법.
4. 청구항 1에 있어서,
   상기 복수개의 개별 학습 모델들의 출력 등급은 적어도 3개 이상의 출력을 갖는 3등급 이상에 상응하는 것을 특징으로 하는 녹내장 진단 방법.
5. 청구항 1에 있어서,
   상기 녹내장 판독 모델을 생성하는 단계는
   상기 학습된 복수개의 개별 학습 모델들 각각의 출력을 수치화하여 통합한 행렬을 기반으로 상기 녹내장 판독 모델을 생성하는 것을 특징으로 하는 녹내장 진단 방법.
6. 청구항 3에 있어서,
   상기 복수개의 캡처 영역들을 지정하는 단계는
   상기 가상 원의 원주 상에서 어느 하나의 점을 기준점으로 설정하고, 상기 기준점으로부터 기설정된 각도만큼 이동하면서 상기 복수개의 캡처 영역들에 상응하는 복수개의 무게중심들을 설정하는 것을 특징으로 하는 녹내장 진단 방법.
7. 청구항 2에 있어서,
   상기 데이터 증폭 단계는
   상기 복수개의 캡처 영역들을 캡처하여 복수개의 캡처 영상들을 생성하고, 상기 복수개의 캡처 영상들 각각에 대해 회전 및 채널 분리를 수행하여 상기 복수개의 변형 영상들을 생성하는 것을 특징으로 하는 녹내장 진단 방법.
8. 청구항 3에 있어서,
   상기 데이터 증폭 단계는
   상기 전처리 영상을 이진화하고, 이진화 영상의 화소값을 나타낸 행렬의 가로축과 세로축 각각에 대한 합산 벡터를 기반으로 상기 시신경유두의 중심점과 경계를 추정하는 단계를 더 포함하는 것을 특징으로 하는 녹내장 진단 방법.
9. 청구항 8에 있어서,
   상기 추정하는 단계는
   상기 가로축의 합산 벡터 최대값과 상기 세로축의 합산 벡터 최대값에 상응하게 상기 중심점의 좌표를 추정하고, 상기 가로축과 세로축 각각의 합산 벡터에서 값이 '0'에 해당하는 부분을 제외한 나머지 영역을 기반으로 상기 경계에 상응하는 원의 반지름을 추정하는 것을 특징으로 하는 녹내장 진단 방법.
10. 청구항 1에 있어서,
    상기 복수개의 개별 학습 모델들은
    합성곱 다층신경망(CONVOLUTIONAL NEURAL NETWORK, CNN)에 상응하되, 상호간에 다층신경망의 은닉층 개수, 입력 데이터 종류 및 출력 개수 중 적어도 하나가 상이한 것을 특징으로 하는 녹내장 진단 방법.
11. 청구항 1에 있어서,
    상기 원본 안저영상을 이진화한 화소값을 기반으로 생성된 2차원 행렬 값을 기반으로 안저의 좌측 접선과 우측 접선을 각각 검출하고, 상기 좌측 접선과 우측 접선을 기준으로 상기 안저의 정보를 포함하고 있지 않은 불필요 영역을 삭제하여 상기 전처리 영상을 생성하는 전처리 단계를 더 포함하는 것을 특징으로 하는 녹내장 진단 방법.
12. 원본 안저영상(FUNDUS IMAGE)에 대한 전처리 영상을 생성하는 전처리부;
    상기 전처리 영상을 기반으로 상기 원본 안저영상에 대한 복수개의 변형 영상들을 생성하는 데이터 증폭부;
    상기 복수개의 변형 영상들을 기반으로 서로 종류가 다른 복수개의 개별 학습 모델들을 학습시키고, 학습된 복수개의 개별 학습 모델들 각각의 출력을 기반으로 녹내장 판독 모델을 생성하는 녹내장 판독 모델 생성부;
    상기 녹내장 판독 모델을 기반으로 상기 원본 안저영상에 대한 녹내장 등급을 진단하는 처리부; 및
    상기 복수개의 개별 학습 모델들 및 상기 녹내장 판독 모델을 저장하는 저장부
    를 포함하는 것을 특징으로 하는 녹내장 진단 장치.
13. 청구항 12에 있어서,
    상기 데이터 증폭부는
    상기 전처리 영상에서 검출된 시신경유두(OPTIC DISC)를 기준으로 기설정된 범위 내에서 상기 복수개의 변형 영상들을 생성하기 위한 복수개의 캡처 영역들을 지정하는 것을 특징으로 하는 녹내장 진단 장치.
14. 청구항 13에 있어서,
    상기 복수개의 캡처 영역들은
    상기 시신경유두의 크기를 고려하여 기설정된 변의 길이를 갖는 정사각형 형태이고, 상기 시신경유두의 중심점을 원의 중심으로 하는 가상 원의 원주 상에 무게중심이 위치하되, 상기 가상 원의 반지름이 상기 시신경유두의 경계에 상응하는 원의 반지름보다 긴 것을 특징으로 하는 녹내장 진단 장치.
15. 청구항 12에 있어서,
    상기 복수개의 개별 학습 모델들의 출력 등급은 적어도 3개 이상의 출력을 갖는 3등급 이상에 상응하는 것을 특징으로 하는 녹내장 진단 장치.
16. 청구항 12에 있어서,
    상기 녹내장 판독 모델 생성부는
    상기 학습된 복수개의 개별 학습 모델들 각각의 출력을 수치화하여 통합한 행렬을 기반으로 상기 녹내장 판독 모델을 생성하는 것을 특징으로 하는 녹내장 진단 장치.
17. 청구항 14에 있어서,
    상기 데이터 증폭부는
    상기 가상 원의 원주 상에서 어느 하나의 점을 기준점으로 설정하고, 상기 기준점으로부터 기설정된 각도만큼 이동하면서 상기 복수개의 캡처 영역들에 상응하는 복수개의 무게중심들을 설정하는 것을 특징으로 하는 녹내장 진단 장치.
18. 청구항 13에 있어서,
    상기 데이터 증폭부는
    상기 복수개의 캡처 영역들을 캡처하여 복수개의 캡처 영상들을 생성하고, 상기 복수개의 캡처 영상들 각각에 대해 회전 및 채널 분리를 수행하여 상기 복수개의 변형 영상들을 생성하는 것을 특징으로 하는 녹내장 진단 장치.
19. 청구항 14에 있어서,
    상기 데이터 증폭부는
    상기 전처리 영상을 이진화하고, 이진화 영상의 화소값을 나타낸 행렬의 가로축과 세로축 각각에 대한 합산 벡터를 기반으로 상기 시신경유두의 중심점과 경계를 추정하는 것을 특징으로 하는 녹내장 진단 장치.
20. 청구항 19에 있어서,
    상기 데이터 증폭부는
    상기 가로축의 합산 벡터 최대값과 상기 세로축의 합산 벡터 최대값에 상응하게 상기 중심점의 좌표를 추정하고, 상기 가로축과 세로축 각각의 합산 벡터에서 값이 '0'에 해당하는 부분을 제외한 나머지 영역을 기반으로 상기 경계에 상응하는 원의 반지름을 추정하는 것을 특징으로 하는 녹내장 진단 장치.

Images