KR102198395B1 - 녹내장 조기진단과 의심영역 표시 방법 및 이를 위한 시스템 - Google Patents

Abstract

본 발명은 나선형 뉴럴네트워크(Convolutional Neural Network, CNN) 방법의 딥러닝을 이용하여 안구 빛간섭단층촬영 검사의 시신경유두주위 망막신경섬유층 두께로부터 녹내장 진행정도를 단계별로 진단하는 방법 및 그 시스템에 관한 것으로, 빛간섭단층촬영(OCT)으로 획득한 시신경유두 주변의 망막신경섬유층(p-RNFL) 영상을 딥러닝 중 CNN(Convolutional Neural Network)방법을 적용하여 정상(Normal), 조기 녹내장(early Glaucoma) 및 중-후기 녹내장(Severe Glaucoma)로 진단할 뿐 아니라, 모델상에서 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)을 이용해 진단을 내리게 된 이유가 되는 영상의 영역을 표시해주므로, 정확하고 빠른 보조진단의 역할을 할 수 있다.

Description

녹내장 조기진단과 의심영역 표시 방법 및 이를 위한 시스템 {Method and System for Early Diagnosis of Glaucoma and Displaying suspicious Area}

본 발명은 딥러닝을 이용하여 안구 빛간섭단층촬영 검사의 시신경유두주위 망막신경섬유층 두께로부터 녹내장을 진단하는 방법 및 이를 위한 시스템으로, 특히 상세하게는 합성곱신경망(Convolutional Neural Network, CNN) 방법의 딥러닝을 이용하여 안구 빛간섭단층촬영 검사의 시신경유두주위 망막신경섬유층 두께로부터 녹내장 진행정도를 진단하는 방법 및 그 시스템에 관한 것이다.

녹내장은 시신경의 녹내장성 변화 및 이에 따른 시야장애를 유발하는 질환으로, 시간이 지나면서 점점 진행하기 때문에, 적절한 치료가 이루어지지 않으면 실명하게 된다. 백내장과 같은 다른 안과질환과는 달리 한 번 시신경이 손상되면 수술로도 시신경 기능 회복이 불가능하기 때문에 조기에 정확한 녹내장 진단을 하고, 꾸준히 치료와 관리를 해야 시력을 유지할 수 있다.

녹내장(glaucoma)은 시신경 손상 및 시야장애를 초래하는 진행성 질환으로, 망막신경섬유층(retinal nerve fiber layer: RNFL)에서 어떤 원인으로 점진적인 축삭의 소실이 나타나면서 시야가 좁아지는 등 기능적 변화가 초래된다. 시야검사를 통해서 이러한 기능적 변화를 측정하려면 신경섬유가 30~50% 정도 손상되어야 하며, 이러한 시야 변화 이전에 시신경유두(optic nerve head: ONH)라고 불리는 부위의 변화가 선행된다고 알려져 있다. 따라서 녹내장의 진행 및 경과를 조기에 예측하려면 시신경유두의 형태가 변화하는지 관찰하는 것이 중요하다.

시신경유두란 망막과 뇌를 연결하는 신경섬유의 다발이 눈 밖을 빠져나오기 직전에 모여서 만들어진 부분으로, 주위의 망막과 구별되는 밝은 보름달 모양의 동그란 부분이다. 시신경유두의 중심부는 정상일 때 웅덩이 모양으로 움푹 들어가 있으며(함몰부), 이 부위는 혈관이 적게 분포하여 밝고 창백한 색조를 띤다. 함몰부 주변은 신경섬유들이 모여서 이루어진 주황색 또는 분홍색 신경조직이 테 모양으로 둘러싸고 있다(신경테). 녹내장이 되면 시신경섬유들이 죽어 없어지므로 신경테는 줄어들고 함몰부는 더 넓고 깊어지게 된다.

시신경은 눈 속의 망막으로부터 뇌를 연결하는 전선에 해당하는 신경섬유의 다발로 가느다란 실처럼 시신경유두에 모인다. 이 섬유의 일부가 손상되면 그 부위의 신경섬유가 관찰되지 않으므로, 시야에 장애가 발생하기 이전에 망막신경섬유층 촬영을 통해 녹내장 조기진단을 할 수 있는 것이다. 레이저를 이용한 빛간섭단층촬영(OCT) 장비를 이용하면 망막신경섬유층의 두께를 측정할 수 있으므로, 시신경유두 주변의 망막신경섬유층(peripapillary retinal nerve fiber layer: p-RNFL)의 영상도 얻을 수 있다. 그러나 종래 기술은 상기 영상정보로 객관적인 조기 녹내장 진단자료를 제공하지 못하는 한계가 있다.

미국 등록특허 US9,554,755호는 “조기 발현 녹내장을 예측하기 위한 방법, 시스템 및 컴퓨터 판독가능 매체”에 관한 것으로, 시간 및 스펙트럼 영역 빛간섭단층촬영(SD-OCT)으로 획득한 시신경유두(ONH), 시신경유두 주변의 망막신경섬유층(p-RNFL), 황반절 세포 내배엽층(macular ganglion cell-inner plexiform layer: GCIPL) 변수를 조합한 조기 녹내장 진단기술을 개시한다. 그러나 상기 특허는 영상이 아닌 SD-OCT 장비에서 나온 값을 넣고 특정한 계산식에 따라 녹내장 판별 점수를 추론하므로 복잡하고 직관적이지 않다는 한계가 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로, 빛간섭단층촬영(OCT) 영상 중 시신경유두 주변의 망막신경섬유층(p-RNFL) 영상에 딥 러닝(deep learning)을 적용하여 영상을 분류하고 녹내장 진행 정도를 예측하는 방법 및 시스템을 제공하고자 한다.

본 발명은, 녹내장 조기진단과 의심영역 표시 방법으로: 상기 방법은, 빛간섭단층촬영(OCT)으로 시신경유두(ONH) 주변의 망막신경섬유층(peripapillary retinal nerve fiber layer: p-RNFL)의 영상을 획득하는 단계; 상기 획득한 시신경유두 주변의 망막신경섬유층 영상을 딥 러닝(deep learning) 중 CNN(Convolutional Neural Network) 구조에 입력해 녹내장, 조기 녹내장, 또는 정상인 등급(class)으로 분류해 표시하고 특징 맵(feature map)과 상기 등급별 분류수치(classification score)를 추출하는 단계; 상기 분류수치의 구배(gradient)와 상기 특징 맵의 행렬곱(matrix multiplication)으로, 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)을 획득하는 단계; 상기 점진적 등급 활성 맵을 영상으로 표시하는 단계; 및 상기 점진적 등급 활성 맵 중 활성이 높은 곳을 의심영역으로 표시하는 단계를 포함하고, 상기 CNN 구조는 영상의 등급을 추정하도록 가중치(weight)를 조정할 수 있도록 역전파(back-propagation) 방법을 사용하는, 녹내장 조기진단과 의심영역 표시 방법을 제공한다.

본 발명은 또한, 상기 CNN 구조는 합성곱 필터(convolution filter)를 평면상에서 이동시키면서 영상 특징을 추출하고, 상기 추출된 영상을 활성함수 Relu에 통과시킨 뒤, Pooling으로 크기를 축소하는 과정을 반복하여 얻은 특징을 활용하는, 녹내장 조기진단과 의심영역 표시 방법을 제공한다.

본 발명은 또한, 상기 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)을 획득하는 단계는, 수식

을 알고리즘으로 구현하는, 녹내장 조기진단과 의심영역 표시 방법을 제공한다.

본 발명은 또한, 녹내장 조기진단과 의심영역 표시 시스템으로: 상기 시스템은, 데이터베이스를 구비한 관리서버 및 상기 관리서버와 유무선 네트워크로 연결되는, 디스플레이를 포함하는 컴퓨터장치를 포함하고, 상기 관리서버는, 상기 컴퓨터장치의 지시를 받아 빛간섭단층촬영(OCT) 장치가 획득한 시신경유두(ONH) 주변의 망막신경섬유층(peripapillary retinal nerve fiber layer: p-RNFL) 영상을 저장하는 영상획득부; 상기 영상획득부에 저장된 시신경유두 주변의 망막신경섬유층 영상을, 상기 컴퓨터장치의 지시를 받아 딥 러닝(deep learning) 중 CNN(Convolutional Neural Network) 구조에 입력해 녹내장, 조기 녹내장, 또는 정상인 등급(class)으로 분류해 상기 데이터베이스에 저장하고 상기 디스플레이에 표시하는 등급분류 및 표시부; 상기 등급분류 및 표시부의 시신경유두 주변의 망막신경섬유층 영상에 합성곱 연산을 하여 특징 맵(feature map)을 추출하고, 상기 등급별 분류수치(classification score)를 추출하는 특징 맵과 등급별 분류수치 추출부; 상기 컴퓨터장치의 지시를 받아, 상기 분류수치의 구배(gradient)와 상기 특징 맵의 행렬곱(matrix multiplication)으로 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)을 획득하는 등급 활성 맵 획득부; 상기 점진적 등급 활성 맵을, 상기 컴퓨터장치의 지시를 받아 상기 디스플레이에 영상으로 표시하는 활성 맵 영상표시부; 및 상기 점진적 등급 활성 맵 중 활성이 높은 곳을, 상기 컴퓨터장치의 지시를 받아 의심영역으로 표시하는 의심영역 표시부를 포함하고, 상기 CNN 구조는 영상의 등급을 추정하도록 가중치(weight)를 조정할 수 있도록 역전파(back-propagation) 방법을 사용하는, 녹내장 조기진단과 의심영역 표시를 위한 시스템을 제공한다.

본 발명은 또한, 상기 CNN 구조는 합성곱 필터(convolution filter)를 평면상에서 이동시키면서 영상 특징을 추출하고, 상기 추출된 영상을 활성함수 Relu에 통과시킨 뒤, Pooling으로 크기를 축소하는 과정을 반복하여 얻은 특징을 활용하는, 녹내장 조기진단과 의심영역 표시를 위한 시스템을 제공한다.

본 발명은 또한, 상기 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)을 획득하는 단계는, 수식

을 알고리즘으로 구현하는, 녹내장 조기진단과 의심영역 표시를 위한 시스템을 제공한다.

본 발명은 빛간섭단층촬영(OCT)으로 획득한 시신경유두 주변의 망막신경섬유층(p-RNFL) 영상을 딥러닝 중 CNN(Convolutional Neural Network)방법을 적용하여 정상(Normal), 조기 녹내장(early Glaucoma) 및 중-후기 녹내장(Severe Glaucoma)로 진단할 뿐 아니라, 모델상에서 진단을 내리게 된 이유가 되는 영상의 영역표시를 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)으로 하므로, 정확하고 빠른 보조진단의 역할을 할 수 있다.

도 1은 본 발명의 한 구현예에 따른, 딥러닝 중 CNN을 적용한 녹내장 진단 및 Grad-CAM을 이용한 진단의심영역 표시 알고리즘의 순서도이다.
도 2는 시신경유두 주변의 망막신경섬유층에 대한 빛간섭단층촬영(OCT) 영상이다.
도 3은 시신경유두 주변의 망막신경섬유층에 대한 빛간섭단층촬영(OCT)에서 획득한 정상(Normal), 조기 녹내장(early Glaucoma) 및 중-후기 녹내장(Severe Glaucoma) 상태 영상이다.
도 4는 본 발명의 한 구현예에 적용한, 딥러닝 중 CNN(Convolutional Neural Network) 구조이다.
도 5는 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)을 흰색 펠리칸 영상에 적용한 예시를 나타낸다.
도 6은 시신경유두 주변의 망막신경섬유층에 대한 빛간섭단층촬영(OCT) 영상에 대하여 구현된 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)을 나타낸다.
도 7은 본 발명의 일 구현예에 따른, 녹내장 조기진단과 의심영역 표시를 위한 시스템의 개념도를 나타낸다.

다양한 구현예가 도면을 참조하여 개시된다. 아래 설명에서는 하나 이상의 구현예에서 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나 각 구현예는 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점이 인식되어야 한다. 이후의 기재 및 첨부된 도면은 하나 이상의 구현예의 특정한 예시를 상세하게 기술한다. 하지만, 이러한 예시는 예시적인 것이고 다양한 구현예의 원리에서 다양한 방법 중 일부가 이용될 수 있으며 기술되는 설명은 그러한 구현예 및 균등물을 모두 포함하고자 하는 의도이다.

다양한 구현예 및 특징이 다수의 부품 및 구성부를 포함할 수 있는 장치에 의하여 제시될 것이다. 다양한 장치가 추가적인 부품, 구성부를 포함할 수 있고 그리고/또는 도면과 관련하여 논의된 부품, 구성부 모두를 포함할 수 없다는 점 또한 이해되고 인식되어야 한다.

본 명세서에서 사용되는 "실시예", "구현예", "예시" 등은 기술된 임의의 구현예 또는 설계가 다른 구현예 또는 설계보다 양호하다거나, 이점이 있는 것으로 해석되지 않아야 한다.

더불어, 용어 "또는"은 배타적 "또는"이 아니라 내포적 "또는"을 의미하는 것으로 의도된다. 즉, 달리 특정되지 않거나 문맥상 명확하지 않은 경우에, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 의도된다. 즉, X가 A를 이용하거나; X가 B를 이용하거나; 또는 X가 A 및 B 모두를 이용하는 경우, "X는 A 또는 B를 이용한다"가 각 경우 어느 것으로도 적용될 수 있다. 또한, 본 명세서에 사용된 "및/또는"이 라는 용어는 열거된 관련 항목 중 하나 이상의 항목의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징, 단계, 동작, 구성요소 및/또는 구성부가 존재함을 의미하지만, 하나 이상의 다른 특징, 단계, 동작, 구성요소, 구성부 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다. 또한, 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 본 명세서와 청구범위에서 단수는 일반적으로 "하나 또는 그 이상"을 의미하는 것으로 해석되어야 한다.

도 1은 본 발명의 한 구현예에 따른, 딥러닝 중 CNN을 적용한 녹내장 진단 및 Grad-CAM을 이용한 진단의심영역 표시 알고리즘의 순서도이다. 본 발명의 일 구현예에 따른 녹내장 조기진단과 의심영역 표시 방법은, 빛간섭단층촬영(OCT)으로 시신경유두(ONH) 주변의 망막신경섬유층(peripapillary retinal nerve fiber layer: p-RNFL)의 영상을 획득하는 단계에서 출발한다. 본 발명의 일 구현예에서 상기 획득한 시신경유두 주변의 망막신경섬유층 영상을 딥 러닝(deep learning) 중 CNN(Convolutional Neural Network) 구조에 입력해 녹내장, 조기 녹내장, 또는 정상인 등급(class)으로 분류해 표시하고 특징 맵(feature map)과 상기 등급별 분류수치(classification score)를 추출한다. 이렇게 추출한 상기 분류수치의 구배(gradient)와 상기 특징 맵의 행렬곱(matrix multiplication)으로, 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)을 획득한다. 본 발명의 일 구현예 에서는, 상기 점진적 등급 활성 맵을 영상으로 표시하며, 상기 점진적 등급 활성 맵 중 활성이 높은 곳을 의심영역으로 표시한다. 또한 상기 CNN 구조는 영상의 등급을 추정하도록 가중치(weight)를 조정할 수 있도록 역전파(back-propagation) 방법을 사용할 수 있다. 본 발명의 일 구현예에서, 상기 CNN은 학습되며, 상기 학습은 영상을 넣고 그 영상의 정답이 예를 들어 녹내장이라하면, CNN 구조가 영상에서 특징점들을 자동으로 추출하고, 레이블로 주어진 정답을 맞추도록 가중치(weight)를 바꾸면서 진행한다.

도 2는 시신경유두 주변의 망막신경섬유층에 대한 빛간섭단층촬영(OCT) 영상이이고, 도 3은 시신경유두 주변의 망막신경섬유층에 대한 빛간섭단층촬영(OCT)에서 획득한 정상(Normal), 조기 녹내장(early Glaucoma) 및 중-후기 녹내장(Severe Glaucoma) 상태 영상이다. 본 발명의 일 구현예에서, 상기 빛간섭단층촬영(OCT)으로 획득한 시신경유두(ONH) 주변의 망막신경섬유층(peripapillary retinal nerve fiber layer: p-RNFL)의 영상은 시신경유두 주변의 망막신경섬유층 두께를 색깔별 지도(color-map)로 표시한다. 본 발명의 일 구현예에서 녹내장 진단의 정답(ground truth)은 서울대학교 병원 안과 녹내장 전문의 3인의 의견을 기준으로 하였다.

도 4는 본 발명의 한 구현예에 적용한, 딥러닝 중 CNN(Convolutional Neural Network) 구조이다. 본 발명의 일 구현예에서, 상기 CNN 구조는 합성곱 필터(convolution filter)를 평면상에서 이동시키면서 영상 특징을 추출하고, 상기 추출된 영상을 활성함수 Relu에 통과시킨 뒤, Pooling으로 크기를 축소하는 과정을 반복하여 얻은 특징을 활용한다. 본 발명의 일 구현예에서 상기 CNN 구조는 이미지의 분별(Classification), 탐지(Detection), 분할(segmentation) 등에 응용되는 구조이고, 합성곱(Convolution)은 합성곱 필터(filter)를 우측과 아래로 이동시키면서, 이미지와 필터사이의 내적(Inner product)을 이용해 이미지 특징(feature)을 추출한다. 본 발명의 일 구현예에서 상기 추출된 이미지는 렐루(Relu)라는 활성함수(activation function)를 통과한다. 상기 활성함수를 통과한 특징 맵(feature map)들은 풀링(Pooling)이라는 과정을 통해 절반으로 크기가 줄어들며 합성곱, 활성함수, 풀링(Pooling)과정을 여러 번 거친 후에 얻어진 특징을 한 줄로 펴서, 완전 연결된 층(Fully connected layer)연산을 통해 등급(Class)의 개수만 큼 마디(node)수를 줄여서 분류(Classification)을 진행한다. 본 발명의 일 구현예에서, 상기 학습과정에서는 역전파(back-propagation)라는 방법을 통해, 예측하고자 하는 군집(class)의 이미지를 추정하도록 가중치(weight)값을 조정한다. 발명에서는 Classification용으로 OCT이미지의 p-RNFL이미지를 crop하여 CNN의 input으로 사용하고, CNN 구조를 이용하여 녹내장, 조기 녹내장, 정상 3가지로 분류한다.

도 5는 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)을 흰색 펠리칸 영상에 적용한 예시를 나타낸다. 본 발명의 일 구현예에서 상기 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)을 획득하는 단계는, 수식

을 알고리즘으로 구현한다. 상기 수식은 공지된 것으로, 본 발명의 출원 전(2018년 1월 12일 공지)에 전기통신회선을 통해 공중이 이용가능한 정보인 인터넷 게시글 [Grad-CAM: 대선주자 얼굴 위치 추적기] (URL: https://jsideas.net/grad_cam/) 등에서 확인 가능하다. 상기 수식에서

은 설계한 CNN 구조의 마지막 단인 완전 연결된 층(Fully connected layer)의 정규화 하지 않은 출력 값이고,

은 설계한 CNN의 k번째에 있는 특징 맵(feature map)이다. 또한, 상기

는, 상기

가

에 대해 가지는 gradient값인

을 모두 더한 다음 평균을 구한 값이다. 최종으로 얻을 Grad-cam값은

에

곱해서 모두 더한 다음, 음의 값을 0으로 만드는 활성함수(activation function) ReLU를 통과시킨다.
본 발명의 일 구현예에서 상기 분류가 완료된 후에, 내부의 가중치(weight)와 특징 맵(feature map)을 이용해 각각의 클래스에 대한 활성도를 이미지로 표시해 주며, 여기서 특징 맵(feature map)은 이미지에 합성곱 연산을 한 뒤 만들어진 특징(feature)들을 의미한다. 본 발명의 일 구현예에서 상기 점진적 등급 활성 맵(Grad-CAM)을 구하는 방법은 합성곱(convolution)을 통과한 특징 맵(feature map)과 각각의 등급에 대한 특정 클래스로 분류할 점수(logit값)의 구배(gradient)에 합성곱(convolution)을 통과한 특징 맵(feature map)의 곱을 이용해 구한다. 본 발명의 일 구현예에서 상기 점진적 등급 활성 맵(Grad-CAM)은, 기존에 나와 있던 등급 활성 맵(CAM)이라는 구조가 범용적으로 사용될 수 없다는 단점을 극복하고 거의 모든 CNN구조에서 사용 가능하다. 이와 같은 방법으로 뽑은 점진적 등급 활성 맵(Grad-CAM)을 원본이미지 사이즈로 바꿔서 겹치면, 원본 이미지 중에 어떤 부분 때문에 특정 클래스와 분류 되었는지 확인할 수 있다.

도 6은 시신경유두 주변의 망막신경섬유층에 대한 빛간섭단층촬영(OCT) 영상에 대하여 구현된 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)을 나타낸다. 도 6(a)는 원본 영상이고, 6(b)는 활성화가 많이 된 부분을 박스로 표시한 영상이며, 6(c)는 점진적 등급 활성 맵, 6(d)는 점진적 등급 활성 맵을 투명하게 하여 겹친 영상이다. 상기 원본 영상에서 빨간색은 망막신경섬유층의 두께가 두껍고, 파란색은 망막신경섬유층의 두께가 얇은 부분을 의미한다. 망막신경섬유층의 두께가 얇아진, 즉 파란색으로 나타나는 구역의 위치와 범위, 패턴 등을 종합적으로 고려하여 녹내장 여부를 평가한다. 상기 구현된 Grad-CAM의 활성 영역을 보면, 의사들의 관심 영역인 Supero-Temporal(점진적 등급 활성 맵인 도 6(c)의 왼쪽 위)와 Infero-Temporal(점진적 등급 활성 맵인 도6(c)의 왼쪽 아래) 부분에 활성이 많이 일어나는 것을 확인 할 수 있다. 상기 영상자료를 통해, 딥러닝 상의 녹내장 진단 근거와 임상의가 녹내장 진단에 중요하다고 판단하는 영역이 상당히 일치하는 것을 확인할 수 있으며, 이에 따라 알지 못하는(unknown) 영상을 모델에 넣어 점진적 등급 활성 맵(Grad-CAM)영역을 뽑아 보면 시신경이 얇아진 부분을 박스 영역으로 표시할 수 있어서, 임상의가 의심 영역을 보고 빠르고 정확하게 녹내장 진단을 내리는데 도움을 줄 수 있게 된다. 본 발명의 일 구현예에서 학습된 CNN 구조에서 시험(test)단계에 특징 맵(feature map), 등급별 분류수치(classification score)를 추출하고, 상기 수식에 나온 수식을 알고리즘상에 구현하여, 점진적 등급 활성 맵(Grad-CAM)을 구현하였다.

도 7은 본 발명의 일 구현예에 따른, 녹내장 조기진단과 의심영역 표시를 위한 시스템의 개념도를 나타낸다. 본 발명의 일 구현예에서, 상기 시스템은, 데이터베이스를 구비한 관리서버(1) 및 상기 관리서버와 유무선 네트워크(100)로 연결되는, 디스플레이를 포함하는 컴퓨터장치(300)를 포함하고, 상기 관리서버(1)는, 상기 컴퓨터장치의 지시를 받아 본 발명 구성요소에 속하지 않을 수 있는 빛간섭단층촬영(OCT) 장치(200)가 획득한 시신경유두(ONH) 주변의 망막신경섬유층(peripapillary retinal nerve fiber layer: p-RNFL) 영상을 상기 유무선 네트워크로 전달받아 저장하는 영상획득부(10); 상기 영상획득부에 저장된 시신경유두 주변의 망막신경섬유층 영상을, 상기 컴퓨터장치의 지시를 받아 딥 러닝(deep learning) 중 CNN(Convolutional Neural Network) 구조에 입력해 녹내장, 조기 녹내장, 또는 정상인 등급(class)으로 분류해 상기 데이터베이스에 저장하고 상기 디스플레이에 표시하는 등급분류 및 표시부(20); 상기 등급분류 및 표시부의 시신경유두 주변의 망막신경섬유층 영상에 합성곱 연산을 하여 특징 맵(feature map)을 추출하고, 상기 등급별 분류수치(classification score)를 추출하는 특징 맵과 등급별 분류수치 추출부(30); 상기 컴퓨터장치의 지시를 받아, 상기 분류수치의 구배(gradient)와 상기 특징 맵의 행렬곱(matrix multiplication)으로 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)을 획득하는 등급 활성 맵 획득부(40); 상기 점진적 등급 활성 맵을, 상기 컴퓨터장치의 지시를 받아 상기 디스플레이에 영상으로 표시하는 활성 맵 영상표시부(50); 및 상기 점진적 등급 활성 맵 중 활성이 높은 곳을, 상기 컴퓨터장치의 지시를 받아 의심영역으로 표시하는 의심영역 표시부(60)를 포함하고, 상기 CNN 구조는 영상의 등급을 추정하도록 가중치(weight)를 조정할 수 있도록 역전파(back-propagation) 방법을 사용하며, 합성곱 필터(convolution filter)를 평면상에서 이동시키면서 영상 특징을 추출하고, 상기 추출된 영상을 활성함수 Relu에 통과시킨 뒤, Pooling으로 크기를 축소하는 과정을 반복하여 얻은 특징을 활용한다. 또한, 상기 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)을 획득하는 단계는, 수식

을 알고리즘으로 구현한다.

이상의 설명은 본 발명의 기술 사상을 일 구현 예를 이용하여 설명한 것으로써, 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에서 설명된 구현 예는 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이런 구현 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

1. 데이터베이스를 구비한 관리서버
10. 영상획득부
20. 등급분류 및 표시부
30. 특징 맵과 등급별 분류수치 추출부
40. 등급 활성 맵 획득부
50. 활성 맵 영상표시부
60. 의심영역 표시부
100. 유무선 네트워크
200. 빛간섭단층촬영(OCT) 장치
300. 디스플레이를 포함하는 컴퓨터장치

Claims (6)

1. 컴퓨터 장치에 의해 수행되는 녹내장 조기진단과 의심영역 표시 방법으로:
   상기 방법은, 빛간섭단층촬영(OCT)으로 시신경유두(ONH) 주변의 망막신경섬유층(peripapillary retinal nerve fiber layer: p-RNFL)의 영상을 획득하는 단계;
   상기 획득한 시신경유두 주변의 망막신경섬유층 영상을 딥 러닝(deep learning) 중 CNN(Convolutional Neural Network) 구조에 입력해 녹내장, 조기 녹내장, 또는 정상인 등급(class)으로 분류해 표시하고 특징 맵(feature map)과 상기 등급별 분류수치(classification score)를 추출하는 단계;
   상기 분류수치의 구배(gradient)와 상기 특징 맵의 행렬곱(matrix multiplication)으로, 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)을 획득하는 단계;
   상기 점진적 등급 활성 맵을 영상으로 표시하는 단계; 및
   상기 점진적 등급 활성 맵 중 활성이 높은 곳을 의심영역으로 표시하는 단계를 포함하고,
   상기 빛간섭단층촬영(OCT)으로 획득한 시신경유두(ONH) 주변의 망막신경섬유층(peripapillary retinal nerve fiber layer: p-RNFL)의 영상은 시신경유두 주변의 망막신경섬유층 두께를 색깔별 지도(color-map)로 표시하며,
   상기 CNN 구조는 영상의 등급을 추정하도록 가중치(weight)를 조정할 수 있도록 역전파(back-propagation) 방법을 사용하며, 합성곱 필터(convolution filter)를 평면상에서 이동시키면서 영상 특징을 추출하고, 상기 추출된 영상을 활성함수 Relu에 통과시킨 뒤, Pooling으로 크기를 축소하는 과정을 반복하여 얻은 특징을 활용하고,
   상기 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)을 획득하는 단계는, 수식
   

   

   
   을 알고리즘으로 구현하며,
   상기 수식에서

   

   은 설계한 CNN 구조의 마지막 단인 완전 연결된 층(Fully connected layer)의 정규화 하지 않은 출력 값이고,

   

   은 설계한 CNN의 k번째에 있는 특징 맵(feature map)이며, ReLU는 음의 값을 0으로 만드는 활성함수(activation function)인,
   녹내장 조기진단과 의심영역 표시 방법.
   
2. 삭제
3. 삭제
4. 녹내장 조기진단과 의심영역 표시 시스템으로:
   상기 시스템은, 데이터베이스를 구비한 관리서버 및 상기 관리서버와 유무선 네트워크로 연결되는, 디스플레이를 포함하는 컴퓨터장치를 포함하고,
   상기 관리서버는, 상기 컴퓨터장치의 지시를 받아 빛간섭단층촬영(OCT) 장치가 획득한 시신경유두(ONH) 주변의 망막신경섬유층(peripapillary retinal nerve fiber layer: p-RNFL) 영상을 상기 유무선 네트워크로 전달받아 저장하는 영상획득부;
   상기 영상획득부에 저장된 시신경유두 주변의 망막신경섬유층 영상을, 상기 컴퓨터장치의 지시를 받아 딥 러닝(deep learning) 중 CNN(Convolutional Neural Network) 구조에 입력해 녹내장, 조기 녹내장, 또는 정상인 등급(class)으로 분류해 상기 데이터베이스에 저장하고 상기 디스플레이에 표시하는 등급분류 및 표시부;
   상기 등급분류 및 표시부의 시신경유두 주변의 망막신경섬유층 영상에 합성곱 연산을 하여 특징 맵(feature map)을 추출하고, 상기 등급별 분류수치(classification score)를 추출하는 특징 맵과 등급별 분류수치 추출부;
   상기 컴퓨터장치의 지시를 받아, 상기 분류수치의 구배(gradient)와 상기 특징 맵의 행렬곱(matrix multiplication)으로 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)을 획득하는 등급 활성 맵 획득부;
   상기 점진적 등급 활성 맵을, 상기 컴퓨터장치의 지시를 받아 상기 디스플레이에 영상으로 표시하는 활성 맵 영상표시부; 및
   상기 점진적 등급 활성 맵 중 활성이 높은 곳을, 상기 컴퓨터장치의 지시를 받아 의심영역으로 표시하는 의심영역 표시부를 포함하고,
   상기 빛간섭단층촬영(OCT) 장치가 획득한 시신경유두(ONH) 주변의 망막신경섬유층(peripapillary retinal nerve fiber layer: p-RNFL) 영상은 시신경유두 주변의 망막신경섬유층 두께를 색깔별 지도(color-map)로 표시하며,
   상기 CNN 구조는 영상의 등급을 추정하도록 가중치(weigt)를 조정할 수 있도록 역전파(back-propagation) 방법을 사용하며, 합성곱 필터(convolution filter)를 평면상에서 이동시키면서 영상 특징을 추출하고, 상기 추출된 영상을 활성함수 Relu에 통과시킨 뒤, Pooling으로 크기를 축소하는 과정을 반복하여 얻은 특징을 활용하고,
   상기 점진적 등급 활성 맵(Gradient Class Activation Map: Grad-CAM)을 획득하는 단계는, 수식
   

   

   
   을 알고리즘으로 구현하며,
   상기 수식에서

   

   은 설계한 CNN 구조의 마지막 단인 완전 연결된 층(Fully connected layer)의 정규화 하지 않은 출력 값이고,

   

   은 설계한 CNN의 k번째에 있는 특징 맵(feature map)이며, ReLU는 음의 값을 0으로 만드는 활성함수(activation function)인,
   녹내장 조기진단과 의심영역 표시를 위한 시스템.
5. 삭제
6. 삭제

Images