KR102410292B1

KR102410292B1 - 신장 기능 이상을 검출하는 심층 신경망 기반 망막 영상 분석 방법 및 장치

Info

Publication number: KR102410292B1
Application number: KR1020200063816A
Authority: KR
Inventors: 이용훈; 이기원; 남상민; 한현욱
Original assignee: 주식회사 스파이더코어
Priority date: 2020-05-27
Filing date: 2020-05-27
Publication date: 2022-06-17
Also published as: KR20210146690A; WO2021241830A1

Abstract

신장 기능 이상을 검출하는 심층 신경망 기반 망막 영상 분석 방법 및 장치가 제시된다. 일 실시예에 따른 심층 신경망 기반 망막 영상 분석 방법은, 망막 영상을 이용하여 신장 기능의 이상을 검출하기 위해, 망막 영상을 전처리하는 단계; 전처리된 상기 망막 영상을 이용하여 심층 신경망을 통해 신장 기능의 이상 유무를 학습하는 단계; 및 학습된 상기 심층 신경망을 이용하여 신장 기능의 이상 유무를 보고하는 단계를 포함하고, 상기 신장 기능의 이상 유무를 보고하고, 보고 근거를 제공하여 사용자의 판단을 도울 수 있다.

Description

신장 기능 이상을 검출하는 심층 신경망 기반 망막 영상 분석 방법 및 장치{Deep Neural Network based Retinal Image Analysis Method and Apparatus for Detection of Abnormal Kidney Function}

아래의 실시예들은 신장 기능 이상을 검출하는 심층 신경망 기반 망막 영상 분석 방법 및 장치에 관한 것으로, 더욱 상세하게는 망막 영상을 인공지능으로 분석하여 의사가 육안으로는 획득할 수 없었던 신장 기능 이상에 대한 정보를 제공하는 심층 신경망 기반 망막 영상 분석 방법 및 장치에 관한 것이다.

심층 신경망은 다양한 의료 영상 분석에 이용되고 있다. 망막 영상에 대해서는 당뇨병성 망막증을 진단하는 연구가 있는데, 69,573명의 환자에서 얻은 128,175장의 사진을 사용해서 Inception-v3(비특허문헌 1)로 학습한 후 안과 전문의와 비슷한 수준의 진단 정확도를 보였다. 최근에는 심층 신경망을 이용해 망막 영상으로 망막 질환뿐 아니라 심혈관 질환을 예측하는 연구도 보고되었다.

한국등록특허 10-2058883호는 이러한 당뇨병 및 전조 증상을 진단하기 위해 홍채 영상 및 망막 영상을 인공지능으로 분석하는 방법을 기재하고 있다.

종래 기술은 망막 영상을 통해 당뇨성 망막 변증을 진단하는 인공지능 기술을 제안하였다. 이는 의사가 육안으로도 가능한 기술로, 해당 알고리즘은 의사와 비슷한 성능 결과를 보인다. 이에 따라 의사의 육안으로는 판단할 수 없는 인공지능만의 특화된 기술을 통해 망막 영상을 통해 신장 이상을 진단하는 기술이 요구된다.

한국등록특허 10-2058883호

Christian Szegedy, et. al. "Rethinking the inception architecture for computer vision." In Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR). pp. 2818-2826, 2016. Kaiming He, et. al. "Deep residual learning for image recognition." In Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR). 2016. Sergey Zagoruyko, and Nikos Komodakis. "Wide residual networks." In Proceedings of the British Machine Vision Conference (BMVC), 2016.

실시예들은 신장 기능 이상을 검출하는 심층 신경망 기반 망막 영상 분석 방법 및 장치에 관하여 기술하며, 보다 구체적으로 망막 영상을 인공지능으로 분석하여 의사가 육안으로는 획득할 수 없었던 신장 기능 이상에 대한 정보를 제공하는 기술을 제공한다.

실시예들은 망막 영상 및 환자의 의료 정보를 활용하여 신장 질환을 비침습적으로 진단할 수 있는 심층 신경망 구조 및 학습법을 제공함으로써, 채혈과 혈액분석 등에 필요한 전문 인력, 시료, 분석 장비 등 없이 간단한 영상 촬영만으로 신장 기능 이상을 검출할 수 있는, 신장 기능 이상을 검출하는 심층 신경망 기반 망막 영상 분석 방법 및 장치를 제공하는데 있다.

컴퓨터로 구현된 심층 신경망 기반 망막 영상 분석 장치를 이용한 심층 신경망 기반 망막 영상 분석 방법은, 망막 영상을 이용하여 신장 기능의 이상을 검출하기 위해, 망막 영상을 전처리하는 단계; 전처리된 상기 망막 영상을 이용하여 심층 신경망을 통해 신장 기능의 이상 유무를 학습하는 단계; 및 학습된 상기 심층 신경망을 이용하여 신장 기능의 이상 유무를 보고하는 단계를 포함하고, 상기 신장 기능의 이상 유무를 보고하고, 보고 근거를 제공하여 사용자의 판단을 도울 수 있다.

상기 망막 영상을 전처리하는 단계는, 상기 망막 영상을 상기 심층 신경망에 사용하기 위해, 상기 망막 영상들의 해상도를 통일하고, 명도를 측정하여 기설정된 기준 이하의 낮은 명도를 가지는 망막 영상을 제거할 수 있다.

상기 심층 신경망을 통해 신장 기능의 이상 유무를 학습하는 단계는, 상기 심층 신경망의 성능을 향상시키기 위해 나이, 성별, 당뇨병 유무 및 고혈압 유무 중 적어도 어느 하나 이상의 환자의 의료 정보 데이터를 상기 심층 신경망과 결합하여 함께 학습할 수 있다.

상기 심층 신경망을 통해 신장 기능의 이상 유무를 학습하는 단계는, 상기 환자의 의료 정보 데이터를 신장 기능 이상 유무와 함께 예측하도록 합성곱 신경망(Convolutional Neural Network, CNN)을 학습할 수 있다.

상기 심층 신경망을 통해 신장 기능의 이상 유무를 학습하는 단계는, 상기 환자의 나이 정보를 합성곱 신경망(Convolutional Neural Network, CNN)의 특징 벡터에 결합하여 학습할 수 있다.

상기 심층 신경망을 통해 신장 기능의 이상 유무를 학습하는 단계는, 상기 신장 기능의 이상 유무의 판단 기준으로 혈청 크레아티닌 농도로부터 CKD(Chronic Kidney Disease) 계산법에 의해 산출된 eGFR(estimated Glomerular Filtration Rate) 값을 이용할 수 있다.

상기 심층 신경망을 이용하여 신장 기능의 이상 유무를 보고하는 단계는, 상기 eGFR 값이 60보다 낮을 때는 조기 이상으로 보고하고, 상기 eGFR 값이 30보다 낮을 때는 중기 이상으로 보고할 수 있다.

상기 심층 신경망을 이용하여 신장 기능의 이상 유무를 보고하는 단계는, 상기 심층 신경망의 학습 시 사용된 상기 망막 영상의 기울기를 계산하여 상기 심층 신경망이 주의 깊게 살펴본 부분을 상기 망막 영상 위에 표시할 수 있다.

상기 심층 신경망을 이용하여 신장 기능의 이상 유무를 보고하는 단계는, 신장 이상 확률을 나타내는 상기 심층 신경망의 출력값을 스레싱홀딩(thresholding)하여 사진 판독에 대한 신뢰성을 평가하거나 판독 불가로 보고할 수 있다.

상기 심층 신경망을 이용하여 신장 기능의 이상 유무를 보고하는 단계는, 상기 신장 기능의 이상 유무의 판단 시, 좌안과 우안의 결과를 취합하여 환자의 신장 기능 이상 여부를 보고할 수 있다.

상기 심층 신경망을 이용하여 신장 기능의 이상 유무를 보고하는 단계는, 상기 망막 영상을 상기 심층 신경망을 통해 분석하여, 신장 기능의 현재 상태 및 미래의 신장 기능에 대한 예후 및 예측을 보고할 수 있다.

상기 심층 신경망을 이용하여 신장 기능의 이상 유무를 보고하는 단계는, 현재 신장 기능의 조기 이상, 중기 이상, 및 미래의 신장 기능에 대한 예후 및 예측에 대한 3가지 정보를 하나의 상기 심층 신경망을 통해 동시에 보고할 수 있다.

다른 실시예에 따른 심층 신경망 기반 망막 영상 분석 장치는, 망막 영상을 이용하여 신장 기능의 이상을 검출하기 위해, 망막 영상을 전처리하는 전처리부; 전처리된 상기 망막 영상을 이용하여 심층 신경망을 통해 신장 기능의 이상 유무를 학습하는 학습부; 및 학습된 상기 심층 신경망을 이용하여 신장 기능의 이상 유무를 보고하는 판단부를 포함하고, 상기 신장 기능의 이상 유무를 보고하고, 보고 근거를 제공하여 사용자의 판단을 도울 수 있다.

상기 학습부는, 상기 심층 신경망의 성능을 향상시키기 위해 나이, 성별, 당뇨병 유무 및 고혈압 유무 중 적어도 어느 하나 이상의 환자의 의료 정보 데이터를 상기 심층 신경망과 결합하여 함께 학습할 수 있다.

상기 학습부는, 상기 신장 기능의 이상 유무의 판단 기준으로 혈청 크레아티닌 농도로부터 CKD(Chronic Kidney Disease) 계산법에 의해 산출된 eGFR(estimated Glomerular Filtration Rate) 값을 이용할 수 있다.

실시예들에 따르면 망막 영상 및 환자의 의료 정보를 활용하여 신장 질환을 비침습적으로 진단할 수 있는 심층 신경망 구조 및 학습법을 제공함으로써, 채혈과 혈액분석 등에 필요한 전문 인력, 시료, 분석 장비 등 없이 간단한 영상 촬영만으로 신장 기능 이상을 검출할 수 있는, 신장 기능 이상을 검출하는 심층 신경망 기반 망막 영상 분석 방법 및 장치를 제공할 수 있다.

또한, 실시예들에 따르면 당뇨병 환자에서 정기적으로 시행하고 있는 안저 촬영을 통해 당뇨병성 신증에 의한 신장 기능 저하를 동시에 검출할 수 있어 당뇨병성 합병증을 보다 효과적으로 관리할 수 있는, 신장 기능 이상을 검출하는 심층 신경망 기반 망막 영상 분석 방법 및 장치를 제공할 수 있다.

도 1은 일 실시예에 따른 심층 신경망 기반 망막 영상 분석 방법을 나타내는 흐름도이다.
도 2는 일 실시예에 따른 심층 신경망 기반 망막 영상 분석 장치의 블록도를 나타내는 도면이다.
도 3은 일 실시예에 따른 심층 신경망 구조에 대한 예시를 나타내는 도면이다.
도 4는 일 실시예에 따른 의료 정보 임베딩 방식을 나타내는 도면이다.
도 5는 일 실시예에 따른 사진 사이즈 조절 전처리 과정을 나타내는 도면이다.
도 6a 및 도 6b는 일 실시예에 따른 eGFR 60 기준 ROC 곡선을 나타내는 도면이다.
도 7a 및 도 7b는 일 실시예에 따른 eGFR 30 기준 ROC 곡선을 나타내는 도면이다.
도 8a 및 도 8b는 일 실시예에 따른 심층 신경망의 Attention Map을 나타내는 도면이다.
도 9a 및 도 9b는 일 실시예에 따른 미래 신장 기능 예후/예측 ROC 곡선을 나타내는 도면이다.
도 10은 일 실시예에 따른 심층 신경망으로 판독하기 어려운 사진의 예시를 나타내는 도면이다.

이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

아래의 실시예들은 심층 신경망(Deep Neural Network, DNN) 기반 인공지능을 활용하는 지능형 판독시스템이자 디지털 진단기기로, 보건의료 분야 중 신장학에 속하는 신장 기능 이상을 감각기학에 속하는 망막 영상을 통해 검출할 수 있게 해주는 보건의료기술이다.

실시예들은 신장 기능 이상을 검출하는 심층 신경망 기반 망막 영상 분석 방법 및 장치에 관한 것으로, 망막 영상을 통해 신장 이상을 진단하는 인공지능 기술을 제안하였고, 이는 의사의 육안으로는 판단할 수 없는 인공지능만의 특화된 기술이다. 실시예들에 따르면 망막 영상뿐만 아니라 환자의 의료 정보를 함께 활용할 수 있다.

도 1은 일 실시예에 따른 심층 신경망 기반 망막 영상 분석 방법을 나타내는 흐름도이다.

도 1을 참조하면, 일 실시예에 따른 심층 신경망 기반 망막 영상 분석 방법은, 망막 영상을 이용하여 신장 기능의 이상을 검출하기 위해, 망막 영상을 전처리하는 단계(S110), 전처리된 망막 영상을 이용하여 심층 신경망을 통해 신장 기능의 이상 유무를 학습하는 단계(S120), 및 학습된 심층 신경망을 이용하여 신장 기능의 이상 유무를 보고하는 단계(S130)를 포함하고, 신장 기능의 이상 유무를 보고하고, 보고 근거를 제공하여 사용자의 판단을 도울 수 있다.

실시예들에 따르면 망막 영상 및 환자의 의료 정보를 활용하여 신장 질환을 비침습적으로 진단할 수 있는 심층 신경망 구조 및 학습법을 제공함으로써, 채혈과 혈액분석 등에 필요한 전문 인력, 시료, 분석 장비 등 없이 간단한 영상 촬영만으로 신장 기능 이상을 검출할 수 있다.

아래에서 일 실시예에 따른 심층 신경망 기반 망막 영상 분석 방법의 각 단계를 설명한다.

일 실시예에 따른 심층 신경망 기반 망막 영상 분석 방법은 컴퓨터 시스템에 의해 수행될 수 있으며, 예를 들어 컴퓨터 시스템의 프로세서가 포함할 수 있는 구성요소에 의해 수행될 수 있다. 컴퓨터 시스템의 프로세서의 예로써, 일 실시예에 따른 심층 신경망 기반 망막 영상 분석 장치를 예를 들어 일 실시예에 따른 심층 신경망 기반 망막 영상 분석 방법을 보다 상세히 설명할 수 있다.

도 2는 일 실시예에 따른 심층 신경망 기반 망막 영상 분석 장치의 블록도를 나타내는 도면이다.

도 2를 참조하면, 일 실시예에 따른 심층 신경망 기반 망막 영상 분석 장치(200)는 전처리부(210), 학습부(220) 및 판단부(230)를 포함하여 이루어질 수 있다.

단계(S110)에서, 전처리부(210)는 망막 영상을 이용하여 신장 기능의 이상을 검출하기 위해 망막 영상을 전처리 할 수 있다.

보다 구체적으로, 전처리부(210)는 망막 영상을 심층 신경망에 사용하기 위해 망막 영상들의 해상도를 통일하고, 명도를 측정하여 기설정된 기준 이하의 낮은 명도를 가지는 망막 영상을 제거함으로써 품질이 좋은 망막 영상을 선별할 수 있다. 또한, 전처리부(210)는 사진 가장자리 모양을 동일하게 조정할 수 있다. 그리고 전처리부(210)는 망막 부분을 탐색한 후, 탐색된 망막의 지름이 동일한 픽셀이 되도록 사이즈를 조절한 후 잘라내어 사용할 수 있다.

단계(S120)에서, 학습부(220)는 전처리된 망막 영상을 이용하여 심층 신경망을 통해 신장 기능의 이상 유무를 학습할 수 있다.

학습부(220)는 심층 신경망의 성능을 향상시키기 위해 나이, 성별, 당뇨병 유무 및 고혈압 유무 중 적어도 어느 하나 이상의 환자의 의료 정보 데이터를 심층 신경망과 결합하여 함께 학습할 수 있다. 학습부(220)는 환자의 의료 정보 데이터를 신장 기능 이상 유무와 함께 예측하도록 합성곱 신경망(Convolutional Neural Network, CNN)을 학습할 수 있다. 예를 들어, 학습부(220)는 환자의 나이 정보를 합성곱 신경망(CNN)의 특징 벡터에 결합하여 학습할 수 있다. 또한, 학습부(220)는 환자의 의료 정보 데이터를 특징 벡터와 같은 사이즈로 임베딩하여 특징 벡터에 마스킹할 수 있다. 그리고, 학습부(220)는 환자의 의료 정보 데이터를 레이블로 활용하거나, 입력 이미지의 채널로 사용할 수도 있다. 이 때, 나이에 대한 정보는 연속적인 값을 가지므로 언제나 합성곱 신경망(CNN)의 특징 벡터에 결합시켜 사용할 수 있다.

학습부(220)는 최종적으로 얻어진 특징 벡터를 완전연결(fully-connected) 레이어를 통과시켜 얻어진 값과 레이블을 교차 엔트로피(cross-entropy)로 계산하여 손실 함수를 정의하고 최소화하여 신경망을 학습할 수 있다.

또한, 학습부(220)는 신장 기능의 이상 유무의 판단 기준으로 혈청 크레아티닌 농도로부터 CKD(Chronic Kidney Disease) 계산법에 의해 산출된 eGFR(estimated Glomerular Filtration Rate) 값을 이용할 수 있다. 이 때, eGFR 값이 60보다 낮을 때는 조기 이상으로 보고하고, eGFR 값이 30보다 낮을 때는 중기 이상으로 보고할 수 있다.

단계(S130)에서, 판단부(230)는 학습된 심층 신경망을 이용하여 신장 기능의 이상 유무를 보고할 수 있다. 이 때, 판단부(230)는 신장 기능의 이상 유무의 판단 시, 좌안과 우안의 결과를 취합하여 해당 환자의 신장 기능 이상 여부를 보고할 수 있다. 이러한 판단부(230)는 신장 기능의 이상 유무를 보고하고, 보고 근거를 제공하여 사용자의 판단을 도울 수 있다.

전처리 과정에서 사진의 명도가 낮아서 판독하기 어려운 사진을 제거하였지만, 추가적으로 사진의 질이 낮아 판독하기 어려운 경우가 있다. 이에 따라 판단부(230)는 신장 이상 확률을 나타내는 심층 신경망의 출력값(예측 확률치)을 스레싱홀딩(thresholding)하여 안저 사진 판독에 대한 신뢰성을 평가하거나 판독 불가로 보고할 수 있다.

판단부(230)는 망막 영상을 심층 신경망을 통해 분석하여, 신장 기능의 현재 상태뿐만 아니라, 미래의 신장 기능에 대한 예후 및 예측을 보고할 수 있다. 여기서, 판단부(230)는 현재 신장 기능의 조기 이상, 중기 이상 그리고 미래의 신장 기능에 대한 예후 및 예측을 독립적으로 보고하는 것이 아니라, 3가지 정보를 하나의 신경망을 통해 동시에 보고할 수 있다.

또한, 판단부(230)는 심층 신경망의 학습 시 사용된 망막 영상의 기울기를 계산하여 심층 신경망이 주의 깊게 살펴본 부분을 망막 영상 위에 표시할 수 있다.

도 3은 일 실시예에 따른 심층 신경망 구조에 대한 예시를 나타내는 도면이다.

실시예들은 망막 영상 및 환자의 의료 정보를 활용하여 신장 질환을 비침습적으로 진단할 수 있는 심층 신경망 구조와 학습법에 대해서 제안한다. 사용된 심층 신경망 구조는 ResNet(비특허문헌 2) 구조를 개선한 Wide Residual Network(WRN)(비특허문헌 3)을 기반으로 한다. WRN 구조는 여러 개의 순환층(convolutional layer)으로 구성된 잔차 블록(residual block)으로 구성될 수 있다.

일 실시예에 따른 심층 신경망 구조는 WRN을 기반으로 구성될 수 있으며, WRN 구조에 대한 예시를 도 3에 도시된 바와 같이 나타낼 수 있다.

심층 신경망 학습을 더 잘 학습시키기 위해 나이, 성별, 당뇨 유무, 고혈압 유무와 같은 환자의 의료 정보 데이터를 부가적으로 사용할 수 있다. 환자의 의료 정보 데이터의 부가 정보는 다양한 방법으로 활용될 수 있다.

도 4는 일 실시예에 따른 의료 정보 임베딩 방식을 나타내는 도면이다.

도 4a 내지 도 4d를 참조하면, 일 실시예에 따른 환자의 의료 정보 데이터의 사용 예시, 즉 의료 정보 임베딩 방식을 나타낸다. 도 4a에 도시된 바와 같이, 예를 들어, 환자의 의료 정보 데이터를 합성곱 신경망(Convolutional Neural Network, CNN)의 특징 벡터에 결합(Type 1)시킬 수 있다. 여기서, 환자의 의료 정보 데이터는, 앞에서 설명한 바와 같이, 나이, 성별, 당뇨 유무, 고혈압 유무 등이 될 수 있다. 그리고, 합성곱 신경망(CNN)은 순환 신경망(Recurrent Neural Network, RNN) 등의 심층 신경망 구조로 대체될 수 있다. 도 4b에 도시된 바와 같이, 환자의 의료 정보 데이터는 특징 벡터와 같은 사이즈로 임베딩되어 특징 벡터에 마스킹(Type 2)될 수 있다. 또한, 도 4c에 도시된 바와 같이, 환자의 의료 정보 데이터는 레이블로 활용(Type 3)될 수 있으며, 도 4d에 도시된 바와 같이, 환자의 의료 정보 데이터는 입력 이미지의 채널로 사용(Type 4)될 수 있다. 이 중, 나이에 대한 정보는 연속적인 값을 가지므로 언제나 합성곱 신경망(CNN)의 특징 벡터에 결합되어 사용될 수 있다.

최종적으로 얻어진 벡터를 완전연결(fully-connected) 레이어를 통과시켜 얻어진 값과 레이블을 교차 엔트로피(cross-entropy)로 계산하여 손실 함수를 정의하고 최소화하여 신경망을 학습할 수 있다.

추가적으로, 전문의의 최종 판단을 돕기 위해 심층 신경망이 신장 이상 유무를 판단할 때 주의 깊게 살펴본 부분을 망막 영상에 표시하는 기능을 포함할 수 있다. 심층 신경망의 최종 출력에 대한 입력 사진의 기울기(gradient)를 계산하여, 기울기 값이 특정 스레시홀드(threshold) 이상의 값을 가지는 픽셀을 표시할 수 있다. 스레시홀드는 주어진 망막 영상의 밝기에 따라 적응적(adaptive)으로 적용될 수 있다.

실시예

망막 영상과 환자의 의료 정보를 활용하여 신장 질환을 진단하는 심층 신경망을 학습하고, 학습된 신경망의 성능을 확인하였다. 데이터는 75,663명의 환자에 대한 266,579장의 망막 사진으로 구성되어 있다. 추가적으로 각 환자에 대한 의료 정보가 존재하며, 포함하고 있는 정보는 다음과 같다.

[표 1]

전체 데이터를 실험을 위해 환자를 기준으로 랜덤하게 9:1의 비율로 Development set과 Test set으로 나누었다. 이 경우 Development set에는 68,096명의 환자가 포함되고, Test set에는 7,567명의 환자가 포함된다. 그리고 Development set을 다시 8:2의 비율로 Training set과 Validation set으로 나누어 5-cross validation 방식으로 학습을 수행하였다.

수집된 망막 사진을 심층 신경망에 사용할 수 있도록 전처리 과정을 거쳤다. 망막 사진의 해상도가 촬영된 기기에 따라 조금씩 다르므로 해상도를 통일하는 작업을 수행하였다. 우선, 허프 변환(Hough transform)을 통해 망막 부분을 탐색하고, 탐색된 망막의 지름이 400 픽셀이 되도록 사이즈를 조절한 후 잘라내어 사용하였다. 결과적으로 모든 사진은 400x400 사이즈로 조정되었다.

도 5는 일 실시예에 따른 사진 사이즈 조절 전처리 과정을 나타내는 도면이다.

도 5에 도시된 바와 같이, 사진 사이즈 조절에 대한 전처리 과정을 요약할 수 있다. 추가적으로 사진의 명도가 낮아서 정보를 얻을 수 없는 사진을 제거하였다. 모든 사진의 명도를 측정하여 분포를 구하고, 명도를 기준으로 (평균) - 2 (표준편차) 보다 낮은 명도를 가지는 사진을 제거하였다.

신장 기능은 eGFR(estimated Glomerular Filtration Rate) 값을 혈청 크레아티닌 농도로부터 계산하는데, 본 실시예에서는 다음 식과 같은 CKD(Chronic Kidney Disease) 계산법을 채택하였다.

[수학식 1]

여기서, Scr은 혈청 크레아티닌 농도를 의미하고, A, B, C는 다음 표 2와 같이 주어진다.

표 2는 CKD 방식에서의 파라미터 값을 나타낸다.

[표 2]

신장 기능 조기 이상 검출을 위해 eGFR < 60을, 중기 이상을 진단하기 위해서는 eGFR < 30을 설정한 후, 학습된 신경망 구조를 가지고 테스트 환자 군에 적용하여 AUC(Area Under the Curve) 성능을 측정하였다.

도 6a 및 도 6b는 일 실시예에 따른 eGFR 60 기준 ROC 곡선을 나타내는 도면이다. 보다 구체적으로, 도 6a는 eGFR 60 기준 ROC 곡선을 나타내고, 도 6b는 당뇨 또는 고혈압 환자 군에 대한 eGFR 60 기준 ROC 곡선을 나타낸다.

도 6a에 도시된 바와 같이, eGFR 60을 기준으로 했을 때 93.09%(95% 신뢰 구간: 92.59%-93.60%)의 결과를 얻었다.

또한, 도 6b에 도시된 바와 같이, 당뇨 또는 고혈압 환자 군에 대해서는 86.66%(95% 신뢰 구간: 85.53%-87.78%)의 결과를 얻었다.

도 7a 및 도 7b는 일 실시예에 따른 eGFR 30 기준 ROC 곡선을 나타내는 도면이다. 보다 구체적으로, 도 7a는 eGFR 30 기준 ROC 곡선을 나타내고, 도 7b는 당뇨 또는 고혈압 환자 군에 대한 eGFR 30 기준 ROC 곡선을 나타낸다.

도 7a에 도시된 바와 같이, eGFR 30을 기준으로 했을 때 96.67%(95% 신뢰 구간:96.10%-97.24%)의 결과를 얻었다.

또한, 도 7b에 도시된 바와 같이, 당뇨 또는 고혈압 환자 군에 대해서는 93.87%(95% 신뢰 구간: 92.67%-95.07%)의 결과를 얻었다.

도 8a 및 도 8b는 일 실시예에 따른 심층 신경망의 Attention Map을 나타내는 도면이다.

도 8a 및 도 8b를 참조하면, 학습된 심층 신경망이 신장 이상 유무를 판독할 때 주의 깊게 살펴보는 부분을 표시한 Attention Map의 예시를 나타낸다.

도 9a 및 도 9b는 일 실시예에 따른 미래 신장 기능 예후/예측 ROC 곡선을 나타내는 도면이다.

도 9a 및 도 9b를 참조하면, 추가적으로 신장 기능의 현재 상태뿐만 아니라, 미래의 신장 기능을 예후/예측하기 위해 두 번 이상 병원을 방문한 환자에 대한 데이터를 수집하였다. 첫 번째 방문 시의 신장 기능과 두 번째 방문 시의 신장 기능을 비교하여 신장 기능이 유지되는 경우와 악화되는 경우로 데이터를 레이블링하였다.

자체 테스트 결과, 미래 신장 기능 예후/예측 기능은 92.81% (95% 신뢰구간: 90.93%~94.68%)의 AUC 결과를 얻었고, 당뇨 환자 군에 대해서는 87.05% (95% 신뢰구간: 83.29%~90.81%)의 AUC 결과를 얻었다.

도 10은 일 실시예에 따른 심층 신경망으로 판독하기 어려운 사진의 예시를 나타내는 도면이다.

도 10을 참조하면, 전처리 과정에서 사진의 명도가 낮아서 판독하기 어려운 사진을 제거하였지만, 추가적으로 사진의 질이 낮아 판독하기 어려운 경우가 있다. 이러한 사진들을 제거하기 위해 신장 이상 확률을 나타내는 신경망 출력 값을 스레싱홀딩(thresholding)하였다(0.45

y

0.55).

실시예들은 보건의료 분야 중 신장학에 속하는 신장 기능 이상을 감각기학에 속하는 망막 영상을 통해 검출할 수 있게 해주는 보건의료기술이다. 실시예들에 따르면 채혈과 혈액분석 등에 필요한 전문 인력, 시료, 분석 장비 등 없이 간단한 영상촬영만으로 신장 기능 이상을 검출할 수 있다. 또한, 당뇨병 환자에서 정기적으로 시행하고 있는 안저 촬영을 통해 당뇨병성 신증에 의한 신장 기능 저하를 동시에 검출할 수 있어 당뇨병성 합병증을 보다 효과적으로 관리할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
컴퓨터로 구현된 심층 신경망 기반 망막 영상 분석 장치를 이용한 심층 신경망 기반 망막 영상 분석 방법에 있어서,
망막 영상을 이용하여 신장 기능의 이상을 검출하기 위해, 망막 영상을 전처리하는 단계;
전처리된 상기 망막 영상을 이용하여 심층 신경망을 통해 신장 기능의 이상 유무를 학습하는 단계; 및
학습된 상기 심층 신경망을 이용하여 신장 기능의 이상 유무를 보고하는 단계
를 포함하고,
상기 심층 신경망을 이용하여 신장 기능의 이상 유무를 보고하는 단계는,
상기 심층 신경망의 최종 출력에 대한 상기 심층 신경망의 학습 시 사용된 상기 망막 영상의 기울기를 계산하여 상기 기울기 값이 스레시홀드 이상의 값을 가지는 픽셀을 상기 망막 영상에 표시하는 것
을 특징으로 하는, 심층 신경망 기반 망막 영상 분석 방법.
제8항에 있어서,
상기 심층 신경망을 이용하여 신장 기능의 이상 유무를 보고하는 단계는,
신장 이상 확률을 나타내는 상기 심층 신경망의 출력값을 스레싱홀딩(thresholding)하여 사진 판독에 대한 신뢰성을 평가하거나 판독 불가로 보고하는 것
을 특징으로 하는, 심층 신경망 기반 망막 영상 분석 방법.
삭제
삭제
삭제
삭제
삭제
망막 영상을 이용하여 신장 기능의 이상을 검출하기 위해, 망막 영상을 전처리하는 전처리부;
전처리된 상기 망막 영상을 이용하여 심층 신경망을 통해 신장 기능의 이상 유무를 학습하는 학습부; 및
학습된 상기 심층 신경망을 이용하여 신장 기능의 이상 유무를 보고하는 판단부
를 포함하고,
상기 판단부는,
상기 심층 신경망의 최종 출력에 대한 상기 심층 신경망의 학습 시 사용된 상기 망막 영상의 기울기를 계산하여 상기 기울기 값이 스레시홀드 이상의 값을 가지는 픽셀을 상기 망막 영상에 표시하는 것
을 특징으로 하는, 심층 신경망 기반 망막 영상 분석 장치.