KR20220079076A - 인공지능 기반 치매 조기 진단 플랫폼 - Google Patents

Abstract

본 발명은 인공지능 기반의 치매 조기 진단 플랫폼에 관한 것이다. 본 발명은 딥러닝을 통하여 치매환자의 망막 상태를 사전에 학습시키는 학습부와 망막의 상태를 촬영하여 영상데이터를 생성시키는 안저 카메라와 상기 안저 카메라로부터 영상데이터를 수집 및 저장하는 영상데이터 수집부와 상기 영상데이터 수집부로부터 수집되는 상기 영상데이터의 분석을 요청하는 데이터 분석요청부와 상기 영상데이터 수집부를 통하여 촬영된 망막의 영상을 상기 데이터 분석요청부로부터 수신받아 상기 학습부로부터 데이터를 수신하여 비교하여 분석하고, 피드백을 진단부로 전달하는 영상분석부와 상기 영상분석부로부터 상기 피드백을 수신함과 아울러, 치매예방 대상자를 분류하여 미래에 치매 예상자와 치매의 종류를 선별하는 선별부와상기 선별부로부터 치매예상자를 전달받아 치매의 유형에 알맞는 컨설팅을 하는 컨설팅부를 포함하는 것을 특징으로 한다.

Description

인공지능 기반 치매 조기 진단 플랫폼{Dementia an early stage diagnosis platform based on Artificial Intelligence}

본 발명은 인공지능 기반 치매 조기 진단 플랫폼에 관한 것으로 더욱 자세하게는 안구(眼球) 내부에 있는 망막의 아밀로이드 플라크 영상 분석을 통해 인공지능 기반 치매 조기 진단 플랫폼에 관한 것이다.

최근 들어 의학의 발전과 함께 노인 인구 비율이 전 세계적으로 증가하는 추세에 있으며, 특히 우리나라는 다른 선진국에 비해 고령화 속도가 매우 빠르게 진행되고 있다.

급속한 인구의 고령화로 치매환자의 발생도 점차 증가되고 있으며, 치매 유병율도 또한 급속히 증가하고 있다. 또한, 오늘날 치매는 100세 시대를 위협하는 최대의 건강의 적으로 일컬어지고 있다.

이러한 치매(Dementia)라는 것은 뇌(腦)의 신경세포가 대부분 손상되어 장애가 생기는 대표적인 신경정신계 질환이며, 노인들에게 있어 가장 흔하게 나타난다. 상기 치매는 알츠하이머 치매, 혈관성 치매, 기타 치매 등으로 크게 구분된다.

이와 같이 치매는 진행성이며 균형 감각까지 쇠퇴하는 결과를 가져오며, 더 악화되면 일상적인 업무수행, 시간 및 공간을 판단하는 일, 언어와 의사소통 기술, 추상적 사고능력에 돌이킬 수 없는 감퇴가 일어나고 성격이 바뀌며 판단력에 손상을 입는다는 특징이 있다.

이러한 치매를 치료하는 의료기관에서는 치매진단용 의료장비로 기존의 MRI 또는 PET와 같은 의료기기를 사용하여 미리 치매를 진단하고 있었으나, 상기 의료기기를 사용하려면 그 비용이 너무도 과다하여 환자에게 너무도 큰 부담을 주고 있는 것이 현실이다.

또한, 치매의 특성상, 인지 기능이 떨어지기 전에 조기에 발견하기가 쉽지 않아 이에 대한 사회적 비용의 발생이 너무도 막심하다는 단점도 있었다.

따라서, 최근들어 저렴한 비용으로 치매를 조기 진단하고, 통증없는 진단장비와 진단방법의 개발이 지속적으로 이어져 오고 있었다.

치매의 가장 흔한 형태로는 알츠하이머 병을 들수가 있는데, 기억 상실, 인식 및 거동 안정성에 의해 표시되는 진행성 신경변성 장애이다. 그 발병 원인은 아직 명확히 알려지지는 않았으나, 환자들의 사후 뇌조직을 분석한 결과, 신경세포 사이에 베타- 아밀로이드 펩티드(Aβ)로 구성된 아밀로이드 플라크(amyloid plaques)와 신경세포 내의 과인산화된 타우 단백질 필라멘트에 의하여 형성된 신경섬유 덩어리(neurofibrillary tangles)의 축적이 보고되었다[참고문헌: Ginsberg SD et al, Kluwer Academic/Plenum: New York, 1999: pp 603-654; Lee VM et al, Neuron 1999;24:507-510; Selkoe DJ JAMA 2000;283:1615-1617].

따라서, 이러한 아밀로이드 플라크(amyloid plaques)를 이용하여 치매를 진단하는 방법에 대한 연구가 최근에도 적극적으로 있어 왔다.

대한민국 특허공개 제2017-0073557호 대한민국 특허공개 제2018-0002234호 대한민국 특허공개 제2020-0007244호

따라서, 본 발명은 알츠하이머병 또는 치매에서 발견되는 망막 내의 아밀로이드 플라크 영상을 분석하여 치매를 조기에 진단할 수 있어 미연에 예방할 수 있는 인공지능 기반 치매 조기 진단 플랫폼을 제공할 수 있는 것을 목적으로 한다.

또한, 더 나이가 들어서 인지기능이 떨어지기 전에 치매를 발견할 수 있도록 하여 치매 경과를 늦출수 있으므로, 사회적 비용을 절감할 수 있는 인공지능 기반 치매 조기 진단 플랫폼을 제공할 수 있는 것을 목적으로 한다.

또한, 노년층에 흔히 발생하는 치매 질환을 사전에 미리 진단하여 대비하게 함으로서, 건강한 사회 기반을 건설하는데 일조할 수 있는 인공지능 기반 치매 조기 진단 플랫폼을 제공할 수 있는 것을 목적으로 한다.

이러한 문제를 해결하기 위하여 본 발명은 딥러닝을 통하여 치매환자의 망막 상태를 사전에 학습시키는 학습부와 망막의 상태를 촬영하여 영상데이터를 생성시키는 안저 카메라와 상기 안저 카메라로부터 영상데이터를 수집 및 저장하는 영상데이터 수집부와 상기 영상데이터 수집부로부터 수집되는 상기 영상데이터의 분석을 요청하는 데이터 분석요청부와 상기 영상데이터 수집부를 통하여 촬영된 망막의 영상을 상기 데이터 분석요청부로부터 수신받아 상기 학습부로부터 데이터를 수신하여 비교하여 분석하고, 피드백을 진단부로 전달하는 영상분석부와 상기 영상분석부로부터 상기 피드백을 수신함과 아울러, 치매예방 대상자를 분류하여 미래에 치매 예상자와 치매의 종류를 선별하는 선별부와상기 선별부로부터 치매예상자를 전달받아 치매의 유형에 알맞는 컨설팅을 하는 컨설팅부를 포함하는 것을 특징으로 한다.

또한, 상기 안저 카메라는 망막에 광을 조사하는 조사부가 형성된 조명모듈과 상기 망막을 촬상되는 이미지센서와 상기 이미지센서로부터 전송된 영상을 가공하는 이미지 프로세싱부와 상기 이미지 프로세싱부와 연결되어 상기 가공된 영상을 상기 영상데이터 수집부에 전송하는 카메라모듈과 상기 이미지센서에서 촬영된 이미지를 표시하는 그래픽 사용자 인터페이스와 상기 이미지 센서가 촬영한 영상의 이미지를 저장하는 메모리와 상기 망막의 이미지를 촬영시, 상기 안저 카메라를 제어하는 제어부를 포함하는 것을 특징으로 한다.

또한, 상기 제어부는 상기 안구에 대한 선명도가 가장 우수한 디포커스(defocus)를 자동 탐색하여, 해당 디포커스에 대한 상기 안구의 이미지를 상기 기준 이미지로서 획득하도록 제어하는 것을 특징으로 한다.

또한, 상기 안구의 촬영은 근적외선을 동공을 통해 망막에 비추어 상기 망막의 다른 위치에서 반사되는 신호(빛)를 획득하여 비침습적인 방법으로 망막의 단층분석 검사를 하여 상기 망막의 상태를 살피는 광간섭 단층촬영(OCT)인 것을 특징으로 한다.

또한, 상기 학습부에서는 치매환자의 망막 내의 아밀로이드 플라크 영상을 분석한 것과 상기 영상데이터로부터의 망막 영상데이터를 비교, 분석하여 치매를 조기 진단하는 것을 특징으로 한다.

그리고, 인공지능 기반의 치매 조기진단 플랫폼을 이용한 조기진단 알고리즘에 있어서, 치매에 걸린 망막 영상을 학습부를 통해서 딥러닝 모델을 이용하여 학습시키는 단계와 안저 카메라를 이용하여 치매를 진단하려고 하는 자의 망막을 촬영하는 단계와 상기 단계에서 촬영한 망막의 영상들을 실시간으로 시각화하여 딥- 러닝하는 단계와 상기 촬영한 망막의 영상들과 상기 학습부를 통해 얻어진 치매에 걸린 망막 영상의 아밀로이드 플라크를 비교하여 분석해서 등급화하는 단계와 상기 단계에서 등급화된 아밀로이드 플라크 등급을 고려하여 치매 위험자를 분류하는 단계와 상기 단계에서 분류된 치매 위험자를 전문가에게 컨설팅시키는 단계를 포함하는 것을 특징으로 한다.

따라서, 본 발명은 인공지능을 기반으로 망막 내의 아밀로이드 플라크 영상을 분석하여 치매 조기 진단 딥러닝 모델을 구현, 치매를 조기에 진단, 발견할 수 있는 인공지능 기반 치매 조기 진단 플랫폼을 제공할 수 있는 효과가 있는 것이다.

또한, 치매의 조기 진단과 예측을 통하여 꾸준한 관심을 가지고 치매 관련 건강관리를 지속적으로 수행할 수 있기 때문에 치매 관련 국가적, 사회적 비용을 크게 경감할 수 있는 효과가 있다.

또한, 망막 내의 아밀로이드 플라크 영상분석을 비침습(非浸濕) 방법으로 함으로서, 환자에게 통증없이 진단이 가능한 효과도 있다.

도 1은 안저 카메라의 블록도.
도 2는 이미지 프로세싱부의 블록도.
도 3은 환자의 안구를 안저 카메라를 이용하여 촬영하는 것을 나타낸 도면.
도 4는 본 발명에 의한 인공지능 기반 치매 조기 진단 플랫폼의 블록도.
도 5는 치매 위험자에게 분류된 자에게 보내는 휴대폰의 화면사진.
도 6은 인공지능 기반 치매 조기 진단 플랫폼을 이용한 치매조기발견방법을 나타낸 흐름도.
도 7은 본 발명의 제2 실시예의 구성도.
도 8은 본 발명의 제2 실시예에 의한 치매조기진단 플랫폼의 블록도.
도 9는 본 발명의 제2 실시예에 따른 치매 조기 진단을 위한 망막 영상을 인공지능으로 분석하는 방법의 흐름도.

이하에서는 본 발명의 양호한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시가 되더라도 가능한 한 동일 부호를 가지도록 하고 있음에 유의하여야 한다.

또한, 하기에서 본 발명을 설명함에 있어 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

또한, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위하여 사용된 것에 불과하므로, 본 발명을 한정하려는 의도가 아니며 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현도 의미하는 것임을 미리 밝혀두고자 한다.

본 발명을 설명하기에 앞서, 본 명세서 상에 등장하는 용어에 대한 설명을 간략하게 하기로 한다.

먼저, 안저(ocular fundus)라는 의미에 대하여 설명한다. 안저란 눈의 안쪽 표면으로 수정체의 반대부분으로서, 망막과 시신경유두, 황반, 망막중심오목, 후극이 안저에 포함되어 있다. 안저 카메라(fundus camera)는 동공을 통하여 안구의 상태를 촬영하는 의학용 카메라로서, 출혈, 백반, 종양, 융기 따위의 변화를 검사할 때 사용하는 카메라이다. 즉, 안저경과 카메라가 같이 장착된 기구인 것이다.

그리고, 딥러닝(deep-learning)이라는 용어에 관하여 설명한다. 인공지능이란 인간의 뇌와 뉴런신경망을 모방하여 인간처럼 사고하고 행동하는 것이다. 상기 딥러닝을 이용한 사례로는 사람이 눈으로 본 장면을 인공지능이 그대로 그려주는 모델을 의한다.

데이터를 어떻게 분배할 것인가에 관한 것으로 인공신경망 등 많은 머신러닝 알고리즘이 등장했는데, 상기 딥러닝은 이러한 인공신경망을 이용하여 데이터를 군비화하거나 분류하는데 사용하는 기술이다. 딥러닝의 핵심은 분류를 통한 예측으로 수많은 데이터 중에서 일정한 패턴을 발견하여 마치 인간이 사물을 구분하듯 컴퓨터가 데이터를 구분하고 나누는 것이다.

도 1은 안저 카메라의 블록도이고, 도 2는 이미지 프로세싱부의 블록도이고, 도 3은 환자의 안구를 안저 카메라를 이용하여 촬영하는 것을 나타낸 도면이고, 도 4는 본 발명에 의한 인공지능 기반 치매 조기 진단 플랫폼의 블록도이고, 도 5는 치매 위험자에게 분류된 자에게 보내는 휴대폰의 화면사진이고, 도 6은 인공지능 기반 치매 조기 진단 플랫폼을 이용한 치매조기발견방법을 나타낸 흐름도이고, 도 7은 본 발명의 제2 실시예의 구성도이고, 도 8은 본 발명의 제2 실시예에 의한 치매조기진단 플랫폼의 블록도이고, 도 9는 본 발명의 제2 실시예에 따른 치매 조기 진단을 위한 망막 영상을 인공지능으로 분석하는 방법의 흐름도이다.

이하에서는 먼저, 도면을 참조하여 눈의 안저와 망막의 상태를 촬영하는 안저 카메라(100)에 대한 설명을 하기로 한다. 상기 안저카메라(100)는 안저검사를 하는 기구로서, 안저검사란 산동(散瞳 : 동공이 지름 4mm 이상으로 커짐)이 된 동공을 통해 국소적인 안 질환 및 전신 질환에 의한 안저의 이상소견을 관찰하는 검사이다.

도 1에 도시한 바와 같이, 상기 안저 카메라(100)는 망막에 광을 조사하는 조사부가 형성된 조명모듈(110), 상기 망막을 촬상하고 광신호를 전기적신호롤 변환하는 이미지센서(120), 이미지프로세싱부(130), 카메라모듈(140), 그래픽 사용자 인터페이스(150), 메모리(160), 제어부(170)로 이루어진다. 더 나아가, 영상을 촬상하도록 하는 캡처 버튼(미도시)을 포함하는 조작부(미도시)도 형성된다.

망막에 광을 조사하는 상기 조명모듈(110)은 조사부(111) 및 조명제어부(112)를 포함할 수 있다. 상기 조사부(111)는 광을 발생시키는 광원을 포함할 수 있다. 예를 들면, 광원은 고휘도 LED일 수 있다.

상기 조명제어부(112)를 통해 광의 조사 여부 및 광의 밝기를 제어할 수 있다. 상기 조명제어부(112)는 이미지프로세싱부(130)와 연결될 수 있다.

카메라모듈(140)은 상기 이미지센서(120), 상기 이미지프로세싱부(130)로 이루어져, 영상데이터수집부(220)에 가공된 망막의 영상을 전송한다.

이미지센서(120)는 사람의 망막이나 동공을 촬영하는데, 렌즈(미도시)를 포함하며, 상기 망막을 확대 촬영하여 이를 상기 이미지센서(120)에 촬상시킬수 있다. 상기 이미지센서(120)는 렌즈(미도시)를 포함하며, CMOS 센서가 바람직하다.

상기 이미지센서(120)의 촬영은 근적외선을 동공을 통하여 망막에 비추어 상기 망막의 다른 위치에서 반사되는 신호(빛)를 획득하여 비(非) 침습(浸濕)적인 방법으로 망막의 단층분석 검사를 하여 상기 망막의 상태를 살피는 광간섭 단층촬영(OCT)인 것을 특징으로 한다. 또한, 이것은 환자에게 무통(無痛)효과가 있다.

상기 이미지센서(120)에는 안구의 망막으로부터 반사되는 광에 의한 간섭을 방지하기 위해 반사방지 코팅층(미도시)이 형성될 수 있다.

상기 이미지센서(120)로부터 촬영된 망막 영상을 전송받아 영상을 가공하는 이미지 프로세싱부(130)가 형성된다.

이미지 프로세싱부(130)는 망막 영상의 이미지를 가공하는 것으로서, 이미지센서(120)와 연결되어 상기 이미지센서(120)로부터 촬영된 이미지를 수신할 수 있다.

도 2에 도시된 바와 같이, 이미지 프로세싱부(130)는 이미지 전처리부(131), 이미지분석부(132) 및 이미지 압축부(133)로 이루어진다.

상기 이미지 전처리부(131)는 촬영된 망막의 이미지를 칼라 이미지로 전환할 수 있다. 또한, 영상 이미지의 픽셀 결함 또는 왜곡을 보정할 수 있다.

또한, 상기 이미지 전처리부(131)는 상기 이미지센서(120)로부터 전송된 이미지를 더욱 정확한 영상으로 보정하여, 상기 이미지를 이미지분석부(132)에서 이미지를 중첩하여 보다 용이하게 이미지 분석을 할 수 있다.

그리고, 망막의 영상을 압축시키는 기능을 가진 이미지 압축부(133)에서는 비디오 스트림 인코딩과 사진 인코딩을 위한 칩이 포함되는 것이 바람직하다.

상기와 같이 설명한 이미지 프로세싱부(130)를 통하여 가공된 안구의 망막 의 이미지를 즉, 그래픽 사용자 인터페이스(150: Graphic User Interface)에서 촬영된 영상의 이미지를 디스플레이(미도시)를 통하여 표시하는 것인데, 이는 제어부(170)에서 상기 디스플레이에 출력되도록 제어하는 것이다.

그래픽 사용자 인터페이스(150)는 상기 안저 카메라(100)의 사용자가 조작할 수 있도록 GUI(Graphic User Interface)로 이루어지며, 안저카메라(100)를 통한 촬영모드의 선택 및 이미지 표시가 가능한 것이다.

상기 그래픽 사용자 인터페이스(150)를 통하여 표시된 망막이나 동공과 같은 영상의 이미지를 메모리(160)를 통하여 저장시킨다.

또한, 안구의 망막 이미지를 촬영할 경우에 상기 안저 카메라(100)의 구성요소인 조명모듈(110), 이미지 센서(120) 및 이미지 프로세싱부(130)를 제어하는 제어부(170)가 형성된다.

상기 제어부(170)는 조명모듈(110)을 제어하여 캡처 버튼(미도시)이 눌려지면 촬영 광원을 짧은 시간동안 온(On) 시키고, 이때 이미지센서(120)로부터 출력되는 영상 신호를 통해 망막의 이미지를 메모리(160)에 저장되도록 제어한다. 더 나아가, 제어부(170)는 상기 이미지센서(120)의 설정값을 조절하여 왜곡이 없는 망막의 이미지를 촬영하도록 하는 것이다.

도 3은 안저 카메라(110)를 이용하여 치매 진단 대상자(1)의 안구(미도시)를 촬영하는 것을 나타낸 도면이다. 도시된 바와 같이, 치매 진단 대상자(1)의 망막을 안저카메라(100)를 이용하여 촬영하는 것이다.

상기와 같은 구성으로 이루어진 상기 안저카메라(100)는 동공을 통해 망막에 빛을 입사하여 망막의 다른 위치에서 반사되는 신호를 얻어 안저의 상태를 살피며, 자가형광 안저촬영도 할 수 있다.

상기 자가형광 안저촬영(Auto- Fluorescence)이란 망막질환 환자를 대상으로 망막 색소 상피 세포에서 발생하는 리포퓨신을 공초점 레이저 검안경으로 촬영하여 망막 상태를 평가하는 비침습(非浸濕)적 촬영기술을 의미한다. 이것은 황반변성(망막의 중심인 황반에 변화가 생겨서 시력이 저하되며 보고자 하는 부위가 잘 안 보이는 질환)의 조기진단을 하는데 이용된다.

즉, 망막질환에서 망막 병변(病變)을 영상화해 상기 망막병변을 이용, 진단할 목적으로 사용하는 '자가형광안저촬영'은 형광안저혈관조영술이 어려운 망막질환 의심 환자를 대상으로 488nm 레이저파장을 조사한 후, 망막색소상피에서 스스로 발광하는 리포퓨신(lipofuscin)을 공초점레이저검안경(con- focal scanning laser ophthalmoscope)으로 촬영해 망막의 병변을 진단하는 방식이다.

자가형광 안저촬영은 형광물질의 주입 없이 자가형광 성질을 이용해 촬영하는 비침습적인 방법이므로, 환자에게 위해를 야기할 위험성이 낮아 안전한 기술이며, 안저촬영으로 확인하지 못하는 병변을 추가로 발견할 수 있다.

이하에서는 도면을 참조하여 본 발명에 의한 인공지능 기반 치매 조기진단 플랫폼(200)에 대하여 설명하기로 한다.

도 4는 본 발명에 의한 인공지능 기반 치매 조기 진단 플랫폼(200)이다. 도시된 대로, 상기 치매 조기진단 플랫폼(200)은 망막의 상태를 촬영하여 영상데이터를 생성하는 안저카메라(100)를 비롯하여, 딥러닝을 통하여 치매환자의 망막 상태를 사전에 학습시키는 학습부(210)와 영상 데이터 수집부(220)와 데이터 분석 요청부(230)와 영상분석부(240)와 선별부(250) 및 컨설팅부(260)로 구성된다.

상기 학습부(210)는 치매가 걸린 환자의 망막 영상을 사전에 딥러닝 모델을 학습시킨다.

상기 학습부(210)에서는 치매가 걸린 치매환자의 망막 영상을 학습모델로 하여 미리 학습을 시키는 것이다.

일반적으로 치매환자들의 사후 뇌 조직을 분석한 결과, 신경세포 사이에 베타-아밀로이드 펩타이드가 축적되어 형성된 아밀로이드 플라크(amyloid plaques)와 신경세포 내의 과인산화된 타우 단백질 필라멘트에 의하여 형성된 신경섬유 덩어리(neurofibrillarytangles)의 존재가 보고된 바 있다.

이러한 아밀로이드 플라크의 주성분으로서는 아밀로이드 베타(Aβ 또는 A베타)를 들수 있는 데, 상기 아밀로이드 베타는 알츠하이머 환자의 뇌에서 발견되는 알츠하이머 질병에 결정적으로 관여하는 36~ 43개의 아미노산 펩타이드를 의미한다. 상기 펩타이드는 베타 세크리타제와 감마 세크레타제에 의하여 분해되어 아밀로이드 베타(Aβ)를 생성하는 아밀로이드 전구체 단백질 (APP)에서 유도된다.

따라서, 학습부(210)에서는 치매환자들의 아밀로이드 플라크가 검출된 망막의 영상을 데이터로 학습시키면 입력값(뇌활동 패턴을 나타내는 이미지)과 출력값(정답 사진) 사이의 상관관계를 스스로 학습하여 사람이 봤던 것과 유사한 이미지를 생성하게 된다. 사전에 이러한 방대한 데이터를 미리 학습시켜 상기 학습부(210)가 스스로 치매 환자의 망막 상태를 구분할 수 있는 것이다.

상기 안저 카메라(110)로부터 촬영한 영상들의 데이터를 수집 및 저장하는 영상 데이터 수집부(220)가 형성된다.

상기 영상데이터 수집부(220)는 상기 안저 카메라(100)를 통하여 촬영한 망막의 영상데이터들을 모두 수집하는 역할을 한다. 그리고, 앞서 설명한 안저카메라(100)의 메모리(150)와 연동하여 상기 메모리(150)로부터 영상데이터를 저장하는 역할도 하는 것이다.

그리고, 상기 영상데이터 수집부(220)는 상기 영상 데이터 정보를 수집하는데 있어서 컬러 영상, 그레이 영상, 이진(binary) 영상 등 중에서 하나의 영상 포맷 형식을 가진다.

데이터 분석요청부(230)는 상기 영상데이터 수집부(220)로부터 수집되는 상기 영상데이터의 분석을 영상분석부(240)에 요청하는 것으로, 상기 영상 데이터분석부(220)로부터 데이터를 받아 영상분석부(240)로 전달하는 매개체 역할을 하는 것이다.

영상분석부(240)는 상기 영상데이터 수집부(220)를 통하여 촬영된 망막의 영상을 상기 데이터 분석요청부(230)로부터 수신받아 상기 학습부(210)로부터 치매에 걸린 망막의 영상과 데이터를 수신하여 서로 비교해보아 공통되거나 중복되는 것 등을 분석하여 이에 대한 피드백을 선별부(250)로 전달한다.

그 다음에, 상기 선별부(250)는 상기 영상분석부(240)로부터 상기 피드백을 수신함과 아울러 장래 치매가능성이 농후한 치매예방 대상자를 분류한다.

따라서, 미래에 치매에 걸린 가능성이 높아 치매가 예상되는 대상자를 분류하고, 그에 해당하는 치매의 종류를 선별하여 진단하는 것이다.

컨설팅부(260)는 상기 선별부(250)로부터 치매 예상자를 전달받아 치매의 유형에 알맞는 컨설팅을 하는 것이다. 상기 컨설팅부(260)에서는 각 치매예상자들에게 치매 위험군으로 분류하여, 우편이나 메일 등과 같은 전송수단으로 아밀로이드 플라크 수치를 알려주고, 앞으로 예상되는 치매의 종류를 설명하여, 이에 대해 조치나 대비해야 할 컨설팅에 관한 안내문을 발송하는 것이다. 또한, 휴대폰의 문자메세지 또는 카카오 토크와 같은 전송수단을 사용할 수도 있는 것이다.

이하에서는 본 발명에 의한 인공지능 기반의 치매 조기진단 플랫폼(200)의 작용에 대하여 설명하기로 한다.

먼저, 치매에 걸린 망막의 영상을 축적한 것을 가지고, 인공지능의 딥러닝 모델을 학습부(210)를 통하여 미리 학습시키는 것이다.

이는 미리 치매에 걸려 망막에 생성되어 있는 아밀로이드 플라크의 분석을 학습시켜 딥러닝 모델을 학습부(210)가 스스로 치매 환자임을 판단하여 인식하게 하는 것이다. 따라서,상기 학습부(210)는 이러한 치매에 걸린 망막의 영상을 미리 학습하여 완전히 인식할 수 있게 되는 것이다.

다음으로, 치매가 예상되는 사람이나 치매를 조기 진단하고자 하는 희망자를 대상으로 하여 상기 안저카메라(100)를 이용하여 망막을 촬영하게 된다.

상기 안저카메라(100)를 통해서 망막의 영상을 전송받는 영상데이터 수집부(220)는 상기 망막의 영상이 치매에 걸릴 가능성이 있는 지 여부를 확인하도록 하기 위하여 데이터분석요청부(230)를 통해 망막의 영상을 전송한다.

그러면, 상기 데이터분석요청부(230)에서는 전송받은 망막의 영상들을 영상분석부(240)로 그 분석을 의뢰하게 된다.

영상분석부(240)에서는 망막의 영상들을 아밀로이드 플라크를 분석, 등급화시키는 것이다.

이것은 상기 망막의 영상들을 아밀로이드 플라크를 분석하여, 일정한 지수로 수치화시켜서 점수화시키는 것인데, 이를 테면 0~ 25점은 1등급, 26~ 50점은 2등급, 51~ 75점은 3등급, 76~ 100점은 4등급으로 나누어서, 제3등급부터는 치매 위험가능성이 높은 영상으로 결정하는 것이다.

참고로, 상기 점수의 결정은 의사 등과 같은 의료전문가들의 자문과 감수를 거쳐 평가 등급의 점수가 생성되는 것이다.

상기 영상분석부(240)를 통하여 점수가 치매 위험군에 속한다는 분석이나 소견이 나오면 상기 선별부(250)에서는 상기 영상분석부(240)를 통해서 결정된 등급을 통하여 미래 치매가 예상되는 망막의 영상에 해당하는 검진자를 하나하나 선별하는 것이다.

상기 선별부(260)는 앞서 설명한 상기 점수를 예를 들면, 0~ 25점은 1등급 안전군, 26~ 50점 2등급 준 안전군, 51~ 75점인 3등급 위험군, 76~ 100점은 4등급 고위험군 징후 등과 같은 방법으로 선별하는 것이다.

컨설팅부(260)는 도 5에 나타난 대로, 상기 선별부(250)를 통하여 선별된 치매가 예상되는 망막의 영상을 촬영한 검진자에게 치매위험 체크, 치매상담 체크, 위치기반 서비스를 근거로 하여 검진자가 소재하는 곳의 인근병원 등을 탐색할수 있도록 하여 치매를 미리 대비할수 있도록 하는 것이다.

그리고, 우편이나 문자메세지와 같이 별도로 통보도 할수 있는 것이다. 따라서, 상기 컨설팅부(260)는 검진자의 휴대폰에 관련된 어플이 다운로드되어 있도록 하여 서로 연동하는 것이 바람직할 것이다.

따라서, 본 발명에 의한 치매 조기진단 플랫폼(200)을 이용한 스크리닝(screening)을 실행하여 치매를 조기 진단할 수 있는 것이다.

도 6을 참조하면, 인공지능 기반의 치매 조기진단 플랫폼을 이용한 조기진단 알고리즘을 나타낸 흐름도이다. 앞서 설명한 실시예와 중복되는 설명은 어느 정도 생략하기로 한다.

먼저, 치매에 걸린 망막 영상을 학습부(210)를 통해서 딥러닝 모델을 이용하여 사전에 미리 학습시킨다(제1단계).

안저 카메라(100)를 이용하여 치매가 의심되는 사람이나, 미리 치매를 진단하려고 하는 치매 검사 희망자들의 망막을 촬영한다(제2단계).

상기 제2단계에서 촬영한 망막의 영상들을 실시간으로 시각화하여 딥- 러닝하는 것이다(제3단계). 즉, 치매 진단의 수검자들을 대상으로 망막을 촬영하여 이를 시각적으로 분석할 수 있도록 준비를 하는 것이다.

안저카메라(100)를 통하여 촬영한 수검자들의 망막 영상들과 상기 학습부(210)를 통해 얻어진 치매에 걸린 망막 영상의 아밀로이드 플라크를 서로 비교하여 분석해서 등급화한다(제4단계).

상기 촬영한 망막의 영상들을 아밀로이드 플라크를 분석, 등급화하는 것이다. 상기 제4단계는 아밀로이드 플라크를 일정한 지수로 수치화하여 점수화시키는 것인데, 이것은 의사 등과 같은 의료전문가들의 자문과 감수를 거쳐 평가 등급의 점수가 생성되는 것이다.

따라서, 상기 학습부(210)에서 치매환자의 망막 내의 아밀로이드 플라크 영상을 분석한 것과 상기 영상데이터로부터의 망막 영상데이터를 비교, 분석하여 치매를 조기 진단하는 방식인 것이다.

상기 단계에서 얻은 아밀로이드 플라크 등급을 고려하여 치매 위험자를 분류하고(제5단계), 상기 단계에서 분류된 치매 위험자를 의사 등과 같은 의료관계 전문가에게 컨설팅시키는 것이다(제6단계). 즉, 치매 위험자로 선정된 검사자에게 별도로 치매 위험도 등을 설명한 자료와 각자에게 알맞는 처방이나 예방칙을 전달하여 치매를 미연에 예방할 수 있는 방안을 마련하여 주는 것이다.

이하에서는 본 발명의 치매 조기 진단 플랫폼(200)의 제2 실시예에 대하여 도면을 첨부하여 설명하기로 한다. 본 제2 실시예서는 안저카메라(100) 대신에 사용자 단말기(300) 사용하는데, 상기 사용자 단말기(300)는 스마트 폰, 테블릿 PC, 랩탑 등을 포함하는 전자 기기일 수 있다.

도 7은 본 발명의 제2실시예에 의한 치매 조기 진단 플랫폼(200)의 구성요소인 사용자단말기(300)와 치매진단 시스템(S)을 나타낸 것이다.

사용자 단말기(300)는 카메라를 포함하고, 상기 카메라는 홍채 인증 전용 카메라를 포함하거나, 상기 카메라에 홍채 인증 전용렌즈가 부착될 수 있다.

따라서, 상기 사용자 단말기(300)를 이용하여 진단자의 눈을 촬영하였을 때, 홍채 및 망막을 포함한 특정 부위에 대해 해상도 높은 화면 또는 영상을 확보할 수 있다.

도 8은 제2 실시예에 의한 치매조기진단 플랫폼(200)의 블록도로서, 사용자 단말기(300)와 치매진단 시스템(S)의 구성요소인 영상 촬영부(310), 영상 전처리부(320), 신경망 학습부(330), 치매 조기진단부(340)를 통해 제공된다.

영상 촬영부(310)는 스마트 폰과 같은 사용자 단말기(300)를 통해 눈 영상을 촬영하는 부분으로 스마트 폰 전면에 부착이 가능한 홍채 인증 전용 렌즈를 이용해 촬영하고, 촬상 영상을 획득할 수 있다. 상기 홍채의 촬영은 본인 인증을 위한 것이다.

영상 전처리부(320)는 상기 영상촬영부(310)에서 촬영한 눈 영상으로부터 치매 조기 진단에 필요한 망막의 영역만 추출할 수 있다. 우선, JPEG2000 라이브러리를 사용해 눈 영상으로부터 관심 영역(RoI: Region-of-Interest)만 추출할 수 있다. 여기서, 관심 영역은 망막을 추출하기 위해 필요한 최소한의 영역을 뜻한다.

신경망 학습부(330)는 영상 촬영부(310)에서 촬영한 홍채 및 망막의 영상 데이터를 저장하는 DB(도면부호는 생략)와 저장된 데이터로부터 학습하는 신경망 모델로 구성되어 있다.

상기 DB에 저장될 정보는 개인정보에 해당하는 바이오정보, 고유식별정보(주민등록번호 등), 비밀번호가 암호화되어 저장되어야 한다.

홍채 및 망막의 영상 데이터는 바이오 정보에 해당하므로 암호화한 후, 저장해야 한다. 데이터 저장시, 암호화 방식에는 DB 암호화 방식이 바람직할 것이다. 암호화 시에는 암호화 키를 설정해야 하는데, 암호화 키는 홍채 및 망막 영상 데이터로부터 추출한 코드 값을 사용하고, 해당 암호화 키를 이용해 암호화한 후 상기 DB에 저장한다.

다음에, 저장된 망막 영상 데이터를 사용해 미리 만들어놓은 치매 증상의 조기진단 인공지능 신경망을 학습할 수 있다.

망막 영상을 통한 치매 조기진단 인공지능 신경망은 치매에 대해 분류(Classification)/검출(Detection)/분할(Segmentation)이 되도록 학습되어야 한다. 따라서, 본 치매 조기진단 인공지능 신경망은 학습 때, 더욱 정확한 분류를 위해 치매 전조증상을 분류하는 신경망 부분을 선행학습할 수 있다. 분류 부분에 사용할 인공 신경망이 전체 신경망에서 많은 부분을 차지하므로, 그 부분을 최대한 경량화시켜 모바일 상에서도 원활하게 수행될 수 있도록 한다.

이하, 인공지능 신경망의 학습방법을 설명하고자 한다.

분류 부분에 대한 선행 학습(Pre-training)을 수행하는 것인데, 이것은 치매에 걸린 알츠하이머 환자의 망막내 아밀로이드 -플라크를 분석하여 미리 학습을 시키는 것이다. 상기 학습방법으로는 환자들의 사후 뇌 조직을 분석하여, 신경세포 사이에 베타-아밀로이드 펩타이드가 축적되어 형성된 아밀로이드 플라크(amyloid plaques)와 신경세포 내의 과인산화된 타우 단백질 필라멘트에 의하여 형성된 신경섬유덩어리(neurofibrillarytangles)의 존재에 대하여 미리 사전학습을 시키는 것이다. 상기 선행학습을 수행한 후, 추출된 특정 맵을 가지고, 장래의 치매를 분석할수 있도록 하는 것을 학습시킬 수 있다.

그리고, 치매 조기진단부(340)는 상기 신경망 학습부(330)에서 학습된 인공지능 신경망으로 전 처리가 완료된 망막 영상을 사용해 상기 촬영한 망막의 영상을 토대로 각각의 치매 진단 대상자들의 아밀로이드 플라크를 등급화시켜서, 일정한 수치가 넘을 경우에 장래의 치매 위험군으로 파악하여 대상자에게 이를 통보하는 것이다.

도 9는 본 발명의 제2 실시예에 따른 치매 조기 진단을 위한 망막 영상을 인공지능으로 분석하는 방법의 흐름도이다. 상기에서 서술한 내용과 중복되는 설명은 어느 정도 생략하기로 한다.

사용자 단말기(300)로 사용자의 망막을 촬영한 촬상 영상을 획득하고(Step 1), 사용자 단말기(300)에서 관심 영역(Region of Interest)을 추출하기 위해 촬상 영상을 전처리할 수 있다(Step 2).

상기 관심영역을 추출할 때는, 예를 들어 촬상 영상 중 관심영역으로 추출되지 않은 영역은 불필요한 영역이므로 관심영역만 추출하는 방식을 사용함으로써, 촬영한 영상으로부터 치매의 조기 진단시 연산량의 감소로 인해 불필요한 데이터를 소진하지 않아 더욱 정확한 진단을 할 수 있다.

또한, 사용자 단말기(300)로 추출된 관심영역의 해상도를 확장시킨다(Step 3). 상기 Step 3 단계는 출력된 이미지들을 이미지 인식 단위 중의 하나인 패치(Patch) 단위로 각각 나누어져 있으므로, 머지(Merge: 병합) 과정을 통하여 하나의 고해상도 영상으로 변환할 수 있다. 즉, 입력하여 들어오는 저해상도 망막 영상을 특정 패치 사이즈로 영상을 나눈 뒤, 나누어진 영상을 입력해서 재구성 병합된 출력이미지를 추출해서 해상도를 더욱 향상시킨다.

사용자 단말기(300)에서 치매진단 시스템(S)으로 전송될 관심 영역에 대해, 데이터량을 감소시키기 위한 라이브러리를 이용하여 압축한다(Step 4). 상기 Step 4는 압축 파일 라이브러리(Compressed file library: CFL)를 사용하여 압축시키는 것으로서, 관심영역만 추출시키도록 하는 것이다.

사용자 단말기(300)의 홍채 영상을 통해 사용자 인증을 수행한다(step 5). 따라서, 홍채의 이미지를 통하여 사용자단말기(300) 소유자의 신원을 분명하게 확인할 수 있도록 하는 것이다.

사용자 단말기(300)에서 치매진단 시스템(S)에 저장될 홍채 영상 및 망막 영상의 데이터를 암호화한다(Step 6).

상기 치매진단 시스템(S)에서 저장된 데이터에 기초하여 치매의 조기진단을 수행할 인공신경망을 학습하고(Step 7), 상기와 같이 사용자 단말기(300)에서 학습된 인공신경망을 이용하여 장래의 치매의 발병 확률을 예측하여 이를 대상자에게 각각 통보한다(Step 8).

상술한 실시 형태에 덧붙여, 본 발명은 치매와 관련된 영역의 위치 및 형상에 따른 치매 가능성을 나타내는 빅데이터를 축적하고, 상기 빅데이터에 기초하여, 질병 영역의 위치 및 형상에 따른 상기 치매 가능성의 정도를 학습 및 결정하며, 상기 치매의 장래 진단가능성 정도에 따라, 미래의 치매확률이 높은 대상자를 아밀로이드 플라크 수치를 포함하여 이에 관련된 코멘트를 사용자 단말기(300)를 통해 실시간으로 통지할 수도 있다.

이상에서와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 상기 기술한 실시 예는 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.

본 발명의 범위는 상기 상세한 설명보다는 첨부된 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

1 : 치매 진단 대상자 100 : 안저카메라
110 : 조명 모듈 111 : 조사부
112 : 조명제어부 120 : 이미지 센서
130 : 이미지 프로세싱부 140 : 카메라모듈
150 : 그래픽 사용자 인터페이스(GUI) 160 : 메모리
170 : 제어부 200 : 치매 조기진단 플랫폼
210 : 학습부 220 : 영상데이터 수집부
230 : 데이터 분석요청부 240 : 영상분석부
250 : 선별부 260 : 컨설팅부
300 : 사용자 단말기 310 : 영상촬영부
320 : 영상 전처리부 330 : 신경망 학습부
340 : 치매 조기진단부 S : 치매 진단시스템

Claims (6)

1. 인공지능 기반의 치매 조기 진단 플랫폼에 있어서,
   딥러닝을 통하여 치매환자의 망막 상태를 사전에 학습시키는 학습부;
   망막의 상태를 촬영하여 영상데이터를 생성시키는 안저 카메라;
   상기 안저 카메라로부터 영상데이터를 수집 및 저장하는 영상데이터 수집부;
   상기 영상데이터 수집부로부터 수집되는 상기 영상데이터의 분석을 요청하는 데이터 분석요청부;
   상기 영상데이터 수집부를 통하여 촬영된 망막의 영상을 상기 데이터 분석요청부로부터 수신받아 상기 학습부로부터 데이터를 수신하여 비교하여 분석하고, 피드백을 선별부로 전달하는 영상분석부;
   상기 영상분석부로부터 상기 피드백을 수신함과 아울러, 치매예방 대상자를 분류하여 미래에 치매예상자와 치매의 종류를 선별하는 선별부;
   상기 선별부로부터 치매예상자를 전달받아 치매의 유형에 알맞는 컨설팅을 하는 컨설팅부를 포함하는 것을 특징으로 하는 인공지능 기반의 치매 조기 진단 플랫폼.
   
2. 제1항에 있어서, 상기 안저 카메라는
   망막에 광을 조사하는 조사부가 형성된 조명모듈;
   상기 망막을 촬상하고, 광신호를 전기적 신호로 변환하는 이미지센서;
   상기 이미지센서로부터 전송된 망막의 영상을 가공하는 이미지 프로세싱부;
   상기 이미지 센서와 이미지 프로세싱부로 이루어져, 상기 가공된 망막의 영상을 상기 영상데이터 수집부에 전송하는 카메라모듈;
   상기 가공된 영상 이미지를 표시하는 그래픽 사용자 인터페이스;
   상기 그래픽 사용자 인터페이스가 표시한 영상 이미지를 저장하는 메모리;
   상기 망막의 이미지를 촬영시, 상기 이미지 센서로부터 출력되는 영상신호를 통하여 망막 이미지를 상기 메모리에 저장하도로 하는 제어부를 포함하고,
   상기 안저카메라는 동공을 통해 망막에 빛을 입사하여 망막의 다른 위치에서 반사되는 신호를 얻어 안저의 상태를 살피는 것을 특징으로 하는 인공지능 기반의 치매 조기 진단 플랫폼.
   
3. 제2항에 있어서,
   상기 제어부는 캡처 버튼이 눌려지면 촬영 광원을 짧은 시간동안 온(On) 시키고, 상기 이미지 센서의 설정값을 조절하여 왜곡이 없는 망막의 이미지를 촬영하도록 제어하는 것을 특징으로 하는 인공지능 기반의 치매 조기 진단 플랫폼.
   
4. 제1항에 있어서,
   상기 안구의 촬영은 근적외선을 동공을 통해 망막에 비추어 상기 망막의 다른 위치에서 반사되는 신호(빛)를 획득하여 비침습적인 방법으로 망막의 단층분석 검사를 하여 상기 망막의 상태를 살피는 광간섭 단층촬영(OCT)인 것을 특징으로 하는 인공지능 기반의 치매 조기 진단 플랫폼.
   
5. 제1항에 있어서,
   상기 학습부에서 치매환자의 망막 내의 아밀로이드 플라크 영상을 분석한 것과 상기 영상데이터로부터의 망막 영상데이터를 비교, 분석하여 치매를 조기 진단하는 것을 특징으로 하는 인공지능 기반의 치매 조기 진단 플랫폼.
   
6. 인공지능 기반의 치매 조기진단 플랫폼을 이용한 조기진단 알고리즘에 있어서,
   치매에 걸린 망막 영상을 학습부를 통해서 딥러닝 모델을 이용하여 학습시키는 단계;
   안저 카메라를 이용하여 치매를 진단하려고 하는 자의 망막을 촬영하는 단계;
   상기 단계에서 촬영한 망막의 영상들을 실시간으로 시각화하여 딥- 러닝하는 단계;
   상기 촬영한 망막의 영상들과 상기 학습부를 통해 얻어진 치매에 걸린 망막 영상의 아밀로이드 플라크를 비교하여 분석해서 등급화하는 단계;
   상기 단계에서 등급화된 아밀로이드 플라크 등급을 고려하여 치매 위험자를 분류하는 단계;
   상기 단계에서 분류된 치매 위험자를 전문가에게 컨설팅시키는 단계를 포함하는 것을 특징으로 하는 인공지능 기반의 치매 조기진단 플랫폼을 이용한 조기진단 알고리즘.

Images