KR20210096292A

KR20210096292A - 뇌 질환 예측 장치 및 방법, 뇌 질환을 예측하기 위한 학습 장치

Info

Publication number: KR20210096292A
Application number: KR1020217022211A
Authority: KR
Inventors: 석흥일; 정원식
Original assignee: 주식회사 뉴로젠; 고려대학교 산학협력단
Priority date: 2019-03-06
Filing date: 2020-03-05
Publication date: 2021-08-04
Also published as: WO2020179950A1; KR102605720B1; WO2020180135A1

Abstract

실시예에 따른 뇌 질환 예측 장치는 서로 다른 시점의 복수의 뇌 영상을 수집하는 데이터 수집부와, 상기 뇌 영상 중 관심 영역의 뇌 조직 영상의 정보를 추출하는 데이터 처리부와, 상기 서로 다른 시점의 복수의 뇌 영상에서 추출한 관심 영역의 복수의 뇌 조직 영상의 정보를 미리 학습된 학습 모델의 입력으로 하여 뇌 질환의 진행 경과, 상기 뇌 질환의 현재 진행 속도, 상기 뇌 질환의 추후 진행 속도 및 상기 뇌 질환 상태에 따른 임상적 진단 평가 점수 중 적어도 하나 이상의 정보를 예측하는 진단부를 포함할 수 있다.

Description

뇌 질환 예측 장치 및 방법, 뇌 질환을 예측하기 위한 학습 장치

실시예는 딥러닝 기반 뇌 질환, 예를 들면 알츠하이머병의 예측 장치 및 방법에 관한 것이다.

알츠하이머병은 노년층의 많은 이들에게 발병하는 신경퇴행성 뇌 질환으로, 임상적으로, 인지 기능의 상실을 특징으로 한다. 의학의 발달에 의해 평균 수명이 늘어남에 따라, 알츠하이머병이 증가하는 추세이며, 결과적으로, 알츠하이머병의 진행 속도를 늦추는 등의 적절한 조치를 위한 조기 진단 및 진행 결과를 예측하는 기술의 필요성이 증대되고 있다.

뇌 영상검사 방법 중 비침습적인 방법인 MRI는, 같은 비침습 방법인 컴퓨터 단층 촬영(Computed Tomography: CT)에 비해 두개골에 의한 인공 음영 영향이 없어 뇌관류 상태의 미세 진단이 가능하고, 뇌의 구조적, 기능적 변화로 발생하는 다양한 질환들을 검사할 수 있다.

알츠하이머병의 조기 검출은 환자의 인지기능이 급격히 저하되어, 일상생활이 어려워지는 시점이 도래하기 전에 처치하기 위한 결정적인 요인이 될 수 있다.

알츠하이머병은 시간이 지남에 따라 환자의 뇌가 위축되는 증상을 일으키므로, 뇌 영상으로부터 환자의 상태를 감지하여 진단하고자 하는 연구가 진행되고 있다. 뇌 영상을 이용한 질환 진단 시, 환자들 간의 뇌 구조가 모두 다르기 때문에, 이들의 공통된 변화 정도를 획일적으로 확인하기 위하여, 템플릿을 사용하여 동일한 구조로 변환하고, 각 해부학적 영역별 변화 정도를 확인하는 방법을 사용할 수 있다.

알츠하이머병 진단 방법의 임상적 예로는, 간이정신상태검사(Mini-Mental State Examination - MMSE), 알츠하이머병 평가 척도(Alzheimer's Disease Assessment Score - ADAS), 임상치매평가(Clinical Dementia Rating - CDR), 혈액검사 결과를 종합적으로 판단하는 방법을 사용할 수 있다.

최근 기계학습의 일종인 딥러닝 기법을 통한 컴퓨터 영상 분류 기술이 발전함에 따라, 의료 영상으로부터 특징을 추출하여 임상 상태를 진단하고자 하는 연구들이 활발히 진행되고 있다. 하지만, 기존의 딥러닝 기반 단일 뇌 영상 기반 진단 시스템은 질환의 진행도가 미미한 경우, 뇌 영상의 형태적 차이 또한 미세하기 때문에, 알츠하이머병의 조기 진단에 어려움이 있다.

실시예는 알츠하이머병 등의 뇌 질환의 진행을 보다 신뢰성 있게 예측하기 위한 뇌 질환 예측 장치 및 방법, 뇌 질환을 예측하기 위한 학습 장치를 제공하는 것을 그 목적으로 한다.

다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.

상기 데이터 처리부는 상기 복수의 뇌 영상에서 상기 뇌의 위치가 정렬되도록 상기 복수의 뇌 영상을 처리하는 뇌 위치 정렬부와, 상기 뇌 위치가 정렬된 상기 복수의 뇌 영상에서 상기 관심 영역의 뇌 조직 영상을 추출하는 뇌 조직 영상 추출부와, 상기 복수의 뇌 영상에서 상기 관심 영역의 상기 뇌 조직 영상을 제외한 영역을 제거하는 제거부와, 상기 관심 영역의 상기 뇌 조직 영상을 이용하여 상기 뇌 조직의 정보를 추출하는 정보 추출부를 포함할 수 있다.

상기 데이터 처리부에서 상기 관심 영역의 뇌 조직 영상은 중측두회(middle temporal gyrus) 영상, 내 후각 피질(entorhinal cortex) 영상, 방추이랑(Fusiform gyrus) 및 해마 (Hippocampus) 영상 중 적어도 하나를 포함할 수 있다.

상기 학습 모델은 상기 뇌 조직 영상의 정보에 따른 정상 상태, 경도인지장애 상태 및 알츠하이머병 상태에 대해 각각 학습된 복수의 학습 모델을 포함할 수 있다.

상기 진단부에서 상기 학습 모델을 미리 학습시키기 위한 학습 데이터는 제1 시점에서 획득된 제1 뇌 조직 영상 정보와 상기 제1 뇌 조직 영상 정보에 대한 제1 진단평가점수를 포함하는 제1 학습 데이터와, 제2 시점에서 획득된 제2 뇌 조직 영상 정보와 상기 제2 뇌 조직 영상 정보에 대한 제2 진단평가점수를 포함하는 제2 학습 데이터와, 제3 시점에서 획득된 제3 뇌 조직 영상 정보와 상기 제3 뇌 조직 영상 정보에 대한 제3 진단평가점수를 포함하는 제3 학습 데이터를 포함할 수 있다.

상기 진단부에서 상기 학습 모델을 미리 학습시키기 위한 학습 데이터는 상기 제1 학습 데이터, 상기 제2 학습 데이터 및 상기 제3 학습 데이터의 각각 또는 2개 이상의 학습 데이터가 조합된 데이터를 포함할 수 있다.

상기 데이터 수집부는 상기 뇌 조직의 상태에 따른 임상적 진단평가점수 정보를 더 수집하고, 상기 진단부는 상기 뇌 조직 영상의 정보와, 상기 임상적 진단평가점수 정보를 상기 학습 모델의 학습 데이터로 사용할 수 있다.

상기 진단부는 상기 학습 모델을 이용하여 이전 시점의 상기 뇌 조직 영상 정보 또는 이후 시점의 상기 뇌 조직 영상 정보를 예측할 수 있다.

상기 진단부는 이전 시점의 상기 뇌 조직 영상 정보 또는 상기 이후 시점의 상기 뇌 조직 영상 정보를 재이용하여 상기 학습 모델의 입력 데이터로 사용할 수 있다.

상기 학습 모델은 인코딩 모듈부와 디코팅 모듈부를 포함하고, 상기 진단부는 상기 뇌 조직 영상의 정보를 상기 인코딩 모듈의 입력으로 하여 상기 뇌 조직 영상의 부피 변화량, 형태 변화량, 형상 변화량, 위치 변화량 정보를 포함하는 특징을 추출하고, 상기 특징을 상기 디코딩 모듈부의 입력으로 하여 뇌 질환의 진행 경과, 상기 뇌 질환의 현재 진행 속도, 상기 뇌 질환의 추후 진행 속도, 임상적 진단 평가 점수 중 적어도 하나 이상의 정보를 예측할 수 있다.

또한, 실시예에 따른 뇌 질환 예측 방법은 서로 다른 시점의 복수의 뇌 영상의 데이터를 수집하는 단계와, 상기 뇌 영상 중 관심 영역의 뇌 조직 영상의 정보를 추출하는 단계와, 상기 서로 다른 시점의 복수의 뇌 영상에서 추출한 관심 영역의 복수의 뇌 조직 영상의 정보를 미리 학습된 학습 모델의 입력으로 하여 뇌 질환의 진행 경과, 상기 뇌 질환의 현재 진행 속도, 상기 뇌 질환의 추후 진행 속도 및 상기 뇌 질환 상태에 따른 임상적 진단 평가 점수 중 적어도 하나 이상의 정보를 예측하는 단계를 포함할 수 있다.

또한, 실시예에 따른 학습 장치는 학습 데이터를 수집하는 학습 데이터 수집부와, 뇌 질환의 진행 경과, 상기 뇌 질환의 현재 진행 속도, 상기 뇌 질환의 추후 진행 속도 및 상기 뇌 질환 상태에 따른 임상적 진단 평가 점수 중 적어도 하나 이상의 정보를 예측하기 위해 상기 학습 데이터를 이용하여 학습되는 학습 모델을 포함할 수 있다.

상기 학습 모델은 RNN, CNN 및 DNN 중 어느 하나 또는 이들의 조합일 수 있다.

상기 학습 데이터 수집부는 제1 시점에서 획득된 제1 뇌 조직 영상 정보와 상기 제1 뇌 조직 영상 정보에 대한 제1 진단평가점수를 포함하는 제1 학습 데이터와, 제2 시점에서 획득된 제2 뇌 조직 영상 정보와 상기 제2 뇌 조직 영상 정보에 대한 제2 진단평가점수를 포함하는 제2 학습 데이터와, 제3 시점에서 획득된 제3 뇌 조직 영상 정보와 상기 제3 뇌 조직 영상 정보에 대한 제3 진단평가점수를 포함하는 제3 학습 데이터를 포함할 수 있다.

상기 학습 데이터 수집부는 상기 제1 학습 데이터, 상기 제2 학습 데이터 및 상기 제3 학습 데이터의 각각 또는 2개 이상의 학습 데이터가 조합된 데이터를 수집할 수 있다.

실시예는 과거 뇌 영상 데이터를 이용하여 알츠하이머병을 보다 신뢰성 있게 진단하고, 진단에 대한 분석과 그 근거에 유의한 정보를 제공할 수 있는 효과가 있다.

실시예는 임상의의 의사결정에 도움이 될 수 있는 진단 방법으로 자기공명영상 외에도 임상적 진단 평가 점수를 통해 알츠하이머 병의 진행 확률 및 임상적 진단 평가 점수 예측치를 종합하여 신뢰할 수 있는 진단이 가능한 효과가 있다.

도 1은 실시예에 따른 뇌 질환 장치의 구성을 나타낸 블록도이다.
도 2는 실시예에 따른 뇌 질환 장치의 데이터 수집부에서 수집되는 정보를 나타낸 블록도이다.
도 3은 실시예에 따른 뇌 질환 장치의 데이터 수집부에서 수집되는 뇌 영상을 나타낸 도면이다.
도 4는 실시예에 따른 뇌 질환 장치의 데이터 수집부에서 수집되는 진단평가점수 정보를 나타낸 도면이다.
도 5는 실시예에 따른 뇌 질환 장치의 데이터 처리부의 구성을 나타낸 블록도이다.
도 6은 실시예에 따른 뇌 질환 장치의 데이터 처리부에서 추출되는 뇌 조직을 나타낸 도면이다.
도 7은 실시예에 따른 뇌 질환 장치의 학습 모델을 나타낸 도면이다.
도 8은 실시예에 따른 뇌 질환 장치의 복수의 학습 모델을 나타낸 도면이다.
도 9는 실시예에 따른 뇌 질환 장치의 학습 모델의 수학적으로 모델링한 모습을 나타낸 도면이다.
도 10은 실시예에 따른 뇌 질환 장치의 성능 결과를 나타낸 도면이다.
도 11은 실시예에 따른 뇌 질환 방법을 나타낸 블록도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다.　그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.

또한 어떤 구성 요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성 요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성 요소들을 배제하는 것으로 이해되어서는 안 된다.

나아가 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성 요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다.

또한 '제1, 제2' 등과 같은 표현은 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다.

이하에서는 도면들을 참조하여 본 발명의 실시예들에 대해 설명하도록 한다.

도 1은 실시예에 따른 뇌 질환 장치의 구성을 나타낸 블록도이고, 도 2는 실시예에 따른 뇌 질환 장치의 데이터 수집부에서 수집되는 정보를 나타낸 블록도이고, 도 3은 실시예에 따른 뇌 질환 장치의 데이터 수집부에서 수집되는 뇌 영상을 나타낸 도면이고, 도 4는 실시예에 따른 뇌 질환 장치의 데이터 수집부에서 수집되는 진단평가점수 정보를 나타낸 도면이고, 도 5는 실시예에 따른 뇌 질환 장치의 데이터 처리부의 구성을 나타낸 블록도이고, 도 6은 실시예에 따른 뇌 질환 장치의 데이터 처리부에서 추출되는 뇌 조직을 나타낸 도면이고, 도 7은 실시예에 따른 뇌 질환 장치의 학습 모델을 나타낸 도면이고, 도 8은 실시예에 따른 뇌 질환 장치의 복수의 학습 모델을 나타낸 도면이고, 도 9는 실시예에 따른 뇌 질환 장치의 학습 모델의 수학적으로 모델링한 모습을 나타낸 도면이고, 도 10은 실시예에 따른 뇌 질환 장치의 성능 결과를 나타낸 도면이다.

도 1을 참조하면, 실시예에 따른 뇌 질환 예측 장치(1000)는 데이터 수집부(100)를 포함할 수 있다.

데이터 수집부(100)는 동일 대상체에 대해 서로 다른 시점에서 촬영된 뇌 영상을 수집할 수 있다. 도 2에 도시된 바와 같이, 데이터 수집부(100)는 뇌 영상 정보(110)와 진단평가점수 정보(120)를 포함할 수 있다. 데이터 수집부(100)는 뇌 영상 정보(110)만을 수집할 수도 있다.

도 3에 도시된 바와 같이, 뇌 영상은 MRI로부터 촬영된 영상일 수 있다. 뇌 영상은 제1 시점에서 촬영된 뇌 영상(10)과, 제2 시점에서 촬영된 뇌 영상(20)과, 제3 시점에서 촬영된 뇌 영상(30)을 포함할 수 있으나, 그 개수는 한정되지 않는다. 제1 시점은 1년 전일 수 있으며, 제2 시점은 2년 전일 수 있으며, 제3 시점은 3년 전일 수 있다. 여기서, 현재 시점의 뇌 영상을 더 포함할 수도 있다.

도 4에 도시된 바와 같이, 진단평가점수 정보(120)는 해당 뇌 영상에 대한 진단평가점수일 수 있다. 여기서, 진단평가점수는 pMCI-early, pMCI-late, sMCI을 포함할 수 있으며, 그 외 MMSE, ADAS-cog 11, ADAS-cog13 을 더 포함할 수 있으나, 이에 한정되지 않는다.

도 1로 돌아가서, 실시예에 따른 뇌 질환 예측 장치(1000)는 데이터 처리부(200)를 더 포함할 수 있다.

데이터 처리부(200)는 정합 과정 및 뇌 조직 분할 과정을 통해 뇌의 볼륨정보 획득을 위한 영상 처리를 수행할 수 있다. 데이터 처리부(200)는 뇌의 볼륨정보로부터 해부학적 영역을 분할하여 관심영역별로 뇌의 전체볼륨으로 정규화된 복셀값을 갖는 작업을 거친 후 임의의 표본 집합을 얻는 과정을 갖는 표본을 추출할 수 있다.

데이터 처리부(200)는 입력된 영상의 대칭을 맞춘 후, 분석에 필요하지 않은 뇌 영역을 제거한다. 얻어낸 뇌 영상의 오차를 보완하고자 편이 보정 작업 후, 뇌의 조직 분리 작업을 거친다. 모든 뇌 조직을 같은 템플릿 공간으로 변환시킨 후 정합 과정을 거쳐 뇌의 밀도 지도를 얻는다. 얻어낸 뇌 밀도 지도를 해부학적 영역별 진단을 위해 관심영역으로 나눈 후, 데이터 값들의 분포를 맞추기 위하여 정규화한다.

예를 들어, 데이터 처리부(200)는 자기공명영상이 입력되면 뇌 위치를 정렬하고, 두개골 및 소뇌를 제거한 뒤, 뇌 조직을 분리하고, 정합하여 뇌의 볼륨정보를 갖는 관심영역을 분리한다. 전처리부는 관심영역별 분리된 뇌의 볼륨정보를 뇌의 전체볼륨으로 정규화한 값으로부터, 임의 표본 추출기법을 이용하여 부피 정보를 추출하여 표본을 추출한다.

여기서, 데이터 처리부(200)는 뇌의 템플릿 정보 몇 명도의 분포를 이용하여 뇌의 볼륨정보를 갖는 관심영역을 분리할 수 있다. 예를 들어, 뇌 조직의 위치 정보, 각각의 뇌 조직에 대한 명도 정보 등의 템플릿 정보를 기초로 명도의 분포를 통해 뇌의 볼륨정보를 갖는 관심 영역을 분리할 수 있다.

보다 구체적으로 도 5에 도시된 바와 같이, 데이터 처리부(200)는 뇌 위치 정렬부(210)와, 뇌 조직 영상 추출부(220)와, 제거부(230)와, 정보 추출부(240)를 포함할 수 있다.

뇌 위치 정렬부(210)는 뇌 영상에서 뇌의 위치가 정렬되도록 뇌 영상을 처리할 수 있다. 뇌 위치 정렬부(210)는 뇌 영상을 정합 과정을 통해 뇌 위치를 정렬할 수 있다. 뇌 위치 정렬부(210)는 뇌 영상의 대칭을 맞춰 뇌 위치를 정렬할 수 있다.

뇌 조직 영상 추출부(220)는 뇌 영상으로부터 관심 영역의 뇌 조직 영상을 추출할 수 있다. 뇌 조직은 알츠하이머병에 관련된 바이오 마커일 수 있다. 최근 연구에 따르면 알츠하이머병과 관련하여, 신피질 영역에서 Amyloid β와 abnormal tau level의 증가가 관찰되었고, 도 6a의 뇌(40)의 중측두회(middle temporal gyrus) 조직(42), 도 6b의 내 후각 피질(entorhinal cortex) 조직(44) 및 방추이랑(Fusiform gyrus) 조직(46), 도 6c의 해마 (Hippocampus) 조직(48)에서 부피들의 감소가 관찰되었다.

따라서, 뇌 조직 영상 추출부(220)는 중측두회(middle temporal gyrus) 조직 영상, 내후각 피질(entorhinal cortex) 조직 영상, 방추이랑(Fusiform gyrus) 조직 영상 및 해마 (Hippocampus) 조직 영상 중 하나 이상을 추출할 수 있다.

제거부(230)는 뇌 영상 중 관심 영역의 뇌 조직 영상을 제외한 영역을 제거할 수 있다. 즉, 제거부(230)는 두개골 및 소뇌와 같은 뇌 조직 영상들을 제거할 수 있다.

정보 추출부(240)는 관심 영역의 뇌 조직 영상을 이용하여 뇌 조직의 정보를 추출할 수 있다. 여기서, 정보는 뇌 조직에 대한 다양한 정보를 포함할 수 있으며, 한 예로 부피 정보를 포함할 수 있다. 이로 인해 표본의 뇌 조직 영상을 획득할 수 있다.

도 1로 돌아가서, 실시예에 따른 뇌 질환 예측 장치(1000)는 진단부(400)를 더 포함할 수 있다.

진단부(400)는 뇌 조직 영상의 정보를 입력으로 하여 미리 학습된 학습 모델(300)을 이용하여 뇌 질환의 진행 경과, 상기 뇌 질환의 현재 진행 속도, 상기 뇌 질환의 추후 진행 속도, 임상적 진단 평가 점수 중 적어도 하나 이상의 정보를 예측할 수 있다. 진단부(400)는 이러한 정보를 이용하여 알츠하이머 병에 대해 진단할 수 있다.

학습 모델(300)은 진단부(400)의 내부에 배치될 수 있으며, 진단부(400)와 별도의 공간에 배치될 수도 있다.

학습 모델(300)은 RNN(Recurrent Neural Network), CNN(Convolution Neural Network), DNN(Deep Neural Network) 등의 신경망 중 하나 또는 이들의 조합을 이용하여 학습데이터 및 레이블에 의해 학습된 뒤, 진단부(400)에 의해 사용될 수 있다.

학습 모델(300)은 학습 데이터를 수집하는 학습 데이터 수집부를 포함활 수 있으나, 이에 한정되지 않는다. 학습 모델(300)은 학습 데이터 수집부를 포함하여 구성된 별도의 학습 장치일 수 있다.

도 7에 도시된 바와 같이, 학습 모델(300)은 인코딩 모듈(310)과 디코딩 모듈(320)을 포함할 수 있다.

인코딩 모듈(310)은 뇌 조직 영상의 정보를 입력으로 하여 뇌 조직 영상에 대한 정보를 포함하는 특징들을 추출할 수 있다. 여기서, 특징들은 뇌 조직의 부피 변화량, 형태 변화량, 형상 변화량, 위치 변화량 등의 특징들을 추출할 수 있다. 여기서, 뇌 조직 영상의 정보는 시간별로 획득한 뇌 조직 영상을 이용하게 되므로, 그에 대한 변화량을 측정할 수 있게 된다.

학습 모델(300)은 동일 대상체의 소정 주기의 뇌 영상 및 각각의 뇌 영상의 획득 당시 당일 동일 대상체로부터 획득한 임상적 진단평가점수를 이용하여 학습될 수 있다.

예를 들어, 학습 모델(300)은 제1 시점에서 획득된 제1 뇌 조직 영상과 상기 제1 뇌 조직 영상에 대한 제1 진단평가점수를 포함하는 제1 학습 데이터와, 제2 시점에서 획득된 제2 뇌 조직 영상과 상기 제2 뇌 조직 영상에 대한 제2 진단평가점수를 포함하는 제2 학습 데이터와, 제3 시점에서 획득된 제3 뇌 조직 영상과 상기 제3 뇌 조직 영상에 대한 제3 진단평가점수를 포함하는 제3 학습 데이터를 이용하여 학습될 수 있다. 여기서, 학습 모델(300)은 복수개가 구비되어 각각의 학습 데이터에 의해 학습될 수 있다.

경우에 따라, 학습 모델(300)의 신뢰성 또는 정확성 향상을 위해 제1 시점의 제1 학습 데이터, 제2 시점의 제2 학습 데이터, 제3 시점의 제3 학습 데이터 각각이 시계열적인 데이터임에 기초하여 제3 학습 데이터로부터 얻어진 값을 제2 학습 데이터로서 제2 학습모델에 의해 학습될 수 있고, 제2 학습 데이터에 의해 얻어진 값이 제1 학습 데이터로서 제1 학습모델에 의해 학습이 수행될 수 있다.

또한, 도 8에 도시된 바와 같이, 학습 모델(300)은 복수의 학습 모델을 포함할 수 있다. 학습 모델(300)은 제1 학습 모델(300a)과, 제2 학습 모델(300b)과, 제3 학습 모델(300c)을 포함할 수 있다.

제1 학습 모델(300a)은 정상 상태의 뇌 조직 영상의 정보를 이용하여 학습될 수 있다. 제2 학습 모델(300b)은 초기 뇌 질환 발병 상태인 경도인지장애 상태의 정보를 이용하여 학습될 수 있다. 제3 학습 모델(300c)은 뇌 질환 발명 상태인 알츠하이머병 상태의 정보를 이용하여 학습될 수 있다. 물론, 학습의 정확성을 향상시키기 위해 3개의 데이터를 복합적으로 사용할 수도 있다.

도 9에 도시된 바와 같이, 학습 모델(300)은 수학적으로 모델링될 수 있다. 여기서, C₀,C₁,C₂는 셀 상태를 의미하고, ht-1, ht, ht+1는 은닉 상태(hidden state)를 의미하고, Xt는 입력 데이터를 의미하고,

는 시간차 정보가 반영된 값을 의미하고, Δ_t,Δ_t+1,Δ_t+2는 시간차 정보를 의미하고, Mt, Mt+1, Mt+2는 마스킹 벡터를 의미하고, Z_t는 변수 간 상관관계 정보가 반영된 값을 의미하고,

는 시간차 정보 및 변수 간 상관관계 정보가 반영된 값을 의미하고,

는 행렬곱 연산자를 의미하고,

는 연결 연산자를 의미할 수 있다.

여기서, 각각의 값은 수학식 1에 의해 계산될 수 있다.

[수학식 1]

여기서, (1) 과정은 시간차 정보를 반영하는 식이고, (2)식은 입력 데이터에 시간차 정보와 마스킹 벡터를 행렬곱 연산을 수행한 식이고, (3) 과정은 변수간 상관관계 정보를 반영하는 식이고, (5) 과정은 시간차 정보 및 변수 간 상관관계 정보를 결합하는 식이고, (6) 과정은 결측값이 있는 경우 (5) 과정을 통한 입력 값을 사용하고, 결측값이 없는 경우 입력 데이터를 사용하여 계산될 수 있다.

도 1로 돌아가서, 진단부(400)는 환자의 현재 시점의 뇌 조직 영상과 임상적 진단평가점수 정보를 입력 데이터로 이용할 경우, 현재 시점의 뇌 조직 영상과 임상적 진단평가점수 정보를 입력 데이터로 하여 학습 모델(300)을 이용하게 되면, 이전 시점의 상기 뇌 영상 정보 또는 이후 시점의 상기 뇌 영상 정보를 예측할 수 있다.

또한, 진단부(400)는 이전 시점의 뇌 영상 정보 또는 이후 시점의 상기 뇌 영상 정보를 상기 입력 데이터로 하여 학습 모델(300)을 이용하게 되면, 뇌 질환의 진행 경과, 상기 뇌 질환의 현재 진행 속도, 상기 뇌 질환의 추후 진행 속도, 임상적 진단 평가 점수 중 적어도 하나 이상의 정보를 예측할 수 있다.

또한, 진단부(400)는 학습 모델(300)에 의해 추출된 특징으로부터 얻은 각 시간별 특징으로부터 뇌 질환의 진행 단계 및 임상적 진단 평가 점수를 동시에 예측하거나 순서에 무관하게 예측할 수 있다. 각 시간별 특징으로부터 질병의 진행 단계 및 임상적 진단 평가 점수를 동시에 예측하기 위해 최종적으로 진단부(400)를 통한 진단 방법이 이루어지며, 클래스 간 구별하는 방법과 임상적 진단 평가 점수에 적합한 예측 모형을 구성하기 위해 딥러닝 모델을 이용할 수 있다.

상술한 바와 같이, 만약 학습 모델(300)에 의해 임상적 진단 평가 점수가 입력되지 않으면, 진단부(400)는 학습 모델(300)에 의해 뇌 영상에 기초하여 추출된 특징을 가지고 임상적 진단 평가 점수를 예측할 수 있다. 이러한 경우, 진단부(400)는 각 시간별 진행 단계 확률과 예측한 임상적 진단 평가 점수를 통합하여 뇌 질환을 진단할 수 있다.

도 10에 도시된 바와 같이, 성능 결과에 사용되는 데이터는 ADNI 기반의 TADPOLE challenge dataset을 이용하였으며, 655명의 피험자들을 사용하였다. 이 중 395를 학습 데이터로, 131개를 검증 데이터로, 129개를 테스트 데이터로 이용하였다.

성능 결과는 CN(Cognitively Normal), MCI (Mild Cognitive Impairment), AD (Alzheimer's Disease) 레이블로 구성될 수 있으며, 성능 평가는 5-fold cross validation를 이용하여 평가되었다.

분류의 경우, mAUC (multi-class AUC) 지표를 사용하였으며, 회귀(regression)의 경우, 부피 값을 추정하는 지표로서, MAE(mean absolute error)를 사용할 수 있으며, 인지/임상평가점수 예측 값의 경우는 MAE와 RMSE(root mean square error)를 사용하였다.

mAUC의 계산은 수학식 2에 의해 계산될 수 있다.

[수학식 2]

MAE와 RMSE의 계산은 수학식 3에 의해 계산될 수 있다.

[수학식 3]

도 10에 도시된 바와 같이, mAUC의 경우 임상적 진단 평가 점수를 사용하였을 때(with Clinical scores)와 사용하지 않았을 때(w/o Clinical scores)를 비교한 경우로써, 임상적 진단 평가 점수를 사용하였을 때(with Clinical scores)의 성능이 더 향상된 것을 확인할 수 있다. 따라서 임상적 진단 평가 점수를 사용하는 것이 분류 성능 향상의 기여하는 것을 확인할 수 있다.

또한, 도 10에 도시된 바와 같이, 뇌 조직 영상 정보와 임상적 진단 평가 점수에 대한 예측 결과로서, 현재 시점의 뇌 조직 영상 정보로부터 추정한 다음 시점의 뇌 조직 영상 정보와 실제 다음 시점의 뇌 조직 영상 정보와 수학식 3에 해당하는 MAE에 의해 계산된 값을 나타낸다. 또한, 임상적 진단 평가 점수에 해당하는 ADAS11, ADAS13의 경우 수학식 3에 해당하는 MAE와 RMSE에 의해 계산된 값을 나타낸다. 따라서, 실시예의 뇌 질환 예측은 종래에 비해 상당히 향상된 것을 알 수 있다.

이하에서는 도 11을 참조하여, 실시예에 따른 뇌 질환 방법을 설명한다.

도 11은 실시예에 따른 뇌 질환 방법을 나타낸 블록도이다. 여기서, 실시예에 따른 뇌 질환 방법은 앞서 설명한 뇌 질환 장치에 의해 수행될 수 있다.

도 11에 도시된 바와 같이, 실시예에 따른 뇌 질환 방법은 서로 다른 시점의 복수의 뇌 영상 데이터를 수집하는 단계(S100)와, 상기 뇌 영상 중 관심 영역의 뇌 조직 영상의 정보를 추출하는 단계(S200)와, 상기 서로 다른 시점의 복수의 뇌 영상에서 추출한 관심 영역의 복수의 뇌 조직 영상의 정보를 미리 학습된 학습 모델의 입력으로 하여 뇌 질환의 진행 경과, 상기 뇌 질환의 현재 진행 속도, 상기 뇌 질환의 추후 진행 속도 및 상기 뇌 질환 상태에 따른 임상적 진단 평가 점수 중 적어도 하나 이상의 정보를 예측하는 단계(S300)를 포함할 수 있다.

서로 다른 시점의 복수의 뇌 영상 데이터를 수집하는 단계(S100)는 데이터 수집부에서 수행될 수 있다.

뇌 영상 중 관심 영역의 뇌 조직 영상의 정보를 추출하는 단계(S200)는 데이터 처리부에서 수행될 수 있다.

상기 서로 다른 시점의 복수의 뇌 영상에서 추출한 관심 영역의 복수의 뇌 조직 영상의 정보를 미리 학습된 학습 모델의 입력으로 하여 뇌 질환의 진행 경과, 상기 뇌 질환의 현재 진행 속도, 상기 뇌 질환의 추후 진행 속도 및 상기 뇌 질환 상태에 따른 임상적 진단 평가 점수 중 적어도 하나 이상의 정보를 예측하는 단계(S300)는 진단부에서 수행될 수 있다.

상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 응용 주문형 집적회로(ASICs, Application Specific Integrated Circuits), 디지털 신호 처리기(DSPs, Digital Signal Processors), 디지털 신호 처리 소자(DSPDs, Digital Signal Processing Devices), 프로그램가능 논리 소자(PLDs, Programmable Logic Devices), 필드 프로그램가능 게이트 어레이(FPGAs, Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드 등이 기록된 컴퓨터 프로그램은 컴퓨터 판독 가능 기록 매체 또는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.

또한 본 발명은 복수의 블록을 포함하는 블록도 또는 복수의 단계를 포함하는 흐름도로 표현될 수 있으며 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

더불어 각 블록 또는 각 단계는 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

서로 다른 시점의 복수의 뇌 영상을 수집하는 데이터 수집부;
상기 뇌 영상 중 관심 영역의 뇌 조직 영상의 정보를 추출하는 데이터 처리부; 및
상기 서로 다른 시점의 복수의 뇌 영상에서 추출한 관심 영역의 복수의 뇌 조직 영상의 정보를 미리 학습된 학습 모델의 입력으로 하여 뇌 질환의 진행 경과, 상기 뇌 질환의 현재 진행 속도, 상기 뇌 질환의 추후 진행 속도 및 상기 뇌 질환 상태에 따른 임상적 진단 평가 점수 중 적어도 하나 이상의 정보를 예측하는 진단부
를 포함하는 뇌 질환 예측 장치.
제1항에 있어서,
상기 데이터 처리부는,
상기 복수의 뇌 영상에서 상기 뇌의 위치가 정렬되도록 상기 복수의 뇌 영상을 처리하는 뇌 위치 정렬부;
상기 뇌 위치가 정렬된 상기 복수의 뇌 영상에서 상기 관심 영역의 뇌 조직 영상을 추출하는 뇌 조직 영상 추출부;
상기 복수의 뇌 영상에서 상기 관심 영역의 상기 뇌 조직 영상을 제외한 영역을 제거하는 제거부;
상기 관심 영역의 상기 뇌 조직 영상을 이용하여 상기 뇌 조직의 정보를 추출하는 정보 추출부;를 포함하는 뇌 질환 예측 장치.
제2항에 있어서,
상기 데이터 처리부에서,
상기 관심 영역의 뇌 조직 영상은 중측두회(middle temporal gyrus) 영상, 내 후각 피질(entorhinal cortex) 영상, 방추이랑(Fusiform gyrus) 및 해마 (Hippocampus) 영상 중 적어도 하나를 포함하는 뇌 질환 예측 장치.
제1항에 있어서,
상기 학습 모델은 상기 뇌 조직 영상의 정보에 따른 정상 상태, 경도인지장애 상태 및 알츠하이머병 상태에 대해 각각 학습된 복수의 학습 모델을 포함하는 뇌 질환 예측 장치.
제1항에 있어서,
상기 진단부에서,
상기 학습 모델을 미리 학습시키기 위한 학습 데이터는 제1 시점에서 획득된 제1 뇌 조직 영상 정보와 상기 제1 뇌 조직 영상 정보에 대한 제1 진단평가점수를 포함하는 제1 학습 데이터와, 제2 시점에서 획득된 제2 뇌 조직 영상 정보와 상기 제2 뇌 조직 영상 정보에 대한 제2 진단평가점수를 포함하는 제2 학습 데이터와, 제3 시점에서 획득된 제3 뇌 조직 영상 정보와 상기 제3 뇌 조직 영상 정보에 대한 제3 진단평가점수를 포함하는 제3 학습 데이터를 포함하는 뇌 질환 예측 장치.
제5항에 있어서,
상기 진단부에서,
상기 학습 모델을 미리 학습시키기 위한 학습 데이터는 상기 제1 학습 데이터, 상기 제2 학습 데이터 및 상기 제3 학습 데이터의 각각 또는 2개 이상의 학습 데이터가 조합된 데이터를 포함하는 뇌 질환 예측 장치.
제1항에 있어서,
상기 데이터 수집부는 상기 뇌 조직의 상태에 따른 임상적 진단평가점수 정보를 더 수집하고,
상기 진단부는 상기 뇌 조직 영상의 정보와, 상기 임상적 진단평가점수 정보를 상기 학습 모델의 학습 데이터로 사용하는 뇌 질환 예측 장치.
제7항에 있어서,
상기 진단부는,
상기 학습 모델을 이용하여 이전 시점의 상기 뇌 조직 영상 정보 또는 이후 시점의 상기 뇌 조직 영상 정보를 예측하는 뇌 질환 예측 장치.
제8항에 있어서,
상기 진단부는,
이전 시점의 상기 뇌 조직 영상 정보 또는 상기 이후 시점의 상기 뇌 조직 영상 정보를 재이용하여 상기 학습 모델의 입력 데이터로 사용하는 뇌 질환 예측 장치.
제1항에 있어서,
상기 학습 모델은,
인코딩 모듈부와 디코팅 모듈부를 포함하고,
상기 진단부는,
상기 뇌 조직 영상의 정보를 상기 인코딩 모듈의 입력으로 하여 상기 뇌 조직 영상의 부피 변화량, 형태 변화량, 형상 변화량, 위치 변화량 정보를 포함하는 특징을 추출하고,
상기 특징을 상기 디코딩 모듈부의 입력으로 하여 뇌 질환의 진행 경과, 상기 뇌 질환의 현재 진행 속도, 상기 뇌 질환의 추후 진행 속도, 임상적 진단 평가 점수 중 적어도 하나 이상의 정보를 예측하는 뇌 질환 예측 장치.
서로 다른 시점의 복수의 뇌 영상의 데이터를 수집하는 단계;
상기 뇌 영상 중 관심 영역의 뇌 조직 영상의 정보를 추출하는 단계; 및
상기 서로 다른 시점의 복수의 뇌 영상에서 추출한 관심 영역의 복수의 뇌 조직 영상의 정보를 미리 학습된 학습 모델의 입력으로 하여 뇌 질환의 진행 경과, 상기 뇌 질환의 현재 진행 속도, 상기 뇌 질환의 추후 진행 속도 및 상기 뇌 질환 상태에 따른 임상적 진단 평가 점수 중 적어도 하나 이상의 정보를 예측하는 단계
를 포함하는 뇌 질환 예측 방법.
학습 데이터를 수집하는 학습 데이터 수집부; 및
뇌 질환의 진행 경과, 상기 뇌 질환의 현재 진행 속도, 상기 뇌 질환의 추후 진행 속도 및 상기 뇌 질환 상태에 따른 임상적 진단 평가 점수 중 적어도 하나 이상의 정보를 예측하기 위해 상기 학습 데이터를 이용하여 학습되는 학습 모델
을 포함하는 뇌 질환을 예측하기 위한 학습 장치.
제12항에 있어서,
상기 학습 모델은 RNN, CNN 및 DNN 중 어느 하나 또는 이들의 조합인 뇌 질환을 예측하기 위한 학습 장치.
제12항에 있어서,
상기 학습 데이터 수집부는 제1 시점에서 획득된 제1 시점에서 획득된 제1 뇌 조직 영상 정보와 상기 제1 뇌 조직 영상 정보에 대한 제1 진단평가점수를 포함하는 제1 학습 데이터와, 제2 시점에서 획득된 제2 뇌 조직 영상 정보와 상기 제2 뇌 조직 영상 정보에 대한 제2 진단평가점수를 포함하는 제2 학습 데이터와, 제3 시점에서 획득된 제3 뇌 조직 영상 정보와 상기 제3 뇌 조직 영상 정보에 대한 제3 진단평가점수를 포함하는 제3 학습 데이터를 포함하는 뇌 질환을 예측하기 위한 학습 장치.
제14항에 있어서,
상기 학습 데이터 수집부는 상기 제1 학습 데이터, 상기 제2 학습 데이터 및 상기 제3 학습 데이터의 각각 또는 2개 이상의 학습 데이터가 조합된 데이터를 수집하는 뇌 질환을 예측하기 위한 학습 장치.