KR102586853B1

KR102586853B1 - 3d-cnn 기반의 딥러닝 모델을 이용한 급성 허혈성 뇌졸중 진단 정보 제공 장치 및 방법

Info

Publication number: KR102586853B1
Application number: KR1020210105131A
Authority: KR
Inventors: 이대인; 염규선; 박승
Original assignee: 충북대학교병원
Priority date: 2021-08-10
Filing date: 2021-08-10
Publication date: 2023-10-12
Also published as: KR20230024446A; WO2023017889A1

Abstract

본 발명에 따른, 3D-CNN 기반의 딥러닝 모델을 이용한 급성 허혈성 뇌졸중 진단 정보 제공 방법은, 환자의 뇌를 촬영하여 생성된 데이터로서, DWI(Diffusion Weighted Image) 및 ADC(Apparent Diffusion Coefficient) 맵을 포함하여 구성되는 3D 볼륨 데이터를 수집하는 단계; 기정의된 딥러닝 모델로서 학습이 완료된 병변 분할 모델을 이용하여, 상기 3D 볼륨 데이터에서 급성 허혈성 뇌졸중과 연관된 병변 영역을 분할하여 출력하는 단계; 및 기정의된 딥러닝 모델로서 학습이 완료된 하위 유형 분류 모델을 이용하여, 상기 3D 볼륨 데이터 및 상기 분할된 병변 영역을 기초로 급성 허혈성 뇌졸중의 원인 메커니즘과 대응되는 하위 유형을 분류하여 출력하는 단계;를 포함한다.

Description

3D-CNN 기반의 딥러닝 모델을 이용한 급성 허혈성 뇌졸중 진단 정보 제공 장치 및 방법{ACUTE ISCHEMIC STROKE DIAGNOSIS APPARATUS AND METHOD USING DEEP-LEARNING MODEL BASED ON 3-D CNN}

본 발명은 3D-CNN 기반의 딥러닝 모델을 이용하여 급성 허혈성 뇌졸중의 병변을 분할하고 하위 유형을 분류할 수 있는, 급성 허혈성 뇌졸중 진단 기술에 관한 것이다.

급성 허혈성 뇌졸중은 여러 가지 원인에 의한 질병이다. 이에, 급성 허혈성 뇌졸중의 메커니즘을 분류하는 것은 치료와 2차 예방에 필수적이다. TOAST 분류는 현재 가장 널리 사용되는 시스템이나, 종종 알려지지 않은 원인을 분류하는데 한계가 있으며, 또한 평가자간 신뢰도(inter-rater reliability) 측면에서 한계가 있다.

이러한 한계를 극복하고자, 뇌 MRI 영상에서 급성 허혈성 뇌졸중을 진단하기 위한 기술로서 컨볼루션 신경망(CNN) 기반의 다양한 딥러닝 알고리즘이 제안된 바 있다. 그러나, 이러한 종래 연구는 뇌졸중 병변을 분할하는데 그치며, 뇌졸중의 발생 기전을 예측하여 이와 연관된 하위 유형을 분류하는 기술은 제안된 바 없다.

본 출원인은 이러한 종래 기술에 대한 한계를 인식하고, 급성 허혈성 뇌졸중 환자에 대한 보다 정확한 발생 기전을 예측하여 예후 치료와 2차 예방에 도움을 줄 수 있는 연구를 수행하여 본 발명을 안출하게 되었다.

한국등록특허 제10-2015224호

본 발명은 상술된 문제점을 해결하기 위해 도출된 것으로, 3D-CNN 기반의 딥러닝 모델을 이용하여 급성 허혈성 뇌졸중의 병변을 분할하고 하위 유형을 분류할 수 있는 진단 기술을 제공하고자 한다.

본 발명의 일 측면에 따른, 3D-CNN 기반의 딥러닝 모델을 이용한 급성 허혈성 뇌졸중 진단 정보 제공 방법은, 환자의 뇌를 촬영하여 생성된 데이터로서, 확산강조영상(Dffusion Weighted Image, 이하 DWI) 및 겉보기확산계수지도(Apparent Diffusion Coefficient, 이하 ADC) 맵을 포함하여 구성되는 3D 볼륨 데이터를 수집하는 단계; 기정의된 딥러닝 모델로서 학습이 완료된 병변 분할 모델을 이용하여, 상기 3D 볼륨 데이터에서 급성 허혈성 뇌졸중과 연관된 병변 영역을 분할하여 출력하는 단계; 및 기정의된 딥러닝 모델로서 학습이 완료된 하위 유형 분류 모델을 이용하여, 상기 3D 볼륨 데이터 및 상기 분할된 병변 영역을 기초로 급성 허혈성 뇌졸중의 원인 메커니즘과 대응되는 하위 유형을 분류하여 출력하는 단계;를 포함한다.

일 실시예에서, 상기 병변 분할 모델은, 상기 DWI 및 ADC 맵이 입력 데이터로 정의되며, 상기 입력 데이터에서 특징 맵을 추출하는 인코더와 상기 추출된 특징 맵을 이용하여 병변 영역을 예측하는 디코더를 포함하여 구성될 수 있다.

일 실시예에서, 상기 하위 유형 분류 모델은, 상기 DWI 및 ADC 맵이 입력 데이터로 정의되며, 하위 유형 예측 시 집중을 유도하기 위해, 상기 병변 분할 모델에 의해 분할된 상기 병변 영역을 활용하여 특징 맵을 강화시키는 집중 메커니즘 구조(attention mechanism)를 포함할 수 있다.

일 실시예에서, 상기 하위 유형 분류 모델은, 큰동맥죽상경화증(LAA), 심장성 색전증(CE) 및 소혈관 폐색(SVO) 중 적어도 하나를 포함하는 하위 유형에 대한 확률을 예측할 수 있다.

일 실시예에서, 상기 병변 분할 모델 및 하위 유형 분류 모델은, 특징 추출을 위한 잔차 블록(residual block)이 적용될 수 있다.

본 발명의 다른 일 측면에 따른, 3D-CNN 기반의 딥러닝 모델을 이용한 급성 허혈성 뇌졸중 진단 정보 제공 장치는, 환자의 뇌를 촬영하여 생성된 데이터로서, DWI 및 ADC 맵을 포함하여 구성되는 3D 볼륨 데이터를 수집하는 데이터 수집부; 기정의된 딥러닝 모델로서 학습이 완료된 병변 분할 모델을 이용하여, 상기 3D 볼륨 데이터에서 급성 허혈성 뇌졸중과 연관된 병변 영역을 분할하여 출력하는 병변 분할부; 및 기정의된 딥러닝 모델로서 학습이 완료된 하위 유형 분류 모델을 이용하여, 상기 3D 볼륨 데이터 및 상기 분할된 병변 영역을 기초로 급성 허혈성 뇌졸중의 원인 메커니즘과 대응되는 하위 유형을 분류하여 출력하는 하위 유형 분류부;를 포함한다.

본 발명은 급성 허혈성 뇌졸중 환자의 DWI와 ADC를 입력 데이터로 하여 학습된 병변 분할 모델 및 하위 유형 분류 모델을 통해, 매우 작은 병변도 정확하게 예측하여 분할할 수 있으며, 원인 메커니즘과 연관된 하위 유형을 높은 정확도로 분류할 수 있다.

도 1은 본 발명에 따른 병변 분할 모델에 의한 예측 결과를 나타내는 참조도이다
도 2는 본 발명에 따른 병변 분할 모델의 실패 사례를 나타내는 참조도이다.
도 3은 본 발명에 따른 하위 유형 분류 모델에 대한 오차 행렬(confusion matrix)이다.
도 4는 본 발명에 따른 데이터 모집단을 설명하기 위한 참조도이다.
도 5는 본 발명에 따른 병변 분할 모델을 설명하기 위한 참조도이다.
도 6은 본 발명에 따른 하위 유형 분류 모델을 설명하기 위한 참조도이다.
도 7은 본 발명에 따른 급성 허혈성 뇌졸중 진단 정보 제공 장치를 설명하기 위한 블록도이다.
도 8은 본 발명에 따른 급성 허혈성 뇌졸중 진단 정보 제공 방법을 설명하기 위한 흐름도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.

1. 서설

급성 허혈성 뇌졸중은 원인 메커니즘(causative mechanism)에 따라 다양한 원인이 있으며, 큰동맥죽상경화증(Large artery astherosclerosis, LAA), 심장성 색전증 (Cardioembolism, CE), 소혈관 폐색(Small vessel occlusion, SVO), 기타 원인에 의한 뇌졸중(stroke of other determined etiology) 또는 원인 불명의 뇌졸중(stroke of undetermined etiology)으로 분류될 수 있다. 원인에 따른 급성 허혈성 뇌졸중의 분류는 치료와 2차 예방에 중요하다. 가장 널리 사용되는 분류 체계는 TOAST(Trial of Org 10172 in Acute Stroke Treatment) 분류이다. 그러나, 이러한 분류 방법은 급성 허혈성 뇌졸중을 분류하는 데 있어 중간 수준의 평가자간 신뢰도(inter-rater reliability)를 나타내며, 종종 뇌졸중을 원인 불명의 병리학으로 분류하는 등의 한계가 있었다. 현재, 이러한 한계를 극복하기 위한 기술의 개발이 진행 중에 있으나 충분한 결과를 보여주지 못하고 있는 실정이다.

급성 허혈성 뇌졸중의 원인 메커니즘을 판단하기 위해서는 뇌 영상촬영, 심장검사 등과 같은 다양한 진단 방법이 필요하다. 이 분류 시스템을 통해 뇌졸중의 하위 분류를 조기에 진단하는 것은 환자의 치료, 예후, 2차 예방에 긍정적인 영향을 미칠 수 있다. 확산 강조 MR 영상(Diffusion Weighted MR Imaging)은 급성 뇌졸중 진단에 널리 사용되는 방식으로, 과급성 병변과 매우 작은 허혈성 병변의 검출에 우수한 성능을 나타내며, 뇌 CT나 기존 MRI와 비교하여 만성 및 급성 병변의 구별 성능이 우수하다. 또한, ADC map과 DWI를 동시에 사용할 경우, 급성 허혈성 뇌졸중의 병변을 보다 정확하게 구별할 수 있으며 병변의 적정 치료 시기에 관한 중요 정보를 제공할 수 있다. 급성 허혈성 뇌졸중의 조기 진단에 유용한 정보를 제공하는 확산 영상 병변 패턴이 뇌졸중 하위 유형과 밀접한 관련이 있는 것으로 보고된 바 있다.

뇌 MRI 영상에서 급성 허혈성 뇌졸중을 진단하기 위한 기술로서 컨볼루션 신경망(CNN) 기반의 다양한 딥 러닝 알고리즘이 제안된 바 있다. 이러한 기존 연구는 딥 러닝 기술이 기존의 머신 러닝 기술보다 뇌졸중 병변을 더 정확하게 감지할 수 있고 심각도 평가(severity evaluation) 또는 예후 예측을 위한 의미 있는 특징을 추출할 수 있다는 것을 보여주었다. 일부 연구자들은 급성 허혈성 뇌졸중 환자를 위한 U-Net 아키텍처 기반의 병변 분할 기술을 제안한 바 있다. 체적(volumetric) MRI 데이터의 상황 정보를 효율적으로 활용하기 위해, Zhang 등은 3-D 완전 연결 DenseNet(fully connected-DenseNet)을 이용한 뇌졸중 병변 분할 기술을 제안한 바 있다. 상기 연구들은 딥 러닝 기술이 병변 분할을 통해 급성 허혈성 뇌졸중 환자를 분류할 수 있다는 것을 입증하였으나, 급성 허혈성 뇌졸중의 치료 메커니즘을 예측하는 분류 기법은 아직 제안된 바 없다. 본 출원인은 급성 허혈성 뇌졸중 환자의 DWI 및 ADC 영상만 사용하여 뇌졸중 병변 분할 및 하위 유형 분류를 가능케 하는, 3D CNN 기반의 딥러닝 모델에 관한 본 발명을 안출하였으며, 이하에서 본 발명에 대해 상세히 설명하고자 한다.

2. 결과

(1) 병변 분할 모델(lesion segmentation model)

본 발명에 따른 병변 분할 모델은 훈련 세트에서 0.891±0.034의 다이스 스코어(Dice score)를 나타냈다. 테스트 세트의 경우, 본 발명에 따른 병변 분할 모델은 각각 0.843±0.009, 0.842±0.012, 0.844±0.017의 다이스 스코어, 정밀도(precision) 및 재현율(recall)을 나타냈다. 도 1은 본 발명에 따른 병변 분할 모델에 의한 예측 결과를 나타내는 참조도이다(도 1에서, 제1행은 DWI이고, 제2행은 ADC이며, 제3행은 신경과 전문의에 의해 어노테이션된 GT(ground truth, 정답 값) 라벨이고, 제4행은 본 발명에 따른 병변 분할 모델에 의해 예측된 병변 영역임). 도 1을 참조하면, 본 발명에 따른 병변 분할 모델은 매우 작은 병변도 정확하게 예측할 수 있음을 확인할 수 있다. 한편, 도 2는 본 발명에 따른 병변 분할 모델의 실패(failure) 사례를 나타내는 참조도이다. 도 2를 참조하면, 대부분의 실패 사례가 확산 영상에서 병변이 매우 낮은 대조도(very poor contrast)를 가질 때 발생됨을 확인할 수 있다.

(2) 뇌졸중 하위 유형 분류 모델(stroke subtype classification model)

본 발명에 따른 뇌졸중 하위 유형 분류 모델의 테스트셋 평균 정확도는 81.9%로 나타났다. 도 3은 본 발명에 따른 뇌졸중 하위 유형 분류 모델에 대한 오차 행렬(confusion matrix)이다. 도 3을 참조하면, 본 발명에 따른 뇌졸중 하위 유형 분류 모델은 다른 하위 유형에 비해 SVO의 정확도가 낮게 나타났으며, 이는 본 발명에 따른 분류 모델이 작은 병변에 대한 분석 성능이 상대적으로 낮아 SVO를 대조군(control)으로 일부 혼동하였음을 나타낸다.

3. 논의

본 발명은, 급성 허혈성 뇌졸중 환자의 DWI와 ADC를 이용한 3D-CNN 기반의 딥 러닝을 통해 급성 허혈성 뇌졸중 병변 패턴을 분석하여 뇌졸중 메커니즘의 하위 유형을 분류한 최초의 기술이다. 본 발명에 따른 주요 결과는 다음과 같다. 첫째, 급성 허혈성 뇌졸중 병변에 대한 3D-CNN 기반 분할 정확도는 다이스 스코어 0.843로 나타났다. 둘째, 급성 허혈성 뇌졸중의 원인을 분류하기 위한 하위 유형 분류 측면에서는, TOAST 분류에 따른 원인 분류의 예측도가 각각 LAA 81.3%, SVO 84.6%, CE 73.0%로 나타났다.

뇌 영상은 기술적 진보에 따라 급성 허혈성 뇌졸중을 일으키는 메커니즘을 진단하고 식별하는 데 중요한 역할을 한다. 다양한 MR 시퀀스 중에서 DWI와 ADC 맵은 급성 허혈성 병변을 조기에 발견하고, 뇌졸중 유사증상(stroke mimics)과 급성 허혈성 뇌졸중을 구별하는 데 유용한 도구이다. 종래의 다양한 연구에서는 인공지능을 이용하여 MRI에서 급성 허혈성 뇌졸중의 경색 용적(infarction volume)을 분할하려고 시도하였다. DWI 병변에서 급성 허혈성 뇌졸중의 다양한 영상 패턴은 병원성 기작(pathogenic mechanisms)과 상관관계가 있는 것으로 알려져 있다. 심장 색전 뇌졸중(cardiac embolic stroke)의 경우, DWI에서의 급성 뇌졸중 병변은 종종 단일 피질(cortical) 또는 피질하(subcortical) 병변을 보이거나 여러 혈관 분기에서 여러 번 발생하는데, 전방 순환(anterior circulation)의 다발성 편측성 병변(multiple unilateral lesions)이 동맥성 색전증의 특징적인 소견이다. 한편, 심부 급성 허혈성 뇌졸중 백질(deep acute ischemic stroke white matter), 기저 협심증(basal ganglia), 시상(thalamus), 뇌교(pons)에서 관찰되는 하나의 작은 경색(지름 2~20mm) 병변은 소혈관 폐색(small vessel occlusion)과 높은 연관성을 가지고 있다. 본 발명에서는, 인공지능을 이용한 뇌 MRI의 특징적인 소견을 바탕으로 급성 허혈성 뇌졸중의 원인을 파악하기 위해 의사의 진단 프로세스를 적용하고자 하였다.

그러나, DWI 및 ADC 맵만을 사용하여 급성 허혈성 뇌졸중의 발병 기전(pathogenesis)을 예측하는 데는 많은 한계가 있다. TOAST 분류는 급성 허혈성 뇌졸중을 발병 기전에 따라 분류하는 데 가장 널리 사용되는 체계이다. 환자의 급성 허혈성 뇌졸중 메커니즘을 분류하기 위해 임상 결과와 뇌 영상 및 심장 평가를 포함한 보조 진단 연구 결과가 사용된다. 다만, 사용 편의성과 폭넓은 인기에도 불구하고 전체적인 평가자간 일치도(inter-rater agreement)는 보통 수준이며, 특히 큰동맥죽상경화증이나 심장성 색전증과 비교하여 소혈관 폐색 및 원인 불명의 뇌졸중에 대한 신뢰성이 낮은 것으로 알려져 있다. 이를 극복하기 위해 새로운 진단기법을 적용한 개선된 분류법이 제안되었으나 여전히 한계를 보였다. 특히, 큰동맥죽상경화증, 심장성 색전증, 소혈관 폐색, 기타 원인에 의한 뇌졸중 등 설명할 수 있는 메커니즘 이외, 알려지지 않은 메커니즘에 의한 급성 허혈성 뇌졸중을 원인 불명 뇌졸중(cryptogenic stroke)이라고 한다. 이는 급성 허혈성 뇌졸중 환자 일부에서 관찰된다. 이러한 원인불명의 뇌졸중은 종종 색전성 뇌졸중(embolic strokes)으로 관찰되며, ESUS(embolic strokes of undetermined source)로 불린다. ESUS의 메커니즘을 밝히고 적절한 치료를 해야 할 필요가 있으나, 아직 뚜렷한 방법은 없다. 본 출원인은 딥 러닝 알고리즘을 이용한 급성 허혈성 뇌졸중 진단이 해답이 될 것이라고 판단하여 본 발명을 안출하였다. 본 출원인은 본 발명이 심장 색전성 뇌졸중(cardioembolic stroke)과 비심장 색전성 뇌졸중(non-cardioembolic stroke)을 구별하는 유용한 도구로서 ESUS 환자에게 적용될 수 있을 것이라 기대한다.

또한, 본 발명은 기술적 측면에서 이전 연구와 뚜렷한 차이를 나타낸다. 종래의 병변 분할 기술은 단일 슬라이드를 입력으로 사용하여, 인접한 슬라이드 간 정보를 활용할 수 없기 때문에 낮은 정확도를 보인다. 3D CNN을 기반으로 한 병변 분할 기술이 제안된 바 있으나, 이는 상대적으로 얕은 네트워크 아키텍처로 인해 분석 성능이 제한되었다. 반면, 본 발명에 따른 병변 분할 기술은 심층 네트워크 아키텍처에서도 안정적인 모델 학습을 허용하기 위해 잔차 네트워크(residual network)를 적용함에 따라, 테스트 세트에서 높은 다이스 스코어(0.845)를 나타냈다. 또한 본 발명에 따른 하위 유형 분류 모델은 병변 분할 모델에서 예측된 병변 정보를 사용한 어텐션 메커니즘(attention mechanism)을 통해 평균 분류 정확도 81.9%를 나타냈다. 본 발명은, 종래 기술과 달리 뇌졸중의 하위 유형 이외에도 분류 모델이 성능 향상을 위해 집중(focus)한 영역도 제공할 수 있다. 본 발명에 따른 분할 및 분류 모델은 CT 및 MRI와 같이 3D 볼륨을 입력 정보로 사용하는 다양한 의료 AI 분야에 쉽게 적용될 수 있을 것이다.

본 출원인은 급성 허혈성 뇌졸중 환자에 대한 보다 정확한 발생 기전을 예측하여 예후 치료와 2차 예방에 도움을 줄 수 있는 연구를 수행하여 본 발명을 안출하였다. 본 발명은 오로지 초기 MRI 정보만을 사용한 3D-CNN 기반 딥러닝 알고리즘에 관한 것으로, 발생 기전을 예측하는 실현 가능한 모델을 제시한다. 본 발명에 따른 확산 병변 볼륨 측정 및 뇌졸중 하위 유형 분류는 신경과 전문의의 수동 분할 및 하위 유형 분류에 의해 수행되는 것과 깊은 상관관계를 보였다. 본 발명은 MRI 정보만을 사용하여 급성 허혈성 뇌졸중 발생을 예측하는 첫 번째 기술로 큰 의미가 있다 할 것이다.

4. 딥러닝 모델

(1) 모집단(study population)

본 발명을 도출하기 위해 급성 허혈성 뇌졸중 환자 2,251명(2013년 2월부터 2019년 7월까지 충북대병원을 방문한 환자)의 정보를 활용하였다. 급성 허혈성 뇌졸중에 대한 정보는 레지스트리를 사용하여 컴파일되었다. 모든 급성 허혈성 뇌졸중 환자는 최소 3명의 뇌졸중 전문가에 의해 검토되었으며, TOAST 분류에 따라 분류되었다. TOAST 분류에 따른 큰동맥죽상경화증, 심장성 색전증, 소혈관 폐색 환자(기타 원인에 의한 뇌졸중 또는 원인 불명의 뇌졸중은 제외)는 총 1,768명이었다. 그 중 1,408명의 환자가 DWI와 ADC를 가지고 있었다(도 4 참조). 큰동맥죽상경화증 환자는 608명, 심장성 색전증 환자는 441명, 소혈관 폐색 환자는 359명이었다. 같은 기간 병원을 찾은 정상 환자 가운데 MRI 검사에서 정상 소견을 보인 환자 400명이 대조군(controls)으로 포함되었다. 환자의 성별, 연령 및 NIHSS(National Institutes of Health Stroke Scale Rating)는 아래 표 1과 같다.

[표 1]

(2) 영상 획득

MRI는 1.5T(Achieva, Philips Healthcare), 3.0T(Ingenia CX, Philips Healthcare; Acquetva, Philips Healthcare) 스캐너를 포함한 다양한 장치를 통해 획득되었다. DWI 시퀀스의 파라미터는 다음과 같다. 반복 시간(repetition time) 2500~3000ms, 반향 시간(echo time) 80ms, 절편 두께(slice thickness) 3-5mm, 교차 간격(intersection gap) 1mm, 시야(FOV) 220x220mm, 매트릭스 사이즈(약 2mm x 2mm 평면 해상도) 256x256, b-값(b-values) 0 및 1000s/mm2. (각 ADC 맵은 제조업체의 소프트웨어에 의해 자동 생성되었음)

(3) 데이터 어노테이션(data annotation)

하위 유형 분류 모델을 훈련하고 평가하기 위한 GT(ground truth) 참조 표준(reference standard)을 생성하기 위해, 각 환자를 TOAST 분류 시스템에 따라 4개의 유형(LAA, SVO, CE, Control)으로 분류하였다. 이후, 각 DWI 슬라이드의 병변 영역은 높은 전문성을 가진 두 신경과 전문의에 의해 수작업으로 어노테이션(자체 개발한 소프트웨어 이용)되었다. 이후, 두 평가자에 의한 교차 검증 및 최종 결정으로 각 병변에 대한 라벨링이 완료되었다.

(4) 병변 분할 모델(lesion segmentation model)

본 발명에 따른 병변 분할 모델은 V-Net(Fully convolutional neural networks for volumetric medical image segmentation, 565-571, IEEE, 2016)이라는 3D CNN에 기초한다. 도 5는 본 발명에 따른 병변 분할 모델을 설명하기 위한 참조도이다. 도 5를 참조하면, 본 발명에 따른 병변 분할 모델은 국소 3D 볼륨에서 특징 맵(feature maps)을 추출하는 인코더(좌측)와, 특징 맵을 이용하여 뇌졸중 병변을 예측하는 디코더(우측)를 포함하여 구성된다. 본 발명에 따른 병변 분할 모델은 매우 깊은 아키텍쳐를 갖기 때문에, 기울기 소실 및 폭발 문제(gradient vanishing and exploding problem)에 의한 학습 불안정성을 해소하기 위해 잔차 블록(residual block)이 적용되었다. 여기에서, 잔차 블록은 1) 커널 사이즈가 3x3x3인 3D 컨볼루션 레이어와, 2) 잔차 스킵 연결(residual skip connection)과, 각각 BN(batch normalization) 및 ReLU에 연결된 2개의 3D 컨볼루션 레이어(커널 사이즈 3x3x3)를 포함하여 구성된다. 네트워크 인코더에서 잔차 블록은 특징 추출 및 최대 풀링 레이어(max-pooling layers)에 활용되며, 스펙트럼 차원(spectral dimensionality)을 줄이기 위해 스트라이드(stride)가 2로 적용된다. 반면, 디코더는 특징 맵 연결(feature map concatenation) 후 잔차 블록이 뒤따르는 업-컨볼루션 레이어(stride가 2로 적용)를 포함하여 구성된다. 동일한 해상도를 갖는 인코더 측 레이어들로부터의 스킵 연결은 디코더 측에 고해상도의 특징(features)을 제공한다. 디코더의 마지막 레이어에서 시그모이드 활성화 레이어가 연결되어 뇌졸중 병변에 대한 확률 맵을 계산한다.

본 발명에 따른 병변 분할 모델은 아담 최적화 도구(Adam Optimizer), 초기 학습 속도 1e-5, 배치 사이즈 세트 8로 하여 200 에포크(epoch) 이상 훈련되었으며, 사전 훈련된 가중치를 사용하지 않고 처음부터 훈련되었다. 본 발명에 따른 병변 분할 모델에 대해 다양한 손실 함수(weighted cross-entropy loss, L1 loss, and Dice loss)를 테스트하였으며, 다이스 손실(Dice loss)이 최상의 성능을 보였다. 또한, 데이터 부족 문제를 해결하기 위해 각 훈련 세션에서 다양한 데이터 증강 기술(rigid transformation, horizontal/vertical flip, Gaussian noise, and gamma correction)이 무작위로 트리거되었다.

(5) 하위 유형 분류 모델(subtype classification model)

도 6은 본 발명에 따른 하위 유형 분류 모델을 설명하기 위한 참조도이다. 도 6을 참조하면, 본 발명에 따른 하위 유형 분류 모델은 LAA, SVO, CE 및 대조군(control)으로 MATCH 구성된 네 가지 유형의 확률을 예측한다. 본 발명에 따른 하위 유형 분류 모델은 특징 추출을 위해 상술한 병변 분할 모델의 잔차 블록이 적용되며, 또한 병변에 대한 네트워크 집중(focus)을 유도(guide)하기 위해 병변 분할 모델에 의해 제공되는 병변 예측 결과를 이용하여 특징 맵을 강화시킨다. 여기에서, 강화된 특징 맵 은 아래 수학식 1에 따라 얻어질 수 있다.

[수학식 1]

수학식 1에서, F는 잔차 블록에 의해 추출된 특징 맵이며, A는 병변 분할 결과이다. h(A)는 F와 A 사이의 공간 해상도를 일치시키는 이중 선형 보간이다. 이와 같은 집중 메커니즘(attention mechanism)은 네트워크가 뇌졸중 하위 유형을 예측하기 위해 병변 영역에 집중하도록 유도함으로써, 모델의 분류 성능을 대폭 향상시킬 수 있다. 본 발명에 따른 하위 유형 분류 모델은 아담 최적화 도구(Adam Optimizer), 초기 학습 속도 1e-5, 배치 사이즈 세트 4로 하여 400 에포크(epoch) 이상 훈련되었으며, 처음부터 훈련되었다. 한편, 범주형 교차 엔트로피 손실(categorical cross-entropy loss)이 적용되었으며 훈련 시 데이터 증강 기술이 사용되었다.

5. 본 발명에 따른 급성 허혈성 뇌졸중 진단 정보 제공 방법 및 장치

본 발명에 따른 3D-CNN 기반의 딥러닝 모델을 이용한 급성 허혈성 뇌졸중 진단 정보 제공 방법(이하, 진단 방법)은 3D-CNN 기반의 딥러닝 모델을 이용한 급성 허혈성 뇌졸중 진단 정보 제공 장치(이하, 진단 장치)에서 수행된다.

도 7은 본 발명에 따른 진단 장치(700)를 설명하기 위한 블록도이며, 도 8은 진단장치(700)에서 수행되는 진단 방법을 설명하기 위한 흐름도이다. 이하에서는, 도 7 및 8을 참조하여 본 발명에 따른 진단 장치 및 방법에 관하여 설명하되, 상술한 내용과 중복되는 상세 내용은 생략한다.

도 7을 참조하면, 본 발명에 따른 진단 장치(700)는 데이터 수집부(710), 병변 분할부(720) 및 하위 유형 분류부(730)을 포함하여 구성되며, 이하에서 설명하는 각 구성의 동작이 구현된 컴퓨팅 장치에 해당할 수 있다.

데이터 수집부(710)는 환자의 뇌를 촬영하여 생성된 데이터로서, DWI(Diffusion Weighted Image) 및 ADC(Apparent Diffusion Coefficient) 맵을 포함하여 구성되는 3D 볼륨 데이터를 수집한다(단계 S810). 한편, 데이터 수집부(710)는 진단을 위한 데이터(DWI, ADC 맵) 뿐만 아니라, 본 발명에 따른 딥러닝 모델을 학습시키기 위한 기초 데이터(DWI, ADC 맵)을 수집할 수도 있다.

병변 분할부(720)는 학습이 완료된 병변 분할 모델을 이용하여, 3D 볼륨 데이터에서 급성 허혈성 뇌졸중과 연관된 병변 영역을 분할하여 출력(도 5 참조, segmentation results)한다(단계 S820). 상기 4. (4)에서 설명한 바와 같이, 병변 분할 모델은 DWI 및 ADC 맵이 입력 데이터로 정의될 수 있으며, 입력 데이터에서 특징 맵을 추출하는 인코더와 추출된 특징 맵을 이용하여 병변 영역을 예측하는 디코더를 포함하여 구성되는 V-Net 구조의 딥러닝 모델에 해당할 수 있다. 또한, 병변 분할 모델은 특징 추출을 위한 잔차 블록이 적용될 수 있다.

하위 유형 분류부(730)는 학습이 완료된 하위 유형 분류 모델을 이용하여, 3D 볼륨 데이터 및 분할된 병변 영역을 기초로 급성 허혈성 뇌졸중의 원인 메커니즘과 대응되는 하위 유형을 분류하여 출력한다(단계 S830). 상기 4. (5)에서 설명한 바와 같이, 하위 유형 분류 모델은 DWI 및 ADC 맵이 입력 데이터로 정의될 수 있으며, 하위 유형 예측시 집중을 유도하기 위해, 병변 분할 모델에 의해 분할된 병변 영역을 기초로 특징 맵을 강화시키는 집중 메커니즘 구조(attention mechanism)를 포함할 수 있다. 또한, 하위 유형 분류 모델은 특징 추출을 위한 잔차 블록이 적용될 수 있다. 하위 유형 분류부(730)는 큰동맥죽상경화증(LAA), 심장성 색전증(CE) 및 소혈관 폐색(SVO) 중 적어도 하나를 포함하는 하위 유형에 대한 확률을 예측(도 6 참조, Probability for each subtype)할 수 있다. 여기에서, 하위 유형 분류부(730)는 가장 높은 확률을 가지는 하위 유형을 급성 허혈성 뇌졸중의 원인 메커니즘과 대응되는 하위 유형으로 결정하여 출력할 수 있다.

이상에서 설명한 본 발명에 따른 3D-CNN 기반의 딥러닝 모델을 이용한 급성 허혈성 뇌졸중 진단 정보 제공 방법 은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

700: 급성 허혈성 뇌졸중 진단 정보 제공 장치
710: 데이터 수집부
720: 병변 분할부
730: 하위 유형 분류부

Claims

급성 허혈성 뇌졸중 진단 정보 장치에 의해서 수행되는 3D-CNN 기반의 딥러닝 모델을 이용한 급성 허혈성 뇌졸중 진단 정보 제공 방법에 있어서,
환자의 뇌를 촬영하여 생성된 데이터로서, DWI(Diffusion Weighted Image) 및 ADC(Apparent Diffusion Coefficient) 맵을 포함하여 구성되는 3D 볼륨 데이터를 수집한 후, 급성 허혈성 뇌졸중의 원인 메커니즘과 대응되는 하위 유형으로 분류하고 라벨링하는 단계;
딥러닝 방식으로 3D 볼륨 데이터를 입력받아 병변 영역을 예측하도록 학습 완료된 병변 분할 모델을 이용하여, 상기 3D 볼륨 데이터에서 급성 허혈성 뇌졸중과 연관된 병변 영역을 분할하여 출력하는 단계; 및
딥러닝 방식으로 3D 볼륨 데이터와 분할된 병변 영역을 입력받아 하위 유형을 예측하도록 학습 완료된 하위 유형 분류 모델을 이용하여, 상기 3D 볼륨 데이터 및 상기 분할된 병변 영역을 기초로 하위 유형을 분류하여 출력하는 단계;를 포함하며
상기 급성 허혈성 뇌졸중과 연관된 병변 영역과 상기 하위 유형은 진단 정보로써 제공되며,
상기 하위 유형 분류 모델은,
상기 DWI 및 ADC 맵이 입력 데이터로 정의되며, 하위 유형 예측 시 집중을 유도하기 위해 상기 병변 분할 모델에 의해 분할된 상기 병변 영역을 기초로 특징 맵을 강화시키는 집중 메커니즘 구조(attention mechanism)를 포함하며,
상기 집중 메커니즘 구조는 “”의 식에 따라 특징 맵을 강화시키며, 상기 F는 잔차 블록에 의해 추출된 특징 맵이고, 상기 A는 병변 분할 결과이고, 상기 h(A)는 F와 A 사이의 공간 해상도를 일치시키는 이중 선형 보간인 것을 특징으로 하는 3D-CNN 기반의 딥러닝 모델을 이용한 급성 허혈성 뇌졸중 진단 정보 제공 방법.
제1항에 있어서, 상기 병변 분할 모델은,
상기 DWI 및 ADC 맵이 입력 데이터로 정의되며, 상기 입력 데이터에서 특징 맵을 추출하는 인코더와 상기 추출된 특징 맵을 이용하여 병변 영역을 예측하는 디코더를 포함하여 구성되는 V-NET 구조의 딥러닝 모델인 것을 특징으로 하는,
3D-CNN 기반의 딥러닝 모델을 이용한 급성 허혈성 뇌졸중 진단 정보 제공 방법.
삭제
제1항에 있어서, 상기 하위 유형 분류 모델은,
큰동맥죽상경화증(LAA), 심장성 색전증(CE) 및 소혈관 폐색(SVO) 중 적어도 하나를 포함하는 하위 유형에 대한 확률을 예측하는 것을 특징으로 하는,
3D-CNN 기반의 딥러닝 모델을 이용한 급성 허혈성 뇌졸중 진단 정보 제공 방법.
제1항에 있어서, 상기 병변 분할 모델 및 하위 유형 분류 모델은,
특징 추출을 위한 잔차 블록이 적용되는 것을 특징으로 하는,
3D-CNN 기반의 딥러닝 모델을 이용한 급성 허혈성 뇌졸중 진단 정보 제공 방법.
3D-CNN 기반의 딥러닝 모델을 이용한 급성 허혈성 뇌졸중 진단 정보 제공 장치에 있어서,
환자의 뇌를 촬영하여 생성된 데이터로서, DWI(Diffusion Weighted Image) 및 ADC(Apparent Diffusion Coefficient) 맵을 포함하여 구성되는 3D 볼륨 데이터를 수집하는 데이터 수집부;
딥러닝 방식으로 3D 볼륨 데이터를 입력받아 병변 영역을 예측하도록 학습이 완료된 병변 분할 모델을 이용하여, 상기 3D 볼륨 데이터에서 급성 허혈성 뇌졸중과 연관된 병변 영역을 분할하여 출력하는 병변 분할부; 및
딥러닝 방식으로 3D 볼륨 데이터와 분할된 병변 영역을 입력받아 하위 유형을 예측하도록 학습이 완료된 하위 유형 분류 모델을 이용하여, 상기 3D 볼륨 데이터 및 상기 분할된 병변 영역을 기초로 급성 허혈성 뇌졸중의 원인 메커니즘과 대응되는 하위 유형을 분류하여 출력하는 하위 유형 분류부;를 포함하며,
상기 급성 허혈성 뇌졸중과 연관된 병변 영역과 상기 하위 유형은 진단 정보로써 제공되며,
상기 하위 유형 분류 모델은,
상기 DWI 및 ADC 맵이 입력 데이터로 정의되며, 하위 유형 예측 시 집중을 유도하기 위해 상기 병변 분할 모델에 의해 분할된 상기 병변 영역을 기초로 특징 맵을 강화시키는 집중 메커니즘 구조(attention mechanism)를 포함하며,
상기 집중 메커니즘 구조는 “”의 식에 따라 특징 맵을 강화시키며, 상기 F는 잔차 블록에 의해 추출된 특징 맵이고, 상기 A는 병변 분할 결과이고, 상기 h(A)는 F와 A 사이의 공간 해상도를 일치시키는 이중 선형 보간인 것을 특징으로 하는 3D-CNN 기반의 딥러닝 모델을 이용한 급성 허혈성 뇌졸중 진단 정보 제공 장치.