KR102258902B1 - 순환 신경망을 이용한 이소시트르산 탈수소효소 유전형 변이 예측 방법 및 시스템 - Google Patents

순환 신경망을 이용한 이소시트르산 탈수소효소 유전형 변이 예측 방법 및 시스템 Download PDF

Info

Publication number
KR102258902B1
KR102258902B1 KR1020190035591A KR20190035591A KR102258902B1 KR 102258902 B1 KR102258902 B1 KR 102258902B1 KR 1020190035591 A KR1020190035591 A KR 1020190035591A KR 20190035591 A KR20190035591 A KR 20190035591A KR 102258902 B1 KR102258902 B1 KR 102258902B1
Authority
KR
South Korea
Prior art keywords
idh
signal intensity
glioma
time
model
Prior art date
Application number
KR1020190035591A
Other languages
English (en)
Other versions
KR20200114228A (ko
Inventor
정범석
최규성
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020190035591A priority Critical patent/KR102258902B1/ko
Publication of KR20200114228A publication Critical patent/KR20200114228A/ko
Application granted granted Critical
Publication of KR102258902B1 publication Critical patent/KR102258902B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B20/00—ICT specially adapted for functional genomics or proteomics, e.g. genotype-phenotype associations
    • G16B20/20—Allele or variant detection, e.g. single nucleotide polymorphism [SNP] detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B20/00—ICT specially adapted for functional genomics or proteomics, e.g. genotype-phenotype associations
    • G16B20/50—Mutagenesis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Biotechnology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Genetics & Genomics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioethics (AREA)
  • Artificial Intelligence (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

복수의 뇌교종 환자들의 MRI 데이터 세트로부터의 T2* 자화율 신호 강도-시간 곡선들의 시계열 패턴들이 학습된 RNN 모델을 구축하고, 구축된 RNN 모델을 사용하여 뇌교종 환자의 MRI 데이터로부터의 T2* 자화율 신호 강도-시간 곡선의 시계열 패턴을 분석함으로써, 환자의 뇌교종에서의 IDH 와일드 또는 IDH 변이를 예측하는, 뇌교종에서의 IDH 유전형 변이 예측 방법이 제공된다.

Description

순환 신경망을 이용한 이소시트르산 탈수소효소 유전형 변이 예측 방법 및 시스템{METHOD AND SYSTEM FOR PREDICTING ISOCITRATE DEHYDROGENASE (IDH) MUTATION USING RECURRENT NEURAL NETWORK}
아래의 설명은 순환 신경망을 이용하여 뇌교종에서의 이소시트르산 탈수소효소(IDH)의 유전형 변이를 예측하는 기술에 관한 것으로, 특히, T2* 자화율 신호 강도-시간 곡선(T2* susceptibility signal intensity-time curve)의 시계열 패턴을 분석하는 것을 통해 뇌교종에서의 IDH의 유전형 변이를 정확하게 예측하는 기술에 관한 것이다.
일차성 뇌종양의 빈도는 10만명당 22.6명으로, 그 중 뇌교종은 가장 흔한 악성 뇌종양으로 27%를 차지한다. 특히, 뇌종양은 1인당 연간 평균 의료비용이 가장 높은 암종으로, 그 의료비용은 2010년 미국에서 10만 달러 이상으로 나타났다. 또한, 뇌교종의 경과상 재발 빈도가 높으며, 따라서, 뇌생검을 수술 후 추시 기간에 추가 시행하게 되는 경우도 많다.
임상에서 뇌교종의 진단 시 IDH 변이 유무를 판정하는 것은, 뇌교종의 치료계획 결정(treatment planning)과 예후 예측(prognosis prediction)에 매우 중요한 요소이다. IDH의 유전형 변이가 없을 경우 종양 혈관신생이 증가하는 것으로 알려져 있다.
이러한 IDH 변이를 알아내기 위해서는 정위적 뇌생검술을 통해서 조직을 얻어 면역화학염색을 하거나 염기서열 분석을 하는 것이 요구된다. 그러나, 이러한 뇌생검술은 전신 마취를 요구하며, 경우에 따라 뇌출혈 및 뇌손상 등의 발생의 위험성을 가지고 있다.
따라서, IDH 변이를 비침습적인 방법으로 정확하게 알아낼 수 있는 방법 및 시스템이 요구된다.
한국공개특허 제10-2016-0097578호(공개일 2016년 08월 18일)는 악성 뇌교종 세포에 의한 뇌종양을 예방 또는 치료하기 위한 양방향 교류 자극시스템에 관한 기술을 개시하고 있다.
상기에서 설명된 정보는 단지 이해를 돕기 위한 것이며, 종래 기술의 일부를 형성하지 않는 내용을 포함할 수 있으며, 종래 기술이 통상의 기술자에게 제시할 수 있는 것을 포함하지 않을 수 있다.
T2* 자화율 신호 강도-시간 곡선(T2* susceptibility signal intensity-time curve)의 시계열 패턴을 분석하는 것을 통해 뇌교종에서의 IDH의 유전형 변이를 정확하게 예측하는 방법을 제공할 수 있다.
IDH 와일드(wild) 또는 IDH 변이(mutant) 뇌교종을 진단하기 위한, IDH의 유전형 변이를 정확하게 예측하는 RNN 모델을 제공할 수 있다.
일 측면에 있어서, 컴퓨터 시스템에 의해 수행되는 이소시트르산 탈수소효소(Isocitrate DeHydrogenase; IDH) 유전형 변이 예측 방법에 있어서, 복수의 뇌교종 환자들의 MRI 데이터 세트로부터의 T2* 자화율 신호 강도-시간 곡선(T2* susceptibility signal intensity-time curve)들의 시계열 패턴들이 학습된 순환 신경망(Recurrent Neural Network; RNN) 모델을 마련하는(establish) 단계 및 상기 RNN 모델을 사용하여 뇌교종 환자의 MRI 데이터로부터의 T2* 자화율 신호 강도-시간 곡선의 시계열 패턴을 분석함으로써, 상기 환자의 뇌교종에서의 IDH 와일드(wild) 또는 IDH 변이(mutant)를 예측하는 단계를 포함하는, IDH 유전형 변이 예측 방법이 제공된다.
상기 뇌교종 환자의 MRI 데이터는 상기 뇌교종 환자의 역동자화율대조기법(Dynamic Susceptibility Contrast; DSC) 관류 MRI 데이터를 포함할 수 있다.
상기 복수의 뇌교종 환자들의 MRI 데이터 세트는 상기 뇌교종 환자들의 각각의 DSC 관류 MRI 데이터를 포함하고, 상기 뇌교종 환자들의 각각의 T1 강조 영상(T1WI), T2 강조 영상(T2WI), T2 강조 액체 감쇠 역전 회복(FLAIR) 영상 및 조영 증강 T1 강조 영상(CET1WI) 중 적어도 하나를 더 포함할 수 있다.
상기 예측하는 단계는, 상기 RNN 모델의 콘볼루젼 신경망을 사용하여 상기 뇌교종 환자의 MRI 데이터에 포함된 종양을 복수의 세그먼트들로 구획화하는 단계 및 상기 세그먼트들 각각에 대해 T2* 자화율 신호 강도-시간 곡선을 획득하는 단계를 포함하고, 상기 획득된 T2* 자화율 신호 강도-시간 곡선은 상기 RNN 모델에 대한 다차원의 입력이 될 수 있다.
상기 복수의 세그먼트들은 강화 종양(enhancing tumor), 비-강화 종양(non-enhancing tumor) 및 종양 부근 부종(peritumoral edema)을 포함하고, 상기 획득하는 단계는 상기 뇌교종 환자의 전체 종양(whole tumor) 및 동맥 입력 함수(Arterial Input Function; AIF)의 각각과 연관된 T2* 자화율 신호 강도-시간 곡선을 더 획득할 수 있다.
상기 예측하는 단계는, 상기 획득된 T2* 자화율 신호 강도-시간 곡선에 대해 강도 정규화 및 시계열적 정규화를 수행하는 단계를 포함할 수 있다.
상기 획득된 T2* 자화율 신호 강도-시간 곡선과 연관된 윈도우의 크기는 상기 획득된 T2* 자화율 신호 강도-시간 곡선의 신호 하강 영역을 포함하도록 결정될 수 있다.
상기 T2* 자화율 신호 강도-시간 곡선들의 각각은, 조영 증강 전(pre-contrast) 기준선부, 신호 하강부의 상승 경사부, 신호 하강부의 하강 경사부 및 포스트-볼루스 플레토(post-bolus plateau)부를 포함하는 세그먼트들로 구분될 수 있다.
상기 RNN 모델은 상기 MRI 데이터 세트에 포함된 상기 복수의 뇌교종 환자들 각각의 MRI 데이터를 IDH 와일드(wild) 또는 IDH 변이(mutant)로 분류할 수 있다.
상기 IDH 유전형 변이 예측 방법은 FFN (Feed Forward Neural Network)로 구성된 어텐션 레이어(attention layer)를 사용하여 상기 T2* 자화율 신호 강도-시간 곡선들의 시계열 패턴들의 특징을 시각화하는 단계를 포함하고, 상기 IDH 와일드로 분류되는 경우, 상기 세그먼트들 중 상기 신호 하강부의 상승 경사부 및 상기 포스트-볼루스 플레토가 강조되는 시계열 패턴의 특징이 최대 빈도로 시각화되고, 상기 IDH 변이로 분류되는 경우, 상기 세그먼트들 중 상기 조영 증강 전 기준선부와 상기 신호 하강부의 하강 경사부가 강조되는 시계열 패턴의 특징이 최대 빈도로 시각화될 수 있다.
상기 예측하는 단계에 따라, 상기 IDH 와일드로 예측된 경우가 상기 IDH 변이로 예측된 경우에 비해, 상기 뇌교종 환자의 상대적 뇌혈류용적(relative cerebral blood volume; rCBV)의 값이 더 높게 나타날 수 있다.
상기 RNN 모델은 장단기 메모리(Long Short-Term Memory; LSTM) 기반 모델일 수 있다.
상기 RNN 모델은 단일 레이어 양방향 LSTM을 포함하는 모델이고, LSTM 레이어의 이전에 1차원의 콘볼루젼 레이어를 포함할 수 있다.
다른 일 측면에 있어서, 컴퓨터 시스템에 의해 수행되는 이소시트르산 탈수소효소(Isocitrate DeHydrogenase; IDH) 유전형 변이의 예측을 위한 순환 신경망(Recurrent Neural Network; RNN) 모델을 구축하는 방법에 있어서, 상기 복수의 뇌교종 환자들의 각 뇌교종 환자의 MRI 데이터로부터의 T2* 자화율 신호 강도-시간 곡선을 획득하는 단계, 상기 T2* 자화율 신호 강도-시간 곡선의 시계열 패턴을 학습하는 단계 및 상기 시계열 패턴의 학습에 기반하여, 상기 각 뇌교종 환자의 MRI 데이터를 IDH 와일드(wild) 또는 IDH 변이(mutant)로 분류하는 단계를 포함하는, RNN 모델을 구축하는 방법이 제공된다.
상기 획득하는 단계는, 상기 각 뇌교종 환자의 MRI 데이터에 포함된 종양을 콘볼루젼 신경망을 사용하여 복수의 세그먼트들로 구획화하는 단계 및 상기 세그먼트들 각각에 대해 T2* 자화율 신호 강도-시간 곡선을 획득하는 단계를 포함하고, 상기 획득된 T2* 자화율 신호 강도-시간 곡선은 상기 RNN 모델에 대한 다차원의 입력이 될 수 있다.
상기 복수의 세그먼트들은 강화 종양(enhancing tumor), 비-강화 종양(non-enhancing tumor) 및 종양 부근 부종(peritumoral edema)을 포함하고, 상기 획득하는 단계는 상기 뇌교종 환자의 전체 종양(whole tumor) 및 동맥 입력 함수(Arterial Input Function; AIF)의 각각과 연관된 T2* 자화율 신호 강도-시간 곡선을 더 획득할 수 있다.
상기 획득하는 단계는, 상기 획득된 T2* 자화율 신호 강도-시간 곡선에 대해 강도 정규화 및 시계열적 정규화를 수행하는 단계를 포함할 수 있다.
상기 획득된 T2* 자화율 신호 강도-시간 곡선과 연관된 윈도우의 크기는 상기 획득된 T2* 자화율 신호 강도-시간 곡선의 신호 하강 영역을 포함하도록 결정될 수 있다.
상기 각 뇌교종 환자의 MRI 데이터는 상기 각 뇌교종 환자의 DSC 관류 MRI 데이터를 포함하고, 상기 각 뇌교종 환자의 T1 강조 영상(T1WI), T2 강조 영상(T2WI), T2 강조 액체 감쇠 역전 회복(FLAIR) 영상 및 조영 증강 T1 강조 영상(CET1WI) 중 적어도 하나를 더 포함할 수 있다.
또 다른 일 측면에 있어서, 이소시트르산 탈수소효소(Isocitrate DeHydrogenase; IDH) 유전형 변이 예측 시스템에 있어서, 메모리 및 상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 복수의 뇌교종 환자들의 MRI 데이터 세트로부터의 T2* 자화율 신호 강도-시간 곡선(T2* susceptibility signal intensity-time curve)들의 시계열 패턴들이 학습된 순환 신경망(Recurrent Neural Network; RNN) 모델을 마련하고, 상기 RNN 모델을 사용하여 뇌교종 환자의 MRI 데이터로부터의 T2* 자화율 신호 강도-시간 곡선의 시계열 패턴을 분석함으로써, 상기 환자의 뇌교종에서의 IDH 와일드(wild) 또는 IDH 변이(mutant)를 예측하는, IDH 유전형 변이 예측 시스템이 제공된다.
실시예들을 통해서는, 상대적 뇌혈류용적(relative cerebral blood volume; rCBV) 값을 기준으로는 예측할 수 없었던(즉, rCBV 값이 중첩되는 경우에 있어서도) IDH 변이 유무를 정확하게 예측할 수 있다.
실시예들을 통해서는, 전신 마취를 요구하며, 경우에 따라 뇌출혈 및 뇌손상 등의 발생의 위험성을 가지고 있는 뇌생검술을 수행하지 않고도, IDH 변이 유무를 비침습적인 방법으로 정확하게 예측할 수 있다.
실시예들에서는, 신경망 기술을 이용함으로써 추가적인 MRI 데이터의 제공 없이 기존의 MRI 기법에 의한 MRI 데이터에 기반하여 추가적인 IDH 유전형 변이에 대한 정보를 얻을 수 있다.
도 1은 일 실시예에 따른 MRI 데이터로부터 T2* 자화율 신호 강도-시간 곡선을 획득하는 방법을 나타낸다.
도 2는 일 실시예에 따른 FFB 어텐션 메커니즘의 구조(좌) 및 어텐션 모델 네트워크 구조를 갖는 콘볼루젼 LSTM(우)의 개요도를 나타낸다.
도 3은 일 예에 따른 모델을 위한 검증 및 테스트 세트를 나타낸다.
도 4는 일 예에 따른 모델의 테스트 세트에 대한 정규화된 컨퓨젼 매트릭스를 나타낸다.
도 5a 내지 5d는 각각 일 예에 따른 검증 세트에 대한 ROC 곡선(AUC, 0.98); 검증 세트에 대한 95% CI AUC(95% 신뢰구간: 0.969-0.991, 부트스트래핑); 테스트 세트에 대한 ROC 곡선(AUC, 0.95); 및 테스트 세트에 대한 95% CI AUC(95% 신뢰구간: 0.898-0.982, 부트스트래핑)를 나타낸다.
도 6a 및 6b는 각각 일 예에 따른 T2* 자화율 신호 강도-시간 곡선에 어텐션 가중치들이 중첩되어 히트맵으로서 시각화된 T2* 자화율 신호 강도-시간 곡선의 시계열적 패턴들과, IDH 유전형에 따른 시계열적 패턴들의 빈도를 나타낸다.
도 7a는 일 예에 따른 IDH 유전형에 따른 (평균) rCBC 값들의 분포를 나타내고; 도 7b 및 도 7c는 각각 동일한 rCBV 값을 갖는 IDH 와일드형 뇌교종과 IDH 변이 뇌교종의 T2* 자화율 신호 강도-시간 곡선을 나타내고; 도 7d 및 도 7e는 각각 IDH 와일드형 뇌교종과 IDH 변이 뇌교종의 CET1WI 및 FLAIR 영상들을 나타낸다.
도 8은 일 예에 따른 모델을 위한 환자의 포함 및 배제 기준을 나타낸다.
도 9a 및 9b는 각각 일 예에 따른 IDH 유전형 및 WTO 등급에 따른 카플란-마이어 생존 곡선들을 나타낸다.
도 10a 및 10b는 각각 훈련 및 검증 손실 곡선(10a)과 훈련 및 검증 정확도 곡선(10b)을 나타낸다.
도 11a 내지 11d는 각각 일 예에 따른 IDH 유전형/WTO 등급들에 따른 rCBV 값들의 분포를 나타낸다.
도 12a는 일 예에 따른 IDH 유전형에 따른 (평균) rCBC 값들의 분포를 나타낸다.
도 12b 내지 도 12g는 IDH 와일드형 뇌교종과 IDH 변이 뇌교종의 각 서브 영역들에 대한 T2* 자화율 신호 강도-시간 곡선을 나타낸다.
도 13은 일 실시예에 따른 IDH 유전형 변이 예측 방법을 제공하는 시스템을 나타내는 블록도이다.
도 14는 일 실시예에 따른 IDH 유전형 변이 예측 방법을 나타내는 흐름도이다.
도 15는 일 실시예에 따른 IDH 유전형 변이 예측을 위한 RNN 모델을 구축하는 방법을 나타내는 흐름도이다.
도 16은 일 예에 따른 MRI 데이터로부터 T2* 자화율 신호 강도-시간 곡선을 획득하는 방법을 나타내는 흐름도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 개시의 실시예들은 역동자화율대조기법(Dynamic Susceptibility Contrast; DSC) 관류 MRI에 대한 해석 가능한(interpretable) 딥러닝을 사용하여, 뇌교종(gliomas)에서의 이소시트르산 탈수소효소(IDH)의 유전형 변이를 예측하는 것을 목적으로 한다.
먼저, 아래에서 실시예의 방법론에 대해 간략하게 설명한다.
수술 전 MRI를 촬영한 뇌교종을 갖는 433명의 환자들에 대해 실시예의 방법이 수행되었다. 모든 환자들은 면역 조직 병리학적으로 IDH 와일드(wild) 또는 IDH 변이(mutant) 뇌교종으로 진단되었다. 종양들의 서브 영역(subregion)들은 컨볼루젼 신경망(convolutional neural network)를 사용하고, 이후의 수동 보정에 따라 구획화될 수 있다. DSC 관류 MRI는 종양들의 각 서브 영역으로부터 T2* 자화율 신호 세기-시간 곡선들을 얻기 위해 수행되었다. 자화율 신호 세기-시간 곡선들은 각각 강화 종양(enhancing tumor), 비-강화 종양(non-enhancing tumor), 종양 부근 부종(peritumoral edema) 및 전체 종양과 동맥 입력 함수(들)(arterial input function(s))일 수 있고, 이들은 다차원의 입력들로서 신경망으로 제공될 수 있다. IDH 유전형을 예측하기 위해 어텐션(attention) 메커니즘을 갖춘 컨볼루젼 LSTM(Long Short-Term Memory) 모델이 사용될 수 있고, 해당 모델을 평가하기 위해서는, 수신 조작 특성 분석(receiver operating characteristics analysis)이 수행될 수 있다.
아래에서는 실시예의 모델의 구현 결과에 대해 간략하게 설명한다.
검증 세트(곡선하면적(AUC), 0.98; 95% 신뢰 구간, 0.969-0.991)에 대해 정확도 92.8%, 민감도 92.6%, 특이도(specificity) 93.1%와, 테스트 세트(곡선하면적(AUC), 0.95; 95% 신뢰 구간, 0.898-0.982)에 대해 정확도 91.7%, 민감도 92.1% 및 특이도 91.5%가 각각 달성되었다. 시계열적 특징 분석에 있어서, 어텐션 가중치들을 갖는 DSC 관류 MRI로부터의 T2* 자화율 신호 강도-시간 곡선은 조영 증강 전 기준선(precontrast baseline)의 끝, 신호 하강부의 상승/하강 경사, 및/또는 곡선들의 포스트-볼루스 플레토(plateau)의 조합들에 있어서 높은 어텐션을 나타냈다.
상기 구현된 모델을 통해서는, 뇌교종에서 IDH 유전형을 예측하기 위해 DSC 관류 MRI에 기반한 설명 가능한 순환 신경망 모델(recurrent neural network)을 구축할 수 있다.
이러한 순환 신경망 모델은 DSC 관류 MRI를 사용하여 뇌교종의 IDH 유전형을 정확하게 예측할 수 있다. 상기 모델은 뇌교종에서의 IDH 유전형의 예측을 위한 T2* 자화율 신호 강도-시간 곡선으로부터 해석 가능한 정보를 제공할 수 있다.
본 개시의 실시예들에 따른 IDH 유전형 변이 예측 방법은 다음과 같은 의의를 가질 수 있다.
실시예들은 DSC 관류 MRI를 사용하여 높은 진단 성능을 갖는 뇌교종에서의 IDH 유전형의 비 침습적인 예측을 위한 설명 가능한 순환 신경망 모델을 제공할 수 있다. 종래에는, IDH 변이는 뇌교종 내의 종양 혈관 신생과 연관된 것으로 알려져 있으므로, 종양 혈관을 반영하는 상대적 뇌혈류용적(relative cerebral blood volume, rCBV)을 이용하여 뇌교종의 IDH 유전형을 예측하였다. 그러나, IDH 와일드(wild)(IDH 변이가 없는 그룹)와 IDH 변이(mutant) 그룹 사이에는 rCBV의 큰 중첩이 있으므로 이러한 IDH 유전형의 예측은 부정확할 수 있다.
실시예의 모델은 순차적인 패턴을 학습하는 순환 신경망 모델이 DSC 관류 MRI로부터 획득된 원시(raw) 다차원 T2* 자화율 신호 강도-시간 곡선을 활용하여 이러한 rCBV의 값이 중첩되는 그룹을 구별할 수 있음을 보여 주었으며, 테스트 세트를 사용하여 개선되고 일반화된 진단 성능을 나타냄을 확인할 수 있다.
실시예의 모델은 어텐션 메커니즘을 사용하여 분자 생물학적 배경에 기반한 IDH 유전형 예측에 대해 중요한 시계열적(temporal) 특징이 무엇인지를 보여줌으로써 해석 가능성을 제공할 수 있다.
본 개시의 실시예들에 따른 IDH 유전형 변이 예측 방법은 다음과 같은 의의를 가질 수 있다.
도입
WTO에 따르면, 뇌교종은 조직 병리학적 및 임상적 기준에 따라 I~IV 등급으로 분류되며, II 및 III 등급의 뇌교종에 있어서 5년 후 무진행 생존률은 50% 미만이다.
IDH 변이의 존재는 뇌교종의 진단뿐만 아니라 전반적인 생존과도 관련이 있는 것으로 나타났다. WHO 등급 II 및 III 등급의 뇌교종 또는 저등급의 뇌교종의 80% 이상과 2차 교모세포종(glioblastomas)의 약 10%가 IDH 변이, 가장 일반적으로는 IDH1 R132H 변이를 나타냈다. IDH 변이는, 예컨대, 이시트르산의 α-케토글루타르산염으로의 전환을 촉매화하는 효소의 기능의 상실을 초래할 수 있다. 그러나, IDH 변이 뇌교종은 덜 공격적이고, 화학 요법에 대해 덜 민감하고, 절제(resect)가 쉽고, IDH 와일드형(wildtype) 뇌교종보다 생존 기간이 더 길다. 비강화(non-enhancing) 종양의 공격적인 외과적 절제는 IDH 변이 뇌교종에서와는 달리 IDH 와일드형 뇌교종에서는 추가적인 생존 이득을 제공하지 못한다.
따라서, IDH 유전형의 수술 전 예측은 뇌교종의 치료 계획 마련 및 예후 예측에 결정적이다.
IDH 유전형은, 혈관신생을 임상적으로 조사하기 위해 널리 사용되고 있는, DSC 관류 MRI를 통해 획득된 rCBV 맵핑과 연관되고 이를 통해 예측 가능하다. 특히, IDH 변이 그룹은 IDH 와일드형 그룹에 비해 rCBV(즉, rCBV 값)가 더 작을 수 있다. 또한, IDH 와일드형 LGG 혈관은 IDH 변이 LGG17의 혈관계(vasculature)와 분자적으로 구별될 수 있다. 이러한 결과들은 DSC 관류 MRI 패턴들에 의해 구별될 수 있는, IDH 유전형에 따라 구별되는 종양 혈관 신생을 암시할 수 있다.
실시예의 모델은 순환 신경망(RNN) 모델의 일종인 장단기 메모리(Long Short-Term Memory; LSTM)를 사용하여 구축될 수 있고, 이러한 LSTM은 자연 언어 처리, 이미지 캡션, 게놈 분석 및 의학 진단과 같은 다양한 작업에 있어서 효과적인 성능을 나타낼 수 있다.
이러한 LSTM 기반 모델을 사용하여 특정 패턴들을 인식하여 DSC 관류 MRI에서 얻은 다차원의 시계열 데이터를 IDH 와일드형 및 IDH 변이 뇌교종으로 분류할 수 있다. 실시예를 통해서는, 뇌교종에서의 IDH 유전형을 예측하기 위해 DSC 관류 MRI로부터의 T2* 자화율 신호 강도-시간 곡선을 사용하는 딥러닝 학습 기반의 모델이 제공될 수 있다.
또한, 실시예를 통해서는 비침습적인 DSC 관류 MRI를 포함하는, 수술 전 멀티모달(multimodal) MRI를 사용하는 영상 해석 능력(interpretability)을 갖는 뇌교종의 IDH 유전형을 해석할 수 있는 RNN 모델이 제공될 수 있다.
관련하여, 도 1은 일 실시예에 따른 MRI 데이터로부터 T2* 자화율 신호 강도-시간 곡선을 획득하는 방법을 나타내고, 도 2는 일 실시예에 따른 FFB 어텐션 메커니즘의 구조(좌) 및 어텐션 모델 네트워크 구조를 갖는 콘볼루젼 LSTM(우)의 개요도를 나타낸다.
모델의 구현 방법
환자들
본 개시에서 설명되는 실시예들의 모델의 구현 및 시험에 있어서의 대상이 된 환자들에 대해서 설명한다. 실시예들의 구현 및 시험을 위한 연구에는, 2013년 1월부터 2018년 1월까지 treatment-na
Figure 112019031749817-pat00001
ve MRI를 촬영한 603 명의 환자들이 후향적인 연구를 위해 등록되었다. 그 중에서 총 140 명의 환자가 제외 기준에 따라 제외되었다. 최종적으로, 총 4 가지의 통상적인 MRI 및 DSC 관류 MRI를 촬영한 총 463 명의 환자가 연구에 등록되었다. 모든 등록된 환자는 면역 조직 병리학 적으로 진단이 확정된 종양에 대해 수술이나 생검을 받았다. 조직 진단 및 유전 분석에 대한 자세한 정보는 후술된다.
영상 획득
종양 구획화를 위해 요구되는 T1 강조 이미징을 위해, (조영제로서) 가도부트롤(Gadovist; 바이엘, 베를린, 독일, 투여량 0.1 mmol/kg)을 투여하기 전후에 T1 강조 3D MPRAGE (Magnetization-Prepared Rapid Acquisition Gradient Echo) 시퀀스가 대부분의 등록된 환자들에게 사용되었다. DSC 관류 MRI 프로토콜들의 모두는 세 가지 전용 프로토콜에 해당할 수 있다.
영상 전처리
모든 환자는, 종양 구획화에 요구되는, T1 강조 영상(T1WI), T2 강조 영상(T2WI), T2 강조 액체 감쇠 역전 회복(FLAIR) 영상 및 조영 증강 T1 강조 영상(CET1WI)과, 신경망 모델의 입력으로서 요구되는, DSC 관류 MRI를 모두 촬영하였다. 모든 MR 영상들은 대부분 MPRAGE를 사용하여 획득된 개별적인 CET1WI 영상에 동시에 등록되어, 시퀀스 중에서 가장 높은 해상도인, 서브 밀리미터 공간 분해능(0.7mm)이 도출되었다. NordicICE 4.1.3 (NordicNeuroLab, 베르겐, 노르웨이)을 사용하여 두개골 박리(skull-stripping)와 인터-모달리티 상호-등록이 수행되었다. 상이한 모달리티를 갖는 2개의 데이터 세트를 정렬하는 최적의 강체 변환(rigid transformation)을 찾기 위한 상호 정보 기반 알고리즘이 인터-모달리티 상호 등록을 위해 사용되었다. N4 바이어스 필드 보정이 적용되어 저주파수에서 강도 불균일성이 모두 제거되었다. 다음으로, 모든 MR 영상들은 FSL (FMRIB Software Library; http://www.fmrib.ox.ac.uk/fsl/)를 사용하여 삼선형(trilinear) 보간법으로 1 mm로 등방성으로(isotropically) 재 샘플링 되었다.
종양 구획화
완전히 자동화된 세그먼테이션 툴은 2017 년 BraTS (Braits Tumor Segmentation) 챌린지에서의 방법으로, 세분화를 위해 활용되었다. 이러한 툴은 완전 콘볼루젼 신경망(CNN) 구획화된 전체 종양들의 캐스캐이드(cascade)를 서브 영역들로서 사용한다. 서브 영역들은 기존의 MRI(더 자세히 후술됨)를 사용하여 BraTS 챌린지에 따른 강화 또는 비-강화 종양 코어 및 종양 부근 부종일 수 있다. 더 구체적으로, 종양 부근 부종은 종양 부근의 T2 병변에 의해 표시되고, 전혀 강화(enhancement)를 포함하지 않고 FLAIR 영상에서 높은 신호 강도를 나타내는 강화된 솔리드 부분의 분명한 바깥 쪽의 영역으로 정의된다. 다음으로, 모든 종양 구획화는 3D Slicer 4.8.1 (http://www.slicer.org/)을 사용하는 신경 방사선 요법에서의 5 년간의 경험을 가진 신경 방사선 전문의(K.S.C.)에 의해 수동으로 더 교정될 수 있다.
DSC 관류 MRI 데이터 처리 및 정규화
평균(mean) T2* 자화율 신호 강도-시간 곡선은 종양들의 각 서브 영역에 대해 얻어질 수 있고, 종래의 MRI를 사용하여 강화 종양, 비-강화 종양 및 종양 부근 부종 및 전체 종양(whole tumor) 마스크의 카테고리들로 구획화될 수 있다. 다섯 번째 시간 코스에 해당하는, 동맥 입력 함수(AIF)가 또한 DSC 관류 MRI로부터 얻어질 수 있다. 모든 시간 코스는 다차원 시계열 데이터를 생성하기 위해 정규화되고 연결될 수 있다(아래에서 더 자세하게 후술됨).
어텐션 메커니즘을 갖는 콘볼루젼 LSTM 네트워크
RNN은 시계열 데이터 내에서 순차적인 패턴 또는 시간 종속성을 학습하는 심층 학습 모델일 수 있다. 특히, LSTM은 가변하는 길이 시퀀스를 효율적으로 모델링하고 긴 시계열 종속성 및 비선형 다이나믹을 효과적으로 포착하는, RNN의 일 유형일 수 있다. LSTM은 자연어 처리, 이미지 캡션 작성, 게놈 분석, 및 의료 데이터 분석 등의 작업에 있어서 유용하게 사용될 수 있다. 본 개시에 있어서는, 출력 유닛이 과거와 미래 둘 다에 의존하는 표현(representation)을 계산할 수 있도록 하는 LSTM 인 양방향 LSTM이 입력들의 컨텍스트를 반영하기 위해 사용될 수 있다.
먼저, 1 차원(1D) CNN이 순차적인 데이터로부터의 강력한 영역 특징 추출기로 사용되고, LSTM은 순차적인 데이터로 추출된 특징들의 시간 의존성을 학습할 수 있다. 즉, 1D CNN은 T2* 자화율 신호 강도-시간 곡선의 콤팩트한 잠재성 표현(compact latent representation)을 찾고, 이는 양방향 LSTM으로 공급되어 뇌교종의 IDH 유전형을 예측하는 특정 패턴들을 학습할 수 있고, 모든 타임 스텝에 대해 예컨대, 16개의 은닉 상태들 및 16개의 출력 상태들을 생성할 수 있다. 다음으로 은닉 상태들의 가중합 또는 양방향 LSTM 네트워크의 시퀀스 출력이 전체 입력 시퀀스의 단일 압축 표현(single condensed representation)으로 사용될 수 있다. 더 구체적으로는, 양방향 LSTM을 사용하여 각 타임 스텝에서 은닉 상태를 생성하고 FFN (Feed Forward Neural Network) 어텐션 함수 a(h t )를 사용하여 중요도 또는 어텐션 가중치 α t 를 각 은닉 상태 h t 에 타임 스텝 t=1,2, ..., T에서 할당하며(아래 수학식 1 참조), 모델이 입력 시퀀스마다 단일 타겟(즉, IDH 유전형)을 예측할 수 있도록 할 수 있다(도 2의 좌측 참조).
마지막으로, 도 2의 우측에서 도시된 바와 같이, 어텐션 함수의 출력 가중치 α t 와 함께, 가중된 은닉 상태들의 가중합과 컨텍스트 벡터 c는 추출되어 분류를 위한 단일층 FFN으로 공급된다. 모델 네트워크 구조의 개요는 도 2의 우측에서 도시되어 있다.
[수학식 1]
Figure 112019031749817-pat00002
신경망 모델: 훈련, 검증 및 테스트 세트
총 463 명의 등록 환자 중 144 개의 서브시퀀스들(아래에서 더 자세하게 설명되는 DSC 관류 MRI 데이터 처리 및 정규화에서 설명되는 것과 같은, 슬라이딩 윈도우 기법을 사용하는 환자당 8 개의 서브시퀀스들)을 갖는 무작위로 선택된 18 명의 환자들은 훈련 및 검증 세트 내에서 섞이지 않도록 함으로써 테스트 세트로 설정하고 모델에서는 보이지 않도록 할 수 있다. 나머지 환자들은 무작위 방식으로의 훈련(n=395; 3,160 서브시퀀스들) 및 검증(n=50; 400 서브시퀀스들) 세트들을 생성하기 위해 약 8:1의 비율로 나누어졌다.
신경망 모델: 평가
모델 성능은 테스트 세트의 정확도, 민감도 및 특이성을 계산하여 평가되었다. 또한 수신 조작 특성(ROC) 곡선을 얻고 AUC를 계산하기 위해 시그노이드 확률을 사용하여 ROC 분석이 수행되었다. AUC 값들의 95% 신뢰 구간(CI)을 계산하기 위해, 부트스트래핑(bootstrapping)이 수행되었고, 1000 개 ROC AUC들을 생성하기 위해 1000회 반복되었다.
정량적 분석: 기존 접근법
IDH 유전형 또는 WHO 등급의 그룹들 간의 rCBV의 평균(mean) 및 95% 백분위 값뿐만 아니라, 연령의 차이가 Student의 t-테스트 또는 원-웨이 ANOVA를 사용하여 분석되었다.
정성 분석: 시간적 특징 해석
시계열적인 특징들을 시각화하고 해석하기 위해 하나의 FFN으로 구성된 어텐션 레이어를 사용할 수 있다. 어텐션 메커니즘들은 FFN의 가중치들을 히트맵으로 시각화함으로써 입력 시퀀스의 어떤 타임 스텝들이 분류를 형성하기 위한 모델에 있어서 중요하게 되는지를 확인할 수 있도록 할 수 있다. 다차원 T2* 자화율 신호 강도-시간 곡선은 다음의 4개의 세그먼트들로 구분될 수 있다. 조영 증강 전(pre-contrast) 기준선, 신호 하강부의 상승/하강 경사, 및 포스트-볼루스 플레토(post-bolus plateau)로 구분되고, 최대 및 두 번째로 높은 어텐션을 나타내는 세그먼트들이 463명의 환자들에 대해 모두 기록되었다. 따라서, 어텐션 가중치들의 히트맵의 6 개의 가능한 시계열적 패턴들(즉, 총 4 개의 세그먼트들 중 2 개의 세그먼트를 선택하는 것, 패턴 1-6)이 존재할 수 있고, 463명의 환자들에 대해 모두 대응하는 시계열적 패턴들이 기록되었다. 시계열적 패턴의 그래픽적인 정의는 도 6a에서 도시된다.
도 6a는 각각 일 예에 따른 T2* 자화율 신호 강도-시간 곡선에 어텐션 가중치들이 중첩되어 히트맵으로서 시각화된 T2* 자화율 신호 강도-시간 곡선의 시계열적 패턴들을 나타낸다.
결과
환자 특성
뇌교종 환자 463명(남성 272명, 여성 191명, 연령 52.2±14.8세, PFS 21.1±23.1개월)로부터 총 3,704개의 서브시퀀스들이 생성되었다. 남녀 모두 연령에 있어서 유의미한 차이는 없었다(P=0.402). 그러나, IDH 와일드형 그룹은 IDH 변이 그룹보다 유의미하게 더 늙었으며(56.1세 VS 41.9 세, P<0.0001), 이는 이전의 연구들과 일치하는 것이다. 자세한 환자 특성은 아래의 표 1에서 요약되어 있다.
[표 1]
Figure 112019031749817-pat00003
모델 성능
모델의 일반화 가능성을 평가하기 위해 최적화된 모델을 테스트 세트에 적용하였다. 검증 세트에 대해, 최적화된 모델을 사용한 IDH 유전형 예측은 92.8%의 정확도, 92.6%의 민감도 및 93.1%의 특이성을 각각 달성했다. 테스트 세트에 대해 최적화 모델을 이용한 IDH 유전형 예측은 91.7%의 정확도, 92.1%의 민감도 및 91.5%의 특이성을 각각 달성했다. 검증 세트 및 시험 세트 둘 다에 대한 진단 성능과 시험 세트에 대한 정규화된 컨퓨젼 매트릭스는 각각 도 3 및 도 4에서 도시된다. AUC는 검증 및 테스트 세트 각각에 대해 0.98 (95% CI, 0.969-0.991) 및 0.95 (95% CI, 0.898-0.982)로 나타났다(도 5a 내지 5d 참조).
관련하여, 도 3은 일 예에 따른 모델을 위한 검증 및 테스트 세트를 나타낸다. 도 4는 일 예에 따른 모델의 테스트 세트에 대한 정규화된 컨퓨젼 매트릭스를 나타낸다. 도 5a 내지 5d는 각각 일 예에 따른 검증 세트에 대한 ROC 곡선(AUC, 0.98); 검증 세트에 대한 95% CI AUC(95% 신뢰구간: 0.969-0.991, 부트스트래핑); 테스트 세트에 대한 ROC 곡선(AUC, 0.95); 및 테스트 세트에 대한 95% CI AUC(95% 신뢰구간: 0.898-0.982, 부트스트래핑)를 나타낸다.
정량적 분석: 기존 접근법
IDH 와일드형 그룹의 rCBV 평균 및 95% 백분위 값은 모두 IDH 변이 그룹의 평균(mean)보다 높았다(평균, 2.94 vs 2.19, p=0.005; 평균, 8.04 vs 5.72, p<0.0001). 평균 rCBV의 최소-최대 범위는 IDH 와일드형(1.04-11.81)과 IDH 변이 그룹(0.86-5.83) 사이에서 크게 겹친 범위(1.04-5.83)가 나타났다(아래 표 2 참조). IDH 유전자형과 WHO 등급에 해당하는 rCBV 값에 대한 박스 플롯은 도 11a 내지 11d에서 도시되어 있다. 도 11a 내지 11d는 각각 일 예에 따른 IDH 유전형/WTO 등급들에 따른 rCBV 값들의 분포를 나타낸다. 자세한 결과는 후술한다.
평균(mean) 값은 종양에 해당하는 각 voxel들의 rCBV 값을 평균낸 값을 의미하고, 95% 값은 종양에 해당하는 모든 voxel들의 rCBV 값들 중에서 상위 95% 에 해당하는 값을 의미할 수 있다.
[표 2]
Figure 112019031749817-pat00004
정성 분석: 시계열적 특징 해석
어텐션 메커니즘을 사용하여 다차원 T2* 자화율 신호 세기-시간 곡선의 어떠한 시간 특징들이 IDH 변이 상태의 예측에 있어서 결정적인지를 조사하였다. 다시 말해, 다차원 시계열 데이터의 주어진 세트에 대해 IDH 유전형을 분류하기 위해 어떠한 타임 스텝 또는 세그먼트가 중요한지를 조사하였다. 하나의 어텐션 벡터가 환자마다 각 다차원 입력에 대해 얻어진다. IDH 유전형을 예측하기 위한 특정 패턴은 다차원 T2* 자화율 신호 강도-시간 곡선 상에 중첩된 어텐션 가중치들의 히트맵 내에서 인식될 수 있다.
IDH 와일드형 그룹에서 가장 흔한 시계열적 패턴은 패턴 6(338개 중 127개, 37.6%)(TP 6)이었고 두 번째로 가장 흔한 패턴은 패턴 4(TP 4)(338개 중 107개, 31.7%)이었다(도 6b 참조). 반면에 IDH 변이 그룹에서 가장 흔한 시계열적 패턴은 패턴 1(TP 1)(125개 중 79개, 63.2%)이었고 두 번째로 흔한 패턴은 패턴 4(TP 4) (125개 중 17개, 13.6%)이었다(도 6b 참조). IDH 와일드형과 IDH 변이 그룹 간의 T2* 자화율 신호 세기-시간 곡선의 시계열적 패턴의 빈도에는 유의미한 차이가 있었다(아래 표 3 참조). 도 6b에서는 IDH 와일드형 및 IDH 변이형 뇌교종 둘 다에서의 T2* 자화율 신호 세기-시간 곡선에 중첩된 어텐션 가중치들의 히트맵의 시계열적 패턴들 프로파일이 요약되었다. 또한, rCBV만으로는 구별할 수 없는, 거의 동일한 rCBV 값을 갖는 IDH 와일드형 및 IDH 변이 뇌교종(예컨대, 도 7a에서 도시된 것과 같은 평균 rCBV, 3.59 및 3.58의 경우)의 경우가 실시예의 모델에 의해서는 정확하게 예측될 수 있다. 이 두 경우에 있어서, 실시예의 모델은 IDH 와일드형과 IDH 변이 뇌교종 각각에 대해 패턴 6과 1을 나타냈으며(도 7b와 7c 참조), 그 패턴 분석 결과는 정확하게 나타났다(클래스 확률은 각각 0.849와 0.956). 도 12a 내지 12g는 또한 IDH 와일드형과 IDH 변이 뇌교종의 다른 패턴을 보여준다.
[표 3]
Figure 112019031749817-pat00005
관련하여, 도 6a 및 6b는 각각 일 예에 따른 T2* 자화율 신호 강도-시간 곡선에 어텐션 가중치들이 중첩되어 히트맵으로서 시각화된 T2* 자화율 신호 강도-시간 곡선의 시계열적 패턴들과, IDH 유전형에 따른 시계열적 패턴들의 빈도를 나타낸다.
도 7a는 일 예에 따른 IDH 유전형에 따른 (평균) rCBC 값들의 분포를 나타내고; 도 7b 및 도 7c는 각각 동일한 rCBV 값을 갖는 IDH 와일드형 뇌교종과 IDH 변이 뇌교종의 T2* 자화율 신호 강도-시간 곡선을 나타내고; 도 7d 및 도 7e는 각각 IDH 와일드형 뇌교종과 IDH 변이 뇌교종의 CET1WI 및 FLAIR 영상들을 나타낸다. 육안으로는, 도 7d와 같이 종양의 불규칙한 강화(irregular enhancement)가 있고 경계가 흐릿한 것이 IDH 와일드형 뇌교종일 수 있다. 도 7e와 같이 검은 물주머니 형태가 나타나고 경계가 뚜렷한 것이 IDH 변이 뇌교종일 수 있다.
도 12a는 일 예에 따른 IDH 유전형에 따른 (평균) rCBC 값들의 분포를 나타낸다. 도 12b 내지 도 12g는 IDH 와일드형 뇌교종과 IDH 변이 뇌교종의 각 서브 영역들에 대한 T2* 자화율 신호 강도-시간 곡선을 나타낸다. 도 12b 내지 도 12g에서는 T2* 자화율 신호 강도-시간 곡선에 어텐션 가중치들이 중첩되어 히트맵으로서 시각화된 T2* 자화율 신호 강도-시간 곡선의 시계열적 패턴들이 나타나 있다.
본 개시에서는 비교적 큰 데이터 세트(n=463)로 IDH 유전형을 예측할 수 있는 순환 신경망 모델을 개발되었다. 본 개시는 DSC 관류 MRI로부터의 원시 T2* 자화율 신호 강도-시간 곡선을 사용하여 IDH 유전형에 따른 뇌교종의 구별되는 종양 혈관 신생의 생물학적 배경에 기반하는 IDH 유전형 예측을 위한 신규한 딥러닝 모델을 설명한다.
실시예의 예측 모델은 뇌파, 심전도 및 다른 생리적 신호들과 같은 의학적 시퀀스 데이터를 학습하는 것을 포함하여 다양한 시퀀스 학습 작업들에 있어서 높은 성능을 나타내는 LSTM 기반의 모델이기 때문에 시험 세트에 대한 해석 가능성과 재현성을 갖는 높은 진단 성능을 나타낼 수 있다. 또한, 실시예의 예측 모델의 i) 통상적인 MR 시퀀스들만을 활용할 때에 비해 IDH 유전형에 따른 특정 종양 혈관 신생 및 혈관계를 반영할 수 있는 DSC 관류 MRI의 활용, ii) 상대적으로 작은 데이터 세트 수를 갖는 모델의 파라미터 수를 대폭적인 감소(이는 과적합을 방지하고 동일한 수의 2D 또는 3D 영상 데이터를 사용하는 CNN 모델과 비교할 때 모델을 효과적으로 일반화 할 수 있음), 및 iii) 콘볼루젼 레이어를 추가함으로써의 모델 최적화(이는 의미론적 영역 특징을 추출하고 고도로 상관된 입력 시퀀스 데이터에 대한 중복성을 제거하며, 콘볼루젼 레이어와 모델의 해석 능력을 위한 어텐션 레이어를 포함하지 않는 모델에 비해 LSTM 기반 모델의 시계열적 상관 관계 및 일관된 성능 향상을 보다 잘 포착하게 하고, 성능이 우수함)의 특징은 시험 세트에 대한 해석 가능성과 재현성을 갖는 높은 진단 성능을 나타내도록 할 수 있다.
또한, 교모세포종이 종양 부근의 영역에서 혈관 조절 장애를 유발한다는 것이 알려져 있고, 조영제의 주입 없이, 혈중 산소 준위 의존성(BOLD) 또는 관류 MRI에 의해 측정되는 그 정도는 IDH 변이 뇌교종보다 IDH 와일드형이 더 크게 되며, 이는 IDH 유전형을 차별화시킨다. 따라서, 실시예와 같이, 종양 코어 및 종양 부근 부종 둘 다에서 얻은 원시(raw) DSC 관류 MRI 신호를 이용하는 신경망 모델을 개발하는 것은 이러한 생물학적 배경을 고려할 때 뇌교종에서 IDH 유전형의 예측함에 있어서 더욱 타당하게 될 수 있다.
또한, IDH 와일드형 LGG 혈관은 IDH 변이 LGG17의 혈관계와 분자적으로 구별된다는 것이 알려져 있다. 보다 구체적으로, IDH 변이 그룹은 IDH 와일드형 그룹보다 낮은 rCBV를 나타낼 수 있다. 그러나 이는, DSC 관류 MRI 패턴들에 의해 구별될 수 있는 IDH 유전형에 따른 종양 혈관계를 나타낼 수는 있으나, IDH 와일드형과 IDH 변이 그룹 사이에는 크게 겹치는 범위의 rCBV가 나타나게 된다. 즉, 뇌교종의 rCBV가 중첩된 범위 내에 있을 때에는 개별적인 차이가 없게 되어 IDH 유전형의 예측이 부정확하게 된다.
본 개시에서는, 시퀀스 패턴들을 학습할 수 있는, LSTM 기반 모델을 사용하여 원시 다차원 DSC 관류 MRI 신호를 학습함으로써 이러한 중첩된 rCBV 그룹을 구별할 수 있다.
본 개시는 딥러닝 알고리즘과 어텐션 네트워크들을 갖는 콘볼루젼 LSTM을 사용하여 종래 기술을 확장한 것이다. 또한, 본 개시의 딥러닝 기반의 학습 방법들은 볼륨, 엔트로피 및 에너지와 같은 선험적인 특징 선택 없이도 엔드 투 엔드 학습 모델의 구축을 가능하게 할 수 있고, 이는 기존의 라디오믹스(radiomics) 접근법에 비해 재현성 및 임상적 응용 가능성이 뛰어나게 될 수 있다. 또한, 신경망은 신규하고 중요한 특징을 발견하도록 표현을 학습함에 비해, 라디오믹스 접근법은 인간 전문가에 의해 재공된 도메인 지식으로 미리 엔지니어링된 특징을 요구하는 것으로, 다른 특징들의 발견의 확률이 낮다. 이러한 "종단 간 모델"의 배경을 고려하면, 신경망 모델을 구축할 때 사후 처리 된 rCBV 대신에 원시 DSC 관류 MRI 데이터를 입력하는 것이 더 적합할 수 있다.
또한, 이러한 신경망 모델의 높은 성능은 현재의 IDH 유전형 판정의 한계를 극복하는 데 도움이 될 수 있다. 현재 IDH 유전형을 결정하기 위해서는 전신 마취와 관련 위험이 따르는 외과적 생검이 요구되며, 모든 IDH 변이의 약 15%를 놓치고 있는 R132H를 검출하기 위한 면역 조직 화학 검사 또는 유전자 시퀀싱이 추가로 수행되어야 하며, 이는 잠재적인 진단을 지연시킬 수 있다. 실시예의 모델을 사용하는 것을 통해서는 이러한 생검의 필요 없이 IDH 변이를 정확하게 예측할 수 있다.
실시에들을 통해서는 시퀀스 데이터의 학습을 위한 신경망 모델인, 어텐션 메커니즘을 갖는 콘볼루션 양방향 LSTM 네트워크를 사용하여 원시 DSC 관류 MRI 데이터로부터 IDH 유전형을 분류하고, 어텐션 메커니즘을 사용하여 시계열 데이터의 해석이 가능하게 할 수 있다.
시계열 특징 분석을 위해서는, 콘볼루젼 LSTM 모델에 의해 생성된 어텐션 가중치들의 히트맵으로 중첩된 DSC 관류 MRI로부터 다차원 T2* 자화율 신호 세기-시간 곡선(즉, 강화 종양, 비강화 종양, 종양 부근 부종, 전체 종양 및 AIF로부터 평균화된 신호 세기-시간 커브 각각)을 해석할 수 있다. 어텐션 메커니즘들은 콘볼루젼 LSTM 모델이 매 타임-스텝에 대해 집중하는 것을 나타낸다.
T2* 신호 세기-시간 곡선에 기반한 본 개시의 패턴 분석 모델에 있어서, 포스트-볼루스 플레토를 갖는 신호 하강부의 상승 경사와, 신호 하강부의 하강 경사를 갖는 조영 증강 전 기준선은 각각 IDH 와일드형과 IDH 변이 뇌교종을 각각 예측함에 있어 유용할 수 있다(도 6a 및 6b 참조). 다시 말해, 예측 모델들에 있어서, 신호 회복은 IDH 야생형 뇌교종의 가장 중요한 특징이 되며, 증가된 종양 혈관 신생으로 인한 유출하거나(leaky)/미성숙한 종양 혈관들을 나타내는 것은 IDH 와일드형 뇌교종의 중요한 특징이 될 수 있다. 종양 맥관질(vascularity)은 IDH 변이 뇌교종의 가장 중요한 특징이 될 수 있고, 이는 PH뿐만 아니라 rCBV와 상관 관계가 있다. 전체 종양들의 평균 rCBV가 거의 동일한 대표적인 경우에 있어서, 본 개시의 모델은 IDH 와일드형 뇌교종으로부터 획득된 T2* 신호 강도-시간 곡선의 신호 하강부의 상승 경사 및 포스트-볼루스 플레토에 역점을 둘 수 있고(도 7b), IDH 변이 뇌교종보다 IDH 와일드형에서 덜 가파르고 감쇠되는 신호 회복 또는 혈관 투과성과 상관 관계가 있다. 또한, 본 개시의 모델은 IDH 변이 뇌교종으로부터 획득된 T2* 신호 강도-시간 곡선의 조영 증강 전 기준선 및 신호 하강부의 하강 경사에 역점을 둘 수 있고(도 7c), 이는 종양 맥관질과 연관되고, IDH 변이 뇌교종보다 IDH 와일드형에서 더 크고 더 가파르게 될 수 있다. 이러한 두 결과들은 IDH 와일드형 그룹에서 (비정상 종양 혈관들이 유출하고 미성숙한) IDH 변이 그룹에 비해 종양 혈관 신생이 증가한 것으로 나타나는 종래의 연구 결과들과 일치하는 것이다.
데이터 세트에 있어서DSC 관류 MRI에 있어서의 자기장 세기와 IDH 유전형의 사이에는 유의미한 연관이 존재하지 않을 수 있다(p=0.053, 표 4 참조). 이는 스캐너의 자기장 세기는 IDH 유전형과 독립적이며 훈련, 검증 및 테스트 세트가 전체 데이터 세트를 무작위로 섞은 후에 나뉘어 졌음을 나타낼 수 있다.
[표 4]
Figure 112019031749817-pat00006
본 개시의 모델은 기존의 MRI에서 종양의 서브 영역의 신호 강도, 위치 등이 없는 공간 정보 만을 사용하기 때문에 기존의 MRI 데이터 전체를 본 개시의 모델에 통합하여 진단 성능을 향상시킬 수 있다.
결론적으로 IDH 변이는 종양 혈관 신생과 연관되어 있다는 점을 고려하여, 본 개시에 의해서는 DSC 관류 MRI를 사용하여 뇌교종의 IDH 유전형을 예측할 수 있는 높은 진단 성능을 갖는 LSTM 기반 모델이 개발될 수 있다. 본 개시의 비 침습적인 방법은 수술적인 생검을 보완하고 항 혈관신생 치료의 치료 계획 반응 평가를 개선시킬 수 있다.
아래에서는, 전술한 모델의 구현 방법과 결과에 대해서 더 자세하게 설명한다.
모델의 구현 방법
환자들
도 8은 일 예에 따른 모델을 위한 환자의 포함 및 배제 기준을 나타낸다. 도 8에서 도시된 기준에 따라, 603 명의 환자들 중 140명이 배제될 수 있다.
종양 구획화
종양 구획화는 고품질 구획화를 위해 반자동의 방식으로 두 단계로 수행될 수 있다. 먼저, (BraTS 챌린지에서 두 번째로 우수한 것으로 평가된) 완전히 자동화된 뇌종양 구획화 툴이 초기 종양 구획화를 수행할 수 있다. 구획화 네트워크는 등방성으로 재샘플링 된 공동 등록된 MR 영상들을 위한 멀티모달 MR 영상을 분할하기 위해 제안된 완전 콘볼루젼 신경망의 캐스캐이드일 수 있다. 이러한 네트워크를 사용하여, (예컨대, BraTS 챌린지에 따라) 전체 종양 영역은 종양 코어 및 종양 부근 부종으로 구획화될 수 있다. 종양 코어는 다시 강화 종양 및 비-강화 종양으로 구획화될 수 있다. 다시 말해, 완전한 종양은 종양 부근 부종, 강화 종양 및 비-강화 종양의 3개의 서브 영역들의 합으로 정의될 수 있다. 이에 따라, 비-강화 종양은 비-강화 고형 종양(non-enhancing solid tumor) 및 종양 부근 부종이 없는 네크로시스(necrosis)일 수 있다. 다음으로, 모든 종양 구획화는 3D Slicer 4.8.1 (http://www.slicer.org/)을 사용하는 신경 방사선 요법에서의 5 년간의 경험을 가진 신경 방사선 전문의(K.S.C.)에 의해 수동으로 교정될 수 있다.
DSC 관류 MRI 데이터 처리 및 정규화
평균(mean) T2* 자화율 신호 강도-시간 곡선은, 예컨대, FSL의 fslmeants라고 불리는 커맨드 라인 툴(FMRIB Software Library; http://www.fmrib.ox.ac.uk/fsl/)을 사용하여 DSC 관류 MRI로부터 종양들의 각 서브 영역에 대해 얻어질 수 있다. 다음으로, 종양들의 각 서브 영역, 전체 종양 및 동맥 입력 함수(들)(AIF)에 대한 시계열 데이터가 어레이들로서 로드될 수 있고 컬럼들로서 연결된다. 첫 번째 컬럼은 비강화 부분이고, 종양 부근 부종이 두 번째 컬럼이고, 강화 종양이 세 번째 컬럼이고, 전체 종양에 대한 평균 시계열 데이터가 네 번째 컬럼이고, AIF가 다섯 번째 컬럼이 될 수 있다. Python 3.6 가 사용될 수 있다. AIF는 두개 내/두개외 동맥 협착, 심장 출력, 조영제 주입 시간 및 속도(rate) 등과 같은 개인차에 대한 네트워크 정보를 제공하기 위한 입력 특징으로서 선택될 수 있다. AIF는 데이터 세트의 모든 픽셀들에 대한 시간 곡선의 특성을 분석하고 예컨대, Nordicice 4.1.3 (NordicNeuroLab, 베르겐, 노르웨이)를 사용하여 제외된 AIF 특성들(큰 커브 아래 곡선(AUC), 낮은 첫 순간 및 높은 피크 증강)과 가장 유사한 시간 코스를 선택하는 클러스터링 알고리즘들을 적용함으로써 자동으로 검출될 수 있다. 증강 부분이나 비증강 부분이 없는 환자들의 경우 부재하는 부분에 대한 평균 시계열 데이터의 부재 컬럼에 대해서는 제로 컬럼이 연결된다. 다음으로, 시계열 데이터의 모든 시간 스텝들의 수를 50으로 정규화(즉, 시계열 정규화)하기 위해 60개의 시간 스텝들을 갖는 DSC 관류 MRI 및 AIF의 모든 시계열 데이터의 마지막 10 개의 시간 스텝들은 삭제될 수 있다. 마지막으로, 영상(image) 강도(즉, 어레이 요소들)는 신호 강도-시간 곡선들의 개별적인 차이를 마스크하지 않고, 비-테스트(즉, 트레이닝 및 검증) 및 테스트 세트 둘 다에서 제로 어크로스의 유니트 놈(unit norm)과 평균(mean)을 갖도록 특징적으로 정규화(featurewisely normalized)될 수 있다. 예컨대, Python 3.6이 사용될 수 있다. 신경망에 관한 이전 연구에서, 뇌파 및 심전도는 슬라이딩 윈도우 방식으로 시계열 데이터의 서브시퀀스들을 활용하였다. 조영제 주사 시간에서 스캔 간 및 중심 간 변동으로 인해, DSC 관류 MRI로부터의 T2* 자화율 신호 강도-시간 곡선에서 조영 증강 전 기준선 간격 및 신호 하강 부분의 시작은 다양하게 될 수 있다. 따라서, 이전의 연구와 동일한 방식으로, 정규화된 시계열 데이터는 36개의 시간 스텝들의 윈도우 크기와 2개의 시간 스텝들의 스트라이드(stride)를 가지는 시계열 데이터의 하나의 세트에 대해 8 개의 서브시퀀스들을 생성할 수 있다. 윈도우 크기 및 스트라이드들의 결정은 작은 윈도우 크기는 장기적인 통계를 완전히 나타내지 못할 수 있는 반면, 윈도우 크기가 너무 크면 작은 변화를 간과하게 될 수 있다는 점에서 중요하다. 이전 연구에서, IDH 변이는 저산소-개시 혈관 신생으로 알려져 있고, IDH 와일드형과는 반대로 rCBV가 감소하게 된다. 따라서, rCBV와 상관 관계가 있는 T2* 자화율 신호 강도-시간 곡선의 신호 하강 영역(즉, 신호 하강부)은 IDH 변이 상태에 중요할 수 있다. 따라서, 윈도우 크기는 모든 서브시퀀스들에 대한 신호 하강 영역을 포함하도록 결정되어야 할 수 있다.
또한 rCBV 맵은 예컨대, Nordicice 4.1.3 (NordicNeuroLab, 베르겐, 노르웨이)을 사용하여 DSC 관류 MRI에서 얻어질 수 있고, 다음으로 전체 환자의 전체 종양 rCBV의 평균(mean) 및 95% 백분위 값을 계산할 수 있다. 모든 영상 전처리, 종양 분할, DSC 관류 MRI 데이터 처리 및 정규화는 도 1에서와 같이 요약될 수 있다. 모든 영상 전처리, 종양 분할, DSC 관류 MR 데이터 처리 및 정규화는 멀티 코어 중앙 처리 장치(예컨대, 인텔® 제온® 프로세서 E5-2630 v4 @ 2.20GHz)가 장착된 워크 스테이션에서 수행될 수 있다.
신경망 모델: 구현의 상세
첫째, 입력들은 16 개의 필터들과 3의 커널 크기를 갖는 1D 콘볼루젼 레이어를 통과할 수 있다. 네트워크 가중치들은 Glorot uniform initializer를 사용하여 무작위로 초기화될 수 있다. 1D MaxPooling 레이어는 풀 크기가 2 인 콘볼루젼 레이어 다음에 적용될 수 있다. 정류된 라이너 유닛(ReLu) 비선형 함수가 컨벌루션 레이어의 활성화 함수로서 적용될 수 있다. 1D CNN의 출력은 n=16의 은닉 유닛들을 갖는 양방향 LSTM 네트워크로 공급되어 각 시간 단계마다 16 개의 숨겨진 상태와 16 개의 출력 상태를 생성할 수 있다. 양방향 LSTM 레이어에서 드롭 아웃 비율이 0.3 인 반복 드롭 아웃 레이어가 사용될 수 있다. 시그노이드 함수가 바이너리 분류를 위한 최종적인 단일 레이어 FFN에 대해 적용될 수 있다. 바이너리 크로스-엔트로피 함수가 목적 함수로서 사용될 수 있다. 네트워크 가중치들의 최적화는 예컨대, Adaptive Moment estimation (Adam) 알고리즘을 사용하여 수행될 수 있다. 8의 미니 배치 크기가 낮은 분산을 갖는 그라디언트를 추정하고 계산을 효율화하기 위해 사용될 수 있다. 학습 속도는 초기에 0.001로 설정될 수 있고, 0.002, 0.003 및 0.01에 대해 테스트될 수 있다. 최적의 모델이 수행 환자를 평가하기 위해 업데이트되고 로드될 수 있다. (즉, IDH 와일드형 또는 IDH 변이인) 클래스의 확률은 각 환자에 대해 시그노이드 함수를 사용하여 계산될 수 있다. 모델은 상대적으로 적은 수의 파라미터들을 갖는 모델을 훈련시키기에 충분한 계산 속도를 제공하는 멀티 코어 중앙 처리 장치 상에서 훈련될 수 있다. 제안된 모델의 구현은 백엔드로서, 예컨대, TensorFlow 버전 1.10.0의 Keras 버전 2.0.8 패키지를 기반으로 할 수 있다.
신경망 모델: 최적화
먼저, 검증 손실보다 더 큰 훈련 손실을 나타내는, 즉, 데이터 세트가 모델을 과소적합(underfit)하는, 단일 레이어 양방향 LSTM을 갖는 모델이 개발될 수 있다. 다음으로, LSTM 레이어의 이전에 1차원의 콘볼루젼 레이어를 추가할 수 있고, 데이터 세트를 모델에 적합시킬 수 있다. 추가로 하나의 추가적인 양방향 LSTM 레이어를 추가할 수 있고, 적층된 LSTM 레이어를 형성할 수 있다(이는 모델을 크게 개선시키지는 않을 수 있다). 최종적으로, 강력하고 정확한 그라디언트 추정을 위해 배치 크기를 1에서 8로 늘릴 수 있다. 모델을 데이터 세트에 적합시키기 위해 디폴트 값인 0.001에서 0.002, 0.003 및 0.01과 같은 다양한 값으로 학습 속도를 변경할 수 있다. 훈련 및 검증 손실은 훈련 및 검증 손실 곡선들(도 10a 및 10b 참조) 내에서, 에포크 500까지 계속 감소하기 때문에, 모델을 에포크 500에서 저장하고 모델을 로드하여 성능을 평가할 수 있다.
관련하여, 도 10a 및 10b는 각각 훈련 및 검증 손실 곡선(10a)과 훈련 및 검증 정확도 곡선(10b)을 나타낸다.
통계적 분석
성별 및 IDH 유전형에 따른 rCBV의 연령, 평균, 95% 백분위 값을 비교하기 위해 Student의 t-test를 수행하였다. WHO 등급에 따른 rCBV의 평균 및 95% 백분위 값과 연령을 비교하기 위해 Tukey의 테스트를 이용한 일원 분산 분석을 포스트-혹 c 분석으로 수행했다. 카이 제곱 검정을 사용하여 IDH 와일드형과 IDH 변이 그룹 사이의 T2* 자화율 신호 강도-시간 곡선에 중첩된 어텐션 가중치의 히트맵의 시간적 패턴의 빈도 차이와, DSC 관류 MRI의 자기장 세기 및 데이터 세트의 IDH 유전형 사이의 연관에 대해서도 시험하였다. 카플란-마이어 방법을 사용하여 수행한 생존 분석의 결과는 도 9a 및 9b와 같이 나타났다. 도 9a 및 9b는 각각 일 예에 따른 IDH 유전형 및 WTO 등급에 따른 카플란-마이어 생존 곡선들을 나타낸다.
결과
정량적 분석: 기존 접근법
평균 rCBV 값은 WHO 등급 III 및 II에 비해 WHO 등급 IV에서 유의미하게 더 높았다(3.01±1.24 vs 2.28±0.84, p<0.0001; 및 3.01±1.24 vs 2.36±1.62, p=0.008). 그러나 평균 rCBV 값들은 WHO 등급 III에서 WHO 등급 II보다 유의미하게 더 높지 않았다(p=0.939). IDH 와일드형 그룹의 서브 그룹 분석에 있어서, 평균 rCBV 값은 WHO 등급(등급 II, 2.60±2.12 vs 등급 III, 2.51±0.89 vs 등급 IV, 3.07±1.22, p=0.005)에 따라 유의미한 차이가 있었다. 포스트-혹(post-hoc) 분석에 있어서, 평균 rCBV 값은 WHO 등급 Ⅲ 보다 WHO 등급 Ⅲ에서 유의미하게 높았으며(p=0.004), 다른 비교는 유의미하지 않았다. 그러나 IDH 변이 그룹의 서브 그룹 분석에서 평균 rCBV 값은 WHO 등급(등급 II, 2.09±0.71 vs. 등급 III, 2.11±0.76 vs 등급 IV, 2.49±1.28, p=0.149)에 따라 유의미하게 다르지 않았다(도 11a 내지 11d 참조).
정성 분석: 시간적 특징 해석
본 개시의 모델을 사용함에 있어서는, 평균 rCBV 값만을 사용하여 구별할 수 없는 IDH 유전형을 정확하게 예측할 수 있는 구체적인 경우들이 존재할 수 있다. 도 12a에서 도시된 것처럼, 두 그룹들 간의 중첩된 범위(1.04-5.83)(표 2 참조)를 넘는 전체 종양의 평균 rCBV 값들을 갖는 대부분의 경우에 있어서, 전체 종양으로부터 평균된 T2* 자화율 신호 강도-시간 곡선의 조영 증강 전의 끝(end)이 있거나 없는 신호 하강부의 하강 경사들은 높은 어텐션 가중치들을 나타내는 경향이 있고, 이는 IDH 변이 그룹에서보다 IDH 와일드형에서 더 가파르고 더 깊은 신호 하강부의 하강 기울기를 나타낼 수 있다. 보다 구체적으로, 두 대표적인 경우에 있어서, 모델은, 각각 0.932 및 0.579의 클래스 확률을 갖는 IDH 와일드형(평균 rCBV, 5.94) 및 IDH 변이(평균 rCBV, 1.03) 뇌교종의 신호 하강부의 하강 경사에 집중하여(도 12b 및 12c 참조), IDH 유전형을 정확하게 예측할 수 있다.
반면에, 전체 종양의 평균 rCBV 값이 두 그룹들 간의 중첩 범위(1.04-5.83) 내에 있는 경우, 전술한 바와 같이, 어텐션 가중치들의 동일한 패턴이 나타나지 않는 경우들이 존재할 수 있다. 그러나, 이러한 경우들에 있어서, 증강 종양으로부터 평균된 T2* 자화율 신호 강도-시간 곡선들의 상승 기울기들 및 포스트-볼루스 플레토들은 높은 어텐션 가중치들을 나타내는 경향이 있다. 보다 구체적으로, 두 가지의 대표적인 경우들에서, 모델은 (각각 0.849 및 0.956의 클래스 확률을 따르는) 올바른 추측에 따라 IDH 변이(평균 rCBV, 3.58) 뇌교종에서보다 IDH 와일드형(평균 rCBV, 3.59)(도 12d 및 12e 참조)에서 더 낮게 되는 신호 하강부의 상승 기울기 및 포스트-볼루스 플레토 상에서의 높은 어텐션 가중치를 나타낼 수 있다. 추가적으로, 종양 부근 부종의 평균 rCBV 값이 두 그룹들 간의 중첩 범위(1.04-5.83) 내에 있는 경우들에 있어서, 모델은, 종양 부근 부종으로부터 평균된 T2* 자화율 신호 강도-시간 곡선들의 신호 하강부의 하강 기울기들 및/또는 조영 증강 전 기준선들에 집중하여, IDH 유전형을 정확하게 예측할 수 있다. 보다 구체적으로, 두 가지의 대표적인 경우들에서, IDH 와일드형 뇌교종은 전체 종양으로부터 평균된 평균 rCBV (2.56)를 가지며 이는 IDH 변이 뇌교종(2.67)보다 더 작으며, 또한, IDH 변이 뇌교종(2.07)보다는 약간 더 큰 종양 부근 부종으로부터 평균된 평균 rCBV(2.11)를 나타낼 수 있다(도 12f 및 12g 참조). 이러한 결과는 IDH 변이 뇌교종에서보다 IDH 와일드형에서의 더 많은 종양 침윤(tumor infiltration) 때문에 발생하는 더 높은 종양 부근 병변의 종양 맥관질(tumor vascularity)에 의한 것일 수 있다.
생존 분석
도 9a에서 도시된 것처럼, IDH 변이 그룹은 IDH 와일드형 그룹에 비해서 유의미하게 더 높은 누적 무진행 생존률을 나타냄을 확인할 수 있다.
또한, 도 9b에서 도시된 것처럼, WTO 등급 II의 뇌교종을 갖는 환자들이 WTO 등급 III의 뇌교종을 갖는 환자들에 비해 유의미하게 더 높은 누적 무진행 생존률을 나타내고, WTO 등급 III의 뇌교종을 갖는 환자들이 WTO 등급 IV의 뇌교종을 갖는 환자들에 비해 유의미하게 더 높은 누적 무진행 생존률을 나타냄을 확인할 수 있다.
전술한 바와 같이, 실시예들을 통해서는 T2* 자화율 신호 강도-시간 곡선들의 시계열적인 패턴을 딥러닝(RNN LSTM)을 통해 분석하는 것을 통해, 환자의 뇌교종에서의 IDH 변이 또는 IDH 와일드를 정확하게 검출해 낼 수 있고, T2* 자화율 신호 강도-시간 곡선의 어떠한 타임 스텝이 IDH 변이 또는 IDH 와일드를 분류하기 위한 중요한 특징되는지를 알아낼 수 있다.
시스템 구성
도 13은 일 실시예에 따른 IDH 유전형 변이 예측 방법을 제공하는 시스템을 나타내는 블록도이다.
도 13은 본 발명의 일 실시예에 있어서 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다. 예를 들어, 실시예들에 따른 IDH 유전형 변이 예측 방법 및 IDH 유전형 변이의 예측을 위한 RNN 모델을 구축하는 방법을 수행하기 시스템이 도 13의 컴퓨터 시스템(100)을 통해 구현될 수 있다. 도 13에서 도시한 바와 같이, 컴퓨터 시스템(100)은 IDH 유전형 변이 예측 방법을 구현(또는, IDH 유전형 변이의 예측을 위한 RNN 모델을 구축)하기 위한 구성요소로서 프로세서(110), 메모리(120), 영구 저장 장치(130), 버스(140), 입출력 인터페이스(150) 및 네트워크 인터페이스(160)를 포함할 수 있다. 컴퓨터 시스템(100)은 도시된 것과는 달리 복수의 컴퓨터 시스템들로 구성될 수도 있다. 컴퓨터 시스템(100)은 예컨대, 종양 환자의 MRI 데이터를 분석하고, 환자에 대한 치료 계획 및/또는 진단을 수립하기 위해 사용되는 시스템 또는 그 일부일 수 있다.
프로세서(110)는 IDH 유전형 변이 예측 방법(또는, IDH 유전형 변이의 예측을 위한 RNN 모델 구축 방법)을 구현하기 위한 명령어들의 시퀀스를 처리할 수 있는 임의의 장치를 포함하거나 그의 일부일 수 있다. 프로세서(110)는 예를 들어 컴퓨터 프로세서, 이동 장치 또는 다른 전자 장치 내의 프로세서 및/또는 디지털 프로세서를 포함할 수 있다. 프로세서(110)는 예를 들어, 서버 컴퓨팅 디바이스, 서버 컴퓨터, 일련의 서버 컴퓨터들, 서버 팜, 클라우드 컴퓨터, 컨텐츠 플랫폼 등에 포함될 수 있다. 프로세서(110)는 버스(140)를 통해 메모리(120)에 접속될 수 있다.
메모리(120)는 컴퓨터 시스템(100)에 의해 사용되거나 그에 의해 출력되는 정보를 저장하기 위한 휘발성 메모리, 영구, 가상 또는 기타 메모리를 포함할 수 있다. 메모리(120)는 예를 들어 랜덤 액세스 메모리(RAM: random access memory) 및/또는 다이내믹 RAM(DRAM: dynamic RAM)을 포함할 수 있다. 메모리(120)는 컴퓨터 시스템(100)의 상태 정보와 같은 임의의 정보를 저장하는 데 사용될 수 있다. 메모리(120)는 예를 들어, 유전형 변이 예측 방법(또는, IDH 유전형 변이의 예측을 위한 RNN 모델 구축 방법)의 수행을 위한 명령어들을 포함하는 컴퓨터 시스템(100)의 명령어들을 저장하는 데에도 사용될 수 있다. 컴퓨터 시스템(100)은 필요에 따라 또는 적절한 경우에 하나 이상의 프로세서(110)를 포함할 수 있다.
버스(140)는 컴퓨터 시스템(100)의 다양한 컴포넌트들 사이의 상호작용을 가능하게 하는 통신 기반 구조를 포함할 수 있다. 버스(140)는 예를 들어, 컴퓨터 시스템(100)의 컴포넌트들 사이에, 예를 들어, 프로세서(110)와 메모리(120) 사이에 데이터를 운반할 수 있다. 버스(140)는 컴퓨터 시스템(100)의 컴포넌트들 간의 무선 및/또는 유선 통신 매체를 포함할 수 있으며, 병렬, 직렬 또는 다른 토폴로지 배열들을 포함할 수 있다.
영구 저장 장치(130)는 (예를 들어, 메모리(120)에 비해) 소정의 연장된 기간 동안 데이터를 저장하기 위해 컴퓨터 시스템(100)에 의해 사용되는 바와 같은 메모리 또는 다른 영구 저장 장치와 같은 컴포넌트들을 포함할 수 있다. 영구 저장 장치(130)는 컴퓨터 시스템(100) 내의 프로세서(110)에 의해 사용되는 바와 같은 비휘발성 메인 메모리를 포함할 수 있다. 영구 저장 장치(130)는 예를 들어, 플래시 메모리, 하드 디스크, 광 디스크 또는 다른 컴퓨터 판독 가능 매체를 포함할 수 있다.
입출력 인터페이스(150)는 키보드, 마우스, 음성 명령 입력, 디스플레이 또는 다른 입력 또는 출력 장치에 대한 인터페이스들을 포함할 수 있다. 실시예의 방법을 위한 명령들 및/또는 입력들이 입출력 인터페이스(150)를 통해 수신될 수 있다.
네트워크 인터페이스(160)는 근거리 네트워크 또는 인터넷과 같은 네트워크들에 대한 하나 이상의 인터페이스를 포함할 수 있다. 네트워크 인터페이스(160)는 유선 또는 무선 접속들에 대한 인터페이스들을 포함할 수 있다. 실시예의 방법을 위한 명령들 및/또는 입력들이 네트워크 인터페이스(160)를 통해 수신될 수 있다.
또한, 다른 실시예들에서 컴퓨터 시스템(100)은 도 13의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요는 없다. 예를 들어, 컴퓨터 시스템(100)은 상술한 입출력 인터페이스(150)와 연결되는 입출력 장치들 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
이러한 컴퓨터 시스템(100)을 통해 구현되는 실시예들을 통해서는, MRI 데이터로부터의 T2* 자화율 신호 강도-시간 곡선의 시계열 패턴을 분석함으로써, 환자의 뇌교종에서의 IDH 와일드 또는 IDH 변이를 정확하게 예측할 수 있고, 이를 정확하게 예측하기 위한 RNN 모델을 구축할 수 있다.
이상 도 1 내지 도 12를 참조하여 전술된 기술적 특징들에 대한 설명은 도 13에 대해서도 그대로 적용될 수 있는 바, 중복되는 설명은 생략한다.
도 14는 일 실시예에 따른 IDH 유전형 변이 예측 방법을 나타내는 흐름도이다.
도 14를 참조하여, 컴퓨터 시스템(100)에 의해 수행되는 IDH 유전형 변이 예측 방법에 대해 설명한다.
단계(1010)에서, 프로세서(110)는 복수의 뇌교종 환자들의 MRI 데이터 세트로부터의 T2* 자화율 신호 강도-시간 곡선들의 시계열 패턴들이 학습된 순환 신경망(Recurrent Neural Network; RNN) 모델을 마련할 수 있다. 복수의 뇌교종 환자들의 MRI 데이터 세트는 상기 RNN 모델을 훈련시키기 위한 훈련 데이터 세트일 수 있다. 말하자면, 단계(1010)에서, 프로세서(110)는 복수의 뇌교종 환자들의 MRI 데이터 세트를 학습함으로써 RNN 모델을 구축할 수 있다. RNN 모델은 장단기 메모리(Long Short-Term Memory; LSTM) 기반 모델일 수 있다. 또한, RNN 모델은 단일 레이어 양방향 LSTM을 포함하는 모델이며, LSTM 레이어의 이전에 1차원의 콘볼루젼 레이어를 포함할 수 있다.
단계(1020)에서, 프로세서(110)는 RNN 모델을 사용하여 뇌교종 환자의 MRI 데이터로부터의 T2* 자화율 신호 강도-시간 곡선의 시계열 패턴을 분석함으로써, 환자의 뇌교종에서의 IDH 와일드(wild) 또는 IDH 변이(mutant)를 예측할 수 있다. 프로세서(110)는 구축된 RNN 모델을 통해 뇌교종 환자의 MRI 데이터 세트를 분석하여, 뇌교종 환자의 뇌교종에서 IDH 와일드(wild) 또는 IDH 변이(mutant)를 분류해 낼 수 있다. 말하자면, 구축된 RNN 모델은 환자의 MRI 데이터를 분석하여 환자의 뇌교종이 IDH 와일드형 뇌교종인지 또는 IDH 변이 뇌교종인지를 분류할 수 있다.
뇌교종 환자의 MRI 데이터는 뇌교종 환자의 DSC 관류 MRI 데이터를 포함할 수 있다. T2* 자화율 신호 강도-시간 곡선은 DSC 관류 MRI 데이터로부터 획득된 원시(raw) 데이터일 수 있다.
마찬가지로, 학습을 위한 복수의 뇌교종 환자들의 MRI 데이터 세트는 상기 뇌교종 환자들의 각각의 DSC 관류 MRI 데이터를 포함할 수 있다.
또한, 뇌교종 환자(들)의 MRI 데이터는 뇌교종 환자(들)의 각각의 T1 강조 영상(T1WI), T2 강조 영상(T2WI), T2 강조 액체 감쇠 역전 회복(FLAIR) 영상 및 조영 증강 T1 강조 영상(CET1WI) 중 적어도 하나를 더 포함할 수 있다. 예컨대, T1WI, T2 T2WI, FLAIR 및 CET1WI에 기반한 종양의 공간 정보가 후술될 종양의 구획화에 있어서 사용될 수 있다. 사용되는 공간 정보에는 신호 강도에 관한 정보는 포함되지 않을 수 있다.
T2* 자화율 신호 강도-시간 곡선을 시간에 대해 적분하면 rCBV 값이 획득될 수 있다. 종양이 존재하는 경우 종양 혈관신생이 일어나므로 rCBV 가 증가하게 되고, IDH 변이가 없는 그룹(IDH 와일드)에서 있는 그룹(IDH 변이)보다 rCBV 값이 더 높게 될 수 있다. 그러나, IDH 와일드 뇌교종 및 IDH 변이 뇌교종 간에는 rCBV 값의 범위가 중첩되는 구간이 존재하는 바 rCBV 값에 기반하여서는 정확하게 뇌교종에서의 IDH 와일드 또는 IDH 변이를 예측해 낼 수 없다.
실시예에 따라 구축된 RNN 모델은 DSC 관류 MRI 데이터로부터의 T2* 자화율 신호 강도-시간 곡선들의 시계열 패턴들을 학습함으로써 rCBV 값의 범위가 중첩되는 구간에서도 뇌교종에서의 IDH 와일드 또는 IDH 변이를 정확하게 예측해 낼 수 있다.
또한, 이러한 RNN 모델을 통해서는 IDH 와일드 또는 IDH 변이와 관련되는 시계열적 패턴(신호 하강부에서의 상승/하강의 기울기 등)이 무엇인지를 식별할 수 있다.
단계(1030)에서, 프로세서(110)는 FFN (Feed Forward Neural Network)로 구성된 어텐션 레이어(attention layer)를 사용하여 T2* 자화율 신호 강도-시간 곡선들의 시계열 패턴들의 특징을 시각화할 수 있다. 예컨대, 프로세서(110)는 도 6 및 도 12에서 도시된 것처럼, T2* 자화율 신호 강도-시간 곡선에 대해 어텐션 가중치들을 중첩하여 히트맵으로서 T2* 자화율 신호 강도-시간 곡선의 시계열적 패턴들을 시각화할 수 있다(도 6 및 도 12 참조).
T2* 자화율 신호 강도-시간 곡선 각각은, 조영 증강 전(pre-contrast) 기준선부, 신호 하강부의 상승 경사부, 신호 하강부의 하강 경사부 및 포스트-볼루스 플레토(post-bolus plateau)부를 포함하는 세그먼트들로 구분될 수 있다.
도 7에서 도시된 예시에서처럼, IDH 와일드로 분류된 T2* 자화율 신호 강도-시간 곡선들의 경우에는, 상기 세그먼트들 중 신호 하강부의 상승 경사부 및 포스트-볼루스 플레토가 강조되는 시계열 패턴의 특징이 히트 맵 상에서 (가장 현저하게(dominant)(즉, 최대 빈도로)) 시각화될 수 있다(도 7a). 또한, IDH 변이로 분류된 T2* 자화율 신호 강도-시간 곡선들의 경우에는, 상기 세그먼트들 중 조영 증강 전 기준선부와 신호 하강부의 상승 경사부가 강조되는 시계열 패턴의 특징이 히트 맵 상에서 (가장 현저하게(dominant)(즉, 최대 빈도로)) 시각화될 수 있다(도 7b). 이는 도 6b에서 도시된 빈도와도 일치하는 것일 수 있다.
따라서, T2* 자화율 신호 강도-시간 곡선의 어떠한 세그먼트가(또는 어떠한 세그먼트의 시계열적인 패턴이)IDH 변이 유무를 나타내는 특징부가 되는지가 식별될 수 있다.
또한, 단계(1020)의 예측하는 단계에 따라, IDH 와일드로 예측된 경우가 IDH 변이로 예측된 경우에 비해, 뇌교종 환자의 rCBV의 값이 더 높게 나타나게 될 수 있다. 이는 기존의 연구 결과와도 일치하는 것일 수 있다.
이상 도 1 내지 도 13을 참조하여 전술된 기술적 특징들에 대한 설명은 도 14에 대해서도 그대로 적용될 수 있는 바, 중복되는 설명은 생략한다.
도 15는 일 실시예에 따른 IDH 유전형 변이 예측을 위한 RNN 모델을 구축하는 방법을 나타내는 흐름도이다.
도 14를 참조하여 전술된 IDH 유전형 변이의 예측을 위한 RNN 모델을 구축하는 방법을 단계들(1110 내지 1130)을 참조하여 더 자세하게 설명한다.
단계(1110)에서, 프로세서(110)는 복수의 뇌교종 환자들의 각 뇌교종 환자의 MRI 데이터로부터의 T2* 자화율 신호 강도-시간 곡선을 획득할 수 있다.
단계(1120)에서, 프로세서(110)는 획득된 T2* 자화율 신호 강도-시간 곡선의 시계열 패턴을 학습할 수 있다.
단계(1130)에서, 프로세서(110)는 시계열 패턴의 학습에 기반하여, 각 뇌교종 환자의 MRI 데이터를 IDH 와일드 또는 IDH 변이로 분류할 수 있다.
전술한 바와 같이, 학습에 사용되는 각 뇌교종 환자의 MRI 데이터는 각 뇌교종 환자의 DSC 관류 MRI 데이터를 포함하고, 각 뇌교종 환자의 T1 강조 영상(T1WI), T2 강조 영상(T2WI), T2 강조 액체 감쇠 역전 회복(FLAIR) 영상 및 조영 증강 T1 강조 영상(CET1WI) 중 적어도 하나를 더 포함할 수 있다.
전술된 단계들(1110 내지 1130)에 따라, 환자의 MRI 데이터(즉, MRI 데이터로부터의 T2* 자화율 신호 강도-시간 곡선)를 분석하여 환자의 뇌교종이 IDH 와일드형 뇌교종인지 또는 IDH 변이 뇌교종인지를 분류해 낼 수 있는 RNN 모델이 구축될 수 있다.
이상 도 1 내지 도 13을 참조하여 전술된 기술적 특징들에 대한 설명은 도 14에 대해서도 그대로 적용될 수 있는 바, 중복되는 설명은 생략한다.
도 16은 일 예에 따른 MRI 데이터로부터 T2* 자화율 신호 강도-시간 곡선을 획득하는 방법을 나타내는 흐름도이다.
후술될 단계들(1210 내지 1230)은 전술된 단계(1110)에서의 T2* 자화율 신호 강도-시간 곡선의 획득 방법을 나타낼 수 있다. 또한, 후술될 단계들(1210 내지 1230)은 전술된 단계(1020)에서의 IDH 와일드 또는 IDH 변이의 예측을 위한 T2* 자화율 신호 강도-시간 곡선의 획득 방법을 나타낼 수 있다.
단계(1210)에서, 프로세서(110)는 각 뇌교종 환자의 MRI 데이터에 포함된 종양을 콘볼루젼 신경망을 사용하여 복수의 세그먼트들로 구획화할 수 있다.
단계(1220)에서, 프로세서(110)는 세그먼트들 각각에 대해 T2* 자화율 신호 강도-시간 곡선을 획득할 수 있다.
획득된 각 세그먼트에 대한 T2* 자화율 신호 강도-시간 곡선은 RNN 모델에 대한 다차원의 입력이 될 수 있다.
복수의 세그먼트들은 강화 종양(enhancing tumor), 비-강화 종양(non-enhancing tumor) 및 종양 부근 부종(peritumoral edema)을 포함할 수 있다. 각 세그먼트는 종양의 서브 영역(subregion)을 나타낼 수 있다.
단계(1220)에서 프로세서(110)는 뇌교종 환자의 전체 종양(whole tumor) 및 동맥 입력 함수(Arterial Input Function; AIF)의 각각과 연관된 T2* 자화율 신호 강도-시간 곡선을 더 획득할 수 있다.
따라서, 총 5개의 T2* 자화율 신호 강도-시간 곡선이 RNN 모델에 대한 입력이 될 수 있다. RNN 모델에 대한 입력이 되는 T2* 자화율 신호 강도-시간 곡선은 정규화된 것일 수 있다.
AIF는 환자의 동맥 특성을 나타내는 함수일 수 있다. 이는 T2* 자화율 신호 강도-시간 곡선을 통해 나타나는 혈류 속도 등의 차이가 환자의 종양 특성에 의한 것인지, 혈관 특성에 의한 것인지를 구분해 내기 위해 사용될 수 있다. AIF는 MRI 데이터의 동맥이 존재하는 영역으로부터의 신호에 의해 획득될 수 있다.
단계(1230)에서, 프로세서(110)는 획득된 T2* 자화율 신호 강도-시간 곡선에 대해 강도 정규화 및 시계열적 정규화를 수행할 수 있다. 시계열적 정규화는 T2* 자화율 신호 강도-시간 곡선들 각각이 동일한 수의 타임 스텝들(예컨대, 50)을 갖도록 T2* 자화율 신호 강도-시간 곡선들을 정규화하는 것일 수 있다. T2* 자화율 신호 강도-시간 곡선들에 대해서는 노이즈 제거가 더 수행될 수 있다.
한편, 획득된 T2* 자화율 신호 강도-시간 곡선과 연관된 윈도우의 크기는 획득된 T2* 자화율 신호 강도-시간 곡선의 신호 하강 영역(즉, 신호 하강부)을 포함하도록 결정될 수 있다. 즉, T2* 자화율 신호 강도-시간 곡선과 연관된 윈도우의 크기는 IDH 와일드 또는 IDH 변이의 분류(및 예측)에 있어서 중요한 부분인 신호 하강부를 포함하도록 결정될 수 있다.
정리하면, 프로세서(110)는 콘볼루젼 신경망을 사용하여 종양을 강화 종양, 비-강화 종양 및 종양 부근 부종의 3개의 세그먼트들(서브 영역들)로 구획하고, 이들 각각에 대한 신호(T2* 자화율 신호 강도-시간 곡선)와 전체 종양 및 AIF와 연관된 신호(즉, 총 5개의 영역의 신호)를 획득할 수 있다. 프로세서(110)는 획득된 신호에 대해 노이즈 제거 및 정규화를 수행하고, 슬라이딩 윈도우 과정의 전처리를 수행하여 한 환자당 8개의 서브시퀀스(subsequence)를 만드는 방법으로 데이터를 확장(data augmentation)할 수 있다. 이러한, 확장된 데이터를 입력 신호로 하여 어텐션 메커니즘이 적용된 순환신경망 모델(특히, LSTM)에서 IDH 변이 유무가 학습될 수 있다. 또한, 신호의 어떠한 타임 스텝이 IDH 변이 예측에 있어서 중요한 부분이 되는지는 어텐션 맵(attention map)(또는 히트맵)을 통해 표현될 수 있다.
한편, 전술된 예시에서는 학습을 위해서 n=463명에서 임의로 선택된 18명의 데이터를 테스트 데이터 세트로 사용하였으며, 나머지 데이터 세트를 8:1로 나누어 훈련 및 검증 데이터 세트로서 사용하였다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 컴퓨터 시스템에 의해 수행되는 이소시트르산 탈수소효소(Isocitrate DeHydrogenase; IDH) 유전형 변이 예측 방법에 있어서,
    복수의 뇌교종 환자들의 MRI 데이터 세트로부터의 T2* 자화율 신호 강도-시간 곡선(T2* susceptibility signal intensity-time curve)들의 시계열 패턴들이 학습된 순환 신경망(Recurrent Neural Network; RNN) 모델을 마련하는(establish) 단계; 및
    상기 RNN 모델을 사용하여 뇌교종 환자의 MRI 데이터로부터의 T2* 자화율 신호 강도-시간 곡선의 시계열 패턴을 분석함으로써, 상기 환자의 뇌교종에서의 IDH 와일드(wild) 또는 IDH 변이(mutant)를 예측하는 단계
    를 포함하고,
    상기 예측하는 단계는,
    상기 RNN 모델의 콘볼루젼 신경망을 사용하여 상기 뇌교종 환자의 MRI 데이터에 포함된 종양을 복수의 세그먼트들로 구획화하는 단계; 및
    상기 세그먼트들 각각에 대해 T2* 자화율 신호 강도-시간 곡선을 획득하는 단계
    를 포함하고,
    상기 획득된 T2* 자화율 신호 강도-시간 곡선은 상기 RNN 모델에 대한 다차원의 입력이 되고,
    상기 획득된 T2* 자화율 신호 강도-시간 곡선에 대한 데이터 확장(data augmentation)을 위한 서브시퀀스들을 생성하기 위해 사용되는 슬라이딩 윈도우 기법에 따른 윈도우의 크기는 상기 획득된 T2* 자화율 신호 강도-시간 곡선의 신호 하강 영역을 포함하도록 결정되는, IDH 유전형 변이 예측 방법.
  2. 제1항에 있어서,
    상기 뇌교종 환자의 MRI 데이터는 상기 뇌교종 환자의 역동자화율대조기법(Dynamic Susceptibility Contrast; DSC) 관류 MRI 데이터를 포함하는, IDH 유전형 변이 예측 방법.
  3. 제1항에 있어서,
    상기 복수의 뇌교종 환자들의 MRI 데이터 세트는 상기 뇌교종 환자들의 각각의 DSC 관류 MRI 데이터를 포함하고, 상기 뇌교종 환자들의 각각의 T1 강조 영상(T1WI), T2 강조 영상(T2WI), T2 강조 액체 감쇠 역전 회복(FLAIR) 영상 및 조영 증강 T1 강조 영상(CET1WI) 중 적어도 하나를 더 포함하는, IDH 유전형 변이 예측 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 예측하는 단계는,
    상기 획득된 T2* 자화율 신호 강도-시간 곡선에 대해 강도 정규화 및 시계열적 정규화를 수행하는 단계
    를 포함하는, IDH 유전형 변이 예측 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 예측하는 단계에 따라, 상기 IDH 와일드로 예측된 경우가 상기 IDH 변이로 예측된 경우에 비해, 상기 뇌교종 환자의 상대적 뇌혈류용적(relative cerebral blood volume; rCBV)의 값이 더 높게 나타나는, IDH 유전형 변이 예측 방법.
  11. 제1항에 있어서,
    상기 RNN 모델은 장단기 메모리(Long Short-Term Memory; LSTM) 기반 모델인, IDH 유전형 변이 예측 방법.
  12. 제11항에 있어서,
    상기 RNN 모델은 단일 레이어 양방향 LSTM을 포함하는 모델이고, LSTM 레이어의 이전에 1차원의 콘볼루젼 레이어를 포함하는, IDH 유전형 변이 예측 방법.
  13. 제1항 내지 제3항, 제6항 및 제10항 내지 제12항 중 어느 한 항의 IDH 유전형 변이 예측 방법을 컴퓨터에서 실행시키기 위해 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.
  14. 컴퓨터 시스템에 의해 수행되는 이소시트르산 탈수소효소(Isocitrate DeHydrogenase; IDH) 유전형 변이의 예측을 위한 순환 신경망(Recurrent Neural Network; RNN) 모델을 구축하는 방법에 있어서,
    복수의 뇌교종 환자들의 각 뇌교종 환자의 MRI 데이터로부터의 T2* 자화율 신호 강도-시간 곡선을 얻는 단계;
    상기 T2* 자화율 신호 강도-시간 곡선의 시계열 패턴을 학습하는 단계; 및
    상기 시계열 패턴의 학습에 기반하여, 상기 각 뇌교종 환자의 MRI 데이터를 IDH 와일드(wild) 또는 IDH 변이(mutant)로 분류하는 단계
    를 포함하고,
    상기 얻는 단계는,
    상기 각 뇌교종 환자의 MRI 데이터에 포함된 종양을 콘볼루젼 신경망을 사용하여 복수의 세그먼트들로 구획화하는 단계; 및
    상기 세그먼트들 각각에 대해 T2* 자화율 신호 강도-시간 곡선을 획득하는 단계
    를 포함하고,
    상기 획득된 T2* 자화율 신호 강도-시간 곡선은 상기 RNN 모델에 대한 다차원의 입력이 되고,
    상기 획득된 T2* 자화율 신호 강도-시간 곡선에 대한 데이터 확장(data augmentation)을 위한 서브시퀀스들을 생성하기 위해 사용되는 슬라이딩 윈도우 기법에 따른 윈도우의 크기는 상기 획득된 T2* 자화율 신호 강도-시간 곡선의 신호 하강 영역을 포함하도록 결정되는, RNN 모델을 구축하는 방법.
  15. 삭제
  16. 삭제
  17. 제14항에 있어서,
    상기 획득하는 단계는,
    상기 획득된 T2* 자화율 신호 강도-시간 곡선에 대해 강도 정규화 및 시계열적 정규화를 수행하는 단계
    를 포함하는, RNN 모델을 구축하는 방법.
  18. 삭제
  19. 제14항에 있어서,
    상기 각 뇌교종 환자의 MRI 데이터는 상기 각 뇌교종 환자의 DSC 관류 MRI 데이터를 포함하고, 상기 각 뇌교종 환자의 T1 강조 영상(T1WI), T2 강조 영상(T2WI), T2 강조 액체 감쇠 역전 회복(FLAIR) 영상 및 조영 증강 T1 강조 영상(CET1WI) 중 적어도 하나를 더 포함하는, RNN 모델을 구축하는 방법.
  20. 이소시트르산 탈수소효소(Isocitrate DeHydrogenase; IDH) 유전형 변이 예측 시스템에 있어서,
    메모리; 및
    상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    복수의 뇌교종 환자들의 MRI 데이터 세트로부터의 T2* 자화율 신호 강도-시간 곡선(T2* susceptibility signal intensity-time curve)들의 시계열 패턴들이 학습된 순환 신경망(Recurrent Neural Network; RNN) 모델을 마련하고,
    상기 RNN 모델을 사용하여 뇌교종 환자의 MRI 데이터로부터의 T2* 자화율 신호 강도-시간 곡선의 시계열 패턴을 분석함으로써, 상기 환자의 뇌교종에서의 IDH 와일드(wild) 또는 IDH 변이(mutant)를 예측하고,
    상기 환자의 뇌교종에서의 IDH 와일드(wild) 또는 IDH 변이(mutant)를 예측함에 있어서, 상기 RNN 모델의 콘볼루젼 신경망을 사용하여 상기 뇌교종 환자의 MRI 데이터에 포함된 종양을 복수의 세그먼트들로 구획화하고, 상기 세그먼트들 각각에 대해 T2* 자화율 신호 강도-시간 곡선을 획득하고,
    상기 획득된 T2* 자화율 신호 강도-시간 곡선은 상기 RNN 모델에 대한 다차원의 입력이 되고,
    상기 획득된 T2* 자화율 신호 강도-시간 곡선에 대한 데이터 확장(data augmentation)을 위한 서브시퀀스들을 생성하기 위해 사용되는 슬라이딩 윈도우 기법에 따른 윈도우의 크기는 상기 획득된 T2* 자화율 신호 강도-시간 곡선의 신호 하강 영역을 포함하도록 결정되는, IDH 유전형 변이 예측 시스템.
KR1020190035591A 2019-03-28 2019-03-28 순환 신경망을 이용한 이소시트르산 탈수소효소 유전형 변이 예측 방법 및 시스템 KR102258902B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190035591A KR102258902B1 (ko) 2019-03-28 2019-03-28 순환 신경망을 이용한 이소시트르산 탈수소효소 유전형 변이 예측 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190035591A KR102258902B1 (ko) 2019-03-28 2019-03-28 순환 신경망을 이용한 이소시트르산 탈수소효소 유전형 변이 예측 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200114228A KR20200114228A (ko) 2020-10-07
KR102258902B1 true KR102258902B1 (ko) 2021-06-01

Family

ID=72884642

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190035591A KR102258902B1 (ko) 2019-03-28 2019-03-28 순환 신경망을 이용한 이소시트르산 탈수소효소 유전형 변이 예측 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102258902B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365980B (zh) * 2020-11-16 2024-03-01 复旦大学附属华山医院 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
KR102571472B1 (ko) * 2020-12-08 2023-08-28 서울대학교산학협력단 치과 임상사진을 이용한 치은염 진단 장치
KR102644004B1 (ko) * 2022-11-25 2024-03-06 주식회사 랩투아이 시계열 데이터 예측 모듈, 시스템 및 방법

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
G. Wang 외, "Automatic Brain Tumor Segmentation using cascaded Anisotropic Convolutional Neural Networks", arXiv, 2017.12.15.*
J. J. A. Armenteros 외, "DeepLoc: prediction of protein subcellular localization using deep learning", Bioinformatics, 33(21):3387-3395, 2017.11.01.*
K. Chang 외, "Residual Convolutional Neural Network for Determination of IDH Status in Low- and High-grade Gliomas from MR Imaging", Clin Cancer Res., 24(5):1073-1081, 2018.03.01.*
P. Kickingereder 외, "IDH mutation status is associated with a distinct hypoxia/angiogenesis transcriptome signature (후략)", Sci Rep., 5:16238, 2015.11.05.*
S. Bisdas 외, "The role of dynamic susceptibility contrast perfusion-weighted MRI in the estimation of IDH mutation in gliomas", J Clin Oncol., 36(15_suppl):12063-12063, 2018.06.05.*

Also Published As

Publication number Publication date
KR20200114228A (ko) 2020-10-07

Similar Documents

Publication Publication Date Title
US10672120B2 (en) Methods and system for linking geometry obtained from images
Lubner et al. CT texture analysis: definitions, applications, biologic correlates, and challenges
Choi et al. Prediction of IDH genotype in gliomas with dynamic susceptibility contrast perfusion MR imaging using an explainable recurrent neural network
US10115198B2 (en) Methods of obtaining geometry from images
KR102258902B1 (ko) 순환 신경망을 이용한 이소시트르산 탈수소효소 유전형 변이 예측 방법 및 시스템
KR102021541B1 (ko) 의료 영상 기반 뇌혈전 영역 식별 및 가시화를 위한 컴퓨팅 시스템 및 방법
US11508063B2 (en) Non-invasive measurement of fibrous cap thickness
US11915822B2 (en) Medical image reading assistant apparatus and method for adjusting threshold of diagnostic assistant information based on follow-up examination
KR20230059799A (ko) 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델
US10335106B2 (en) Computing system and method for identifying and visualizing cerebral thrombosis based on medical images
EP3917403A1 (en) System and method for generating perfusion functional maps from temporally resolved helical computed tomographic images
Sahoo et al. Diagnostic accuracy of automatic normalization of CBV in glioma grading using T1-weighted DCE-MRI
Zhou et al. Systematic and comprehensive automated ventricle segmentation on ventricle images of the elderly patients: a retrospective study
Pujadas et al. Prediction of incident cardiovascular events using machine learning and CMR radiomics
Danala et al. Applying quantitative radiographic image markers to predict clinical complications after aneurysmal subarachnoid hemorrhage: A pilot study
KR102521660B1 (ko) 복수의 예측 결과를 활용한 혈관 영상 추출 방법 및 장치
Danala et al. Developing new quantitative CT image markers to predict prognosis of acute ischemic stroke patients
Moon et al. Automated multimodal segmentation of acute ischemic stroke lesions on clinical MR images
Sudarshan et al. Assessment of CT for the categorization of hemorrhagic stroke (HS) and cerebral amyloid angiopathy hemorrhage (CAAH): A review
Rimmele et al. Association of Carotid Plaque and Flow Velocity With White Matter Integrity in a Middle-aged to Elderly Population
JP2023541646A (ja) バイオマーカー推定方法
Fotouhi et al. Assessment of LI-RADS efficacy in classification of hepatocellular carcinoma and benign liver nodules using DCE-MRI features and machine learning
US11481902B2 (en) Device and method for detecting cerebral microbleeds using magnetic resonance images
Maino et al. Radiomics and liver: Where we are and where we are headed?
Alanezi et al. Differential Diagnosis of Prostate Cancer Grade to Augment Clinical Diagnosis Based on Classifier Models with Tuned Hyperparameters

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant