KR20240048315A - 자기공명영상 기반 뇌질환 예측 방법 및 장치 - Google Patents

Abstract

본 발명은 자기공명영상 기반 뇌질환 예측 방법 및 장치를 개시한다. 본 발명에 따르면, 프로세서 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 복수의 뇌 자기공명영상에 대한 원본 이미지를 원본 회백질 밀도맵으로 변환하고, 상기 원본 이미지의 사후가정추론을 통해 합성된 합성 이미지를 합성 회백질 밀도맵으로 변환하고, 상기 원본 회백질 밀도맵 및 상기 합성 회백질 밀도맵의 차이를 추정하여 뇌질환 예측을 위한 대표 관심영역을 추출하고, 상기 대표 관심영역 및 환자별 뇌 자기공명영상을 사후가정 기반 특징표현 주의모듈을 포함하는 선형분류기에 입력하여 질병 상태를 예측하도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장한 자기공명영상 기반 뇌질환 예측 장치가 제공된다.

Description

자기공명영상 기반 뇌질환 예측 방법 및 장치{Brain disease prediction method and apparatus based on magnetic resonance imaging}

본 발명은 자기공명영상 기반 뇌질환 예측 방법 및 장치에 관한 것으로서, 보다 상세하게는, 자기공명영상 기반으로 알츠하이머병을 정량화하여 예측할 수 있는 방법 및 장치에 관한 것이다.

사후가정추론(Counterfactual Reasoning)이란 최근 설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 분야에서 화두가 된 방법 중 하나로, 인공지능 스스로가 의사결정에 대한 적절한 근거를 사람이 이해할 수 있는 수준의 형태로 제공해줌과 동시에 일어나지 않은 가상의 대안적 사건을 고려하여 인공지능이 잘못된 결론을 내렸거나 추론 과정이 틀렸을 경우에 대한 인과관계를 분석할 수 있는 고차원적 사고추론 방법이다.

하지만 사후가정추론 또한 기존의 다양한 XAI 방법들과 마찬가지로 단순히 인공지능의 의사결정을 뒷받침하기 위한 시각적인 설명에 그치기 때문에, 의료 분야에서 임상의들이 정확한 바이오마커 검출 및 질병 진단, 진행도 예측을 위한 보조 자료로 활용하기에는 해석적인 한계가 있다.

이와 관련해서, 주관적인 견해가 반영되는 시각적 설명과는 달리, 기존의 종양학에서는 밀도, 체적, 질감, 그리고 형태 측정과 같이 객관적이고 수치적인 표현형 특징을 통한 정량적 특징 분석 방법들이 제안되었다.

이러한 정량적 특징 분석 방법의 이점을 바탕으로 다양한 의료 분야 특히, 뇌 질환 진단 및 예측과 관련해서 뇌의 구조적 변화에 따른 질병 진행상태에 대한 정량적인 수치를 활용하는 방법들이 제안되었고, 동시에 기존 통계분석 방법에서 더 나아가 머신러닝 방법에 접목시킴으로써 효과적인 환자 개인별 질병 상태 예측 서비스를 제공했다.

하지만 기존 머신러닝 방법과 결합한 정량적 특징 분석 방법은 이미 잘 알려진 바이오마커들에 대해서만 분석 및 질병 예측을 수행하기 때문에 진행하는 연구목적에 따라 수작업으로 다른 개수 또는 다른 관심영역들에 대한 바이오마커들을 추출한다는 문제가 뒤따를 수 있어 일반화가 어렵다는 한계가 있고, 이러한 분석환경은 잠재적 바이오마커로 간주되어질 수 있는 영역들을 고려하지 못하는 문제가 불가피하게 발생할 수 있다.

KR 공개특허 10-2022-0110466

상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 임상적인 측면에서 정밀한 수치적 해석 및 설명을 제공할 수 있는 자기공명영상 기반 뇌질환 예측 방법 및 장치를 제안하고자 한다.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 자기공명영상 기반 뇌질환 예측 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 복수의 뇌 자기공명영상에 대한 원본 이미지를 원본 회백질 밀도맵으로 변환하고, 상기 원본 이미지의 사후가정추론을 통해 합성된 합성 이미지를 합성 회백질 밀도맵으로 변환하고, 상기 원본 회백질 밀도맵 및 상기 합성 회백질 밀도맵의 차이를 추정하여 뇌질환 예측을 위한 대표 관심영역을 추출하고, 상기 대표 관심영역 및 환자별 뇌 자기공명영상을 사후가정 기반 특징표현 주의모듈을 포함하는 선형분류기에 입력하여 질병 상태를 예측하도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장한 자기공명영상 기반 뇌질환 예측 장치가 제공된다.

상기 프로그램 명령어들은, 상기 원본 회백질 밀도맵 및 상기 합성 회백질 밀도맵 변환 이전에, 사후가정맵을 이용하여 정상 원본 이미지를 뇌질환 합성 이미지로 합성하고, 뇌질환 원본 이미지를 정상 합성 이미지로 합성할 수 있다.

상기 프로그램 명령어들은, 상기 원본 이미지 및 상기 합성 이미지를 상기 원본 회백질 밀도맵 및 상기 합성 회백질 밀도맵으로 변환하기 위해, 전처리, 뇌 영역 세분화 및 잡음 제거를 수행할 수 있다.

상기 전처리는 딥러닝 모델의 입력으로 사용하기 전 상태의 이미지 스케일로 역변환하기 위한 역-가우시안 정규화 및 역-분위수 정규화 및 업스케일링을 포함할 수 있다.

상기 뇌 영역 세분화에 의해 구분되는 뇌 영역은 회백질, 백질 및 뇌척수액을 포함하고, 상기 뇌 영역 세분화에 의해 체적 확률맵이 획득될 수 있다.

상기 프로그램 명령어들은, 상기 체적 확률맵을 구조적 왜곡을 수행하기 위해 회백질 템플릿에 매핑하고, 상기 매핑에 의한 결과 이미지에 자코비안 비선형 변조를 적용하고, 등방성 가우시안 평활화를 통해 잡음을 제거하고 상기 전처리에서 발생한 명암대비를 완화시킬 수 있다.

상기 프로그램 명령어들은, 상기 원본 회백질 밀도맵과 합성 회백질 밀도맵의 차이를 계산하고, 모든 원본 회백질 밀도맵과 합성 회백질 밀도맵의 차이에 대한 절대값의 평균을 통해 뇌질환 관련 영역을 추정하고, 상기 뇌질환 관련 영역에 대해 통계 기반의 백분위수 임계값을 통한 제약을 가하여 뇌질환 대표 영역을 포함하는 뇌질환-영향 맵을 획득하고, 뇌 영역 세분화를 통해 상기 뇌질환-영향 맵에서 상기 뇌질환 대표 영역에 해당하는 값으로부터 대표 관심영역을 추출하고, 상기 대표 관심영역에 대응되는 복셀좌표를 획득할 수 있다.

상기 프로그램 명령어들은, 상기 대표 관심영역 및 환자별 뇌 자기공명영상을 각각 임베딩하여 임베딩 매트릭스로 변환하고, 상기 대표 관심영역에 상응하는 임베딩 매트릭스 및 상기 환자별 뇌 자기공명영상의 임베딩 매트릭스를 요소별 곱셈하여 사후가정 기반 주의맵을 생성하고, 상기 사후가정 기반 주의맵과 상기 환자별 뇌 자기공명영상의 임베딩 매트릭스의 연산 결과를 이용하여 질병 상태를 예측할 수 있다.

상기 프로그램 명령어들은, 상기 사후가정 기반 주의맵과 상기 환자별 뇌 자기공명영상의 임베딩 매트릭스를 요소별 곱셈하고, 상기 곱셈의 결과와 상기 대표 관심영역에 상응하는 임베딩 매트릭스를 요소별 합산한 결과를 이용하여 질병 상태를 예측할 수 있다.

본 발명의 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 자기공명영상 기반 뇌질환 예측 방법으로서, 복수의 뇌의 자기공명영상에 대한 원본 이미지를 원본 회백질 밀도맵으로 변환하는 단계; 상기 원본 이미지에 대해 사후가정추론을 통해 합성된 합성 이미지를 합성 회백질 밀도맵으로 변환하는 단계; 상기 원본 회백질 밀도맵 및 상기 합성 회백질 밀도맵의 차이를 추정하여 뇌질환 예측을 위한 대표 관심영역을 추출하는 단계; 및 상기 대표 관심영역 및 환자별 뇌 자기공명영상을 사후가정 기반 특징표현 주의모듈을 포함하는 선형분류기에 입력하여 질병 상태를 예측하는 단계를 포함하는 자기공명영상 기반 뇌질환 예측 방법이 제공된다.

본 발명에 따르면, 딥러닝의 의사결정을 설명하기 위해 사후가정추론으로부터 도출된 시각적 설명을 통한 육안 검사에 그치지 않고, 정량적 체적 특징을 고려할 수 있는 회백질 밀도맵으로 변환함으로써 임상적 유효성을 정량적으로 입증하고 영상전문의나 임상의 관점에서 수치적인 해석이 가능한 장점이 있다.

또한, 본 발명에 따르면, 알츠하이머병 진행 관련 랜드마크로 간주되어지는 대표 관심영역들과 함께 정확한 질병 예측을 수행하는데 기여하는 관심영역들을 강조시키는 사후가정 기반 특징표현 주의모듈을 제안함으로써 딥러닝 모델에 필적하는 예측 성능을 도출할 수 있다.

나아가, 본 발명에 따르면, 모델이 내린 의사결정에 대한 직관적인 해석을 제공하고, 이를 통해 환자별 또는 각 질병 단계에 해당하는 환자집단별 알츠하이머병 진행과 관련된 대표적인 바이오마커 분석 및 육안 검사 과정에서 임상의들도 구분하기 어려운 잠재적 바이오마커를 검출할 수 있다.

추가적으로, 사후가정추론에 대한 회백질 밀도맵을 활용함으로써 실제 의료 환경에서 흔히 발생할 수 있는 나이대별 질병군의 데이터 수에 대한 불균형 문제 및 특정 질병군에 대한 데이터 결핍 문제를 완화할 수 있다.

도 1은 본 발명의 바람직한 일 실시예에 따른 뇌질환 예측 장치의 구성을 도시한 도면이다.
도 2는 본 실시예에 따른 회백질 밀도맵 획득을 위한 과정을 도시한 도면이다.
도 3은 본 실시예에 따른 이미지 변환 모듈의 처리 과정을 나타낸 도면이다.
도 4는 본 실시예에 따른 대표 관심영역 추출 과정을 도시한 도면이다.
도 5는 본 실시예에 따른 원본 회백질 밀도맵 및 합성 회백질 밀도맵 변환과, 대표 관심영역 추출 과정을 도시한 도면이다.
도 6은 본 실시예에 따른 사후가정 기반 특징표현 주의모듈을 포함하는 선형분류기의 상세 구성을 도시한 도면이다.
도 7은 본 실시예에 따른 사후가정 기반 특징표현 주의모듈을 포함하는 질병 예측 시스템을 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 발명은 설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 분야에서 사후가정추론(Counterfactual Reasoning) 방법으로부터 생성된 알츠하이머성 치매 예측 모델의 의사결정 이유에 대한 사후가정맵(Counterfactual Map)을 통해 합성된 이미지(Counterfactually Synthesized Image)에 대해 정량적 특징 분석을 가능케 할 뿐만 아니라 딥러닝 모델에 버금가는 질병 예측성능을 도출하는 방법에 관한 것이다.

도 1은 본 발명의 바람직한 일 실시예에 따른 뇌질환 예측 장치의 구성을 도시한 도면이다.

도 1에 도시된 바와 같이, 본 실시예에 따른 장치는 프로세서(100) 및 메모리(102)를 포함할 수 있다.

프로세서(100)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그 밖에 가상 머신 등을 포함할 수 있다.

메모리(102)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 콤팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(102)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.

본 실시예에 따른 메모리(102)에는 사후가정추론 및 사후가정 기반 특징표현 주의모듈을 이용하여 뇌질환을 예측하기 위한 프로그램 명령어들이 저장된다.

이하에서는 본 실시예에 따른 프로그램 명령어들의 수행 과정을 상세하게 설명하며, 아래의 모듈은 일련의 프로그램 명령어들의 집합으로 정의될 수 있다.

또한, 뇌질환이 알츠하이머병인 것을 중심으로 설명할 것이나 반드시 이에 한정되는 것은 아니다.

도 2는 본 실시예에 따른 회백질 밀도맵 획득을 위한 과정을 도시한 도면이다.

도 2를 참조하면, 이미지 변환 모듈을 통해 복수의 뇌 자기공명영상에 대한 원본 이미지를 원본 회백질 밀도맵으로 변환하고, 또한, 원본 이미지의 사후가정추론을 통해 합성된 합성 이미지를 합성 회백질 밀도맵으로 변환한다.

본 실시예에 따르면, 원본 회백질 밀도맵 및 상기 합성 회백질 밀도맵 변환 이전에, 사후가정맵을 이용하여 정상 원본 이미지를 뇌질환 합성 이미지로 합성하고, 뇌질환 원본 이미지를 정상 합성 이미지로 합성한다.

정상 원본 이미지와 이의 뇌질환 합성 이미지와, 뇌질환 원본 이미지 및 이의 정상 합성 이미지는 서로 데이터 쌍을 이루게 된다.

본 실시예에서는 알츠하이머 스펙트럼(즉, CN(cognitively normal)/MCI(mild cognitive impairment)/AD(Alzheimer's disease))의 임상 단계를 진단하기 위한 예측 모델 의 결정을 위한 사후가정추론을 수행한다.

본 실시예에 따르면, 사후가정맵 생성기(Counterfactual Map Generator, CMG), 추론 평가기(reasoning evaluator, RE), 판별기(discriminator, DC)와 같은 몇 가지 주요 컴포넌트로 구성된다.

사후가정맵 생성기는 임의의 타겟 레이블에 대해 사후가정맵을 생성하고, 추론 평가기는 실제 원하는 이미지를 합성할 때 타겟 레이블 속성을 이해하도록 사후가정맵 생성기를 효과적으로 가이드한다. 또한 원본 및 합성 이미지(즉, r-sMRI 및 c-sMRI)를 신중하게 평가하기 위해 판별기를 활용함으로써 사후가정맵 생성기가 합성 이미지를 현실적인 변환하도록 한다. 추론 평가기는 사전 훈련된 예측 모델 로 정의되며 판별기의 구조는 예측 모델 에서 동일하게 모방된다.

초기에 훈련 샘플 와 원-핫 인코딩된 정답 레이블 y를 이용하여 예측 모델 에 대한 사전 훈련을 수행한다.

여기서, CE는 교차 엔트로피(a cross-entropy) 함수이다.

이후부터 사후가정의 시각적 설명을 생성하기 위한 후속 훈련 단계에서 추론 평가기의 가중치를 수정하는 동시에 사후가정맵 생성기 G와 함께 판별기 D의 훈련 가능한 매개변수를 조정한다.

사후가정맵 생성기는 타겟 레이블 t를 조건으로 하는 사후가정맵을 효과적으로 합성하기 위해 고안된 조건부 GAN(CGAN)의 변형이다. 여기서, 이고, 는 클래스 공간 Y의 크기이다.

합성 이미지 c-sMRI 는 원본 이미지 가 주어지는 경우 특정 타겟 사후가정맵 에 따라 와 같이 추론될 수 있다.

사후가정맵 생성기는 합성 이미지가 높은 신뢰도로 타겟 레이블 t로 진단되도록 이러한 사후가정맵을 생성하도록 최적화되어야 한다.

특히, 사후가정맵 생성기의 아키텍처는 인코더 와 생성기 , 즉 건너뛰기 연결에 결합된 타겟 레이블 t가 있는 U-Net의 변형으로 구성된다. 인코더 및 생성기 의 아래 첨자 θ및 는 각 네트워크의 학습 가능한 매개변수를 나타낸다.

아키텍처와 가중치(고정) 모두에서 사전 훈련된 예측 모델 로부터 를 복사한다. 따라서 인코더 는 원본 이미지에서 클래스 관련 판별 특징을 반영하는 의미 있는 표현을 추출하는 데 적합하다.

사후가정맵을 생성하기 위해 CMG가 타겟 레이블 t를 고려해야 하기 때문에 연결 작업을 통해 인코더 에서 얻은 특징맵에 타겟별 특징을 융합한다.

이를 위해 l번째 컨볼루션 레이어의 각 특징맵에 해당하는 모양과 일치하도록 타겟 레이블을 타일링한다. 타일링된 타겟 레이블의 크기는 이며, 이들 각각은 l번째 컨볼루션 블록에서 특징맵의 너비, 높이, 깊이 및 채널 수이다.

타겟 레이블에 대한 계층적 판별 표현을 얻기 위해 훈련 가능한 3x3x3 커널, 각 차원에서 1의 보폭 및 제로 패딩을 사용한 컨볼루션 연산(Conv3D)으로 구성된 추가 모듈이 제공되며, 비선형 Leaky-ReLU 활성화 함수(LReLU)는 다음과 같다.

여기서 는 channel-wise concatenation의 연산자를 나타내고, 은 인코더 에서 L 컨볼루션 레이어의 출력 특징맵을 나타낸다. 그 후, 타겟 융합 특징 맵 는 건너뛰기 연결을 통해 생성기 G로 전송된다. 그런 다음 생성기 G는 타겟 레이블 특징맵에서 사후가정맵 원활하게 생성할 수 있다.

여기서 이다.

마지막으로, 덧셈을 사용하여 입력된 원본 이미지와 사후가정맵을 통합하여 합성 이미지를 생성한다. 즉, 합성 이미지는 타겟 레이블 t로 진단되어야 한다.

본 실시예에 따르면, 합성 이미지를 생성하기 위해 적대적 훈련을 사용한다.

특히 판별기의 결정 경계에서 멀리 떨어진 샘플에 페널티를 부여하여 안정적인 최적화를 강제하는 LSGAN(Least Square GAN) 손실 함수를 채택한다. 이 손실에 따라 판별기는 실제 분포와 생성된 분포 사이의 상당한 거리를 최소화하도록 CMG를 지원한다. 따라서 판별기의 손실 및 생성기의 손실 은 각각 다음과 같이 정의된다.

여기서 는 의 오버라이드(override) 합성 이미지를 나타낸다.

는 사후 확률 에 의해 제한된 원본 이미지 와 유사할 것으로 예상되는 를 얻기 위해 를 재정의하는 사후가정맵을 나타낸다.

판별기는 입력 원본 이미지와 합성 이미지를 구별하는 데만 사용되기 때문에 CMG가 입력의 모양을 보존하거나 생성 중에 타겟 속성을 승인하도록 명시적으로 안내하는 즉각적인 능력이 없습니다. 따라서 ℓ을 기반으로 하는 보조 주기 일관성 손실[auxiliary cycle consistency loss]을 사용하여 향상된 타겟 종속 사후가정맵을 생성한다.

여기서 는 MRI 샘플의 분포를 나타내고 는 이산 균일 분포에서 무작위로 추출된 원-핫 인코딩된 벡터이다.

본 실시예에 따르면, 입력 원본 이미지와 사후가정맵 간의 정교한 합성을 조정하기 위해 총 변형 손실(total variation loss)을 추가로 이용한다. 특히 총 변형 손실은 합성 이미지가 부자연스러워지는 것을 완화하기 위해 국부적 공간 연속성과 스무드니스를 적용하여 실제 원본 이미지에 시각적 일관성이 유지되도록 한다. 이를 위한 정규화는 다음과 같이 표시된다.

여기서 이고, i, j 및 k는 체적 이미지에서 각 인덱스의 3D 좌표이다. 또한, CMG에 탄력적 정규화가 적용되어 사후가정맵의 크기에 대한 제약 조건을 부과한다. 이렇게 함으로써, 특징에 대한 최소한의 수정이 사후 확률 에서 타겟 레이블 t로 변환된 예측을 유도하도록 사후가정 추론에 대한 대부분의 세분화된 특징 성이 강조된다.

여기서 λ과 λ는 하이퍼파라미터로서의 가중치 상수이다.

생성기에 대한 적절한 지원으로 분류 손실 특징을 추가로 활용하여 입력 원본 이미지를 변환하여 타겟 레이블 t로 정확하게 분류되는 사후가정맵을 생성한다.

여기서 는 합성 이미지 에 대한 소프트맥스 활성화 확률이다.

결과적으로, 다음과 같이 전체 사후가정맵 생성 작업에 대한 복합 목적 함수를 정의한다.

여기서 λ값은 모델의 하이퍼파라미터이다(수학식 8의 포함). 각 손실 항에 대한 기울기의 크기가 대략적으로 균형을 이루도록 λ를 경험적으로 조정한다.

본 실시예에 따르면, 알츠하이머병(AD) 진단 측면에서 획득한 사후가정 기반 심층 특징의 설명 가능성을 정량화하는 작업을 위해 i) 회백질 밀도맵(Gray Matter, GM) 획득, ii) AD 관련 대표 관심영역 추출, 마지막으로 iii) 사후가정 기반 특징표현 주의모듈의 학습을 수행한다.

회백질 밀도맵은 이미지 조작을 통해 획득되며, 회백질 밀도맵을 이용하여 뇌질환에 대한 정확한 수치 측정 및 정량적 특징 기반 분석을 수행할 수 있다.

이를 위해 원시 뇌 이미지 B에서 훈련 준비 입력(즉, 원본 이미지, r-sMRIs) X를 얻는데 사용된 전처리 절차를 반대로 하여 사후가정 기반 심층 특징을 포함하는 회백질 밀도맵을 획득한다.

상기한 바와 같이 생성된 원본 이미지 및 합성 이미지를 원본 회백질 밀도맵 및 합성 회백질 밀도맵으로 변환하기 위해, 이미지 변환 모듈은 전처리, 뇌 영역 세분화 및 잡음 제거를 수행한다.

도 3은 본 실시예에 따른 이미지 변환 모듈의 처리 과정을 나타낸 도면이다.

도 3에 도시된 바와 같이, 본 실시예에 따른 이미지 변환 모듈은 크게 딥러닝 모델의 입력으로 사용하기 전 상태로 역변환하기 위한 역처리 과정 및 회백질 밀도맵 변환을 위한 전처리 과정을 수행하여 회백질 밀도맵을 획득하게 된다.

이미지 변환 모듈은 원본이미지 및 합성이미지를 딥러닝 모델의 입력으로 사용하기 전 상태의 이미지 스케일로 역변환하기 위해 역-가우시안 정규화(단계 300), 역-분위수 정규화(단계 302), 업스케일링(단계 304)을 수행한다.

다음으로, 뇌 영역에 대해서 회백질, 백질, 뇌척수액으로 크게 3가지 영역에 대한 뇌 영역 세분화를 수행하여 체적 확률맵을 획득한다(단계 306).

이후 구조적 왜곡을 수행하기 위해 체적 확률맵을 회백질 템플릿에 매핑하고(단계 308), 자코비안 비선형 변조를 통해 회백질 밀도맵으로 변환한다(단계 310).

마지막으로 등방성 가우시안 평활화를 통해 관련 없는 잡음이나 전처리 과정에서 발생한 명암대비를 완화시킴으로써 원본 회백질 밀도맵과 합성 회백질 밀도맵을 도출하게 된다(단계 312).

보다 상세하게, 역 분위수 정규화에서 원시 뇌 이미지 B를 고려하는 대신 모델 X의 입력을 대체 ground-truth로 채택한다. 유사한 역 전처리가 합성 이미지에 대해 수행된다. 이후, 최종 반전된 raw image B'는 원시 뇌 이미지 B의 크기(즉, 193 × 229 × 193)에 맞게 업스케일링을 통해 획득된다.

마지막으로 B' 세트에 대한 회백질 밀도맵을 얻기 위해 보조 단계가 수행되며, 이는 아래와 같다.

(i) 뇌에서 추출한 이미지는 FMRIB의 자동 분할 도구(FMRIB's automated segmentation tool, FAST)를 사용하여 회백질(GM), 백질(WM) 및 뇌척수액(CSF) 체적 확률맵으로 분할된다.

(ii) 회백질 템플릿은 FMRIB의 선형 아핀 등록 도구(FLIRT)를 사용하여 MNI152 공간에 등록하여 생성된다. FMRIB의 비선형 등록 도구(FMRIB's nonlinear registration Tool, FNIRT)를 사용한 비선형 등록 후 결과 이미지의 평균을 구하여 회백질 템플릿을 생성한다.

(iii) 또한 모든 회백질 이미지는 템플릿에 비선형적으로 등록되고 워프 필드의 자코비안을 사용하여 변조된다. (iv) 이러한 이미지는 이미지의 대비 및 기타 관련 없는 세부 사항을 완화하기 위해 2mm의 σ를 갖는 등방성 가우스 커널로 평활화된다.

회백질 밀도맵이 획득되면 회백질 밀도 기반 분석을 활용하여 사후가정 기반 심층 특징의 유효성을 추가로 조사한다.

본 실시예에 따르면, 상기한 바와 같이 획득된 원본 회백질 밀도맵 및 상기 합성 회백질 밀도맵의 차이를 추정하여 뇌질환 예측을 위한 대표 관심영역을 추출한다.

도 4는 본 실시예에 따른 대표 관심영역 추출 과정을 도시한 도면이다.

도 4를 참조하면, 원본 회백질 밀도맵과 합성 회백질 밀도맵의 차이를 계산하여 알츠하이머병 관련 영역을 추정하고(단계 400), 계산된 모든 회백질 밀도맵의 차이에 대한 절대값의 평균을 계산하여 통계 기반 주요영역을 검출한다(단계 402).

상기한 과정을 통해 뇌의 구조적 변화의 차이를 반영하는 알츠하이머병-영향 맵을 획득한다(단계 404).

단계 404에서는 뇌질환, 즉 알치하이머병 관련 영역에 대해 통계 기반의 백분위수 임계값을 통한 제약을 가하여 뇌질환 대표 영역을 포함하는 뇌질환-영향 맵을 획득한다.

다음으로, 뇌 영역 세분화를 통해 알츠하이머병-영향 맵에서 두드러진 영역들에 해당하는 값으로부터 대표 관심영역을 추출하고 이에 대응되는 복셀좌표도 획득한다(단계 406).

도 5는 본 실시예에 따른 원본 회백질 밀도맵 및 합성 회백질 밀도맵 변환과, 대표 관심영역 추출 과정을 도시한 도면이다.

도 5에서 D^r은 원본 이미지, D^c는 합성 이미지를 나타내며, 파란색은 정상, 빨간색은 알츠하이머병의 회백질 밀도맵을 나타낸다.

이들 원본 회백질 밀도맵과 합성 회백질 밀도맵의 차이의 평균을 이용하여 알츠하이머병-영향 맵 를 획득하고, 이를 이용하여 대표 관심영역을 추출한다.

본 실시예에 따르면, 대표 관심영역이 추출된 이후, 상기한 대표 관심영역 및 환자별 뇌 자기공명영상을 사후가정 기반 특징표현 주의모듈을 포함하는 선형분류기에 입력하여 질병 상태를 예측한다.

도 6은 본 실시예에 따른 사후가정 기반 특징표현 주의모듈을 포함하는 선형분류기의 상세 구성을 도시한 도면이다.

도 6을 참조하면, 대표 관심영역과 함께 획득된 이의 복셀좌표를 기반으로 환자별 뇌 자기공명영상에서 관심영역을 추출하여 사후가정 기반 주의맵을 획득하고, 이를 이용하여 해당 환자의 질병 상태를 예측한다.

보다 상세하게, 본 실시예에 따른 선형분류기는 대표 관심영역 및 환자별 뇌 자기공명영상을 각각 임베딩하여 임베딩 매트릭스로 변환하고, 대표 관심영역에 상응하는 임베딩 매트릭스 및 환자별 뇌 자기공명영상의 임베딩 매트릭스를 요소별 곱셈하여 사후가정 기반 주의맵을 생성하고, 사후가정 기반 주의맵과 상기 환자별 뇌 자기공명영상의 임베딩 매트릭스의 연산 결과를 이용하여 질병 상태를 예측한다.

사후가정 기반 특징표현을 학습하기 위한 3가지 입력을 정의하기 위해, 대표 관심영역과 이에 해당하는 이의 복셀좌표를 활용한다.

도 7은 본 실시예에 따른 사후가정 기반 특징표현 주의모듈을 포함하는 질병 예측 시스템을 도시한 도면이다.

먼저 대표 관심영역(Query, )의 경우, 학습 과정에서 고정된 입력으로 사용하는 반면 나머지 두 개의 입력(key , value )은 환자마다 관심영역의 복셀좌표를 통해 해당 좌표에 일치하는 값들을 추출하여 관심영역을 정의한다.

특징표현 학습을 위해, 각 관심영역에 대한 임베딩을 수행하여 임베딩 매트릭스로 변환한 후, 행렬곱을 통한 사후가정 기반 특징표현 주의모듈 연산을 거친다.

계산된 사후가정 기반 특징표현 주의모듈을 기반으로, 환자별 관심영역에 곱해줌으로써 환자별로 질병 상태 예측 과정에서 중요하게 관여하는 관심영역들을 강조한 주의맵을 생성하게 된다. 마지막으로, 대표 관심영역과의 선형합을 통해 각 환자에 대한 질병 상태를 예측한다.

및 는 각각 원본 이미지 및 합성 이미지에서 얻어진 원본 회백질 및 합성 회백질을 나타낸다.

먼저 단계적 차이맵을 얻기 위해 다른 임상 단계의 해당 합성 회백질 에서 원본 회백질 을 뺀다. 예를 들어, 정상으로 레이블된 원본 회백질 경우 합성 회백질에 대한 임상 표지의 대응물은 주어진 시나리오에 따라 뇌질환(AD 또는 MCI)으로 정의되어야 한다. 차이맵의 유리한 속성은 고유한 질병 관련 지역화와 개체 간 가변성의 고유한 해부학적 특성을 반영하는 판별 능력을 가진다.

그런 다음 이러한 차이맵은 다음과 같이 차이맵의 평균을 이용하여 AD 영향 맵 으로평균화된다.

여기서 N과 |·| 총 샘플 수와 절대값 연산을 각각 나타낸다. 이러한 AD 영향 맵은 최종적으로 세분화된 영역 세트 중에서 가장 자주 강조 표시된 영역을 명확하게 나타내는 백분위수 임계값에 의해 마스킹된다.

뇌 분획(brain parcellation)은 밀접하게 상호 작용하는 영역의 기본적인 뇌 조직 및 기능에 대한 이해를 제공할 뿐만 아니라 수십만 개의 복셀 또는 꼭짓점의 정보를 관리 가능한 집합으로 압축된다.

본 실시예에서는 AD 영향 맵을 나타내는 복셀 수준 값에서 관심영역(ROI)을 추출하고 분석하는 관심영역 기반 분석을 채택한다.

이를 위해 자동 해부학적 라벨링(AAL3) 아틀라스가 AD 영향 맵에 오버레이되어 개별 영역으로 더 세분화되어 각 트리밍된 영역이 완전히 피질 및 피질하 영역 내에 있고 해부학적 특이성을 가지고 있다.

결과적으로, 본 실시예에 따른 AD 영향 맵에서 두드러지게 강조 표시된 복셀을 사용하여 구획된 영역과 해당 복셀 인덱스 V를 식별한다. 채택된 분획 영역 내에서 인덱스 V의 복셀 값을 평균화함으로써 R개의 관심영역으로 구성된 대표 관심영역 세트, 이른바 AD 영향 관심영역을 로 정의한다.

획득한 AD 영향 관심영역 의 영향을 각각의 복셀 인덱스 V와 함께 추가로 확인하기 위해 객관적인 분류 작업을 수행한다.

본 실시예에 따르면, 관심영역 간의 글로벌 관계를 고려하고 자체적으로 가장 중요한 관심영역을 효과적으로 강조하는 방법을 제시한다.

본 실시예에 따른 예측 모듈은 Query, key 및 value로 구성된 관심영역 집합(즉, 벡터 유형)을 입력에 매핑한다.

본 실시예에 따르면, AD 영향 관심영역(대표 관심영역)을 쿼리로 설정하며, 쿼리는 고정된다.

훈련 단계에서 고정된 쿼리와 달리 키와 밸류는 인 복셀 인덱스 V에 따라 각 훈련 샘플에서 독립적으로 상응하는 관심영역을 추출한다.

이어서, 임베딩 레이어 를 사용하여 쿼리, 키 및 밸류가 임베디드 행렬 의 집합으로 변환됩니다. 그런 다음 출력의 사후가정 기반 주의행렬을 다음과 같이 계산한다.

여기서 및 d는 각각 전치 연산 및 스케일링을 위해 키에서 사용된 관심영역 수를 나타내고 g는 소프트맥스 함수를 나타낸다.

세트 Q, K 및 V는 각각 선형 변환, , 및 에서 생성된 임베디드 행렬을 나타내며, 여기서 , 및 는 학습 가능한 가중치이다.

채널별 평균 풀링을 적용하여 입력 쿼리의 크기와 일치하도록 사후가정 기반 특징표현 주의모듈의 출력을 재구성한 다음 요소별 덧셈을 사용한 잔차 연결을 사용하고 관심영역별 평균 풀링을 사용한다. 최종 예측 레이블 를 다음과 같이 얻는다.

여기서 및 는 각각 관심영역별 평균 풀링 및 채널별 평균 풀링을 나타내고 σ는 로지스틱 시그모이드 함수를 나타낸다.

결국 다음과 같이 CE를 통한 분류 손실을 최소화하여 선형분류기를 훈련한다.

여기서 와 y는 각각 회백질 밀도맵과 ground-truth 레이블을 나타내고 는 원-핫 임베디드 예측 레이블을 나타낸다.

본 발명을 통해 임상적인 측면에서 정밀한 수치적 해석 및 설명을 제공할 수 있고, 제안된 사후가정 기반 특징표현 주의 선형분류기(Counterfactual-Guided Attentive Feature Representation constructed to a Linear Classifier)와 함께 활용함으로써 모델의 투명성을 기반으로, 향상된 질병 예측성능에 대한 직관적인 해석성을 보여줄 수 있다.

보다 상세하게는, 원본이미지(Input)와 합성이미지를 각각 회백질 밀도맵(Gray Matter Density Map)으로 이미지 변환을 수행하고, 획득된 회백질 밀도맵으로부터 뇌의 영역별 세분화를 거치고, 두 이미지 간 알츠하이머병으로 인해 뇌의 구조적 변화가 두드러진 영역들에 대한 대표 관심영역(Region Of Interest; ROI)을 추출함으로써 정량적 특징 분석을 수행한다. 나아가, 사후가정 기반 특징표현 주의 연산을 통해 관심영역들 간의 관계를 고려하는 선형 분류기를 제안함으로써 해석을 위한 추가학습 또는 모듈 없이 임상적 측면에서의 알츠하이머병 관련 진단지수(ADness Index)를 모델로부터 도출해낼 수 있을 뿐만 아니라 선형 모델임에도 불구하고 딥러닝 모델에 필적하는 뛰어난 예측성능을 도출해낸다.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (10)

1. 자기공명영상 기반 뇌질환 예측 장치로서,
   프로세서; 및
   상기 프로세서에 연결되는 메모리를 포함하되,
   상기 메모리는,
   복수의 뇌 자기공명영상에 대한 원본 이미지를 원본 회백질 밀도맵으로 변환하고,
   상기 원본 이미지의 사후가정추론을 통해 합성된 합성 이미지를 합성 회백질 밀도맵으로 변환하고,
   상기 원본 회백질 밀도맵 및 상기 합성 회백질 밀도맵의 차이를 추정하여 뇌질환 예측을 위한 대표 관심영역을 추출하고,
   상기 대표 관심영역 및 환자별 뇌 자기공명영상을 사후가정 기반 특징표현 주의모듈을 포함하는 선형분류기에 입력하여 질병 상태를 예측하도록,
   상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장한 자기공명영상 기반 뇌질환 예측 장치.
2. 제1항에 있어서,
   상기 프로그램 명령어들은,
   상기 원본 회백질 밀도맵 및 상기 합성 회백질 밀도맵 변환 이전에,
   사후가정맵을 이용하여 정상 원본 이미지를 뇌질환 합성 이미지로 합성하고, 뇌질환 원본 이미지를 정상 합성 이미지로 합성하는 자기공명영상 기반 뇌질환 예측 장치.
3. 제1항에 있어서,
   상기 프로그램 명령어들은,
   상기 원본 이미지 및 상기 합성 이미지를 상기 원본 회백질 밀도맵 및 상기 합성 회백질 밀도맵으로 변환하기 위해, 전처리, 뇌 영역 세분화 및 잡음 제거를 수행하는 자기공명영상 기반 뇌질환 예측 장치.
4. 제3항에 있어서,
   상기 전처리는 딥러닝 모델의 입력으로 사용하기 전 상태의 이미지 스케일로 역변환하기 위한 역-가우시안 정규화 및 역-분위수 정규화 및 업스케일링을 포함하는 자기공명영상 기반 뇌질환 예측 장치.
5. 제3항에 있어서,
   상기 뇌 영역 세분화에 의해 구분되는 뇌 영역은 회백질, 백질 및 뇌척수액을 포함하고, 상기 뇌 영역 세분화에 의해 체적 확률맵이 획득되는 자기공명영상 기반 뇌질환 예측 장치.
6. 제3항에 있어서,
   상기 프로그램 명령어들은,
   상기 체적 확률맵을 구조적 왜곡을 수행하기 위해 회백질 템플릿에 매핑하고,
   상기 매핑에 의한 결과 이미지에 자코비안 비선형 변조를 적용하고,
   등방성 가우시안 평활화를 통해 잡음을 제거하고 상기 전처리에서 발생한 명암대비를 완화시키는 자기공명영상 기반 뇌질환 예측 장치.
7. 제1항에 있어서,
   상기 프로그램 명령어들은,
   상기 원본 회백질 밀도맵과 합성 회백질 밀도맵의 차이를 계산하고,
   모든 원본 회백질 밀도맵과 합성 회백질 밀도맵의 차이에 대한 절대값의 평균을 통해 뇌질환 관련 영역을 추정하고,
   상기 뇌질환 관련 영역에 대해 통계 기반의 백분위수 임계값을 통한 제약을 가하여 뇌질환 대표 영역을 포함하는 뇌질환-영향 맵을 획득하고,
   뇌 영역 세분화를 통해 상기 뇌질환-영향 맵에서 상기 뇌질환 대표 영역에 해당하는 값으로부터 대표 관심영역을 추출하고,
   상기 대표 관심영역에 대응되는 복셀좌표를 획득하는 자기공명영상 기반 뇌질환 예측 장치.
8. 제1항에 있어서,
   상기 프로그램 명령어들은,
   상기 대표 관심영역 및 환자별 뇌 자기공명영상을 각각 임베딩하여 임베딩 매트릭스로 변환하고,
   상기 대표 관심영역에 상응하는 임베딩 매트릭스 및 상기 환자별 뇌 자기공명영상의 임베딩 매트릭스를 요소별 곱셈하여 사후가정 기반 주의맵을 생성하고,
   상기 사후가정 기반 주의맵과 상기 환자별 뇌 자기공명영상의 임베딩 매트릭스의 연산 결과를 이용하여 질병 상태를 예측하는 자기공명영상 기반 뇌질환 예측 장치.
9. 제8항에 있어서,
   상기 프로그램 명령어들은,
   상기 사후가정 기반 주의맵과 상기 환자별 뇌 자기공명영상의 임베딩 매트릭스를 요소별 곱셈하고,
   상기 곱셈의 결과와 상기 대표 관심영역에 상응하는 임베딩 매트릭스를 요소별 합산한 결과를 이용하여 질병 상태를 예측하는 자기공명영상 기반 뇌질환 예측 장치.
10. 프로세서 및 메모리를 포함하는 자기공명영상 기반 뇌질환 예측 방법으로서,
    복수의 뇌의 자기공명영상에 대한 원본 이미지를 원본 회백질 밀도맵으로 변환하는 단계;
    상기 원본 이미지에 대해 사후가정추론을 통해 합성된 합성 이미지를 합성 회백질 밀도맵으로 변환하는 단계;
    상기 원본 회백질 밀도맵 및 상기 합성 회백질 밀도맵의 차이를 추정하여 뇌질환 예측을 위한 대표 관심영역을 추출하는 단계; 및
    상기 대표 관심영역 및 환자별 뇌 자기공명영상을 사후가정 기반 특징표현 주의모듈을 포함하는 선형분류기에 입력하여 질병 상태를 예측하는 단계를 포함하는 자기공명영상 기반 뇌질환 예측 방법.