KR102222366B1 - 딥러닝 기반 고자기장 자기공명영상 합성 방법 및 장치 - Google Patents

Abstract

본 발명은 딥러닝 기반 고자기장 자기공명영상 합성 방법 및 장치를 개시한다. 본 발명에 따르면, 딥러닝 기반 고자기장 자기공명영상 합성 장치로서, 프로세서 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 생성기 및 구별기를 포함하는 적대적 생성 신경망 모델 기반으로 상기 생성기가 저자기장 자기공명영상 패치를 입력으로 하여 가상의 합성 고자기장 자기공명영상 패치를 생성하고, 상기 구별기가 상기 가상의 합성 고자기장 자기공명영상 및 실제 고자기장 자기공명영상을 입력으로 하여 상기 합성 고자기장 자기공명영상이 실제 고자기장 자기공명영상에 속할 확률을 계산하고, 특징 추출기가 상기 가상의 합성 고자기장 자기공명영상 및 상기 실제 고자기장 자기공명영상을 입력으로 하여 고차원 특징 차이를 계산하고, 상기 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상과의 차이, 상기 계산된 확률 및 상기 고차원 특징 차이에 따른 인지 로스(Perceptual loss)를 반영된 전체 로스(total loss)를 이용하여 상기 생성기 및 구별기의 파라미터를 업데이트하도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는 딥러닝 기반 고자기장 자기공명영상 합성 장치가 제공된다.

Description

딥러닝 기반 고자기장 자기공명영상 합성 방법 및 장치{Method and Device of High Magnetic Field Magnetic Resonance Image Synthesis}

본 발명은 딥러닝 기반 고자기장 자기공명영상 합성 방법 및 장치에 관한 것이다.

딥러닝 기반 이미지 합성 모델은 기존의 기계학습 기반 모델들이 가진 성능적 한계를 뛰어넘어 컴퓨터 비전 분야에서 큰 성공을 거두고 있다.

기본적으로 컨볼루션 신경망(CNN) 기반의 모델들이 주를 이루고 있으며, 이미지 합성의 주된 과제는 입력 이미지의 분포를 타겟 이미지 분포로 변환 및 사상하는 것이다.

적대적 생성 신경망은 생성자와 판별자 사이의 내쉬 균형을 찾는 것을 목표로 하여, 데이터의 분포 추정에 있어 기존 모델들의 성능을 크게 향상시켰다.

적대적 생성 신경망의 본질적인 과제가 데이터의 분포 추정이기 때문에, 기존 컨볼루션 신경망 기반의 이미지 합성 모델에 적대적 생성 학습 프레임워크를 도입하여 그 합성 결과의 질적 성능을 향상시키는 연구들이 보고되어있다.

이미지 합성 모델의 목표 함수에 있어서 픽셀 차원의 저수준 에러를 고려하는 것보다 이미지에서 추출되는 학습된 고차원 특징 벡터 간의 차이를 최소화하는 것을 목표 함수로 삼을 수 있다. 보통 기 학습된 이미지 분류 모델을 특징 벡터 추출기로 삼는데, 이를 통해 얻어지는 에러를 인지 로스(Perceptual Loss)라고 한다.

이미지 합성 기술은 기존 컴퓨터 비전 분야 뿐 아니라 의료영상 분야에도 매우 중요한 의미를 갖는다. 자기공명영상의 경우에 촬영 매개변수에 따라 여러 가지 모달리티의 이미지가 생성될 수 있으며, 촬영 스캐너의 종류에 따라서도 변이성이 존재한다.

모든 필요한 종류의 영상을 촬영하는 것은 시간적, 경제적 비용이 많이 들기 때문에 이미지 합성 기술을 통해 필요한 모달리티의 영상을 합성하거나 저해상도 영상으로부터 고해상도 영상을 합성하는 것은 의료영상 분석 분야에 있어 매우 중요하다.

미국등록특허 US 9,892,361

상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 저자기장 자기공명영상으로부터 이에 대응되는 고자기장 자기공명영상을 생성할 수 있는 딥러닝 기반 고자기장 자기공명영상 합성 방법 및 장치를 제안하고자 한다.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 딥러닝 기반 고자기장 자기공명영상 합성 장치로서, 프로세서 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 생성기 및 구별기를 포함하는 적대적 생성 신경망 모델 기반으로 상기 생성기가 저자기장 자기공명영상 패치를 입력으로 하여 가상의 합성 고자기장 자기공명영상 패치를 생성하고, 상기 구별기가 상기 가상의 합성 고자기장 자기공명영상 및 실제 고자기장 자기공명영상을 입력으로 하여 상기 합성 고자기장 자기공명영상이 실제 고자기장 자기공명영상에 속할 확률을 계산하고, 특징 추출기가 상기 가상의 합성 고자기장 자기공명영상 및 상기 실제 고자기장 자기공명영상을 입력으로 하여 고차원 특징 차이를 계산하고, 상기 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상과의 차이, 상기 계산된 확률 및 상기 고차원 특징 차이에 따른 인지 로스(Perceptual loss)를 반영된 전체 로스(total loss)를 이용하여 상기 생성기 및 구별기의 파라미터를 업데이트하도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는 딥러닝 기반 고자기장 자기공명영상 합성 장치가 제공된다.

상기 특징 추출기는 복수의 합성곱 신경망층을 포함하며, 상기 복수의 합성곱 신경망층 각각이 상기 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상의 상기 고차원 특징 차이를 계산할 수 있다.

상기 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상과의 차이는 MSE(Mean Square Error) 로스로 계산되며, 상기 확률을 통해 Adverarial 로스를 계산할 수 있다.

상기 MSE(Mean Square Error) 로스는 상기 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상 각각의 N개의 복셀 사이의 차이의 제곱의 평균이다.

본 발명의 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 장치에서 딥러닝 기반 고자기장 자기공명영상을 합성하는 방법으로서, 생성기 및 구별기를 포함하는 적대적 생성 신경망 모델 기반으로 상기 생성기가 저자기장 자기공명영상 패치를 입력으로 하여 가상의 합성 고자기장 자기공명영상 패치를 생성하는 단계, 상기 구별기가 상기 가상의 합성 고자기장 자기공명영상 및 실제 고자기장 자기공명영상을 입력으로 하여 상기 합성 고자기장 자기공명영상이 실제 고자기장 자기공명영상에 속할 확률을 계산하는 단계, 특징 추출기가 상기 가상의 합성 고자기장 자기공명영상 및 상기 실제 고자기장 자기공명영상을 입력으로 하여 고차원 특징 차이를 계산하는 단계 및 상기 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상과의 차이, 상기 계산된 확률 및 상기 고차원 특징 차이에 따른 인지 로스(Perceptual loss)를 반영된 전체 로스(total loss)를 이용하여 상기 생성기 및 구별기의 파라미터를 업데이트하는 단계를 포함하는 딥러닝 기반 고자기장 자기공명영상 합성 방법이 제공된다.

본 발명에 따르면, 미리 촬영된 저자기장 자기공명영상과 고자기장 자기공명영상 쌍 간의 관계를 학습한 적대적 생성 신경망을 통해 임상에 사용되는 자기공명영상의 질을 향상시킬 수 있고, 합성된 고자기장 자기공명영상을 기존의 뇌 질환 진단 등에 사용되는 딥러닝 기반 모델들의 보조 데이터로 활용함으로써 성능을 추가 향상시킬 수 있다.

또한 인지 로스를 기 학습된 특징 추출 모델을 통해 사용하여 합성 이미지의 질적 성능을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 적대적 생성 신경망 모델의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 생성기의 상세 구성을 도시한 도면이다.
도 3은 본 실시예에 따른 잔차 신경망 블록의 상세 구성을 도시한 도면이다.
도 4는 본 실시예에 따른 구별기의 상세 구성을 도시한 도면이다.
도 5는 본 실시예에 따른 특징 추출기의 상세 구성을 도시한 도면이다.
도 6 내지 도 8은 본 발명의 일 실시에에 따른 고자기장 자기공명영상 합성을 위한 모델의 학습 과정을 예시적으로 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

자기공명영상은 질환 진단 또는 병리 검출에 있어 널리 활용되고 있다. 현재 보편적으로 사용되는 저자기장 자기공명영상 촬영 장비는 소뇌의 피질과 같은 매우 복잡하고 세부적인 구조적 특성을 표현하는데 있어서는 한계가 있다.

고자기장 자기공명영상은 자기장의 강도, 즉 테슬라의 크기가 소정 수치 이상인 장비를 통해 촬영하여 고해상도 이미지를 얻을 수 있으며 영상 감별이 용이하고 조영제 없이 영상화가 가능한 장점이 있다.

이에 고자기장 자기공명영상 촬영 장비에 대한 개발이 가속화 되고 있지만, 기술적 이유와 고가의 장비 비용 등의 문제로 임상에 적용되지 못하는 문제가 있다.

본 발명은 적대적 생성망 신경망 기반의 이미지 합성 모델을 이용하여 저자기장 자기공명영상을 통해 고자기장 자기공명영상을 효과적으로 합성하고자 한다.

딥러닝 기반 이미지 합성 모델의 질적 성능은 모델의 목표 함수에 따라 달라진다. 많은 경우 입력 이미지와 출력 이미지의 차이를 에러로 계산하여 에러의 제곱 평균 또는 평균을 목표 함수로 택한다.

이미지 합성 모델은 목표 함수의 에러 값이 작아지는 방향으로 학습되기 때문에, 이 경우 모델은 선명한 합성 결과를 내놓기 보다는 여러 가능한 결과의 평균적인 결과를 합성하여 에러를 최소화시키려 하기 때문에 합성 이미지의 선명도가 감소한다.

합성 이미지의 선명도는 특히 의료영상 합성 과제에 있어서 중요한데, 뇌 자기공명영상의 경우 세부적인 뇌의 구조를 표현하는 것이 매우 중요하기 때문이다.

본 발명에서는 인지 목표 함수를 사용한 합성 자기공명영상의 질적 성능을 향상시키고자 한다.

본 발명은 효율적인 저자기장 자기공명영상으로부터 고자기장 자기공명영상 합성을 위해 적대적 생성 신경망과 인지 기반 목표 함수를 사용한다.

도 1은 본 발명의 일 실시예에 따른 적대적 생성 신경망 모델의 구성을 도시한 도면이다.

도 1에 도시된 바와 같이, 본 실시예에 따른 적대적 생성 신경망 모델은 생성기(100), 구별기(102) 및 특징 추출기(104)를 포함할 수 있다.

생성기(100)는 저자기장 자기공명영상의 패치를 입력으로 받아 고자기장 자기공명영상 패치를 합성한다.

구별기(102)는 실제 고자기장 자기공명영상과 생성기(100)에서 생성한 합성 고자기장 자기공명영상을 입력으로 받아 해당 영상이 실제 고자기장 자기공명영상에 속할 확률을 계산한다.

특징 추출기(104)는 기 학습된 저자기장/고자기장 자기공명영상 분류기이다.

본 실시예에 따른 특징 추출기(104)에는 실제 고자기장 자기공명영상 패치와 합성 고자기장 자기공명영상 패치가 입력되고 특징 추출기(104)의 각 신경망 층에서 발생하는 활성화 값을 특징으로 하여 둘 사이의 특징 차이를 출력한다.

특징 추출기(104)에 출력된 특징 차이는 인지 기반 목표 함수의 출력 값으로 사용된다.

도 2는 본 발명의 일 실시예에 따른 생성기의 상세 구성을 도시한 도면이다.

도 2를 참조하면, 생성기는 정규화층, 패치 추출기, 입력 합성곱 신경망층, N개의 잔차 신경망 블록, 출력 합성곱 신경망층 및 패치 결합기를 포함하며, 저자기장 자기공명영상(예를 들어, 3T MRI)를 입력으로 하여 가상의 합성 고자기장 자기공명영상(예를 들어, 7T MRI)을 생성한다.

정규화층은 입력된 저자기장 자기공명영상의 복셀값을 0에서 1 사이의 값으로 변환하며, 패치 추출기는 변환된 저자기장 자기공명영상을 일정 크기의 3차원 패치로 나누어 입력 합성곱 신경망층으로 입력한다.

본 실시예에 따른 생성기(100)의 신경망층은 모두 합성곱 신경망층으로 구성되며, 입력 합성곱 신경망층, N개의 잔차 신경망 블록, 출력 합성곱 신경망층을 거쳐 고자기장 자기공명영상으로 변환된 패치는 패치 결합기를 통해 결합되어 합성 고자기장 자기공명영상을 생성한다.

도 3은 본 실시예에 따른 잔차 신경망 블록의 상세 구성을 도시한 도면이다.

도 3을 참조하면, 생성기(100)의 각 잔차 신경망 블록은 하나의 합성곱 신경망층과 정규화층 및 비선형 활성 함수로 이루어지며, 이전 단계의 출력 특징은 합성곱 신경망층을 통한 결과에 합산되어 해당 블록은 입력에 대한 잔차 학습을 진행한다.

도 4는 본 실시예에 따른 구별기의 상세 구성을 도시한 도면이다.

도 4를 참조하면, 구별기(102)는 정규화층, 패치 추출기, 복수의 합성곱 신경망층 및 복수의 선형 신경망층을 포함하며, 합성된 고자기장 자기공명영상이 실제 고자기장 자기공명영상 분포에 속할 확률을 계산한다. 즉, 구별기는 합성 고자기장 자기공명상과 실제 고자기장 자기공명영상의 유사도를 계산한다.

보다 상세하게, 구별기의 입력으로 고자기장 자기공명영상 패치와 생성기에서 출력된 합성 고자기장 자기공명영상 패치가 입력된다.

본 실시예에 따른 구별기(102)는 3개의 합성곱 신경망층과 2개의 선형 신경망층으로 구성된다.

생성기(100)의 학습에 따라 합성 패치와 실제 패치 간의 차이가 줄어들며, 미리 설정된 오차 범위를 가질 때까지 합성 고자기장 자기공명영상의 생성 과정과 판별 과정이 반복 수행된다.

도 5는 본 실시예에 따른 특징 추출기의 상세 구성을 도시한 도면이다.

도 5를 참조하면, 본 실시예에 따른 특징 추출기(104)는 정규화층, 패치 추출기, 복수의 합성곱 신경망층 및 복수의 선형 신경망층을 포함한다.

본 실시예에 따른 특징 추출기(104)는 구별기(102)에 대응되는 복수의 합성곱 신경망층을 포함하며, 개별 합성곱 신경망층 및 선형 신경망층 각각은 입력 패치에 대한 고차원 특징을 추출한다.

본 실시예에 따른 특징 추출기(104)는 기 학습된 저자기장/고자기장 자기공명영상 분류기로 실제 고자기장 자기공명영상 패치와 생성기를 통과한 합성 고자기장 자기공명영상 패치를 입력으로 받는다. 특징 추출기(104)의 각 합성곱 신경망층의 비선형 활성 함수를 통과한 활성화 값은 입력 패치에 대한 고차원 특징 또는 표상을 의미한다.

특징 추출기(104)는 실제 고자기장 자기공명영상 패치의 특징값과 합성 고자기장 자기공명영상 패치의 특징값 간의 거리를 계산하여 이를 두 패치 사이의 고차원 특징 차이로 사용한다. 고차원 특징 차이는 인지 기반 목표 함수의 출력값으로 간주되어 생성기가 고차원 공간에서 고자기장 자기공명영상의 특징을 잘 표현하며 학습되도록 생성기의 학습 과정에 제공된다.

도 6 내지 도 8은 본 발명의 일 실시에에 따른 고자기장 자기공명영상 합성을 위한 모델의 학습 과정을 예시적으로 도시한 도면이다.

도 6을 참조하면, 본 실시예에 따른 생성기(100)에 3T MRI 패치를 생성기에 입력하여 7T-like MRI 패치를 생성한다.

생성기(100)에서 생성한 7T-like MRI 패치와 실제 7T MRI 패치 차이는 MSE Loss로 계산된다.

여기서, MSE Loss는 다음과 같이 표현되며, 두 패치에 속한 N개의 복셀 차이의 제곱의 평균이다.

다음으로 7T-like MRI 패치와 해당 패치의 위치에 해당하는 실제 7T MRI를 구별기(102)에 입력하여 각각이 7T MRI 패치일 확률값을 계산한다.

상기한 확률을 통해 Adversarial Loss를 계산할 수 있으며, 이는 아래와 같이 표현된다.

는 입력 영상(패치) A가 실제 7T MRI일 확률이다.

다음으로 7T-like MRI 패치와 해당 패치의 위치에 해당하는 실제 7T MRI를 각각 특징 추출기(104)에 입력하여 특징 추출기(104)의 합성곱 신경망층 각각의 고차원 특징 차이를 계산하고, 이를 통해 다음과 같은 인지 로스(Perceptual Loss)를 계산한다.

본 실시예에 따르면, MSE Loss, Adversarial Loss, Perceptual Loss를 합한 전체 Loss로 생성기 및 구별기 파라미터를 업데이트 하면서 학습을 수행한다.

본 실시예에 따른 딥러닝 기반 고자기장 자기공명영상 합성 장치는 프로세서 및 메모리를 포함할 수 있다. 프로세서는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.

메모리는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.

본 발명의 일 실시예에 따르면, 메모리에는 저자기장 자기공명영상으로부터 고자기장 자기공명영상을 생성하기 위한 프로그램 명령어들이 저장되며, 프로그램 명령어들에 의해 구현되는 구성을 기능적으로 구분하는 소프트웨어 모듈일 수 있다.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (5)

1. 딥러닝 기반 고자기장 자기공명영상 합성 장치로서,
   프로세서; 및
   상기 프로세서에 연결되는 메모리를 포함하되,
   상기 메모리는,
   생성기 및 구별기를 포함하는 적대적 생성 신경망 모델 기반으로 상기 생성기가 저자기장 자기공명영상 패치를 입력으로 하여 가상의 합성 고자기장 자기공명영상 패치를 생성하고,
   상기 구별기가 상기 가상의 합성 고자기장 자기공명영상 및 실제 고자기장 자기공명영상을 입력으로 하여 상기 가상의 합성 고자기장 자기공명영상이 실제 고자기장 자기공명영상에 속할 확률을 계산하고,
   특징 추출기가 상기 가상의 합성 고자기장 자기공명영상 및 상기 실제 고자기장 자기공명영상을 입력으로 하여 고차원 특징 차이를 계산하고,
   상기 가상의 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상과의 차이, 상기 계산된 확률 및 상기 고차원 특징 차이에 따른 인지 로스(Perceptual loss)를 반영된 전체 로스(total loss)를 이용하여 상기 생성기 및 구별기의 파라미터를 업데이트하도록,
   상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하며,
   상기 특징 추출기는 복수의 합성곱 신경망층을 포함하며, 상기 복수의 합성곱 신경망층 각각이 상기 가상의 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상의 상기 고차원 특징 차이를 계산하고,
   상기 계산된 고차원 특징 차이는 상기 생성기의 학습 과정에 제공되는 딥러닝 기반 고자기장 자기공명영상 합성 장치.
2. 삭제
3. 제1항에 있어서,
   상기 가상의 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상과의 차이는 MSE(Mean Square Error) 로스로 계산되며, 상기 확률을 통해 Adverarial 로스가 계산되는 딥러닝 기반 고자기장 자기공명영상 합성 장치.
4. 제3항에 있어서,
   상기 MSE(Mean Square Error) 로스는 상기 가상의 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상 각각의 N개의 복셀 사이의 차이의 제곱의 평균인 딥러닝 기반 고자기장 자기공명영상 합성 장치.
5. 프로세서 및 메모리를 포함하는 장치에서 딥러닝 기반 고자기장 자기공명영상을 합성하는 방법으로서,
   생성기 및 구별기를 포함하는 적대적 생성 신경망 모델 기반으로 상기 생성기가 저자기장 자기공명영상 패치를 입력으로 하여 가상의 합성 고자기장 자기공명영상 패치를 생성하는 단계;
   상기 구별기가 상기 가상의 합성 고자기장 자기공명영상 및 실제 고자기장 자기공명영상을 입력으로 하여 상기 가상의 합성 고자기장 자기공명영상이 실제 고자기장 자기공명영상에 속할 확률을 계산하는 단계;
   특징 추출기가 상기 가상의 합성 고자기장 자기공명영상 및 상기 실제 고자기장 자기공명영상을 입력으로 하여 고차원 특징 차이를 계산하는 단계; 및
   상기 가상의 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상과의 차이, 상기 계산된 확률 및 상기 고차원 특징 차이에 따른 인지 로스(Perceptual loss)를 반영된 전체 로스(total loss)를 이용하여 상기 생성기 및 구별기의 파라미터를 업데이트하는 단계를 포함하되,
   상기 특징 추출기는 복수의 합성곱 신경망층을 포함하며, 상기 복수의 합성곱 신경망층 각각이 상기 가상의 합성 고자기장 자기공명영상과 상기 실제 고자기장 자기공명영상의 상기 고차원 특징 차이를 계산하고,
   상기 계산된 고차원 특징 차이는 상기 생성기의 학습 과정에 제공되는 딥러닝 기반 고자기장 자기공명영상 합성 방법.
   
   

Images