KR20220118692A - 비지도 학습 기반 자기 공명 영상 처리 방법 및 그 장치 - Google Patents

비지도 학습 기반 자기 공명 영상 처리 방법 및 그 장치 Download PDF

Info

Publication number
KR20220118692A
KR20220118692A KR1020210022422A KR20210022422A KR20220118692A KR 20220118692 A KR20220118692 A KR 20220118692A KR 1020210022422 A KR1020210022422 A KR 1020210022422A KR 20210022422 A KR20210022422 A KR 20210022422A KR 20220118692 A KR20220118692 A KR 20220118692A
Authority
KR
South Korea
Prior art keywords
image
magnetic resonance
resonance image
neural network
sampled
Prior art date
Application number
KR1020210022422A
Other languages
English (en)
Other versions
KR102514804B1 (ko
Inventor
예종철
오규택
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020210022422A priority Critical patent/KR102514804B1/ko
Publication of KR20220118692A publication Critical patent/KR20220118692A/ko
Application granted granted Critical
Publication of KR102514804B1 publication Critical patent/KR102514804B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/58—Calibration of imaging systems, e.g. using test probes, Phantoms; Calibration objects or fiducial markers such as active or passive RF coils surrounding an MR active material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/28—Details of apparatus provided for in groups G01R33/44 - G01R33/64
    • G01R33/32—Excitation or detection systems, e.g. using radio frequency signals
    • G01R33/36—Electrical details, e.g. matching or coupling of the coil to the receiver
    • G01R33/3607—RF waveform generators, e.g. frequency generators, amplitude-, frequency- or phase modulators or shifters, pulse programmers, digital to analog converters for the RF signal, means for filtering or attenuating of the RF signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/565—Correction of image distortions, e.g. due to magnetic field inhomogeneities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

비지도 학습 기반 자기 공명 영상 처리 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 자기 공명 영상 처리 방법은 모션 아티팩트를 제거하기 위한 자기 공명 영상을 수신하는 단계; 및 상기 수신된 자기 공명 영상을 푸리에 변환하여 다운 샘플링하고 다시 역 푸리에 변환하여 다운 샘플링된 영상을 생성하는 단계; 및 상기 생성된 다운 샘플링된 영상을 입력으로 하는 비지도 학습(unsupervised learning) 기반으로 학습된 뉴럴 네트워크를 이용하여 상기 생성된 다운 샘플링된 영상에 포함된 모션 아티팩트를 제거함으로써, 상기 자기 공명 영상에서 모션 아티팩트가 제거된 최종 자기 공명 영상을 복원하는 단계를 포함한다.

Description

비지도 학습 기반 자기 공명 영상 처리 방법 및 그 장치 {MAGNETIC RESONACE IMAGE PROCESSING METHOD BASED ON UNSUPERVISED LEARNING AND APPARATUS THEREFOR}
본 발명은 비지도 학습 기반 자기 공명 영상 처리 기술에 관한 것으로, 보다 구체적으로는 비지도 학습 기반의 뉴럴 네트워크를 이용하여 자기 공명 영상의 모션 아티팩트를 제거할 수 있는 자기 공명 영상 처리 방법 및 그 장치에 관한 것이다.
자기공명영상(MRI; magnetic resonance imaging)은 방사선 노출 없이 다양한 대조 강조 영상을 제공하는 비침습성 영상이다. MRI는 여러 가지 장점이 있지만 MRI의 스캔 시간이 비교적 길기 때문에 환자 동작으로 인한 모션 아티팩트를 피할 수 없는 경우가 많다. 실제로 모션 아티팩트는 MRI 획득의 주요 문제점 중 하나로 꼽힌다.
MR 모션 아티팩트 보정에 대한 많은 접근법이 연구되었다. 예를 들어, 추가 장치가 모션을 추정하기 위해 사용되며, 추가 장치에 의해 획득된 정보는 아티팩트 보정에 사용된다. 다양한 샘플링 궤적 및 영상 시퀀스도 모션 아티팩트를 완화하기 위해 연구되었다. 그러나, 이러한 기술들은 추가 하드웨어와 스캔 시간이 요구되며, 더욱이 심장박동, 일시적인 호흡곤란과 같은 많은 본질적인 모션은 외부 기기로 정확하게 측정할 수 없다.
MRI 모션 아티팩트의 문제를 해결하기 위한, 종래 일 실시예의 기술은 압축 감지(CS) 기반 알고리즘이 있다. 그러나 높은 계산 복잡성과 하이퍼 파라미터 튜닝의 어려움은 이러한 CS 알고리즘의 한계이다. 더욱이 CS 알고리즘은 종종 실무에서 획득하기 어려운 원시 k-공간 데이터를 요구한다.
최근에는 MRI 재구성을 위한 딥러닝 접근법이 광범위하게 연구되고 있다. MRI 모션 아티팩트 감소를 위한 딥러닝 방법도 제안되었다. 그러나 모션 아티팩트 보정을 위한 기존의 딥러닝 접근법 대부분은 시뮬레이션 모션 아티팩트 데이터를 기반으로 하기 때문에 실제 MR 상황에 적용하기 어렵다. 즉, 시뮬레이션 영상은 실제 영상과 차이가 있어 이러한 기술을 실제 상황에 적용하기 어렵다는 단점이 있다. 대신에, 다른 딥러닝 접근법은 통제된 실험에서 얻은 실제 모션 아티팩트 데이터를 이용하였다. 이러한 접근방식은 유사한 실제 동작에서 MR 모션 아티팩트를 줄일 수 있지만, 수많은 중요 실제 어플리케이션 예를 들어 Gd-EOB-DTPA 강화 MR에서 TSM으로 인한 동맥 영상 저하에서 모션 프리 쌍 영상을 얻을 수 없는 등 일치하는 클린(clean) 영상 및 아티팩트 영상을 얻기는 어렵다.
본 발명의 실시예들은, 비지도 학습 기반의 뉴럴 네트워크를 이용하여 자기 공명 영상의 모션 아티팩트를 제거할 수 있는 자기 공명 영상 처리 방법 및 그 장치를 제공한다.
본 발명의 일 실시예에 따른 자기 공명 영상 처리 방법은 모션 아티팩트를 제거하기 위한 자기 공명 영상을 수신하는 단계; 및 상기 수신된 자기 공명 영상을 푸리에 변환하여 다운 샘플링하고 다시 역 푸리에 변환하여 다운 샘플링된 영상을 생성하는 단계; 및 상기 생성된 다운 샘플링된 영상을 입력으로 하는 비지도 학습(unsupervised learning) 기반으로 학습된 뉴럴 네트워크를 이용하여 상기 생성된 다운 샘플링된 영상에 포함된 모션 아티팩트를 제거함으로써, 상기 자기 공명 영상에서 모션 아티팩트가 제거된 최종 자기 공명 영상을 복원하는 단계를 포함한다.
상기 다운 샘플링된 영상을 생성하는 단계는 상기 수신된 자기 공명 영상을 푸리에 변환하여 N개의 랜덤 다운 샘플링하고, 다시 역 푸리에 변환하여 N개의 다운 샘플링된 영상들을 생성하며, 상기 최종 자기 공명 영상을 복원하는 단계는 상기 N개의 다운 샘플링된 영상들을 상기 뉴럴 네트워크에 입력하여, 상기 N개의 다운 샘플링된 영상들 각각에 대응하는 자기 공명 영상들을 출력하고, 상기 출력된 자기 공명 영상들의 집합(aggregation)에 기초하여 상기 최종 자기 공명 영상을 복원할 수 있다.
상기 최종 자기 공명 영상을 복원하는 단계는 상기 출력된 자기 공명 영상들의 평균에 기초하여 상기 최종 자기 공명 영상을 복원할 수 있다.
상기 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크 및 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 중 어느 하나의 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 모션 아티팩트가 없는 클린 영상만을 이용하여 트레이닝될 수 있다.
본 발명의 일 실시예에 따른 자기 공명 영상 처리 장치는 모션 아티팩트를 제거하기 위한 자기 공명 영상을 수신하는 수신부; 및 상기 수신된 자기 공명 영상을 푸리에 변환하여 다운 샘플링하고 다시 역 푸리에 변환하여 다운 샘플링된 영상을 생성하는 생성부; 및 상기 생성된 다운 샘플링된 영상을 입력으로 하는 비지도 학습(unsupervised learning) 기반으로 학습된 뉴럴 네트워크를 이용하여 상기 생성된 다운 샘플링된 영상에 포함된 모션 아티팩트를 제거함으로써, 상기 자기 공명 영상에서 모션 아티팩트가 제거된 최종 자기 공명 영상을 복원하는 복원부를 포함한다.
상기 생성부는 상기 수신된 자기 공명 영상을 푸리에 변환하여 N개의 랜덤 다운 샘플링하고, 다시 역 푸리에 변환하여 N개의 다운 샘플링된 영상들을 생성하며, 상기 복원부는 상기 N개의 다운 샘플링된 영상들을 상기 뉴럴 네트워크에 입력하여, 상기 N개의 다운 샘플링된 영상들 각각에 대응하는 자기 공명 영상들을 출력하고, 상기 출력된 자기 공명 영상들의 집합(aggregation)에 기초하여 상기 최종 자기 공명 영상을 복원할 수 있다.
상기 복원부는 상기 출력된 자기 공명 영상들의 평균에 기초하여 상기 최종 자기 공명 영상을 복원할 수 있다.
상기 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크 및 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 중 어느 하나의 뉴럴 네트워크를 포함할 수 있다.
상기 뉴럴 네트워크는 모션 아티팩트가 없는 클린 영상만을 이용하여 트레이닝될 수 있다.
본 발명의 실시예들에 따르면, 비지도 학습 기반의 뉴럴 네트워크를 이용하여 자기 공명 영상의 모션 아티팩트를 제거함으로써, 선명하고 깨끗한 모션 아티팩트 제거 영상을 제공할 수 있다.
본 발명의 실시예들에 따르면, 모션 아티팩트를 제거하여 기존 영상에서 발견할 수 없었던 병변을 관찰할 수 있게 함으로써, 진단에 더 많은 정보를 제공할 수 있으며, 자기 공명 영상의 강도 영상(magnitude image)만 있는 경우에도 적용할 수 있다.
본 발명의 실시예들에 따르면, 실제 모션 아티팩트 영상에 적용할 수 있으며, 기존의 방법들보다 빠른 속도로 모션 아티팩트가 제거된 영상을 제공할 수 있다.
도 1은 위상 인코딩 방향에 따른 k-공간에서의 희소 가외치들에 대한 일 예시도를 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 자기 공명 영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.
도 3은 본 발명의 모션 아티팩트 제거 방법을 설명하기 위한 일 예시도를 나타낸 것이다.
도 4는 본 발명에서 사용되는 뉴럴 네트워크 아키텍처에 대한 일 예시도를 나타낸 것이다.
도 5는 본 발명의 방법과 기존 방법에 의한 뇌 영상에 대한 모션 아티팩트 제거 결과를 비교한 일 예시도를 나타낸 것이다.
도 6은 본 발명의 방법과 기존 방법에 의한 간 영상에 대한 모션 아티팩트 제거 결과를 비교한 일 예시도를 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 자기 공명 영상 처리 장치에 대한 구성을 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
MRI 모션 아티팩트 보정을 위한 초기 딥러닝 접근법은 지도 학습에 기초한다. 예를 들어, 일 실시예의 기술은 생성기에 확장된 컨볼루션과 스킵 연결이 사용되는 적대 손실을 이용한 뇌 MR 모션 아티팩트 보정을 위한 컨볼루션 뉴럴 네트워크(CNN)을 제안하였으며, 다른 일 실시예의 기술은 모션 아티팩트 문제를 픽셀 분류 문제로 변환하였다. 또 다른 일 실시예의 기술은 잔여 블록이 있는 다단계 네트워크를 제안하였으며, 또 다른 일 실시예의 기술은 MRI 모션 아티팩트 감소를 위해 밀접하게 연결된 다단계 블록을 제안하였다.
이러한 기존 기술들은 개선된 성능을 보였지만, 대부분 모션 아티팩트 데이터를 생성하기 위해 수치 시뮬레이션을 사용하였다. 실제 모션 아티팩트와 시뮬레이션된 모션 아티팩트가 다를 수 있기 때문에 네트워크 트레이닝에 시뮬레이션 모션 아티팩트 데이터를 사용하는 것은 제한적이다.
최근 MR 모션 아티팩트 보정을 위한 딥러닝 접근법이 광범위하게 연구되고 있다. 이러한 접근방식은 고전적인 방법에 비해 높은 성능과 계산상의 복잡성이 감소하는 것으로 나타났지만, 대부분은 쌍으로 구성된 아티팩트 프리 영상과 아티팩트 손상 영상을 사용하여 지도 트레이닝을 필요로 하며, 이는 많은 중요한 임상 어플리케이션에서 사용을 금지할 수 있다. 예를 들어 Gd-EOB-DTPA 강화 MR에서 급성 과도성 호흡곤란으로 인한 일시적인 중증 모션(TSM; transient severe motion)은 쌍 데이터 생성을 제어하고 모델링하기 어렵다.
본 발명의 실시예들은, 비지도 학습 기반의 뉴럴 네트워크를 이용하여 자기 공명 영상의 모션 아티팩트를 제거함으로써, 선명하고 깨끗한 모션 아티팩트 제거 영상을 제공하는 것을 그 요지로 한다.
이 때, 본 발명은 모션이 보통 위상 인코딩 방향으로 희소 k-공간 가외치들을 발생시키므로 위상 인코딩 방향을 따라 k-공간 서브 샘플링을 하면 일부 가외치들을 제거할 수 있고 집합(Aggregation) 단계가 재구성 네트워크로부터 결과를 더욱 향상시킬 수 있다. 본 발명은 트레이닝 단계에는 아티팩트 프리 영상만 필요하므로, 쌍으로 구성된 데이터를 필요로 하지 않는다.
이러한 본 발명에서 관심을 가지는 모션 아티팩트는 가도세틱 산(Gd-EOB-DTPA)의 일시적인 중증 모션(TSM)에서 나온 모션 아티팩트이다. 보다 구체적으로, Gd-EOB-DTPA는 간세포암(HCC)의 영상진단을 위한 간세포 특이 MR 조영제이며, 그것의 장점은 간경화상(HBP) 영상을 제공하는 것에 있다. Gd-EOB-DTPA에서의 HBP 영상의 장점에도 불구하고, Gd-EOB-DTPA 투여 후 급성 일시적인 호흡곤란으로 인한 일시적인 중증 모션(TSM)이 자주 발생한다고 보고되었다. TSM은 동맥 단계 중 영상 품질에 심각한 영향을 미칠 수 있고 간 질환의 진단 정확도에 영향을 미칠 수 있으므로 국소 간 병변의 정확한 검출과 특성화를 위해 본 발명의 모션 아티팩트 제거 기술이 필요한다. 물론, 본 발명에서의 모션 아티팩트가 상술한 모션 아티팩트로 제한되거나 한정되지 않으면 MRI에서 생성 가능한 모든 종류의 모션 아티팩트에 적용될 수 있다.
본 발명의 주요 아이디어는 확률론적 의미에서 희소 k-공간 가외치들을 모션으로부터 제거할 수 있는 k-공간 랜덤 서브 샘플링에서 나온다. 사실, 이것은 최근 딥러닝 MR 재구성에서 탐구된 부트스트랩 집합과 밀접한 관계가 있기 때문에 딥러닝 프레임워크에 이상적으로 적합하다. 특히 희소 추출된 k-공간 데이터로부터 재구성 네트워크로서 모션 프리 트레이닝 데이터를 이용하여 뉴럴 네트워크를 트레이닝시킨 경우, k-공간 영역의 부트스트랩 서브 샘플링은 모션에서 희소 k-공간 가외치 일부를 제거할 수 있으므로 해당 뉴럴 네트워크는 모션 아티팩트가 적은 영상을 생성할 수 있다. 그런 다음 집합 단계에서 서브샘플 데이터의 영상 화질 손실을 복원할 수 있다. 본 발명의 뉴럴 네트워크는 모션 아티팩트 시뮬레이션과 획득 없이 클린(clean) 데이터만을 사용하여 트레이닝되기 때문에, 시뮬레이션 데이터와 실제 데이터 양쪽으로부터 다양한 모션 아티팩트를 교정하는데 적용할 수 있을 정도로 유연하다.
본 발명에서 사용하는 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크, 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 포함하는 뉴럴 네트워크 예를 들어, U-Net을 포함할 수 있으며, 이 뿐만 아니라 본 발명에 적용 가능한 다양한 종류의 뉴럴 네트워크를 포함할 수 있다.
컨볼루션 프레임렛은 국소 기저 및 비국소 기저를 통해 입력 신호를 표현하는 방식을 의미하는 것으로, 딥 컨볼루션 뉴럴 네트워크의 블랙박스 특성을 밝히기 위해 딥 컨볼루션 프레임렛의 새로운 수학 이론에 대한 연구(Ye, JC., Han, Y., Cha, E.: Deep convolutional framelets: a general deep learning framework for inverse problems. SIAM Journal on Imaging Sciences 11(2), 991-1048(2018))에 상세하게 설명되어 있다.
희소 k-공간 가외치로서의 모션 아티팩트
모션 아티팩트와 관련된 기존 연구들을 통해 MR 모션 아티팩트의 특성을 이해할 수 있다. 자기 공명 영상의 데이터 획득은 푸리에 공간(k-space)에서 이루어지며, 푸리에 공간의 계수들은 복소수 값을 가진다. 만약 영상 촬영 중 환자의 움직임이 있으면, 푸리에 공간에서 위상 부호화(phase encoding) 방향을 따라 복소수 값들의 위상에 변화가 생긴다. 이는 아래 <수학식 1>과 같이 나타낼 수 있다.
[수학식 1]
Figure pat00001
여기서,
Figure pat00002
와
Figure pat00003
는 각각 모션 아티팩트가 있는 푸리에 공간 데이터와 모션 아티팩트가 없는 푸리에 공간 데이터를 의미하고, kx와 ky는 각각 주파수 부호화(frequency encoding) 방향과 위상 부호화 방향의 좌표를 의미하며,
Figure pat00004
는 ky에서의 위상 이동을 의미하고,
Figure pat00005
는 이동이 발생한 위상 부호화 방향 좌표들을 의미할 수 있다.
상기 수학식 1은 모션 아티팩트가 위상 변동을 유발하며, 위상 인코딩 방향을 따라 k-공간 희소 가외치로서 나타난다는 것을 의미한다.
도 1은 위상 인코딩 방향에 따른 k-공간에서의 희소 가외치들에 대한 일 예시도를 나타낸 것으로, 도 1a는 2D 영상에 대한 k-공간에서의 희소 가외치들을 나타낸 것이고, 도 1b는 3D 영상에 대한 k-공간에서의 희소 가외치들을 나타낸 것이다.
도 1a에 도시된 바와 같이, MR 영상이 2D 영상에 의해 획득되는 경우 위상 인코딩 방향을 따라 희소 가외치가 나타나고, 도 1b에 도시된 바와 같이, 3D 영상촬영에서는 2차원 위상 인코딩 단계가 필요하며, 3D k-공간 볼륨에서 희소 가외치가 발생한다. 3D 영상에서 이러한 희소 가외치를 해결하려면 시상 방향을 따라 2D 영상을 처리해야 한다. 그러나 영상의 크기와 내용이 환자에 따라 일치하지 않기 때문에 시상 단면 영상을 사용하여 네트워크를 트레이닝하는 것도 어렵다. 더욱이 도 1b의 위상 인코딩 1 방향의 차원은 위상 인코딩 2 방향의 차원보다 일반적으로 상당히 작다. 반면 모든 축 단면 영상은 크기가 같고 내용이 일정하다. 또한 위상 인코딩 1 방향을 따라 3D k-공간 볼륨에 대해 1D 푸리에 변환을 적용하면 도 1b에 도시된 바와 같이 2D 축 단면의 k-공간에서 누적된 희소 가외치로 변환할 수 있다. 따라서, 희소 가외치들은 위상 인코딩 방향을 따라 2D k-공간에서 1D 가외치라고 볼 수 있다. 이러한 이유로, 본 발명의 방법은 2D 및 3D 영상을 위해 2D k-공간 평면에서 방향 가외치를 인코딩하는 제거 위상 인코딩 방식으로 설계될 수 있다.
도 2는 본 발명의 일 실시예에 따른 자기 공명 영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 자기 공명 영상 처리 방법은 모션 아티팩트를 제거하기 위한 자기 공명 영상을 수신하고, 수신된 자기 공명 영상을 푸리에 변환하여 다운 샘플링하고 다시 역 푸리에 변환하여 다운 샘플링된 영상을 생성한다(S210, S220).
여기서, 단계 S220은 수신된 자기 공명 영상을 푸리에 변환하여 N개의 랜덤 다운 샘플링하고, 다시 역 푸리에 변환하여 N개의 다운 샘플링된 영상들을 생성할 수도 있다.
단계 S220에 의해 다운 샘플링된 영상이 생성되면, 생성된 다운 샘플링된 영상을 입력으로 하는 비지도 학습(unsupervised learning) 기반으로 학습된 뉴럴 네트워크를 이용하여 생성된 다운 샘플링된 영상에 포함된 모션 아티팩트를 제거함으로써, 자기 공명 영상에서 모션 아티팩트가 제거된 최종 자기 공명 영상을 복원한다(S230).
이 때, 단계 S230은 단계 S220에서 생성된 N개의 다운 샘플링된 영상들을 뉴럴 네트워크에 입력하여, N개의 다운 샘플링된 영상들 각각에 대응하는 자기 공명 영상들을 출력하고, 출력된 자기 공명 영상들의 집합(aggregation)에 기초하여 최종 자기 공명 영상을 복원할 수 있다.
이 때, 단계 S230은 출력된 자기 공명 영상들의 평균에 기초하여 최종 자기 공명 영상을 복원할 수도 있다.
본 발명의 방법에서 사용되는 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크 및 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 중 어느 하나의 뉴럴 네트워크를 포함할 수 있고, 뉴럴 네트워크는 모션 아티팩트가 없는 클린 영상만을 이용하여 트레이닝될 수 있다.
이러한 본 발명의 방법에 대하여 조금 더 상세히 설명하면 다음과 같다.
모션 아티팩트 보정을 위한 부트스트랩 집합(Bootstrap Aggregation)
부트스트랩 집합은 부트스트랩 샘플링과 결과의 집합을 사용하여 기본 학습자의 정확성을 향상시키는 고전적인 머신러닝 기술이다. 부트스트랩 집합의 근거는 단순한 학습자 몇 명을 트레이닝시켜 하나의 강한 학습자 한 명을 학습하는 것보다 더 복잡한 학습자로 결합하는 것이 더 쉬울 수 있다는 것이다.
MR 딥러닝의 맥락에서 부트스트랩 집합은 아래 <수학식 2>와 같이 나타낼 수 있다.
[수학식 2]
Figure pat00006
여기서,
Figure pat00007
는 k-공간 데이터를 의미하고,
Figure pat00008
는 재구성된 영상을 의미하며, Ln은 n번째 k-공간 서브 샘플링을 의미하고,
Figure pat00009
는 서브 샘플링된 k-공간 데이터에서 영상을 재구성하는
Figure pat00010
에 의해 매개변수화된 재구성 네트워크를 의미하며, wn은 가중치 팩터를 의미할 수 있다. 즉, 최종 영상은 각 k-공간 서브 샘플링으로부터 개별 재구성 결과를 집합하여 얻는다.
전체 k-공간 데이터를 사용할 수 있는 경우 부트스트랩 집합의 이점은 분명하지 않은 것으로 나타날 수 있다. 그러나 본 발명은 부트스트랩 집합이 단순히 더 강한 심층 학습자를 사용하는 것이 아니라 압축 센싱 MRI에서 여전히 고품질 영상 재구성을 제공할 수 있다. 본 발명의 가장 중요한 기여 중 하나는 상기 수학식 1의 희소 가외치 모델이 일부 샘플링 인스턴스 Ln에 대하여 아래 <수학식 3>과 같은 주요 관찰로 이어지기 때문에 상기 수학식 2의 부트스트랩 집합의의 이점은 모션 아티팩트 제거의 맥락에서 더 강조될 수 있다.
[수학식 3]
Figure pat00011
이는 위상 인코딩 방향을 따라 1D 서브 샘플링을 사용할 경우 서브 샘플링 작업 Ln은 상기 수학식 1에서 희소 가외치를 많이 제거할 수 있기 때문이다. 따라서 모션 아티팩트의 기여도를 감소시켜 상기 수학식 2의 결과 부트스트랩 집합 추정치가 아티팩트 프리 영상에 훨씬 가까워질 수 있다.
도 3는 본 발명의 모션 아티팩트 제거 방법을 설명하기 위한 일 예시도를 나타낸 것으로, 도 3a는 트레이닝 과정에 대한 일 예시도를 나타낸 것이고, 도 3b는 실제 테스트 과정에 대한 일 예시도를 나타낸 것이다.
도 3a에 도시된 바와 같이, 트레이닝 단계에서 클린 영상은 k-공간 도메인에서 다운 샘플링되고 앨리어싱된(aliased) 영상을 원래의 완전 샘플링된 고품질 영상으로 재구성하도록 트레이닝될 수 있다. 이 때, 본 발명은 트레이닝 단계에서 아티팩트 프리 데이터인 클린 영상만을 사용하고 모션 아티팩트 데이터를 사용하지 않는 비지도 학습 방식으로 뉴럴 네트워크를 트레이닝할 수 있다. 즉, 학습 과정에서 뉴럴 네트워크는 다운샘플링 된 깨끗한 영상(클린 영상)을 완전하게 샘플링된 원래의 깨끗한 영상으로 복원하는 방법을 배우며, 이 과정에서 최적 운송 유도 cycleGAN을 이용한다. 최적 운송 cycleGAN은 다운샘플링 된 영상에 대응하는 완전히 샘플링된 영상이 없더라도 학습 가능한 비지도 학습 기법이다.
도 3a의 상부를 참조하면, 클린 영상은 k-공간 도메인에서 무작위로 다운 샘플링된 후, 뉴럴 네트워크은 다운샘플린된 영상을 다시 원래의 클린 영상으로 복원할 수 있도록 학습을 수행한다. 도 3a의 하부를 참조하면, 이미 다운 샘플링 된 영상은 뉴럴 네트워크를 통하여 복원된 후, 다시 다운 샘플링된다. 다시 다운 샘플링된 영상과 처음 다운 샘플링 된 영상은 서로 비교된다. 즉, 뉴럴 네트워크는 영상을 복원하는 과정에서 다운 샘플링 되지 않은 데이터가 원래의 형태로 유지하도록 하는 역할을 수행한다. 또한 판별기(D)는 뉴럴 네트워크가 만들어낸 영상이 진짜인지 가짜인지 판별한다. 뉴럴 네트워크는 판별기를 속이기 위해 학습되며, 이 과정에서 진짜와 같은 클린 영상이 복원된다.
구체적으로, 클린 영상(fully-sampled motion-free image)은 푸리에 스펙트럼으로 변환되며, 그 다음 k-공간 서브 샘플링에 의해 다운 샘플링되어 역 푸리에 변환을 통해 다운 샘플링된 영상(downsampled motion-free image)이 생성된다. 이러한 다운 샘플링된 영상은 뉴럴 네트워크의 입력이 되고 원래의 클린 영상이 라벨이나 대상으로 사용된다. 따라서, 뉴럴 네트워크는 트레이닝 단계에서 다운 샘플링된 영상을 재구성하여 완전히 샘플링하는 방법을 학습한다. 한편, 모션 아티팩트가 있는 영상(fully-sampled motion artifact image)은 도 3b에 도시된 바와 같이, 테스트 단계에서 사용된다. 모션 아티팩트 영상은 우선 푸리에 도메인 데이터로 변환된 후 복수의 임의 서브 샘플링을 적용하여 여러 개의 앨리어싱된 영상(N downsampled motion artifact images)을 얻는다. k-공간 서브 샘플링은 모션으로 인한 위상 오류가 있는 k-공간 가외치 일부를 삭제할 수 있다. 이 과정에서 모션 아티팩트가 있는 일부 푸리에 공간 계수들이 사라지며, 다운 샘플링된 모션 아티팩트가 있는 영상은 다운 샘플링된 모션 아티팩트가 없는 영상과 비슷해진다. 따라서, 트레이닝된 뉴럴 네트워크에 의해 재구성된 다운 샘플링된 아티팩트 영상일 경우 뉴럴 네트워크는 완전히 샘플링된 영상을 재구성하는 트레이닝을 받았기 때문에 모션 아티팩트가 줄어든 영상을 획득할 수 있다. 그런 다음 각 앨리어싱된 영상의 뉴럴 네트워크 출력을 집합하여 최종 재구성 영상을 획득한다. 더불어, 다수의 무작위 샘플링을 거친 영상을 만들어 각각 네트워크에 통과시킨 뒤, 복원 영상들의 평균을 구하면 도 3b와 같이 모션 아티팩트가 제거된 영상을 얻을 수 있다.
본 발명의 방법의 또 다른 중요한 이점은 k-공간 데이터를 이용할 수 있다면 본 발명의 방법도 사용될 수 있다는 것이다. 이 경우 서브 샘플링은 영상 데이터에서 합성된 k-공간 데이터보다는 실제 k-공간 데이터에 직접 적용될 수 있다.
어떤 샘플링 패턴은 주로 아티팩트 프리 k-공간 데이터를 제거하고 심각한 아티팩트 영상으로 이어지기 때문에 전체적인 집합은 영상 품질을 바꾸지 않는다고 생각할 수 있다. 그러나, 본 발명의 중요한 핵심적 관찰 중 하나는 뉴럴 네트워크가 도 3a에 도시된 바와 같이 아티팩트 프리 영상을 사용하여 트레이닝되면 뉴럴 네트워크가 몇 개의 손상된 k-공간 데이터에서도 아티팩트 프리 영상인 클린 영상을 생성하도록 편중되기 때문에 전체적인 집합은 영상 화질을 크게 향상시키는 것으로 이어진다. 또한, 다음의 명제는 각 개별 서브 샘플링 패턴에 대한 추정 오차가 평균적으로 더 심할 수 있지만, 집합된 추정은 항상 오차를 감소시켜 부트스트랩 서브 샘플링 이후의 집합 사용을 정당화한다는 것을 보여준다.
명제 1.
Figure pat00012
이라 하자.
Figure pat00013
이고
Figure pat00014
는 진짜 영상을 나타낸다 하면 아래 수학식을 얻을 수 있다.
Figure pat00015
증명.
Figure pat00016
을 활용하여 얻는다.
Figure pat00017
여기서, 부등식에 대하여 옌센 부등식(Jensen's inequality)을 활용한다.
실험 데이터셋
본 발명은 두 개의 데이터셋을 사용한다. 첫 번째 데이터셋은 인간의 뇌 MR 이미지를 포함하는 인간 connectome 프로젝트(HCP) 데이터로, HCP 데이터셋을 얻기 위해 3D 스핀 에코 이미징이 적용된 특정 시스템이 사용될 수 있다. HCP 데이터의 획득을 위한 영상 파라미터는 다음과 같다. 에코 트레이닝 지속시간 = 1105, TR = 3200 ms, TE = 565 ms, 매트릭스 크기 = 320 Х 320, 복셀 크기 = 0.7 mm Х 0.7 mm Х 0.7 mm이다. HCP 데이터셋은 오직 강도 영상으로만 구성된다. 이것은 시뮬레이션된 모션을 이용한 본 발명의 방법의 성능의 정량적 검증에 이용될 수 있다. 시뮬레이션된 모션 아티팩트로 MR 영상을 획득하기 위해, 강도 영상의 푸리에 변환을 취하여 k-공간 데이터를 합성한다. 본 발명은 150 MR 볼륨을 트레이닝용으로 사용하고 나머지 40 볼륨은 시험용으로 사용할 수 있다. 각 볼륨에는 20개의 뇌 영상이 들어 있어 트레이닝과 시험 데이터에는 각각 3000개와 800MR 슬라이스가 들어 있다.
두 번째 데이터셋은 미리 수집된 Gd-EOB-DTPA 대비 체내 간 MR 데이터이다. 이 데이터셋은 3T 필드 강도와 3D 경사 에코를 가진 특정 MR 영상 시스템에 의해 획득될 수 있다. 간 MRI 데이터 수집 매개변수는 다음과 같다. 에코 트레이닝 지속시간 = 27, TR = 3217 ms, TE = 1595 ms, 매트릭스 크기 = 512Х512, 픽셀 크기 = 0.664 mmХ0.664 mm이다. 데이터가 DICOM 형식으로 제공되었기 때문에 이 데이터셋에는 강도 영상만 포함되어 있다. 이 간 MRI 데이터셋에는 23명 환자의 깨끗한 데이터와 20명 환자의 아티팩트 데이터가 포함되어 있다. Gd-EOB-DTPA 조영제 투여로 간 MRI의 모션 아티팩트는 주로 동맥 상에서 발생한다. 23개의 깨끗한 볼륨 중 18 볼륨(3097 슬라이스)이 본 발명의 뉴럴 네트워크를 트레이닝시키는데 사용될 수 있고, 20개의 환자 아티팩트 데이터(3412 슬라이스)는 본 발명의 방법이 실제 모션 아티팩트 데이터에 적용될 수 있는지 확인하기 위한 시험에 사용될 수 있다. 또한 정량적 평가를 위해 다른 시뮬레이션 연구를 위한 시험 데이터셋으로 사용된 나머지 5개의 깨끗한 볼륨(888 슬라이스)을 사용하여 합성 모션 데이터도 생성할 수 있으며, 또한 이 데이터셋의 모든 영상은 384Х512 크기로 잘라내어 영상의 마진을 제거한다.
네트워크 아키텍처
본 발명의 재구성 네트워크를 위한 네트워크 백본 아키텍처는 도 4에 도시된 바와 같다. 즉, 도 4에 도시된 바와 같이, 본 발명의 네트워크 아키텍처는 U-Net에 기반을 두고 있으며, 그것은 컨볼루션 계층, 인스턴스 정규화 계층, 활성화 계층 및 풀링 계층으로 구성되어 있다. 또한, 재구축 성능을 개선하기 위해 적응형 잔여 학습(adaptive residual learning)을 채택할 수 있다. 구체적으로, 네트워크의 원래 출력과 잔여 출력이 채널 연동에 의해 결합되며, 여기에서 마지막 1 Х 1 컨볼루션 계층을 사용하여 최종 출력이 생성된다. 물론, 본 발명의 뉴럴 네트워크는 상술한 네트워크 구조로 한정되지 않으며, 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크 및 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크를 포함할 수도 있다.
본 발명의 모델의 성능을 검증하기 위해 MR 모션 아티팩트 보정에 두 가지 최첨단 방법을 사용한다. 첫 번째 방법은 MARC로, 컨볼루션 뉴럴 네트워크를 이용하여 간 MRI에 대한 모션 아티팩트를 줄일 수 있다. 본 발명의 방법은 시뮬레이션된 데이터로 MARC를 트레이닝시키고, 시뮬레이션된 데이터와 실제 모션 아티팩트 데이터 둘 다에서 이 모델을 시험한다. 또한, 비교를 위해 본 발명은 MARC를 트레이닝시키기 위해 동맥 위상 영상만을 사용할 수 있다.
다음으로 Cycle-MedGAN V2.0을 비교 방법으로 채용한다. Cycle-MedGAN V2.0은 모션 아티팩트 보정을 위한 cycleGAN을 기반으로 한 쌍이 없는 학습 방법이다. 따라서, 실제 데이터와 시뮬레이션 데이터를 모두 사용하여 트레이닝할 수 있다. 따라서, 실제 및 시뮬레이션된 모션 아티팩트 데이터 모두를 사용하여 Cycle-MedGAN V2.0을 트레이닝하고 시험한다. Cycle-MedGAN V2.0에는 실제 아티팩트 데이터셋이 필요하므로, CycleGAN 네트워크를 트레이닝하기 위해 3096개의 실제 아티팩트 영상을 추가로 수집할 수 있다.
아티팩트 시뮬레이션
정량적 평가를 위해 시뮬레이션된 모션 아티팩트 데이터를 사용할 수 있다. 엄격한(rigid) 모션 아티팩트 생성의 경우 위상 인코딩 방향을 따르는 위상 오차는 아래 <수학식 4>를 가진 상기 수학식 1로 공식화할 수 있다.
[수학식 4]
Figure pat00018
여기서,
Figure pat00019
는 k-공간 라인 k에서의 모션 정도를 의미하며 k0은 중심 k-공간 필링(filling_에 의한 위상 오차의 지연 시간을 의미할 수 있다. 따라서, 본 발명은 뇌 MRI 데이터에 대해 엄격한 랜덤 모션을 시뮬레이션하기 위해 상기 수학식 4를 활용할 수 있다. 여기서, k0은 π/10에 고정되고
Figure pat00020
는 각 k-공간 라인에서 랜덤하게 선택될 수 있다.
한편, 호흡 동작에 의한 위상 오차는 사인함수의 한 형태로 k-공간에서 나타날 수 있으며, 아래 <수학식 5>와 같이 나타낼 수 있다.
[수학식 5]
Figure pat00021
여기서,
Figure pat00022
및
Figure pat00023
는 각각 기간과 위상 변동을 결정하는 상수로,
Figure pat00024
는 2.5~2.6 cm에 해당하는 픽셀 수일 수 있다. 따라서 상기 수학식 5는 간 MRI 데이터에서 주기적인 모션 아티팩트 생성에 사용된다. k0의 값을 π/10으로 설정하고, 다른 상수의 값을 특정 범위에서 랜덤으로 선택하여 현실적인 호흡 운동 아티팩트를 시뮬레이션할 수 있다.
정량적 평가
시뮬레이션 기반 실험에서는 정량적 측정 기준을 사용하여 방법의 성능을 평가한다. 성능 평가에 일반적으로 사용되는 최대 신호 대 잡음 비(PSNR)와 구조 유사도 지수 메트릭(SSIM)의 두 가지 정량적 측정 기준을 선택한다. 첫째, 평균 제곱 오차(MSE)는 아래 <수학식 6>와 같이 나타낼 수 있다.
[수학식 6]
Figure pat00025
여기서, N은 픽셀 수를 의미하고, x는 실측 클린 영상을 의미하며,
Figure pat00026
는 아티팩트 영상에서 재구성된 영상을 의미할 수 있다. PSNR은 MSE에 의해 정의될 수 있으며, 아래 <수학식 7>과 같이 나타낼 수 있다.
[수학식 7]
Figure pat00027
여기서, MAXx는 영상의 가능한 최대 픽셀 값을 의미할 수 있다.
SSIM은 아래 <수학식 8>과 같이 나타낼 수 있다.
[수학식 8]
Figure pat00028
여기서,
Figure pat00029
는 각 영상의 평균을 의미하고,
Figure pat00030
는 영상의 분산을 의미하며,
Figure pat00031
는 영상의 공분산을 의미하고, c1 = (k1L)2, c2 = (k2L)2는 분모가 약한 분열을 안정화하기 위한 변수를 의미할 수 있다. 여기서, L은 픽셀 값의 동적 범위이며, 기본적으로 k1 = 0.01, k2 = 0.03일 수 있다.
트레이닝 세부 정보
부트스트랩 서브 샘플링의 경우 위상 인코딩 방향을 따라 1D 가우스 랜덤 샘플링 전략을 사용한다. 1D 가우스 랜덤 샘플링에서 k-공간 중심 부근의 선은 주변부의 선보다 더 많이 샘플링된다. 또한 가속도 계수 R을 3으로 설정할 수 있으며, 뇌와 간 데이터셋을 이용한 실험에서 자동교정 신호(ACS) 부위는 각각 6% 또는 11%의 중심 k-공간 라인을 포함할 수 있다.
데이터 정규화를 위해 각 MR 영상을 픽셀 값의 표준 편차로 나눈다. 뉴럴 네트워크를 트레이닝시키기 위해 본 발명은 모멘텀 파라미터 β1 = 0.9, β2 = 0.999를 가진 아담 옵티마이저를 사용할 수 있다. 또한, 본 발명은 L1 손실을 배치 사이즈 1로 사용하고, 초기 학습률은 10-4로 설정할 수 있으며, 약 8Х10-7이 될 때까지 20 에포크마다 감소시킬 수 있다. 본 발명의 모델은 200 에포크를 목표로 트레이닝될 수 있으며, 텐서플로우에 의해 구현될 수 있다.
도 5는 본 발명의 방법과 기존 방법에 의한 뇌 영상에 대한 모션 아티팩트 제거 결과를 비교한 일 예시도를 나타낸 것으로, 시뮬레이션 모션 아티팩트에 대한 것이며, 도 5a는 아티팩트 영상을 나타낸 것이고, 도 5b는 본 발명의 방법에 의한 결과 영상을 나타낸 것이며, 도 5c는 MARC에 의한 결과 영상을 나타낸 것이고, 도 5d는 cycle-MedGAN V2.0에 의한 결과 영상을 나타낸 것이며, 도 5e는 실측 영상(ground-truth)을 나타낸 것이다.
여기서, 도 5는 영상의 윈도우 레벨이 조절되며, PSNR 및 SSIM 값은 영상 모서리에 표시되며, 차이 영상을 일정 크기 예를 들어, 3배로 증폭될 수 있다.
도 5를 통해 알 수 있듯이, 시뮬레이션을 통해 생성한 모션 아티팩트는 도 5a와 같이 나타나며, 기존에 존재하던 기법들(도 5c와 도 5d)은 시뮬레이션 모션 아티팩트를 완전히 제거하지 못하는 반면 본 발명의 방법(도 4b)은 기존의 기법들보다 더 깨끗한 영상을 제공하는 것을 알 수 있다.
도 6는 본 발명의 방법과 기존 방법에 의한 간 영상에 대한 모션 아티팩트 제거 결과를 비교한 일 예시도를 나타낸 것으로, 실제 모션 아티팩트에 대한 것이며, 도 6a는 실제 아티팩트 영상을 나타낸 것이고, 도 6b는 본 발명의 방법에 의한 결과 영상을 나타낸 것이며, 도 6c는 MARC에 의한 결과 영상을 나타낸 것이고, 도 6d는 cycle-MedGAN V2.0에 의한 결과 영상을 나타낸 것이다.
도 6을 통해 알 수 있듯이, 기존에 존재하던 기법들(도 6c와 도 6d)은 영상을 심각하게 흐리게 만들거나 모션 아티팩트를 제거하지 못하는 반면 본 발명의 방법(도 6b)은 실제 모션 아티팩트를 제거하여 선명한 영상(또는 클린 영상)을 제공할 수 있는 것을 알 수 있다.
이와 같이, 본 발명의 실시예들에 따른 방법은 비지도 학습 기반의 뉴럴 네트워크를 이용하여 자기 공명 영상의 모션 아티팩트를 제거함으로써, 선명하고 깨끗한 모션 아티팩트 제거 영상을 제공할 수 있다.
또한, 본 발명의 실시예들에 따른 방법은 모션 아티팩트를 제거하여 기존 영상에서 발견할 수 없었던 병변을 관찰할 수 있게 함으로써, 진단에 더 많은 정보를 제공할 수 있으며, 자기 공명 영상의 강도 영상(magnitude image)만 있는 경우에도 적용할 수 있다.
또한, 본 발명의 실시예들에 따른 방법은 실제 모션 아티팩트 영상에 적용할 수 있으며, 기존의 방법들보다 빠른 속도로 모션 아티팩트가 제거된 영상을 제공할 수 있다.
도 7은 본 발명의 일 실시예에 따른 자기 공명 영상 처리 장치에 대한 구성을 나타낸 것으로, 도 1 내지 도 6의 방법을 수행하는 장치에 대한 개념적인 구성을 나타낸 것이다.
도 7을 참조하면, 본 발명의 실시예에 따른 장치(700)는 수신부(710), 생성부(720)와 복원부(730)를 포함한다.
수신부(710)는 모션 아티팩트를 제거하기 위한 자기 공명 영상을 수신한다.
생성부(720)는 수신된 자기 공명 영상을 푸리에 변환하여 다운 샘플링하고 다시 역 푸리에 변환하여 다운 샘플링된 영상을 생성한다.
여기서, 생성부(720)는 수신된 자기 공명 영상을 푸리에 변환하여 N개의 랜덤 다운 샘플링하고, 다시 역 푸리에 변환하여 N개의 다운 샘플링된 영상들을 생성할 수도 있다.
복원부(730)는 생성된 다운 샘플링된 영상을 입력으로 하는 비지도 학습(unsupervised learning) 기반으로 학습된 뉴럴 네트워크를 이용하여 생성된 다운 샘플링된 영상에 포함된 모션 아티팩트를 제거함으로써, 자기 공명 영상에서 모션 아티팩트가 제거된 최종 자기 공명 영상을 복원한다.
이 때, 복원부(730)는 생성부(720)에 의해 생성된 N개의 다운 샘플링된 영상들을 뉴럴 네트워크에 입력하여, N개의 다운 샘플링된 영상들 각각에 대응하는 자기 공명 영상들을 출력하고, 출력된 자기 공명 영상들의 집합(aggregation)에 기초하여 최종 자기 공명 영상을 복원할 수 있다.
이 때, 복원부(730)는 출력된 자기 공명 영상들의 평균에 기초하여 최종 자기 공명 영상을 복원할 수도 있다.
여기서, 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크 및 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 중 어느 하나의 뉴럴 네트워크를 포함할 수 있고, 뉴럴 네트워크는 모션 아티팩트가 없는 클린 영상만을 이용하여 트레이닝될 수 있다.
비록, 도 7의 장치에서 그 설명이 생략되었더라도, 도 7을 구성하는 각 구성 수단은 도 1 내지 도 6에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 모션 아티팩트를 제거하기 위한 자기 공명 영상을 수신하는 단계; 및
    상기 수신된 자기 공명 영상을 푸리에 변환하여 다운 샘플링하고 다시 역 푸리에 변환하여 다운 샘플링된 영상을 생성하는 단계; 및
    상기 생성된 다운 샘플링된 영상을 입력으로 하는 비지도 학습(unsupervised learning) 기반으로 학습된 뉴럴 네트워크를 이용하여 상기 생성된 다운 샘플링된 영상에 포함된 모션 아티팩트를 제거함으로써, 상기 자기 공명 영상에서 모션 아티팩트가 제거된 최종 자기 공명 영상을 복원하는 단계
    를 포함하는 자기 공명 영상 처리 방법.
  2. 제1항에 있어서,
    상기 다운 샘플링된 영상을 생성하는 단계는
    상기 수신된 자기 공명 영상을 푸리에 변환하여 N개의 랜덤 다운 샘플링하고, 다시 역 푸리에 변환하여 N개의 다운 샘플링된 영상들을 생성하며,
    상기 최종 자기 공명 영상을 복원하는 단계는
    상기 N개의 다운 샘플링된 영상들을 상기 뉴럴 네트워크에 입력하여, 상기 N개의 다운 샘플링된 영상들 각각에 대응하는 자기 공명 영상들을 출력하고, 상기 출력된 자기 공명 영상들의 집합(aggregation)에 기초하여 상기 최종 자기 공명 영상을 복원하는 것을 특징으로 하는 자기 공명 영상 처리 방법.
  3. 제2항에 있어서,
    상기 최종 자기 공명 영상을 복원하는 단계는
    상기 출력된 자기 공명 영상들의 평균에 기초하여 상기 최종 자기 공명 영상을 복원하는 것을 특징으로 하는 자기 공명 영상 처리 방법.
  4. 제1항에 있어서,
    상기 뉴럴 네트워크는
    컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크 및 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 중 어느 하나의 뉴럴 네트워크를 포함하는 것을 특징으로 하는 자기 공명 영상 처리 방법.
  5. 제1항에 있어서,
    상기 뉴럴 네트워크는
    모션 아티팩트가 없는 클린 영상만을 이용하여 트레이닝되는 것을 특징으로 하는 자기 공명 영상 처리 방법.
  6. 모션 아티팩트를 제거하기 위한 자기 공명 영상을 수신하는 수신부; 및
    상기 수신된 자기 공명 영상을 푸리에 변환하여 다운 샘플링하고 다시 역 푸리에 변환하여 다운 샘플링된 영상을 생성하는 생성부; 및
    상기 생성된 다운 샘플링된 영상을 입력으로 하는 비지도 학습(unsupervised learning) 기반으로 학습된 뉴럴 네트워크를 이용하여 상기 생성된 다운 샘플링된 영상에 포함된 모션 아티팩트를 제거함으로써, 상기 자기 공명 영상에서 모션 아티팩트가 제거된 최종 자기 공명 영상을 복원하는 복원부
    를 포함하는 자기 공명 영상 처리 장치.
  7. 제6항에 있어서,
    상기 생성부는
    상기 수신된 자기 공명 영상을 푸리에 변환하여 N개의 랜덤 다운 샘플링하고, 다시 역 푸리에 변환하여 N개의 다운 샘플링된 영상들을 생성하며,
    상기 복원부는
    상기 N개의 다운 샘플링된 영상들을 상기 뉴럴 네트워크에 입력하여, 상기 N개의 다운 샘플링된 영상들 각각에 대응하는 자기 공명 영상들을 출력하고, 상기 출력된 자기 공명 영상들의 집합(aggregation)에 기초하여 상기 최종 자기 공명 영상을 복원하는 것을 특징으로 하는 자기 공명 영상 처리 장치.
  8. 제7항에 있어서,
    상기 복원부는
    상기 출력된 자기 공명 영상들의 평균에 기초하여 상기 최종 자기 공명 영상을 복원하는 것을 특징으로 하는 자기 공명 영상 처리 장치.
  9. 제6항에 있어서,
    상기 뉴럴 네트워크는
    컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크 및 풀링 레이어와 언풀링 레이어를 포함하는 뉴럴 네트워크 중 어느 하나의 뉴럴 네트워크를 포함하는 것을 특징으로 하는 자기 공명 영상 처리 장치.
  10. 제6항에 있어서,
    상기 뉴럴 네트워크는
    모션 아티팩트가 없는 클린 영상만을 이용하여 트레이닝되는 것을 특징으로 하는 자기 공명 영상 처리 장치.
KR1020210022422A 2021-02-19 2021-02-19 비지도 학습 기반 자기 공명 영상 처리 방법 및 그 장치 KR102514804B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210022422A KR102514804B1 (ko) 2021-02-19 2021-02-19 비지도 학습 기반 자기 공명 영상 처리 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210022422A KR102514804B1 (ko) 2021-02-19 2021-02-19 비지도 학습 기반 자기 공명 영상 처리 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20220118692A true KR20220118692A (ko) 2022-08-26
KR102514804B1 KR102514804B1 (ko) 2023-03-29

Family

ID=83113143

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210022422A KR102514804B1 (ko) 2021-02-19 2021-02-19 비지도 학습 기반 자기 공명 영상 처리 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102514804B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190138107A (ko) * 2018-06-04 2019-12-12 한국과학기술원 뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치
JP2020144133A (ja) * 2018-09-26 2020-09-10 太平洋セメント株式会社 生コンクリートの品質予測方法
WO2020219915A1 (en) * 2019-04-24 2020-10-29 University Of Virginia Patent Foundation Denoising magnetic resonance images using unsupervised deep convolutional neural networks
KR20210005633A (ko) * 2018-04-19 2021-01-14 서틀 메디컬, 인크. 딥 러닝을 사용하여 자기 공명 이미징을 향상시키기 위한 시스템들 및 방법들

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210005633A (ko) * 2018-04-19 2021-01-14 서틀 메디컬, 인크. 딥 러닝을 사용하여 자기 공명 이미징을 향상시키기 위한 시스템들 및 방법들
KR20190138107A (ko) * 2018-06-04 2019-12-12 한국과학기술원 뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치
JP2020144133A (ja) * 2018-09-26 2020-09-10 太平洋セメント株式会社 生コンクリートの品質予測方法
WO2020219915A1 (en) * 2019-04-24 2020-10-29 University Of Virginia Patent Foundation Denoising magnetic resonance images using unsupervised deep convolutional neural networks

Also Published As

Publication number Publication date
KR102514804B1 (ko) 2023-03-29

Similar Documents

Publication Publication Date Title
Zhou et al. Handbook of medical image computing and computer assisted intervention
Ghodrati et al. MR image reconstruction using deep learning: evaluation of network structure and loss functions
Bustin et al. From compressed-sensing to artificial intelligence-based cardiac MRI reconstruction
Schlemper et al. A deep cascade of convolutional neural networks for dynamic MR image reconstruction
US10671939B2 (en) System, method and computer-accessible medium for learning an optimized variational network for medical image reconstruction
Otazo et al. Low‐rank plus sparse matrix decomposition for accelerated dynamic MRI with separation of background and dynamic components
WO2020114329A1 (zh) 磁共振快速参数成像方法及装置
Pal et al. A review and experimental evaluation of deep learning methods for MRI reconstruction
Hammernik et al. Machine learning for image reconstruction
Kelkar et al. Prior image-constrained reconstruction using style-based generative models
Hammernik et al. Physics-driven deep learning for computational magnetic resonance imaging: Combining physics and machine learning for improved medical imaging
Yang et al. Generative Adversarial Networks (GAN) Powered Fast Magnetic Resonance Imaging--Mini Review, Comparison and Perspectives
Vasudeva et al. Compressed sensing mri reconstruction with co-vegan: Complex-valued generative adversarial network
Manimala et al. Sparse MR image reconstruction considering Rician noise models: A CNN approach
Lim et al. Motion artifact correction in fetal MRI based on a Generative Adversarial network method
Sander et al. Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI
US20230342886A1 (en) Method and system for low-field mri denoising with a deep complex-valued convolutional neural network
Zong et al. Fast reconstruction of highly undersampled MR images using one and two dimensional principal component analysis
WO2023219963A1 (en) Deep learning-based enhancement of multispectral magnetic resonance imaging
Liu et al. High-Fidelity MRI Reconstruction Using Adaptive Spatial Attention Selection and Deep Data Consistency Prior
KR102514804B1 (ko) 비지도 학습 기반 자기 공명 영상 처리 방법 및 그 장치
US11941732B2 (en) Multi-slice MRI data processing using deep learning techniques
WO2012061475A2 (en) Systems and methods for fast magnetic resonance image reconstruction
Liu et al. Low-rank tensor subspace decomposition with weighted group sparsity for the acceleration of non-cartesian dynamic MRI
Bazzi et al. On single-image super-resolution in 3d brain magnetic resonance imaging

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right