KR102163337B1 - 언더샘플링 방향 변화를 통한 다중영상획득 mri의 고속화 방법 및 이를 위한 장치 - Google Patents

언더샘플링 방향 변화를 통한 다중영상획득 mri의 고속화 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR102163337B1
KR102163337B1 KR1020190003238A KR20190003238A KR102163337B1 KR 102163337 B1 KR102163337 B1 KR 102163337B1 KR 1020190003238 A KR1020190003238 A KR 1020190003238A KR 20190003238 A KR20190003238 A KR 20190003238A KR 102163337 B1 KR102163337 B1 KR 102163337B1
Authority
KR
South Korea
Prior art keywords
phase encoding
encoding lines
mri
mri image
space
Prior art date
Application number
KR1020190003238A
Other languages
English (en)
Other versions
KR20190086390A (ko
Inventor
박성홍
김기환
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to US16/246,598 priority Critical patent/US11029381B2/en
Publication of KR20190086390A publication Critical patent/KR20190086390A/ko
Application granted granted Critical
Publication of KR102163337B1 publication Critical patent/KR102163337B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

MRI 장치를 이용하여, 제1방향을 따라 언더샘플링하여 얻은 제1위상인코딩라인들을 획득하는 단계, 상기 제1방향과는 다른 제2방향을 따라 언더샘플링하여 얻은 제2위상인코딩라인들을 획득하는 단계, 상기 제1위상인코딩라인들과 상기 제2위상인코딩라인들을 기초로 제1 MRI 이미지를 생성하는 단계, 및 상기 제1위상인코딩라인들과 상기 제2위상인코딩라인들을 기초로 상기 제1 MRI 이미지와는 다른 제2 MRI 이미지를 생성하는 단계를 포함하는 MRI 이미지 생성방법을 공개한다.

Description

언더샘플링 방향 변화를 통한 다중영상획득 MRI의 고속화 방법 및 이를 위한 장치{Method for accelerating multiple-acquisition magnetic resonance imaging by varying undersampling-dimension and device for the same}
본 발명은 MRI 스캐너 및 컴퓨팅장치에 관한 것으로서, 특히 MRI를 이용한 다중영상획득을 고속화하는 기술에 관한 것이다.
본 발명의 이해를 위한 배경기술들이 대한민국 특허출원번호 10-2015-0119256 및 대한민국 특허출원번호 10-2015-0119257을 비롯한 다양한 문헌에 공개되어 있다.
대한민국 특허출원번호 10-2015-0119256에는, Balanced Steady-State Free Precession(이하, bSSFP), MRI 이미지의 콘트라스트 강조, 위상인코딩(PE, phase encoding, 위상부호화), PE 경사자장, 센트릭 PE 오더(=센트럴 PE 오더, =센트럴 샘플링 패턴) / 페어링 PE 오더(=페어링 샘플링 패턴) / dAVE PE 오더(=dAVE 샘플링 패턴)와 같은 PE 오더(order), k-스페이스, 및 위상부호화 라인(PE 라인) 등에 관한 기술적 개념이 공개되어 있다.
또한, 대한민국 특허출원번호 10-2015-0119257에는, 고속 자기공명영상, 및 k-스페이스의 구성에 관한 기술적 개념 및 예시가 공개되어 있다.
상기 대한민국 특허출원번호 10-2015-0119256 및 대한민국 특허출원번호 10-2015-0119257의 내용은, 본 발명의 이해를 돕기 위하여 본 명세서에 참조로서 포함된다.
MRI 물리학에서 k-스페이스는 측정된 MR 영상의 2D 또는 3D 푸리에 변환이다. 그 복소수 값은 펄스 시퀀스에 의해 제어되는 미리 계획된 방식, 즉 정확한 타이밍의 무선 주파수 및 그래디언트 펄스의 시퀀스에 의해 MR 측정 중에 샘플링된다. 실제로, k-스페이스는 종종 데이터 획득 중에 디지털화된 MR 신호의 데이터가 저장되는 임시 이미지 공간, 일반적으로 매트릭스를 의미한다. 스캔이 완료되어 k-스페이스가 가득 차면, 데이터가 수학적으로 처리되어 최종 이미지가 생성된다. 따라서 k-스페이스는 재구성 전의 미가공 데이터를 보유한다.
실제 이미지의 경우 해당 k-스페이스는 공액 대칭(conjugate symmetric)이다. 서로 반대의 k-스페이스 좌표의 허수 성분은 서로 반대 부호를 갖는다.
일반적으로 k-스페이스는 최종 이미지와 동일한 수의 행과 열을 가지며 스캔하는 동안 로(raw)-데이터로 채워진다. 일반적으로 1번의 TR (Repetition Time) 당 한 줄의 정보가 채워진다.
MR 이미지는 여기(excitation) 후 특정 시점에서의 샘플에서의 횡단면(transverse) 자화(magnetization)(Mxy)의 공간 분포의 복소수 맵이다. 낮은 공간 주파수(k-스페이스의 중심 부근)는 이미지의 잡음 및 콘트라스트 정보에 대한 신호를 포함하는 반면, 높은 공간 주파수 (k-스페이스의 외주 영역)는 이미지 해상도를 결정한다. 이는, 첫 번째 완전한 k-스페이스가 획득되고 후속 스캔은 k-스페이스의 중앙 부분만 획득하는 스캐닝 기술의 기본이 된다. 이러한 방식으로, 전체 스캔을 실행할 필요 없이 상이한 콘트라스트 이미지가 획득 될 수 있다.
이미지 자화(Mxy)가 콘트라스트-가중된 양성자 밀도에 단순히 비례하도록 준비되고 따라서 실수 값이라면, 좋은 대칭성이 k-스페이스에 존재한다.
k-스페이스 정보에는 약간의 리던던시가 있으며, PE (Phase Encode) 방향 저장 스캐닝 시간 (이러한 기술은 하프 푸리에 (half fourier) 또는 하프 스캔 (half scan)으로 알려져 있다)에서 k-스페이스의 절반만을 사용하여 이미지가 재구성 될 수 있다. 또는 FE (Frequency Encode) 방향에서, 더 낮은 샘플링 주파수 및/또는 보다 짧은 에코 시간을 허용한다(이러한 기법은 하프 에코(half echo)로 알려져 있음). 그러나 이러한 기술은 완벽하게 제어할 수 없는 MRI 데이터의 위상 오류로 인해, 또는 물리적인 문제로 인한 0이 아닌 위상으로 인해 근사값에 해당한다.
일상적인 MRI 프로토콜은 종종 단일 해부 구조에 대한 다중(multiple) 데이터 획득으로 구성된다. 예를 들어, 더 정확한 진단을 위한 다양한 조직 콘트라스트(contrast)를 얻기 위해 동일한 시야(FOV)에 대해 다중 MRI 시퀀스들을 사용하여 여러 이미지를 독립적으로 획득할 수 있다. 동적 감수성 콘트라스트(DSC, dynamic susceptibility contrast)-MRI에서 동적 생리학을 측정하고, 동맥 스핀 라벨링(ASL)에서 신호 대 잡음비(SNR)를 향상시키기 위해서는, 다중 획득이 필요하다. 릴렉소메트리(Relaxometry)와 차감기반 MR 안지오그래피(subtraction-based MR angiography) 역시 다중 획득이 필요하다. 또 다른 예는 밴딩 아티팩트(banding artifacts)를 억제하기 위해, bSSFP(balanced steady-state free precession) 시퀀스를 갖는 이미징이 다중 위상 사이클링(PC)으로 반복되는 경우이다. bSSFP의 밴딩 아티팩트는 RF 펄스의 위상을 조절함으로써 조절될 수 있기 때문에 밴딩 아티팩트 억제를 위한 여러 PC-bSSFP 획득에 기반을 둔 방법이 제안되었다. 이와 같이, MR 영상은 종종 동일한 해부체에서 영상을 여러 번 필요로 하는데, 이를 다중 획득 MRI라고 부를 수 있다.
다중 획득 MRI는 긴 스캔 시간을 필요로 하기 때문에 MRI 스캔의 가속(acceleration)은 잘 동기 부여된 문제이다. 이 문제를 해결하기 위해 CS (Compressed Sensing) 알고리즘이 도입되었다. CS는 공간 및 시간 차원을 따라 언더샘플링을 사용하여 동적 MR 이미징에 성공적으로 적용되었다. 데이터 중복성은 시간 차원을 따라 증가하므로, 재구성 성능을 보다 효율적으로 향상시킬 수 있다.
또한 2개 이상의 이미지를 공동으로 재구성하는 CS 알고리즘이 제안되었다. 이 CS 알고리즘은 서로 다른 콘트라스트를 가진 이미지의 구조정보를 통합함으로써 재구성이 개선될 수 있음을 보여주었다. 여러 가지 PC-bSSFP를 가속화하기 위해 유사한 접근 방식이 적용되었다.
최근에 콘볼루셔널 신경망(CNN)이 MRI 스캔을 가속화하기 위해 적용되었다. 비간섭성(incoherent) 샘플링에 의한 앨리어싱 아티팩트(aliasing artifact)는 CNN에 의해 억제될 수 있으며, CNN으로 획득된 이미지는 단일 이미지 재구성의 일부 경우에 CS 알고리즘을 사용하는 이미지보다 작은 오차를 갖는다. 또한, CNN이 서로 다른 펄스 시퀀스로 획득한 다른 이미지로부터 해부학적 정보를 공유할 수 있는 가능성이 이전 연구에서 증명되었다. 동일하거나 다른 펄스 시퀀스로 획득한 이미지 간에 정보를 공유함으로써 CNN은 다중 획득 MRI의 재구성을 향상시킬 수 있다.
다중 획득 MRI에서 데이터 획득의 가속화는 여러 이미지 간에 정보를 효율적으로 공유할 수 있는 샘플링 전략을 통해 향상시킬 수 있다. 일반적으로 샘플링 패턴은 재구성 성능에 영향을 미치는 중요한 요소이기 때문에 CS 알고리즘에서 광범위하게 연구되었다. 예를 들어, 샘플링 패턴의 비일관성을 최적화하기 위해, 각 k-스페이스에 대한 고주파수와 저주파수 간의 진폭 차이를 고려하여 확률 밀도 함수(PDF)가 제안되었다. 샘플링 패턴은 다중 획득 MRI에도 중요하다. 여러 PC-bSSFP에 대한 최근 연구에서 낮은 상관관계 샘플링 전략이 제안되었으며 향상된 성능을 보였다. 구조정보는 PC에 관계없이 일정하기 때문에 동일한 고주파수 내용의 반복적인 샘플링이 중복 될 수 있다. 휴리스틱 또는 자동방식에서 여러 PC 데이터 세트의 샘플링 패턴 간의 상관관계를 줄임으로써 여러 PC-bSSFP의 가속을 향상시킬 수 있다. 이슈의 중요성과는 달리, 다중 획득 MRI를 가속화하기 위한 샘플링 전략에 대해서는 거의 연구되지 않았다.
다중 콘트라스트 이미지의 재구성은 동시에 MR 이미징을 가속화하는 하나의 효율적인 방법으로 고려되었지만, 이미지 간의 언더샘플링 패턴을 변화시키는 개념은 연구되지 않았다. 예를 들어 다중 콘트라스트 MR 영상을 공동으로 복원하기 위해 여러 CS 알고리즘, 머신-러닝 방법, CS 및 병렬 이미징과 결합된 CS 알고리즘이 개발되었지만, 서로 다른 이미지들 간의 샘플링 패턴은 서로 동일했다. 다른 예로서, 여러 PC-bSSFP 이미징을 공동으로 재구성하기 위한 몇 가지 방법이 소개되었는데, 샘플링 패턴은 여러 PC bSSFP 이미지에서 동일하게 유지되었다.
본 발명에서는 간단하고 효과적인 방식으로 여러 획득에 대한 k-스페이스의 중복을 줄이는 새로운 샘플링 전략을 제안한다.
본 발명의 목표는 다중 획득 MRI의 가속화에 적용할 수 있는 새로운 전략을 제시하는 것이다.
보통의 MR 프로토콜은 일반적으로 다양한 콘트라스트를 위한 다중 스캔으로 구성된다. 동일한 스캔 방향을 갖는 다중 콘트라스트 이미지의 반복 획득 및 재구성 과정은 이미지 간에 정보를 교환함으로써 가속화 될 수 있다.
본 발명에서는 이러한 다중 획득 MRI를 효율적으로 가속화하기 위한 샘플링 전략을 제안한다.
본 발명에 의해 제안된 샘플링 전략은 PE 방향을 교대로 변경함으로써 다중 획득 MRI의 효율성을 향상시키도록 지정된다. 서로 다른 시퀀스에서 얻은 두 이미지가 조직 콘트라스트가 다르더라도, 다른 PE 방향으로 언더샘플링하면 두 이미지의 재구성 성능이 향상될 수 있다. 언더 샘플링은 PE 방향으로 해상도를 저하시키거나 앨리어싱 결과를 발생시키기 때문에 서로 다른 PE 방향에서 언더샘플링된 이미지를 통합하면 서로 보완적인 역할을 할 수 있다.
본 발명에서, '언더샘플링'이라는 용어에 의해 지칭되는 데이터 획득 방식은, 미리 결정된 FOV와 해상도를 달성하기 획득해야 하는 총 K-스페이스 데이터의 일부를 얻지 않는 데이터 획득 방식을 의미할 수 있다.
샘플링 전략
본 발명의 일 관점에 따라, 여러 이미지에 대해 서로 다른 위상 인코딩(PE) 방향으로 데이터를 획득하는, 다중 획득을 위한 새로운 샘플링 전략이 제공될 수 있다. 이때, 상이한 PE 방향을 갖는 다수의 이미지의 언더 샘플링은 간단한 방식으로 이미지들 간의 샘플링 된 k-스페이스 데이터의 오버랩을 감소시키고, 이 방법은 임의의 샘플링 패턴과 결합될 수 있다.
도 1은 다중 획득 MRI를 위한 샘플링 전략을 설명하기 위한 것이다.
도 1a는 위상 인코딩 방향으로 샘플링 된 패턴을 나타내며, 두 개의 샘플링 패턴(중앙 및 무작위)이 방향 1과 2로 표시된 두 가지 PE 방향을 따라 사용된다. 즉, 도 1a는 센트럴 샘플링 패턴과 랜덤 샘플링 패턴을 이용한 k-스페이스 데이터의 획득방법을 설명하기 위한 것이다.
도 1a에는 4개의 k-스페이스 데이터가 예시되어 있다. 흰색 부분은 TR의 반복에 따라 데이터가 획득된 k-스페이스 영역을 나타내며, 검은색 부분은 데이터가 획득되지 않은 k-스페이스 영역을 나타낸다. 각 k-스페이스에서 가로축은 kx 방향의 축을 나타내고 세로축은 ky방향의 축을 나타낸다.
도 1a의 제1열은 센트럴 샘플링 패턴을 나타내고, 제2열은 랜덤 샘플링 패턴을 나타낸다.
도 1a의 제1행은 위상 인코딩의 방향이 ky 방향인 경우를 나타내고, 제2행은 위상 인코딩의 방향이 kx 방향인 경우를 나타낸다.
도 1a의 제1행에 따른 위상 인코딩 패턴을 따르는 MRI 데이터 획득 프로세스에서는, 우선 도면 상의 가로 방향(kx)을 따라 데이터를 한 줄 얻는다. 그 다음, 도면 상의 세로(ky)　방향, 즉, 위상 인코딩(PE) 방향)으로 한 칸 이동한 후, 다시 도면 상의 가로 방향(kx)(즉, 주파수 인코딩 방향)을 따라 데이터를 얻는다. 그리고 또 다시 도면의 세로 방향(ky)으로 한 칸 이동하는 과정을 반복한다. 언더샘플링 방식으로 촬영하는 경우, 위상 인코딩 방향(ky 방향)으로 이동하는 횟수가 감소하므로, 전체 촬영시간이 줄어들게 된다.
이와 반대로, 도 1a의 제2행에 따른 위상 인코딩 패턴을 따르는 MRI 데이터 획득 프로세스에서는, 우선 도면 상의 세로 방향(ky)을 따라 데이터를 한 줄 얻는다. 그 다음, 도면의 가로(kx)　방향, 즉, 위상 인코딩(PE) 방향)으로 한 칸 이동한 후, 다시 도면 상의 세로 방향(ky)을 따라 데이터를 얻는다. 그리고 또 다시 도면 상의 가로 방향(kx)으로 한 칸 이동하는 과정을 반복한다. 언더샘플링 방식으로 촬영하는 경우, 위상 인코딩 방향(kx 방향)으로 이동하는 횟수가 감소하므로, 전체 촬영시간이 줄어들게 된다.
예컨대, MRI 촬영을 위하여 MRI 장치 내에 사람이 똑바로 누워있는 경우, 그 사람의 두 눈의 중심 간을 연결한 수평선인 제1직선이 가리키는 방향을 상기 가로 방향(kx)인 것으로 정의하고, 상기 제1직선과 직교하면서 수평방향으로 뻗은 제2직선이 가리키는 방향을 상기 세로 방향(ky)인 것으로 정의할 수 있다. 이때, 예컨대, 상기 도 1a의 제1행에 따른 위상 인코딩 패턴을 따르는 MRI 데이터 획득 프로세스에서는 위상 인코딩 방향이 상기 세로　방향(ky)일 수 있고, 상기 도 1a의 제2행에 따른 위상 인코딩 패턴을 따르는 MRI 데이터 획득 프로세스에서는 위상 인코딩 방향이 상기 가로　방향(kx)일 수 있다.
도 1a의 제1행에 나타낸 그림들에서는, 각각의 위상 인코딩 라인이 가로 방향(kx)으로 긴 직사각형 형태를 갖는다. 즉, 도 1a의 제1행에 나타낸 그림들에서는, 각각의 위상 인코딩 라인이 가로 방향(kx)을 따라 연장되어 있다.
이와 반대로, 도 1a의 제2행에 나타낸 그림들에서는, 각각의 위상 인코딩 라인이 세로 방향(ky)으로 긴 직사각형 형태를 갖는다. 즉, 도 1a의 제2행에 나타낸 그림들에서는, 각각의 위상 인코딩 라인이 세로 방향(ky)을 따라 연장되어 있다.
도 1a의 제1행에 나타낸 그림들에서는, 복수 개의 위상 인코딩 라인들이 세로 방향(ky)을 따라 스택(stack)되어 있는 것으로 간주할 수 있다.
이와 반대로, 도 1a의 제2행에 나타낸 그림들에서는, 복수 개의 위상 인코딩 라인들이 가로 방향(kx)을 따라 스택되어 있는 것으로 간주할 수 있다.
도 1a의 제1행에 나타낸 그림들에서는, 위상 인코딩 방향이 세로 방향(ky)이며, 주파수 인코딩 방향이 가로 방향(kx)이다.
반대로, 도 1a의 제2행에 나타낸 그림들에서는, 위상 인코딩 방향이 가로 방향(kx)이며, 주파수 인코딩 방향이 세로 방향(ky)이다.
도 1a에 나타낸 4개의 k-스페이스에서는, 각 이미지는 모두 언더샘플링된다.
첫째, 본 발명의 일 양상에 따라, 센트럴 샘플링 패턴을 이용한 제안된 샘플링 전략은 CNN을 이용한 재구성에 적용될 수 있다. CNN은 공간 도메인에서 풀 샘플링된 이미지와 언더 샘플링된 이미지의 차이를 예측하도록 학습되므로 비일관적인 샘플링 패턴이 필요하지 않다.
둘째, 본 발명의 다른 양상에 따라, 랜덤 샘플링 패턴을 이용한 제안된 전략은 CNN과 CS 알고리즘을 모두 사용하는 재구성(reconstruction)에 적용될 수 있다.
본 발명에서, CNN과 CS 알고리즘에 대한 제안된 센트럴 및 랜덤 표본 추출 방법은, 도 1b 및 도 1c에 제시한 것과 같이, 다중 콘트라스트 MRI와 다중 PC-bSSFP에서 평가될 수 있다.
다중-콘트라스트 MRI에의 적용
고주파수 내용물이 콘트라스트에 덜 의존적이기 때문에, 고주파 내용이 또 다른 콘트라스트 이미지로부터 통합되면 이미지 재구성에 도움이 된다. 서로 다른 콘트라스트를 가진 두 개의 이미지들이 동일한 샘플링 패턴으로 획득되면 두 이미지의 샘플링된 고주파수 내용이 유사하다.
도 1b의 (a)는 다중 콘트라스트 MRI의 몇 가지 샘플링 전략을 나타낸 것으로서, 각각 서로 동일하거나 서로 다른 샘플링 패턴의 조합들을 나타내는, 세 가지 샘플링 전략(AP-AP, AP-RL, RL-RL)이 생성된다. 또한 도 1b의 (b)에 나타낸 것과 같이, 이미지는 2개의 샘플링 패턴으로 별도로 언더샘플링 된다. 여기서 상기 'AP'는 전후방을 나타내고, 'RL'은 오른쪽 왼쪽을 나타낸다.
도 1b의 (a)에는 6개의 k-스페이스 샘플이 제시되어 있다. 제1열(AP-AP)에 나타낸 두 개의 k-스페이스 샘플들에서는 서로 동일한 PE 방향(ky 방향)을 따라 언더샘플링되어 있다. 제3열(RL-RL)에 나타낸 두 개의 k-스페이스 샘플들에서는 서로 동일한 PE 방향(kx 방향)을 따라 언더샘플링 되어 있다.
이와 비교하여, 본 발명에 따라, 도 1b의 (a)의 제2열에 제시한 바와 같이, 2개의 이미지가 각각 상이한 PE 방향(예를 들어, AP-RL)을 따라 언더샘플링되는 경우, 2개의 k-스페이스 사이의 중첩 부분은 감소된다. 예를 들어, 2개의 k-스페이스가 4배 언더샘플링되면, 각 k-스페이스의 6%만 겹치게 된다. 하나의 k-스페이스로부터 비-중첩 고주파수 컨텐츠는 상이한 콘트라스트로 획득된 다른 k-스페이스를 재구성하는데 이용될 수 있다.
또한, 다른 PE 방향을 갖는 본 발명에서 제안하는 샘플링 전략은 CNN 및 CS 알고리즘을 사용하는 재구성을 위한 랜덤 샘플링을 포함한 임의의 샘플링 패턴과 결합될 수 있다. 상이한 PE 방향으로 랜덤하게 언더샘플링된 2개의 이미지는 서로 수직인 방향으로 앨리어싱 아티팩트를 갖는다. 따라서 서로 다른 방향으로 앨리어싱 아티팩트의 영향을 받는 다른 이미지를 통합하면 두 이미지의 콘트라스트가 다르더라도 이미지 재구성이 향상될 수 있다.
도 1b의 (b)는 참조 이미지의 효과를 평가하기 위해 참조 이미지가 없는 언더샘플 이미지 하나만을 사용하는 예를 나타낸 것이다.
다중 PC-MRI에의 적용
상이한 PE 방향(AP-RL)을 갖는, 본 발명에 의해 제안된 샘플링 전략은, 밴딩 아티팩트(banding artifact) 억제를 위한 다수의 PC-bSSFP 이미지를 얻는데 사용될 수 있다.
도 1c는 PC-bSSFP에 대한 여러 가지 샘플링 전략을 나타낸 것으로서, 네 개의 PC-bSSFP(4개의 행)에 대해 세 가지 샘플링 전략(AP-AP, AP-RL, RL-RL)이 생성될 수 있다.
도 1c에는 총 12개의 k-스페이스 샘플이 제시되어 있다. 제1행 내지 제4행은 각각 0도, 90도, 180도, 및 270도의 서로 다른 파라미터를 나타낸다. 제1열(AP-AP)에 나타낸 네 개의 k-스페이스 샘플들에서는 서로 동일한 PE 방향(ky 방향)을 따라 언더샘플링되어 있다. 제3열(RL-RL)에 나타낸 네 개의 k-스페이스 샘플들에서는 서로 동일한 PE 방향(kx 방향)을 따라 언더샘플링되어 있다.
본 발명의 일 양상에 따라 제안되는 방식으로서, 도 1c의 제2열에 나타낸 4개의 k-스페이스 샘플들은 상이한 PE 방향을 따라 언더샘플링되어 있으며, 이들로부터 이미지를 재구성할 수 있다.
아티팩트의 위치는 RF 위상 사이클링에 의해 변경되지만 해부학 구조는 일정하다. 그러므로 이미지 재구성은 상이한 PE 방향을 따라 언더샘플링된 다수의 이미지로부터 해부학적 정보를 취함으로써 개선될 수 있다. 본 발명에 따른 일 실험에서는, PE 방향을 변화시킴으로써 3가지 다른 샘플링 전략을 평가했다. 도 1c에는 센트럴 샘플링 패턴만이 도시되어 있지만, 랜덤 샘플링 또한 적용 가능하다.
본 발명에서 제안한 샘플링 전략은 여러 가지 PC-bSSFP 이미징에 보다 자연스럽게 적용될 수 있다. 왜냐하면 이미지의 대부분의 정보가 밴딩 아티팩트가 있는 경우를 제외하고는 동일하기 때문이다. 최근의 연구에서는 다중 PC-bSSFP 영상의 조인트 재구성(joint reconstruction)을 위한 다중 샘플링 패턴을 생성하기 위한 샘플링 전략을 제안했지만, 이 방법의 성능은 3D 데카르트 획득의 2상 인코딩 차원에서만 입증되었다. 본 발명에 의해 제안된 방법은 더 간단하며 2D 데카르트 획득의 센트럴 및 랜덤 샘플링에서 평가되었다.
본 발명의 일 관점에 따라, MRI 장치를 이용하여, 각각 제1방향을 따라 스택되어 있는 위상인코딩라인들로 구성된 제1위상인코딩라인 세트에 관한 제1데이터를 획득하는 단계; 상기 MRI 장치를 이용하여, 각각 제2방향을 따라 스택되어 있는 위상인코딩라인들로 구성된 제2위상인코딩라인 세트에 관한 제2데이터를 획득하는 단계; 및 상기 제1데이터와 상기 제2데이터를 이용하여 MRI 이미지를 생성하는 단계;를 포함하는 MRI 이미지 생성방법을 제공할 수 있다. 이때, 상기 제2방향은 상기 제1방향과는 다른 방향이다.
이때, 상기 제1위상인코딩라인 세트 및 상기 제2위상인코딩라인 세트는 언더샘플링된 것일 수 있다.
이때, 상기 생성하는 단계는, 상기 제1데이터와 상기 제2데이터를 이용하여 k-스페이스를 결정하는 단계; 및 상기 결정된 k-스페이스로부터 상기 MRI 이미지를 생성하는 단계를 포함하며, 상기 결정하는 단계는, 상기 k-스페이스 중 상기 제1위상인코딩라인 세트를 제외한 나머지 영역의 일부 또는 전부의 데이터를 상기 제2데이터를 이용하여 결정하는 단계를 포함할 수 있다.
이때, 상기 제1방향은 k-스페이스 중 kx 방향이고, 상기 제2방향은 k-스페이스 중 ky방향이거나, 또는 상기 제1방향은 k-스페이스 중 ky 방향이고, 상기 제2방향은 k-스페이스 중 kx방향일 수 있다.
이때, 상기 제1위상인코딩라인 세트는 센트럴 샘플링 패턴 및 랜덤 샘플링 패턴 중 어느 하나의 샘플링 패턴을 이용하여 획득되고, 상기 제2위상인코딩라인 세트는 센트럴 샘플링 패턴 및 랜덤 샘플링 패턴 중 어느 하나의 샘플링 패턴을 이용하여 획득될 수 있다.
이때, 상기 제1위상인코딩라인 세트와 상기 제2위상인코딩라인 세트는 서로 다른 시구간에서 획득된 것일 수 있다.
이때, 상기 생성하는 단계는, 학습된 딥러닝 네트워크의 입력층에 상기 제1데이터와 상기 제2데이터를 제공하여 상기 딥러닝 네트워크의 출력층으로부터 상기 MRI 이미지를 획득하는 단계를 포함할 수 있다.
이때, 상기 딥러닝 네트워크를 학습시키는 방법은, 상기 MRI 장치를 이용하여 제1촬상면을 촬영하기 위하여, 각각 상기 제1방향을 따라 스택되어 있는 위상인코딩라인들로 구성된 제3위상인코딩라인 세트에 관한 제3데이터를 획득하는 단계; 상기 MRI 장치를 이용하여 상기 제1촬상면을 촬영하기 위하여, 각각 제2방향을 따라 스택되어 있는 위상인코딩라인들로 구성된 제4위상인코딩라인 세트에 관한 제4데이터를 획득하는 단계; 상기 MRI 장치를 이용하여 상기 제1촬상면을 촬영하기 위하여, 풀-샘플링된 위상인코딩라인들로 구성된 제5위상인코딩라인 세트에 관한 제5데이터를 획득하는 단계; 상기 제5데이터를 이용하여 학습용 출력층-MRI이미지를 생성하는 단계; 상기 딥러닝 네트워크의 입력층에 상기 제3데이터와 상기 제4데이터를 제공하고, 상기 딥러닝 네트워크의 출력층에 상기 학습용 출력층-MRI이미지를 제공하여 상기 딥러닝 네트워크를 학습시키는 단계를 포함할 수 있다.
이때, 상기 제3위상인코딩라인 세트 및 상기 제4위상인코딩라인 세트는 언더샘플링된 것일 수 있다.
이때, 상기 생성하는 단계는, 상기 제1데이터와 상기 제2데이터를 결합하여 제1k-스페이스를 생성하는 단계; 상기 제1k-스페이스 중 데이터가 없는 부분을 미리 결정된 규칙에 의해 생성된 값으로 채움으로써 제2k-스페이스를 생성하는 단계; 상기 제2k-스페이스에 대해 FFT를 수행함으로써, 입력층-MRI이미지를 생성하는 단계; 및 학습된 딥러닝 네트워크의 입력층에 상기 입력층-MRI이미지를 제공하여 상기 딥러닝 네트워크의 출력층으로부터 상기 MRI 이미지를 획득하는 단계를 포함할 수 있다.
이때, 상기 딥러닝 네트워크를 학습시키는 방법은, 상기 MRI 장치를 이용하여 제1촬상면을 촬영하기 위하여, 각각 상기 제1방향을 따라 스택되어 있는 위상인코딩라인들로 구성된 제3위상인코딩라인 세트에 관한 제3데이터를 획득하는 단계; 상기 MRI 장치를 이용하여 상기 제1촬상면을 촬영하기 위하여, 각각 제2방향을 따라 스택되어 있는 위상인코딩라인들로 구성된 제4위상인코딩라인 세트에 관한 제4데이터를 획득하는 단계; 상기 제3데이터와 상기 제4데이터를 결합하여 제3k-스페이스를 생성하는 단계; 상기 제1k-스페이스 중 데이터가 없는 부분을 미리 결정된 규칙에 의해 생성된 값으로 채움으로써 제4k-스페이스를 생성하는 단계; 상기 제4k-스페이스에 대해 FFT를 수행함으로써, 학습용 입력층-MRI이미지를 생성하는 단계; 상기 MRI 장치를 이용하여 상기 제1촬상면을 촬영하기 위하여, 풀-샘플링된 위상인코딩라인들로 구성된 제5위상인코딩라인 세트에 관한 제5데이터를 획득하는 단계; 상기 제5데이터를 이용하여 학습용 출력층-MRI이미지를 생성하는 단계; 상기 딥러닝 네트워크의 입력층에 상기 학습용 입력층-MRI이미지를 제공하고, 상기 딥러닝 네트워크의 출력층에 상기 학습용 출력층-MRI이미지를 제공하여 상기 딥러닝 네트워크를 학습시키는 단계를 포함할 수 있다.
본 발명의 다른 관점에 따라, MRI 장치를 이용하여, 각각 제1방향으로 연장된 위상인코딩라인들로 구성된 제1위상인코딩라인 세트에 관한 제1데이터를 획득하는 단계; 상기 MRI 장치를 이용하여, 각각 상기 제2방향으로 연장된 위상인코딩라인들로 구성된 제2위상인코딩라인 세트에 관한 제2데이터를 획득하는 단계; 및 상기 제1데이터와 상기 제2데이터를 이용하여 k-스페이스 데이터를 결정하는 단계;를 포함하는 k-스페이스 데이터 결정방법이 제공될 수 있다. 이때, 상기 제2방향은 상기 제1방향과는 다른 방향이다.
이때, 상기 제1위상인코딩라인 세트는 센트럴 샘플링 전략 및 랜덤 샘플링 전략 중 어느 하나의 샘플링 전략을 이용하여 획득되고, 상기 제2위상인코딩라인 세트는 센트럴 샘플링 전략 및 랜덤 샘플링 전략 중 어느 하나의 샘플링 전략을 이용하여 획득될 수 있다.
본 발명의 또 다른 관점에 따라, 처리부 및 저장부를 포함하는 MRI 컴퓨팅 장치가 제공될 수 있다. 이때, 상기 처리부는, MRI 장치를 이용하여, 각각 제1방향으로 연장된 위상인코딩라인들로 구성된 제1위상인코딩라인 세트에 관한 제1데이터를 획득하는 단계; 상기 MRI 장치를 이용하여, 각각 상기 제2방향으로 연장된 위상인코딩라인들로 구성된 제2위상인코딩라인 세트에 관한 제2데이터를 획득하는 단계; 상기 제1데이터와 상기 제2데이터를 이용하여 MRI 이미지를 생성하는 단계;를 실행하도록 되어 있으며, 상기 제2방향은 상기 제1방향과는 다른 방향이다.
본 발명의 또 다른 관점에 따라, 프로그램이 기록된 컴퓨터로 읽을 수 있는 논-트랜지토리(non-transitory) 기록장치가 제공될 수 있다. 상기 프로그램은, 처리부 및 저장부를 포함하는 MRI 컴퓨팅 장치로 하여금, MRI 장치를 이용하여, 각각 제1방향으로 연장된 위상인코딩라인들로 구성된 제1위상인코딩라인 세트에 관한 제1데이터를 획득하는 단계; 상기 MRI 장치를 이용하여, 각각 상기 제2방향으로 연장된 위상인코딩라인들로 구성된 제2위상인코딩라인 세트에 관한 제2데이터를 획득하는 단계; 및 상기 제1데이터와 상기 제2데이터를 이용하여 MRI 이미지를 생성하는 단계를 실행하도록 되어 있으며, 상기 제2방향은 상기 제1방향과는 다른 방향이다.
본 발명에 의해 제공된 샘플링 전략을 이용하여, 랜덤 및 센트럴 샘플링 패턴 모두에서 보완 효과를 얻을 수 있다.
본 발명에 의해 제공되는, PE 방향이 다른 샘플링 전략은, 서로 다른 PE 방향으로 언더샘플링된 다른 이미지의 해부학적 정보를 통합하여 다중 획득 MRI를 향상시킬 수 있다.
본 발명에 의해 제안된 전략은 센트럴 또는 랜덤 표본 추출 패턴을 사용하는 CS 알고리즘과 CNN에 적용할 수 있다.
도 1은 다중 획득 MRI를 위한 샘플링 전략을 설명하기 위한 것이다.
도 2a 내지 도 2e는 본 발명의 일 실시예에 따른 MRI 이미지 생성방법을 나타낸 순서도이다.
도 3은 도 2a 내지 도 2e에 나타낸 순서도의 이해를 돕기 위해 제시한 k-스페이스 이미지들이다.
도 4는 본 발명의 적용이 가능한 컴퓨팅장치 및 MRI 장치의 구성 예를 나타낸 것이다.
도 5는 CNN을 도식화한 그림이다.
도 6은 본 발명의 일 실시예에 따라 MRI 이미지를 생성하는 방법을 나타낸 다이어그램이다.
도 7은 본 발명의 일 실시예에 따라 딥러닝 네트워크를 이용하여 MRI 이미지를 생성하는 방법을 나타낸 다이어그램이다.
도 8은 본 발명의 다른 실시예에 따라 딥러닝 네트워크를 이용하여 MRI 이미지를 생성하는 방법을 나타낸 다이어그램이다.
도 9은 종래 기술 및 본 발명에 따른 기술을 이용한, 다양한 샘플링 전략을 가진 CNN의 결과들의 예를 나타낸다.
도 10는 본 발명에 따른 샘플링 전략이 적용된 다중 콘트라스트 MRI 재구성에 따른 평가점수를 나타낸 표를 나타낸다.
도 11은 종래 기술 및 본 발명에 따른 기술을 이용한, 다양한 샘플링 전략을 가진 MRI 이미지의 예를 나타낸다.
도 12는 본 발명에서 제안한 샘플링 전략을 이용하여 다중 PC-bSSFP를 수행한 평가표를 나타낸다.
도 13은 본 발명에서 제안한 샘플링 전략을 다중 PC-bSSFP에 적용하였을 때의 평가표를 나타낸다.
이하, 본 발명의 실시예를 첨부한 도면을 참고하여 설명한다. 그러나 본 발명은 본 명세서에서 설명하는 실시예에 한정되지 않으며 여러 가지 다른 형태로 구현될 수 있다. 본 명세서에서 사용되는 용어는 실시예의 이해를 돕기 위한 것이며, 본 발명의 범위를 한정하고자 의도된 것이 아니다. 또한, 이하에서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.
이하 본 발명의 일 실시예에 따라 제공될 수 있는 MRI 이미지 생성방법을 설명한다.
도 2a 내지 도 2e는 본 발명의 일 실시예에 따른 MRI 이미지 생성방법을 나타낸 순서도이다.
도 3은 도 2a 내지 도 2e에 나타낸 순서도의 이해를 돕기 위해 제시한 k-스페이스 이미지들이다. 도 3의 (a)는 완성해야 할 k-스페이스의 영역을 개념적으로 나타낸 것이다. k-스페이스의 가로축은 kx 축으로 지칭하고 세로축은 ky축으로 지칭할 수 있다.
도 4는 본 발명의 적용이 가능한 컴퓨팅장치(=MRI 컴퓨팅 장치) 및 MRI 장치의 구성 예를 나타낸 것이다.
컴퓨팅장치(90)는 MRI 장치(500)와는 별도로 제공되거나(도 4의 (a)), 또는 컴퓨팅장치(90)는 MRI 장치(500)에 일체로서 제공될 수 있다(도 4의 (b)).
이하 도 2a 내지 도 2e 및 도 4을 참조하여 설명한다.
도 2a 나타낸 바와 같이, 본 발명의 일 실시예에 따른 MRI 이미지 생성방법은, 아래의 단계(S10) 단계(S30)를 포함할 수 있다.
단계(S10)에서, MRI 장치(500)를 이용하여, 각각 제1방향(ex: ky)을 따라 스택(stack)된 위상인코딩라인들(110)로 구성된 제1위상인코딩라인 세트에 관한 제1데이터를 획득할 수 있다. 이때, 상기 제1위상인코딩라인 세트는 k-스페이스 영역(100)의 일부만을 차지하는 것일 수 있다. 상기 제1위상인코딩라인들(110) 각각은, 도 1과 같이 도시된 k-스페이스 내에서, 상기 제1방향과는 다른 방향인 제2방향(ex: kx)을 따라 연장된 형태로 표현될 수 있다.
단계(S20)에서, 상기 MRI 장치(500)를 이용하여, 각각 상기 제2방향(ex: kx)을 따라 스택된 위상인코딩라인들(120)로 구성된 제2위상인코딩라인 세트에 관한 제2데이터를 획득할 수 있다. 이때, 상기 제2위상인코딩라인 세트는 k-스페이스 영역(100)의 일부만을 차지하는 것일 수 있다. 상기 제2위상인코딩라인들(120) 각각은, 도 1과 같이 도시된 k-스페이스 내에서, 상기 제2방향과는 다른 방향인 상기 제1방향(ex: ky)을 따라 연장된 형태로 표현될 수 있다.
이때, 본 발명에서 상기 제2방향은 상기 제1방향과는 다른 방향일 수 있다.
단계(S30)에서, 상기 제1데이터와 상기 제2데이터를 이용하여 MRI 이미지를 생성할 수 있다.
도 2b에 나타낸 바와 같이, 본 발명의 일 실시예에서 상기 단계(S30)는 아래의 단계(S310) 및 단계(S320)을 포함할 수 있다.
단계(S310)에서, 상기 제1데이터와 상기 제2데이터를 이용하여 k-스페이스(130) 데이터를 결정할 수 있다. 이때, 상기 제1위상인코딩라인 세트와 상기 제2위상인코딩라인 세트가 제공되었음에도 불구하고, 결정해야 하는 k-스페이스 영역(100)의 일부의 데이터는 여전히 제공되지 않을 수 있다. 이 경우, 상기 일부의 데이터는, MRI 스캔을 통해 측정한 데이터라 아니라, 미리 결정된 규칙에 따라 상기 컴퓨팅장치(90)에 의해 생성된 값으로 채워 넣을 수 있다.
또는, 상기 k-스페이스 중 상기 제1위상인코딩라인 세트를 제외한 나머지 영역의 데이터를 상기 제2데이터를 이용하여 결정할 수 있다.
단계(S320)에서, 상기 결정된 k-스페이스(130)로부터 MRI 이미지를 생성할 수 있다. 구체적으로는, 상기 완성된 k-스페이스(130)를 FFT함으로써 상기 MRI 이미지를 얻을 수 있다.
도 2c에 나타낸 바와 같이, 본 발명의 다른 실시예에서 상기 단계(S30)는 딥러닝을 이용하여 수행될 수 있다. 도 2c에는 단계(S30)이 단계(S331~S336)을 포함하여 수행될 수 있다.
도 2d 및 도 2e에 나타낸 바와 같이, 본 발명의 다른 실시예에서 상기 단계(S30)는 또 다른 딥러닝을 이용하여 수행될 수 있다. 단계(S30)는 도 2d의 (S341~S348) 및 도 2e의 단계(S349~S353)를 포함하여 수행될 수 있다.
딥러닝을 이용하면, 상기 설명된 과정을 따라 데이터베이스를 통한 training을 이용하여 언더샘플링된 k-스페이스의 비어있는 부분들을 채워 완성된 k-스페이스를 만들어서 FFT함으로써 상기 MRI 이미지를 얻을 수도 있고, 또한 데이터베이스를 통한 training 과정을 상기 training과정과 다르게 변형하여 상기 언더샘플링된 k-스페이스를 완성하지 않고도 원하는 MRI 이미지를 바로 만드는 것도 가능하다.
k-스페이스를 완성하지 않고, 즉, k-스페이스의 완성에 필요한 모든 데이터를 획득하지 않은 상태에서, 일부의 k-space 데이터만을 획득한 후 MRI 이미지를 만드는 방법에 관한 선행 연구들은 크게 CS-MRI 와 딥러닝을 이용한 것이 있다.
IEEE SIGNAL PROCESSING MAGAZINE, MARCH 2008의 Compressed Sensing MRI 아티클의 75~77페이지에는 CS-MRI를 이용한 방법이 공개되어 있다. 이 방법에서는, CS 방법을 이용해서 k-스페이스를 완성하지 않고도 이미지를 생성하는 방법에 대해서 기술되어 있다. 예컨대 상기 Compressed Sensing MRI 아티클의 78 페이지의 특히 Fig. 6의 (a)에 나온 데이터 획득 방법이 도 1a 의 랜덤(random)과 유사한 방법을 나타낸다.
한편, IEEE 2017 "DEEP RESIDUAL LEARNING FOR COMPRESSED SENSING MRI" 논문에는 완성되지 않은 k-스페이스 데이터로 이미지를 완성하는 방법으로 CS 대신 딥러닝을 이용한 방법에 대해서 기술되어 있다. 딥러닝 방법에서 입력층은 완성되지 않은 k-스페이스를, 완성되지 않은 부분은 zero로 채운 후, FFT 로 이미지로 만들면 심한 앨리어싱 아티팩트(aliasing artifact)를 포함한 이미지가 생성되는데, 이것을 입력층으로 넣고 출력층에는 완성된 k-스페이스의 이미지를 넣고 딥러닝 모델을 학습시키면, 이 모델은 완성되지 않은 k-스페이스의 이미지를 완성된 k-스페이스로부터의 이미지로 변환하는 능력을 학습하게 된다.
본 발명의 일 실시예에서는 상기 딥러닝을 이용하여, 완성되지 않은 k-스페이스를 이용하여 이미지를 생성하는 기술을 제공할 수 있다. 상기 딥러닝을 위한 데이터베이스는 입력층 데이터와 출력층 데이터(=지표 진실(ground truth))의 쌍으로 구성되어 있다. 제1방향을 따라 스택된 위상인코딩라인들로 구성된 제1위상인코딩라인 세트에 관한 1데이터와, 제2방향을 따라 스택된 위상인코딩라인들로 구성된 제2위상인코딩라인 세트에 관한 제2데이터를 결합하여 불완전한 k-스페이스를 생성하고, 상기 불완전한 k-스페이스 중 데이터가 없는 부분을 예컨대 0 으로 채운 후 FFT를 수행하여 만든 이미지를 상기 입력층 데이터로 사용할 수 있다. 그리고 완성된 k-스페이스를 FFT 하여 생성한 기준 이미지(지표 진실 이미지)를 출력층 데이터로서 제공할 수 있다.
본 발명의 일 실시예에서 사용하는 딥러닝 알고리즘은 콘볼루셔널 뉴럴 네트워크(convolutional neural network)라는 구조를 이용할 수 있다. 입력층의 데이터를 여러 층으로 쌓인 구조의 콘볼루션 필터를 통과 한 후 최종적으로 출력층에서 데이터를 생성하게 되는데, 딥러닝의 훈련과정 동안 여기서 생성된 데이터와 데이터베이스의 지표 진실 데이터 사이의 차이를 최소화 하도록 콘볼루션 필터의 값들이 결정된다.
딥러닝을 이용하는 본 발명의 일 실시예에서는 학습된 딥러닝 네트워크의 입력층에 상기 제1데이터와 상기 제2데이터를 제공하여 상기 딥러닝 네트워크의 출력층으로부터 상기 MRI 이미지를 획득할 수 있다. 이때, 상기 딥러닝 네트워크를 학습시키는 방법은, 상기 MRI 장치를 이용하여 제1촬상면을 촬영하기 위하여, 각각 상기 제1방향을 따라 스택되어 있는 위상인코딩라인들로 구성된 제3위상인코딩라인 세트에 관한 제3데이터를 획득하는 단계, 상기 MRI 장치를 이용하여 상기 제1촬상면을 촬영하기 위하여, 각각 제2방향을 따라 스택되어 있는 위상인코딩라인들로 구성된 제4위상인코딩라인 세트에 관한 제4데이터를 획득하는 단계, 상기 MRI 장치를 이용하여 상기 제1촬상면을 촬영하기 위하여, 풀-샘플링된 위상인코딩라인들로 구성된 제5위상인코딩라인 세트에 관한 제5데이터를 획득하는 단계, 상기 제5데이터를 이용하여 학습용 출력층-MRI이미지를 생성하는 단계, 상기 딥러닝 네트워크의 입력층에 상기 제3데이터와 상기 제4데이터를 제공하고, 상기 딥러닝 네트워크의 출력층에 상기 학습용 출력층-MRI이미지를 제공하여 상기 딥러닝 네트워크를 학습시키는 단계를 포함할 수 있다. 이때, 상기 제3위상인코딩라인 세트 및 상기 제4위상인코딩라인 세트는 언더샘플링된 것일 수 있다.
상기 '풀-셈플링'은 완성되어야 하는 k-스페이스의 모든 데이터를 획득할 수 있도록, 획득 가능한 모든 위상인코딩라인들에 관한 정보를 모두 얻는 방식을 지칭하며, 상기 언더샘플링과 대비되는 개념이다.
딥러닝을 이용하는 본 발명의 다른 실시예에서는, 상기 제1데이터와 상기 제2데이터를 결합하여 제1k-스페이스를 생성하는 단계, 상기 제1k-스페이스 중 데이터가 없는 부분을 미리 결정된 규칙에 의해 생성된 값으로 채움으로써 제2k-스페이스를 생성하는 단계, 상기 제2k-스페이스에 대해 FFT를 수행함으로써, 입력층-MRI이미지를 생성하는 단계, 및 학습된 딥러닝 네트워크의 입력층에 상기 입력층-MRI이미지를 제공하여 상기 딥러닝 네트워크의 출력층으로부터 상기 MRI 이미지를 획득하는 단계를 포함할 수 있다. 이때, 상기 딥러닝 네트워크를 학습시키는 방법은, 상기 MRI 장치를 이용하여 제1촬상면을 촬영하기 위하여, 각각 상기 제1방향을 따라 스택되어 있는 위상인코딩라인들로 구성된 제3위상인코딩라인 세트에 관한 제3데이터를 획득하는 단계, 상기 MRI 장치를 이용하여 상기 제1촬상면을 촬영하기 위하여, 각각 제2방향을 따라 스택되어 있는 위상인코딩라인들로 구성된 제4위상인코딩라인 세트에 관한 제4데이터를 획득하는 단계, 상기 제3데이터와 상기 제4데이터를 결합하여 제3k-스페이스를 생성하는 단계, 상기 제1k-스페이스 중 데이터가 없는 부분을 미리 결정된 규칙에 의해 생성된 값으로 채움으로써 제4k-스페이스를 생성하는 단계, 상기 제4k-스페이스에 대해 FFT를 수행함으로써, 학습용 입력층-MRI이미지를 생성하는 단계, 상기 MRI 장치를 이용하여 상기 제1촬상면을 촬영하기 위하여, 풀-샘플링된 위상인코딩라인들로 구성된 제5위상인코딩라인 세트에 관한 제5데이터를 획득하는 단계, 상기 제5데이터를 이용하여 학습용 출력층-MRI이미지를 생성하는 단계, 상기 딥러닝 네트워크의 입력층에 상기 학습용 입력층-MRI이미지를 제공하고, 상기 딥러닝 네트워크의 출력층에 상기 학습용 출력층-MRI이미지를 제공하여 상기 딥러닝 네트워크를 학습시키는 단계를 포함할 수 있다.
상술한 각 단계들(S10~S30)은 각각 MRI 장치(500)에 포함되어 있는 컴퓨팅장치(90), 또는 MRI 장치(500)에 연결될 수 있는 컴퓨팅장치(90)에서 수행될 수 있다. 상기 컴퓨팅장치(90)는 처리부(91), 저장부(92), 및 통신부(93)를 포함할 수 있다. 상술한 각 단계들(S10~S30)은 특히 상기 처리부(91)에서 수행될 수 있다.
도 4의 (a)와 같이, 상기 컴퓨팅장치(90)가 상기 MRI 장치(500)와 별도로 제공되는 경우에, 상술한 각 단계에서 상기 제1코일(100)로부터 수신한 신호(180)는, 상기 통신부(93)를 통해 MRI 장치(500)로부터 상기 컴퓨팅장치(90)에게 전송되어 상기 저장부(92)에 저장된 이후, 다시 상기 처리부(91)에게 제공될 수 있다. 컴퓨팅장치(90)는 MRI 장치(500)를 제어하기 위한 또는 MRI 장치(500)에게 요청하기 위한 명령(531)을 MRI 장치(500)에게 제공할 수 있다.
도 4의 (b)와 같이, 상기 컴퓨팅장치(90)가 상기 MRI 장치(500)에 포함된 경우에, 상술한 각 단계에서 상기 제1코일(100)로부터 수신한 신호(180)는, 상기 MRI 장치(500)로부터 상기 저장부(92)에 직접 저장된 후 상기 처리부(91)에게 다시 제공될 수 있다.
이때, 상기 제1위상인코딩라인 세트는 k-스페이스에 대하여 언더샘플링된 것일 수 있다. 즉, 상기 k-스페이스가 상기 제1방향을 따라 스택되어 있는 N개의 인코딩라인들로 구분되는 것으로 가정하였을 때에, 상기 제1위상인코딩라인 세트는 상기 제1방향을 따라 스택되어 있는 M1개(M1<N)의 인코딩라인들로 구성된다.
또한, 상기 제2위상인코딩라인 세트는 k-스페이스에 대하여 언더샘플링된 것일 수 있다. 즉, 상기 k-스페이스가 상기 제2방향을 따라 스택되어 있는 N개의 인코딩라인들로 구분되는 것으로 가정하였을 때에, 상기 제2위상인코딩라인 세트는 상기 제2방향을 따라 스택되어 있는 M2개(M2<N)의 인코딩라인들로 구성된다.
이때, 상기 제1위상인코딩라인 세트는 센트럴 샘플링 패턴 및 랜덤 샘플링 패턴 중 어느 하나의 샘플링 패턴을 이용하여 획득된 것일 수 있다. 그리고, 상기 제2위상인코딩라인 세트는 센트럴 샘플링 패턴 및 랜덤 샘플링 패턴 중 어느 하나의 샘플링 패턴을 이용하여 획득되는 것일 수 있다. 그러나 본 발명에 적용될 수 있는 샘플링 패턴이 상술한 센트럴 샘플링 패턴 및 랜덤 샘플링 패턴으로 한정되는 것은 아니며, 다른 타입의 샘플링 패턴도 적용될 수 있다.
상기 센트럴 샘플링 패턴에 관한 실시예는 본 명세서에 참조로서 포함된, 상술한 대한민국 특허출원번호 10-2015-0119256에 기술되어 있다. 상기 랜덤 샘플링 패턴은, 센트럴 샘플링 패턴, 페어링 샘플링 패턴, dAVE 샘플링 패턴 등과 같이 미리 결정된 규칙성을 갖는 것이 아니라, 불규칙적인 패턴을 갖는 샘플링 패턴을 의미한다.
이때, 상기 제1위상인코딩라인 세트와 상기 제2위상인코딩라인 세트는 서로 다른 시구간에서 획득된 것일 수 있다. 즉, 상기 제2위상인코딩라인 세트의 획득의 시작은, 상기 제1위상인코딩라인 세트의 획득이 완료된 시점 이후에 시작될 수 있다.
본 발명의 다른 실시예에 따라, k-스페이스 데이터를 결정하는 방법이 제공될 수 있다. 이 방법은, 상술한 단계(S10), 단계(S20), 및 단계(S310)를 포함할 수 있다. 이때, 상기 제1위상인코딩라인 세트는 센트럴 샘플링 전략 및 랜덤 샘플링 전략 중 어느 하나의 샘플링 전략을 이용하여 획득되고, 상기 제2위상인코딩라인 세트는 센트럴 샘플링 전략 및 랜덤 샘플링 전략 중 어느 하나의 샘플링 전략을 이용하여 획득될 수 있다.
본 발명의 다른 실시예에 따라 처리부(91) 및 저장부(92)를 포함하는 MRI 컴퓨팅 장치(90)가 제공될 수 있다. 이때 상기 처리부(91)는, 상술한 단계(S10), 단계(S20), 및 단계(S30)를 실행하도록 되어 있을 수 있다.
본 발명의 또 다른 실시예에 따라 상술한 MRI 컴퓨팅 장치(90)가 포함된 MRI 장치(500)가 제공될 수 있다.
본 발명의 다른 실시예에 따라, 컴퓨터로 읽을 수 있는 프로그램이 기록된 논-트랜지토리(non-transitory) 기록장치(92, =저장부)가 제공될 수 있다. 이때, 상기 프로그램은, 처리부(91)를 포함하는 MRI 컴퓨팅 장치로 하여금, 상술한 단계(S10), 단계(S20), 및 단계(S30)를 실행하도록 할 수 있다.
실험
본 발명에 의해 제안된 전략은 본 발명에 따른 방법이 일반화될 수 있다는 것을 뒷받침하는 CS와 CNN 모두에서 시연되었다. 본 발명에서 제안된 샘플링 전략은 CS 알고리즘과 CNN을 사용하여 다중 콘트라스트 MRI와 다중 PC-bSSFP 이미징에서 테스트되었다. 본 발명에 따른 다중 콘트라스트 MRI와 다중 콘트라스트에서 제안된 전략의 효과가 실험적으로 확인되었다. PE 방향이 다른, 제안된 샘플링 전략의 장점은 다중 콘트라스트 MR 영상과 다중 PC bSSFP 영상 모두에서 입증되었다. 본 발명에 의해 제안된 샘플링 전략이 재구성 방법(CNN, CS) 또는 샘플링 패턴(센트럴, 랜덤)에 관계없이 잘 작동함을 확인했다.
이하, 본 발명의 일 실시예에 따라 수행된 실험의 과정 및 그 결과를 설명한다.
다중-콘트라스트 MRI
본 발명을 통해 제안된 샘플링 전략은, 공개(public) 및 생체-내(in vivo) 다중-콘트라스트 MRI 데이터 세트를 사용하여 평가될 수 있다. 첫째, 공용 IXI 데이터베이스의 T2/PD 이미지가 사용되었다. 건강한 피험자의 총 577 개의 데이터 세트는 CNN을 위한 434개의 학습 세트와 143개의 테스트 세트로 나뉘었다. 이미지의 크기가 192ㅧ192로 조정되었다. 공개 데이터가 크기 이미지(magnitude image)이기 때문에, 의사 k-스페이스(pseudo k-space)는 크기 이미지의 푸리에 변환에 의해 생성된다.
그런 다음, 도 1b의 (a)에 나타낸 방식과 같이, 의사 k-스페이스는 센트럴 샘플링 패턴과 랜덤 샘플링 패턴의 5가지 조합을 사용하여 4, 6, 8배 언더샘플링 되었다. CNN은 두 개의 언더샘플 이미지를 입력으로 받아 재구성을 향상시키기 위해 입력 이미지가 서로 참조로 작용하는 두 개의 재구성 이미지를 출력으로 생성했다
또한, 도 1b의 (b)에 나타낸 바와 같이, 참조 이미지의 효과를 평가하기 위해 참조 이미지가 없는 언더샘플 이미지 하나만을 사용하여 CNN을 평가했다. 434개의 공개 데이터 세트에서 얻은 29,804 이미지에 대한 학습에는 약 15시간이 걸렸다.
둘째, 본 발명에 의해 제안된 샘플링 전략은 10명의 피험자의 생체-내 뇌 MRI 데이터에서 평가되었다. T1, T2 및 PD 이미지는 3T MRI 스캐너 (MAGNETOM Trio, Siemens Healthcare, Erlangen, Germany)에서 데카르트 좌표를 사용하여 획득되었다. T1, T2 및 PD 데이터 세트의 두 데이터 세트가 선택되어 다중-콘트라스트 MRI의 CNN 및 CS 알고리즘에 적용되었다. CNN은 한 번에 하나의 이미지만 재구성했기 때문에 하나의 CNN은 세 개의 데이터 세트(T1, T2 및 PD)에서 총 6개의 입력 조합을 사용하여 학습되었다. 데이터 세트의 수가 적기 때문에 CNN은 공개 데이터로 사전 학습되었고, 세 피험자의 4배 및 8배 언더샘플 데이터 세트로 미세 조정되었다. 데이터 크기가 불충분하기 때문에, 데이터를 네 배로 만들기 위해 데이터를 -10ㅀ에서 10ㅀ 사이에서 임의로 회전했다. 축 방향 이중 에코 T2- 및 양성자 밀도(PD)-가중 영상은 다음의 파라미터로 얻어졌다 : 반복 시간 = 3700 ms; 에코 시간 = 37/103 ms; 시야(field of view) = 220 ㅧ 165mm; 슬라이스 수 = 15; 슬라이스 두께 = 5 mm; 플립 각 = 150ㅀ; 매트릭스 = 320ㅧ240이었다. 축 방향 스핀 에코 T1 강조 영상은 500ms의 반복 시간, 9.8ms의 에코 시간 및 70ㅀ의 플립 각도를 제외하고 동일한 파라미터로 획득되었다. CS 알고리즘은 나머지 일곱 피험자의 데이터 세트에서 테스트되었다. 4개의 코일 채널로부터의 k-스페이스 데이터는 코일 압축 알고리즘을 사용하여 하나의 채널 데이터로 압축되었다. FMC-CS 및 BCS 알고리즘은 또한 코일 압축 k-스페이스로부터 얻어진 임의로 언더샘플링된 이미지를 사용하여 학습된 CNN과 비교되었다.
다중 PC-bSSFP MRI
본 발명에서 제안한 샘플링 전략은 9명의 건강한 피험자의 8가지 생체-내 PC-bSSFP 데이터 세트에서 CNN을 사용하여 재구성하는데 적용되었다. 모든 뇌 영상은 위에서 설명한 3T MRI 스캐너를 사용하여 획득했다. 모든 생체-내 실험은 지역 기관의 검토위원회의 승인을 받아 수행되었으며 정보에 입각한 동의는 포기되었다. 8개의 PC-bSSFP 데이터 세트의 최대 강도 투영(MIP)으로 밴딩 없는 bSSFP 이미지가 생성되어 지표 진실(ground truth)로 사용되었다.
4개의 위상-순환 k-스페이스는 센트럴 및 랜덤 샘플링 패턴으로 구성된 3개의 샘플링 전략을 사용하여 4배로 언더샘플링 되었고, 이들의 전체 스캔 시간은 단일 샘플 이미지 전체의 것과 동일하다. CNN을 학습시키기 위해 이러한 언더 샘플 이미지를 제3방향을 따라 연결하여 입력으로 사용했다. 스캔 파라미터는 다음과 같이 기술된다 : 반복 시간 = 3,700 ms; 에코 시간 = 37/103 ms; 시야 = 220ㅧ165mm; 슬라이스 수 = 15; 슬라이스 두께 = 5 mm; 플립 각 = 150ㅀ; 매트릭스 = 320ㅧ240이다.
재구성 방법
CNN은 다중 콘트라스트 MRI와 4개의 PC-bSSFP에 대해 각각 두 개의 이미지와 네 개의 이미지를 입력으로 받았다. 여러 이미지가 3차원을 따라 연결되었고 CNN의 입력으로 사용되었다. CNN은 가능한 한 지표 진실에 가까운 하나의 이미지를 생성하도록 학습되었다.
도 5는 CNN을 도식화한 그림이다. 재구성 CNN은 입력1(input1)로 다중 이미지를 수신하고 출력(Out)을 생성한다. 입력1(input1)은 다중 콘트라스트 MRI에서 서로 다른 콘트라스트의 두 이미지와 여러 PC-bSSFP에서의 4 상 사이클 이미지의 연결(concatenation)이다. 입력2(input2)는 다중 콘트라스트 MRI에서의 두 이미지의 첫 번째 이미지이며 네 개의 PC-bSSFP 이미지의 최대 강도 투영이다. 판별기(discriminator)는 지표 진실과 구별하기 위해 재구성 CNN의 결과를 사용하여 학습된다.
도 5에 나타낸 바와 같이, 제안된 CNN 프레임 워크는 재구성 CNN과 판별기 CNN(discriminator CNN)으로 구성되었다.
재구성 CNN은 Unet을 기반으로 했으며 22개의 콘볼루션 블록과 4개의 건너뛰기 연결(skip connection)로 구성되었다. 각 콘볼루션 블록은 필터 크기가 4x4인 콘볼루션 레이어, 배치 정규화 및 ReLU(rectified linear unit) 레이어로 구성되었다. 마지막 콘볼루션 레이어는 잔여 학습(residual training)을 위해 입력에 추가되었다. 건너뛰기 연결과 잔여 학습은 빠른 수렴 속도로 CNN의 성능을 향상시켰다. 재구성 CNN은 L1 손실과 판별기 CNN의 조합에 의해 최적화되었다. 판별기는 재구성된 CNN이 지각적으로 더 좋은 화질을 생성할 수 있게 해주었다. 판별기는 작은 수용 필드를 가지기 위해 2의 보폭을 가진 3개의 콘볼루션 블록을 가졌다. 학습 단계에서는 풀 샘플 이미지와 언더 샘플 이미지가 각각 지표 진실(ground truth) 및 입력으로 사용되었다. CNN을 사용한 실험은 단일 NVIDIA GTX 1080Ti 그래픽 프로세서에서 Tensorflow를 사용하여 수행되었다. 제안된 방법은 학습 속도 0.0002 및 배치 크기 4로 Adam Optimizer 33에 의해 학습되었다.
랜덤 샘플링 패턴으로 제안된 샘플링 전략은 기존 CS 알고리즘을 사용하여 다중-콘트라스트 MRI의 재구성에 적용되었다. 제작자의 웹 사이트에서 공개적으로 사용할 수는 Bayesian CS(BCS) 및 빠른 다중 콘트라스트 (FMC-CS)를 사용했다. 이 CS 알고리즘은 두 개의 언더 샘플 이미지를 동시에 재구성했다. 랜덤 샘플링 패턴은 확률 밀도 함수를 사용하여 생성되었다. BCS (최대 반복 1ㅧ104 및 종료 기준 1ㅧ10-8) 및 FMC(반복 100)는 개별적으로 최적화되었다.
바람직한 실시예
이하, 도 6 내지 도 8을 참조하여 본 발명의 바람직한 실시예들을 설명한다.
도 6은 본 발명의 일 실시예에 따라 MRI 이미지를 생성하는 방법을 나타낸 다이어그램이다. 이하 도 6을 참조하여 설명한다.
상기 MRI 이미지를 생성하는 방법은, MRI 장치(500)를 이용하여, 제1방향을 따라 언더샘플링하여 얻은 제1위상인코딩라인들(11)을 획득하는 단계; 상기 MRI 장치를 이용하여, 상기 제1방향과는 다른 제2방향을 따라 언더샘플링하여 얻은 제2위상인코딩라인(12)들을 획득하는 단계; 상기 제1위상인코딩라인들(11)과 상기 제2위상인코딩라인들(12)을 기초로 제1 MRI 이미지(31)를 생성하는 단계; 및 상기 제1위상인코딩라인들(11)과 상기 제2위상인코딩라인들(12)을 기초로 상기 제1 MRI 이미지(31)와는 다른 제2 MRI 이미지(32)를 생성하는 단계;를 포함할 수 있다.
이때, 상기 제1 MRI 이미지(31)를 생성하는 단계는, 상기 제1위상인코딩라인들(11)과 상기 제2위상인코딩라인들(12)을 기초로 제1k-스페이스(21)를 결정하고, 상기 제1k-스페이스(21)로부터 상기 제1 MRI 이미지(31)를 생성하는 단계를 포함하며, 그리고 상기 제2 MRI 이미지(32)를 생성하는 단계는, 상기 제1위상인코딩라인들(11)과 상기 제2위상인코딩라인들(12)을 기초로 상기 제1k-스페이스(21)와는 다른 제2k-스페이스(22)를 결정하고, 상기 제2k-스페이스(22)로부터 상기 제2 MRI 이미지(23)를 생성하는 단계를 포함할 수 있다.
이때, 바람직하게는, 상기 제1k-스페이스(21)를 결정하는 것은, 미리 결정된 FOV 및 해상도를 얻기위해 요구되는 k-스페이스에 상기 제1위상인코딩라인들(11)을 채워넣고, 상기 k-스페이스의 나머지 부분의 일부 또는 전부를 상기 제2위상인코딩라인들(12)을 이용하여 채워넣는 단계를 포함하며, 상기 제2k-스페이스(22)를 결정하는 것은, 상기 k-스페이스에 상기 제1위상인코딩라인들(11)을 채워넣고, 상기 k-스페이스의 나머지 부분의 일부 또는 전부를 상기 제2위상인코딩라인들(12)을 이용하여 채워넣는 단계를 포함할 수 있다.
이때, 바람직하게는, 상기 제1위상인코딩라인들(11)은 센트럴 샘플링 패턴 및 랜덤 샘플링 패턴 중 어느 하나의 샘플링 패턴을 이용하여 획득되고, 상기 제2위상인코딩라인들(12)은 센트럴 샘플링 패턴 및 랜덤 샘플링 패턴 중 어느 하나의 샘플링 패턴을 이용하여 획득될 수 있다.
이하, 본 발명의 변형된 실시예를 도 7을 참조하여 설명한다.
도 7은 본 발명의 일 실시예에 따라 딥러닝 네트워크를 이용하여 MRI 이미지를 생성하는 방법을 나타낸 다이어그램이다.
이하 도 7의 (a)를 참조하면, 상기 제1 MRI 이미지(31)를 생성하는 단계는, 학습된 딥러닝 네트워크(41)의 입력층에 상기 제1위상인코딩라인들(11)에 관한 제1데이터와 상기 제2위상인코딩라인들(12)에 관한 제2데이터를 제공하여 상기 딥러닝 네트워크(41)의 출력층으로부터 상기 제1 MRI 이미지(31)를 획득하는 단계를 포함할 수 있다.
이하, 도 7의 (b)를 참조하여 상기 딥러닝 네트워크(41)를 학습시키는 방법을 설명한다. 상기 딥러닝 네트워크(41)를 학습시키는 방법은, 상기 MRI 장치를 이용하여 제1촬상면에 대하여, 상기 제1방향을 따라 언더샘플링하여 얻은 제3위상인코딩라인들(13)에 관한 제3데이터를 획득하는 단계; 상기 MRI 장치를 이용하여 상기 제1촬상면에 대하여, 상기 제2방향을 따라 언더샘플링하여 얻은 제4위상인코딩라인들(14)에 관한 제4데이터를 획득하는 단계; 상기 MRI 장치를 이용하여 상기 제1촬상면에 대하여, 풀-샘플링하여 얻은 위상인코딩라인들로 구성된 제5위상인코딩라들(61)을 획득하는 단계; 상기 상기 제5위상인코딩라인들(61)에 푸리에 변환을 적용함으로써 학습용 출력층-MRI이미지(52)를 생성하는 단계; 및 상기 딥러닝 네트워크(41)의 입력층에 상기 제3데이터와 상기 제4데이터를 제공하고, 상기 딥러닝 네트워크(41)의 출력층에 상기 학습용 출력층-MRI이미지(52)를 제공하여 상기 딥러닝 네트워크(41)를 학습시키는 단계를 포함할 수 있다.
이하, 본 발명의 또 다른 변형된 실시예를 도 8을 참조하여 설명한다.
도 8은 본 발명의 다른 실시예에 따라 딥러닝 네트워크를 이용하여 MRI 이미지를 생성하는 방법을 나타낸 다이어그램이다.
이하 도 8의 (a)를 참조하면, 상기 제1 MRI 이미지(31)를 생성하는 단계는, 상기 제1위상인코딩라인들(11)과 상기 제2위상인코딩라인들(12)을 기초로 제3k-스페이스(23)를 생성하는 단계; 상기 제3k-스페이스(23)에 대해 FFT를 수행함으로써, 입력층-MRI이미지(81)를 생성하는 단계; 및 학습된 딥러닝 네트워크(42)의 입력층에 상기 입력층-MRI이미지(81)를 제공하여 상기 딥러닝 네트워크(42)의 출력층으로부터 상기 제1 MRI 이미지(31)를 획득하는 단계를 포함할 수 있다.
이하, 도 8의 (b)를 참조하여 상기 딥러닝 네트워크(42)를 학습시키는 방법을 설명한다. 상기 딥러닝 네트워크(42)를 학습시키는 방법은, 상기 MRI 장치를 이용하여 제1촬상면에 대하여, 상기 제1방향을 따라 언더샘플링하여 얻은 제3위상인코딩라인들(13)을 획득하는 단계; 상기 MRI 장치를 이용하여 상기 제1촬상면에 대하여, 상기 제2방향을 따라 언더샘플링하여 얻은 제4위상인코딩라인들(14)을 획득하는 단계; 상기 제3위상인코딩라인들과 상기 제4위상인코딩라인들을 기초로 제4k-스페이스(24)를 생성하는 단계; 상기 제4k-스페이스에 대해 FFT를 수행함으로써, 학습용 입력층-MRI이미지(82)를 생성하는 단계; 상기 MRI 장치를 이용하여 상기 제1촬상면에 대하여, 풀-샘플링하여 얻은 제5위상인코딩라인들(61)을 획득하는 단계; 상기 제5위상인코딩라인들(61)을 이용하여 학습용 출력층-MRI이미지(83)를 생성하는 단계; 및 상기 딥러닝 네트워크(42)의 입력층에 상기 학습용 입력층-MRI이미지(82)를 제공하고, 상기 딥러닝 네트워크(42)의 출력층에 상기 학습용 출력층-MRI이미지(83)를 제공하여 상기 딥러닝 네트워크(42)를 학습시키는 단계를 포함할 수 있다.
도 6 내지 도 8에서 설명한 단계들은 도 4에 나타낸 처리부(91) 및 저장부(92)를 포함하는 MRI 컴퓨팅 장치(90)에 의해 수행될 수 있다.
이때, 상기 저장부(92)는 논-트랜지토리 기록장치로서, MRI 컴퓨팅 장치(90)에 인스톨된 것일 수 있으며 SSD, HDD, 포터블 메모리카드 등 다양한 형태로 제공될 수 있다.
본 발명의 일 실시예에 따라 제공되는 상기 논-트랜지토리 기록장치는, 상기 MRI 컴퓨팅 장치로 하여금, 도 6 내지 도 8에서 설명한 각 단계들을 수행하도록 하는 프로그램이 기록되어 있을 수 있다.
데이터 분석
본 발명을 적용한 실험 결과는 샘플링 전략, 재구성 알고리즘 및 샘플링 패턴에 따라 평가되었다. 산출물과 지표 진실의 차이점은 구조적 유사성(SSIM)과, 아래에 제시한 수식과 같이 정규화된 제곱 평균 제곱근 오차(NRMSE)를 사용하여 평가되었다.
Figure 112019003255571-pat00001
여기서 GT는 지표 진실 이미지(ground truth image)이고 out은 출력이다.
다중-콘트라스트 MRI
도 9의 (a)는 다양한 샘플링 전략을 가진 CNN의 결과들을 나타낸다. 여기서 각 샘플링 전략은 중앙 및 무작위 샘플링 패턴으로 개별적으로 테스트되었다. 도 9의 (a)의 제1행의 제1열 내지 제5열은 센트럴 샘플링 패턴을 이용하여 얻은 이미지들을 나타내고, 제3행의 제1열 내지 제5열은 랜덤 샘플링 패턴을 이용하여 얻은 이미지들을 나타낸다. 도 9의 (a)의 제2행 및 제4행에 나타낸 이미지들에 병기된 숫자(NRMSE)는, 지표 진실에 대한 각 샘플링 전략에 따른 결과의 오차를 나타낸다. 본 발명에 의해 제안된 전략(AP-RL)을 사용한 경우 가장 낮은 오차를 나타냄을 알 수 있다.
도 9의 (b)에 나타낸 이미지 각각은, 도 9의 (b)에 나타낸 대응하는 각 이미지의 일부를 확대한 것이다. 피질 하부의 백색 물질(화살표)의 비정상적인 높은 신호 강도의 차이가 명확함을 알 수 있다.
도 9의 (a) 및 (b)의 제2열에 나타낸 이미지는 본 발명의 일 실시예에 따라 서로 다른 위상 인코딩 방향으로 데이터를 획득하여 얻은 이미지를 나타낸다.
도 10는 본 발명에 따른 샘플링 전략(AP-RL)이 적용된 다중 콘트라스트 MRI 재구성에 따른 평가점수를 나타낸 표를 나타낸다.
도 11의 (a)는 센트럴 샘플링 패턴을 이용한 언더샘플링 전략을 이용하여 얻은 이미지의 예들을 나타낸다. 도 11의 (a)의 제1행의 제1열은 제1방향을 따르는 위상 인코딩 방향을 이용한 언더샘플링 전략을 이용하여 얻은 이미지를 나타내고, 도 11의 (a)의 제2행의 제1열은 제2방향을 따르는 위상 인코딩 방향을 이용한 언더샘플링 전략을 이용하여 얻은 이미지를 나타낸다.
도 11의 (a)의 제1행의 제2열 내지 제6열은 각각 서로 다른 샘플링 전략을 이용하여 얻은 이미지를 나타내며, 도 11의 (a)의 제1행의 제7열은 지표 진실 이미지를 나타낸다.
도 11의 (a)의 제2행의 제2열 내지 제6열에 나타낸 이미지들에 병기된 숫자는, 대응하는 각 샘플링 전략에 따른 결과와 상기 지표 진실 간의 오차를 나타낸다.
도 11의 (b)는 랜덤 샘플링 패턴을 이용한 언더샘플링 전략을 이용하여 얻은 이미지의 예들을 나타낸다. 도 11의 (b)의 제1행의 제1열은 제1방향을 따르는 위상 인코딩 방향을 이용한 언더샘플링 전략을 이용하여 얻은 이미지를 나타내고, 도 11의 (a)의 제2행의 제1열은 제2방향을 따르는 위상 인코딩 방향을 이용한 언더샘플링 전략을 이용하여 얻은 이미지를 나타낸다.
도 11의 (b)의 제1행의 제2열 내지 제6열은 각각 서로 다른 샘플링 전략을 이용하여 얻은 이미지를 나타낸다.
도 11의 (b)의 제2행의 제2열 내지 제6열에 나타낸 이미지들에 병기된 숫자는, 대응하는 각 샘플링 전략에 따른 결과와 상기 지표 진실 간의 오차를 나타낸다.
도 11의 (c)의 제1열은 랜덤 샘플링 패턴을 이용해 언더샘플링된 이미지를 나타내고, 제2열 내지 제5열은 각각 CNN 이미지, FMC-CS 이미지, Bayesian-CS 이미지, 및 지표 진실 이미지를 나타낸다.
도 11의 (d)의 제1행의 제1열 내지 제5열은 각각 언더샘플링된 이미지, AP-AP 샘플링 전략에 따른 이미지, AP-RL 샘플링 전략에 따른 이미지, RL-RL 전략에 따른 이미지, 및 지표 진실(PCB) 이미지를 나타낸다.
도 11의 (d)의 제2행의 제1열 내지 제4열에 제시된 숫자는, 각각 해당하는 이미지와 상기 지표 진실 이미지 간의 오차를 나타낸 것이다. 본 발명에서 제안한 AP-RL 샘플링 전략에 따른 이미지의 경우 오차가 가장 작은 것으로 나타났다.
도 12는 본 발명에서 제안한 샘플링 전략을 이용하여 다중 PC-bSSFP를 수행한 평가표를 나타낸다.
공개 데이터에서, 본 발명에 의해 제안된 샘플링 전략(AP-RL)은 가속 인자 및 샘플링 패턴에 관계없이 가장 낮은 NRMSE와 가장 높은 SSIM 값을 보였다.
도 9의 (a)에 나타낸 바왁 같이, 대표 피험자의 결과는 제안된 전략(AP-RL)이 지표 진실에 가장 가까운 이미지를 제공함을 보여 주었다
도 9의 (b)에 나타낸 바와 같이, 확대된 뷰(view)에서, 백색 물질(white matter)의 병리학적 고신호 강도가 제안된 전략(AP-RL)에서 가장 명확하게 검출되었다.
또한, 재구성 성능은 랜덤 표본 추출보다 정량적으로 그리고 정성적으로 센트럴 샘플링에서 더 낫다. 단일 이미지(AP_alone 및 RL_alone)를 사용한 재구성과 비교하여 다중 콘트라스트 재구성 방법이 더 나은 성능을 제공했다.
도 10에 나타내 평가표에서 확인할 수 있듯이, 생체-내 데이터의 CNN 결과는 공개 데이터의 CNN 결과와 일치한다
또한, 도 11의 (a) 및 도 11의 (b)에 나타낸 것과 같이, 제안된 전략(AP-RL)은 가장 낮은 오차를 보였다.
다른 한편으로, 동일한 PE 방향 (AP-AP 및 RL-RL) 및 단일 이미지 재구성 (1_alone 및 2_alone)을 갖는 다중 콘트라스트 MRI의 차이는 유의하지 않았으며, 이는 2가지 상이한 콘트라스트를 갖는 이미지들을 이용한 이점이, 그들이 동일한 PE 방향을 따라 언더샘플링 될 때 감소한다는 것을 나타낸다.
도 12에 제시된 바와 같이, 본 발명에 의해 제안된 전략(AP-RL)을 사용하는 두 CS 알고리즘은 다른 표본 추출 전략을 사용하는 알고리즘보다 더 낮은 NRMSE 값을 제공했다.
두 방법의 비교에서 CNN은 CS 알고리즘보다 더 좋은 재구성 성능을 양적 및 질적으로 나타냈다. 이는 도 11의 (c)에서 확인할 수 있다. 서로 다른 콘트라스트를 갖는 언더 샘플 된 두 이미지의 재구성은 각각 FMC-CS, BCS 및 CNN에서 약 30 초, 5 분 및 60ms가 소요되었다.
다중 PC-bSSFP MRI
도 13은 본 발명에서 제안한 샘플링 전략을 다중 PC-bSSFP에 적용하였을 때의 평가표를 나타낸다. 제안된 샘플링 전략(AP-RL)은 샘플링 패턴과 관계없이 정량적 평가에서 가장 우수한 성능을 보였다.
상술한 도 11의 (d)에 제시된 것과 같이, 제안된 전략이 소뇌의 세부 사항을 정확하게 재구성했지만 동일한 PE 방향의 결과가 세부 사항에 왜곡을 나타냈다는 것을 보여주었다. 또한, 제안된 전략을 가진 CNN은 4개의 풀 샘플 PC-bSSFP 이미지의 MIP 이미지보다 밴딩 아티팩트를 더 잘 억제했다.
상술한 본 발명의 실시예들을 이용하여, 본 발명의 기술 분야에 속하는 자들은 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에 다양한 변경 및 수정을 용이하게 실시할 수 있을 것이다. 특허청구범위의 각 청구항의 내용은 본 명세서를 통해 이해할 수 있는 범위 내에서 인용관계가 없는 다른 청구항에 결합될 수 있다.

Claims (10)

  1. MRI 장치를 이용하여, 제1방향을 따라 언더샘플링하여 얻은 제1위상인코딩라인들을 획득하는 단계;
    상기 MRI 장치를 이용하여, 상기 제1방향과는 다른 제2방향을 따라 언더샘플링하여 얻은 제2위상인코딩라인들을 획득하는 단계;
    상기 제1위상인코딩라인들과 상기 제2위상인코딩라인들을 기초로 제1 MRI 이미지를 생성하는 단계; 및
    상기 제1위상인코딩라인들과 상기 제2위상인코딩라인들을 기초로 상기 제1 MRI 이미지와는 다른 제2 MRI 이미지를 생성하는 단계;
    를 포함하는,
    MRI 이미지 생성방법.
  2. 제1항에 있어서,
    상기 제1 MRI 이미지를 생성하는 단계는, 상기 제1위상인코딩라인들과 상기 제2위상인코딩라인들을 기초로 제1k-스페이스를 결정하고, 상기 제1k-스페이스로부터 상기 제1 MRI 이미지를 생성하는 단계를 포함하며, 그리고
    상기 제2 MRI 이미지를 생성하는 단계는, 상기 제1위상인코딩라인들과 상기 제2위상인코딩라인들을 기초로 상기 제1k-스페이스와는 다른 제2k-스페이스를 결정하고, 상기 제2k-스페이스로부터 상기 제2 MRI 이미지를 생성하는 단계를 포함하는,
    MRI 이미지 생성방법.
  3. 제2항에 있어서,
    상기 제1k-스페이스를 결정하는 것은, 미리 결정된 FOV 및 해상도를 얻기위해 요구되는 k-스페이스에 상기 제1위상인코딩라인들을 채워넣고, 상기 k-스페이스의 나머지 부분의 일부 또는 전부를 상기 제2위상인코딩라인들을 이용하여 채워넣는 단계를 포함하며,
    상기 제2k-스페이스를 결정하는 것은, 상기 k-스페이스에 상기 제1위상인코딩라인들을 채워넣고, 상기 k-스페이스의 나머지 부분의 일부 또는 전부를 상기 제2위상인코딩라인들을 이용하여 채워넣는 단계를 포함하는,
    MRI 이미지 생성방법.
  4. 제1항에 있어서,
    상기 제1위상인코딩라인들은 센트럴 샘플링 패턴 및 랜덤 샘플링 패턴 중 어느 하나의 샘플링 패턴을 이용하여 획득되고,
    상기 제2위상인코딩라인들은 센트럴 샘플링 패턴 및 랜덤 샘플링 패턴 중 어느 하나의 샘플링 패턴을 이용하여 획득되는,
    MRI 이미지 생성방법.
  5. 제1항에 있어서,상기 제1 MRI 이미지를 생성하는 단계는, 학습된 딥러닝 네트워크의 입력층에 상기 제1위상인코딩라인들에 관한 제1데이터와 상기 제2위상인코딩라인들에 관한 제2데이터를 제공하여 상기 딥러닝 네트워크의 출력층으로부터 상기 제1 MRI 이미지를 획득하는 단계를 포함하는, MRI 이미지 생성방법.
  6. 제5항에 있어서,
    상기 딥러닝 네트워크를 학습시키는 방법은,
    상기 MRI 장치를 이용하여 제1촬상면에 대하여, 상기 제1방향을 따라 언더샘플링하여 얻은 제3위상인코딩라인들에 관한 제3데이터를 획득하는 단계;
    상기 MRI 장치를 이용하여 상기 제1촬상면에 대하여, 상기 제2방향을 따라 언더샘플링하여 얻은 제4위상인코딩라인들에 관한 제4데이터를 획득하는 단계;
    상기 MRI 장치를 이용하여 상기 제1촬상면에 대하여, 풀-샘플링하여 얻은 위상인코딩라인들로 구성된 제5위상인코딩라인들을 획득하는 단계;
    상기 상기 제5위상인코딩라인들에 푸리에 변환을 적용함으로써 학습용 출력층-MRI이미지를 생성하는 단계; 및
    상기 딥러닝 네트워크의 입력층에 상기 제3데이터와 상기 제4데이터를 제공하고, 상기 딥러닝 네트워크의 출력층에 상기 학습용 출력층-MRI이미지를 제공하여 상기 딥러닝 네트워크를 학습시키는 단계
    를 포함하는,
    MRI 이미지 생성방법.
  7. 제1항에 있어서,
    상기 제1 MRI 이미지를 생성하는 단계는,
    상기 제1위상인코딩라인들과 상기 제2위상인코딩라인들을 기초로 제3k-스페이스를 생성하는 단계;
    상기 제3k-스페이스에 대해 FFT를 수행함으로써, 입력층-MRI이미지를 생성하는 단계; 및
    학습된 딥러닝 네트워크의 입력층에 상기 입력층-MRI이미지를 제공하여 상기 딥러닝 네트워크의 출력층으로부터 상기 제1 MRI 이미지를 획득하는 단계
    를 포함하는,
    MRI 이미지 생성방법.
  8. 제7항에 있어서,
    상기 딥러닝 네트워크를 학습시키는 방법은,
    상기 MRI 장치를 이용하여 제1촬상면에 대하여, 상기 제1방향을 따라 언더샘플링하여 얻은 제3위상인코딩라인들을 획득하는 단계;
    상기 MRI 장치를 이용하여 상기 제1촬상면에 대하여, 상기 제2방향을 따라 언더샘플링하여 얻은 제4위상인코딩라인들을 획득하는 단계;
    상기 제3위상인코딩라인들과 상기 제4위상인코딩라인들을 기초로 제4k-스페이스를 생성하는 단계;
    상기 제4k-스페이스에 대해 FFT를 수행함으로써, 학습용 입력층-MRI이미지를 생성하는 단계;
    상기 MRI 장치를 이용하여 상기 제1촬상면에 대하여, 풀-샘플링하여 얻은 제5위상인코딩라인들을 획득하는 단계;
    상기 제5위상인코딩라인들을 이용하여 학습용 출력층-MRI이미지를 생성하는 단계; 및
    상기 딥러닝 네트워크의 입력층에 상기 학습용 입력층-MRI이미지를 제공하고, 상기 딥러닝 네트워크의 출력층에 상기 학습용 출력층-MRI이미지를 제공하여 상기 딥러닝 네트워크를 학습시키는 단계
    를 포함하는,
    MRI 이미지 생성방법.
  9. 처리부 및 저장부를 포함하며,
    상기 처리부는,
    MRI 장치를 이용하여, 제1방향을 따라 언더샘플링하여 얻은 제1위상인코딩라인들을 획득하는 단계;
    상기 MRI 장치를 이용하여, 상기 제1방향과는 다른 제2방향을 따라 언더샘플링하여 얻은 제2위상인코딩라인들을 획득하는 단계;
    상기 제1위상인코딩라인들과 상기 제2위상인코딩라인들을 기초로 제1 MRI 이미지를 생성하는 단계; 및
    상기 제1위상인코딩라인들과 상기 제2위상인코딩라인들을 기초로 상기 제1 MRI 이미지와는 다른 제2 MRI 이미지를 생성하는 단계;
    를 수행하도록 되어 있는,
    MRI 컴퓨팅 장치.
  10. 프로그램이 기록된 컴퓨터로 읽을 수 있는 논-트랜지토리(non-transitory) 기록장치로서,
    상기 프로그램은, MRI 컴퓨팅 장치로 하여금,
    MRI 장치를 이용하여, 제1방향을 따라 언더샘플링하여 얻은 제1위상인코딩라인들을 획득하는 단계;
    상기 MRI 장치를 이용하여, 상기 제1방향과는 다른 제2방향을 따라 언더샘플링하여 얻은 제2위상인코딩라인들을 획득하는 단계;
    상기 제1위상인코딩라인들과 상기 제2위상인코딩라인들을 기초로 제1 MRI 이미지를 생성하는 단계; 및
    상기 제1위상인코딩라인들과 상기 제2위상인코딩라인들을 기초로 상기 제1 MRI 이미지와는 다른 제2 MRI 이미지를 생성하는 단계;
    를 실행하도록 되어 있는 것을 특징으로 하는,
    컴퓨터로 읽을 수 있는 논-트랜지토리 기록장치.
KR1020190003238A 2018-01-12 2019-01-10 언더샘플링 방향 변화를 통한 다중영상획득 mri의 고속화 방법 및 이를 위한 장치 KR102163337B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/246,598 US11029381B2 (en) 2018-01-12 2019-01-14 Method for varying undersampling dimension for accelerating multiple-acquisition magnetic resonance imaging and device for the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180004671 2018-01-12
KR20180004671 2018-01-12

Publications (2)

Publication Number Publication Date
KR20190086390A KR20190086390A (ko) 2019-07-22
KR102163337B1 true KR102163337B1 (ko) 2020-10-08

Family

ID=67469223

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190003238A KR102163337B1 (ko) 2018-01-12 2019-01-10 언더샘플링 방향 변화를 통한 다중영상획득 mri의 고속화 방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (1) KR102163337B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102247454B1 (ko) * 2019-10-14 2021-04-30 연세대학교 산학협력단 다중 대조도 자기 공명 영상 생성 장치 및 이의 학습 방법
WO2021167124A1 (ko) * 2020-02-19 2021-08-26 서울대학교 산학협력단 Mri 데이터 및 추가 정보를 이용하는 변환 네트워크부를 포함하는 mri 데이터 변환장치 및 이를 이용한 mri 데이터 변환방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009500114A (ja) 2005-07-08 2009-01-08 ウイスコンシン アラムナイ リサーチ フオンデーシヨン 高度に限定されたイメージの再構成法
JP2016171990A (ja) 2015-03-16 2016-09-29 東芝メディカルシステムズ株式会社 磁気共鳴イメージング装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9081074B2 (en) * 2012-08-21 2015-07-14 Beth Israel Deaconess Medical Center, Inc. (Bidmc, Inc.) Method and apparatus for accelerated phase contrast magnetic resonance angiography and blood flow imaging
KR101757463B1 (ko) * 2016-11-03 2017-07-12 삼성전자주식회사 자기 공명 영상 장치 및 그에 따른 자기 공명 영상의 이미징 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009500114A (ja) 2005-07-08 2009-01-08 ウイスコンシン アラムナイ リサーチ フオンデーシヨン 高度に限定されたイメージの再構成法
JP2016171990A (ja) 2015-03-16 2016-09-29 東芝メディカルシステムズ株式会社 磁気共鳴イメージング装置

Also Published As

Publication number Publication date
KR20190086390A (ko) 2019-07-22

Similar Documents

Publication Publication Date Title
US11029381B2 (en) Method for varying undersampling dimension for accelerating multiple-acquisition magnetic resonance imaging and device for the same
JP6513398B2 (ja) 事前情報に制約される正則化を使用するｍｒ画像再構成
Pipe et al. Multishot diffusion‐weighted FSE using PROPELLER MRI
CN105308469B (zh) 一种mr成像方法、mr设备以及相关数据载体
CN106461746B (zh) 使用以每次重复不同的序列顺序对k线的重复采样的多回波MRI
CN106772167B (zh) 核磁共振成像方法及装置
US9488710B2 (en) MRI pulse sequence based on Q-space trajectory technique
JP5127841B2 (ja) 磁気共鳴イメージング装置及び磁化率強調画像撮影方法
CN106574954A (zh) 针对epi的具有奈奎斯特伪影校正的并行mr成像
RU2015116879A (ru) Опорное сканирование при устойчивой к металлам мр визуализации
US9841483B2 (en) Magnetic resonance imaging method and magnetic resonance imaging apparatus
CN110174632B (zh) 磁共振成像方法、装置、成像设备及磁共振成像系统
CN105785298A (zh) 一种高精度三维化学位移成像方法
CN109814058A (zh) Caipirinha波space
CN104067137A (zh) 具有对流动伪影的抑制的mr成像
Chen et al. Self‐calibrating wave‐encoded variable‐density single‐shot fast spin echo imaging
JP4698231B2 (ja) 磁気共鳴診断装置
KR102163337B1 (ko) 언더샘플링 방향 변화를 통한 다중영상획득 mri의 고속화 방법 및 이를 위한 장치
JP6762284B2 (ja) 磁気共鳴イメージング装置およびノイズ除去方法
JP2793125B2 (ja) 核スピン断層撮影装置
JP5278914B2 (ja) 磁気共鳴イメージング装置及び磁化率強調画像撮影方法
WO2018051649A1 (ja) 磁気共鳴イメージング装置及び磁気共鳴イメージング方法
Dai et al. Distortion-free diffusion imaging using self-navigated Cartesian Echo-planar time resolved acquisition and joint magnitude and phase constrained reconstruction
WO2020173688A1 (en) Epi mr imaging with distortion correction
Bao et al. Unsupervised deep learning model for correcting Nyquist ghosts of single‐shot spatiotemporal encoding

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right