KR101886575B1 - Device and Method for Reconstructing Undersampled Magnetic Resonance Image - Google Patents

Device and Method for Reconstructing Undersampled Magnetic Resonance Image Download PDF

Info

Publication number
KR101886575B1
KR101886575B1 KR1020170080784A KR20170080784A KR101886575B1 KR 101886575 B1 KR101886575 B1 KR 101886575B1 KR 1020170080784 A KR1020170080784 A KR 1020170080784A KR 20170080784 A KR20170080784 A KR 20170080784A KR 101886575 B1 KR101886575 B1 KR 101886575B1
Authority
KR
South Korea
Prior art keywords
image
space
magnetic resonance
network module
mri
Prior art date
Application number
KR1020170080784A
Other languages
Korean (ko)
Inventor
황도식
어태준
전요한
김태성
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020170080784A priority Critical patent/KR101886575B1/en
Application granted granted Critical
Publication of KR101886575B1 publication Critical patent/KR101886575B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

The present invention relates to an under-sampled magnetic resonance imaging (MRI) image reconfiguration apparatus and a method thereof. The under-sampled MRI image reconfiguration apparatus includes: a K-space network for reconfiguring K-space images of the under-sampled MRI images; a first correction unit for correcting K-space reconfiguration images being output from the K-space network; an image network which executes a reconfiguration operation for removing artifacts by receiving the MRI images corresponding to the images corrected by the first correction unit as an input; and a second correction unit which corrects the reconfigured MRI images being output from the image network. The K-space network uses the K-space images of normally sampled MRI images and K-space images of the under-sampled MRI images to learn to convert the K-space images of the under-sampled MRI images in a form similar to that of the normally sampled MRI images. The image network uses the normally sampled MRI images and the MRI images related to the output images from the K-space network to learn to convert the MRI images related to the output images of the K-space network in a form similar to that of the normally sampled MRI images. The apparatus and the method can use a deep learning network to more efficiently remove the artifacts occurring during the reconfiguration of the under-sampled MRI images.

Description

언더샘플링된 자기 공명 영상의 재구성 장치 및 방법{Device and Method for Reconstructing Undersampled Magnetic Resonance Image}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and a method for reconstructing undersampled magnetic resonance images,

본 발명의 자기 공명 영상의 재구성 장치 및 방법에 관한 것으로서, 더욱 상세하게는 언더샘플링된 자기 공명 영상의 재구성 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for reconstructing a magnetic resonance image, and more particularly, to an apparatus and method for reconstructing an under-sampled magnetic resonance image.

자기 공명 영상은 인체 내부 영상을 비 침습적이면서 고화질로 얻을 수 있는 대표적인 의료 영상이다. 일반적으로 기계적으로 획득하는 영상의 화질이 증가함에 따라 획득하여야 하는 데이터는 증가하며, 이는 자기 공명 영상에서 촬영 시간이 길어진다는 것을 의미한다. Magnetic resonance imaging (MRI) is a representative medical image that can obtain non-invasive and high-quality images of the human body. Generally, as the image quality of the mechanically acquired image increases, the data to be acquired increases, which means that the imaging time is longer in the MRI image.

자기 공명 영상의 촬영 시간은 매우 길기 때문에 고화질의 영상을 위해 긴 시간동안 자기 공명 영상을 촬영하는 것은 환자에게 있어 매우 고통스런 과정일 수 밖에 없다. Because the imaging time of magnetic resonance imaging is very long, imaging a magnetic resonance imaging for a long time for high quality imaging is a very painful process for the patient.

이러한 이유로 자기 공명 영상의 촬영 시간을 줄이기 위해 언더샘플링된 자기 공명 영상을 획득하고 이를 재구성하는 방법이 사용된다. 자기 공명 영상을 획득하기 위해 촬영을 통해 K-스페이스 영상을 1차적으로 획득하고, 이를 변환하여 자기 공명 영상을 획득한다. 언더샘플링된 자기 공명 영상의 K-스페이스 영상에서 특정 라인(또는 영역)에 대해서는 인코딩이 이루어지지 않아 데이터가 존재하지 않는다. For this reason, an undersampled magnetic resonance image is acquired and reconstructed to reduce the imaging time of the magnetic resonance imaging. To obtain a magnetic resonance image, a K-space image is primarily acquired through photography, and the acquired K-space image is acquired to obtain a magnetic resonance image. In the K-space image of the undersampled magnetic resonance image, no specific line (or region) is encoded and data is not present.

이와 같이 언더샘플링된 자기 공명 영상의 재구성을 위해 종래에는 압축 센싱(Compressed Sensing) 방법이 있었다. 이는 전형적인 영상 처리 기법을 이용한 방식으로서 영상 재구성 시 상당한 아티팩트(Artifact)가 발생하는 문제점이 있었다. In order to reconstruct the under-sampled magnetic resonance image, there has been a compression sensing method. This is a method using a typical image processing technique, and there arises a problem that a significant artifact occurs when the image is reconstructed.

근래에 들어, CNN(Convolutional Neural Network)과 같은 딥 러닝 네트워크를 이용하여 영상 재구성을 수행하는 방식이 제안되었으며, 대표적인 선행기술로 Jp Schlemper 등에 의해 제시된 “A Deep Cascade of Convolutional Neural Networks for MR Image Reconstruction”이 있다. Recently, a method of performing image reconstruction using a deep learning network such as CNN (Convolutional Neural Network) has been proposed. As a representative prior art, "A Deep Cascade of Convolutional Neural Networks for MR Image Reconstruction" proposed by Jp Schlemper et al. .

그러나, 기존에 제시된 딥러닝 네트워크를 이용한 재구성 방식들은 CNN을 단지 직렬로 연결하여 영상 변환을 수행하는 방식으로서 이러한 방식 역시 자기 공명 영상의 영상 재구성 시 발생하는 아티팩트를 효율적으로 제거하지는 못하는 문제점이 있었다. However, the conventional reconstruction methods using the deep learning network are a method of performing image conversion by connecting CNNs only in series, and this method also has a problem in that artifacts generated when reconstructing a magnetic resonance image can not be efficiently removed.

본 발명은 딥 러닝 네트워크를 이용하여 언더샘플링된 자기 공명 영상의 재구성 시 발생하는 아티팩트를 보다 효율적으로 제거할 수 있는 언더 샘플링된 자기 공명 영상의 재구성 장치 및 방법을 제안한다. The present invention proposes an apparatus and method for reconstructing an undersampled magnetic resonance image capable of more efficiently removing artifacts generated when reconstructing an undersampled magnetic resonance image using a deep learning network.

본 발명의 일 측면에 따르면, 언더샘플링된 자기 공명 영상의 K-스페이스 영상을 재구성하는 K-스페이스 네트워크 상기 K-스페이스 네트워크에서 출력되는 K-스페이스 재구성 영상을 보정하는 제1 보정부; 상기 제1 보정부에서 보정된 영상에 상응하는 자기 공명 영상을 입력으로 받아 아티팩트(artifact)를 제거하는 재구성을 수행하는 이미지 네트워크; 및 상기 이미지 네트워크에서 출력되는 재구성된 자기 공명 영상을 보정하는 제2 보정부를 포함하되, 상기 K-스페이스 네트워크는 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상과 정상적으로 샘플링된 자기 공명 영상의 K-스페이스 영상을 이용하여 상기 언더 샘플링된 자기 공명 영상의 K-스페이스 영상이 상기 정상적으로 샘플링된 자기 공명 영상과 같이 변환되도록 학습된 네트워크이며, 상기 이미지 네트워크는 상기 K-스페이스 네트워크의 출력 영상에 대한 자기 공명 영상과 정상적으로 샘플링된 자기 공명 영상을 이용하여 상기 K-스페이스 네트워크의 출력 영상에 대한 자기 공명 영상이 정상적으로 샘플링된 자기 공명 영상과 같이 변환되도록 학습된 네트워크인 언더샘플링된 자기 공명 영상의 재구성 장치가 제공된다. According to an aspect of the present invention, there is provided a K-space network for reconstructing a K-space image of an undersampled MRI image, comprising: a first corrector correcting a K-space reconstructed image output from the K-space network; An image network for receiving a magnetic resonance image corresponding to an image corrected by the first corrector and performing reconstruction to remove an artifact; And a second correction unit for correcting a reconstructed MRI image output from the image network, wherein the K-space network comprises a K-space image of the undersampled MRI image and a K-space image of a normally sampled MRI image, Wherein the image network is a network that has been learned such that a K-space image of the undersampled MRI image is transformed into a normally sampled MRI image using a space image, and the image network includes a magnetic resonance An apparatus for reconstructing an under-sampled magnetic resonance image, which is a network in which a magnetic resonance image for an output image of the K-space network is transformed into a normally sampled magnetic resonance image using a normally sampled magnetic resonance image do.

상기 K-스페이스 네트워크는 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상의 특징 정보를 추출하는 특징 추출부; 상기 특징 정보를 이용하여 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상에서 데이터가 없는 영역의 데이터를 추정하는 추정부; 및 상기 추정부에서 추정된 데이터를 이용하여 최종적인 재구성을 수행하는 재구성부를 포함한다. Wherein the K-space network includes a feature extraction unit for extracting feature information of a K-space image of the undersampled MRI image; An estimator for estimating data in a data-free area in the K-space image of the undersampled MRI using the feature information; And a reconstruction unit for performing final reconstruction using data estimated by the estimation unit.

상기 특징 추출부는 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상의 실수부 및 허수부에 대해 독립적으로 상기 특징 정보를 추출한다. The feature extraction unit independently extracts the feature information for the real part and the imaginary part of the K-space image of the undersampled MRI image.

상기 제1 보정부는 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상에서 데이터가 존재하는 영역의 데이터와 상기 K-스페이스 네트워크에서 출력되는 K-스페이스 영상의 해당 영역의 데이터가 일치하도록 보정을 수행한다. The first correction unit performs correction so that the data of the area where the data exists in the K-space image of the undersampled MRI and the data of the corresponding area of the K-space image output from the K-space network coincide with each other .

상기 이미지 네트워크는 레퍼런스 이미지와 입력되는 이미지와의 차에 해당하는 잔여 이미지를 예측하여 재구성을 수행한다. The image network predicts a residual image corresponding to a difference between the reference image and the input image, and performs reconstruction.

상기 제2 보정부는 상기 이미지 네트워크에서 출력되는 재구성된 자기 공명 영상을 K-스페이스 영상으로 변환하고, 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상에서 데이터가 존재하는 영역의 데이터와 상기 변환된 K-스페이스 영상의 해당 영역의 데이터가 일치하도록 보정을 수행한다. Wherein the second correction unit transforms the reconstructed MRI image output from the image network into a K-space image, and outputs the data of the region in which the data exists in the K-space image of the undersampled MRI to the transformed K - Perform correction so that the data of the corresponding area of the space image coincides.

상기 제2 보정부는 보정이 완료된 K-스페이스 영상을 인버스 퓨리어 트랜스폼을 통해 자기 공명 영상으로 변환한다. The second correction unit converts the corrected K-space image into a magnetic resonance image through an inverse Fourier transform.

상기 K-스페이스 네트워크 및 상기 이미지 네트워크는 CNN(Convolutional Neural Network)을 포함한다. The K-space network and the image network include a CNN (Convolutional Neural Network).

본 발명의 다른 측면에 따르면, 언더샘플링된 자기 공명 영상의 K-스페이스 영상을 K-스페이스 네트워크를 이용하여 재구성하는 단계(a); 상기 K-스페이스 네트워크에서 출력되는 K-스페이스 재구성 영상을 보정하는 단계(b); 상기 단계 (b)에서 보정된 영상에 상응하는 자기 공명 영상을 입력으로 하여 이미지 네트워크를 이용하여 아티팩트(artifact)를 제거하는 재구성을 수행하는 단계(c); 및 상기 단계(c)에서 재구성된 자기 공명 영상을 보정하는 단계(d)를 포함하되, 상기 K-스페이스 네트워크는 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상과 정상적으로 샘플링된 자기 공명 영상의 K-스페이스 영상을 이용하여 상기 언더 샘플링된 자기 공명 영상의 K-스페이스 영상이 상기 정상적으로 샘플링된 자기 공명 영상과 같이 변환되도록 학습된 네트워크이며, 상기 이미지 네트워크는 상기 K-스페이스 네트워크의 출력 영상에 대한 자기 공명 영상과 정상적으로 샘플링된 자기 공명 영상을 이용하여 상기 K-스페이스 네트워크의 출력 영상에 대한 자기 공명 영상이 정상적으로 샘플링된 자기 공명 영상과 같이 변환되도록 학습된 네트워크인 언더샘플링된 자기 공명 영상의 재구성 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 위 방법을 실행하기 위한 프로그램이 기록되어 있으며 컴퓨터에 의해 판독 가능한 프로그램이 기록된 기록 매체가 제공된다. According to another aspect of the present invention, there is provided a method of reconstructing a K-space image of an undersampled MRI image using a K-space network (a); (B) correcting the K-space reconstructed image output from the K-space network; (C) performing a reconstruction to remove an artifact using an image network by inputting a magnetic resonance image corresponding to the corrected image in the step (b); And (d) correcting the reconstructed magnetic resonance image in step (c), wherein the K-space network comprises a K-space image of the undersampled MRI and a K -Space image, the K-space image of the undersampled MRI image is transformed into the normally sampled MRI image, and the image network is a self- A reconstruction method of an under-sampled magnetic resonance image, which is a network in which a magnetic resonance image for an output image of the K-space network is transformed into a normally sampled magnetic resonance image using a resonance image and a normally sampled magnetic resonance image / RTI >
According to another aspect of the present invention, there is provided a recording medium on which a program for executing the above method is recorded and a program readable by a computer is recorded.

본 발명에 의하면, 딥 러닝 네트워크를 이용하여 언더샘플링된 자기 공명 영상의 재구성 시 발생하는 아티팩트를 보다 효율적으로 제거할 수 있는 장점이 있다. According to the present invention, it is possible to more efficiently remove the artifacts generated when reconstructing an undersampled magnetic resonance image using a deep learning network.

도 1은 본 발명의 일 실시예에 따른 언더샘플링된 자기 공명 영상 재구성 장치의 개괄적인 구성을 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 K-스페이스 네트워크 및 제1 데이터 보정부의 동작 구조를 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 K-스페이스 네트워크의 블록 구조를 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 이미지 네트워크 및 제2 데이터 보정부의 동작 구조를 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 이미지 네트워크의 구조를 도시한 블록도.
도 6은 본 발명의 일 실시예에 따른 언더샘플링된 자기 공명 영상 재구성 방법의 전체적인 흐름을 도시한 순서도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a diagram showing a general configuration of an undersampled MRI reconstruction apparatus according to an embodiment of the present invention; FIG.
FIG. 2 illustrates an operation structure of a K-space network and a first data correcting unit according to an embodiment of the present invention; FIG.
3 is a block diagram illustrating a K-space network according to an embodiment of the present invention;
4 is a diagram illustrating an operation structure of an image network and a second data correcting unit according to an embodiment of the present invention.
5 is a block diagram showing the structure of an image network according to an embodiment of the present invention;
FIG. 6 is a flowchart showing an overall flow of an undersampled MRI image reconstruction method according to an embodiment of the present invention; FIG.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 언더샘플링된 자기 공명 영상 재구성 장치의 개괄적인 구성을 도시한 도면이다. 1 is a diagram showing a general configuration of an undersampled MRI reconstruction apparatus according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 언더샘플링된 자기 공명 영상 재구성 장치는 K-스페이스 네트워크(100), 제1 데이터 보정부(110), 이미지 네트워크(120) 및 제2 데이터 보정부(130)를 포함한다. 1, an apparatus for reconstructing an undersampled MR image according to an exemplary embodiment of the present invention includes a K-space network 100, a first data correction unit 110, an image network 120, (130).

K-스페이스 네트워크(100)는 언더샘플링된 자기 공명 영상의 K-스페이스 영상을 학습을 통해 재구성하는 네트워크이다. K-스페이스 영상은 자기 공명 신호로부터 1차적으로 생성되는 주파수 영상이다. 이러한 K-스페이스 영상에 대한 인버스 퓨리어 트랜스폼을 통해 자기 공명 영상이 만들어지며, K-스페이스 영상은 라인 단위로 인코딩되는 것이 일반적이다. The K-space network 100 is a network for reconstructing a K-space image of an undersampled magnetic resonance image through learning. The K-space image is a frequency image generated primarily from a magnetic resonance signal. A magnetic resonance image is produced through an inverse Fourier transform of the K-space image, and a K-space image is generally encoded in a line unit.

K-스페이스 네트워크(100)에서 이루어지는 학습은 언더샘플링된 K-스페이스 영상이 레퍼런스 K-스페이스 영상(정상적으로 샘플링된 K-스페이스 영상)과 같이 재구성하기 위한 학습이다. 이를 위해, 학습 단계에서는 언더샘플링된 K-스페이스 영상과 레퍼런스 K-스페이스 영상이 함께 입력되어 학습이 이루어지며, 정확한 학습을 위해 다수의 언더샘플링된 K-스페이스 영상이 입력되어 학습을 수행할 수 있을 것이다. Learning performed in the K-space network 100 is learning for reconstructing an undersampled K-space image as a reference K-space image (normally sampled K-space image). To do this, in the learning phase, the undersampled K-space image and the reference K-space image are input together, and a plurality of undersampled K-space images are input for accurate learning, will be.

언더샘플링된 K-스페이스 영상은 일부 영역(또는 라인)에는 데이터가 존재하지만, 언더샘플링으로 인해 일부 영역(또는 라인)에는 데이터가 존재하지 않는다. K-스페이스 네트워크에서 이루어지는 재구성은 언더샘플링으로 인해 데이터가 존재하지 않은 영역을 채우는 작업을 포함하며, 정상적으로 샘플링된 영상에 근접하도록 해당 영역의 데이터를 추정한다. In an undersampled K-space image, data exists in some areas (or lines), but data is not present in some areas (or lines) due to undersampling. The reconstruction performed in the K-space network includes an operation of filling an area in which no data exists due to undersampling, and estimates the data of the corresponding area so as to approach the normally sampled image.

본 발명의 일 실시예에 따르면, K-스페이스 네트워크(100)는 CNN(Convolutional Neutal Network)을 이용한 딥러닝 네트워크일 수 있다. According to an embodiment of the present invention, the K-space network 100 may be a deep learning network using CNN (Convolutional Neutral Network).

학습이 완료된 K-스페이스 네트워크(100)는 입력된 K-스페이스 영상에 대한 재구성 작업을 수행한다. The completed K-space network 100 performs a reconstruction operation on the input K-space image.

제1 보정부(110)는 K-스페이스 네트워크를 통해 출력되는 재구성된 K-스페이스 영상에 대한 보정을 수행한다. 언더샘플링된 K-스페이스 영상은 일부 영역(또는 라인)에는 데이터가 있지만, 일부 영역에는 데이터가 존재한다. 이중 데이터가 존재하는 영역의 데이터는 정확한 값이라고 간주할 수 있다. 그러나, K-스페이스 네트워크(100)에 의한 K-스페이스 영상 재구성을 수행하면서 데이터가 존재하는 영역에서의 정확한 데이터가 변화될 수도 있다. 이와 같은 불일치를 방지하기 위해 제1 보정부(110)는 재구성된 K-스페이스 영상과 재구성 전의 언더샘플링된 K-스페이스 영상을 비교한다. 구체적으로, 언더샘플링된 K-스페이스 영상에서 데이터가 존재하는 영역의 데이터와 재구성된 K-스페이스 영상의 해당 영역 데이터를 비교하여 재구성된 K-스페이스 영상의 해당 영역의 데이터가 언더샘플링된 K-스페이스 영상의 해당 영역의 데이터와 일치되도록 데이터 보정을 수행한다. The first calibration unit 110 performs calibration on the reconstructed K-space image output through the K-space network. An undersampled K-space image has data in some areas (or lines), but data exists in some areas. The data in the area where the double data exists can be regarded as an accurate value. However, correct data in an area where data exist may be changed while K-space image reconstruction by the K-space network 100 is performed. In order to prevent such inconsistency, the first correction unit 110 compares the reconstructed K-space image and the undersampled K-space image before reconstruction. Specifically, the data of the area where the data exists in the undersampled K-space image is compared with the corresponding area data of the reconstructed K-space image, and the data of the corresponding area of the reconstructed K-space image is stored in the undersampled K- And performs data correction so as to coincide with the data of the corresponding region of the image.

이미지 네트워크(120)는 재구성된 K-스페이스 영상에 상응하는 자기 공명 영상을 학습을 통해 재구성하는 네트워크이다. 재구성된 K-스페이스 영상은 인버스 퓨리어 트랜스폼 등을 통해 자기 공명 영상으로 변환되며, 변환된 자기 공명 영상이 이미지 네트워크(120)로 입력된다. 이미지 네트워크(120)는 K-스페이스 도메인에서의 재구성에도 불구하고 여전히 남아 있는 아티팩트(artifacts)들을 제거하는 네트워크이다. The image network 120 is a network for reconstructing a magnetic resonance image corresponding to the reconstructed K-space image through learning. The reconstructed K-space image is converted into a magnetic resonance image through an inverse Fourier transform or the like, and the converted magnetic resonance image is input to the image network 120. The image network 120 is a network that removes artifacts that are still in spite of reconstruction in the K-space domain.

이미지 네트워크(120)에서 이루어지는 학습은 K-스페이스 네트워크(100)에서 출력되는 재구성된 K-스페이스 영상에 상응하는 자기 공명 영상이 정상적으로 샘플링된 자기 공명 영상과 같이 재구성하기 위한 학습니다. 이를 위해, 학습 단계에서는 재구성된 K-스페이스 영상에 상응하는 자기 공명 영상과 레퍼런스 자기 공명 영상(정삭적으로 샘플링된 자기 공명 영상)이 함께 입력되어 학습이 이루어지며, 정확한 학습을 위해 다수의 재구성된 K-스페이스 영상에 상응하는 자기 공명 영상과 레퍼런스 자기 공명 영상을 이용하여 학습을 수행할 수 있을 것이다. Learning performed in the image network 120 is for reconstructing a magnetic resonance image corresponding to a reconstructed K-space image output from the K-space network 100, such as a normally sampled magnetic resonance image. For this, in the learning phase, learning is performed by inputting a magnetic resonance image corresponding to the reconstructed K-space image and a reference magnetic resonance image (finely sampled magnetic resonance image), and a plurality of reconstructed Learning can be performed using a magnetic resonance image corresponding to the K-space image and a reference magnetic resonance image.

이미지 네트워크(120)에서의 학습은 K-스페이스 네트워크(100)에서의 학습과는 독립적으로 이루어지며, K-스페이스 네트워크(100)에서의 학습이 완료된 후 이미지 네트워크(120)에서의 학습이 이루어질 수 있을 것이다. Learning in the image network 120 is performed independently of learning in the K-space network 100 and learning in the image network 120 can be performed after learning in the K-space network 100 is completed There will be.

이미지 네트워크(120)에서 이루어지는 재구성은 입력되는 자기 공명 영상(재구성된 K-스페이스 영상에 상응하는 자기 공명 영상)이 레퍼런스 자기 공명 영상에 근접하도록 아티팩트를 제거하는 작업이다. The reconstruction performed in the image network 120 is an operation of removing artifacts such that the input magnetic resonance image (magnetic resonance image corresponding to the reconstructed K-space image) approaches the reference magnetic resonance image.

K-스페이스 네트워크(100)와 같이 이미지 네트워크(120) 역시 CNN을 이용한 딥러닝 네트워크일 수 있으며, 학습이 완료된 이미지 네트워크는 입력되는 자기 공명 영상에 대한 재구성 작업을 수행한다. Like the K-space network 100, the image network 120 may also be a deep learning network using CNN, and the learned image network performs a reconstruction operation on the input MRI image.

제2 데이터 보정부(130)는 이미지 네트워크(120)에서 출력되는 재구성된 자기 공명 영상에 대한 보정을 수행한다. 제2 데이터 보정부(130)에서 이루어지는 보정은 언더샘플링된 K-스페이스 영상과 재구성된 자기 공명 영상을 K-스페이스 영상으로 변환한 영상을 이용하여 이루어지며, 보정 방법은 제1 데이터 보정부(130)와 동일하다. The second data correction unit 130 performs correction on the reconstructed magnetic resonance image output from the image network 120. The correction performed by the second data correction unit 130 is performed using an undersampled K-space image and an image obtained by converting the reconstructed magnetic resonance image into a K-space image. The correction method includes a first data correction unit 130 ).

이미지 네트워크(120)에서의 재구성 과정을 거치면서 정확한 데이터인 언더샘플링된 K-스페이스 영상의 데이터가 왜곡될 수도 있다. 이와 같은 불일치를 방지하기 위해 언더샘플링된 K-스페이스 영상에서 데이터가 존재하는 영역의 데이터와 재구성된 자기 공명 영상의 K-스페이스 영상의 해당 영역의 데이터가 일치하도록 보정을 수행한다. The data of the undersampled K-space image, which is accurate data, may be distorted through the reconstruction process in the image network 120. [ In order to prevent such inconsistency, correction is performed so that the data of the area where the data exists in the undersampled K-space image matches the data of the corresponding area of the K-space image of the reconstructed magnetic resonance image.

도 2는 본 발명의 일 실시예에 따른 K-스페이스 네트워크 및 제1 데이터 보정부의 동작 구조를 도시한 도면이다. FIG. 2 is a diagram illustrating an operation structure of a K-space network and a first data correcting unit according to an embodiment of the present invention.

도 2의 동작 구조는 K-스페이스 네트워크에서의 학습이 완료되어 입력된 K-스페이스 영상에 대한 재구성을 수행하는 구조를 도시한 것이다. The operation structure of FIG. 2 shows a structure for performing reconstruction of the input K-space image after completion of learning in the K-space network.

도 2를 참조하면, K-스페이스 네트워크(100)로는 언더샘플링된 K-스페이스 영상이 입력된다. Referring to FIG. 2, an undersampled K-space image is input to the K-space network 100.

K-스페이스 영상은 허수부와 실시부의 두 개의 텀으로 구성되어 있으며, K-스페이스 네트워크는 실수부와 허수부에 대해 독립적으로 재구성을 수행한다. The K-space image consists of two terms, imaginary part and execution part, and K-space network performs reconstruction independently for real part and imaginary part.

언더샘플링된 K-스페이스 영상(Ku)는 다음의 수학식 1과 같이 표현될 수 있다. The undersampled K-space image K u can be expressed as Equation 1 below.

Figure 112017061254976-pat00001
Figure 112017061254976-pat00001

위 수학식 1에서, Ku,r은 실수부이고 Ku,i는 허수부이다. In Equation (1), K u, r is a real part and K u, i is an imaginary part.

도 3은 본 발명의 일 실시예에 따른 K-스페이스 네트워크의 블록 구조를 도시한 도면이다. 3 is a block diagram illustrating a K-space network according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 K-스페이스 네트워크는 특징 추출부(300), 추정부(310) 및 재구성부(320)를 포함한다. Referring to FIG. 3, a K-space network according to an embodiment of the present invention includes a feature extraction unit 300, an estimation unit 310, and a reconstruction unit 320.

특징 추출부(300)는 입력되는 언더샘플링된 K-스페이스 영상에서 특징 정보를 추출한다. 특징 정보는 미리 학습된 콘볼루션 필터를 적용하여 추출될 수 있을 것이다. The feature extraction unit 300 extracts feature information from an input undersampled K-space image. The feature information may be extracted by applying a pre-learned convolution filter.

특징 추출부(300)에서의 특징 정보 추출은 실수부와 허수부에 대해 독립적으로 이뤄질 수 있다. Feature information extraction in the feature extraction unit 300 can be performed independently for the real part and the imaginary part.

다음의 수학식 2는 특징 추출부에서의 특징 추출 방식을 나타낸 수학식이다. The following equation (2) is a mathematical expression showing a feature extraction method in the feature extraction unit.

Figure 112017061254976-pat00002
Figure 112017061254976-pat00002

위 수학식 2에서 Fr은 실수부의 추출된 특징 정보이고, Fi는 허수부의 추출된 특징 정보이다. 또한, WF,r 및 WF,i는 각각 특징 정보 추출을 위한 실수부의 가중치 행렬 및 허수부의 가중치 매트릭스를 의미하고, bF,r 및 bF,i는 각각 실수부 및 허수부의 바이어스 값을 의미하며.

Figure 112017061254976-pat00003
는 활성화(Activation) 함수를 의미한다. In Equation (2), F r is the extracted feature information of the real part, and F i is the extracted feature information of the imaginary part. W F, r and W F, i denote the weight matrix of the real part and the weight matrix of the imaginary part for extracting feature information, respectively, and b F, r and b F, i denote the bias values of the real part and the imaginary part, respectively It means.
Figure 112017061254976-pat00003
Means an activation function.

특징 추출부에서 추출된 실수부의 특징 정보 및 허수부의 특징 정보는 통합되어 추정부(310)로 입력된다. 추정부(310)는 언더샘플링된 K-스페이스 영상에서 비어 있는(데이터가 존재하지 않는) 영역의 데이터를 추정한다. 이때 추정부(310)에서의 추정은 비어 있는 영역과 인접한 영역에서의 특징 정보를 이용하여 이루어지며, CNN 네트워크가 이용될 경우 다중 콘볼루션 및 활성화(Activation) 레이어를 통해 추정이 이루어질 수 있을 것이다. The feature information of the real part and the feature information of the imaginary part extracted from the feature extraction unit are integrated and input to the estimation unit 310. The estimator 310 estimates the data of the empty (no data) region in the undersampled K-space image. At this time, the estimation in the estimation unit 310 is performed using the feature information in the area adjacent to the empty area, and when the CNN network is used, the estimation can be performed through the multi-convolution and the activation layer.

본 발명의 일 실시예에 따르면, 추정부에서의 추정 작업은 다음의 수학식 3과 같이 표현될 수 있다. According to an embodiment of the present invention, an estimation operation in the estimation unit can be expressed as Equation (3).

Figure 112017061254976-pat00004
Figure 112017061254976-pat00004

위 수학식 3에서, WI1 및 WIn은 첫 번째 및 n번째 콘볼루션 행렬을 의미하고, bI1 및 bIn은 첫 번째 및 n번째 바이어스 값을 의미하며, F는 통합된 특징 정보를 의미하고,

Figure 112017061254976-pat00005
는 활성화(Activation) 함수를 의미하며, I는 추정된 데이터를 의미한다.In Equation (3), W I1 and W In mean first and n-th convolution matrices, b I1 and b In mean first and n-th bias values, F means integrated feature information ,
Figure 112017061254976-pat00005
Denotes an activation function, and I denotes estimated data.

추정부(310)에서 추정된 데이터가 언더샘플링된 K-스페이스 영상의 비워진 영역에 채워진다. The estimated data in the estimation unit 310 is filled in the vacated area of the undersampled K-space image.

재구성부(320)는 추정부(310)에 의해 비어 있는 영역이 채워진 후 최종적인 K-스페이스 영상 재구성을 수행한다. 최종적인 영상 재구성 역시 학습된 콘볼루션 매트릭스를 이용하여 수행될 수 있을 것이다. The reconstructing unit 320 performs final K-space image reconstruction after the vacant area is filled by the estimating unit 310. FIG. The final image reconstruction may also be performed using the learned convolution matrix.

K-스페이스 네트워크(100)의 출력인 재구성된 K-스페이스 영상은 언더샘플링된 K-스페이스 영상과 비교하여 보정된다(제1 보정부에서의 보정). 앞서 설명한 바와 같이, 언더샘플링된 K-스페이스 영역에서 데이터가 존재하는 영역의 데이터가 서로 일치하도록 보정이 수행된다. The reconstructed K-space image, which is the output of the K-space network 100, is compared with the undersampled K-space image (correction in the first correction unit). As described above, correction is performed so that data in an area where data exists in the undersampled K-space area coincides with each other.

보정이 완료되면, 인버스 퓨리어 트랜스폼 등을 이용하여 K-스페이스 영상은 자기 공명 영상으로 변환된다. 변환된 자기 공명 영상은 이미지 네트워크(120)에 입력된다. When the correction is completed, the K-space image is converted into a magnetic resonance image using an inverse Fourier transform or the like. The converted magnetic resonance image is input to the image network 120.

도 4는 본 발명의 일 실시예에 따른 이미지 네트워크 및 제2 데이터 보정부의 동작 구조를 도시한 도면이다. 4 is a diagram illustrating an operation structure of an image network and a second data correcting unit according to an embodiment of the present invention.

도 4의 동작 구조는 이미지 네트워크에서의 학습이 완료되어 입력된 자기 공명 영상에 대한 재구성을 수행하는 구조를 도시한 것이다. The operation structure of FIG. 4 illustrates a structure in which learning in the image network is completed and reconstruction of the input MRI image is performed.

도 5는 본 발명의 일 실시예에 따른 이미지 네트워크의 구조를 도시한 블록도이다. 도 5를 참조하면, 본 발명의 일 실시예에 따른 이미지 네트워크는 K-스페이스 네트워크와 유사하게 특징 추출부(500), 추정부(510) 및 재구성부(520)를 포함한다. K-스페이스 네트워크에서와 같이 학습된 콘볼루션 매트릭스를 이용하여 특징 추출, 추정 및 재구성을 수행할 수 있을 것이다. 다만, 자기 공명 영상은 K-스페이스 영상과는 달리 실수만으로 화소값이 표현되므로 K-스페이스 네트워크와 같이 실수부와 허수부의 독립적인 연산은 요구되지 않는다. 5 is a block diagram illustrating the structure of an image network according to an exemplary embodiment of the present invention. Referring to FIG. 5, an image network according to an exemplary embodiment of the present invention includes a feature extraction unit 500, an estimation unit 510, and a reconstruction unit 520, similar to the K-space network. Estimation and reconstruction can be performed using the learned convolution matrix as in the K-space network. However, unlike K-space images, magnetic resonance images are represented by pixel values only in real numbers, so independent computation of real and imaginary parts is not required like K-space network.

다음의 수학식 4는 특징 추출부(500)에서의 특징 추출을 나타낸 수학식이다. The following Equation (4) is a mathematical expression showing the feature extraction in the feature extraction unit 500.

Figure 112017061254976-pat00006
Figure 112017061254976-pat00006

위 수학식 4에서, x는 입력된 자기 공명 영상을 의미하고, WF는 특징 추출을 의한 가중치 매트릭스를 의미하며, bF는 바이어스 값을 의미하며,

Figure 112017061254976-pat00007
는 활성화(Activation) 함수를 의미한다. In Equation (4), x denotes an input magnetic resonance image, W F denotes a weight matrix by feature extraction, b F denotes a bias value,
Figure 112017061254976-pat00007
Means an activation function.

추정부에(510)서의 추정 동작은 다음의 수학식 5와 같이 표현될 수 있다.  The estimation operation of the estimation unit 510 can be expressed by the following equation (5).

Figure 112017061254976-pat00008
Figure 112017061254976-pat00008

위 수학식 3에서, WI1 및 WIn은 첫 번째 및 n번째 콘볼루션 행렬을 의미하고, bI1 및 bIn은 첫 번째 및 n번째 바이어스 값을 의미하며, F는 추출된 특징 정보를 의미하고,

Figure 112017061254976-pat00009
는 활성화(Activation) 함수를 의미한다. In Equation (3), W I1 and W In denote the first and n-th convolution matrices, b I1 and b In denote first and n-th bias values, F denotes extracted feature information ,
Figure 112017061254976-pat00009
Means an activation function.

재구성부(520)는 추정부(510)에서의 추정 동작이 완료된 후 입력 이미지와 레퍼런스 이미지 사이의 이미지(Residual Image)를 예측하고 최종적으로 자기 공명 영상에 대한 재구성을 수행한다.The reconstruction unit 520 predicts an image (Residual Image) between the input image and the reference image after the estimation operation in the estimation unit 510 is completed, and finally reconstructs the magnetic resonance image.

다음의 수학식 6은 이미지 네트워크의 재구성부의 동작의 일례를 나타낸 수학식이다. Equation (6) is a mathematical expression showing an example of the operation of the reconstruction unit of the image network.

Figure 112017061254976-pat00010
Figure 112017061254976-pat00010

위 수학식 6에서, IN은 추정부에서 추정이 완료된 데이터이며, bR은 바이어스 값을 의미하고,

Figure 112017061254976-pat00011
은 예측되는 잔여 이미지를 의미한다. 재구성부(520)의 최종적인 출력은 입력 영상과 예측되는 잔여 이미지(
Figure 112017061254976-pat00012
)의 합으로 표현될 수 있다. In Equation (6), I N is the data whose estimation is completed in the estimator, b R is the bias value,
Figure 112017061254976-pat00011
Represents the predicted residual image. The final output of the reconstruction unit 520 is the input image and the residual image (
Figure 112017061254976-pat00012
). ≪ / RTI >

이미지 네트워크(120)의 최종적인 출력에 대해서는 제2 보정부(130)에서의 제2 보정이 이루어지며, 앞서 설명한 바와 같이, 이미지 네트워크(120)의 출력 영상을 퓨리어 트랜스폼 등을 통해 K-스페이스 영상으로 변환된다. 언더샘플링된 K-스페이스 영상이 존재하는 영역의 데이터와 변환된 K-스페이스 영상에서 해당 영역의 데이터와 일치하도록 데이터 보정 작업이 이루어진다. A second correction in the second correction unit 130 is performed on the final output of the image network 120. As described above, the output image of the image network 120 is subjected to K- And converted into a space image. The data correction operation is performed so as to match the data of the area in which the undersampled K-space image exists and the data of the corresponding area in the converted K-space image.

제2 보정부(130)에서의 보정 작업이 완료되면, 제2 보정부(130)는 K-스페이스 도메인 영상을 다시 자기 공영 영상으로 인버스 퓨리어 트랜스폼을 통해 변환하며, 변환된 영상은 본 발명에 의해 최종적으로 재구성되는 영상이다. When the correction operation is completed in the second correction unit 130, the second correction unit 130 converts the K-space domain image into a self-coarse image through an inverse Fourier transform, Which is finally reconstructed.

이상에서 설명한 바와 같이, 본 발명의 언더샘플링된 자기 공명 영상 재구성 장치는 K-스페이스 네트워크와 이미지 네트워크가 캐스케이드 방식으로 연결된 구조를 가지며 K-스페이스의 재구성과 자기 공명 영상 재구성이 함께 이루어지므로 보다 정확한 재구성이 가능하여 효율적인 아티팩트 제거가 가능한 장점이 있다. As described above, the undersampled MRI reconstruction apparatus of the present invention has a structure in which the K-space network and the image network are cascade-connected, and the reconstruction of the K-space and the reconstruction of the magnetic resonance image are performed together. And it is possible to efficiently remove artifacts.

도 6은 본 발명의 일 실시예에 따른 언더샘플링된 자기 공명 영상 재구성 방법의 전체적인 흐름을 도시한 순서도이다. 6 is a flowchart illustrating an overall flow of an undersampled MRI reconstruction method according to an embodiment of the present invention.

도 6을 참조하면, 우선 학습이 완료된 K-스페이스 네트워크에 언더샘플링된 자기 공명 영상을 입력하여 언더샘플링된 K-스페이스 영상에 대한 재구성을 수행한다(단계 600). Referring to FIG. 6, an undersampled MRI image is input to a K-space network in which learning has been completed, and an undersampled K-space image is reconstructed (step 600).

K-스페이스 영상에 대한 재구성이 완료되면, 입력 영상인 언더샘플링된 K-스페이스 영상에서 데이터가 존재하는 영역의 데이터와 재구성된 K-스페이스 영상의 해당 영역의 데이터가 일치하도록 재구성된 K-스페이스 영상을 보정한다(단계 602). When the reconstruction of the K-space image is completed, the reconstructed K-space image is reconstructed such that the data of the region where the data exists in the undersampled K-space image as the input image and the data of the corresponding region of the reconstructed K- (Step 602).

재구성된 K-스페이스 영상의 보정이 완료되면, 재구성된 K-스페이스 영상을 인버스 퓨리어 트랜스폼을 통해 자기 공명 영상으로 변환한다(단계 604). After the reconstruction of the reconstructed K-space image is completed, the reconstructed K-space image is transformed into a magnetic resonance image through an inverse Fourier transform (step 604).

변환된 자기 공명 영상은 학습이 완료된 이미지 네트워크로 입력되며, 자기 공명 영상에 대한 재구성이 이루어진다(단계 606). The converted magnetic resonance image is input to the learning image network, and reconstruction is performed on the magnetic resonance image (step 606).

이미지 네트워크에서 출력되는 재구성된 자기 공명 영상은 퓨리어 트랜스폼을 통해 K-스페이스 도메인의 영상으로 변환된다(단계 608). The reconstructed magnetic resonance image output from the image network is transformed into a K-space domain image through a Fourier transform (step 608).

K-스페이스 영상이 변환이 완료되면, 언더샘플링된 K-스페이스 영상에서 데이터가 존재하는 영역의 데이터와 단계 608에서 변환된 K-스페이스 영상의 해당 영역의 데이터가 일치하도록 단계 608에서 변환된 K-스페이스 영상을 보정한다(단계 610). When the conversion of the K-space image is completed, the data of the area in which the data exists in the undersampled K-space image matches the data of the corresponding area of the K-space image converted in step 608, The space image is corrected (step 610).

K-스페이스 영상 보정이 완료되면, 보정이 완료된 K-스페이스 영상을 다시 자기 공명 영상으로 변환하며, 인버스 퓨리어 트랜스폼을 이용하여 자기 공명 영상으로 변환한다(단계 612). When the K-space image correction is completed, the corrected K-space image is converted into a magnetic resonance image and converted into a magnetic resonance image using an inverse Fourier transform (step 612).

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- And various modifications and changes may be made thereto by those skilled in the art to which the present invention pertains. Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .

Claims (17)

언더샘플링된 자기 공명 영상의 K-스페이스 영상을 재구성하는 K-스페이스 네트워크 모듈;
상기 K-스페이스 네트워크 모듈에서 출력되는 K-스페이스 재구성 영상을 보정하는 제1 보정부;
상기 제1 보정부에서 보정된 영상에 상응하는 자기 공명 영상을 입력으로 받아 아티팩트(artifact)를 제거하는 재구성을 수행하는 이미지 네트워크 모듈; 및
상기 이미지 네트워크 모듈에서 출력되는 재구성된 자기 공명 영상을 보정하는 제2 보정부를 포함하되,
상기 K-스페이스 네트워크 모듈은 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상과 정상적으로 샘플링된 자기 공명 영상의 K-스페이스 영상을 이용하여 상기 언더 샘플링된 자기 공명 영상의 K-스페이스 영상이 상기 정상적으로 샘플링된 자기 공명 영상과 같이 변환되도록 학습된 네트워크 모듈이며,
상기 이미지 네트워크 모듈은 상기 K-스페이스 네트워크 모듈의 출력 영상에 대한 자기 공명 영상과 정상적으로 샘플링된 자기 공명 영상을 이용하여 상기 K-스페이스 네트워크 모듈의 출력 영상에 대한 자기 공명 영상이 정상적으로 샘플링된 자기 공명 영상과 같이 변환되도록 학습된 네트워크 모듈이며,
상기 제1 보정부는 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상에서 데이터가 존재하는 영역의 데이터와 상기 K-스페이스 네트워크 모듈에서 출력되는 K-스페이스 영상의 해당 영역의 데이터가 일치하도록 보정을 수행하는 것을 특징으로 하는 언더샘플링된 자기 공명 영상의 재구성 장치.
A K-space network module for reconstructing a K-space image of an undersampled magnetic resonance image;
A first correcting unit for correcting a K-space reconstructed image output from the K-space network module;
An image network module for receiving a magnetic resonance image corresponding to an image corrected by the first corrector and performing reconstruction to remove artifacts; And
And a second correction unit for correcting the reconstructed magnetic resonance image output from the image network module,
The K-space network module uses the K-space image of the undersampled MRI image and the K-space image of the normally sampled MRI to sample the K-space image of the undersampled MRI image The MRI of the network module,
Wherein the image network module includes a magnetic resonance imaging apparatus for imaging the magnetic resonance image of the output image of the K-space network module using the magnetic resonance image of the output image of the K-space network module and the normally sampled magnetic resonance image, Is a network module that is learned to be transformed as follows:
The first correction unit performs correction so that the data of the area where the data exists in the K-space image of the undersampled MRI and the data of the corresponding area of the K-space image output from the K- And reconstructs an under-sampled magnetic resonance image.
제1항에 있어서,
상기 K-스페이스 네트워크 모듈은 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상의 특징 정보를 추출하는 특징 추출부;
상기 특징 정보를 이용하여 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상에서 데이터가 없는 영역의 데이터를 추정하는 추정부; 및
상기 추정부에서 추정된 데이터를 이용하여 최종적인 재구성을 수행하는 재구성부를 포함하는 것을 특징으로 하는 언더샘플링된 자기 공명 영상의 재구성 장치.
The method according to claim 1,
Wherein the K-space network module comprises: a feature extraction unit for extracting feature information of a K-space image of the undersampled MRI;
An estimator for estimating data in a data-free area in the K-space image of the undersampled MRI using the feature information; And
And a reconstruction unit that performs final reconstruction using data estimated by the estimation unit.
제2항에 있어서,
상기 특징 추출부는 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상의 실수부 및 허수부에 대해 독립적으로 상기 특징 정보를 추출하는 것을 특징으로 하는 언더샘플링된 자기 공명 영상의 재구성 장치.
3. The method of claim 2,
Wherein the feature extracting unit extracts the feature information independently of a real part and an imaginary part of a K-space image of the undersampled MRI image.
삭제delete 제1항에 있어서,
상기 이미지 네트워크 모듈은 레퍼런스 이미지와 입력되는 이미지와의 차에 해당하는 잔여 이미지를 예측하여 재구성을 수행하는 것을 특징으로 하는 언더샘플링된 자기 공명 영상의 재구성 장치.
The method according to claim 1,
Wherein the image network module performs a reconstruction by predicting a residual image corresponding to a difference between a reference image and an input image.
제1항에 있어서,
상기 제2 보정부는 상기 이미지 네트워크 모듈에서 출력되는 재구성된 자기 공명 영상을 K-스페이스 영상으로 변환하고, 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상에서 데이터가 존재하는 영역의 데이터와 상기 변환된 K-스페이스 영상의 해당 영역의 데이터가 일치하도록 보정을 수행하는 것을 특징으로 하는 언더샘플링된 자기 공명 영상의 재구성 장치.
The method according to claim 1,
Wherein the second correction unit converts the reconstructed MRI image output from the image network module into a K-space image, and outputs the data of the region in which the data exists in the K-space image of the undersampled MRI image, Wherein the correction is performed so that the data of the corresponding region of the K-space image coincides with the data of the corresponding region of the K-space image.
제6항에 있어서,
상기 제2 보정부는 보정이 완료된 K-스페이스 영상을 인버스 퓨리어 트랜스폼을 통해 자기 공명 영상으로 변환하는 것을 특징으로 하는 언더샘플링된 자기 공명 영상의 재구성 장치.
The method according to claim 6,
Wherein the second correction unit converts the corrected K-space image into a magnetic resonance image through an inverse Fourier transform.
제1항에 있어서,
상기 K-스페이스 네트워크 모듈 및 상기 이미지 네트워크 모듈은 CNN(Convolutional Neural Network)을 이용하여 학습되는 것을 특징으로 하는 언더샘플링된 자기 공명 영상의 재구성 장치.
The method according to claim 1,
Wherein the K-space network module and the image network module are learned using CNN (Convolutional Neural Network).
언더샘플링된 자기 공명 영상의 K-스페이스 영상을 K-스페이스 네트워크 모듈을 이용하여 재구성하는 단계(a);
상기 K-스페이스 네트워크 모듈에서 출력되는 K-스페이스 재구성 영상을 보정하는 단계(b);
상기 단계 (b)에서 보정된 영상에 상응하는 자기 공명 영상을 입력으로 하여 이미지 네트워크 모듈을 이용하여 아티팩트(artifact)를 제거하는 재구성을 수행하는 단계(c); 및
상기 단계(c)에서 재구성된 자기 공명 영상을 보정하는 단계(d)를 포함하되,
상기 K-스페이스 네트워크 모듈은 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상과 정상적으로 샘플링된 자기 공명 영상의 K-스페이스 영상을 이용하여 상기 언더 샘플링된 자기 공명 영상의 K-스페이스 영상이 상기 정상적으로 샘플링된 자기 공명 영상과 같이 변환되도록 학습된 네트워크 모듈이며,
상기 이미지 네트워크 모듈은 상기 K-스페이스 네트워크 모듈의 출력 영상에 대한 자기 공명 영상과 정상적으로 샘플링된 자기 공명 영상을 이용하여 상기 K-스페이스 네트워크 모듈의 출력 영상에 대한 자기 공명 영상이 정상적으로 샘플링된 자기 공명 영상과 같이 변환되도록 학습된 네트워크 모듈이며,
상기 단계(b)는 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상에서 데이터가 존재하는 영역의 데이터와 상기 단계(a)에서 출력되는 K-스페이스 영상의 해당 영역의 데이터가 일치하도록 보정을 수행하는 것을 특징으로 하는 언더샘플링된 자기 공명 영상의 재구성 방법.
(A) reconstructing a K-space image of an undersampled magnetic resonance image using a K-space network module;
(B) correcting a K-space reconstructed image output from the K-space network module;
(C) performing a reconstruction to remove artifacts using an image network module by inputting a magnetic resonance image corresponding to the corrected image in the step (b); And
And (d) correcting the reconstructed magnetic resonance image in step (c)
The K-space network module uses the K-space image of the undersampled MRI image and the K-space image of the normally sampled MRI to sample the K-space image of the undersampled MRI image The MRI of the network module,
Wherein the image network module includes a magnetic resonance imaging apparatus for imaging the magnetic resonance image of the output image of the K-space network module using the magnetic resonance image of the output image of the K-space network module and the normally sampled magnetic resonance image, Is a network module that is learned to be transformed as follows:
The step (b) includes performing correction so that the data of the area in which the data exists in the K-space image of the undersampled MRI coincides with the data of the corresponding area of the K-space image output in the step (a) And reconstructing the under-sampled magnetic resonance image.
제9항에 있어서,
상기 단계(a)는, 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상의 특징 정보를 추출하는 단계; 상기 특징 정보를 이용하여 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상에서 데이터가 없는 영역의 데이터를 추정하는 단계; 및
상기 추정된 데이터를 이용하여 최종적인 재구성을 수행하는 단계를 포함하는 것을 특징으로 하는 언더샘플링된 자기 공명 영상의 재구성 방법.
10. The method of claim 9,
Wherein the step (a) comprises: extracting feature information of a K-space image of the undersampled MRI; Estimating data of a region in which there is no data in the K-space image of the undersampled MRI using the feature information; And
And performing final reconstruction using the estimated data. ≪ RTI ID = 0.0 > 11. < / RTI >
제10항에 있어서,
상기 특징 정보를 추출하는 단계는, 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상의 실수부 및 허수부에 대해 독립적으로 상기 특징 정보를 추출하는 것을 특징으로 하는 언더샘플링된 자기 공명 영상의 재구성 방법.
11. The method of claim 10,
Wherein the extracting of the feature information independently extracts the feature information for the real part and the imaginary part of the K-space image of the undersampled MRI image. .
삭제delete 제9항에 있어서,
상기 단계(c)는 레퍼런스 이미지와 입력되는 이미지와의 차에 해당하는 잔여 이미지를 예측하여 재구성을 수행하는 것을 특징으로 하는 언더샘플링된 자기 공명 영상의 재구성 방법.
10. The method of claim 9,
Wherein the step (c) comprises reconstructing a residual image corresponding to a difference between the reference image and the input image, thereby reconstructing the under-sampled MRI image.
제9항에 있어서,
상기 단계(d)는 상기 단계(c)에서 출력되는 재구성된 자기 공명 영상을 K-스페이스 영상으로 변환하고, 상기 언더샘플링된 자기 공명 영상의 K-스페이스 영상에서 데이터가 존재하는 영역의 데이터와 상기 변환된 K-스페이스 영상의 해당 영역의 데이터가 일치하도록 보정을 수행하는 것을 특징으로 하는 언더샘플링된 자기 공명 영상의 재구성 방법.
10. The method of claim 9,
Wherein the step (d) comprises the steps of: converting the reconstructed MRI image output from the step (c) into a K-space image, comparing data of a region in which the data exists in the K-space image of the undersampled MRI Wherein the correction is performed so that the data of the corresponding region of the converted K-space image coincides with each other.
제14항에 있어서,
상기 단계(d)는 보정이 완료된 K-스페이스 영상을 인버스 퓨리어 트랜스폼을 통해 자기 공명 영상으로 변환하는 것을 특징으로 하는 언더샘플링된 자기 공명 영상의 재구성 방법.
15. The method of claim 14,
Wherein the step (d) converts the corrected K-space image into a magnetic resonance image through an inverse Fourier transform.
제9항에 있어서,
상기 K-스페이스 네트워크 모듈 및 상기 이미지 네트워크 모듈은 CNN(Convolutional Neural Network)을 이용하여 학습되는 것을 특징으로 하는 언더샘플링된 자기 공명 영상의 재구성 방법.
10. The method of claim 9,
Wherein the K-space network module and the image network module are learned using CNN (Convolutional Neural Network).
제9항의 방법을 실행하기 위한 프로그램이 기록되어 있으며 컴퓨터에 의해 판독 가능한 프로그램이 기록된 기록 매체.



A recording medium on which a program for executing the method of claim 9 is recorded and a program readable by a computer is recorded.



KR1020170080784A 2017-06-26 2017-06-26 Device and Method for Reconstructing Undersampled Magnetic Resonance Image KR101886575B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170080784A KR101886575B1 (en) 2017-06-26 2017-06-26 Device and Method for Reconstructing Undersampled Magnetic Resonance Image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170080784A KR101886575B1 (en) 2017-06-26 2017-06-26 Device and Method for Reconstructing Undersampled Magnetic Resonance Image

Publications (1)

Publication Number Publication Date
KR101886575B1 true KR101886575B1 (en) 2018-08-07

Family

ID=63252024

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170080784A KR101886575B1 (en) 2017-06-26 2017-06-26 Device and Method for Reconstructing Undersampled Magnetic Resonance Image

Country Status (1)

Country Link
KR (1) KR101886575B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190095901A (en) * 2018-02-07 2019-08-16 울산과학기술원 Method and apparatus for image conversion using machine learning algorithm
KR20210095526A (en) 2020-01-23 2021-08-02 연세대학교 산학협력단 Apparatus and method for reconstructing mr parameter map
CN113763499A (en) * 2021-08-27 2021-12-07 上海壁仞智能科技有限公司 Nuclear magnetic resonance image reconstruction method, apparatus, device, medium, and program product
KR20220082302A (en) * 2020-12-10 2022-06-17 주식회사 에어스 메디컬 MAGNETIC RESONANCE IMAGE PROCESSING APPARATUS AND METHOD USING ARTIFICIAL NEURAL NETWORK AND RESCAlING
WO2023177151A1 (en) * 2022-03-17 2023-09-21 주식회사 에어스 메디컬 Method, program, and apparatus for processing 3-dimensional medical data

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009157378A (en) * 2007-12-26 2009-07-16 Sharp Corp Video display system
KR101283532B1 (en) * 2012-04-17 2013-07-23 고려대학교 산학협력단 Magnet resonance imaging device and method for constructing mr image using the same
KR101438758B1 (en) * 2013-04-02 2014-09-05 고려대학교 산학협력단 Apparatus and method for magnetic resonance image processing
KR20150123594A (en) * 2014-04-25 2015-11-04 고려대학교 산학협력단 Apparatus and method for magnetic resonance image processing
KR20160019081A (en) * 2016-02-01 2016-02-18 삼성전자주식회사 Magnetic resonance imaging apparatus and controlling
CN106597333A (en) * 2016-12-30 2017-04-26 上海联影医疗科技有限公司 Magnetic resonance parallel imaging method and magnetic resonance imaging system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009157378A (en) * 2007-12-26 2009-07-16 Sharp Corp Video display system
KR101283532B1 (en) * 2012-04-17 2013-07-23 고려대학교 산학협력단 Magnet resonance imaging device and method for constructing mr image using the same
KR101438758B1 (en) * 2013-04-02 2014-09-05 고려대학교 산학협력단 Apparatus and method for magnetic resonance image processing
KR20150123594A (en) * 2014-04-25 2015-11-04 고려대학교 산학협력단 Apparatus and method for magnetic resonance image processing
KR20160019081A (en) * 2016-02-01 2016-02-18 삼성전자주식회사 Magnetic resonance imaging apparatus and controlling
CN106597333A (en) * 2016-12-30 2017-04-26 上海联影医疗科技有限公司 Magnetic resonance parallel imaging method and magnetic resonance imaging system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Wang, Shanshan, et al. "Accelerating magnetic resonance imaging via deep learning." Biomedical Imaging(ISBI), 2016 IEEE 13th International Symposium(2016)* *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190095901A (en) * 2018-02-07 2019-08-16 울산과학기술원 Method and apparatus for image conversion using machine learning algorithm
KR102237288B1 (en) 2018-02-07 2021-04-07 울산과학기술원 Method and apparatus for image conversion using machine learning algorithm
KR20210095526A (en) 2020-01-23 2021-08-02 연세대학교 산학협력단 Apparatus and method for reconstructing mr parameter map
KR20220082302A (en) * 2020-12-10 2022-06-17 주식회사 에어스 메디컬 MAGNETIC RESONANCE IMAGE PROCESSING APPARATUS AND METHOD USING ARTIFICIAL NEURAL NETWORK AND RESCAlING
KR102584166B1 (en) 2020-12-10 2023-10-05 주식회사 에어스메디컬 MAGNETIC RESONANCE IMAGE PROCESSING APPARATUS AND METHOD USING ARTIFICIAL NEURAL NETWORK AND RESCAlING
CN113763499A (en) * 2021-08-27 2021-12-07 上海壁仞智能科技有限公司 Nuclear magnetic resonance image reconstruction method, apparatus, device, medium, and program product
CN113763499B (en) * 2021-08-27 2023-08-18 上海壁仞智能科技有限公司 Nuclear magnetic resonance image reconstruction method, device, equipment and medium
WO2023177151A1 (en) * 2022-03-17 2023-09-21 주식회사 에어스 메디컬 Method, program, and apparatus for processing 3-dimensional medical data

Similar Documents

Publication Publication Date Title
KR101886575B1 (en) Device and Method for Reconstructing Undersampled Magnetic Resonance Image
US10692250B2 (en) Generalized multi-channel MRI reconstruction using deep neural networks
US10527699B1 (en) Unsupervised deep learning for multi-channel MRI model estimation
CN110461228B (en) Improving quality of medical images using multi-contrast and deep learning
CN108717717B (en) Sparse MRI reconstruction method based on combination of convolutional neural network and iteration method
CN109633502B (en) Magnetic resonance rapid parameter imaging method and device
US20200126190A1 (en) Systems and methods for denoising medical images with deep learning network
KR102210457B1 (en) Apparatus and Method for Reconstructing Magnetic Resonance Image use Learning, Under-sampling Apparatus and Method about it, and Recording Medium thereof
KR102224597B1 (en) CNN-based high resolution image generating apparatus for minimizing data acquisition time and method therefor
CN108287324B (en) Reconstruction method and device of magnetic resonance multi-contrast image
CN104217448A (en) A magnetic-resonance fast imaging method and system based on iterative feature correction
KR102233996B1 (en) Device and method for reconstructing magnetic resonance image thereof
Majumdar et al. Exploiting rank deficiency and transform domain sparsity for MR image reconstruction
CN110942496B (en) Propeller sampling and neural network-based magnetic resonance image reconstruction method and system
CN111157935B (en) Magnetic resonance imaging method, magnetic resonance imaging device, storage medium and computer equipment
KR102398365B1 (en) Method for Image Compressed Sensing based on Deep Learning via Learnable Spatial-Spectral transformation
KR101883806B1 (en) Apparatus and method for reconstructing image
US20230135995A1 (en) Multi-slice mri data processing using deep learning techniques
CN116626570A (en) Multi-contrast MRI sampling and image reconstruction
CN112669400B (en) Dynamic MR reconstruction method based on deep learning prediction and residual error framework
CN116098604A (en) Magnetic resonance imaging apparatus, image processing apparatus, and image processing method
KR102434689B1 (en) Unsupervised learning method for general inverse problem and apparatus therefor
EP4292042A1 (en) Generalizable image-based training framework for artificial intelligence-based noise and artifact reduction in medical images
CN113487507A (en) Dual-domain recursive network MR reconstruction method based on multi-module feature aggregation
Peng et al. Accurate T2 mapping with sparsity and linear predictability filtering

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant