WO2019041376A1 - 基于卷积神经网络去除磁共振图像降采样伪影的方法 - Google Patents

基于卷积神经网络去除磁共振图像降采样伪影的方法 Download PDF

Info

Publication number
WO2019041376A1
WO2019041376A1 PCT/CN2017/101198 CN2017101198W WO2019041376A1 WO 2019041376 A1 WO2019041376 A1 WO 2019041376A1 CN 2017101198 W CN2017101198 W CN 2017101198W WO 2019041376 A1 WO2019041376 A1 WO 2019041376A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
convolutional neural
layer
image
magnetic resonance
Prior art date
Application number
PCT/CN2017/101198
Other languages
English (en)
French (fr)
Inventor
冯衍秋
张倩倩
Original Assignee
南方医科大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南方医科大学 filed Critical 南方医科大学
Publication of WO2019041376A1 publication Critical patent/WO2019041376A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]

Definitions

  • the present invention relates to the field of medical device technology, and in particular to a method for removing magnetic resonance image downsampling artifacts based on a convolutional neural network.
  • Magnetic resonance imaging is an important part of the field of medical diagnosis.
  • artifacts due to downsampling such as Gibbs artifacts caused by loss of high frequency data due to limited sampling of k-space, and aliasing artifacts due to downsizing in parallel imaging often occur.
  • fine-striped artifacts appearing in images during Radial/Spiral scanning and so on.
  • the artifacts caused by the mining in the image will cause a large reduction in image contrast and spatial resolution, so it is necessary to find an effective method to remove artifacts.
  • Some researchers have also proposed a neural network method to reconstruct parallel imaging data while removing aliasing artifacts due to downsampling. This method is applicable to both Cartesian sampling and Radial/Spiral sampling, but there are still phenomena of loss of detail structure and artifact residual, and the image quality is not high.
  • the object of the present invention is to provide a method for removing magnetic resonance image downsampling artifacts based on a convolutional neural network, which avoids the deficiencies of the prior art, and which is based on a convolutional neural network method for removing magnetic resonance image downsampling artifacts.
  • the excellent model can effectively remove the artifacts caused by downsampling, obtain higher resolution and contrast, and preserve the details of the image well, with high robustness. It can also use this model to make artifacts on other images to be processed. Removal.
  • a method for removing magnetic resonance image downsampling artifacts based on a convolutional neural network characterized in that the artifact images with artifacts are processed by a convolutional neural network to obtain an artifact-free result image.
  • sample magnetic resonance image with artifacts is taken as an input image, processed by a convolutional neural network framework to obtain an optimal model, and then the magnetic resonance image to be processed is input into an optimal model to obtain an artifact-free result image.
  • T1 preprocessing the sample magnetic resonance image
  • T2 the basic framework for constructing a convolutional neural network
  • step T1 the preprocessing steps of step T1 are as follows:
  • sample magnetic resonance image with artifacts and the sample reference image without artifacts are used as sample input data, and normalized and normalized according to formula (1) to obtain sample output data with variance of 0 and mean of 1;
  • y and z are sample input data and sample output data, respectively, and ⁇ and ⁇ are the mean and variance of the sample input data, respectively;
  • T12 Establish sample training data of the training model according to the sample output data obtained in step T11.
  • processing steps of constructing the basic structure of the convolutional neural network in step T2 are:
  • i is the number of layers built up by the basic structure of the convolutional neural network
  • i is a positive integer
  • "*" is a convolution operation
  • BN(x) is a batch normalization operation
  • max(0, x) is an activation function expression
  • l For the sequence number of the layer, the sequence number of the first layer is 1, the sequence number of the second layer is 2, the sequence number of the i-th layer is i, and W l and B l are respectively the convolution kernel and offset of the first layer.
  • the parameter, F l-1 (Y) is the input data of the first layer, F l (Y) is the output data of the first layer; F0 (Y) is the predicted image of the output;
  • i 3 to 2000.
  • G and b' are convolution kernels and offset parameters of normalized weight constants
  • x is the set of feature maps to be normalized
  • ⁇ x and ⁇ x are the mean and variance of x , respectively.
  • step T3 the specific operation of step T3 is as follows:
  • T31 initializing the basic framework parameters of the convolutional neural network
  • the number of iterations is Q
  • the current number of iterations is k, 1 ⁇ k ⁇ Q
  • Q is a positive integer
  • T34 Perform current sample training data as input data to obtain output image data
  • T35 calculating a mean square error value between the output image data and the sample reference data
  • the average error value is statistically calculated by taking k as the X-axis, the mean square error value, and the average error value as the Y-axis;
  • T36 determining whether the basic framework of the convolutional neural network constructed at the kth iteration is an optimal model, and if so, determining whether the basic framework of the convolutional neural network constructed at the kth iteration is an optimal model; otherwise, Go to step T37;
  • step T37 determining whether k is equal to Q, and if so, taking the basic framework of the convolutional neural network constructed at the kth iteration as the optimal model; otherwise, proceeding to step T38;
  • step T36 is specifically as follows:
  • the slope of the curve between the k-point and the k-1 point is judged according to the formula (5) or the formula (6).
  • the slope is determined to be zero, and the convolutional neural network constructed at the k-th iteration is determined.
  • the basic framework as the optimal model;
  • N is the value of the row* column of the input data.
  • step T31 the specific operations initialized in step T31 are as follows:
  • the number of setting iterations is n
  • the learning rate is 0.0001
  • n is a positive integer
  • the initialization in step T31 is that the convolution kernel sizes of the feature extraction layer, the feature enhancement layer, the nonlinear mapping layer, and the reconstruction layer are 9*9*1*64, 7*7*64*32, and 1*1*, respectively. 32*16 and 5*5*16*1 are initialized by a random Gaussian generation function.
  • the optimal model established by the invention can effectively remove the artifacts caused by downsampling, obtain higher resolution and contrast, and preserve the details of the image well, has high robustness, and can also use the model for other The image is processed for artifact removal.
  • FIG. 1 is a general schematic diagram of a method for removing a magnetic resonance image downsampling artifact based on a convolutional neural network according to the present invention.
  • Embodiment 2 is a schematic overall view of Embodiment 2.
  • Embodiment 3 is an effect diagram of removing Gibbs artifacts using the convolutional neural network of Embodiment 2.
  • Figure 4 is a partial enlarged view of Figure 3.
  • a method for removing magnetic resonance image downsampling artifacts based on a convolutional neural network and processing the magnetic resonance images with artifacts through a convolutional neural network to obtain an artifact-free result image.
  • the sample magnetic resonance image with artifacts is taken as the input image, processed by the convolutional neural network framework to obtain the optimal model, and then the magnetic resonance image to be processed is input into the optimal model to obtain the artifact-free result image.
  • T1 preprocessing the sample magnetic resonance image.
  • T2 The basic framework for constructing a convolutional neural network.
  • T3. Optimize the basic framework parameters of the convolutional neural network through the training data to obtain the optimal model.
  • step T1 The preprocessing steps of step T1 are as follows:
  • sample magnetic resonance image with artifacts and the sample reference image without artifacts are used as sample input data, and normalized and normalized according to formula (1) to obtain sample output data with variance of 0 and mean of 1;
  • y and z are sample input data and sample output data, respectively, and ⁇ and ⁇ are the mean and variance of the sample input data, respectively.
  • T12 Establish sample training data of the training model according to the sample output data obtained in step T11.
  • processing steps for constructing the basic structure of the convolutional neural network in step T2 are:
  • the output data of the first layer to the i-1th layer are sequentially calculated according to the formula (2).
  • i is the number of layers built up by the basic structure of the convolutional neural network
  • i is a positive integer
  • "*" is a convolution operation
  • BN(x) is a batch normalization operation
  • max(0, x) is an activation function expression
  • l For the sequence number of the layer, the sequence number of the first layer is 1, the sequence number of the second layer is 2, the sequence number of the i-th layer is i, and W l and B l are respectively the convolution kernel and offset of the first layer.
  • the parameter, Fl-1(Y) is the input data of the first layer
  • F l (Y) is the output data of the first layer
  • F0(Y) is the predicted image of the output.
  • the output data of the i-th layer is calculated according to the formula (3) as the output predicted image F0(Y).
  • G and b' are convolution kernels and offset parameters of normalized weight constants
  • x is the set of feature maps to be normalized
  • ⁇ x and ⁇ x are the mean and variance of x , respectively.
  • step T3 The specific operation of step T3 is as follows:
  • T31 initializing the basic framework parameters of the convolutional neural network.
  • T32 set the number of iterations to Q, the current number of iterations is k, 1 ⁇ k ⁇ Q, and Q is a positive integer.
  • T34 Perform current sample training data as input data to obtain output image data.
  • T35 Calculate the mean square error value and the average error value between the output image data and the sample reference data, and calculate and plot the curve by taking the k as the X axis, the mean square error value, and the average error value as the Y axis.
  • T36 determining whether the basic framework of the convolutional neural network constructed at the kth iteration is an optimal model, and if so, determining whether the basic framework of the convolutional neural network constructed at the kth iteration is an optimal model; otherwise, Go to step T37.
  • T37 Determine whether k is equal to Q. If yes, use the basic framework of the convolutional neural network constructed at the kth iteration as the optimal model; otherwise, proceed to step T38.
  • step T36 The determination method of step T36 is as follows:
  • the slope of the curve between the k-point and the k-1 point is judged according to the formula (5) or the formula (6).
  • the slope is less than 0.0001, the slope is determined to be zero, and the convolutional neural network constructed at the k-th iteration is determined.
  • the basic framework is used as the optimal model.
  • N is the value of the row* column of the input data.
  • the optimal model established by the invention can effectively remove the artifacts caused by downsampling. It has higher resolution and contrast, and preserves the details of the image well. It has high robustness. It can also use this model to remove artifacts from other images to be processed.
  • Building a feature enhancement layer further extracting features from the first layer of output data to obtain a second layer of output data.
  • Construct a nonlinear mapping layer map the second layer output data group to the artifact-free sample reference image to obtain the third layer output data.
  • step T31 initialization is as follows:
  • T31 initializing the convolution kernel.
  • T32 Set the number of input images to 2.
  • the number of set iterations is n
  • the learning rate is 0.0001
  • n is a positive integer.
  • the initialization in step T31 is that the convolution kernel sizes of the feature extraction layer, the feature enhancement layer, the nonlinear mapping layer, and the reconstruction layer are 9*9*1*64, 7*7*64*32, and 1*1*, respectively. 32*16 and 5*5*16*1 are initialized by a random Gaussian generation function.
  • the specific layer of the basic structure of the convolutional neural network may be selected according to the requirements of image processing.
  • the basic structure of the convolutional neural network is constructed through 4 layers. .
  • FIG. 3 shows the use of the method of the present invention to remove artifacts.
  • a physical picture including a sample reference picture, a sample magnetic resonance image, and a resulting image after artifact removal using the method of the present invention, and a residual map relative to the reference picture. It can be seen from Fig. 3 that the method of the present invention can effectively and robustly remove Gibbs artifacts and can retain fine details and improve image quality.
  • FIG. 4 is a partial enlarged view of FIG. 3, and it can be seen from a partial enlarged view that the Gibbs artifact can be effectively removed using the method of the present invention.
  • This embodiment is directed to an artifact removal method for a finite K space downsampling method image. It should be noted that the present invention is also applicable to other sampling methods, such as partial K-space sampling, spiral down sampling, or artifact removal of radio-dessampled images, which will not be repeated herein.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

基于卷积神经网络去除磁共振图像降采样伪影的方法，将带有伪影的样本磁共振图像作为输入图像，通过卷积神经网络框架进行处理，最终得到无伪影的结果图像，(一)获取最优模型，T1、对样本磁共振图像进行预处理；T2、搭建卷积神经网络基本框架；T3、对卷积神经网络基本框架参数进行初始化；T4、通过训练数据对卷积神经网络基本框架参数进行优化，得到最优模型；(二)通过最优模型对待处理图像进行去伪影得到目标图像，T5、将经过预处理的待处理图像数据代入最优模型中，输出结果图像。该方法建立的最优模型可以有效去除降采样造成的伪影，获得较高的分辨率以及对比度，并很好的保留图像的细节。

Description

基于卷积神经网络去除磁共振图像降采样伪影的方法 技术领域
本发明涉及医疗设备技术领域，特别是涉及基于卷积神经网络去除磁共振图像降采样伪影的方法。
背景技术
磁共振成像是医学诊断领域的重要组成部分。然而，磁共振成像中经常出现由于降采样导致的伪影如由于k空间的有限采样导致的高频数据的丢失造成的吉布斯伪影，并行成像中的由于降采导致的混叠伪影以及噪声，进行Radial/Spiral扫描时图像中出现的的细条纹伪影等等。图像中的由于降采导致的伪影会造成图像对比度与空间分辨率的大幅降低，所以，找到一个有效的去除伪影的方法是十分必要的。
在过去的很多年里，有很多的去除降采样伪影的图像后处理的算法得以提出和发展，例如对于吉布斯伪影来说最常用的是滤波算法，移除k空间的高频数据，但这种方法有一个很严重的缺陷就是会造成图像分辨率大幅下降并使图像变得模糊。对于并行成像来说，SENSE，GRAPPA，压缩感知这些方法虽能很好的重建降采样的数据，但很难恢复由于降采样导致的丢失的细节结构，也很难彻底的将伪影去除干净。
在很早之前，就有研究学者提出了基于神经网络来去截断伪影。但这个方法只应用在一维信号和一个模拟图像上，且当这个方法应用在图像时，必须是一行一行地去计算，即这个方法只能 做1维的预测，因此这个方法需要的计算时间过长。
也有研究学者提出了用神经网络的方法来重建并行成像的数据同时去除由于降采样导致的混叠伪影。这种方法同时适用于笛卡尔采样，Radial/Spiral采样，但是仍然会存在细节结构丢失的现象和伪影残留的现象，且图像质量不高。
因此，针对现有技术不足，提供基于卷积神经网络去除磁共振图像降采样伪影的方法以解决现有技术不足甚为必要。
发明内容
本发明的目的在于避免现有技术的不足之处而提供基于卷积神经网络去除磁共振图像降采样伪影的方法，该基于卷积神经网络去除磁共振图像降采样伪影的方法建立的最优模型可以有效去除降采样造成的伪影，获得较高的分辨率以及对比度，并很好的保留图像的细节，具有高的鲁棒性，还可以使用该模型对其他待处理图像进行伪影的去除。
本发明的上述目的通过如下技术手段实现。
提供基于卷积神经网络去除磁共振图像降采样伪影的方法，其特征在于：将带有伪影的磁共振图像通过卷积神经网络处理得到无伪影的结果图像。
进一步的，将带有伪影的样本磁共振图像作为输入图像，通过卷积神经网络框架进行处理获得最优模型，再将待处理的磁共振图像输入最优模型得到无伪影的结果图像。
具体步骤如下：
(一)获取最优模型
T1、对样本磁共振图像进行预处理；
T2、搭建卷积神经网络的基本框架；
T3、对卷积神经网络基本框架参数进行优化，得到最优模型；
(二)通过最优模型对待处理图像进行去伪影得到目标图像
T4、将经过预处理的待处理图像数据代入最优模型中，输出结果图像。
具体而言的，步骤T1的预处理操作步骤如下：
T11、将带有伪影的样本磁共振图像和没有伪影的样本参考图像作为样本输入数据，根据式(1)进行归一标准化处理，得到方差为0，均值为1的样本输出数据；
Figure PCTCN2017101198-appb-000001
式(1)中y和z分别为样本输入数据和样本输出数据，μ和σ分别为样本输入数据的均值和方差；
T12、根据步骤T11中得到的样本输出数据，建立训练模型的样本训练数据。
进一步的，步骤T2中搭建卷积神经网络基本构架的处理步骤是：
T21，根据公式(2)依次计算第1层至第i-1层的输出数据；
Fl(Y)＝max(0，BN(Wl*Fl-1(Y)+Bl))，l＝1，2,......i-1
                            ……式(2)；
其中，i为卷积神经网络基本构架搭建的层数，i为正整数， “*”表示卷积操作，BN(x)为批量标准化操作，max(0，x)为激活函数表达式，l为所在层的顺序号，第一层的顺序号为1，第二层的顺序号为2，第i层的序号为i，Wl和Bl分别为第l层的卷积核和偏置参数，Fl-1(Y)为第l层的输入数据，Fl(Y)为第l层的输出数据；F0(Y)为输出的预测图像；
T22，根据公式(3)计算第i层的输出数据，作为输出的预测图像F0(Y)；
F0(Y)＝Wl*Fi-1(Y)+Bl,l＝i，……式(3)。
具体而言的，i为3至2000。
进一步的，式(2)中的批量标准化操作如下：
Figure PCTCN2017101198-appb-000002
式(4)中G和b’为标准化权重常数的卷积核和偏置参数，x为待标准化的特征图组，μx和σx分别为x的均值和方差。
优选的，步骤T3的具体操作如下：
T31、对卷积神经网络基本框架参数进行初始化；
T32、设迭代次数为Q，当前迭代次数为k，1≤k≤Q，Q为正整数；
T33、令k＝1，以样本训练数据作为当前样本训练数据，进入步骤T34；
T34、将当前样本训练数据作为输入数据进行操作，得到输出图像数据；
T35、计算输出图像数据与样本参考数据之间的均方误差值和 平均误差值，统计并以k为X轴，均方误差值、平均误差值为Y轴制作成曲线图；
T36、判定第k次迭代时搭建的卷积神经网络的基本框架是否为最优模型，如果是，则认定第k次迭代时搭建的卷积神经网络的基本框架是否为最优模型；否则，进行步骤T37；
T37、判断k是否等于Q,如果是，则以第k次迭代时搭建的卷积神经网络的基本框架作为为最优模型；否则，进入步骤T38；
T38、以第k次得到的输出图像数据作为当前样本训练数据，令k＝k+1，返回步骤T34。
进一步的，步骤T36的判定方法具体如下：
根据式(5)或式(6)对k点和k-1点间曲线的斜率进行判断，当斜率小于0.0001时，则判定斜率趋于零，以第k次迭代时搭建的卷积神经网络的基本框架作为最优模型；
均方误差函数：
Figure PCTCN2017101198-appb-000003
平均绝对误差函数：
Figure PCTCN2017101198-appb-000004
其中N为输入数据的行*列的值。
具体而言的，步骤T31初始化的具体操作如下：
T31、对卷积核进行初始化；
T32、设置输入图像数量为2；
T33、设置迭代次数为n，学习率为0.0001，n为正整数；
步骤T31中的初始化为设定特征提取层、特征增强层、非线性映射层和重建层的卷积核尺寸分别为9*9*1*64、7*7*64*32、1*1*32*16和5*5*16*1，通过随机的高斯生成函数进行初始化设置。
该发明建立的最优模型可以有效去除降采样造成的伪影，获得较高的分辨率以及对比度，并很好的保留图像的细节，具有高的鲁棒性，还可以使用该模型对其他待处理图像进行伪影的去除。
附图说明
利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任何限制。
图1是本发明基于卷积神经网络去除磁共振图像降采样伪影的方法的整体示意图。
图2为实施例2中的整体示意图。
图3为使用实施例2中卷积神经网络去除吉布斯伪影的效果图。
图4为图3的局部放大图。
具体实施方式
结合以下实施例对本发明作进一步描述。
实施例1。
如图1所示，基于卷积神经网络去除磁共振图像降采样伪影的方法，将带有伪影的磁共振图像通过卷积神经网络处理得到无伪影的结果图像。
将带有伪影的样本磁共振图像作为输入图像，通过卷积神经网络框架进行处理获得最优模型，再将待处理的磁共振图像输入最优模型得到无伪影的结果图像。
具体步骤如下：
(一)获取最优模型
T1、对样本磁共振图像进行预处理。
T2、搭建卷积神经网络的基本框架。
T3、通过训练数据对卷积神经网络基本框架参数进行优化，得到最优模型。
(二)通过最优模型对待处理图像进行去伪影得到目标图像
T4、将经过预处理的待处理图像数据代入最优模型中，输出结果图像。
步骤T1的预处理操作步骤如下：
T11、将带有伪影的样本磁共振图像和没有伪影的样本参考图像作为样本输入数据，根据式(1)进行归一标准化处理，得到方差为0，均值为1的样本输出数据；
Figure PCTCN2017101198-appb-000005
式(1)中y和z分别为样本输入数据和样本输出数据，μ和σ分别为样本输入数据的均值和方差。
T12、根据步骤T11中得到的样本输出数据，建立训练模型的样本训练数据。
步骤T2中搭建卷积神经网络基本构架的处理步骤是：
T21，根据公式(2)依次计算第1层至第i-1层的输出数据。
Fl(Y)＝max(0，BN(Wl*Fl-1(Y)+Bl))，l＝1，2,......i-1
                            ……式(2)。
其中，i为卷积神经网络基本构架搭建的层数，i为正整数，“*”表示卷积操作，BN(x)为批量标准化操作，max(0，x)为激活函数表达式，l为所在层的顺序号，第一层的顺序号为1，第二层的顺序号为2，第i层的序号为i，Wl和Bl分别为第l层的卷积核和偏置参数，Fl-1(Y)为第l层的输入数据，Fl(Y)为第l层的输出数据；F0(Y)为输出的预测图像。
T22，根据公式(3)计算第i层的输出数据，作为输出的预测图像F0(Y)。
F0(Y)＝Wl*Fi-1(Y)+Bl,l＝i，……式(3)。
式(2)中的批量标准化操作如下：
Figure PCTCN2017101198-appb-000006
式(4)中G和b’为标准化权重常数的卷积核和偏置参数，x为待标准化的特征图组，μx和σx分别为x的均值和方差。
步骤T3的具体操作如下：
T31、对卷积神经网络基本框架参数进行初始化。
T32、设迭代次数为Q，当前迭代次数为k，1≤k≤Q，Q为正整数。
T33、令k＝1，以样本训练数据作为当前样本训练数据，进入步骤T34。
T34、将当前样本训练数据作为输入数据进行操作，得到输出图像数据。
T35、计算输出图像数据与样本参考数据之间的均方误差值和平均误差值，统计并以k为X轴，均方误差值、平均误差值为Y轴制作成曲线图。
T36、判定第k次迭代时搭建的卷积神经网络的基本框架是否为最优模型，如果是，则认定第k次迭代时搭建的卷积神经网络的基本框架是否为最优模型；否则，进行步骤T37。
T37、判断k是否等于Q,如果是，则以第k次迭代时搭建的卷积神经网络的基本框架作为为最优模型；否则，进入步骤T38。
T38、以第k次得到的输出图像数据作为当前样本训练数据，令k＝k+1，返回步骤T34。
步骤T36的判定方法具体如下：
根据式(5)或式(6)对k点和k-1点间曲线的斜率进行判断，当斜率小于0.0001时，则判定斜率趋于零，以第k次迭代时搭建的卷积神经网络的基本框架作为最优模型。
均方误差函数：
Figure PCTCN2017101198-appb-000007
平均绝对误差函数：
Figure PCTCN2017101198-appb-000008
其中N为输入数据的行*列的值。
该发明建立的最优模型可以有效去除降采样造成的伪影，获 得较高的分辨率以及对比度，并很好的保留图像的细节，具有高的鲁棒性，还可以使用该模型对其他待处理图像进行伪影的去除。
实施例2。
基于卷积神经网络去除磁共振图像降采样伪影的方法，其它特征与实施例1相同，不同之处在于：当i＝4时，步骤T2中搭建卷积神经网络基本构架依次经过搭建特征提取层、搭建特征增强层、搭建非线性映射层和搭建重建层。
搭建特征提取层：从输入数据中提取特征，得到第一层输出数据。
搭建特征增强层：对第一层输出数据进一步提取特征，得到第二层输出数据。
搭建非线性映射层：将第二层输出数据组映射到无伪影的样本参考图像上，得到第三层输出数据。
搭建重建层：将第三层输出数据进行重组，输出预测图像。
步骤T31初始化的具体操作如下：
T31、对卷积核进行初始化。
T32、设置输入图像数量为2。
T33、设置迭代次数为n，学习率为0.0001，n为正整数。
步骤T31中的初始化为设定特征提取层、特征增强层、非线性映射层和重建层的卷积核尺寸分别为9*9*1*64、7*7*64*32、1*1*32*16和5*5*16*1，通过随机的高斯生成函数进行初始化设置。
需要说明的是，由于所需处理图像结果的标准不同，可根据图像处理的要求，选定搭建卷积神经网络基本构架的具体层数，本实施例中搭建卷积神经网络基本构架经过4层。
实施例3。
基于卷积神经网络去除磁共振图像降采样伪影的方法，其它特征与实施例1相同，不同之处在于：如图3-4所示，图3给出了使用本发明方法去除伪影的实物图片，包括样本参考图，样本磁共振图像和使用本发明的方法去伪影后的结果图像，以及相对于参考图的残差图。由图3可以看出本发明方法能够有效且鲁棒地去除吉布斯伪影并且能够很好的保留细节信息，并能提高图像质量。
图4为图3中的局部放大图，通过局部放大图可以看出，使用本发明方法能够有效的去除吉布斯伪影。
该实施例针对的是有限K空间降采样方法图像的伪影去除方法。需要说明的是，本发明还适用于其它采样方法，如部分K空间采样、螺旋降采样或放射降采样图像的伪影去除，在此不一一赘述。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (10)

  1. 基于卷积神经网络去除磁共振图像降采样伪影的方法，其特征在于：将带有伪影的磁共振图像通过卷积神经网络处理得到无伪影的结果图像。
  2. 根据权利要求1所述的基于卷积神经网络去除磁共振图像降采样伪影的方法，其特征在于：将带有伪影的样本磁共振图像作为输入图像，通过卷积神经网络框架进行处理获得最优模型，再将待处理的磁共振图像输入最优模型得到无伪影的结果图像。
  3. 根据权利要求2所述的基于卷积神经网络去除磁共振图像降采样伪影的方法，其特征在于：具体步骤如下：
    (一)获取最优模型
    T1、对样本磁共振图像进行预处理；
    T2、搭建卷积神经网络的基本框架；
    T3、对卷积神经网络基本框架参数进行优化，得到最优模型；
    (二)通过最优模型对待处理图像进行去伪影得到目标图像
    T4、将经过预处理的待处理图像数据代入最优模型中，输出结果图像。
  4. 根据权利要求3所述的基于卷积神经网络去除磁共振图像降采样伪影的方法，其特征在于：
    步骤T1的预处理操作步骤如下：
    T11、将带有伪影的样本磁共振图像和没有伪影的样本参考图像作为样本输入数据，根据式(1)进行归一标准化处理，得到方差为0，均值为1的样本输出数据；
    Figure PCTCN2017101198-appb-100001
    式(1)中y和z分别为样本输入数据和样本输出数据，μ和σ分别为样本输入数据的均值和方差；
    T12、根据步骤T11中得到的样本输出数据，建立训练模型的样本训练数据。
  5. 根据权利要求4所述的基于卷积神经网络去除磁共振图像降采样伪影的方法，其特征在于：
    步骤T2中搭建卷积神经网络基本构架的处理步骤是：
    T21，根据公式(2)依次计算第1层至第i-1层的输出数据；
    Fl(Y)＝max(0，BN(Wl*Fl-1(Y)+Bl))，l＝1，2,......i-1                              ……式(2)；
    其中，i为卷积神经网络基本构架搭建的层数，i为正整数，“*”表示卷积操作，BN(x)为批量标准化操作，max(0，x)为激活函数表达式，l为所在层的顺序号，第一层的顺序号为1，第二层的顺序号为2，第i层的序号为i，Wl和Bl分别为第l层的卷积核和偏置参数，Fl-1(Y)为第l层的输入数据，Fl(Y)为第l层的输出数据；FO(Y)为输出的预测图像；
    T22，根据公式(3)计算第i层的输出数据，作为输出的预测图像FO(Y)；
    F0(Y)＝Wl*Fi-1(Y)+Bl,l＝i，……式(3)。
  6. 根据权利要求5所述的基于卷积神经网络去除磁共振图像降采样伪影的方法，其特征在于：i为3至2000。
  7. 根据权利要求6所述的基于卷积神经网络去除磁共振图像降采样伪影的方法，其特征在于：式(2)中的批量标准化操作具体如下：
    Figure PCTCN2017101198-appb-100002
    式(4)中G和b’为标准化权重常数的卷积核和偏置参数，x为待标准化的特征图组，μx和σx分别为x的均值和方差。
  8. 根据权利要求7所述的基于卷积神经网络去除磁共振图像降采样伪影的方法，其特征在于：
    步骤T3的具体操作如下：
    T31、对卷积神经网络基本框架参数进行初始化；
    T32、设迭代次数为Q，当前迭代次数为k，1≤k≤Q，Q为正整数；
    T33、令k＝1，以样本训练数据作为当前样本训练数据，进入步骤T34；
    T34、将当前样本训练数据作为输入数据进行操作，得到输出图像数据；
    T35、计算输出图像数据与样本参考数据之间的均方误差值和平均误差值，统计并以k为X轴，均方误差值、平均误差值为Y轴制作成曲线图；
    T36、判定第k次迭代时搭建的卷积神经网络的基本框架是否为最优模型，如果是，则认定第k次迭代时搭建的卷积神经网络的基本框架是否为最优模型；否则，进行步骤T37；
    T37、判断k是否等于Q,如果是，则以第k次迭代时搭建的卷积神经网络的基本框架作为为最优模型；否则，进入步骤T38；
    T38、以第k次得到的输出图像数据作为当前样本训练数据，令k＝k+1，返回步骤T34。
  9. 根据权利要求8所述的基于卷积神经网络去除磁共振图像降采样伪影的方法，其特征在于：
    步骤T36的判定方法具体如下：
    根据式(5)或式(6)对k点和k-1点间曲线的斜率进行判断，当斜率小于0.0001时，则判定斜率趋于零，以第k次迭代时搭建的卷积神经网络的基本框架作为最优模型；
    均方误差函数：
    Figure PCTCN2017101198-appb-100003
    平均绝对误差函数：
    Figure PCTCN2017101198-appb-100004
    其中N为输入数据的行*列的值。
  10. 根据权利要求9所述的基于卷积神经网络去除磁共振图像降采样伪影的方法，其特征在于：
    卷积神经网络基本构架搭建的层数i为4，
    步骤T2中搭建卷积神经网络基本构架依次经过搭建特征提取层、搭建特征增强层、搭建非线性映射层和搭建重建层；
    搭建特征提取层：从输入数据中提取特征，得到第一层输出数据；
    搭建特征增强层：对第一层输出数据进一步提取特征，得到第二层输出数据；
    搭建非线性映射层：将第二层输出数据组映射到无伪影的样本参考图像上，得到第三层输出数据；
    搭建重建层：将第三层输出数据进行重组，输出预测图像；
    步骤T31初始化的具体操作如下：
    T31、对卷积核进行初始化；
    T32、设置输入图像数量为2；
    T33、设置迭代次数为n，学习率为0.0001，n为正整数；
    步骤T31中的初始化为设定特征提取层、特征增强层、非线性映射层和重建层的卷积核尺寸分别为9*9*1*64、7*7*64*32、1*1*32*16和5*5*16*1，通过随机的高斯生成函数进行初始化设置。
PCT/CN2017/101198 2017-08-30 2017-09-11 基于卷积神经网络去除磁共振图像降采样伪影的方法 WO2019041376A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710762719.2 2017-08-30
CN201710762719.2A CN107507148B (zh) 2017-08-30 2017-08-30 基于卷积神经网络去除磁共振图像降采样伪影的方法

Publications (1)

Publication Number Publication Date
WO2019041376A1 true WO2019041376A1 (zh) 2019-03-07

Family

ID=60693951

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/101198 WO2019041376A1 (zh) 2017-08-30 2017-09-11 基于卷积神经网络去除磁共振图像降采样伪影的方法

Country Status (2)

Country Link
CN (1) CN107507148B (zh)
WO (1) WO2019041376A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826467A (zh) * 2019-11-22 2020-02-21 中南大学湘雅三医院 一种电子显微镜图像重建系统及其方法
CN111681296A (zh) * 2020-05-09 2020-09-18 上海联影智能医疗科技有限公司 图像重建方法、装置、计算机设备和存储介质
CN113723213A (zh) * 2021-08-06 2021-11-30 武汉理工大学 一种基于Hilbert曲线编码实现地铁振动信号降噪训练的方法
CN115239688A (zh) * 2022-08-09 2022-10-25 四川大学华西医院 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统
CN116797457A (zh) * 2023-05-20 2023-09-22 北京大学 一种同时实现磁共振影像超分辨和伪影去除的方法和系统

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110133557B (zh) * 2018-02-09 2021-08-31 深圳先进技术研究院 一种新型的非线性并行重建的磁共振成像方法、装置及介质
CN110276725B (zh) * 2018-03-15 2022-03-25 北京大学 一种自由呼吸下腹部磁共振成像伪影的快速去除方法
CN108670282B (zh) * 2018-03-28 2021-12-17 上海联影医疗科技股份有限公司 一种骨硬化伪影校正方法
EP3557274A1 (en) * 2018-04-19 2019-10-23 Koninklijke Philips N.V. Automatic artifact detection and pulse sequence modification in magnetic resonance imaging
CN108814603B (zh) * 2018-05-10 2021-11-09 上海东软医疗科技有限公司 一种磁共振成像方法和装置
CN108900848B (zh) * 2018-06-12 2021-03-02 福建帝视信息科技有限公司 一种基于自适应可分离卷积的视频质量增强方法
CN109214992B (zh) * 2018-07-27 2022-04-05 中国科学院深圳先进技术研究院 Mri图像的伪影去除方法、装置、医疗设备及存储介质
TW202027028A (zh) * 2018-08-15 2020-07-16 美商超精細研究股份有限公司 用於抑制磁共振影像中之假像之深度學習技術
CN109242924A (zh) * 2018-08-31 2019-01-18 南方医科大学 一种基于深度学习的核磁共振图像的降采样伪影去除方法
CN109171792B (zh) * 2018-09-29 2022-06-07 江苏一影医疗设备有限公司 成像方法及使用该成像方法的ct成像系统
CN109584209B (zh) * 2018-10-29 2023-04-28 深圳先进技术研究院 血管壁斑块识别设备、系统、方法及存储介质
CN109472754A (zh) * 2018-11-06 2019-03-15 电子科技大学 基于图像修复的ct图像金属伪影消除方法
EP3663785A1 (en) * 2018-12-07 2020-06-10 Koninklijke Philips N.V. Functional magnetic resonance imaging artifact removal by means of an artificial neural network
CN111383742A (zh) * 2018-12-27 2020-07-07 深圳先进技术研究院 一种医学成像模型的建立方法、装置、设备及存储介质
US10705170B1 (en) * 2019-02-15 2020-07-07 GE Precision Healthcare LLC Methods and systems for removing spike noise in magnetic resonance imaging
CN110652296A (zh) * 2019-09-16 2020-01-07 华东师范大学 一种去除磁共振头部图像运动伪影的方法
CN111010493B (zh) * 2019-12-12 2021-03-02 清华大学 利用卷积神经网络进行视频处理的方法及装置
CN111123183B (zh) * 2019-12-27 2022-04-15 杭州电子科技大学 基于复数R2U_Net网络的快速磁共振成像方法
CN113534031B (zh) * 2020-04-21 2023-05-05 上海联影医疗科技股份有限公司 图像域数据生成方法、计算机设备和可读存储介质
CN112862728B (zh) * 2021-03-22 2023-06-27 上海壁仞智能科技有限公司 伪影去除方法、装置、电子设备和存储介质
CN114831621B (zh) * 2022-05-23 2023-05-26 西安大数据与人工智能研究院 分布式超快磁共振成像方法及其成像系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140119628A1 (en) * 2012-10-28 2014-05-01 Technion Research & Development Foundation Limited Image reconstruction in computed tomography
CN105447866A (zh) * 2015-11-22 2016-03-30 南方医科大学 基于卷积神经网络的x线胸片骨抑制处理方法
CN106056647A (zh) * 2016-05-30 2016-10-26 南昌大学 一种基于卷积稀疏双层迭代学习的磁共振快速成像方法
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
WO2017113205A1 (zh) * 2015-12-30 2017-07-06 中国科学院深圳先进技术研究院 一种基于深度卷积神经网络的快速磁共振成像方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140119628A1 (en) * 2012-10-28 2014-05-01 Technion Research & Development Foundation Limited Image reconstruction in computed tomography
CN105447866A (zh) * 2015-11-22 2016-03-30 南方医科大学 基于卷积神经网络的x线胸片骨抑制处理方法
WO2017113205A1 (zh) * 2015-12-30 2017-07-06 中国科学院深圳先进技术研究院 一种基于深度卷积神经网络的快速磁共振成像方法及装置
CN106056647A (zh) * 2016-05-30 2016-10-26 南昌大学 一种基于卷积稀疏双层迭代学习的磁共振快速成像方法
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826467A (zh) * 2019-11-22 2020-02-21 中南大学湘雅三医院 一种电子显微镜图像重建系统及其方法
CN110826467B (zh) * 2019-11-22 2023-09-29 中南大学湘雅三医院 一种电子显微镜图像重建系统及其方法
CN111681296A (zh) * 2020-05-09 2020-09-18 上海联影智能医疗科技有限公司 图像重建方法、装置、计算机设备和存储介质
CN111681296B (zh) * 2020-05-09 2024-03-22 上海联影智能医疗科技有限公司 图像重建方法、装置、计算机设备和存储介质
CN113723213A (zh) * 2021-08-06 2021-11-30 武汉理工大学 一种基于Hilbert曲线编码实现地铁振动信号降噪训练的方法
CN113723213B (zh) * 2021-08-06 2023-11-10 武汉理工大学 一种基于Hilbert曲线编码实现地铁振动信号降噪训练的方法
CN115239688A (zh) * 2022-08-09 2022-10-25 四川大学华西医院 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统
CN115239688B (zh) * 2022-08-09 2024-03-12 四川大学华西医院 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统
CN116797457A (zh) * 2023-05-20 2023-09-22 北京大学 一种同时实现磁共振影像超分辨和伪影去除的方法和系统
CN116797457B (zh) * 2023-05-20 2024-05-14 北京大学 一种同时实现磁共振影像超分辨和伪影去除的方法和系统

Also Published As

Publication number Publication date
CN107507148B (zh) 2018-12-18
CN107507148A (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
WO2019041376A1 (zh) 基于卷积神经网络去除磁共振图像降采样伪影的方法
WO2018099321A1 (zh) 一种基于广义树稀疏的权重核范数磁共振成像重建方法
Trinh et al. Novel example-based method for super-resolution and denoising of medical images
US10915990B2 (en) Systems and methods for denoising medical images with deep learning network
Yu et al. Solving inverse problems with piecewise linear estimators: From Gaussian mixture models to structured sparsity
CN107341765B (zh) 一种基于卡通纹理分解的图像超分辨率重建方法
CN104933678B (zh) 一种基于像素强度的图像超分辨率重建方法
JP2008511395A (ja) 一連の画像における動き修正のための方法およびシステム
CN109544478B (zh) 一种基于奇异值分解的非局部均值ct图像降噪方法
CN108830791B (zh) 基于自身样例和稀疏表示的图像超分辨率方法
Li et al. MRI reconstruction with interpretable pixel-wise operations using reinforcement learning
CN108828483A (zh) 一种磁共振图像的收缩阈值迭代重建算法
US20050220355A1 (en) Generic image hallucination
CN109242924A (zh) 一种基于深度学习的核磁共振图像的降采样伪影去除方法
CN104574456A (zh) 一种基于图正则化稀疏编码的磁共振超欠采样k数据成像方法
WO2018103015A1 (zh) 一种环形伪影修正的方法及装置
CN112163994A (zh) 一种基于卷积神经网络的多尺度医学图像融合方法
JP2008519348A (ja) 医療用画像登録のためのマルチスケールフィルタ合成装置及び方法
Tian et al. Boosting magnetic resonance image denoising with generative adversarial networks
CN110570379B (zh) 一种基于结构张量的非局部均值ct图像降噪方法
Vasudeva et al. Co-VeGAN: Complex-valued generative adversarial network for compressive sensing MR image reconstruction
CN109741258B (zh) 基于重建的图像超分辨率方法
Geng et al. HFIST-Net: High-throughput fast iterative shrinkage thresholding network for accelerating MR image reconstruction
CN113240581A (zh) 一种针对未知模糊核的真实世界图像超分辨率方法
CN112950685A (zh) 一种红外与可见光图像配准方法、系统及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17923752

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17923752

Country of ref document: EP

Kind code of ref document: A1