WO2022083026A1 - 一种超声图像去噪模型建立方法及超声图像去噪方法 - Google Patents

一种超声图像去噪模型建立方法及超声图像去噪方法 Download PDF

Info

Publication number
WO2022083026A1
WO2022083026A1 PCT/CN2021/074584 CN2021074584W WO2022083026A1 WO 2022083026 A1 WO2022083026 A1 WO 2022083026A1 CN 2021074584 W CN2021074584 W CN 2021074584W WO 2022083026 A1 WO2022083026 A1 WO 2022083026A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise
ultrasonic image
model
image
image denoising
Prior art date
Application number
PCT/CN2021/074584
Other languages
English (en)
French (fr)
Inventor
张旭明
兰艳成
Original Assignee
华中科技大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华中科技大学 filed Critical 华中科技大学
Publication of WO2022083026A1 publication Critical patent/WO2022083026A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the invention belongs to the field of image denoising, and more particularly, relates to a method for establishing an ultrasonic image model and a method for denoising an ultrasonic image.
  • Ultrasound imaging has become a popular medical imaging technique due to its non-invasive, inexpensive and real-time advantages.
  • the coherent nature of ultrasound imaging can lead to speckle noise inherent in ultrasound images, which leads to inaccurate information in the imaging area, further affecting doctors' judgments of tiny lesions. Therefore, it is necessary to denoise medical ultrasound images.
  • Ultrasound image noise reduction methods include frequency domain noise reduction and spatial domain noise reduction methods, and the representative algorithm in the spatial domain noise reduction method is the non-local mean method.
  • the basic idea of this method is: for the current pixel, calculate the weighted average of the grayscale values of all pixels with similar structures in the image, and obtain the corresponding noise reduction result. In order to measure two pixels with similar structures, it is generally determined by the grayscale information of the image block centered on these two pixels.
  • the traditional non-local mean method works well for removing Gaussian noise, but it is not suitable for speckle noise, because speckle noise is very different from Gaussian noise in noise distribution.
  • Coupe et al. proposed an optimized Bayesian non-local means (OBNLM) method.
  • OBNLM Bayesian non-local means
  • OBNLM uses the Pearson distance obtained based on the Bayesian framework instead of the Euclidean distance to accurately measure the similarity between two image patches.
  • Houqiang Yu et al. proposed a PCANet-based NLM method to determine the non-local similarity of ultrasound images by utilizing the inherent image features extracted by PCANet instead of pixel grayscale.
  • the above speckle removal methods are difficult to effectively protect and retain image detail information while sufficiently suppressing noise, especially when the speckle noise pollution in the image is serious, the above shortcomings are particularly obvious.
  • these methods are usually difficult to achieve real-time noise reduction of ultrasound images due to the complex computational operations involved.
  • the present invention provides a method for establishing an ultrasonic image denoising model and an ultrasonic image denoising method, which aim to improve the denoising effect of the ultrasonic image.
  • a method for establishing an ultrasonic image denoising model comprising:
  • Data set preprocessing step preprocess the images in the natural image data set into image blocks of equal size, and after adding speckle noise, the image blocks and their corresponding noise images form training samples to obtain a training data set;
  • Model building steps replace all or part of the convolutional layers at the head and tail of the UNet network and all or part of the convolutional layers other than the downsampling and upsampling convolutional layers with the residual blocks in the ResNet network to obtain the initial data to be trained.
  • Model training steps use the training data set to train the initial denoising model, and after the training, obtain the ultrasound image denoising model.
  • the ultrasonic image denoising model established by the present invention is improved on the basis of the UNet network, so that the coding structure formed by the convolution layer and the downsampling in the UNet network can be used to extract the features of the input ultrasonic image, and use
  • the decoding structure composed of convolutional layers and upsampling reconstructs the features to obtain a denoised image, which can effectively retain the detailed information in the image while suppressing speckle noise in the ultrasound image.
  • the present invention replaces some of the convolutional layers with residual blocks on the basis of the UNet network, and the ultrasonic image denoising model thus established can effectively improve the denoising effect on the ultrasonic image.
  • model building step before replacing the convolutional layer in the UNet network with the residual block in the ResNet network, it also includes:
  • the convolutional layers with channel numbers of 512 and 1024 in the UNet network are removed, so that the number of downsampling and upsampling in the UNet network is reduced to 2 times.
  • the present invention deletes the convolution layer with a large number of channels in the UNet network, so that the times of downsampling and upsampling are reduced to 2 times, which can effectively reduce model parameters and speed up the image processing process. In the calculation speed, improve the real-time performance.
  • model building step after replacing the convolutional layer in the UNet network with the residual block in the ResNet network, it also includes:
  • a hybrid attention module is inserted between any two convolutional layers in the encoding structure of the UNet network; the hybrid attention module is used to weight the pixel values according to the correlation from the channel domain and the spatial domain to suppress noise and enhance features.
  • a mixed attention module is inserted between any two convolution layers in the coding structure of the UNet network, which can suppress noise and enhance features in the shallow layer of the coding stage, and improve the denoising effect of the ultrasonic image denoising model.
  • the hybrid attention module includes: a channel attention module, a spatial attention module and a noise suppression module;
  • the channel attention module is used to obtain the global context of the feature map of each channel in the input feature map based on the non-local idea, and use the softmax function to convert the global context into the weight Mc of the channel attention;
  • the spatial attention module is used to calculate the weighted average of all channels based on the weight Mc of the channel attention, and use the softmax function to convert it into the weight Ms of the spatial attention;
  • the noise suppression module is used to multiply the input feature map with the weight Mc of the channel attention and the weight Ms of the spatial attention point by point, and connect the feature map obtained by point-by-point multiplication with the input feature through the residual connection.
  • the graphs are added point by point to obtain the feature map after noise suppression.
  • the residual block includes two BN-LeakyReLU-Conv units and a residual connection;
  • the BN-LeakyReLU-Conv unit consists of a batch normalization layer, a LeakyReLU activation function layer, and a convolutional layer that are connected in sequence.
  • the BN-LeakyReLU-Conv unit adopts the LeakyReLU activation function, and the batch normalization layer and the LeakyReLU activation function layer are placed before the convolution layer, so that a better ultrasonic image denoising effect can be obtained.
  • the loss function used is:
  • L represents the loss function
  • v represents the label
  • v' represents the output of the ultrasound image denoising model
  • ⁇ TV represents the regularization term coefficient, and represent the gradients in the horizontal and vertical directions, respectively
  • 2 represents the matrix L2 norm.
  • the mean square error On the basis of , plus the total variation regular term the gradient of the output image can be constrained to maintain the smoothness of the image.
  • the method for establishing an ultrasonic image denoising model provided by the present invention further includes: obtaining the standard deviation distribution range of the noise term in the noise model for adding speckle noise, dividing the distribution range, and obtaining multiple noise levels;
  • the training samples corresponding to different noise levels are used to train the initial denoising model respectively, so as to obtain the ultrasonic image denoising model corresponding to each noise level.
  • the present invention constructs training data sets corresponding to different noise levels, and uses the training data sets corresponding to different noise levels to train the established models respectively, and obtains the ultrasonic image denoising models corresponding to each noise level, so that the subsequent When the ultrasonic image is denoised, a corresponding model can be loaded according to the noise level of the ultrasonic image itself, and the denoising effect of the ultrasonic image can be effectively improved for different ultrasonic images.
  • a method for denoising an ultrasound image comprising:
  • the ultrasonic image denoising model obtained by the method for establishing an ultrasonic image denoising model provided by the present invention can effectively retain the details of the image while suppressing noise, and better characterize the characteristics of speckle noise in the actual ultrasonic image, based on The ultrasonic image denoising model established by the present invention and the ultrasonic image denoising method provided by the present invention have good denoising effect.
  • a method for denoising an ultrasound image comprising:
  • the noise level that is closest to the standard deviation ⁇ upward is taken as the noise level of the ultrasound image
  • the ultrasonic image is preprocessed to make it suitable for inputting the ultrasonic image denoising model obtained by the ultrasonic image denoising model establishment method provided by the present invention, and each ultrasonic image obtained from the ultrasonic image denoising model establishment method provided by the present invention is obtained.
  • the ultrasonic image denoising model corresponding to the ultrasonic image level is selected from the ultrasonic image denoising model corresponding to the noise level of the ultrasonic image, and the preprocessed ultrasonic image is input into the selected ultrasonic image denoising model to de-noise the ultrasonic image. noise.
  • the ultrasonic image denoising method provided by the present invention based on the noise level of the ultrasonic image itself, loads an ultrasonic image denoising model of a corresponding level for denoising, can automatically process different ultrasonic images, and obtains a good ultrasonic image denoising effect.
  • a computer-readable storage medium comprising a stored computer program
  • the device in which the computer-readable storage medium is located is controlled to execute the method for establishing an ultrasonic image denoising model provided by the present invention, and/or the method for ultrasonic image denoising provided by the present invention.
  • the ultrasonic image denoising model established by the present invention is improved on the basis of the UNet network, so that the input ultrasonic image can be extracted by using the coding structure formed by the convolution layer and downsampling in the UNet network. , and reconstruct the features by using the decoding structure composed of the convolution layer and upsampling to obtain the denoised image, which can effectively retain the detailed information in the image while suppressing the speckle noise in the ultrasound image;
  • the noise model is specifically based on the UNet network.
  • the first and last two convolutional layers and all or part of the convolutional layers other than the downsampling and upsampling convolutional layers are replaced with residual blocks, which can effectively increase the network depth.
  • the present invention replaces some of the convolutional layers with residual blocks on the basis of the UNet network, and the ultrasonic image denoising model thus established can effectively improve the denoising effect on the ultrasonic image.
  • the present invention deletes the convolutional layer with a large number of channels in the UNet network, so that the times of downsampling and upsampling are reduced to 2 times, which can effectively reduce model parameters and speed up
  • the calculation speed in the image processing process improves the real-time performance.
  • the present invention inserts a mixed attention module between any two convolutional layers in the encoding structure of the UNet network, which can suppress noise and enhance features in the shallow layer of the encoding stage, and improve the denoising effect of the ultrasonic image denoising model. .
  • the present invention constructs training data sets corresponding to different noise levels, and uses the training data sets corresponding to different noise levels to train the established models respectively, and obtains ultrasonic image denoising models corresponding to each noise level, thereby When the ultrasonic image is denoised subsequently, a corresponding model can be loaded according to the noise level of the ultrasonic image itself, and the effect of denoising of the ultrasonic image can be effectively improved for different ultrasonic images.
  • 1 is a schematic structural diagram of an existing UNet network
  • FIG. 2 is a schematic structural diagram of an ultrasound image denoising model provided by an embodiment of the present invention.
  • FIG. 3 is a schematic structural diagram of a hybrid attention module provided by an embodiment of the present invention.
  • FIG. 4 is a denoised image obtained by different ultrasonic image denoising methods for the same simulation image provided by an embodiment of the present invention; wherein (a) a simulation image based on Field II, (b) an ultrasonic image provided by the present invention
  • the denoised image obtained by the denoising method is the denoised image obtained by the OBNLM method
  • (d) is the denoised image obtained by the DnCNN method
  • (e) is the denoised image obtained by the ID-CNN method
  • FIG. 5 is a denoised image obtained by different ultrasound image denoising methods for the same clinical real ultrasound image provided by an embodiment of the present invention; wherein (a) is a clinical real ultrasound image, (b) is an ultrasound image provided by the present invention
  • the denoised image obtained by the image denoising method (c) is the denoised image obtained by the OBNLM method, (d) is the denoised image obtained by the DnCNN method, (e) is the denoised image obtained by the ID-CNN method .
  • a method for establishing an ultrasonic image denoising model comprising:
  • Data set preprocessing step preprocess the images in the natural image data set into image blocks of equal size, and after adding speckle noise, the image blocks and their corresponding noise images form training samples to obtain a training data set;
  • Model building steps replace all or part of the convolutional layers at the head and tail of the UNet network and all or part of the convolutional layers other than the downsampling and upsampling convolutional layers with the residual blocks in the ResNet network to obtain the initial data to be trained.
  • Model training steps use the training data set to train the initial denoising model, and after the training, obtain the ultrasonic image denoising model;
  • UNet network The structure of the traditional UNet network is shown in Figure 1, which includes a downsampling part and an upsampling part; downsampling consists of convolution operations and pooling operations, and extracts high-resolution image information into highly abstract feature information; Upsampling restores the feature information to the original resolution image for image segmentation; a series of convolutional networks generate feature maps of different dimensions, of which high-dimensional feature maps are used for positioning, and low-dimensional feature maps are used for detail segmentation. and extraction; UNet network is an encoding-decoding structure, which can extract features from input images and reconstruct denoised images from features;
  • the ultrasonic image denoising model established in this embodiment is improved on the basis of the UNet network, and its structure is shown in Figure 2; therefore, the ultrasonic image denoising model established in this embodiment can utilize the The coding structure composed of convolutional layers and downsampling extracts the features of the input ultrasonic image, and uses the decoding structure composed of convolutional layers and upsampling to reconstruct the features to obtain a denoised image. While speckle noise, it can effectively retain the detailed information in the image; the ultrasonic image denoising model established in this embodiment is specifically based on the UNet network.
  • convolutional layers other than the convolutional layer that is, the convolutional layer that implements special functions in the UNet network
  • residual blocks which can effectively increase the depth of the network, so that nonlinear factors are considered in the encoding and decoding process. Better characterize the speckle noise in actual ultrasound images and get better fitting results.
  • this embodiment replaces some of the convolutional layers with residual blocks on the basis of the UNet network, and the established ultrasonic image denoising model can effectively improve the denoising effect on the ultrasonic image.
  • the number of times of downsampling and the number of times of upsampling are both 2.
  • the model building step of this embodiment before replacing the convolutional layers in the UNet network with the residual blocks in the ResNet network, including:
  • a mixed attention module (C&A) is also inserted into the head of the model.
  • this embodiment is used in the model In the establishment step, after replacing the convolutional layer in the UNet network with the residual block in the ResNet network, it also includes:
  • a hybrid attention module is inserted between the two convolutional layers located at the head in the encoding structure of the UNet network; the hybrid attention module is used to weight the pixel values according to the correlation from the channel domain and the spatial domain to suppress noise and enhance feature;
  • the hybrid attention module includes: a channel attention module, a spatial attention module, and a noise suppression module;
  • the channel attention module is used to obtain the global context of the feature map of each channel in the input feature map based on the non-local idea, and use the softmax function to convert the global context into the weight Mc of the channel attention;
  • the spatial attention module is used to calculate the weighted average of all channels based on the weight Mc of the channel attention, and use the softmax function to convert it into the weight Ms of the spatial attention;
  • the noise suppression module is used to multiply the input feature map with the weight Mc of the channel attention and the weight Ms of the spatial attention point by point, and connect the feature map obtained by point-by-point multiplication with the input feature through the residual connection.
  • the graphs are added point by point to obtain the feature map after noise suppression;
  • the specific structure of the hybrid attention module is shown in Figure 3, where the channel attention module specifically includes two parts, one part is used to obtain the global context z of the feature map of each channel, and the other part is used to obtain the global context z of the feature map of each channel.
  • the weight Mc used to calculate the channel attention;
  • the part used to obtain the global context z of the feature map of each channel includes a two-dimensional convolutional layer with a convolution kernel size of 1 ⁇ 1 and a stride of 1, a softmax activation function layer, A multiplication unit for realizing matrix cross product and a residual connection; the corresponding calculation formula is as follows:
  • the part used to calculate the weight Mc of the channel attention includes a two-dimensional convolution layer with a convolution kernel size of 1 ⁇ 1 and a stride of 1 and a softmax activation function layer; the corresponding calculation formula as follows:
  • the spatial attention module specifically includes a multiplication unit for realizing matrix cross product, a residual connection, and a two-dimensional convolution kernel with a size of 7 ⁇ 7, a stride of 1, and a padding of 3.
  • the formula is as follows:
  • the noise suppression module includes a multiplication unit for point-by-point multiplication, an addition unit for point-by-point addition, and a residual connection; the corresponding calculation formula is as follows:
  • x is the input feature map
  • x' represents the output image
  • z represents the global context of the channel feature map
  • ⁇ represents matrix cross product
  • ⁇ represents point-by-point multiplication
  • + represents point-by-point addition
  • Conv() represents the convolution operation
  • softmax() represents the softmax function
  • hybrid attention module is a plug-and-play module, and in some other embodiments of the present invention, the hybrid attention module can also be placed between any two convolutional layers in the encoding structure of the UNet network Insert mixed attention module;
  • the residual block includes two BN-LeakyReLU-Conv units and one residual connection;
  • BN-LeakyReLU-Conv unit includes batch normalization layer, LeakyReLU activation function layer and convolution layer connected in sequence;
  • LeakyReLU max(ax,x), a ⁇ (0,1);
  • max() means to take the maximum value
  • the BN-LeakyReLU-Conv unit adopts the LeakyReLU activation function, and the batch normalization layer and the LeakyReLU activation function layer are placed before the convolution layer, which can obtain better ultrasonic image denoising Effect.
  • the loss function used is:
  • L represents the loss function
  • v represents the label
  • v' represents the output of the ultrasound image denoising model
  • ⁇ TV represents the regularization term coefficient
  • 2 represents the matrix L2 norm
  • the mean square error On the basis of , plus the total variation regular term the gradient of the output image can be constrained to maintain the smoothness of the image.
  • the method of preprocessing the images in the natural image data set specifically includes:
  • the ultrasonic speckle noise model formula is used to add noise to the image block, and the noise-added image block is used as the input of the ultrasonic image denoising model;
  • the ultrasonic speckle noise model formula used in this embodiment is as follows:
  • v is the noise-free image
  • u is the noise image
  • ⁇ is the noise term of the Gaussian distribution
  • the training data set is obtained; in the training data set, 1% is divided as the verification set;
  • noise models may also be used to add noise to image blocks, which will not be listed one by one here.
  • This embodiment is similar to the above-mentioned Embodiment 1, the difference is that this embodiment also includes:
  • the training samples corresponding to different noise levels are used to train the initial denoising model respectively, so as to obtain the ultrasonic image denoising model corresponding to each noise level.
  • the standard deviation distribution range of the noise term will also be different.
  • the distribution range can be determined accordingly based on the characteristics of the selected noise model; this embodiment uses In this noise model, the standard deviation distribution range of the noise term is 2 to 5.
  • the noise level is divided at intervals of 0.25.
  • training data sets corresponding to different noise levels are constructed, and the established models are trained respectively by using the training data sets corresponding to different noise levels, so as to obtain the ultrasonic image denoising model corresponding to each noise level, so as to be used in subsequent
  • a corresponding model can be loaded according to the noise level of the ultrasound image itself, and the effect of ultrasound image denoising can be effectively improved for different ultrasound images.
  • An ultrasound image denoising method comprising:
  • the ultrasonic image is preprocessed so that it is suitable for inputting the ultrasonic image denoising model obtained by the method for establishing the ultrasonic image denoising model provided in the above-mentioned embodiment 1, and the preprocessed ultrasonic image is input into the ultrasonic image denoising model to obtain the ultrasonic image denoising model. Denoise the ultrasound image.
  • the ultrasonic image denoising model obtained by the method for establishing an ultrasonic image denoising model provided in the above Embodiment 1 can effectively retain the details of the image while suppressing noise, and better characterize the characteristics of speckle noise in the actual ultrasonic image, therefore , the ultrasonic image denoising method provided in this embodiment has a good denoising effect.
  • An ultrasound image denoising method comprising:
  • the standard deviation ⁇ is taken upwards and the nearest noise level is taken as the noise level of the ultrasonic image
  • the ultrasonic image is preprocessed to make it suitable for inputting the ultrasonic image denoising model obtained by the ultrasonic image denoising model establishment method provided by the present invention, and each ultrasonic image obtained from the ultrasonic image denoising model establishment method provided by the present invention is obtained.
  • the ultrasonic image denoising model corresponding to the noise level of the ultrasonic image is selected from the ultrasonic image denoising model corresponding to the level, and the preprocessed ultrasonic image is input into the selected ultrasonic image denoising model to de-noise the ultrasonic image. noise;
  • estimating the standard deviation ⁇ of the noise term of the ultrasound image specifically includes:
  • the sub-regions obtained here are of the same size; in order to avoid the assumption that the sub-region is too large and the assumption of local uniformity does not hold, or the sub-region is too small to cause the noise distribution to deviate from the normal distribution Too far, here, the size of the sub-region obtained by division is 6 ⁇ 6;
  • the noise level corresponding to the model is not lower than the actual noise level, and a good denoising effect can be achieved.
  • the noise level is lower than the actual noise level, there is a relatively obvious noise residual.
  • the standard deviation ⁇ of the noise term is estimated and obtained. Taking the nearest noise level upwards can further ensure the denoising effect.
  • the ultrasonic image denoising method provided in this embodiment based on the noise level of the ultrasonic image itself, loads an ultrasonic image denoising model of a corresponding level for denoising, which can automatically process different ultrasonic images and obtain a good ultrasonic image denoising effect.
  • a computer-readable storage medium including a stored computer program
  • the device in which the computer-readable storage medium is located is controlled to execute the method for establishing an ultrasonic image denoising model provided in the foregoing embodiment 1 or 2, and/or the ultrasonic image denoising method provided in the foregoing embodiment 3 or 4.
  • Comparative Example 1 Denoising is implemented according to the OBNLM method in (IEEE.Trans Image Proc.18(10)(2009)2221-2229.). The specific parameters are: the size of the search window is selected as 17 ⁇ 17, and the size of the similar window is selected as 7 ⁇ 7;
  • Comparative Example 2 According to the DnCNN method in (IEEE.Trans Image Proc.26(7)(2017)3142-3155.) to achieve denoising, use the same data set and loss function training as the method of the present invention;
  • Comparative Example 3 Denoising according to the ID-CNN method in (IEEE.Signal Processing Letters.24(12)(2017)1763-1769.), using the same dataset and loss function as the method of the present invention for training.
  • the denoising effect of the above-mentioned embodiment 4 is compared with that of the comparative examples 1-3.
  • the ultrasonic image denoising method provided by the above-mentioned embodiment is abbreviated as MARU (Mixed Attention based Residual UNet). Quantitative comparisons are evaluated using ENL (equivalent number of looks) and CNR (contrast-to-noise ratio, contrast-to-noise ratio), where ENL and CNR are defined as follows:
  • ⁇ b and ⁇ o are the average gray value of the background area and the target area, respectively, ⁇ b and ⁇ o are the standard deviation of the background area and the target area, respectively.
  • the simulated ultrasound images and real ultrasound images based on Field II were used to test the denoising effect, and four pairs of regions of interest (ROI) were selected from the simulated and actual images respectively.
  • Tables 1 and 2 listed them respectively
  • the ENL and CNR values corresponding to each pair of ROIs before and after denoising by the four methods are obtained, among which MARU is the residual UNet based on mixed attention proposed by this patent. It can be seen from the two tables that for the simulated images, the MARU method can achieve the highest ENL and CNR on other ROIs except that the CNR corresponding to ROI3 is not the highest.
  • the ENL and CNR values of the MARU method are higher than other methods in other ROIs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种超声图像去噪模型建立方法及超声图像去噪方法，属于图像去噪领域，包括：数据集预处理步骤：将自然图像数据集中的图像预处理为大小相等的图像块，添加斑点噪声后，由图像块及其对应的噪声图像构成训练样本，得到训练数据集；模型建立步骤：使用ResNet网络中的残差块为基本单元建立ResUNet网络，并引入注意力机制，得到待训练的初始去噪模型，用于抑制图像中的斑点噪声；模型训练步骤：利用训练数据集对初始去噪模型进行训练，在训练结束后，得到超声图像去噪模型。本发明在UNet网络的基础上，引入残差块和注意力机制，由此所建立的超声图像去噪模型，能够有效提升对超声图像的去噪效果。

Description

一种超声图像去噪模型建立方法及超声图像去噪方法 【技术领域】
本发明属于图像去噪领域，更具体地，涉及一种超声图像模型建立方法及超声图像去噪方法。
【背景技术】
超声成像由于其无创、廉价和实时性的优点已经成为一种流行的医学成像技术。但是，超声成像的相干特性会导致超声图像中固有的斑点噪声，这些噪声导致了成像区域信息的不准确，进一步影响了医生对微小病变的判断。为此，对医学超声图像进行去噪处理就显得必不可少。
超声图像降噪方法包括频域降噪和空域降噪法两类，而空域降噪法中的代表性算法是非局部均值方法。该方法基本思想是：对当前像素点，计算图像中所有与其结构相似的像素点的灰度值的加权平均，得到对应的降噪结果。为了衡量两个结构相似的像素点，一般通过以这两个像素点为中心的图像块的灰度信息来确定。传统的非局部均值方法对于去除高斯噪声有很好的效果，但对于斑点噪声却不适合，这是由于斑点噪声与高斯噪声在噪声分布上有很大不同。为了将非局部均值方法应用到斑点噪声去除中，Coupe等提出了一种优化的贝叶斯非局部均值(OBNLM)方法。与传统的非局部均值方法不同，OBNLM使用基于贝叶斯框架得到的皮尔逊距离代替欧几里得距离，以准确度量两个图像块之间的相似性。此外，余后强等提出了一种基于PCANet的NLM方法，通过利用PCANet提取的图像固有特征而非像素灰度，以确定超声图像的非局部相似性。上述去斑点方法难以在充分抑制噪声的同时有效保护保留图像细节信息，特别是在当图像中斑点噪声污染较严重时上述缺点表现尤为明显。此外，由于涉及复杂运算操作，这些方法通常难以实现超声图像实时降噪。
作为机器学习领域中的一种流行算法，深度学习为实时有效的超声图像去斑提供了一种可能且有价值的解决方案，因为它可以自动从训练数据中学习内 在特征，并可以促进高效的图像去噪。Chierchia等提出了一种使用残差学习策略来去除斑点噪声的卷积网络，该方法通过对数变换将乘性噪声转换为加性噪声，用于去除合成孔径雷达图像中的斑点噪声。王濮阳等提出了一种SAR图像去斑卷积网络，它同样使用了残差学习策略，将图像除以学习到的噪声残差来恢复图像。这两种方法都用于纯乘性噪声模型，并使用对数变换或者除法进行残差学习。然而，纯乘性噪声模型不能有效表征实际超声图像中斑点噪声的特性。
【发明内容】
针对现有技术的缺陷和改进需求，本发明提供了一种超声图像去噪模型建立方法及超声图像去噪方法，其目的在于，提升对超声图像的去噪效果。
为实现上述目的，按照本发明的一个方面，提供了一种超声图像去噪模型建立方法，包括：
数据集预处理步骤：将自然图像数据集中的图像预处理为大小相等的图像块，添加斑点噪声后，由图像块及其对应的噪声图像构成训练样本，得到训练数据集；
模型建立步骤：将UNet网络首、尾两个卷积层以及下采样和上采样卷积层之外的全部或部分卷积层替换为ResNet网络的中的残差块，得到待训练的初始去噪模型，用于抑制图像中的斑点噪声；
模型训练步骤：利用训练数据集对初始去噪模型进行训练，在训练结束后，得到超声图像去噪模型。
本发明所建立的超声图像去噪模型，是在UNet网络的基础上改进得到，从而可以利用UNet网络中由卷积层和下采样所构成的编码结构对输入的超声图像进行特征提取，并利用其中由卷积层和上采样所构成的解码结构对特征进行重建，得到去噪后的图像，在抑制超声图像中斑点噪声的同时，能够有效保留图像中的细节信息；超声图像去噪模型具体在UNet网络的基础上，将其中首、尾两个卷积层以及下采样和上采样卷积层之外的全部或部分卷积层替换为残差块，能够有效增加网络深度，从而在编码和解码过程中，考虑非线性因素，更好地 表征实际超声图像中斑点噪声的特性，得到更好的拟合结果。总体而言，本发明在UNet网络的基础上，将其中的部分卷积层替换为残差块，由此所建立的超声图像去噪模型，能够有效提升对超声图像的去噪效果。
进一步地，在模型建立步骤中，在将UNet网络中的卷积层替换为ResNet网络的中的残差块之前，还包括：
删除UNet网络中通道数为512和1024的卷积层，使UNet网络中的下采样和上采样的次数均减少为2次。
本发明在建立超声图像去噪模型时，删除UNet网络中通道数较多的卷积层，使其中的下采样和上采样的次数均减少为2次，能够有效减少模型参数，加快图像处理过程中的计算速度，提高实时性。
进一步地，在模型建立步骤中，在将UNet网络中的卷积层替换为ResNet网络的中的残差块之后，还包括：
在UNet网络的编码结构中任意两个卷积层之间插入混合注意力模块；混合注意力模块用于从通道域和空间域，根据相关性对像素值进行加权，以抑制噪声并增强特征。
本发明在UNet网络中的编码结构中任意两个卷积层之间插入混合注意力模块，能够在编码阶段的浅层抑制噪声且增强特征，提升超声图像去噪模型的去噪效果。
进一步地，混合注意力模块包括：通道注意力模块、空间注意力模块和噪声抑制模块；
通道注意力模块，用于基于非局部思想，对输入特征图中每个通道的特征图求其全局上下文，使用softmax函数将全局上下文转换为通道注意力的权值Mc；
空间注意力模块，用于基于通道注意力的权值Mc计算所有通道的加权平均，并使用softmax函数转换为空间注意力的权值Ms；
噪声抑制模块，用于将输入特征图与通道注意力的权值Mc和空间注意力的权值Ms进行逐点相乘，并通过残差连接将逐点相乘后得到的特征图与输入特征 图进行逐点相加，得到噪声抑制后的特征图。
进一步地，残差块包括两个BN-LeakyReLU-Conv单元和一个残差连接；
BN-LeakyReLU-Conv单元包括依次连接的批量归一化层、LeakyReLU激活函数层和卷积层。
本发明所采用的残差块，其中的BN-LeakyReLU-Conv单元采用LeakyReLU激活函数，并且将批量归一化层和LeakyReLU激活函数层至于卷积层之前，能够获得较好的超声图像去噪效果。
进一步地，在模型训练步骤中，利用训练数据集对初始去噪模型进行训练时，所使用的损失函数为：
Figure PCTCN2021074584-appb-000001
其中，L表示损失函数，v表示标签，v＇表示超声图像去噪模型的输出，λ TV表示正则项系数，
Figure PCTCN2021074584-appb-000002
和
Figure PCTCN2021074584-appb-000003
分别表示水平方向和垂直方向的梯度，||·|| 2表示矩阵L2范数。
本发明所使用的损失函数中，在均方误差
Figure PCTCN2021074584-appb-000004
的基础上，加上了全变分正则项
Figure PCTCN2021074584-appb-000005
从而能够对输出图像的梯度进行约束，保持图像的光滑性。
进一步地，本发明提供的超声图像去噪模型建立方法，还包括：获得用于添加斑点噪声的噪声模型中噪声项的标准差分布范围，对分布范围进行划分，得到多个噪声水平；
在数据集预处理步骤中，在为图像块添加斑点噪声时，对于同一个图像块，按照不同的噪声水平添加噪声，得到多个噪声图像；
在模型训练步骤中，利用训练数据集对初始去噪模型进行训练时，利用不同噪声水平所对应的训练样本分别对初始去噪模型进行训练，从而得到各噪声水平所对应的超声图像去噪模型。
本发明构建不同噪声水平所对应的训练数据集，并采用不同噪声水平所对应的训练数据集分别对所建立的模型进行训练，得到各噪声水平所对应的超声 图像去噪模型，从而在后续对超声图像进行去噪时，能够根据超声图像自身的噪声水平加载相应的模型，针对不同的超声图像都有效提升超声图像去噪的效果。
按照本发明的另一个方面，提供了一种超声图像去噪方法，包括：
对超声图像进行预处理，使其适于输入由本发明提供的超声图像去噪模型建立方法得到的超声图像去噪模型，并将预处理后的超声图像输入超声图像去噪模型，以对超声图像进行去噪。
由于本发明所提供的超声图像去噪模型建立方法得到的超声图像去噪模型能够在抑制噪声的同时，有效保留图像的细节，并且更好地表征实际超声图像中斑点噪声的特性，因此，基于本发明所建立的超声图像去噪模型，本发明所提供的超声图像去噪方法具有良好的去噪效果。
按照本发明的又一个方面，提供了一种超声图像去噪方法，包括：
估计超声图像的噪声项的标准差σ；
按照本发明所提供的超声图像去噪模型建立方法划分的噪声水平，将标准差σ向上取最接近的噪声水平作为超声图像的噪声水平；
对超声图像进行预处理，使其适于输入由本发明所提供的超声图像去噪模型建立方法得到的超声图像去噪模型，并从本发明所提供的超声图像去噪模型建立方法得到的各超声水平所对应的超声图像去噪模型中筛选出与超声图像的噪声水平对应的超声图像去噪模型，将预处理后的超声图像输入所筛选出的超声图像去噪模型，以对超声图像进行去噪。
本发明所提供的超声图像去噪方法，基于超声图像自身的噪声水平，加载相应水平的超声图像去噪模型进行去噪，能够自动处理不同超声图像，获得良好的超声图像去噪效果。
按照本发明的又一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序；
计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的超声图像去噪模型建立方法，和/或本发明提供的超声图像去噪方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明所建立的超声图像去噪模型，是在UNet网络的基础上改进得到，从而可以利用UNet网络中由卷积层和下采样所构成的编码结构对输入的超声图像进行特征提取，并利用其中由卷积层和上采样所构成的解码结构对特征进行重建，得到去噪后的图像，在抑制超声图像中斑点噪声的同时，能够有效保留图像中的细节信息；超声图像去噪模型具体在UNet网络的基础上，将其中首、尾两个卷积层以及下采样和上采样卷积层之外的全部或部分卷积层替换为残差块，能够有效增加网络深度，从而在编码和解码过程中，考虑非线性因素，更好地表征实际超声图像中斑点噪声的特性，得到更好的拟合结果。总体而言，本发明在UNet网络的基础上，将其中的部分卷积层替换为残差块，由此所建立的超声图像去噪模型，能够有效提升对超声图像的去噪效果。
(2)本发明在建立超声图像去噪模型时，删除UNet网络中通道数较多的卷积层，使其中的下采样和上采样的次数均减少为2次，能够有效减少模型参数，加快图像处理过程中的计算速度，提高实时性。
(3)本发明在UNet网络中的编码结构中任意两个卷积层之间插入混合注意力模块，能够在编码阶段的浅层抑制噪声且增强特征，提升超声图像去噪模型的去噪效果。
(4)本发明所使用的损失函数中，在均方误差
Figure PCTCN2021074584-appb-000006
的基础上，加上了全变分正则项
Figure PCTCN2021074584-appb-000007
从而能够对输出图像的梯度进行约束，保持图像的光滑性。
(5)本发明构建不同噪声水平所对应的训练数据集，并采用不同噪声水平所对应的训练数据集分别对所建立的模型进行训练，得到各噪声水平所对应的超声图像去噪模型，从而在后续对超声图像进行去噪时，能够根据超声图像自身的噪声水平加载相应的模型，针对不同的超声图像都有效提升超声图像去噪的效果。
【附图说明】
图1为现有的UNet网络的结构示意图；
图2为本发明实施例提供的超声图像去噪模型的结构示意图；
图3为本发明实施例提供的混合注意力模块的结构示意图；
图4为本发明实施例提供的针对同一仿真图，不同超声图像去噪方法所得到的去噪图像；其中，(a)基于Field II的仿真图，(b)为采用本发明提供的超声图像去噪方法得到的去噪图像，(c)为采用OBNLM方法得到的去噪图像，(d)为采用DnCNN方法得到的去噪图像，(e)为采用ID-CNN方法得到的去噪图像；
图5为本发明实施例提供的针对同一临床真实超声图像，不同超声图像去噪方法所得到的去噪图像；其中，(a)为临床真实超声图像，(b)为采用本发明提供的超声图像去噪方法得到的去噪图像，(c)为采用OBNLM方法得到的去噪图像，(d)为采用DnCNN方法得到的去噪图像，(e)为采用ID-CNN方法得到的去噪图像。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1：
一种超声图像去噪模型建立方法，包括：
数据集预处理步骤：将自然图像数据集中的图像预处理为大小相等的图像块，添加斑点噪声后，由图像块及其对应的噪声图像构成训练样本，得到训练数据集；
模型建立步骤：将UNet网络首、尾两个卷积层以及下采样和上采样卷积层之外的全部或部分卷积层替换为ResNet网络的中的残差块，得到待训练的初始去噪模型，用于抑制图像中的斑点噪声；
模型训练步骤：利用训练数据集对初始去噪模型进行训练，在训练结束后，得到超声图像去噪模型；
传统的UNet网络的结构如图1所示，其中包括下采样部分和上采样部分；下采样由卷积运算、池化运算组成，将高分辨率的图像信息提取为高度抽象化的特征信息；上采样则将特征信息还原为原分辨率的图像用于图像分割；一系列卷积网络生成不同维度的特征图，其中高维度的特征图用于定位，低维度的特征图用于细节的分割与提取；UNet网络是一种编码-解码结构，可以对输入图像进行特征提取，由特征重建去噪图像；
本实施例所建立的超声图像去噪模型，是在UNet网络的基础上改进得到，其结构如图2所示；因此，本实施例所建立的超声图像去噪模型可以利用UNet网络中由卷积层和下采样所构成的编码结构对输入的超声图像进行特征提取，并利用其中由卷积层和上采样所构成的解码结构对特征进行重建，得到去噪后的图像，在抑制超声图像中斑点噪声的同时，能够有效保留图像中的细节信息；本实施例所建立的超声图像去噪模型具体在UNet网络的基础上，将其中首、尾两个卷积层以及下采样和上采样卷积层(即UNet网络中实现特殊功能的卷积层)之外的全部或部分卷积层替换为残差块，能够有效增加网络深度，从而在编码和解码过程中，考虑非线性因素，更好地表征实际超声图像中斑点噪声的特性，得到更好的拟合结果。总体而言，本实施例在UNet网络的基础上，将其中的部分卷积层替换为残差块，由此所建立的超声图像去噪模型，能够有效提升对超声图像的去噪效果。
如图2所示，本实施例所建立的超声图像去噪模型中，下采样次数和上采样次数均为2次，相应地，作为一种优选地实施方式，本实施例在模型建立步骤中，在将UNet网络中的卷积层替换为ResNet网络的中的残差块之前，还包括：
删除UNet网络中通道数为512和1024的卷积层，使UNet网络中的下采样和上采样的次数均减少为2次；由此能够有效减少模型参数，加快图像处理过程中的计算速度，提高实时性；
本实施例所建立的超声图像去噪模型中，下采样使用步长为2、无填充的2×2卷积，并将通道数翻倍，上采样使用反卷积的方式，以增大特征图分辨率并将通道数减半。
如图2所示，本实施例所建立的超声图像去噪模型中，在模型的首部还插入了混合注意力模块(C&A)，相应地，作为一种优选的实施方式，本实施例在模型建立步骤中，在将UNet网络中的卷积层替换为ResNet网络的中的残差块之后，还包括：
在UNet网络的编码结构中位于首部的两个卷积层之间插入混合注意力模块；混合注意力模块用于从通道域和空间域，根据相关性对像素值进行加权，以抑制噪声并增强特征；
本实施例中，混合注意力模块包括：通道注意力模块、空间注意力模块和噪声抑制模块；
通道注意力模块，用于基于非局部思想，对输入特征图中每个通道的特征图求其全局上下文，使用softmax函数将全局上下文转换为通道注意力的权值Mc；
空间注意力模块，用于基于通道注意力的权值Mc计算所有通道的加权平均，并使用softmax函数转换为空间注意力的权值Ms；
噪声抑制模块，用于将输入特征图与通道注意力的权值Mc和空间注意力的权值Ms进行逐点相乘，并通过残差连接将逐点相乘后得到的特征图与输入特征图进行逐点相加，得到噪声抑制后的特征图；
本实施例中，混合注意力模块的具体结构如图3所示，其中通道注意力模块具体包括两个部分，其中一个部分用于求取每个通道的特征图的全局上下文z，另一个部分用于计算通道注意力的权值Mc；
通道注意力模块中，用于求取每个通道的特征图的全局上下文z的部分包括 一个卷积核大小为1×1、步长为1的二维卷积层，一个softmax激活函数层，一个用于实现矩阵叉乘的乘法单元以及一个残差连接；相应的计算公式如下：
z＝x×softmax(Conv(x))；
通道注意力模块中，用于计算通道注意力的权值Mc的部分包括一个卷积核大小为1×1、步长为1的二维卷积层和一个softmax激活函数层；相应的计算公式如下：
Mc＝softmax(Conv(z))；
如图3所示，空间注意力模块具体包括，一个用于实现矩阵叉乘的乘法单元，一个残差连接，一个卷积核大小为7×7、步长为1、填充为3的二维卷积层和一个softmax激活函数层；空间注意力模块得到空间注意力的权值Ms的公式如下：
Ms＝softmax(Conv(Mc×x))；
如图3所示，噪声抑制模块包括一个实现逐点相乘的乘法单元，一个实现逐点相加的加法单元，以及残差连接；相应的计算公式如下：
x′＝x+Mc·Ms·x；
在以上计算公式中，x为输入特征图，x＇表示输出图像，z表示通道特征图的全局上下文，×表示矩阵叉乘，·表示逐点相乘，+表示逐点相加，Conv()表示卷积操作，softmax()表示softmax函数；
应当说明的是，上述混合注意力模块是一个即插即用模块，在本发明其他的一些实施例中，混合注意力模块也可以在UNet网络中的编码结构中任意两个卷积层之间插入混合注意力模块；
本实施例通过在超声图像去噪模型中加入混合注意力模块，能够在编码阶段的浅层抑制噪声且增强特征，提升超声图像去噪模型的去噪效果。
作为一种优选的实施方式，本实施例中，残差块包括两个BN-LeakyReLU-Conv单元和一个残差连接；
BN-LeakyReLU-Conv单元包括依次连接的批量归一化层、LeakyReLU激活 函数层和卷积层；
相应地，残差模块的计算公式如下：
LeakyReLU＝max(ax,x),a∈(0,1)；
x′＝Conv(x)+x；
在以上计算公式中，max()表示取最大值；
本实施例所采用的残差块，其中的BN-LeakyReLU-Conv单元采用LeakyReLU激活函数，并且将批量归一化层和LeakyReLU激活函数层至于卷积层之前，能够获得较好的超声图像去噪效果。
作为一种优选的实施方式，本实施例在模型训练步骤中，利用训练数据集对初始去噪模型进行训练时，所使用的损失函数为：
Figure PCTCN2021074584-appb-000008
其中，L表示损失函数，v表示标签，v＇表示超声图像去噪模型的输出，λ TV表示正则项系数，
Figure PCTCN2021074584-appb-000009
和
Figure PCTCN2021074584-appb-000010
分别表示水平方向和垂直方向的梯度，||·|| 2表示矩阵L2范数；
本实施例所使用的损失函数中，在均方误差
Figure PCTCN2021074584-appb-000011
的基础上，加上了全变分正则项
Figure PCTCN2021074584-appb-000012
从而能够对输出图像的梯度进行约束，保持图像的光滑性。
作为一种可选的实施方式，本实施例中，数据集预处理步骤中，对自然图像数据集中的图像进行预处理的方式具体包括：
将400张180×180大小的自然图像进行缩放、平移、旋转以及翻转等数据增强后，裁剪成64×64大小的图像块，作为训练样本的标签；
使用超声斑点噪声模型公式，对图像块添加噪声，将添加噪声后图像块作为超声图像去噪模型的输入；本实施例所使用的超声斑点噪声模型公式如下：
Figure PCTCN2021074584-appb-000013
其中，v是不含噪声图像，u是噪声图像，η是高斯分布的噪声项；
由图像块及其对应的噪声图像作为一个训练样本，将所有的训练样本的顺序打乱并归一化之后，得到训练数据集；训练数据集中，划分出1％作为验证集；
应当说明的是，在本发明其他的一些实施例中，也可以使用其他的噪声模型为图像块添加噪声，在此将不作一一列举。
实施例2：
本实施例与上述实施例1类似，所不同之处在于，本实施例还包括：
获得用于添加斑点噪声的噪声模型中噪声项的标准差分布范围，对分布范围进行划分，得到多个噪声水平；
在数据集预处理步骤中，在为图像块添加斑点噪声时，对于同一个图像块，按照不同的噪声水平添加噪声，得到多个噪声图像；
在模型训练步骤中，利用训练数据集对初始去噪模型进行训练时，利用不同噪声水平所对应的训练样本分别对初始去噪模型进行训练，从而得到各噪声水平所对应的超声图像去噪模型；
随着所采用的噪声模型不同，噪声项的标准差分布范围也会有所不同，在实际应用中，基于所选用的噪声模型特点，相应确定该分布范围即可；本实施例使用
Figure PCTCN2021074584-appb-000014
这一噪声模型，其噪声项的标准差分布范围为2～5，可选地，本实施例中，在2～5的范围内，以0.25为间隔进行噪声水平的划分。
本实施例构建不同噪声水平所对应的训练数据集，并采用不同噪声水平所对应的训练数据集分别对所建立的模型进行训练，得到各噪声水平所对应的超声图像去噪模型，从而在后续对超声图像进行去噪时，能够根据超声图像自身的噪声水平加载相应的模型，针对不同的超声图像都有效提升超声图像去噪的效果。
实施例3：
一种超声图像去噪方法，包括：
对超声图像进行预处理，使其适于输入由上述实施例1提供的超声图像去 噪模型建立方法得到的超声图像去噪模型，并将预处理后的超声图像输入超声图像去噪模型，以对超声图像进行去噪。
由于上述实施例1所提供的超声图像去噪模型建立方法得到的超声图像去噪模型能够在抑制噪声的同时，有效保留图像的细节，并且更好地表征实际超声图像中斑点噪声的特性，因此，本实施例所提供的超声图像去噪方法具有良好的去噪效果。
实施例4：
一种超声图像去噪方法，包括：
估计超声图像的噪声项的标准差σ；
按照上述实施例2所提供的超声图像去噪模型建立方法划分的噪声水平，将标准差σ向上取最接近的噪声水平作为超声图像的噪声水平；
对超声图像进行预处理，使其适于输入由本发明所提供的超声图像去噪模型建立方法得到的超声图像去噪模型，并从本发明所提供的超声图像去噪模型建立方法得到的各超声水平所对应的超声图像去噪模型中筛选出与超声图像的噪声水平对应的超声图像去噪模型，将预处理后的超声图像输入所筛选出的超声图像去噪模型，以对超声图像进行去噪；
作为一种可选的实施方式，本实施例中，估计超声图像的噪声项的标准差σ，具体包括：
将超声图像划分成多个子区域；为便于计算，在此划分得到的子区域大小相同；为了避免子区域太大导致局部均匀的假设不成立，或者子区域太小导致噪声的分布离正态分布偏离太远，在此，划分得到的子区域大小为6×6；
对子区域内所有像素点的平均像素值作为斑点噪声公式中的v，求出所有子区域的噪声项η的标准差σ。
在实验中发现模型对应的噪声水平不低于实际噪声水平能取得比较好的去噪效果，在低于实际噪声水平时有比较明显的噪声残余，本实施例估计得到噪声项的标准差σ后向上取最近的噪声水平，能够进一步保证去噪效果。
本实施例所提供的超声图像去噪方法，基于超声图像自身的噪声水平，加载相应水平的超声图像去噪模型进行去噪，能够自动处理不同超声图像，获得良好的超声图像去噪效果。
实施例5：
一种计算机可读存储介质，包括存储的计算机程序；
计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行上述实施例1或2提供的超声图像去噪模型建立方法，和/或上述实施例3或4提供的超声图像去噪方法。
以下结合对比实验，对本发明所能取得的有益效果做进一步的说明。在对比实验中，分别采用基于Field II的仿真图以及真实医学超声图像进行测试，去噪结果通过定量和定性两方面综合评估；实验中，选用3种现有的超声图像去噪方法作为对比例，记为对比例1、对比例2和对比例3，各对比例分别如下：
对比例1：按照(IEEE.Trans Image Proc.18(10)(2009)2221-2229.)里的OBNLM方法实现去噪。具体参数为：搜索窗大小选择为17×17，相似窗大小选择为7×7；
对比例2：按照(IEEE.Trans Image Proc.26(7)(2017)3142-3155.)里的DnCNN方法实现去噪，使用与本发明方法相同的数据集和损失函数训练；
对比例3：按照(IEEE.Signal Processing Letters.24(12)(2017)1763-1769.)里的ID-CNN方法去噪，使用与本发明方法相同的数据集和损失函数训练。
将上述实施例4与对比例1-3的去噪效果进行比较，为便于描述，将上述实施例提供的超声图像去噪方法简记为MARU(Mixed Attention based Residual UNet)。定量比较采用ENL(equivalent number of looks，等效视数)和CNR(contrast-to-noise ratio，对比噪声比)进行评价，其中ENL和CNR分别定义如下：
Figure PCTCN2021074584-appb-000015
Figure PCTCN2021074584-appb-000016
上式中，μ b和μ o分别是背景区域和目标区域的平均灰度值，σ b和σ o分别是背景区域和目标区域的标准差。
采用基于Field II的仿真超声图像和真实的超声图像进行去噪效果测试，分别从仿真图和实际图中各挑选四对感兴趣区(Region of Interest,ROI)，表1和表2分别列出了降噪前及四种方法降噪后各对ROI对应的ENL和CNR值，其中MARU为本专利提出的基于混合注意力的残余UNet。从两表可看出，对仿真图像而言，MARU方法除了ROI3对应的CNR非最高外，在其他ROI上皆可取得最高的ENL和CNR。对实际临床图而言，MARU方法除了ROI2和ROI3对应的ENL非最高外，在其他ROI上其ENL和CNR值皆高于其它方法。
表1各方法在Field II仿真图像去噪后的ENL和CNR值对比
Figure PCTCN2021074584-appb-000017
表2各方法在真实的医学超声图像去噪后的ENL和CNR值对比
Figure PCTCN2021074584-appb-000018
为更直观地显示本发明相对于其余方法的优越性，我们提供了实施例与对比例1-3对应去噪图像的视觉效果图，如图4和图5所示。图4中的(a)为仿真图像，图4中的(b)为实施例方法MARU获得的去噪图像，图4中的(c)为对比例1方法获得的去噪图像，图4中的(d)为对比例2方法获得的去噪图像，图4中的(e)为对比例3方法获得的去噪图像。图5中的(a)为医学超声图像，图5中的(b)为实施例方法获得的去噪图像，图5中的(c)为对比例1方法获得的去噪图像，图5中的(d)为对比例2方法获得的去噪图像，图5中的(e)为对比例3方法获得的去噪图像。从图4和图5可看出，本发明提出的MARU方法与其它三个对比方法相比，不仅可以更好地抑制图像中的斑点噪声，而且可更好地保护图像细节信息。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

  1. 一种超声图像去噪模型建立方法，其特征在于，包括：
    数据集预处理步骤：将自然图像数据集中的图像预处理为大小相等的图像块，添加斑点噪声后，由图像块及其对应的噪声图像构成训练样本，得到训练数据集；
    模型建立步骤：将UNet网络首、尾两个卷积层以及下采样和上采样卷积层之外的全部或部分卷积层替换为ResNet网络的中的残差块，得到待训练的初始去噪模型，用于抑制图像中的斑点噪声；
    模型训练步骤：利用所述训练数据集对所述初始去噪模型进行训练，在训练结束后，得到超声图像去噪模型。
  2. 如权利要求1所述的超声图像去噪模型建立方法，其特征在于，在所述模型建立步骤中，在将UNet网络中的卷积层替换为ResNet网络的中的残差块之前，还包括：
    删除所述UNet网络中通道数为512和1024的卷积层，使所述UNet网络中的下采样和上采样的次数均减少为2次。
  3. 如权利要求1所述的超声图像去噪模型建立方法，其特征在于，在所述模型建立步骤中，在将UNet网络中的卷积层替换为ResNet网络的中的残差块之后，还包括：
    在所述UNet网络的编码结构中任意两个卷积层之间插入混合注意力模块；所述混合注意力模块用于从通道域和空间域，根据相关性对像素值进行加权，以抑制噪声并增强特征。
  4. 如权利要求3所述的超声图像去噪模型建立方法，其特征在于，所述混合注意力模块包括：通道注意力模块、空间注意力模块和噪声抑制模块；
    所述通道注意力模块，用于基于非局部思想，对输入特征图中每个通道的特征图求其全局上下文，使用softmax函数将所述全局上下文转换为通道注意力的权值Mc；
    所述空间注意力模块，用于基于所述通道注意力的权值Mc计算所有通道的加权平均，并使用softmax函数转换为空间注意力的权值Ms；
    所述噪声抑制模块，用于将所述输入特征图与所述通道注意力的权值Mc和所述空间注意力的权值Ms进行逐点相乘，并通过残差连接将逐点相乘后得到的特征图与所述输入特征图进行逐点相加，得到噪声抑制后的特征图。
  5. 如权利要求1所述的超声图像去噪模型建立方法，其特征在于，所述残差块包括两个BN-LeakyReLU-Conv单元和一个残差连接；
    所述BN-LeakyReLU-Conv单元包括依次连接的批量归一化层、LeakyReLU激活函数层和卷积层。
  6. 如权利要求1所述的超声图像去噪模型建立方法，其特征在于，在所述模型训练步骤中，利用所述训练数据集对所述初始去噪模型进行训练时，所使用的损失函数为：
    Figure PCTCN2021074584-appb-100001
    其中，L表示损失函数，v表示标签，v＇表示所述超声图像去噪模型的输出，λ TV表示正则项系数，
    Figure PCTCN2021074584-appb-100002
    和
    Figure PCTCN2021074584-appb-100003
    分别表示水平方向和垂直方向的梯度，||·|| 2表示矩阵L2范数。
  7. 如权利要求1-6任一项所述超声图像去噪模型建立方法，其特征在于，还包括：获得用于添加斑点噪声的噪声模型中噪声项的标准差分布范围，对所述分布范围进行划分，得到多个噪声水平；
    在所述数据集预处理步骤中，在为图像块添加斑点噪声时，对于同一个图像块，按照不同的噪声水平添加噪声，得到多个噪声图像；
    在所述模型训练步骤中，利用所述训练数据集对所述初始去噪模型进行训练时，利用不同噪声水平所对应的训练样本分别对所述初始去噪模型进行训练，从而得到各噪声水平所对应的超声图像去噪模型。
  8. 一种超声图像去噪方法，其特征在于，包括：
    对超声图像进行预处理，使其适于输入由权利要求1-6任一项所述的超声图 像去噪模型建立方法得到的超声图像去噪模型，并将预处理后的超声图像输入所述超声图像去噪模型，以对所述超声图像进行去噪。
  9. 一种超声图像去噪方法，其特征在于，包括：
    估计超声图像的噪声项的标准差σ；
    按照权利要求7划分的噪声水平，将所述标准差σ向上取最接近的噪声水平作为所述超声图像的噪声水平；
    对超声图像进行预处理，使其适于输入由权利要求7所述的超声图像去噪模型建立方法得到的超声图像去噪模型，并从权利要求7所述的超声图像去噪模型建立方法得到的各超声水平所对应的超声图像去噪模型中筛选出与所述超声图像的噪声水平对应的超声图像去噪模型，将预处理后的超声图像输入所筛选出的超声图像去噪模型，以对所述超声图像进行去噪。
  10. 一种计算机可读存储介质，其特征在于，包括存储的计算机程序；
    所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求1-7任一项所述的超声图像去噪模型建立方法，和/或权利要求8-9任一项所述的超声图像去噪方法。
PCT/CN2021/074584 2020-10-21 2021-02-01 一种超声图像去噪模型建立方法及超声图像去噪方法 WO2022083026A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011129030.4 2020-10-21
CN202011129030.4A CN112200750B (zh) 2020-10-21 2020-10-21 一种超声图像去噪模型建立方法及超声图像去噪方法

Publications (1)

Publication Number Publication Date
WO2022083026A1 true WO2022083026A1 (zh) 2022-04-28

Family

ID=74010324

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/074584 WO2022083026A1 (zh) 2020-10-21 2021-02-01 一种超声图像去噪模型建立方法及超声图像去噪方法

Country Status (2)

Country Link
CN (1) CN112200750B (zh)
WO (1) WO2022083026A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821580A (zh) * 2022-05-09 2022-07-29 福州大学 一种分阶段融入去噪模块的含噪图像分割方法
CN114858467A (zh) * 2022-05-26 2022-08-05 上海交通大学 柴油机抗噪和跨噪声域失火诊断方法及系统
CN114998138A (zh) * 2022-06-01 2022-09-02 北京理工大学 一种基于注意力机制的高动态范围图像去伪影方法
CN115063434A (zh) * 2022-05-12 2022-09-16 北京理工大学 一种基于特征去噪的低弱光图像实例分割方法及系统
CN115115544A (zh) * 2022-06-22 2022-09-27 哈尔滨理工大学 一种基于注意力机制gan的辐照环境图像降噪方法
CN115153588A (zh) * 2022-07-25 2022-10-11 陕西师范大学 融合密集残差和注意力机制的脑电时空去噪方法
CN115222630A (zh) * 2022-08-09 2022-10-21 中国科学院自动化研究所 图像生成方法、图像去噪模型的训练方法和设备
CN115267899A (zh) * 2022-08-15 2022-11-01 河北地质大学 基于边界保持的DnCNN混合震源地震数据分离方法和系统
CN115267713A (zh) * 2022-07-01 2022-11-01 西安电子科技大学 一种基于语义分割的间歇采样干扰识别和抑制方法
CN115512204A (zh) * 2022-09-28 2022-12-23 中国舰船研究设计中心 一种基于U-net网络的线谱干扰自动检测方法
CN116012266A (zh) * 2023-03-29 2023-04-25 中国科学技术大学 图像去噪方法、系统、设备及存储介质
CN116152278A (zh) * 2023-04-17 2023-05-23 杭州堃博生物科技有限公司 医疗图像的分割方法及装置、非易失性存储介质
CN116664450A (zh) * 2023-07-26 2023-08-29 国网浙江省电力有限公司信息通信分公司 基于扩散模型的图像增强方法、装置、设备及存储介质
CN116757966A (zh) * 2023-08-17 2023-09-15 中科方寸知微(南京)科技有限公司 基于多层级曲率监督的图像增强方法及系统
CN116993845A (zh) * 2023-06-09 2023-11-03 西安交通大学 一种基于集成深度网络DnCNN的CT图像去伪影方法
CN117095074A (zh) * 2023-08-23 2023-11-21 浙江大学 一种基于深度学习的医学图像的双重去噪方法及装置
CN117274109A (zh) * 2023-11-14 2023-12-22 荣耀终端有限公司 图像处理方法、降噪模型训练方法及电子设备
CN117291846A (zh) * 2023-11-27 2023-12-26 北京大学第三医院（北京大学第三临床医学院） 一种应用于喉显微外科手术的oct系统及图像去噪方法
CN117618026A (zh) * 2023-11-27 2024-03-01 广东工业大学 一种应用于超声图像的胎儿头围测量方法及系统
WO2024066049A1 (zh) * 2022-09-26 2024-04-04 深圳先进技术研究院 一种pet图像去噪的方法、终端设备及可读存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200750B (zh) * 2020-10-21 2022-08-05 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法
CN112801928B (zh) * 2021-03-16 2022-11-29 昆明理工大学 一种基于注意力机制的毫米波雷达与视觉传感器融合方法
CN113191968B (zh) * 2021-04-19 2024-02-09 华中科技大学 三维超声图像盲去噪模型的建立方法及其应用
CN113129235A (zh) * 2021-04-22 2021-07-16 深圳市深图医学影像设备有限公司 一种医学图像噪声抑制算法
CN113034408B (zh) * 2021-04-30 2022-08-12 广东工业大学 一种红外热成像深度学习图像去噪方法及装置
CN114220132A (zh) * 2021-12-01 2022-03-22 上海海栎创科技股份有限公司 指纹图像降噪方法及其装置
CN114266945B (zh) * 2022-02-28 2022-06-14 粤港澳大湾区数字经济研究院(福田) 一种目标检测模型的训练方法、目标检测方法及相关装置
CN114972130B (zh) * 2022-08-02 2022-11-18 深圳精智达技术股份有限公司 一种去噪神经网络的训练方法、装置及训练设备
CN115345801B (zh) * 2022-10-18 2023-03-24 中科方寸知微(南京)科技有限公司 一种基于图像去噪思想的图像压缩及滤镜去除方法及系统
CN116051408B (zh) * 2023-01-06 2023-10-27 郑州轻工业大学 一种基于残差自编码的图像深度去噪方法
CN116206221B (zh) * 2023-01-16 2023-09-05 北京师范大学 一种水体耀斑检测方法和系统
CN117115452B (zh) * 2023-09-12 2024-06-25 澳门理工大学 可控的医学超声图像去噪方法、系统及计算机存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372479A1 (en) * 2016-06-23 2017-12-28 Intel Corporation Segmentation of objects in videos using color and depth information
CN112200750A (zh) * 2020-10-21 2021-01-08 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102013777B1 (ko) * 2018-12-12 2019-10-21 한국과학기술정보연구원 동영상 왜곡 복원 방법 및 이를 적용한 장치
CN109871777B (zh) * 2019-01-23 2021-10-01 广州智慧城市发展研究院 一种基于注意力机制的行为识别系统
CN111145123B (zh) * 2019-12-27 2022-06-14 福州大学 基于U-Net融合保留细节的图像去噪方法
CN111292259A (zh) * 2020-01-14 2020-06-16 西安交通大学 一种综合多尺度与注意力机制的深度学习图像去噪方法
CN111369442B (zh) * 2020-03-10 2022-03-15 西安电子科技大学 基于模糊核分类与注意力机制的遥感图像超分辨重建方法
CN111489303A (zh) * 2020-03-27 2020-08-04 武汉理工大学 一种低照度环境下海事图像增强方法
CN111652812A (zh) * 2020-04-30 2020-09-11 南京理工大学 基于选择性注意力机制的图像去雾和去雨算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372479A1 (en) * 2016-06-23 2017-12-28 Intel Corporation Segmentation of objects in videos using color and depth information
CN112200750A (zh) * 2020-10-21 2021-01-08 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"Pattern Recognition and Machine Learning Techniques", 30 June 2019, ISBN: 978-7-5024-8130-8, article MOU, SHAOMIN : "Activation Function", pages: 69 - 72, XP009536339 *
DIAKOGIANNIS FOIVOS I.; WALDNER FRANçOIS; CACCETTA PETER; WU CHEN: "ResUNet-a: A deep learning framework for semantic segmentation of remotely sensed data", ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING, AMSTERDAM [U.A.] : ELSEVIER, AMSTERDAM, NL, vol. 162, 21 February 2020 (2020-02-21), AMSTERDAM, NL , pages 94 - 114, XP086101364, ISSN: 0924-2716, DOI: 10.1016/j.isprsjprs.2020.01.013 *
KHANH TRINH LE BA, DAO DUY-PHUONG, HO NGOC-HUYNH, YANG HYUNG-JEONG, BAEK EU-TTEUM, LEE GUEESANG, KIM SOO-HYUNG, YOO SEOK BONG: "Enhancing U-Net with Spatial-Channel Attention Gate for Abnormal Tissue Segmentation in Medical Imaging", APPLIED SCIENCES, MDPI SWITZERLAND, vol. 10, no. 17, 19 August 2020 (2020-08-19), pages 5729, XP055832313, ISSN: 2076-3417, DOI: 10.3390/app10175729 *
LAN YANCHENG; ZHANG XUMING: "Real-Time Ultrasound Image Despeckling Using Mixed-Attention Mechanism Based Residual UNet", IEEE ACCESS, IEEE, USA, vol. 8, 27 October 2020 (2020-10-27), USA , pages 195327 - 195340, XP011819018, DOI: 10.1109/ACCESS.2020.3034230 *
LATTARI FRANCESCO, GONZALEZ LEON BORJA, ASARO FRANCESCO, RUCCI ALESSIO, PRATI CLAUDIO, MATTEUCCI MATTEO: "Deep Learning for SAR Image Despeckling", REMOTE SENSING, vol. 11, no. 13, 28 June 2019 (2019-06-28), XP055923544, DOI: 10.3390/rs11131532 *
ZHANG ZHENGXIN, LIU QINGJIE, WANG YUNHONG,: "IEEE GEOSCIENCE AND REMOTE SENSING LETTERS 1 Road Extraction by Deep Residual U-Net", 29 November 2017 (2017-11-29), XP055819701, Retrieved from the Internet <URL:https://arxiv.org/pdf/1711.10684.pdf> [retrieved on 20210630] *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821580A (zh) * 2022-05-09 2022-07-29 福州大学 一种分阶段融入去噪模块的含噪图像分割方法
CN115063434A (zh) * 2022-05-12 2022-09-16 北京理工大学 一种基于特征去噪的低弱光图像实例分割方法及系统
CN115063434B (zh) * 2022-05-12 2024-06-04 北京理工大学 一种基于特征去噪的低弱光图像实例分割方法及系统
CN114858467B (zh) * 2022-05-26 2023-05-26 上海交通大学 柴油机抗噪和跨噪声域失火诊断方法及系统
CN114858467A (zh) * 2022-05-26 2022-08-05 上海交通大学 柴油机抗噪和跨噪声域失火诊断方法及系统
CN114998138A (zh) * 2022-06-01 2022-09-02 北京理工大学 一种基于注意力机制的高动态范围图像去伪影方法
CN114998138B (zh) * 2022-06-01 2024-05-28 北京理工大学 一种基于注意力机制的高动态范围图像去伪影方法
CN115115544A (zh) * 2022-06-22 2022-09-27 哈尔滨理工大学 一种基于注意力机制gan的辐照环境图像降噪方法
CN115267713A (zh) * 2022-07-01 2022-11-01 西安电子科技大学 一种基于语义分割的间歇采样干扰识别和抑制方法
CN115153588A (zh) * 2022-07-25 2022-10-11 陕西师范大学 融合密集残差和注意力机制的脑电时空去噪方法
CN115222630A (zh) * 2022-08-09 2022-10-21 中国科学院自动化研究所 图像生成方法、图像去噪模型的训练方法和设备
CN115267899B (zh) * 2022-08-15 2024-01-12 河北地质大学 基于边界保持的DnCNN混合震源地震数据分离方法和系统
CN115267899A (zh) * 2022-08-15 2022-11-01 河北地质大学 基于边界保持的DnCNN混合震源地震数据分离方法和系统
WO2024066049A1 (zh) * 2022-09-26 2024-04-04 深圳先进技术研究院 一种pet图像去噪的方法、终端设备及可读存储介质
CN115512204A (zh) * 2022-09-28 2022-12-23 中国舰船研究设计中心 一种基于U-net网络的线谱干扰自动检测方法
CN116012266A (zh) * 2023-03-29 2023-04-25 中国科学技术大学 图像去噪方法、系统、设备及存储介质
CN116152278A (zh) * 2023-04-17 2023-05-23 杭州堃博生物科技有限公司 医疗图像的分割方法及装置、非易失性存储介质
CN116993845A (zh) * 2023-06-09 2023-11-03 西安交通大学 一种基于集成深度网络DnCNN的CT图像去伪影方法
CN116993845B (zh) * 2023-06-09 2024-03-15 西安交通大学 一种基于集成深度网络DnCNN的CT图像去伪影方法
CN116664450A (zh) * 2023-07-26 2023-08-29 国网浙江省电力有限公司信息通信分公司 基于扩散模型的图像增强方法、装置、设备及存储介质
CN116757966A (zh) * 2023-08-17 2023-09-15 中科方寸知微(南京)科技有限公司 基于多层级曲率监督的图像增强方法及系统
CN117095074B (zh) * 2023-08-23 2024-04-09 浙江大学 一种基于深度学习的医学图像的双重去噪方法及装置
CN117095074A (zh) * 2023-08-23 2023-11-21 浙江大学 一种基于深度学习的医学图像的双重去噪方法及装置
CN117274109B (zh) * 2023-11-14 2024-04-23 荣耀终端有限公司 图像处理方法、降噪模型训练方法及电子设备
CN117274109A (zh) * 2023-11-14 2023-12-22 荣耀终端有限公司 图像处理方法、降噪模型训练方法及电子设备
CN117618026A (zh) * 2023-11-27 2024-03-01 广东工业大学 一种应用于超声图像的胎儿头围测量方法及系统
CN117291846B (zh) * 2023-11-27 2024-02-27 北京大学第三医院（北京大学第三临床医学院） 一种应用于喉显微外科手术的oct系统及图像去噪方法
CN117291846A (zh) * 2023-11-27 2023-12-26 北京大学第三医院（北京大学第三临床医学院） 一种应用于喉显微外科手术的oct系统及图像去噪方法

Also Published As

Publication number Publication date
CN112200750A (zh) 2021-01-08
CN112200750B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
WO2022083026A1 (zh) 一种超声图像去噪模型建立方法及超声图像去噪方法
Yeh et al. Multi-scale deep residual learning-based single image haze removal via image decomposition
CN108053417B (zh) 一种基于混合粗分割特征的3D U-Net网络的肺分割装置
Xu et al. Image inpainting by patch propagation using patch sparsity
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN106709877B (zh) 一种基于多参数正则优化模型的图像去模糊方法
CN110956632B (zh) 钼靶图像中胸大肌区域自动检测方法及装置
CN113516659A (zh) 一种基于深度学习的医学影像自动分割方法
CN113191968B (zh) 三维超声图像盲去噪模型的建立方法及其应用
CN110992292A (zh) 一种增强型低秩稀疏分解模型医学ct图像去噪方法
CN116682120A (zh) 基于深度学习的多语种马赛克图像文本识别方法
CN110570387B (zh) 一种基于特征级Copula模型相似性的图像融合方法
Yang et al. Image super-resolution based on deep neural network of multiple attention mechanism
Liu et al. True wide convolutional neural network for image denoising
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
Li et al. A novel medical image denoising method based on conditional generative adversarial network
CN115170410A (zh) 融合小波变换和注意力机制的图像增强方法及装置
CN107301631B (zh) 一种基于非凸加权稀疏约束的sar图像降斑方法
Yang et al. A survey of super-resolution based on deep learning
CN115719335A (zh) 一种脑血管图像-标签两阶段生成方法、装置及存储介质
US20220164927A1 (en) Method and system of statistical image restoration for low-dose ct image using deep learning
Cherian et al. A Novel AlphaSRGAN for Underwater Image Super Resolution.
Luo et al. A fast denoising fusion network using internal and external priors
CN117291835A (zh) 基于图像内容感知先验和注意力驱动的去噪网络模型
Zhou et al. High-resolution hierarchical adversarial learning for OCT speckle noise reduction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21881452

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21881452

Country of ref document: EP

Kind code of ref document: A1