WO2022199143A1 - 一种基于u型网络的医学图像分割方法 - Google Patents

一种基于u型网络的医学图像分割方法 Download PDF

Info

Publication number
WO2022199143A1
WO2022199143A1 PCT/CN2021/137909 CN2021137909W WO2022199143A1 WO 2022199143 A1 WO2022199143 A1 WO 2022199143A1 CN 2021137909 W CN2021137909 W CN 2021137909W WO 2022199143 A1 WO2022199143 A1 WO 2022199143A1
Authority
WO
WIPO (PCT)
Prior art keywords
segmentation
image
network
data set
medical image
Prior art date
Application number
PCT/CN2021/137909
Other languages
English (en)
French (fr)
Inventor
张登银
赵蓉
严伟丹
Original Assignee
南京邮电大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南京邮电大学 filed Critical 南京邮电大学
Priority to US17/568,938 priority Critical patent/US11580646B2/en
Publication of WO2022199143A1 publication Critical patent/WO2022199143A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • the invention relates to a medical image segmentation method based on a U-shaped network, and belongs to the technical field of image processing.
  • image segmentation methods can be divided into traditional image segmentation methods and deep learning-based image segmentation.
  • Traditional image segmentation methods include threshold-based segmentation methods, region-based segmentation methods, and boundary-based segmentation methods.
  • Traditional image segmentation methods mainly use edge and algorithm characteristics for segmentation, and it is easy to ignore the deep semantic category information of images.
  • deep learning has made great progress in the field of computer vision, and some of them are gradually approaching human judgment. Therefore, the use of deep learning methods for image segmentation has gradually become mainstream. This method is not limited by prior knowledge, and can be obtained when the network is trained well. better effect. Since the fully convolutional network proposed to use 1 x 1 convolution to replace the fully connected layer, medical image segmentation has shown better performance in the U-shaped network.
  • the improvement of the segmentation network is mostly based on the structure of encoding-decoding-skip connections .
  • the DeepLab series proposes Atrous Spatial Pyramid Pooling (ASPP) and uses conditional random fields to optimize segmentation results.
  • ABP Atrous Spatial Pyramid Pooling
  • better networks are V-net, H-dense Net, etc.
  • various segmentation models are still emerging.
  • the technical problem to be solved by the present invention is to overcome the shortcomings of the prior art that medical image data is small and manual labeling is difficult, and provides a medical image segmentation method based on a U-shaped network, adding a generative adversarial network before the original segmentation network.
  • the expansion of data is completed, and the over-fitting phenomenon caused by the lack of training data in the process of training the segmentation model is alleviated; the present invention proposes a segmentation method of multi-scale feature fusion, which improves the possibility of connecting the shallow layer and the deep network of the U-shaped network.
  • the resulting semantic gap and the loss of shallow information in the max-pooling downsampling process can fully capture target areas of different sizes and improve the segmentation accuracy of segmentation targets at different scales.
  • the present invention provides a medical image segmentation method based on U-shaped network, comprising the following steps:
  • Step 1 select a medical image dataset from an existing medical image database
  • Step 2 obtain the paired original pictures and the real segmentation map of the target area in the original image from the medical image data set, and the real segmentation map generates a synthetic image based on the generator G;
  • the synthetic image is sent to the discriminator D for discrimination, and the discriminator D judges whether the synthetic image comes from the medical image data set, and outputs the probability that the synthetic image comes from the medical image data set;
  • Step 3 import the paired original picture and the real segmentation map of the target area in the original picture into the generative adversarial network to train the generative adversarial network to obtain a generator model, and the generative adversarial joint loss function of the generative adversarial network is:
  • x is the real segmentation map of the original image
  • y is the original image
  • z is random noise
  • E[*] represents the expected value of the distribution function
  • D(x,y) is the output probability of the discriminator D when the input is x and y value
  • G(x,z) is the composite image
  • Step 4 use the generator model trained in step 3 to generate a synthetic image, and use the original image as the input data set of the multi-feature fusion segmentation network, and divide the input data set into a training set and a test set;
  • Step 5 use the input data set in step 4 to train the multi-feature fusion segmentation network to obtain a segmentation network model.
  • each decoder layer is the same as the shallower and the same level from the encoder.
  • the feature maps of are connected by a dilated convolution module;
  • Step 6 Input the original image to be segmented into the trained segmentation network model for segmentation to obtain a real segmentation map.
  • the training of the generative adversarial network includes the training of the generator G and the training of the discriminator D, using the forward propagation of the neural network and the backward propagation of the neural network, and using the gradient descent method to train the discriminator alternately. D and generator G, until the probability that the synthetic image generated by generator G is identified by the discriminator D as a real image is 0.5, the training ends, and the generator model and the discriminator model are obtained.
  • the multi-feature fusion and segmentation network includes feature extraction and increased resolution
  • the feature extraction includes 5 convolution blocks and four downsampling, and the convolution blocks are connected by downsampling;
  • the rate consists of four convolutional blocks connected by upsampling.
  • step 5 includes the following steps:
  • the loss function is set as the set similarity measure function, and the specific formula is:
  • represents the common element between set A and set B
  • represents the number of elements in A
  • represents the number of elements in B
  • set A is the input data set after multiple features Integrate the segmented images obtained by the segmentation network, and the elements in the set B are the real segmentation images of the target area in the original image;
  • the generator G is an encoder-decoder structure, in which the residual blocks of the same level are skip-connected in a U-net-like manner, and the generator G includes 9 residual blocks and 2 downsampling convolutional layers with stride 2. and two transposed convolutions;
  • the batch normalization function and the Relu function are performed; the discriminator D uses the same Markov discriminator model as patchGAN.
  • the specific connection order in the convolution block is 3 x 3 convolution layers, batch normalization layers, Relu activation functions, 3 x 3 convolution layers, batch normalization layers and Relu activation functions, and each downsampling uses a stride of 2
  • the maximum pooling of the original image makes the size of the feature map of the original image after the convolution layer become half of the size of the feature map of the original image before downsampling, and the number of feature map channels of the original image becomes the number of feature map channels of the original image before downsampling. Upsampling doubles the resolution of the feature map of the original image by bilinear interpolation.
  • the first convolutional layer and the last convolutional layer use 7 x 7 convolution kernels
  • other convolutional layers use 3 x 3 convolution kernels, of which 7 x 7 convolution kernels
  • the kernel uses separable convolutions to reduce the parameters of the segmentation network model and the computation of the segmentation network model.
  • stop training when the loss function is the smallest to obtain a trained segmentation network model including the following steps:
  • the sample images include synthetic images and original images, first use forward propagation to find the total error between the real segmentation image and the real segmentation image of the target area in the original image, and then The partial derivative of each weight parameter is obtained by the back propagation of the neural network, and finally the weight parameter is updated according to the gradient descent method; the above steps are repeated until the loss function reaches the minimum, and the trained segmentation network model is obtained.
  • the input dataset is divided into training set and test set in a ratio of 7:3.
  • the real segmentation map and the original image are first sent to the generative adversarial network for data enhancement to generate a synthetic image with labels; then the synthetic image is put into The original data set gets the expanded data set, and the expanded data set is sent to the improved segmentation network for multi-feature fusion for training.
  • the present invention adds an expanded convolution module to obtain receptive fields of different sizes between the shallow and deep feature jump connections of the segmentation network, enhances the fusion of detail information and deep semantics, can improve the adaptability to the size of the segmentation target, and at the same time improves the segmentation of medical images. accuracy.
  • the invention alleviates the problem of over-fitting when training the segmentation network by using the generative confrontation network to expand the data set, and from the perspective of multi-scale feature connection, it makes up for the loss of the traditional U-shaped network's ability to capture detailed information and the inability to capture deep and shallow information features.
  • the complete problem improves the adaptability to different segmentation tasks and improves the final segmentation results.
  • the invention uses a trained generator to generate a synthetic fundus blood vessel image, enlarges the data set sent to the segmentation network, and improves the overfitting of the training data caused by too little data in the ordinary segmentation network. problems that do not work well for the desired segmentation task.
  • FIG. 1 is a schematic diagram of generating an adversarial network in the method of the present invention
  • FIG. 2 is a schematic diagram of a generator in a generative adversarial network in the method of the present invention
  • Fig. 3 is the schematic diagram of segmentation network structure in the method of the present invention.
  • FIG. 4 is a schematic diagram of a dilated convolution module for multi-feature fusion in the present invention.
  • the present invention provides a medical image segmentation method based on U-shaped network, comprising the following steps:
  • Step 1 select a medical image dataset from an existing medical image database
  • Step 2 obtain the paired original pictures and the real segmentation map of the target area in the original image from the medical image data set, and the real segmentation map generates a synthetic image based on the generator G;
  • the synthetic image is sent to the discriminator D for discrimination, and the discriminator D judges whether the synthetic image comes from the medical image data set, and outputs the probability that the synthetic image comes from the medical image data set;
  • Step 3 import the paired original picture and the real segmentation map of the target area in the original picture into the generative adversarial network to train the generative adversarial network to obtain a generator model, and the generative adversarial joint loss function of the generative adversarial network is:
  • x is the real segmentation map of the original image
  • y is the original image
  • z is random noise
  • E[*] represents the expected value of the distribution function
  • D(x,y) is the output probability of the discriminator D when the input is x and y value
  • G(x,z) is the composite image
  • Step 4 use the generator model trained in step 3 to generate a synthetic image, and use the original image as the input data set of the multi-feature fusion segmentation network, and divide the input data set into a training set and a test set;
  • Step 5 use the input data set in step 4 to train the multi-feature fusion segmentation network to obtain a segmentation network model.
  • each decoder layer is the same as the shallower and the same level from the encoder.
  • the feature maps of are connected by a dilated convolution module;
  • Step 6 Input the original image to be segmented into the trained segmentation network model for segmentation to obtain a real segmentation map.
  • the training of the generative adversarial network includes the training of the generator G and the training of the discriminator D, using the forward propagation of the neural network and the backward propagation of the neural network, using the gradient descent method. Alternately train the discriminator D and the generator G until the probability that the synthetic image generated by the generator G is identified by the discriminator D is 0.5 is a real image, the training ends, and the generator model and the discriminator model are obtained.
  • the multi-feature fusion and segmentation network includes feature extraction and resolution enhancement
  • the feature extraction includes 5 convolution blocks and four downsampling, and the convolution blocks are connected by downsampling.
  • the increased resolution consists of four convolutional blocks connected by upsampling.
  • step 5 in this embodiment includes the following steps:
  • the loss function is set as the set similarity measure function, and the specific formula is:
  • represents the common element between set A and set B
  • represents the number of elements in A
  • represents the number of elements in B
  • set A is the input data set after multiple features Integrate the segmented images obtained by the segmentation network, and the elements in the set B are the real segmentation images of the target area in the original image;
  • the generator G is an encoding and decoding structure, in which the residual blocks of the same level are skip-connected in a U-net-like manner, and the generator G includes 9 residual blocks and 2 lower blocks with a stride of 2.
  • the batch normalization function and the Relu function are performed; the discriminator D uses the same Markov discriminator model as patchGAN.
  • the specific connection sequence in the convolution block is 3 ⁇ 3 convolution layer, batch normalization layer, Relu activation function, 3 ⁇ 3 convolution layer, batch normalization layer and Relu activation function
  • each downsampling uses Maximum pooling with a stride of 2 makes the size of the feature map of the original image after the convolutional layer become half the size of the feature map of the original image before downsampling, and the number of feature map channels of the original image becomes the size of the original image before downsampling. Twice the number of feature map channels, upsampling uses bilinear interpolation to double the resolution of the feature map of the original image.
  • the first convolutional layer and the last convolutional layer use 7x7 convolution kernels
  • other convolutional layers use 3x3 convolution kernels, of which 7x7 convolutional kernels
  • the kernel uses separable convolutions to reduce the parameters of the segmentation network model and the computation of the segmentation network model.
  • the training is stopped when the loss function is the smallest to obtain a trained segmentation network model, including the following steps:
  • the sample images include synthetic images and original images, first use forward propagation to find the total error between the real segmentation image and the real segmentation image of the target area in the original image, and then The partial derivative of each weight parameter is obtained by the back propagation of the neural network, and finally the weight parameter is updated according to the gradient descent method; the above steps are repeated until the loss function reaches the minimum, and the trained segmentation network model is obtained.
  • the input data set is used as the input data set of the multi-feature fusion segmentation network, and the input data set is divided into a training set and a test set in a ratio of 7:3.
  • Step 1 obtain a medical image data set, in this embodiment, the medical image data set is the DRIVE fundus blood vessel data set;
  • the medical image dataset is downloaded from the existing medical image database, and the website address is https://aistudio.baidu.com/aistudio/projectdetail/462184.
  • the synthetic image is sent to the discriminator D for discrimination, the discriminator D judges whether the synthetic image comes from the medical image data set, and outputs the probability that the synthetic image comes from the medical image data set.
  • the discriminator D judges whether the synthetic image comes from the medical image data set, and outputs the probability that the synthetic image comes from the medical image data set.
  • Step 2 From the DRIVE fundus blood vessel dataset, take out the paired original fundus blood vessel image and the real segmentation map of the target area in the original fundus blood vessel image, and input them into the generative adversarial network.
  • the generative adversarial network adopts the pix2pix algorithm, takes the real segmented label image x as the input of the generator G, and obtains the generated image G(x), then combines G(x) and x based on the channel dimension, and finally serves as the discriminator D.
  • Input get a predicted probability value, the predicted probability value indicates whether the input is a pair of real images, the closer the probability value is to 1, the more certain the discriminator D is that the input is a pair of real images.
  • the real images y and x are also merged together based on the channel dimension, and the probability prediction value is obtained as the input of the discriminator D.
  • Step 3 construct the loss function.
  • the joint loss function of generator and discriminator is
  • x is the real segmentation map of the original image
  • y is the original image
  • z is random noise
  • E[*] represents the expected value of the distribution function
  • D(x,y) is the output probability of the discriminator D when the input is x and y value
  • G(x,z) is the composite image
  • x is the segmentation label
  • y is the real fundus blood vessel image
  • z is random noise.
  • the present invention uses dropout to generate random noise.
  • Step 4 train a generative adversarial network.
  • the generative adversarial network adopts the pix2pix algorithm, which includes a generator G and a discriminator D.
  • the generator G is an encoder-decoder structure, as shown in Figure 2, which is skip-connected in a U-net-like manner, consisting of 9 residual blocks, 2 downsampling convolutional layers with stride 2 and two transposed volumes product, in which 9 residual blocks are connected in sequence, and after all non-residual blocks, batch normalization and Relu functions are performed.
  • Discriminator D uses the same Markov discriminator model as patchGAN.
  • the batch normalization layer is Batch Normalization in English, abbreviated as BN.
  • All convolutional layers use 3 x 3 convolution kernels except the first and last layers use 7 x 7 convolution kernels, where 7 x 7 convolution kernels use separable convolutions to reduce model parameters and amount of calculation.
  • the input of the generative adversarial network generator is the image of the labeled dataset, and the output is a synthetic fundus blood vessel map.
  • M is a positive integer of at least 400, before The learning rate of the next time is ⁇ , and the value of ⁇ is 0 ⁇ 0.01, and the learning rate of the next time decays linearly;
  • the discriminator for training the generative adversarial network uses the synthetic fundus blood vessel map and the corresponding label output by the generative adversarial network generator as the input of the generative adversarial network discriminator, and the discriminator identifies whether the fake image output by the generator is a real image, and trains the generative adversarial network.
  • the discriminator of the network iterates N times, N is an even number of at least 300, the previous learning rate is ⁇ , the value of ⁇ is 0 ⁇ 0.001, and the subsequent learning rate decays linearly;
  • Step 5 use the input data set in step 4 to train the multi-feature fusion and segmentation network, the multi-feature fusion and segmentation network includes feature extraction and resolution enhancement, and in the decoding process of the multi-feature fusion and segmentation network, each decoder
  • the layers are all connected with the shallower and same-level feature maps from the encoder through a Dilated Convolution Module to obtain shallow details of different receptive fields and combine with deep semantics to improve different sizes The segmentation accuracy of the segmentation target.
  • Use the trained generator to generate a synthetic fundus blood vessel image with an input label, add the original data set, divide the expanded data set into two parts, a test set and a verification set at a ratio of 7:3, and input the segmentation network according to the present invention. (as shown in picture 2).
  • the specific connection order of the convolution block is 3 x 3 convolution layer, BN layer, Relu activation function, 3 x 3 convolution layer, BN layer and Relu activation function.
  • Each downsampling uses max-pooling with stride 2 to make the feature map The size is changed to half and the number of channels is doubled to compensate for the loss of information.
  • Upsampling uses bilinear interpolation to double the size of the image, that is, double the resolution;
  • the dilated convolution module extracts features in parallel by multiple dilated convolution kernels of different sizes, and uses 1 x 1 convolution to control the number of feature mapping channels at each scale, so as to realize cross-channel crossover and information integration, and feature mapping after splicing of different features. Guaranteed to have the same dimension as the feature map of the input module.
  • each decoder layer is connected with the shallower and same-level feature maps from the encoder through a Dilated Convolution Module to obtain shallow details of different receptive fields, and Combined with deep semantics to improve segmentation accuracy for segmentation objects of different sizes.
  • an expanded convolution module is added after each convolution block in the coding part.
  • the specific connection of the expanded convolution module is shown in Figure 3, using 3 x 3 convolution kernels with different expansion rates in parallel Connection, each branch captures the feature maps of different receptive fields, and then adjusts the number of channels with 1 x 1 convolution, so that the input and output feature maps of this module have the same dimension to ensure that the feature maps of the decoding part are the same during fusion.
  • the segmentation network includes feature extraction and resolution enhancement in order to reduce the semantic gap and fuse deep and shallow semantic features. Training stops when the loss function reaches the minimum.
  • Step 5 is specifically implemented as follows, setting a segmentation network loss function for multi-feature fusion.
  • the Loss function is set as the dice coefficient commonly used in medicine, and the specific formula is
  • represents the common element between set A and set B
  • represents the number of elements in A
  • represents the number of elements in B
  • the elements in set A are real Segment the image
  • the input dataset is divided into the multi-feature fusion segmentation network to obtain the real segmentation image
  • the elements in the set B are the real segmentation map of the target area in the original image
  • Step 7 train the segmentation network
  • the Adam optimizer is used to initialize the weight parameters of the network at each stage, and the weight parameters are randomly initialized using a Gaussian distribution with an average value of 0.
  • Step 8 Input the fundus blood vessel image to be segmented into the segmentation network of the present invention to obtain a segmented fundus blood vessel image.
  • the method of the present invention uses a generative adversarial network to expand the DRIVE data set, and by training a generator capable of generating fundus blood vessel images, it alleviates the need for the medical image data set to be small in the training process. There is a problem of inaccurate segmentation caused by overfitting. At the same time, in the process of using segmentation labels to generate fake images, the one-to-one relationship between labels and images is maintained, which provides conditions for the final evaluation.
  • the present invention improves the problem that the shallow detail information is lost in the downsampling process, and the added multi-scale dilated convolution module improves the fusion of deep and shallow semantics, reduces the semantic gap, and improves the performance of different semantics.
  • the scaled segmentation targets are effectively extracted, which improves the segmentation accuracy of the foreground and background of medical images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioethics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于U型网络的医学图像分割方法，首先将真实分割图及原图送入生成对抗网络中做数据增强，产生带有标签的合成图片；然后将合成图片放进原有数据集得到扩充后的数据集，将扩充后的数据集送入改进的多特征融合的分割网络中训练。本发明在分割网络浅层与深层特征跳跃连接间加入一个获取不同大小感受野的膨胀卷积模块，增强细节信息与深层语义的融合，提升对分割目标大小的适应性，同时提高医学图像分割的精确度。本发明通过使用生成对抗网络扩充数据集的方式缓解了训练分割网络时出现的过拟合问题，从多尺度特征连接的角度弥补了传统U型网络捕捉细节信息能力丢失、深浅层信息特征捕捉不完整的问题，改善了最终的分割结果。

Description

一种基于U型网络的医学图像分割方法 技术领域
本发明涉及一种基于U型网络的医学图像分割方法，属于图像处理技术领域。
背景技术
医学图像分割技术的发展，是从手工分割到人机式的半自动分割，再逐步发展到全自动分割的过程。手工分割指的是由具有丰富经验的临床医生在原始胶片上直接勾勒出组织的边界或者感兴趣的区域，手工分割对人的先验知识有很高的要求，且标注时间长、成本较高。随着深度学习在计算机视觉领域的发展出现了半自动分割技术，该分割技术是将计算机的数据存储和计算功能以及医学专家的经验和知识结合起来，运用人机交互的方法来完成图像的分割。全自动分割则是计算机根据事先编好的算法运行独立自动完成图像的分割全过程。但大部分全自动分割算法的实现复杂，分割结果不理想，且分割的速度和性能也需要提高，目前临床医学上，研究实用的全自动分割方法来取代繁琐的人工分割或者半自动分割一直是人们追求的目标，全自动分割方法是近年来医学图像的研究重点和关键技术。为使机器自动分割医学图像，减少人工繁琐工作，为之后的肿瘤识别和病理判断打下坚实基础，研究如何使得分割边缘结果更精确至关重要。
目前图像分割方法可以分为传统的图像分割方法及基于深度学习的图像分割两种，传统的图像分割方法包括基于阈值的分割方法、基于区域的分割方法和基于边界的分割方法。传统的图像分割方法主要利用边缘及算法特性进行分割，易忽略图像深层的语义类别信息等。近年来，深度学习在计算机视觉领域取得很大进展，有些逐渐逼近人为判断，因此使用深度学习方法做图像分割逐渐成为主流，该方法没有先验知识的限制，在网络训练好的情况下可以取得较好的效果。自全卷积网络提出使用1 x 1卷积代替全连接层后，医学图像分割在U型网络中表现出了较好的性能，此后对分割网络的改进大多基于编码-解码-跳跃连接的结构。为减少在编码下采样过程中的信息丢失，DeepLab系列提出了空洞空间金字塔池化(ASPP)，并使用条件随机场来优化分割结果。对于3D分割，较好的网络有V-net、H-dense Net等。为 使得分割过程中能够充分融合不同层次和不同尺度的特征信息，各种分割模型依然层出不穷。
但在目前的医学分割领域，由于病人隐私保护等问题，数据集依旧获取困难，图片数量较少，在训练分割模型时很容易出现过拟合问题，即在训练集上分割效果较好而在测试集上效果不佳，导致模型应用型不强，因此如何获得有效数据集也是目前研究医学图像分割的一大难点，使用生成对抗网络来产生合成图像扩充数据集是目前的一大发展趋势。另外，由于神经网络中不断的“卷积-池化”操作丢失了许多浅层的空间及细节信息，易导致小病灶或器官边缘的分割效果不好，在所需分割的目标(器官或病灶)大小差异较大时总体分割效果不佳，如何融合不同尺度分割目标的特征也是目前学者正在努力的方向，其中对U型网络的提升优化是在医学图像分割领域的研究热点。
发明内容
本发明所要解决的技术问题是克服现有技术医学图像数据量较少且人工标注较为困难的缺陷，提供一种基于U型网络的医学图像分割方法，在原始的分割网络之前增加生成对抗网络以完成数据的扩充，减轻在训练分割模型过程中由于训练数据较少而产生的过拟合现象；本发明提出一种多尺度特征融合的分割方法，改善U型网络浅层及深层网络连接时可能产生的语义差距以及最大池化下采样过程中的浅层信息丢失问题，充分捕捉到大小不一的目标区域，提升不同尺度分割目标的分割准确度。
为达到上述目的，本发明提供一种基于U型网络的医学图像分割方法，包括以下步骤：
步骤1，从现有医学图像数据库中选择一种医学图像数据集；
步骤2，从医学图像数据集中获取成对的原始图片及原始图片中目标区域的真实分割图，真实分割图基于生成器G生成合成图像；
将合成图像送入判别器D进行判别，判别器D判断该合成图像是否来自于医学图像数据集，输出合成图像来自于医学图像数据集的概率；
步骤3，将成对的原始图片和原始图片中目标区域的真实分割图导入生成对抗网络中训练生成对抗网络，得到生成器模型，所述生成对抗网络的生成对抗联合损失函数为
Figure PCTCN2021137909-appb-000001
式中，x为原始图片的真实分割图，y为原始图片，z为随机噪声，E[*]表示分布函数期望值，D(x,y)为输入为x和y时判别器D的输出概率值，G(x,z)为合成图像；
增加L1距离损失，用来约束合成图像和原始图片之间的差异，减少模糊：
Figure PCTCN2021137909-appb-000002
步骤4，使用步骤3中训练过的生成器模型生成合成图像，与原始图片一起作为多特征融合分割网络的输入数据集，将该输入数据集分为训练集和测试集；
步骤5，利用步骤4中输入数据集对多特征融合分割网络进行训练得到分割网络模型，该多特征融合分割网络在解码过程中，每个解码器层都与来自编码器的较浅和相同层级的特征映射通过一个膨胀卷积模块相连接；
步骤6，将待分割的原始图片输入到训练好的分割网络模型中进行分割，得到真实分割图。优先地，步骤3中，所述生成对抗网络的训练包括生成器G的训练与判别器D的训练，利用神经网络的前向传播和神经网络的后向传播，使用梯度下降法交替训练判别器D与生成器G，直至经判别器D鉴定生成器G生成的合成图像是真图像的概率为0.5时，训练结束，得到生成器模型和判别器模型。
优先地，步骤5中，所述多特征融合分割网络包括特征提取和增大分辨率，特征提取包括5个卷积块和四个下采样，卷积块之间通过下采样连接；增大分辨率包括4个通过上采样连接的四个卷积块。
优先地，步骤5，包括以下步骤：
在所述多特征融合分割网络中，设置损失函数为集合相似度度量函数，具体公式为
Figure PCTCN2021137909-appb-000003
其中,|A∩B|表示集合A和集合B之间的共同元素，|A|表示A中元素的个数，|B|表示B中元素的个数，集合A为输入数据集经过多特征融合分割网络分割得到的分割图像，集合B中元素为原始图片中目标区域的真实分割图；
为了计算预测的真实分割图的集合相似度度量函数，将|A∩B|近似为实际分割得到的图像和真实分割图像之间的点乘，并将点乘的结果中每个元素值相加；当损失函数最小时停止训练，得到训练好的分割网络模型。
优先地，生成器G为一个编解码结构，其中相同层级的残差块以类似U-net方式跳跃连接，生成器G包括9个残差块、2个步幅为2的下采样卷积层和两个转置卷积；
在所有非残差块之后，执行batch normalization函数和Relu函数；判别器D使用与patchGAN相同的马尔可夫鉴别器模型。
优先地，卷积块内具体连接顺序为3 x 3卷积层、批量标准化层、Relu激活函数、3 x 3卷积层、批量标准化层和Relu激活函数，每次下采样使用步幅为2的最大池化，使经过卷积层的原始图片的特征图大小变为下采样之前原始图片的特征图大小的一半，原始图片的特征图 通道数变为下采样之前原始图片的特征图通道数的两倍，上采样采用双线性插值的方法将原始图片的特征图的分辨率加倍。
所有的卷积层中，第一层卷积层和最后一层卷积层均使用7 x 7的卷积核，其他卷积层都使用3 x 3的卷积核，其中7 x 7的卷积核使用可分离卷积降低分割网络模型的参数和分割网络模型的计算量。
优先地，当损失函数最小时停止训练，得到训练好的分割网络模型，包括以下步骤：
基于Adam优化器对每一阶段多特征融合分割网络的权重参数进行初始化，使用平均值为0的高斯分布随机初始化权重参数；
对每个输入分割网络模型的训练集中的样本图片，样本图片包括合成图像和原始图片，先利用前向传播求出真实的分割图像与原始图片中目标区域的真实分割图间的总误差，再利用神经网络的后向传播求出各个权重参数的偏导数，最后根据梯度下降法对权重参数进行更新；重复上述步骤直至损失函数达到最小，得到训练好的分割网络模型。
优先地，与原始图片一起作为多特征融合分割网络的输入数据集，按7:3比例将该输入数据集分为训练集和测试集。
本发明所达到的有益效果：
第一、现实生活中为保护病人隐私，数据集难以获得，本发明首先将真实分割图及原图送入生成对抗网络中做数据增强，产生带有标签的合成图片；然后将合成图片放进原有数据集得到扩充后的数据集，将扩充后的数据集送入改进的多特征融合的分割网络中训练。本发明在分割网络浅层与深层特征跳跃连接间加入一个获取不同大小感受野的膨胀卷积模块，增强细节信息与深层语义的融合，能够提升对分割目标大小的适应性，同时提高医学图像分割的精确度。本发明通过使用生成对抗网络扩充数据集的方式缓解了训练分割网络时出现的过拟合问题，从多尺度特征连接的角度弥补了传统U型网络捕捉细节信息能力丢失、深浅层信息特征捕捉不完整的问题，提升了对不同分割任务的适应性，改善了最终分割结果。本发明在图像分割之前，使用训练好的生成器生成合成的眼底血管图像，扩增了送入分割网络的数据集，很好地改善了普通分割网络由于数据过少导致的对训练数据过拟合、对所需分割任务效果不佳的问题。
第二、本发明所使用的多尺度特征融合的分割网络中，将浅层空间特征与深层语义通过多尺度的膨胀卷积块连接起来，改善了原始U-net网络中直接相连造成的semanticgap问题，增强了对细节信息的提取，改善了不同层级特征图的融合效果。
第三、使用不同膨胀率的卷积核，改善使用小卷积核感受野较小、对图片特征提取不充分的问题，融合了不同感受野下的特征映射，增强了对各个尺度分割目标的提取，利用不同尺度信息改善了分割的准确性。
附图说明
图1为本发明方法中生成对抗网络的示意图；
图2为本发明方法中生成对抗网络中生成器的示意图；
图3为本发明方法中分割网络结构的示意图；
图4为本发明中多特征融合的膨胀卷积模块示意图。
具体实施方式
以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明提供一种基于U型网络的医学图像分割方法，包括以下步骤：
步骤1，从现有医学图像数据库中选择一种医学图像数据集；
步骤2，从医学图像数据集中获取成对的原始图片及原始图片中目标区域的真实分割图，真实分割图基于生成器G生成合成图像；
将合成图像送入判别器D进行判别，判别器D判断该合成图像是否来自于医学图像数据集，输出合成图像来自于医学图像数据集的概率；
步骤3，将成对的原始图片和原始图片中目标区域的真实分割图导入生成对抗网络中训练生成对抗网络，得到生成器模型，所述生成对抗网络的生成对抗联合损失函数为
Figure PCTCN2021137909-appb-000004
式中，x为原始图片的真实分割图，y为原始图片，z为随机噪声，E[*]表示分布函数期望值，D(x,y)为输入为x和y时判别器D的输出概率值，G(x,z)为合成图像；
增加L1距离损失，用来约束合成图像和原始图片之间的差异，减少模糊：
Figure PCTCN2021137909-appb-000005
步骤4，使用步骤3中训练过的生成器模型生成合成图像，与原始图片一起作为多特征融合分割网络的输入数据集，将该输入数据集分为训练集和测试集；
步骤5，利用步骤4中输入数据集对多特征融合分割网络进行训练得到分割网络模型，该多特征融合分割网络在解码过程中，每个解码器层都与来自编码器的较浅和相同层级的特征映射通过一个膨胀卷积模块相连接；
步骤6，将待分割的原始图片输入到训练好的分割网络模型中进行分割，得到真实分割图。进一步的，本实施例中步骤3中，所述生成对抗网络的训练包括生成器G的训练与判别器D的训练，利用神经网络的前向传播和神经网络的后向传播，使用梯度下降法交替训练判别器D与生成器G，直至经判别器D鉴定生成器G生成的合成图像是真图像的概率为0.5时，训练结束，得到生成器模型和判别器模型。
进一步的，本实施例中步骤5中，所述多特征融合分割网络包括特征提取和增大分辨率，特征提取包括5个卷积块和四个下采样，卷积块之间通过下采样连接；增大分辨率包括4个通过上采样连接的四个卷积块。
进一步的，本实施例中步骤5，包括以下步骤：
在所述多特征融合分割网络中，设置损失函数为集合相似度度量函数，具体公式为
Figure PCTCN2021137909-appb-000006
其中,|A∩B|表示集合A和集合B之间的共同元素，|A|表示A中元素的个数，|B|表示B中元素的个数，集合A为输入数据集经过多特征融合分割网络分割得到的分割图像，集合B中元素为原始图片中目标区域的真实分割图；
为了计算预测的真实分割图的集合相似度度量函数，将|A∩B|近似为实际分割得到的图像和真实分割图像之间的点乘，并将点乘的结果中每个元素值相加；当损失函数最小时停止训练，得到训练好的分割网络模型。
进一步的，本实施例中生成器G为一个编解码结构，其中相同层级的残差块以类似U-net方式跳跃连接，生成器G包括9个残差块、2个步幅为2的下采样卷积层和两个转置卷积；
在所有非残差块之后，执行batch normalization函数和Relu函数；判别器D使用与patchGAN相同的马尔可夫鉴别器模型。
进一步的，本实施例中卷积块内具体连接顺序为3 x 3卷积层、批量标准化层、Relu激活函数、3 x 3卷积层、批量标准化层和Relu激活函数，每次下采样使用步幅为2的最大池化，使经过卷积层的原始图片的特征图大小变为下采样之前原始图片的特征图大小的一半，原始图片的特征图通道数变为下采样之前原始图片的特征图通道数的两倍，上采样采用双线性插值的方法将原始图片的特征图的分辨率加倍。
所有的卷积层中，第一层卷积层和最后一层卷积层均使用7x 7的卷积核，其他卷积层都使用 3 x 3的卷积核，其中7 x 7的卷积核使用可分离卷积降低分割网络模型的参数和分割网络模型的计算量。
进一步的，本实施例中当损失函数最小时停止训练，得到训练好的分割网络模型，包括以下步骤：
基于Adam优化器对每一阶段多特征融合分割网络的权重参数进行初始化，使用平均值为0的高斯分布随机初始化权重参数；
对每个输入分割网络模型的训练集中的样本图片，样本图片包括合成图像和原始图片，先利用前向传播求出真实的分割图像与原始图片中目标区域的真实分割图间的总误差，再利用神经网络的后向传播求出各个权重参数的偏导数，最后根据梯度下降法对权重参数进行更新；重复上述步骤直至损失函数达到最小，得到训练好的分割网络模型。
进一步的，本实施例中与原始图片一起作为多特征融合分割网络的输入数据集，按7:3比例将该输入数据集分为训练集和测试集。
步骤1，获取医学图像数据集，本实施例中医学图像数据集为DRIVE眼底血管数据集；
医学图像数据集是从现有医学图像数据库中下载调用的，网站地址为https://aistudio.baidu.com/aistudio/projectdetail/462184。
从医学图像数据集中获取成对的眼底血管原始图片及眼底血管原始图片中目标区域的真实分割图，真实分割图基于生成器G生成合成图像；
将合成图像送入判别器D进行判别，判别器D判断该合成图像是否来自于医学图像数据集，输出合成图像来自于医学图像数据集的概率，该步骤在现有技术中可采用的方法很多，本实施理工不一一举例；
步骤2，从DRIVE眼底血管数据集中取出成对的眼底血管原图及眼底血管原始图片中目标区域的真实分割图，并输入生成对抗网络中。
生成对抗网络采用pix2pix算法，将真实的分割label图像x作为生成器G的输入，得到生成图像G(x)，然后将G(x)和x基于通道维度合并在一起，最后作为判别器D的输入，得到一个预测概率值，该预测概率值表示输入是否是一对真实图像，概率值越接近1表示判别器D越肯定输入是一对真实图像。另外真实图像y和x也基于通道维度合并在一起，作为判别器D的输入得到概率预测值。
步骤3，构建损失函数。生成器和判别器的联合损失函数为
Figure PCTCN2021137909-appb-000007
式中，x为原始图片的真实分割图，y为原始图片，z为随机噪声，E[*]表示分布函数期望值，D(x,y)为输入为x和y时判别器D的输出概率值，G(x,z)为合成图像；
增加L1距离损失，用来约束生成图像和真实图像之间的差异，减少模糊。
Figure PCTCN2021137909-appb-000008
其中，x为分割标签，y为真实眼底血管图像，z为随机噪声，本发明采用dropout产生随机噪声。
总目标函数为
Figure PCTCN2021137909-appb-000009
步骤4，训练生成对抗网络。所述生成对抗网络采用pix2pix算法，包含一个生成器G及一个判别器D。其中生成器G为一个编解码结构，如图2所示，以类似U-net方式跳跃连接，由9个残差块、2个步幅为2的下采样卷积层及两个转置卷积组成，其中9个残差块依次连接，在所有非残差块之后，执行batch normalization和Relu函数。判别器D使用与patchGAN相同的马尔可夫鉴别器模型。批量标准化层英文为Batch Normalization，缩写为BN。
所有的卷积层除了第一层和最后一层使用7 x 7的卷积核之外都使用3 x 3的卷积核，其中7 x 7的卷积核使用可分离卷积降低模型参数和计算量。
训练生成对抗网络的生成器生成对抗网络生成器的输入为有标签数据集的图像，输出为合成眼底血管图，开始训练生成对抗网络生成器，迭代M次，M为至少400的正整数，前次的学习率为α，α的取值为0＜α＜0.01，后次的学习率线性衰减；
训练生成对抗网络的判别器将生成对抗网络生成器输出的合成眼底血管图与相对应的标签作为生成对抗网络判别器的输入，判别器鉴别生成器输出的假图像是否为真实图像，训练生成对抗网络的判别器，迭代N次，N为至少300的偶数，前次的学习率为β，β的取值为0＜β＜0.001，后次的学习率线性衰减；
交替训练判别器与生成器交替训练判别器与生成器，直至经判别器鉴定生成器产生的假图像是真图像的概率为0.5时，训练结束，得到生成对抗网络生成器的模型和判别器的模型；
步骤5，利用步骤4中输入数据集对多特征融合分割网络进行训练，所述多特征融合分割网络包括特征提取和增大分辨率，该多特征融合分割网络在解码过程中，每个解码器层都与来自编码器的较浅和相同层级的特征映射通过一个膨胀卷积模块(Dilated Convolution Module)相连接，以获取不同感受野的浅层细节信息，并与深层语义相结合以提高不同大小分割目标的分割精度。使用训练好的生成器生成带有输入标签的合成眼底血管图像，加入原始数据集，以7:3比例将扩充后的数据集分为测试集与验证集两部分，输入本发明所述分割网络(如图2所示)。
卷积块具体连接顺序为3 x 3卷积层、BN层、Relu激活函数、3x 3卷积层、BN层和Relu激活函数，每次下采样使用步幅为2的max-pooling使特征图大小变为原来的一半，通道数变为原来的两倍以补偿信息的丢失。上采样采用双线性插值的方法将图的大小加倍，即分辨率加倍；
所述膨胀卷积模块由多个不同大小的膨胀卷积核并联提取特征，使用1 x 1卷积控制各尺度特征映射通道数，实现跨通道的交叉和信息整合，不同特征拼接后的特征映射保证与输入模块的特征映射维度相同。
在解码过程中，每个解码器层都与来自编码器的较浅和相同层级的特征映射通过一个膨胀卷积模块(Dilated Convolution Module)相连接，以获取不同感受野的浅层细节信息，并与深层语义相结合以提高不同大小分割目标的分割精度。
在原有的U-net基础网络上，在编码部分每个卷积块之后增加一个膨胀卷积模块，膨胀卷积模块具体连接如图3所示，使用不同膨胀率的3 x 3卷积核并联连接，每个分支捕捉不同感受野的特征图，再用1 x 1卷积调整通道数，使该模块的输入输出特征映射有相同的维度，以保证在融合时与解码部分特征映射相同。
增加解码部分层级与编码部分低级及平级之间的连接，用以将深层信息与浅层信息相融合，恢复原始图像。
所述分割网络包括特征提取和增大分辨率，目的是减少语义差距以及融合深浅层语义特征。当损失函数达到最小时训练停止。
步骤5具体实施如下，设置多特征融合的分割网络损失函数。
分割网络部分设置Loss函数为医学中常用的dice coefficient，具体公式为
Figure PCTCN2021137909-appb-000010
其中,|A∩B|表示集合A和集合B之间的共同元素，|A|表示A中的元素的个数，|B|表示B中的元素的个数，集合A中元素为真实的分割图像，输入数据集对多特征融合分割网络分割得到真实的分割图像，集合B中元素为原始图片中目标区域的真实分割图；
为了计算预测的真实分割图的集合相似度度量函数，将|A|+|B|近似为实际分割得到的图像和真实分割图像之间的点乘，并将集合A和集合B中每个像素点的值相加；当损失函数最小时停止训练，得到训练好的分割网络模型为了计算预测的分割图的dice coefficient，将|A|+|B|近似为预测图和label之间的点乘，并将集合A和集合B中的元素相加。
步骤7训练分割网络；
为使步骤5中的损失函数最小，使用Adam优化器，先对每一阶段网络的权重参数进行初始化，使用平均值为0的高斯分布随机初始化权重参数。
对每个样本图片x，先利用前向传播求出总误差，再利用反向传播求出各个权重参数的偏导数，最后根据梯度下降法对权重参数进行更新。重复此步骤直至损失函数达到最小，得到训练好的分割网络模型。
步骤8将待分割的眼底血管图像输入本发明所述分割网络，得到分割好的眼底血管图像。
在对眼底血管数据集进行分割时，本发明方法采用生成对抗网络对DRIVE数据集进行扩充，通过训练一个能够产生类眼底血管图像的生成器，缓解了由于医学图像数据集较小在训练过程中产生过拟合导致分割不准确的问题。同时，在使用分割标签生成假图像的过程中，保持着标签与图像一对一的关系，为最后的评估提供了条件。本发明通过改进原始U型网络结构，改善了浅层细节信息在下采样过程中丢失的问题，增加的多尺度的膨胀卷积模块提升了深、浅层语义的融合，减少了语义差距，对不同尺度的分割目标进行了有效提取，提升了医学图像前景和背景的分割准确性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

  1. 一种基于U型网络的医学图像分割方法，其特征在于，包括以下步骤：
    步骤1，从现有医学图像数据库中选择一种医学图像数据集；
    步骤2，从医学图像数据集中获取成对的原始图片及原始图片中目标区域的真实分割图，真实分割图基于生成器G生成合成图像；
    将合成图像送入判别器D进行判别，判别器D判断该合成图像是否来自于医学图像数据集，输出合成图像来自于医学图像数据集的概率；
    步骤3，将成对的原始图片和原始图片中目标区域的真实分割图导入生成对抗网络中训练生成对抗网络，得到生成器模型，所述生成对抗网络的生成对抗联合损失函数为
    Figure PCTCN2021137909-appb-100001
    式中，x为原始图片的真实分割图，y为原始图片，z为随机噪声，E[*]表示分布函数期望值，D(x,y)为输入为x和y时判别器D的输出概率值，G(x,z)为合成图像；
    增加L1距离损失，用来约束合成图像和原始图片之间的差异，减少模糊：
    Figure PCTCN2021137909-appb-100002
    步骤4，使用步骤3中训练过的生成器模型生成合成图像，与原始图片一起作为多特征融合分割网络的输入数据集，将该输入数据集分为训练集和测试集；
    步骤5，利用步骤4中输入数据集对多特征融合分割网络进行训练得到分割网络模型，该多特征融合分割网络在解码过程中，每个解码器层都与来自编码器的较浅和相同层级的特征映射通过一个膨胀卷积模块相连接；
    步骤6，将待分割的原始图片输入到训练好的分割网络模型中进行分割，得到真实分割图。
  2. 根据权利要求1所述的一种基于U型网络的医学图像分割方法，其特征在于，
    步骤3中，所述生成对抗网络的训练包括生成器G的训练与判别器D的训练，利用神经网络的前向传播和神经网络的后向传播，使用梯度下降法交替训练判别器D与生成器G，直至经判别器D鉴定生成器G生成的合成图像是真图像的概率为0.5时，训练结束，得到生成器模型和判别器模型。
  3. 根据权利要求1所述的一种基于U型网络的医学图像分割方法，其特征在于，
    步骤5中，所述多特征融合分割网络包括特征提取和增大分辨率，特征提取包括5个卷积块和四个下采样，卷积块之间通过下采样连接；增大分辨率包括4个通过上采样连接的四个卷积块。
  4. 根据权利要求1所述的一种基于U型网络的医学图像分割方法，其特征在于，
    步骤5，包括以下步骤：
    在所述多特征融合分割网络中，设置损失函数为集合相似度度量函数，具体公式为
    Figure PCTCN2021137909-appb-100003
    其中,|A∩B|表示集合A和集合B之间的共同元素，|A|表示A中元素的个数，|B|表示B中元素的个数，集合A为输入数据集经过多特征融合分割网络分割得到的分割图像，集合B中元素为原始图片中目标区域的真实分割图；
    为了计算预测的真实分割图的集合相似度度量函数，将|A∩B|近似为实际分割得到的图像和真实分割图像之间的点乘，并将点乘的结果中每个元素值相加；当损失函数最小时停止训练，得到训练好的分割网络模型。
  5. 根据权利要求3所述的一种基于U型网络的医学图像分割方法，其特征在于，
    生成器G为一个编解码结构，其中相同层级的残差块以类似U-net方式跳跃连接，生成器G包括9个残差块、2个步幅为2的下采样卷积层和两个转置卷积；
    在所有非残差块之后，执行batch normalization函数和Relu函数；判别器D使用与patchGAN相同的马尔可夫鉴别器模型。
  6. 根据权利要求3所述的一种基于U型网络的医学图像分割方法，其特征在于，
    卷积块内具体连接顺序为3 x 3卷积层、批量标准化层、Relu激活函数、3 x 3卷积层、批量标准化层和Relu激活函数，每次下采样使用步幅为2的最大池化，使经过卷积层的原始图片的特征图大小变为下采样之前原始图片的特征图大小的一半，原始图片的特征图通道数变为下采样之前原始图片的特征图通道数的两倍，上采样采用双线性插值的方法将原始图片的特征图的分辨率加倍；
    所有的卷积层中，第一层卷积层和最后一层卷积层均使用7 x 7的卷积核，其他卷积层都使用3 x 3的卷积核，其中7 x 7的卷积核使用可分离卷积降低分割网络模型的参数和分割网络模型的计算量。
  7. 根据权利要求2所述的一种基于U型网络的医学图像分割方法，其特征在于，
    当损失函数最小时停止训练，得到训练好的分割网络模型，包括以下步骤：
    基于Adam优化器对每一阶段多特征融合分割网络的权重参数进行初始化，使用平均值为0的高斯分布随机初始化权重参数；
    对每个输入分割网络模型的训练集中的样本图片，样本图片包括合成图像和原始图片，先利用前向传播求出真实的分割图像与原始图片中目标区域的真实分割图间的总误差，再利用神 经网络的后向传播求出各个权重参数的偏导数，最后根据梯度下降法对权重参数进行更新；重复上述步骤直至损失函数达到最小，得到训练好的分割网络模型。
  8. 根据权利要求1所述的一种基于U型网络的医学图像分割方法，其特征在于，与原始图片一起作为多特征融合分割网络的输入数据集，按7:3比例将该输入数据集分为训练集和测试集。
PCT/CN2021/137909 2021-03-26 2021-12-14 一种基于u型网络的医学图像分割方法 WO2022199143A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/568,938 US11580646B2 (en) 2021-03-26 2022-01-05 Medical image segmentation method based on U-Net

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110325496.XA CN113077471B (zh) 2021-03-26 2021-03-26 一种基于u型网络的医学图像分割方法
CN202110325496.X 2021-03-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/568,938 Continuation US11580646B2 (en) 2021-03-26 2022-01-05 Medical image segmentation method based on U-Net

Publications (1)

Publication Number Publication Date
WO2022199143A1 true WO2022199143A1 (zh) 2022-09-29

Family

ID=76610474

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/137909 WO2022199143A1 (zh) 2021-03-26 2021-12-14 一种基于u型网络的医学图像分割方法

Country Status (2)

Country Link
CN (1) CN113077471B (zh)
WO (1) WO2022199143A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359881A (zh) * 2022-10-19 2022-11-18 成都理工大学 一种基于深度学习的鼻咽癌肿瘤自动勾画方法
CN116188816A (zh) * 2022-12-29 2023-05-30 广东省新黄埔中医药联合创新研究院 一种基于循环一致性变形图像匹配网络的穴位定位方法
CN116310863A (zh) * 2023-02-18 2023-06-23 广东技术师范大学 一种多尺度差分特征增强的遥感图像变化检测方法和装置
CN116958556A (zh) * 2023-08-01 2023-10-27 东莞理工学院 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法
CN117218512A (zh) * 2023-09-11 2023-12-12 电子科技大学重庆微电子产业技术研究院 一种红外低小慢目标检测方法、计算机设备及存储介质
CN117274294A (zh) * 2023-09-18 2023-12-22 笑纳科技(苏州)有限公司 一种同源染色体分割方法
CN117332179A (zh) * 2023-12-01 2024-01-02 北京金恒博远科技股份有限公司 一种超大量数据曲线的网页展示方法
CN117332268A (zh) * 2023-10-08 2024-01-02 上海交通大学 一种改进gan的gis局放数据增强方法及系统
CN117392392A (zh) * 2023-12-13 2024-01-12 河南科技学院 一种割胶线识别与生成方法
CN117474044A (zh) * 2023-12-28 2024-01-30 感跃医疗科技(成都)有限公司 一种基于Flowformer和门控注意力的牙齿CBCT图像分割网络
CN117612221A (zh) * 2024-01-24 2024-02-27 齐鲁工业大学(山东省科学院) 结合注意力shift的OCTA图像血管提取方法
CN117649609A (zh) * 2024-01-30 2024-03-05 中国人民解放军海军航空大学 面向跨时空尺度域的遥感图像建筑物信息提取方法
CN117911908A (zh) * 2024-03-20 2024-04-19 湖北经济学院 一种无人机航拍图像的增强处理方法及系统
CN117933345A (zh) * 2024-03-22 2024-04-26 长春理工大学 一种医学图像分割模型的训练方法
CN117952993A (zh) * 2024-03-27 2024-04-30 中国海洋大学 基于图像文本协同约束的半监督医学图像分割方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580646B2 (en) 2021-03-26 2023-02-14 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on U-Net
CN113077471B (zh) * 2021-03-26 2022-10-14 南京邮电大学 一种基于u型网络的医学图像分割方法
CN113393469A (zh) * 2021-07-09 2021-09-14 浙江工业大学 基于循环残差卷积神经网络的医学图像分割方法和装置
CN113706379B (zh) * 2021-07-29 2023-05-26 山东财经大学 一种基于医学图像处理的层间插值方法及系统
CN113723470A (zh) * 2021-08-09 2021-11-30 北京工业大学 融合多层信息的花粉图像合成方法、装置及电子设备
CN113781410B (zh) * 2021-08-25 2023-10-13 南京邮电大学 一种基于MEDU-Net+网络的医学图像分割方法和系统
CN113936006A (zh) * 2021-10-29 2022-01-14 天津大学 一种处理高噪低质医学图像的分割方法及装置
CN113781377A (zh) * 2021-11-03 2021-12-10 南京理工大学 基于对抗性语义引导与感知的红外和可见光图像融合方法
CN114399519B (zh) * 2021-11-30 2023-08-22 西安交通大学 一种基于多模态融合的mr图像3d语义分割方法及系统
CN114240951B (zh) * 2021-12-13 2023-04-07 电子科技大学 一种基于查询的医学图像分割神经网络的黑盒攻击方法
CN114558251A (zh) * 2022-01-27 2022-05-31 苏州雷泰医疗科技有限公司 一种基于深度学习的自动摆位方法、装置及放射治疗设备
CN114648724B (zh) * 2022-05-18 2022-08-12 成都航空职业技术学院 一种基于生成对抗网络的轻量化高效目标分割与计数方法
CN115115540A (zh) * 2022-06-08 2022-09-27 大连海事大学 基于光照信息引导的无监督低光图像增强方法及装置
CN115345970B (zh) * 2022-08-15 2023-04-07 哈尔滨工业大学（深圳） 基于生成对抗网络的多模态输入视频条件生成方法
CN116543267B (zh) * 2023-07-04 2023-10-13 宁德时代新能源科技股份有限公司 图像集处理方法、图像分割方法、装置、设备和存储介质
CN117078692B (zh) * 2023-10-13 2024-02-06 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) 一种基于自适应特征融合的医疗超声图像分割方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596915A (zh) * 2018-04-13 2018-09-28 深圳市未来媒体技术研究院 一种基于无标注数据的医疗图像分割方法
CN110490880A (zh) * 2019-08-16 2019-11-22 重庆邮电大学 一种基于局部视觉线索的髋关节x光图像分割方法及系统
CN110570431A (zh) * 2019-09-18 2019-12-13 东北大学 一种基于改进的卷积神经网络的医学图像分割方法
WO2020077202A1 (en) * 2018-10-12 2020-04-16 The Medical College Of Wisconsin, Inc. Medical image segmentation using deep learning models trained with random dropout and/or standardized inputs
WO2020109630A1 (en) * 2018-11-30 2020-06-04 Laralab Gmbh Method and system for providing an at least 3-dimensional medical image segmentation of a structure of an internal organ
CN111968138A (zh) * 2020-07-15 2020-11-20 复旦大学 基于3d动态边缘不敏感性损失函数的医学图像分割方法
CN112950639A (zh) * 2020-12-31 2021-06-11 山西三友和智慧信息技术股份有限公司 一种基于SA-Net的MRI医学图像分割方法
CN113077471A (zh) * 2021-03-26 2021-07-06 南京邮电大学 一种基于u型网络的医学图像分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268870B (zh) * 2018-01-29 2020-10-09 重庆师范大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN111833352B (zh) * 2020-06-28 2023-09-05 杭州电子科技大学 一种基于八度卷积改进U-net网络的图像分割方法
CN112446890A (zh) * 2020-10-14 2021-03-05 浙江工业大学 基于空洞卷积和多尺度融合的黑色素瘤分割方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596915A (zh) * 2018-04-13 2018-09-28 深圳市未来媒体技术研究院 一种基于无标注数据的医疗图像分割方法
WO2020077202A1 (en) * 2018-10-12 2020-04-16 The Medical College Of Wisconsin, Inc. Medical image segmentation using deep learning models trained with random dropout and/or standardized inputs
WO2020109630A1 (en) * 2018-11-30 2020-06-04 Laralab Gmbh Method and system for providing an at least 3-dimensional medical image segmentation of a structure of an internal organ
CN110490880A (zh) * 2019-08-16 2019-11-22 重庆邮电大学 一种基于局部视觉线索的髋关节x光图像分割方法及系统
CN110570431A (zh) * 2019-09-18 2019-12-13 东北大学 一种基于改进的卷积神经网络的医学图像分割方法
CN111968138A (zh) * 2020-07-15 2020-11-20 复旦大学 基于3d动态边缘不敏感性损失函数的医学图像分割方法
CN112950639A (zh) * 2020-12-31 2021-06-11 山西三友和智慧信息技术股份有限公司 一种基于SA-Net的MRI医学图像分割方法
CN113077471A (zh) * 2021-03-26 2021-07-06 南京邮电大学 一种基于u型网络的医学图像分割方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359881A (zh) * 2022-10-19 2022-11-18 成都理工大学 一种基于深度学习的鼻咽癌肿瘤自动勾画方法
CN116188816A (zh) * 2022-12-29 2023-05-30 广东省新黄埔中医药联合创新研究院 一种基于循环一致性变形图像匹配网络的穴位定位方法
CN116188816B (zh) * 2022-12-29 2024-05-28 广东省新黄埔中医药联合创新研究院 一种基于循环一致性变形图像匹配网络的穴位定位方法
CN116310863A (zh) * 2023-02-18 2023-06-23 广东技术师范大学 一种多尺度差分特征增强的遥感图像变化检测方法和装置
CN116958556A (zh) * 2023-08-01 2023-10-27 东莞理工学院 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法
CN116958556B (zh) * 2023-08-01 2024-03-19 东莞理工学院 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法
CN117218512A (zh) * 2023-09-11 2023-12-12 电子科技大学重庆微电子产业技术研究院 一种红外低小慢目标检测方法、计算机设备及存储介质
CN117274294A (zh) * 2023-09-18 2023-12-22 笑纳科技(苏州)有限公司 一种同源染色体分割方法
CN117274294B (zh) * 2023-09-18 2024-06-04 笑纳科技(苏州)有限公司 一种同源染色体分割方法
CN117332268A (zh) * 2023-10-08 2024-01-02 上海交通大学 一种改进gan的gis局放数据增强方法及系统
CN117332179A (zh) * 2023-12-01 2024-01-02 北京金恒博远科技股份有限公司 一种超大量数据曲线的网页展示方法
CN117332179B (zh) * 2023-12-01 2024-02-06 北京金恒博远科技股份有限公司 一种超大量数据曲线的网页展示方法
CN117392392B (zh) * 2023-12-13 2024-02-13 河南科技学院 一种割胶线识别与生成方法
CN117392392A (zh) * 2023-12-13 2024-01-12 河南科技学院 一种割胶线识别与生成方法
CN117474044A (zh) * 2023-12-28 2024-01-30 感跃医疗科技(成都)有限公司 一种基于Flowformer和门控注意力的牙齿CBCT图像分割网络
CN117612221A (zh) * 2024-01-24 2024-02-27 齐鲁工业大学(山东省科学院) 结合注意力shift的OCTA图像血管提取方法
CN117612221B (zh) * 2024-01-24 2024-04-26 齐鲁工业大学(山东省科学院) 结合注意力shift的OCTA图像血管提取方法
CN117649609B (zh) * 2024-01-30 2024-04-30 中国人民解放军海军航空大学 面向跨时空尺度域的遥感图像建筑物信息提取方法
CN117649609A (zh) * 2024-01-30 2024-03-05 中国人民解放军海军航空大学 面向跨时空尺度域的遥感图像建筑物信息提取方法
CN117911908B (zh) * 2024-03-20 2024-05-28 湖北经济学院 一种无人机航拍图像的增强处理方法及系统
CN117911908A (zh) * 2024-03-20 2024-04-19 湖北经济学院 一种无人机航拍图像的增强处理方法及系统
CN117933345A (zh) * 2024-03-22 2024-04-26 长春理工大学 一种医学图像分割模型的训练方法
CN117933345B (zh) * 2024-03-22 2024-06-11 长春理工大学 一种医学图像分割模型的训练方法
CN117952993A (zh) * 2024-03-27 2024-04-30 中国海洋大学 基于图像文本协同约束的半监督医学图像分割方法

Also Published As

Publication number Publication date
CN113077471B (zh) 2022-10-14
CN113077471A (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
WO2022199143A1 (zh) 一种基于u型网络的医学图像分割方法
US11580646B2 (en) Medical image segmentation method based on U-Net
Tian et al. Automatic classification and segmentation of teeth on 3D dental model using hierarchical deep learning networks
WO2022257408A1 (zh) 一种基于u型网络的医学图像分割方法
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN111968120A (zh) 一种3d多特征融合的牙齿ct图像分割方法
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
Laishram et al. Automatic classification of oral pathologies using orthopantomogram radiography images based on convolutional neural network
Wang et al. Cataract detection based on ocular B-ultrasound images by collaborative monitoring deep learning
CN113643297B (zh) 一种基于神经网络的计算机辅助牙龄分析方法
Kong et al. Data enhancement based on M2-Unet for liver segmentation in Computed Tomography
Chen et al. Mu-Net: Multi-Path Upsampling Convolution Network for Medical Image Segmentation.
Chen Medical Image Segmentation Based on U-Net
Wang et al. Accurate lung nodule segmentation with detailed representation transfer and soft mask supervision
Qi et al. Cascaded conditional generative adversarial networks with multi-scale attention fusion for automated bi-ventricle segmentation in cardiac MRI
Yin et al. CoT-UNet++: A medical image segmentation method based on contextual Transformer and dense connection
Liu et al. Key algorithm for human motion recognition in virtual reality video sequences based on hidden markov model
Sushma et al. CNN based U-net with modified skip connections for colon polyp segmentation
Wang et al. Optic disc detection based on fully convolutional neural network and structured matrix decomposition
Li et al. Multi-view unet for automated gi tract segmentation
Chen et al. Automatic 3D mitral valve leaflet segmentation and validation of quantitative measurement
CN116205925A (zh) 基于改进U-Net网络的牙齿咬合翼片龋齿分割方法
Zhang et al. An end-to-end segmentation network for the temporomandibular joints CBCT image based on 3D U-Net
CN115018780A (zh) 一种融合全局推理和mlp架构的甲状腺结节分割方法
CN110706209B (zh) 一种网格网络的大脑磁共振图像肿瘤定位方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21932750

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21932750

Country of ref document: EP

Kind code of ref document: A1