WO2022257408A1 - 一种基于u型网络的医学图像分割方法 - Google Patents

一种基于u型网络的医学图像分割方法 Download PDF

Info

Publication number
WO2022257408A1
WO2022257408A1 PCT/CN2021/138825 CN2021138825W WO2022257408A1 WO 2022257408 A1 WO2022257408 A1 WO 2022257408A1 CN 2021138825 W CN2021138825 W CN 2021138825W WO 2022257408 A1 WO2022257408 A1 WO 2022257408A1
Authority
WO
WIPO (PCT)
Prior art keywords
segmentation
network
constant scaling
weight
medical image
Prior art date
Application number
PCT/CN2021/138825
Other languages
English (en)
French (fr)
Inventor
张登银
严伟丹
赵蓉
朱虹
杨硕
杜群荐
孙俊杰
Original Assignee
南京邮电大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南京邮电大学 filed Critical 南京邮电大学
Priority to US17/697,884 priority Critical patent/US20220398737A1/en
Publication of WO2022257408A1 publication Critical patent/WO2022257408A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Definitions

  • the invention relates to a U-shaped network-based medical image segmentation method, which belongs to the technical field of image processing.
  • image segmentation methods can be divided into traditional image segmentation methods and image segmentation based on deep learning.
  • Traditional image segmentation methods mainly use digital image processing, mathematics, physics, optics, topological maps and other knowledge for image processing, including image processing based on Threshold segmentation methods, region-based segmentation methods, boundary-based segmentation methods, wavelet-based analysis and transformation, and genetic algorithms.
  • Traditional image segmentation methods mainly use edge and algorithm characteristics for segmentation, and it is easy to ignore the deep semantic category information of the image.
  • deep learning has made great progress in the field of computer vision, some of which are gradually approaching human judgment. Therefore, image segmentation using deep learning methods has gradually become the mainstream. This method has no prior knowledge restrictions and can be obtained when the network is well trained. better effect.
  • U-Net is improved based on FCN (fully convolutional network), including encoder, bottleneck (bottleneck) module, and decoder. Due to its U-shaped structure combined with context information and fast training speed, the amount of data used is small, it meets The appeal of medical image segmentation is widely used in medical image segmentation. Since the publication of U-Net, its encoder-decoder-jump network structure has inspired a large number of improved medical image segmentation methods based on the U-Net structure.
  • the purpose of the present invention is to overcome the deficiencies in the prior art, to provide a medical image segmentation method based on a U-shaped network, to replace the original codec module with a constant scaling residual network and a cyclic neural network, and to improve the U-shaped network.
  • the possible semantic gap between the shallow and deep network connections and the loss of shallow information during the maximum pooling downsampling process can fully capture target areas of different sizes, improve the segmentation accuracy of different scales, and make it More image feature information can be obtained while training a deeper network.
  • the invention provides a method for segmenting medical images based on a U-shaped network, comprising the following steps:
  • Step 1 Obtain a medical image dataset
  • Step 2 Obtain a pair of original pictures and the real segmentation map of the target area in the original picture from the medical image data set, and use them together as the input data set of the pre-built constant scaling segmentation network, wherein the input data set is divided into are the training set, validation set and test set;
  • Step 3 use the training set to train the constant scaling segmentation network to obtain a trained segmentation network model, and use the verification set to verify the constant scaling segmentation network, wherein the constant scaling segmentation network includes a feature extraction module and A resolution upscaling module, where each decoder layer is concatenated with the corresponding cropped feature maps from the same layer from the encoder during decoding;
  • Step 4 Input the original picture to be segmented into the segmentation network model for segmentation to obtain a real segmented image.
  • the ratio of the training set, verification set and test set in the input data set is 6:2:2.
  • the feature extraction module includes 5 first constant scaling modules and 4 downsampling modules, the constant scaling modules are connected through the downsampling module, and the resolution increasing module includes 4 There are four upsampling modules and four second constant scaling modules, and the second constant scaling modules are connected through upsampling modules.
  • the constant scaling module is composed of a constant scaling residual network structure and a cyclic neural network, and the output of the constant scaling residual network structure is composed of two parts: the input feature map is multiplied by the weight a ; and the input feature map is multiplied by weight b after two weight layers; weight a and weight b should satisfy the following relationship:
  • the cyclic neural network enters the convolution layer from the input feature map, and then performs a cyclic operation, so that each convolution operation can obtain the feature information obtained by the previous convolution operation, and finally obtains the output through the ReLu activation function.
  • the cyclic neural network is used to replace the weight layer in the constant scaling residual network structure of the constant scaling model, thereby forming a constant scaling module, the output of which is composed of the addition of two parts: the input feature map is multiplied by the weight a; And the input feature map is multiplied by the weight b after two circular convolution blocks including the convolution block and the ReLU activation function; the weight a and the weight b should satisfy the formula (1).
  • the loss function is set as a set similarity measurement function, and the specific formula is:
  • represents the common elements between set A and set B
  • represents the number of elements in A
  • represents the number of elements in B
  • the elements in set A are input
  • the data set is segmented by the constant zoom segmentation network to obtain the real segmented image
  • the elements in set B are the real segmented image of the target area in the original image;
  • step 3 when the loss function is minimized, the training is stopped, and the trained segmentation network model is obtained, including the following steps:
  • the weight parameters of the constant scaling segmentation network are initialized at each stage, and the weight parameters are randomly initialized using a Gaussian distribution with an average value of 0;
  • the sample picture includes the synthetic image and the original picture, first use the forward propagation to find the total error between the real segmentation image and the real segmentation map of the target area in the original picture, and then Use backpropagation to find the partial derivatives of each weight parameter, and finally update the weight parameters according to the gradient descent method;
  • the present invention makes up for the loss of the traditional U-shaped network’s ability to capture detailed information and the incomplete capture of deep and shallow information features, and improves the understanding of different Adaptability to segmentation tasks improves the final segmentation results.
  • the constant scaling residual network proposed by the present invention uses weight a and weight b of different numerical combinations before outputting feature information.
  • Weight a controls the feature information of the original input image
  • weight b controls the semantic information extracted by the weight layer.
  • different combination methods can be selected, and the proportion of shallow feature information transmitted to the next layer can be flexibly improved, which enhances the usability and sensitivity of the model algorithm.
  • the constant scaling segmentation network used in the present invention fuses the constant scaling residual network and the cyclic neural network, wherein the residual network uses a skip structure to associate shallow spatial features with deep semantics through weight values, and the cyclic neural network further Mining the deep semantic information of the input image improves the semantic gap caused by the direct connection in the traditional U-shaped network, enhances the extraction of detailed information, and improves the fusion effect of feature maps at different levels.
  • Fig. 1 is the flow chart of the method provided by the embodiment of the present invention.
  • FIG. 2 is a schematic diagram of a constant zoom segmentation network structure provided by an embodiment of the present invention.
  • FIG. 3 is a schematic diagram of a constant scaling residual network structure provided by an embodiment of the present invention.
  • FIG. 4 is a schematic structural diagram of a recurrent neural network provided by an embodiment of the present invention.
  • Fig. 5 is a schematic diagram of a constant scaling module provided by an embodiment of the present invention.
  • the present invention provides a kind of medical image segmentation method based on U-shaped network, comprises the following steps:
  • Step 1 Obtain a medical image dataset
  • Step 2 Obtain a pair of original pictures and the real segmentation map of the target area in the original picture from the medical image data set, and use them together as the input data set of the pre-built constant scaling segmentation network, wherein the input data set is divided into are training set, verification set and test set; the ratio of training set, verification set and test set in the input data set is 6:2:2;
  • Step 3 use the training set to train the constant scaling segmentation network to obtain a trained segmentation network model, and use the verification set to verify the constant scaling segmentation network, wherein the constant scaling segmentation network includes a feature extraction module and The resolution upscaling module, each decoder layer is concatenated with the corresponding cropped feature maps from the same layer of the encoder during decoding;
  • the feature extraction module includes 5 first constant scaling modules, 4 downsampling modules, the The constant scaling modules are connected through a downsampling module, and the resolution increasing module includes 4 upsampling modules and 4 second constant scaling modules, and the second constant scaling modules are connected through an upsampling module;
  • the constant scaling module is composed of a constant scaling residual network structure and a cyclic neural network, and the output of the constant scaling residual network structure is composed of two parts: the input feature map is multiplied by the weight a; and the input The feature map is multiplied by weight b after two weight layers; weight a and weight b should satisfy the following relationship:
  • the cyclic neural network enters the convolution layer from the input feature map, and then performs a cyclic operation, so that each convolution operation can obtain the feature information obtained by the previous convolution operation, and finally the output is obtained through the ReLu activation function.
  • the recurrent neural network is used to replace the weight layer in the constant scaling residual network structure of the constant scaling model, thereby forming a constant scaling module whose output consists of the addition of two parts: the input feature map multiplied by the weight a; and the input feature
  • the graph is multiplied by weight b after two circular convolution blocks containing convolution blocks and ReLU activation functions; weight a and weight b should satisfy formula (1).
  • the loss function is set as a set similarity measurement function, and the specific formula is:
  • represents the common elements between set A and set B
  • represents the number of elements in A
  • represents the number of elements in B
  • the elements in set A are input data Set-to-constant scaling segmentation network segmentation to obtain the real segmented image
  • the elements in set B are the real segmented image of the target area in the original image
  • the training is stopped, and the trained segmentation network model is obtained, including the following steps:
  • the weight parameters of the constant scaling segmentation network are initialized at each stage, and the weight parameters are randomly initialized using a Gaussian distribution with an average value of 0;
  • the sample picture includes the synthetic image and the original picture, first use the forward propagation to find the total error between the real segmentation image and the real segmentation map of the target area in the original picture, and then Use backpropagation to find the partial derivatives of each weight parameter, and finally update the weight parameters according to the gradient descent method;
  • Step 4 Input the original picture to be segmented into the segmentation network model for segmentation to obtain a real segmented image.
  • the constant-scaling segmentation network used in the present invention fuses the constant-scaling residual network and the cyclic neural network, wherein the residual network uses a jump structure to associate shallow spatial features with deep semantics through weight values, and the cyclic neural network further mines the input image
  • the deep semantic information improves the semantic gap caused by the direct connection in the traditional U-shaped network, enhances the extraction of detailed information, and improves the fusion effect of feature maps at different levels.
  • Step 1 Obtain a medical image dataset.
  • the medical image dataset is the 2018 ISIC challenge: a skin disease dataset for melanoma detection;
  • the medical image dataset is downloaded and called from the existing medical image database.
  • Step 2 Take out the paired melanoma skin pathogenic map and its real segmentation label from the skin disease data set for melanoma detection, and divide the data set into training set, verification set and test set according to the ratio of 6:2:2.
  • Step 3 Use the input dataset from step 2 to train a constant scaling segmentation network including feature extraction and increasing resolution, with each decoder layer being the same layer from the encoder during decoding
  • the test set and verification set in step 2 are input into the constant scaling segmentation network of the present invention (as shown in Figure 2), and the feature extraction includes 5 constant scaling modules, 4 downsampling, constant scaling Downsampling connections are used between modules; increasing resolution includes 4 upsampling and 4 constant scaling modules, upsampling is used before the constant scaling module, and the output of the constant scaling module (as shown in Figure 5) consists of two parts added : (1) The input feature map is multiplied by the weight a; (2) The input feature map is multiplied by the weight b after two circular convolution blocks containing the convolution block and the ReLU activation function,
  • the pixel coordinates of the k-th feature map of the circular convolution layer in x l are (i, j), and at time t, the circular convolution layer outputs It can be expressed as:
  • Step 4 The specific implementation is as follows, setting the segmentation network loss function with constant scaling.
  • the Loss function is set to the dice coefficient commonly used in medicine, and the specific formula is
  • represents the common elements between set A and set B
  • represents the number of elements in A
  • represents the number of elements in B
  • the elements in set A are real
  • the input data set is segmented by the multi-feature fusion segmentation network to obtain the real segmented image
  • the elements in set B are the real segmented image of the target area in the original image
  • Step 5 train segmentation network
  • step 5 use the Adam optimizer to initialize the weight parameters of the network at each stage, and use a Gaussian distribution with an average value of 0 to randomly initialize the weight parameters;
  • Step 6 Input the melanotic skin disease image to be segmented into the segmentation network of the present invention to obtain the segmented melanotic skin disease image.
  • the present invention improves the original U-shaped network structure to improve the loss of shallow detail information during the downsampling process, and further improves The fusion of deep and shallow semantics reduces the semantic gap and improves the segmentation accuracy of medical image foreground and background.
  • different weight combinations can be selected for application. For multiple scenarios, this The method proposed by the invention has good usability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种基于U型网络的医学图像分割方法，属于图像处理技术领域，所述方法包括如下步骤：首先将医学影像数据集的原图和实际分割图按照一定比例分成训练集、验证集以及测试集，并将训练集以及验证集送入改进的恒定缩放分割网络中训练；该方法针对传统U型网络中编码器和解码器的部分进行改进，提出恒定缩放的残差网络与循环神经网络结合代替原有的编解码器模块，增强浅层信息与深层语义的灵活性融合，更深入地提取了图像的特征信息，同时提高医学图像分割的精确度。该方法从改进模块结构的角度弥补了传统U型网络捕捉细节信息能力丢失、深浅层信息特征融合比例固定的问题，从而改善了最终的分割结果。

Description

一种基于U型网络的医学图像分割方法 技术领域
本发明涉及一种基于U型网络的医学图像分割方法，属于图像处理技术领域。
背景技术
医学图像分割技术的发展，是从手工分割到人机式的半自动分割，再逐步发展到全自动分割的过程。手工分割指的是由具有丰富经验的临床医生在原始胶片上直接勾勒出组织的边界或者感兴趣的区域，手工分割对人的先验知识有很高的要求，且标注时间长、成本较高。随着深度学习在计算机视觉领域的发展出现了半自动分割技术，该分割技术是将计算机的数据存储和计算功能以及医学专家的经验和知识结合起来，运用人机交互的方法来完成图像的分割。全自动分割则是计算机根据事先编好的算法运行独立自动完成图像的分割全过程。但大部分全自动分割算法的实现复杂，分割结果不理想，且分割的速度和性能也需要提高，目前临床医学上，研究实用的全自动分割方法来取代繁琐的人工分割或者半自动分割一直是人们追求的目标，全自动分割方法是近年来医学图像的研究重点和关键技术。为使机器自动分割医学图像，减少人工繁琐工作，为之后的肿瘤识别和病理判断打下坚实基础，研究如何使得分割边缘结果更精确至关重要。
目前图像分割方法可以分为传统的图像分割方法及基于深度学习的图像分割两种，传统的图像分割方法主要利用数字图像处理、数学、物理、光学、拓扑图等知识来进行图像处理，包括基于阈值的分割方法、基于区域的分割方法、 基于边界的分割方法、基于小波分析和变换以及基于遗传算法。传统的图像分割方法主要利用边缘及算法特性进行分割，易忽略图像深层的语义类别信息等。近年来，深度学习在计算机视觉领域取得很大进展，有些逐渐逼近人为判断，因此使用深度学习方法做图像分割逐渐成为主流，该方法没有先验知识的限制，在网络训练好的情况下可以取得较好的效果。
2015年，Ronneberger等人在MICCAI会议发表U-Net，是深度学习在医学影像分割中的突破性的进展。U-Net是基于FCN(fully convolutional network)改进而成，包括编码器、瓶颈(bottleneck)模块、解码器几部分组成,由于其U型结构结合上下文信息和训练速度快、使用数据量小，满足医学影像分割的诉求，而在医学影像分割中广泛应用。U-Net自发表以来，其编码器-解码器-跳连的网络结构启发了大量基于U-Net结构改进的医学影像分割方法。随着深度学习技术的发展，包括注意力机制、稠密模块、特征增强、评价函数改进等基于U-Net的基础结构，将这些深度神经网络发展的最新技术引入到医学影像分割应用中，成为被广泛采取的改进方法。这些相关工作或者面向不同的优化目标，或者通过结构改进、添加新模块等手段,提高医学影像分割的准确性、运算效率、适用范围等。
但在目前的医学分割领域，由于神经网络中不断的“卷积-池化”操作丢失了许多浅层的空间及细节信息，出现的梯度消失现象易导致小病灶或器官边缘的分割效果不好，在所需分割的目标(器官或病灶)大小差异较大时总体分割效果不佳，如何灵活地确定深浅层信息特征融合比例，以及提取更深层次的特征信息也是目前学者正在努力的方向，其中对U型网络的提升优化是在医学图像分割领域的研究热点。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域普通技术人员所公知的现有技术。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于U型网络的医学图像分割方法，将恒定缩放的残差网络与循环神经网络结合代替原有的编解码器模块，改善U型网络浅层及深层网络连接时可能产生的语义差距以及最大池化下采样过程中的浅层信息丢失问题，充分捕捉到大小不一的目标区域，提升不同尺度分割目标的分割准确度，使其在训练更深的网络的同时可以获得到更多的图像特征信息。
为达到上述目的，本发明是采用下述技术方案实现的：
本发明提供了一种基于U型网络的医学图像分割方法，包括以下步骤：
步骤1：获取医学图像数据集；
步骤2：从所述医学图像数据集中获取成对的原始图片及对原始图片中目标区域的真实分割图，一起作为预先构建的恒定缩放分割网络的输入数据集，其中，所述输入数据集分为训练集、验证集和测试集；
步骤3：利用所述训练集对恒定缩放分割网络进行训练，得到训练好的分割网络模型，利用所述验证集对恒定缩放分割网络进行验证，其中，所述恒定缩放分割网络包括特征提取模块和分辨率增大模块，在解码过程中每个解码器层都与来自编码器的相同层次相应剪裁的特征图连接；
步骤4：将待分割的原始图片输入到所述分割网络模型中进行分割，得到真实分割图。
进一步的，所述输入数据集中训练集、验证集和测试集的比例为6：2：2。
进一步的，所述步骤3中，特征提取模块包括5个第一恒定缩放模块，4个下采样模块，所述恒定缩放模块之间通过下采样模块相连接，所述分辨率增大模块包括4个上采样模块和4个第二恒定缩放模块，所述第二恒定缩放模块之间通过上采样模块相连接。
进一步的，所述恒定缩放模块由恒定缩放的残差网络结构与循环神经网络结合而成，所述恒定缩放的残差网络结构的输出由两部分相加组成：输入特征图乘以权值a；以及输入特征图经过两次权重层后乘以权值b；权值a与权值b应满足如下关系：
a+b＝1  (1)。
进一步的，所述循环神经网络由输入特征图进入卷积层，后进行循环操作，使得每一次卷积操作都能获取上一次卷积操作得到的特征信息，最后经过ReLu激活函数得到输出。
进一步的，使用所述循环神经网络替换恒定缩放模型的恒定缩放的残差网络结构中的权重层，从而形成恒定缩放模块，其输出由两部分相加组成：输入特征图乘以权值a；以及输入特征图经过两次包含卷积块以及ReLU激活函数的循环卷积块后乘以权值b；权值a与权值b应满足公式(1)。
进一步的，所述步骤3中，在所述恒定缩放分割网络中，设置损失函数为集合相似度度量函数，具体公式为：
Figure PCTCN2021138825-appb-000001
其中,|A∩B|表示集合A和集合B之间的共同元素，|A|表示A|中的元素的个数，|B|表示B中的元素的个数，集合A中元素为输入数据集对恒定缩放分 割网络分割得到真实的分割图像，集合B中元素为原始图片中目标区域的真实分割图；
为了计算预测的真实分割图的集合相似度度量函数，将|A|+|B|近似为实际分割得到的图像和真实分割图像之间的点乘，并将集合A和集合B中每个像素点的值相加；当损失函数最小时停止训练，得到训练好的分割网络模型。
进一步的，所述步骤3中，当损失函数最小时停止训练，得到训练好的分割网络模型，包括以下步骤：
基于Adam优化器对每一阶段恒定缩放分割网络的权重参数进行初始化，使用平均值为0的高斯分布随机初始化权重参数；
对每个输入分割网络模型的训练集中的样本图片，样本图片包括合成图像和原始图片，先利用前向传播求出真实的分割图像与原始图片中目标区域的真实分割图间的总误差，再利用反向传播求出各个权重参数的偏导数，最后根据梯度下降法对权重参数进行更新；
重复上述步骤直至损失函数达到最小，得到训练好的分割网络模型。
与现有技术相比，本发明所达到的有益效果：
第一、本发明从改进编码器与解码器的角度，结合其他具有特定功能的网络模型，弥补了传统U型网络捕捉细节信息能力丢失、深浅层信息特征捕捉不完整的问题，提升了对不同分割任务的适应性，改善了最终分割结果。
第二、本发明提出的恒定缩放的残差网络，在输出特征信息前使用不同数值组合的权重a和权重b，权重a控制原始输入图像的特征信息，权重b控制权重层提取的语义信息，使其在不同的医学影像场景下，能够选择不同的组合方式，灵活改善浅层特征信息传入到下一层的比例，增强了模型算法的可用性与 灵敏性。
第三、本发明所使用的恒定缩放的分割网络融合恒定缩放的残差网络与循环神经网络，其中残差网络使用跳跃结构将浅层空间特征与深层语义通过权重值关联起来，循环神经网络进一步挖掘输入图像的深层次语义信息，改善了传统U型网络中直接相连造成的语义鸿沟问题，增强了对细节信息的提取，改善了不同层级特征图的融合效果。
附图说明
图1是本发明实施例提供的方法流程图；
图2是本发明实施例提供的恒定缩放分割网络结构的示意图；
图3是本发明实施例提供的恒定缩放的残差网络结构示意图；
图4是本发明实施例提供的循环神经网络结构示意图；
图5是本发明实施例提供的恒定缩放模块的示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1至图5所示，本发明提供了一种基于U型网络的医学图像分割方法，包括以下步骤：
步骤1：获取医学图像数据集；
步骤2：从所述医学图像数据集中获取成对的原始图片及对原始图片中目标区域的真实分割图，一起作为预先构建的恒定缩放分割网络的输入数据集，其中，所述输入数据集分为训练集、验证集和测试集；所述输入数据集中训练集、验证集和测试集的比例为6：2：2；
步骤3：利用所述训练集对恒定缩放分割网络进行训练，得到训练好的分割网络模型，利用所述验证集对恒定缩放分割网络进行验证，其中，所述恒定缩放分割网络包括特征提取模块和分辨率增大模块，在解码过程中每个解码器层都与来自编码器的相同层次相应剪裁的特征图连接；特征提取模块包括5个第一恒定缩放模块，4个下采样模块，所述恒定缩放模块之间通过下采样模块相连接，所述分辨率增大模块包括4个上采样模块和4个第二恒定缩放模块，所述第二恒定缩放模块之间通过上采样模块相连接；
所述恒定缩放模块由恒定缩放的残差网络结构与循环神经网络结合而成，所述恒定缩放的残差网络结构的输出由两部分相加组成：输入特征图乘以权值a；以及输入特征图经过两次权重层后乘以权值b；权值a与权值b应满足如下关系：
a+b＝1   (1)。
所述循环神经网络由输入特征图进入卷积层，后进行循环操作，使得每一次卷积操作都能获取上一次卷积操作得到的特征信息，最后经过ReLu激活函数得到输出。
使用所述循环神经网络替换恒定缩放模型的恒定缩放的残差网络结构中的权重层，从而形成恒定缩放模块，其输出由两部分相加组成：输入特征图乘以权值a；以及输入特征图经过两次包含卷积块以及ReLU激活函数的循环卷积块后乘以权值b；权值a与权值b应满足公式(1)。
在所述恒定缩放分割网络中，设置损失函数为集合相似度度量函数，具体公式为：
Figure PCTCN2021138825-appb-000002
其中,|A∩B|表示集合A和集合B之间的共同元素，|A|表示A中的元素的个数，|B|表示B中的元素的个数，集合A中元素为输入数据集对恒定缩放分割网络分割得到真实的分割图像，集合B中元素为原始图片中目标区域的真实分割图；
为了计算预测的真实分割图的集合相似度度量函数，将|A|+|B|近似为实际分割得到的图像和真实分割图像之间的点乘，并将集合A和集合B中每个像素点的值相加；当损失函数最小时停止训练，得到训练好的分割网络模型。
当损失函数最小时停止训练，得到训练好的分割网络模型，包括以下步骤：
基于Adam优化器对每一阶段恒定缩放分割网络的权重参数进行初始化，使用平均值为0的高斯分布随机初始化权重参数；
对每个输入分割网络模型的训练集中的样本图片，样本图片包括合成图像和原始图片，先利用前向传播求出真实的分割图像与原始图片中目标区域的真实分割图间的总误差，再利用反向传播求出各个权重参数的偏导数，最后根据梯度下降法对权重参数进行更新；
重复上述步骤直至损失函数达到最小，得到训练好的分割网络模型；
步骤4：将待分割的原始图片输入到所述分割网络模型中进行分割，得到真实分割图。
本发明所使用的恒定缩放的分割网络融合恒定缩放的残差网络与循环神经网络，其中残差网络使用跳跃结构将浅层空间特征与深层语义通过权重值关联起来，循环神经网络进一步挖掘输入图像的深层次语义信息，改善了传统U型网络中直接相连造成的语义鸿沟问题，增强了对细节信息的提取，改善了不同层级特征图的融合效果。
下面结合一个优选实施例，对上述实施例中设计到的内容进行说明。
步骤1：获取医学图像数据集，本实施例中医学图像数据集为2018年ISIC挑战：黑色素瘤检测的皮肤病数据集；
医学图像数据集是从现有医学图像数据库中下载调用。
步骤2：从黑色素瘤检测的皮肤病数据集中取出成对的黑色素皮肤病原图及其真实的分割标签，并将其数据集按照6：2：2的比例分成训练集、验证集以及测试集。
步骤3：利用步骤2中输入数据集对恒定缩放分割网络进行训练，所述恒定缩放分割网络包括特征提取和增大分辨率，在解码过程中每个解码器层都与来自编码器的相同层次相应剪裁的特征图连接，将步骤2中的测试集以及验证集输入本发明所述恒定缩放分割网络(如图2所示)，特征提取包括5个恒定缩放模块，4个下采样，恒定缩放模块之间采用下采样连接；增大分辨率包括4个上采样和4个恒定缩放模块，恒定缩放模块之前采用上采样，恒定缩放模块(如图5所示)的输出由两部分相加组成：(1)输入特征图乘以权值a；(2)输入特征图经过两次包含卷积块以及ReLU激活函数的循环卷积块后乘以权值b，
假设x l为第l层循环卷积块的输入，x l中位于循环卷积层第k个特征图的像素点坐标为(i，j)，在t时，循环卷积层输出
Figure PCTCN2021138825-appb-000003
可以表示为：
Figure PCTCN2021138825-appb-000004
其中
Figure PCTCN2021138825-appb-000005
和
Figure PCTCN2021138825-appb-000006
分别表示第l层循环卷积层的两个标准卷积层的输入，
Figure PCTCN2021138825-appb-000007
和
Figure PCTCN2021138825-appb-000008
分别表示第l层循环卷积层的两个标准卷积层第k个特征图的权重向量，b k则为偏移量。循环卷积层的输出经过标准ReLU即函数f(·)处理，得到：
Figure PCTCN2021138825-appb-000009
其中
Figure PCTCN2021138825-appb-000010
表示第l层循环卷积网络的输出，而第l层残卷循环网络的输出x l+1表示为：
Figure PCTCN2021138825-appb-000011
步骤4：具体实施如下，设置恒定缩放的分割网络损失函数。
分割网络部分设置Loss函数为医学中常用的dice coefficient，具体公式为
Figure PCTCN2021138825-appb-000012
其中,|A∩B|表示集合A和集合B之间的共同元素，|A|表示A中的元素的个数，|B|表示B中的元素的个数，集合A中元素为真实的分割图像，输入数据集对多特征融合分割网络分割得到真实的分割图像，集合B中元素为原始图片中目标区域的真实分割图；
为了计算预测的真实分割图的集合相似度度量函数，将|A|+|B|近似为实际分割得到的图像和真实分割图像之间的点乘，并将集合A和集合B中每个像素点的值相加；当损失函数最小时停止训练，得到训练好的分割网络模型为了计算预测的分割图的dice coefficient，将|A|+|B|近似为预测图和label之间的点乘，并将集合A和集合B中的元素相加。
步骤5：训练分割网络；
为使步骤5中的损失函数最小，使用Adam优化器，先对每一阶段网络的权重参数进行初始化，使用平均值为0的高斯分布随机初始化权重参数；
对每个样本图片x，先利用前向传播求出总误差，再利用反向传播求出各个权重参数的偏导数，最后根据梯度下降法对权重参数进行更新，重复此步骤直至损失函数达到最小，得到训练好的分割网络模型。
步骤6：将待分割的黑色素皮肤病图像输入本发明所述分割网络，得到分割好的黑色素皮肤病图像。
在对黑色素皮肤病数据集进行分割时，本发明通过改进原始U型网络结构，改善了浅层细节信息在下采样过程中丢失的问题，结合了恒定缩放的残差网络和循环神经网络进一步提升了深、浅层语义的融合，减少了语义差距，提升了医学图像前景和背景的分割准确性，同时对于不同场景下的医学影像分割，可以选择不同的权值组合进行应用，对于多场景，本发明提出的方法有很好的可用性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

  1. 一种基于U型网络的医学图像分割方法，所述方法由计算机实现，其特征是，包括以下步骤：
    步骤1：获取医学图像数据集；
    步骤2：从所述医学图像数据集中获取成对的原始图片及对原始图片中目标区域的真实分割图，一起作为预先构建的恒定缩放分割网络的输入数据集，其中，所述输入数据集分为训练集、验证集和测试集；
    步骤3：利用所述训练集对恒定缩放分割网络进行训练，得到训练好的分割网络模型，利用所述验证集对恒定缩放分割网络进行验证，其中，所述恒定缩放分割网络包括特征提取模块和分辨率增大模块，在解码过程中每个解码器层都与来自编码器的相同层次相应剪裁的特征图连接；
    步骤4：将待分割的原始图片输入到所述分割网络模型中进行分割，得到真实分割图。
  2. 根据权利要求1所述的基于U型网络的医学图像分割方法，其特征是，所述步骤2中，所述输入数据集中训练集、验证集和测试集的比例为6：2：2。
  3. 根据权利要求1所述的基于U型网络的医学图像分割方法，其特征是，所述步骤3中，特征提取模块包括5个恒定缩放模块，4个下采样模块，其中，所述恒定缩放模块之间通过下采样模块相连接；所述分辨率增大模块包括4个上采样模块和4个恒定缩放模块，其中，所述恒定缩放模块之间通过上采样模块相连接。
  4. 根据权利要求3所述的基于U型网络的医学图像分割方法，其特征是，所述恒定缩放模块由恒定缩放的残差网络结构与循环神经网络结合而成，所 述恒定缩放的残差网络结构的输出由两部分相加组成：输入特征图乘以权值a；以及输入特征图经过两次权重层后乘以权值b；权值a与权值b应满足如下关系：
    a+b＝1(1)。
  5. 根据权利要求4所述的基于U型网络的医学图像分割方法，其特征是，所述循环神经网络由输入特征图进入卷积层，后进行循环操作，使得每一次卷积操作都能获取上一次卷积操作得到的特征信息，最后经过ReLu激活函数得到输出。
  6. 根据权利要求5所述的基于U型网络的医学图像分割方法，其特征是，使用所述循环神经网络替换恒定缩放模型的恒定缩放的残差网络结构中的权重层，从而形成恒定缩放模块，其输出由两部分相加组成：输入特征图乘以权值a；以及输入特征图经过两次包含卷积块以及ReLU激活函数的循环卷积块后乘以权值b；权值a与权值b应满足公式(1)。
  7. 根据权利要求1所述的基于U型网络的医学图像分割方法，其特征是，所述步骤3中，在所述恒定缩放分割网络中，设置损失函数为集合相似度度量函数，具体公式为：
    Figure PCTCN2021138825-appb-100001
    其中，|A∩B|表示集合A和集合B之间的共同元素，|A|表示A中的元素的个数，|B|表示B中的元素的个数，集合A中元素为输入数据集对恒定缩放分割网络分割得到真实的分割图像，集合B中元素为原始图片中目标区域的真实分割图；
    为了计算预测的真实分割图的集合相似度度量函数，将|A|+|B|近似为实际分割得到的图像和真实分割图像之间的点乘，并将集合A和集合B中每个像素 点的值相加；当损失函数最小时停止训练，得到训练好的分割网络模型。
  8. 根据权利要求7所述的基于U型网络的医学图像分割方法，其特征是，所述步骤3中，当损失函数最小时停止训练，得到训练好的分割网络模型，包括以下步骤：
    基于Adam优化器对每一阶段恒定缩放分割网络的权重参数进行初始化，使用平均值为0的高斯分布随机初始化权重参数；
    对每个输入分割网络模型的训练集中的样本图片，样本图片包括合成图像和原始图片，先利用前向传播求出真实的分割图像与原始图片中目标区域的真实分割图间的总误差，再利用反向传播求出各个权重参数的偏导数，最后根据梯度下降法对权重参数进行更新；
    重复上述步骤直至损失函数达到最小，得到训练好的分割网络模型。
PCT/CN2021/138825 2021-06-10 2021-12-16 一种基于u型网络的医学图像分割方法 WO2022257408A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/697,884 US20220398737A1 (en) 2021-06-10 2022-03-17 Medical image segmentation method based on u-network

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110654344.4A CN113240691B (zh) 2021-06-10 2021-06-10 一种基于u型网络的医学图像分割方法
CN202110654344.4 2021-06-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/697,884 Continuation-In-Part US20220398737A1 (en) 2021-06-10 2022-03-17 Medical image segmentation method based on u-network

Publications (1)

Publication Number Publication Date
WO2022257408A1 true WO2022257408A1 (zh) 2022-12-15

Family

ID=77139725

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/138825 WO2022257408A1 (zh) 2021-06-10 2021-12-16 一种基于u型网络的医学图像分割方法

Country Status (2)

Country Link
CN (1) CN113240691B (zh)
WO (1) WO2022257408A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984146A (zh) * 2023-03-16 2023-04-18 中国海洋大学 基于全局一致性的海洋叶绿素浓度图像的补全方法及网络
CN115984263A (zh) * 2023-03-15 2023-04-18 三峡智控科技有限公司 基于改进型孪生神经网络的螺栓松动检测算法及检测系统
CN116188816A (zh) * 2022-12-29 2023-05-30 广东省新黄埔中医药联合创新研究院 一种基于循环一致性变形图像匹配网络的穴位定位方法
CN116363123A (zh) * 2023-05-23 2023-06-30 杭州华得森生物技术有限公司 对循环肿瘤细胞检测的荧光显微成像系统及其方法
CN116363036A (zh) * 2023-05-12 2023-06-30 齐鲁工业大学(山东省科学院) 基于视觉增强的红外与可见光图像融合方法
CN116484905A (zh) * 2023-06-20 2023-07-25 合肥高维数据技术有限公司 针对非对齐样本的深度神经网络模型训练方法
CN116612131A (zh) * 2023-05-22 2023-08-18 山东省人工智能研究院 一种基于ADC-UNet模型的心脏MRI结构分割方法
CN116934618A (zh) * 2023-07-13 2023-10-24 江南大学 一种基于改进残差网络的图像半色调方法、系统及介质
CN118135229A (zh) * 2024-05-07 2024-06-04 南昌康德莱医疗科技有限公司 一种医学图像分割方法、系统及计算机

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240691B (zh) * 2021-06-10 2023-08-01 南京邮电大学 一种基于u型网络的医学图像分割方法
CN114037714B (zh) * 2021-11-02 2024-05-24 大连理工大学人工智能大连研究院 一种面向前列腺系统穿刺的3d mr与trus图像分割方法
CN114387436B (zh) * 2021-12-28 2022-10-25 北京安德医智科技有限公司 壁冠状动脉检测方法及装置、电子设备和存储介质
CN114170249B (zh) * 2022-02-08 2022-04-19 湖南大学 一种基于CNUNet3+网络的图像语义分割方法
CN114882047B (zh) * 2022-04-19 2024-07-12 厦门大学 一种基于半监督与Transformers的医学图像分割方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570431A (zh) * 2019-09-18 2019-12-13 东北大学 一种基于改进的卷积神经网络的医学图像分割方法
WO2020093042A1 (en) * 2018-11-02 2020-05-07 Deep Lens, Inc. Neural networks for biomedical image analysis
CN111325750A (zh) * 2020-02-25 2020-06-23 西安交通大学 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN111612790A (zh) * 2020-04-29 2020-09-01 杭州电子科技大学 一种基于t型注意力结构的医学图像分割方法
CN112927240A (zh) * 2021-03-08 2021-06-08 重庆邮电大学 一种基于改进的AU-Net网络的CT图像分割方法
CN113240691A (zh) * 2021-06-10 2021-08-10 南京邮电大学 一种基于u型网络的医学图像分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681252B (zh) * 2020-05-30 2022-05-03 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020093042A1 (en) * 2018-11-02 2020-05-07 Deep Lens, Inc. Neural networks for biomedical image analysis
CN110570431A (zh) * 2019-09-18 2019-12-13 东北大学 一种基于改进的卷积神经网络的医学图像分割方法
CN111325750A (zh) * 2020-02-25 2020-06-23 西安交通大学 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN111612790A (zh) * 2020-04-29 2020-09-01 杭州电子科技大学 一种基于t型注意力结构的医学图像分割方法
CN112927240A (zh) * 2021-03-08 2021-06-08 重庆邮电大学 一种基于改进的AU-Net网络的CT图像分割方法
CN113240691A (zh) * 2021-06-10 2021-08-10 南京邮电大学 一种基于u型网络的医学图像分割方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188816A (zh) * 2022-12-29 2023-05-30 广东省新黄埔中医药联合创新研究院 一种基于循环一致性变形图像匹配网络的穴位定位方法
CN116188816B (zh) * 2022-12-29 2024-05-28 广东省新黄埔中医药联合创新研究院 一种基于循环一致性变形图像匹配网络的穴位定位方法
CN115984263A (zh) * 2023-03-15 2023-04-18 三峡智控科技有限公司 基于改进型孪生神经网络的螺栓松动检测算法及检测系统
CN115984263B (zh) * 2023-03-15 2023-05-30 三峡智控科技有限公司 基于改进型孪生神经网络的螺栓松动检测方法及检测系统
CN115984146A (zh) * 2023-03-16 2023-04-18 中国海洋大学 基于全局一致性的海洋叶绿素浓度图像的补全方法及网络
CN116363036B (zh) * 2023-05-12 2023-10-10 齐鲁工业大学(山东省科学院) 基于视觉增强的红外与可见光图像融合方法
CN116363036A (zh) * 2023-05-12 2023-06-30 齐鲁工业大学(山东省科学院) 基于视觉增强的红外与可见光图像融合方法
CN116612131A (zh) * 2023-05-22 2023-08-18 山东省人工智能研究院 一种基于ADC-UNet模型的心脏MRI结构分割方法
CN116612131B (zh) * 2023-05-22 2024-02-13 山东省人工智能研究院 一种基于ADC-UNet模型的心脏MRI结构分割方法
CN116363123A (zh) * 2023-05-23 2023-06-30 杭州华得森生物技术有限公司 对循环肿瘤细胞检测的荧光显微成像系统及其方法
CN116363123B (zh) * 2023-05-23 2023-12-22 杭州华得森生物技术有限公司 对循环肿瘤细胞检测的荧光显微成像系统及其方法
CN116484905B (zh) * 2023-06-20 2023-08-29 合肥高维数据技术有限公司 针对非对齐样本的深度神经网络模型训练方法
CN116484905A (zh) * 2023-06-20 2023-07-25 合肥高维数据技术有限公司 针对非对齐样本的深度神经网络模型训练方法
CN116934618A (zh) * 2023-07-13 2023-10-24 江南大学 一种基于改进残差网络的图像半色调方法、系统及介质
CN116934618B (zh) * 2023-07-13 2024-06-11 江南大学 一种基于改进残差网络的图像半色调方法、系统及介质
CN118135229A (zh) * 2024-05-07 2024-06-04 南昌康德莱医疗科技有限公司 一种医学图像分割方法、系统及计算机

Also Published As

Publication number Publication date
CN113240691B (zh) 2023-08-01
CN113240691A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
WO2022257408A1 (zh) 一种基于u型网络的医学图像分割方法
US11580646B2 (en) Medical image segmentation method based on U-Net
WO2022199143A1 (zh) 一种基于u型网络的医学图像分割方法
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
WO2021227726A1 (zh) 面部检测、图像检测神经网络训练方法、装置和设备
CN109241982B (zh) 基于深浅层卷积神经网络的目标检测方法
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN114119638A (zh) 一种融合多尺度特征和注意力机制的医学图像分割方法
CN112580416A (zh) 基于深暹罗网络和贝叶斯优化的视频跟踪
CN107610129B (zh) 一种基于cnn的多模态鼻咽部肿瘤联合分割方法
CN108830170B (zh) 一种基于分层特征表示的端到端目标跟踪方法
CN112150493A (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
WO2023151237A1 (zh) 人脸位姿估计方法、装置、电子设备及存储介质
US20220398737A1 (en) Medical image segmentation method based on u-network
CN107944437B (zh) 一种基于神经网络和积分图像的人脸定位方法
CN110852330A (zh) 一种基于单阶段的行为识别方法
CN116579982A (zh) 一种肺炎ct图像分割方法、装置及设备
CN113505634A (zh) 一种双流解码跨任务交互网络的光学遥感图像显著目标检测方法
Du High-precision portrait classification based on mtcnn and its application on similarity judgement
Hu et al. RGB-D image multi-target detection method based on 3D DSF R-CNN
Yang et al. VAMYOLOX: An accurate and efficient object detection algorithm based on visual attention mechanism for UAV optical sensors
Liu et al. Key algorithm for human motion recognition in virtual reality video sequences based on hidden markov model
CN111709269B (zh) 一种深度图像中基于二维关节信息的人手分割方法和装置
Chen et al. Convolutional neural network using multi-scale information for stereo matching cost computation
WO2023109086A1 (zh) 文字识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21944904

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21944904

Country of ref document: EP

Kind code of ref document: A1