WO2022087853A1 - 一种图像分割方法、装置及计算机可读存储介质 - Google Patents
一种图像分割方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- WO2022087853A1 WO2022087853A1 PCT/CN2020/124169 CN2020124169W WO2022087853A1 WO 2022087853 A1 WO2022087853 A1 WO 2022087853A1 CN 2020124169 W CN2020124169 W CN 2020124169W WO 2022087853 A1 WO2022087853 A1 WO 2022087853A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image segmentation
- blood vessel
- image
- training
- vessel image
- Prior art date
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000013135 deep learning Methods 0.000 claims abstract description 38
- 230000011218 segmentation Effects 0.000 claims abstract description 33
- 210000004204 blood vessel Anatomy 0.000 claims description 79
- 238000013527 convolutional neural network Methods 0.000 claims description 39
- 238000012360 testing method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000002792 vascular Effects 0.000 abstract description 6
- 230000000875 corresponding effect Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 9
- 238000012800 visualization Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000002198 surface plasmon resonance spectroscopy Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
一种图像分割方法、装置及计算机可读存储介质。所述方法包括：基于目标血管图像数据集以及对应的标签集构建训练样本集（101）；采用训练样本集对预设的混合深度学习网络进行训练，得到图像分割模型（102）；将待分割血管图像输入至图像分割模型进行图像分割（103）。通过所述方法，采用混合深度学习网络进行血管图像分割，侧重于图像的整体特征，有效提高了血管分割精度和鲁棒性。
Description
本发明涉及图像处理领域，尤其涉及一种图像分割方法、装置及计算机可读存储介质。
光声成像技术具有识别分子特异性和在光衍射限制下达到细胞水平的横向分辨率的能力，在血管成像中得到了广泛的应用。血管图像携带有基本的医疗信息，可为专业诊断提供有效指导。
血管图像分割是生物医学图像分析的一项重要工作，现代图像处理技术为血管分割做出了很好的贡献。目前，现有技术中通常采用阈值分割法、区域增长法、最大熵法、k-means聚类法进行血管图像分割，这些方法都存在分割精度有限的问题。
本发明实施例的主要目的在于提供一种图像分割方法、装置及计算机可读存储介质，至少能够解决相关技术中在进行血管图像分割时，分割精度较为有限的问题。
为实现上述目的，本发明实施例第一方面提供了一种图像分割方法，该方法包括：
基于目标血管图像数据集以及对应的标签集构建训练样本集；其中，所述目标血管图像数据集中包括多个血管图像样本，所述标签集包括各所述血管图像样本对应的分类标签；
采用所述训练样本集对预设的混合深度学习网络进行训练，得到图像分割模型；其中，所述混合深度学习网络包括第一全卷积神经网络和第二全卷积神经网络，所述第一全卷积神经网络在反卷积过程中执行两个步长为2的上采样操作和一个步长为8的单步操作，所述第二全卷积神经网络的卷积层为U型结构，所述第二全卷积神经网络在反卷积过程中分别执行四个步长为2的上采样操作和下采样操作；
将待分割血管图像输入至所述图像分割模型进行图像分割。
为实现上述目的，本发明实施例第二方面提供了一种图像分割装置，该装置包括：
构建模块，用于基于目标血管图像数据集以及对应的标签集构建训练样本集；其中，所述目标血管图像数据集中包括多个血管图像样本，所述标签集包括各所述血管图像样本对应的分类标签；
训练模块，用于采用所述训练样本集对预设的混合深度学习网络进行训练，得到图像分割模型；其中，所述混合深度学习网络包括第一全卷积神经网络和第二全卷积神经网络，所述第一全卷积神经网络在反卷积过程中执行两个步长为2的上采样操作和一个步长为8的单步操作，所述第二全卷积神经网络的卷积层为U型结构，所述第二全卷积神经网络在反卷积过程中分别执行四个步长为2的上采样操作和下采样操作；
分割模块，用于将待分割血管图像输入至所述图像分割模型进行图像分割。
为实现上述目的，本发明实施例第三方面提供了一种电子装置，该电子装置包括：处理器、存储器和通信总线；
所述通信总线用于实现所述处理器和存储器之间的连接通信；
所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现上述任意一种图像分割方法的步骤。
为实现上述目的，本发明实施例第四方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任意一种图像分割方法的步骤。
根据本发明实施例提供的图像分割方法、装置及计算机可读存储介质，基于目标血管图像数据集以及对应的标签集构建训练样本集；采用训练样本集对包括全卷积神经网络和U-net的混合深度学习网络进行训练，得到图像分割模型；将待分割血管图像输入至图像分割模型进行图像分割。通过本发明的实施，采用混合深度学习网络进行血管图像分割，侧重于图像的整体特征，有效提高了血管分割精度和鲁棒性。
本发明其他特征和相应的效果在说明书的后面部分进行阐述说明，且应当理解，至少部分效果从本发明说明书中的记载变的显而易见。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一实施例提供的图像分割方法的基本流程示意图；
图2为本发明第一实施例提供的FCN的网络结构示意图；
图3为本发明第一实施例提供的U-net的网络结构示意图；
图4为本发明第一实施例提供的混合深度学习网络的结构示意图；
图5为本发明第一实施例提供的传统图像分割方法的结果可视化示意图；
图6为本发明第一实施例提供的深度学习方法的评价指标箱线图；
图7为本发明第一实施例提供的基于深度学习网络的图像分割方法的可视化示意图；
图8为本发明第二实施例提供的图像分割装置的结构示意图；
图9为本发明第三实施例提供的电子装置的结构示意图。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一实施例：
首先，本实施例对传统的图像分割优化算法进行说明，传统的图像分割优化算法主要包括以下几种：
阈值分割方法是选择合适的阈值像素强度作为分割线。因此，可以观察到前景和背景之间的清晰分类。阈值分割方法的两个主要缺点是阈值选取的敏感性高和缺乏形态学信息的考虑。
区域增长(Region growing, RG)方法是将像素或子区域按照预先定义的标准聚合成更大区域的过程。基本思想是从一组人工选择作为初始点的种子点开始。种子点可以是单个像素，也可以是一个小区域。第一步是将具有相似属性的相邻像素或区域组合在一起，形成一个新的生长种子点。接下来的步骤是重复上面的过程，直到区域收敛(没有其他的种子点可以找到)。可以清楚地看到，RG的关键问题是初始生长点的选择不能通过经验来确定。
最大熵方法用于描述信息的不确定性程度，最大熵原理的精髓在于，系统中某一事件发生的概率满足所有已知的约束条件，而不对任何未知信息进行假设，换句话说，将未知信息视为相等的概率。在最大熵图像分割中，计算各分割阈值下图像的总熵，找到最大熵，并以最大熵所对应的分割阈值作为最终阈值。图像中灰度大于此阈值的像素被划分为前景，否则划分为背景。
K-means聚类方法是一种迭代算法，主要分为以下4个步骤：a)随机选取K类初始质心的一组；b)根据样本与各聚类中心的距离对每个样本进行标注；c)计算并更新每个类的新质心；d)重复步骤b)和c)，直到中心收敛。
然而，上述传统的图像分割优化算法均侧重于图像的局部特征，没有考虑图像的空间信息，均为次优细分解决方案。
而为了解决相关技术中上述图像分割优化算法在进行血管图像分割时，分割精度较为有限的技术问题，本实施例提出了一种图像分割方法，如图1所示为本实施例提供的图像分割方法的基本流程示意图，本实施例提出的图像分割方法包括以下的步骤：
步骤101、基于目标血管图像数据集以及对应的标签集构建训练样本集。
具体的，本实施例的目标血管图像数据集中包括多个血管图像样本，标签集包括各血管图像样本对应的分类标签。
在本实施例中，可以使用OR-PAM系统从瑞士韦伯斯特小鼠的耳朵获取体内血管图像，该系统采用表面等离子体共振传感器作为超声检测器。将每条PA
A-line的最大幅值投影到深度方向，重建最大幅值投影(MAP)图像。系统的横向分辨率在4.5um左右，使得血管得到可视化。本实施例的表面等离子体共振传感器可以回应超声波与广泛的带宽，确定的深度分辨率或OR-PAM系统7.6um左右，需要花费大约10分钟的时间来捕获一幅512×512像素的血管图像。
此外，所有的数据集图像对应的标签集，可以通过麻省理工学院开发的图形界面图像注释软件Labelme手工标注得到。
在本实施例的一种可选的实施方式中，在基于目标血管图像数据集以及对应的标签集构建训练样本集之前，还包括：从数量有限的血管图像样本中获取图像质量符合预设质量要求的有效血管图像样本；对有效血管图像样本进行数据增强处理，构建得到样本数量符合预设数量要求的目标血管图像数据集。
具体的，在OR-PAM系统中所获得的图像通常较为有限，而部分图像由于噪声、断点或不连续等质量问题的存在而需被丢弃。由于PA系统提供的图像数量不足，因此本实施例可以对所获取的有效血管图像采用裁剪、翻转、映射等数据增强方法，进行图像样本扩充，以避免后续训练模型时过拟合和训练精度低的问题。此外，本实施例可以将数据集图像裁剪为256×256个像素，以加快训练过程。并且，还可以从最终的数据集中，随机选取其中部分作为测试集，其余的图像随机放入训练集和验证集。
步骤102、采用训练样本集对预设的混合深度学习网络进行训练，得到图像分割模型。
具体的，卷积神经网络(CNN)是一种强大的视觉模型，可以产生特征的层次结构。CNN在语义分割中的应用已经超过了最先进的水平。虽然GoogleNet、VGG、AlexNet等以往的模型表现出了较好的性能，但由于在网络输出之前存在全连接层，且标签尺寸维度一致，因此没有一个模型能够实现端到端训练。此外，网络的全连接层将提取的特征扩展为一维向量，从而丢弃了从每张图中提取的特征图的空间信息。而全卷积网络(Full
Convolutional Network, FCN)将全连接层替换为卷积层，避免了对图像进行预处理和后处理，从而保留了空间信息。
本实施例的混合深度学习网络包括第一全卷积神经网络（FCN）和第二全卷积神经网络（U-net），两个网络均有大小为3*3的卷积核组成。其中，第一全卷积神经网络在反卷积过程中执行两个步长为2的上采样操作和一个步长为8的单步操作，第二全卷积神经网络的卷积层为U型结构，第二全卷积神经网络在反卷积过程中分别执行四个步长为2的上采样操作和下采样操作。
如图2所示为本实施例提供的FCN的网络结构示意图，除网络的最后一层外，每个卷积核都附加了一个非线性校正单元ReLu，上采样和反卷积没有显著差异。因此，该网络采用上采样的方法来减少训练参数的数量，同时，在卷积到反褶积的转换过程中，使用了两个卷积运算和一个dropout块来防止过拟合。
如图3所示为本实施例提供的U-net的网络结构示意图，U-net是基于FCN开发的模型，具有很强的鲁棒性，在学术界和工业界具有广泛的应用领域。虽然两个网络都是全卷积层，但在连接层中可以发现细微的差别，U-net结合了网络编码部分的低级特征和解码部分的高级特征，这有效地避免了网络中池化层造成的特性丢失。另外，该网络将附加的层替换为连接层，将低层特征与高层特征融合，而不是简单地添加相应的像素，从而扩大了信道容量。
如图4所示为本实施例提供的混合深度学习网络的结构示意图，还应当说明的是，本实施例的基于FCN和U-net的混合深度学习网络Hy-Net，将来自FCN和U-net的结果与一个连接块(concatenate)和一个激活块(sigmoid)结合起来。最终的概率图，也就是网络输出，通过sigmoid函数处理，默认阈值设置为0.5，表示大于0.5的map条目被归类为前景，其余的条目被认为是背景。
在本实施例的一种可选的实施方式中，采用训练样本集对预设的混合深度学习网络进行训练，得到图像分割模型，包括：将初始学习率设置为0.0001，最小批量大小设置为2，按照随机梯度下降算法，采用训练样本集对预设的混合深度学习网络进行迭代训练；在迭代训练得到的损失函数值收敛至预设函数值时，将当前迭代训练得到的网络模型确定为训练完成的图像分割模型。
具体的，本实施例中将网络的训练过程重复多次迭代优化，神经网络每次训练预测得到的输出将与样本所标记的分类标签做损失函数（Loss
Function）计算，损失函数可以为交叉熵损失；然后采用随机梯度下降算法更新网络中的可训练参数，调整神经网络的权重等参数缩小下一次迭代的损失函数值，在损失函数值满足预先设定的标准时，判定满足模型收敛条件，即完成了整个神经网络模型的训练过程，反之，则继续进行下一次迭代训练，直至满足模型收敛条件。
步骤103、将待分割血管图像输入至图像分割模型进行图像分割。
具体的，本实施例的Hy-Net结合FCN和U-net的特征输出对两个模型的结果进行优化，有效避免了单一模型输出的唯一性。与传统方法相比，归因于使用卷积核(特征描述符)和这些核的参数共享特征，本实施例的图像分割模型充分考虑了图像的整体特征，在对血管图像进行分割时，具有更高的准确性和鲁棒性。
在本实施例的一种可选的实施方式中，在将待分割血管图像输入至图像分割模型进行图像分割之前，还包括：将预设测试样本集输入至图像分割模型，得到测试输出的分类标签；将测试输出的分类标签与测试样本集所标记的分类标签进行相关度计算。相对应的，在相关度大于预设相关度阈值时，确定图像分割模型有效，然后执行将待分割血管图像输入至图像分割模型进行图像分割的步骤。
具体的，本实施例中在训练完成图像分割模型之后，还利用测试样本集来验证图像分割模型的有效性，也即将测试样本集输入至训练完成的图像分割模型，然后比较其输出的分类标签与测试样本集中的原始分类标签的相关性，来确定模型的有效性，在测试数据与原始数据之间的相关度大于预设阈值时，确定训练完成的图像分割模型为有效、正确的模型，则可以利用有效的图像分割模型对待分割图像进行分割；反之，则说明所训练的图像分割模型的训练不充分，需要进一步对其进行优化，以保证实际使用过程中的图像分割准确性。
应当说明的是，以下四个指标：骰子系数(DC)、交集(IoU)、灵敏度(Sen)和准确性(Acc)被应用到本实施例的每个测试实验中，以量化本实施例的实验在各种分割方法上的性能。
在本实施例中，对四种传统的非深度学习方法的DC、IoU、Sen和Acc进行比较。其中，阈值分割方法选取像素强度阈值100作为阈值，分割精度达到97.40%。产生的其余3个指标较差，其平均值分别为70.98%、56.09%和61.64%。
另外，区域增长方法需要选择初始种子点。因此，将图像像素按像素曲率升序排序。以曲率最小的像素作为初始种子点。这种选择方法保证了算法从图像最光滑的区域开始，减少了分割次数。阈值(围绕质心的8个像素之间的最大密度距离)被设置为0.8。基于区域增长方法的DC、IoU、Sen和Acc的评价得分分别为64.30%、49.70%、51.96%和97.26%。
最大熵法对DC、IoU、Sen和Acc分别达到50.77%、35.33%、95.95%和91.02%。
利用imseg函数在MATLAB中实现K-mean聚类分割，得到DC、IoU、Sen和Acc分别为75.21%、60.93%、70.92%和97.59%。
如图5所示为传统图像分割方法的结果可视化示意图，以便更好地说明各种方法在分割时的主要差异。原始测试图像如图5(a)所示，以RGB通道表示，代表了PA成像系统捕获的原始数据。如图5(b)所示为手工标注的图像分割结果，如图5(c)至（f）所示分别为阈值分割法、区域增长法、最大熵法以及K-mean聚类法的图像分割结果。从图5中第3、4、5列可以清楚地看出，传统方法对于轮廓边界清晰的明亮图像效果较好，但是对于边界不清晰的图像(列1、列2、列6)，这些方法的效果都很差。由此可以看出，上述四种传统的分割方法都缺乏鲁棒性和泛化性。
另外，在本实施例中，还进一步对三种深度学习方法（也即FCN、U-net、Hy-Net）的DC、IoU、Sen和Acc进行比较。如图6所示为本实施例提供的深度学习方法的评价指标箱线图，其中，图6中（a）至（d）分别对应于DC（也可以表述为图6中DICE）、IoU、Sen和Acc。其中，FCN对DC、IoU、Sen、Acc的性能最小值分别为60.31%、43.17%、53.23%、92.82%，最大值分别为84.07%、72.52%、87.43%、99.71%。U-net对DC、IoU、Sen、Acc性能的最小值分别为66.38%、49.68%、52.20%、96.03%，最大值分别为96.77%、93.75%、98.29%、99.94%。Hy-Net在DC、IoU、Sen、Acc上的最低绩效值分别为69.83%、53.65%、75.47%、95.32%，最大值分别为94.67%、89.87%、97.49%、99.90%。FCN、U-net和Hy-Net的中值骰子分别为66.32%、83.79%和85.13%，三种深度学习方法的中值IoU分别为49.61%、72.10%和74.11%，中值Sen分别为69.57%、83.36%和90.62%，中值Acc分别为96.38%、98.11%和98.18%。
在深度学习方法中，FCN的性能最差，U-net次之，Hy-Net的性能最好。具体来说，U-net的表现比FCN高出13.71%、17.97%、13.37%和1.46%；Hy-Net的表现比FCN高出15.34%、20.05%、18.62%和1.55%；Hy-Net的表现比U-net高出1.63%、2.08%、5.25%和0.09%。
如图7所示为基于深度学习网络的图像分割方法的可视化示意图，如图7(a)至（c）所示分别为FCN、U-net和Hy-Net的图像分割结果。可视化结果表明，无论在大容器还是小容器中，Hy-Net都能与标签得到高度的重叠。
由此，从上述量化和可视化结果可以看出，Hy-Net的性能优于FCN和U-net，具有良好的稳定性和鲁棒性。主要表现为FCN和U-net都是分段不足的。这一现象可以从以下两个方面来进一步解释：其一，无论超参数调整不同、迭代次数增加或训练集大小增加，FCN和U-net都存在模型的特征限制；其二，Hy-Net结合FCN和U-net的特征输出对两个模型的结果进行优化，有效避免了单一模型输出的唯一性。
此外，还应当说明的是，网络的二值化阈值的选择的不确定性较大，可能会导致分割不足或分割过度，在本实施例中，测试了一组阈值，按照如下配置(FCN:80,
U-net:100, Hy-Net:150)则可以得到较为优异的结果。
综上，根据本实施例提供的用于PA图像血管分割的深度学习网络(Hy-Net)，从上述评价结果可以得出本实施例的方法与传统方法相比获得了更高的准确性和鲁棒性，此外，Hy-Net明显优于FCN和U-net的四个评价指标。
根据本发明实施例提供的图像分割方法，基于目标血管图像数据集以及对应的标签集构建训练样本集；采用训练样本集对包括全卷积神经网络和U-net的混合深度学习网络进行训练，得到图像分割模型；将待分割血管图像输入至图像分割模型进行图像分割。通过本发明的实施，采用混合深度学习网络进行血管图像分割，侧重于图像的整体特征，有效提高了血管分割精度和鲁棒性。
第二实施例：
为了解决相关技术中的图像分割优化算法在进行血管图像分割时，分割精度较为有限的技术问题，本实施例示出了一种图像分割装置，具体请参见图8，本实施例的图像分割装置包括：
构建模块801，用于基于目标血管图像数据集以及对应的标签集构建训练样本集；其中，目标血管图像数据集中包括多个血管图像样本，标签集包括各血管图像样本对应的分类标签；
训练模块802，用于采用训练样本集对预设的混合深度学习网络进行训练，得到图像分割模型；其中，混合深度学习网络包括第一全卷积神经网络和第二全卷积神经网络，第一全卷积神经网络在反卷积过程中执行两个步长为2的上采样操作和一个步长为8的单步操作，第二全卷积神经网络的卷积层为U型结构，第二全卷积神经网络在反卷积过程中分别执行四个步长为2的上采样操作和下采样操作；
分割模块803，用于将待分割血管图像输入至图像分割模型进行图像分割。
在本实施例的一些实施方式中，构建模块801还用于：在基于目标血管图像数据集以及对应的标签集构建训练样本集之前，从数量有限的血管图像样本中获取图像质量符合预设质量要求的有效血管图像样本；对有效血管图像样本进行数据增强处理，构建得到样本数量符合预设数量要求的目标血管图像数据集。
在本实施例的一些实施方式中，训练模块802具体用于：将初始学习率设置为0.0001，最小批量大小设置为2，按照随机梯度下降算法，采用训练样本集对预设的混合深度学习网络进行迭代训练；在迭代训练得到的损失函数值收敛至预设函数值时，将当前迭代训练得到的网络模型确定为训练完成的图像分割模型。
在本实施例的一些实施方式中，图像分割装置还包括：测试模块，用于在将待分割血管图像输入至图像分割模型进行图像分割之前，将预设测试样本集输入至图像分割模型，得到测试输出的分类标签；将测试输出的分类标签与测试样本集所标记的分类标签进行相关度计算；在相关度大于预设相关度阈值时，确定图像分割模型有效。相对应的，分割模块803具体用于：在图像分割模型有效时，将待分割血管图像输入至图像分割模型进行图像分割。
应当说明的是，前述实施例中的图像分割方法均可基于本实施例提供的图像分割装置实现，所属领域的普通技术人员可以清楚的了解到，为描述的方便和简洁，本实施例中所描述的图像分割装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
采用本实施例提供的图像分割装置，基于目标血管图像数据集以及对应的标签集构建训练样本集；采用训练样本集对包括全卷积神经网络和U-net的混合深度学习网络进行训练，得到图像分割模型；将待分割血管图像输入至图像分割模型进行图像分割。通过本发明的实施，采用混合深度学习网络进行血管图像分割，侧重于图像的整体特征，有效提高了血管分割精度和鲁棒性。
第三实施例：
本实施例提供了一种电子装置，参见图9所示，其包括处理器901、存储器902及通信总线903，其中：通信总线903用于实现处理器901和存储器902之间的连接通信；处理器901用于执行存储器902中存储的一个或者多个计算机程序，以实现上述实施例一中的图像分割方法中的至少一个步骤。
本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM（Random Access Memory，随机存取存储器）, ROM（Read-Only Memory，只读存储器）,
EEPROM（Electrically Erasable Programmable read
only memory，带电可擦可编程只读存储器）、闪存或其他存储器技术、CD-ROM（Compact Disc Read-Only Memory，光盘只读存储器），数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
本实施例中的计算机可读存储介质可用于存储一个或者多个计算机程序，其存储的一个或者多个计算机程序可被处理器执行，以实现上述实施例一中的方法的至少一个步骤。
本实施例还提供了一种计算机程序，该计算机程序可以分布在计算机可读介质上，由可计算装置来执行，以实现上述实施例一中的方法的至少一个步骤；并且在某些情况下，可以采用不同于上述实施例所描述的顺序执行所示出或描述的至少一个步骤。
本实施例还提供了一种计算机程序产品，包括计算机可读装置，该计算机可读装置上存储有如上所示的计算机程序。本实施例中该计算机可读装置可包括如上所示的计算机可读存储介质。
可见，本领域的技术人员应该明白，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件（可以用计算装置可执行的计算机程序代码来实现）、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。
此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、计算机程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。所以，本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
- 一种图像分割方法，其特征在于，包括：基于目标血管图像数据集以及对应的标签集构建训练样本集；其中，所述目标血管图像数据集中包括多个血管图像样本，所述标签集包括各所述血管图像样本对应的分类标签；采用所述训练样本集对预设的混合深度学习网络进行训练，得到图像分割模型；其中，所述混合深度学习网络包括第一全卷积神经网络和第二全卷积神经网络，所述第一全卷积神经网络在反卷积过程中执行两个步长为2的上采样操作和一个步长为8的单步操作，所述第二全卷积神经网络的卷积层为U型结构，所述第二全卷积神经网络在反卷积过程中分别执行四个步长为2的上采样操作和下采样操作；将待分割血管图像输入至所述图像分割模型进行图像分割。
- 如权利要求1所述的图像分割方法，其特征在于，所述基于目标血管图像数据集以及对应的标签集构建训练样本集之前，还包括：从数量有限的血管图像样本中获取图像质量符合预设质量要求的有效血管图像样本；对所述有效血管图像样本进行数据增强处理，构建得到样本数量符合预设数量要求的所述目标血管图像数据集。
- 如权利要求1所述的图像分割方法，其特征在于，所述采用所述训练样本集对预设的混合深度学习网络进行训练，得到图像分割模型，包括：将初始学习率设置为0.0001，最小批量大小设置为2，按照随机梯度下降算法，采用所述训练样本集对预设的混合深度学习网络进行迭代训练；在迭代训练得到的损失函数值收敛至预设函数值时，将当前迭代训练得到的网络模型确定为训练完成的图像分割模型。
- 如权利要求1至3中任意一项所述的图像分割方法，其特征在于，所述将待分割血管图像输入至所述图像分割模型进行图像分割之前，还包括：将预设测试样本集输入至所述图像分割模型，得到测试输出的分类标签；将所述测试输出的分类标签与所述测试样本集所标记的分类标签进行相关度计算；在所述相关度大于预设相关度阈值时，确定所述图像分割模型有效，然后执行所述将待分割血管图像输入至所述图像分割模型进行图像分割的步骤。
- 一种图像分割装置，其特征在于，包括：构建模块，用于基于目标血管图像数据集以及对应的标签集构建训练样本集；其中，所述目标血管图像数据集中包括多个血管图像样本，所述标签集包括各所述血管图像样本对应的分类标签；训练模块，用于采用所述训练样本集对预设的混合深度学习网络进行训练，得到图像分割模型；其中，所述混合深度学习网络包括第一全卷积神经网络和第二全卷积神经网络，所述第一全卷积神经网络在反卷积过程中执行两个步长为2的上采样操作和一个步长为8的单步操作，所述第二全卷积神经网络的卷积层为U型结构，所述第二全卷积神经网络在反卷积过程中分别执行四个步长为2的上采样操作和下采样操作；分割模块，用于将待分割血管图像输入至所述图像分割模型进行图像分割。
- 如权利要求5所述的图像分割装置，其特征在于，所述构建模块还用于：在基于目标血管图像数据集以及对应的标签集构建训练样本集之前，从数量有限的血管图像样本中获取图像质量符合预设质量要求的有效血管图像样本；对所述有效血管图像样本进行数据增强处理，构建得到样本数量符合预设数量要求的所述目标血管图像数据集。
- 如权利要求5所述的图像分割装置，其特征在于，所述训练模块具体用于：将初始学习率设置为0.0001，最小批量大小设置为2，按照随机梯度下降算法，采用所述训练样本集对预设的混合深度学习网络进行迭代训练；在迭代训练得到的损失函数值收敛至预设函数值时，将当前迭代训练得到的网络模型确定为训练完成的图像分割模型。
- 如权利要求5至7中任意一项所述的图像分割装置，其特征在于，还包括：测试模块；所述测试模块，用于在将待分割血管图像输入至所述图像分割模型进行图像分割之前，将预设测试样本集输入至所述图像分割模型，得到测试输出的分类标签；将所述测试输出的分类标签与所述测试样本集所标记的分类标签进行相关度计算；在所述相关度大于预设相关度阈值时，确定所述图像分割模型有效；所述分割模块具体用于：在所述图像分割模型有效时，将待分割血管图像输入至所述图像分割模型进行图像分割。
- 一种电子装置，其特征在于，包括：处理器、存储器和通信总线；所述通信总线用于实现所述处理器和存储器之间的连接通信；所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现如权利要求1至4中任意一项所述的图像分割方法的步骤。
- 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至4中任意一项所述的图像分割方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/124169 WO2022087853A1 (zh) | 2020-10-27 | 2020-10-27 | 一种图像分割方法、装置及计算机可读存储介质 |
| CN202011325510.8A CN112419271B (zh) | 2020-10-27 | 2020-11-24 | 一种图像分割方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/124169 WO2022087853A1 (zh) | 2020-10-27 | 2020-10-27 | 一种图像分割方法、装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022087853A1 true WO2022087853A1 (zh) | 2022-05-05 |
Family
ID=74777028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2020/124169 WO2022087853A1 (zh) | 2020-10-27 | 2020-10-27 | 一种图像分割方法、装置及计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112419271B (zh) |
| WO (1) | WO2022087853A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359057A (zh) * | 2022-10-20 | 2022-11-18 | 中国科学院自动化研究所 | 基于深度学习的冷冻电镜颗粒挑选方法、装置和电子设备 |
| CN115631301A (zh) * | 2022-10-24 | 2023-01-20 | 东华理工大学 | 基于改进全卷积神经网络的土石混合体图像三维重建方法 |
| CN116503607A (zh) * | 2023-06-28 | 2023-07-28 | 天津市中西医结合医院（天津市南开医院） | 一种基于深度学习的ct图像分割方法和系统 |
| WO2023232137A1 (zh) * | 2022-06-02 | 2023-12-07 | 北京阅影科技有限公司 | 图像处理模型的训练方法、图像处理方法及装置 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113190934A (zh) * | 2021-06-10 | 2021-07-30 | 北京三一智造科技有限公司 | 截齿筒钻的优化方法、装置及电子设备 |
| CN114818839B (zh) * | 2022-07-01 | 2022-09-16 | 之江实验室 | 一种基于深度学习的光纤传感水声信号识别方法及装置 |
| CN115170912B (zh) * | 2022-09-08 | 2023-01-17 | 北京鹰瞳科技发展股份有限公司 | 图像处理模型训练的方法、生成图像的方法及相关产品 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016681A (zh) * | 2017-03-29 | 2017-08-04 | 浙江师范大学 | 基于全卷积网络的脑部mri肿瘤分割方法 |
| CN108876805A (zh) * | 2018-06-20 | 2018-11-23 | 长安大学 | 一种端对端无监督场景可通行区域认知与理解方法 |
| CN109886307A (zh) * | 2019-01-24 | 2019-06-14 | 西安交通大学 | 一种基于卷积神经网络的图像检测方法及系统 |
| US20190295260A1 (en) * | 2016-10-31 | 2019-09-26 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for image segmentation using controlled feedback |
| CN111583262A (zh) * | 2020-04-23 | 2020-08-25 | 北京小白世纪网络科技有限公司 | 一种血管分割方法与系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10896508B2 (en) * | 2018-02-07 | 2021-01-19 | International Business Machines Corporation | System for segmentation of anatomical structures in cardiac CTA using fully convolutional neural networks |
| US10304193B1 (en) * | 2018-08-17 | 2019-05-28 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
| CN109584254B (zh) * | 2019-01-07 | 2022-12-20 | 浙江大学 | 一种基于深层全卷积神经网络的心脏左心室分割方法 |
| CN110660046B (zh) * | 2019-08-30 | 2022-09-30 | 太原科技大学 | 基于轻量级深度神经网络的工业产品缺陷图像分类方法 |
| CN111028217A (zh) * | 2019-12-10 | 2020-04-17 | 南京航空航天大学 | 一种基于全卷积神经网络的图像裂缝分割方法 |
| CN111127447B (zh) * | 2019-12-26 | 2023-03-31 | 河南工业大学 | 基于生成式对抗网络的血管分割网络及方法 |
-
2020
- 2020-10-27 WO PCT/CN2020/124169 patent/WO2022087853A1/zh active Application Filing
- 2020-11-24 CN CN202011325510.8A patent/CN112419271B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190295260A1 (en) * | 2016-10-31 | 2019-09-26 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for image segmentation using controlled feedback |
| CN107016681A (zh) * | 2017-03-29 | 2017-08-04 | 浙江师范大学 | 基于全卷积网络的脑部mri肿瘤分割方法 |
| CN108876805A (zh) * | 2018-06-20 | 2018-11-23 | 长安大学 | 一种端对端无监督场景可通行区域认知与理解方法 |
| CN109886307A (zh) * | 2019-01-24 | 2019-06-14 | 西安交通大学 | 一种基于卷积神经网络的图像检测方法及系统 |
| CN111583262A (zh) * | 2020-04-23 | 2020-08-25 | 北京小白世纪网络科技有限公司 | 一种血管分割方法与系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023232137A1 (zh) * | 2022-06-02 | 2023-12-07 | 北京阅影科技有限公司 | 图像处理模型的训练方法、图像处理方法及装置 |
| CN115359057A (zh) * | 2022-10-20 | 2022-11-18 | 中国科学院自动化研究所 | 基于深度学习的冷冻电镜颗粒挑选方法、装置和电子设备 |
| CN115631301A (zh) * | 2022-10-24 | 2023-01-20 | 东华理工大学 | 基于改进全卷积神经网络的土石混合体图像三维重建方法 |
| CN115631301B (zh) * | 2022-10-24 | 2023-07-28 | 东华理工大学 | 基于改进全卷积神经网络的土石混合体图像三维重建方法 |
| CN116503607A (zh) * | 2023-06-28 | 2023-07-28 | 天津市中西医结合医院（天津市南开医院） | 一种基于深度学习的ct图像分割方法和系统 |
| CN116503607B (zh) * | 2023-06-28 | 2023-09-19 | 天津市中西医结合医院（天津市南开医院） | 一种基于深度学习的ct图像分割方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112419271A (zh) | 2021-02-26 |
| CN112419271B (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022087853A1 (zh) | 一种图像分割方法、装置及计算机可读存储介质 | |
| CN111899245B (zh) | 图像分割、模型的训练方法及装置，电子设备及存储介质 | |
| Hu et al. | Automatic tumor segmentation in breast ultrasound images using a dilated fully convolutional network combined with an active contour model | |
| CN106940816B (zh) | 基于3d全卷积神经网络的ct图像肺结节检测系统 | |
| CN108764358B (zh) | 一种太赫兹图像识别方法、装置、设备及可读存储介质 | |
| CN110148157B (zh) | 画面目标跟踪方法、装置、存储介质及电子设备 | |
| CN107644225A (zh) | 肺部病灶识别方法、装置和实现装置 | |
| CN110781885A (zh) | 基于图像处理的文本检测方法、装置、介质及电子设备 | |
| CN110706246A (zh) | 一种血管图像分割方法、装置、电子设备和存储介质 | |
| WO2023070447A1 (zh) | 模型训练方法、图像处理方法、计算处理设备及非瞬态计算机可读介质 | |
| CN110751636B (zh) | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 | |
| WO2021136368A1 (zh) | 钼靶图像中胸大肌区域自动检测方法及装置 | |
| US11972571B2 (en) | Method for image segmentation, method for training image segmentation model | |
| CN112396605B (zh) | 网络训练方法及装置、图像识别方法和电子设备 | |
| CN114418977A (zh) | 基于血管造影视频进行冠脉造影定量分析的方法和装置 | |
| Raza et al. | Deconvolving convolutional neural network for cell detection | |
| CN112001401A (zh) | 实例分割网络的训练模型及训练方法，实例分割网络 | |
| Sule et al. | Enhanced convolutional neural networks for segmentation of retinal blood vessel image | |
| CN113256670A (zh) | 图像处理方法及装置、网络模型的训练方法及装置 | |
| Spencer et al. | Deconstructing self-supervised monocular reconstruction: The design decisions that matter | |
| Joshi et al. | Graph deep network for optic disc and optic cup segmentation for glaucoma disease using retinal imaging | |
| CN111445456A (zh) | 分类模型、网络模型的训练方法及装置、识别方法及装置 | |
| CN116129417A (zh) | 一种基于低质量图像的数字仪表读数检测方法 | |
| CN115775217A (zh) | 血管数字化结构的获取方法、电子设备和存储介质 | |
| Jule et al. | Micrarray Image Segmentation Using Protracted K-Means Net Algorithm in Enhancement of Accuracy and Robustness |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20959017 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 01.09.2023) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20959017 Country of ref document: EP Kind code of ref document: A1 |