WO2024183000A1 - 一种基于互补信息的损失函数的影像分割方法 - Google Patents

一种基于互补信息的损失函数的影像分割方法 Download PDF

Info

Publication number
WO2024183000A1
WO2024183000A1 PCT/CN2023/080093 CN2023080093W WO2024183000A1 WO 2024183000 A1 WO2024183000 A1 WO 2024183000A1 CN 2023080093 W CN2023080093 W CN 2023080093W WO 2024183000 A1 WO2024183000 A1 WO 2024183000A1
Authority
WO
WIPO (PCT)
Prior art keywords
loss function
layer
feature map
false positive
complementary information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2023/080093
Other languages
English (en)
French (fr)
Inventor
李嘉陆
王琼
胡颖
赵保亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to PCT/CN2023/080093 priority Critical patent/WO2024183000A1/zh
Publication of WO2024183000A1 publication Critical patent/WO2024183000A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion

Definitions

  • the invention belongs to the technical field of image segmentation, and in particular relates to an image segmentation method based on a loss function of complementary information.
  • This task can be formulated as a binary labeling problem for a single ultrasound image, that is, using a computer-assisted system to automatically label the lesion areas in ultrasound data at the pixel level.
  • the common training method of multi-layer deep learning models is to use loss functions to perform deep supervision training on deep learning models, that is, directly use loss functions to constrain the feature maps of each layer of the model.
  • the cross entropy loss function can only quantify the difference between the feature maps of each layer and the ground truth results, and it cannot constrain the relationship between feature maps. Therefore, the deep learning model cannot optimize each feature map in a targeted manner based on the complementary information between different feature maps, so its segmentation accuracy is still unsatisfactory.
  • the purpose of the embodiments of this specification is to provide an image segmentation method based on a loss function of complementary information.
  • the present application provides an image segmentation method based on a loss function of complementary information, the method comprising:
  • the image to be segmented is input into a multi-layer deep learning model to obtain a mask including the lesion area;
  • the loss function is used to supervise the training of the multi-layer deep learning model.
  • the loss function includes False positive-negative loss function based on complementary information,
  • the false positive-negative loss function based on complementary information is used to characterize the complementary information between feature maps of different layers.
  • the false positive-negative loss function based on complementary information includes a false positive loss function and a false negative loss function
  • the false positive loss function is used to suppress the feature map of deep layer with low spatial resolution to reduce the non-lesion area being mistaken for the lesion area;
  • the false negative loss function is used to constrain the shallow high spatial resolution feature map to reduce the misclassification of lesion areas as non-lesion areas.
  • the false positive-negative loss function based on complementary information is determined by weighting the false positive loss function and the false negative loss function.
  • the false positive loss function L FPi of the i-th layer feature map F i is:
  • GT represents the real lesion area corresponding to the current image to be segmented, and It is the inversion of GT, FP g is the false positive segmentation mask obtained from the feature map F g that is deeper than the current layer feature map; L Dice represents the false positive segmentation mask FP g of the feature map and The Dice loss function value between .
  • Conv represents the 1 ⁇ 1 convolution layer on the feature map Fg ;
  • Sigmoid() represents the sigmoid activation function;
  • Fg ⁇ GT represents the set difference operation between the feature map Fg and the ground truth lesion area.
  • the false negative loss function for:
  • FN i is the false negative segmentation template corresponding to the i-th layer feature map Fi ;
  • R g represents the segmentation result of the feature map F g ;
  • L Dice represents the Dice loss function value between FN i and R g .
  • Sigmoid() represents the sigmoid activation function
  • Conv represents the 1 ⁇ 1 convolutional layer.
  • the loss function also includes a segmentation loss function.
  • the segmentation loss function includes a Dice loss function and a CE loss function; the Dice loss function and the CE loss function are arranged in each layer of the multi-layer deep learning model to constrain the difference between the feature map of the current layer and the ground truth result.
  • the loss function is determined by weighting a false positive-negative loss function based on complementary information and a segmentation loss function.
  • this solution makes full use of the complementary information between feature maps of different layers, performs targeted optimization on each layer of feature maps to improve the segmentation results, and has higher detection accuracy.
  • FIG1 is a schematic diagram of a flow chart of an image segmentation method based on a loss function of complementary information provided by the present application;
  • FIG2 is a visualization diagram of the feature map generation process in the false positive-negative loss function based on complementary information provided by the present application;
  • FIG3 is a schematic diagram of the training method of the multi-layer deep learning model provided in this application.
  • the encoder for a deep learning model trained using the Deep Supervision training method, for a multi-layer deep learning model, its encoder (Encoder) will generate 4 feature maps (F1, F2, F3, F4) with different spatial resolutions. Then, the decoder (Decoder) of the multi-layer deep learning model takes the above 4 feature maps (F1, F2, F3, F4) with different spatial resolutions as input, and generates 3 decoder feature maps (D1, D2, D3) in sequence through upsampling and convolution operations.
  • each decoder feature map (D1, D2, D3) is measured with the ground truth result (Ground Truth) through the loss function to generate the corresponding 3 loss function values (L1, L2, L3). Then the multi-layer deep learning model uses the 3 loss function values (L1, L2, L3) to update the parameters of the model and optimize the network parameters.
  • the above-mentioned deep supervision deep learning model training method is proposed for natural images; and because the training method measures the feature map of each layer (D1, D2, D3) separately with the ground truth result (GroundTruth), it is unable to characterize the correlation between feature maps of different layers, and the deep learning model is unable to mine the feature information missing from the feature maps of other layers in the current layer.
  • this application combines the characteristics of the lesion area (or called lesion area) in the ultrasound image and proposes an image segmentation method based on the loss function of complementary information, which can specifically constrain the relationship between the feature maps of different layers in the multi-layer deep learning model. Then, during the training process, the deep learning model optimizes and completes each layer of the feature map in a targeted manner, greatly improving the accuracy of lesion segmentation, and providing more possibilities for the application of computer-aided systems based on deep learning in the field of clinical medical imaging.
  • FIG. 1 which shows a flow chart of an image segmentation method based on a complementary information loss function provided in an embodiment of the present application.
  • the image segmentation method based on the loss function of complementary information may include:
  • the image to be segmented may be an ultrasound image, which may be an image in a stored data set or an image collected clinically.
  • a loss function is used to supervise the training of the multi-layer deep learning model.
  • the loss function includes a false positive-negative loss function based on complementary information.
  • the false positive-negative loss function based on complementary information is used to characterize the complementary information between feature maps of different layers.
  • a false positive-negative loss function based on complementary information enables a multi-layer deep learning model (or simply a deep learning model, or an ultrasound image segmentation network called a false positive-negative loss function based on complementary information, or an ultrasound image segmentation network, etc.) to further suppress non-lesion tissue noise in shallow feature maps and enhance more target liver lesion tissue details in deep feature maps.
  • a multi-layer deep learning model or simply a deep learning model, or an ultrasound image segmentation network called a false positive-negative loss function based on complementary information, or an ultrasound image segmentation network, etc.
  • the false positive-negative loss function based on complementary information used in training multi-layer deep learning models can characterize the complementary information between feature maps of different layers, helping the multi-layer deep learning model to perform targeted optimization and completion of each layer of feature maps, which is used to improve the speed and accuracy of automatic detection of lesions in computer-assisted ultrasound images.
  • the false positive-negative loss function based on complementary information includes a false positive loss function and a false negative loss function
  • the false positive loss function is used to suppress the feature maps with low spatial resolution in the deep layer to minimize the possibility that the non-lesion area is mistaken for the lesion area;
  • the false negative loss function is used to constrain the shallow high spatial resolution feature maps to reduce the possibility of lesion areas being misclassified as non-lesion areas.
  • the feature map generation process in the false positive-negative loss function (or simply referred to as the false positive-negative loss function) based on complementary information is visualized: FP g , R g and FN i .
  • the yellow rectangle represents the tumor segmentation area of the feature map F g that is one layer deeper than the current layer feature map
  • the blue rectangle represents the segmented tumor area of the feature map F i of the current layer (i-th layer)
  • the green rectangle is the ground truth tumor area (Ground Truth). Note that only the pink area pixel values are set to 1, and all other pixel values are set to 0.
  • the false positive-negative loss function LFPN based on complementary information proposed in this application is used to complete the tumor lesion area missing in the feature map F i (1 ⁇ i ⁇ 4) of each layer of the multi-layer deep learning model, and suppress the non-tumor area part located in the potential tumor area.
  • FPg Sigmoid(Conv(F g ⁇ GT))
  • Conv represents a 1 ⁇ 1 convolutional layer on the feature map F g .
  • Sigmoid() represents the sigmoid activation function.
  • F g ⁇ GT represents the set difference operation between the feature map F g and the ground truth tumor region (Ground Truth). Then, we use the classic Dice indicator in image segmentation to represent the difference between FP g and The difference between them is used to guide the training of the deep learning model to eliminate the non-liver area at FP g , which is represented by letters.
  • GT represents the real tumor area corresponding to the current ultrasound image (i.e., the image to be segmented), and It is the inverse of GT, that is, the pixel value 1 in GT becomes 0, and the pixel value 0 in GT becomes 1.
  • L Dice represents the feature map FP g and The Dice loss function value between .
  • FN i GT-GT ⁇ Sigmoid(Conv(F i ))
  • Conv represents a 1 ⁇ 1 convolution layer.
  • Rg Sigmoid(Conv( Fg ))
  • L Dice represents the Dice loss function value between FNi and Rg .
  • the weight ⁇ 1 can be set according to experimental results, for example, set to 1.
  • Dice loss function used in the loss function of the embodiment of the present application can adopt the loss function of other processes, such as cross entropy (CE) and the like.
  • the loss function also includes a segmentation loss function.
  • the segmentation loss function L Seg includes a Dice loss function and a CE loss function; the Dice loss function and the CE loss function are arranged in each layer of the multi-layer deep learning model to constrain the difference between the feature map of the current layer and the ground truth result (GroundTruth), and guide the training of the multi-layer deep learning model.
  • L Total L FPN + ⁇ 2 L Seg
  • FIG. 3 it is a schematic diagram of the training method of the multi-layer deep learning model.
  • the input image is input into the multi-layer encoder, and the encoder will generate feature maps (F1, F2, F3, F4) of different spatial resolutions in turn.
  • the feature map (F1, F2, F3, F4) generated by the encoder is input into the multi-layer decoder in turn, and the decoder generates multiple feature maps (D1, D2, D3) of different spatial resolutions.
  • the Dice loss function and the cross entropy loss function are arranged to characterize the difference between the decoder feature map (D1, D2, D3) of each layer and the ground truth result, and the parameters of the model are updated by back propagation.
  • the present application uses the proposed false positive-negative loss function to associate the feature maps of two adjacent layers, and uses the corresponding loss function value to characterize the complementary loss function values of the two, and updates the parameters of the model by back propagation, so as to promote the model to produce more accurate output results.
  • the image segmentation method based on the complementary information loss function provided in this application makes full use of the complementary information between feature maps of different layers, performs targeted optimization on each layer of feature maps to improve the segmentation results, and has higher detection accuracy.
  • the method provided by this application is superior to existing methods in all mainstream detection accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种基于互补信息的损失函数的影像分割方法，该方法包括：获取待分割影像；将待分割影像输入至多层深度学习模型，得到包括病灶区域的遮照；其中，采用损失函数对多层深度学习模型进行监督训练，损失函数包括基于互补信息的假阳性-阴性损失函数，基于互补信息的假阳性-阴性损失函数用于表征不同层特征图之间的互补性信息。该方案充分利用了不同层特征图之间的互补性信息，对每一层特征图进行针对性优化以提升分割结果，拥有更高的检测精度。

Description

一种基于互补信息的损失函数的影像分割方法 技术领域
本发明属于图像分割技术领域，特别涉及一种基于互补信息的损失函数的影像分割方法。
背景技术
利用计算机自动地对超声图像中病变区域进行精准分割对于计算机辅助临床检查和治疗至关重要的。该任务可以被表述为一个对超声波单张图像进行二进制标注的问题，即利用计算机辅助系统对超声数据中的病变区域自动地进行像素级标注。
最近，深度学习模型依靠深层的网络架构、大量的可训练参数已经在图像处理领域展现出优异的性能。很多学者提出了新颖且性能出色的多层深度学习模型架构，但是目前深度学习模型的训练方式却鲜有创新。
目前常见的多层深度学习模型训练方式是使用损失函数对深度学习模型进行深监督训练，即：直接使用损失函数对模型每一层的特征图进行约束。但是，交叉熵损失函数只能量化每一层特征图与地面真实结果之间的差异，其无法对特征图与特征图之间的关系进行约束，因此深度学习模型无法根据不同特征图之间的互补性信息对每一张特征图进行针对性地优化，因此其分割精度依然差强人意。
发明内容
本说明书实施例的目的是提供一种基于互补信息的损失函数的影像分割方法。
为解决上述技术问题，本申请实施例通过以下方式实现的：
本申请提供一种基于互补信息的损失函数的影像分割方法，该方法包括：
获取待分割影像；
将待分割影像输入至多层深度学习模型，得到包括病灶区域的遮照；
其中，采用损失函数对多层深度学习模型进行监督训练，损失函数包括基于 互补信息的假阳性-阴性损失函数，基于互补信息的假阳性-阴性损失函数用于表征不同层特征图之间的互补性信息。
在其中一个实施例中，基于互补信息的假阳性-阴性损失函数包括假阳性损失函数和假阴性损失函数；
其中，假阳性损失函数用于抑制深层低空间分辨率的特征图，以减少非病灶区域被误认为病灶区域；
假阴性损失函数用于约束浅层高空间分辨率的特征图，以减少病变区域被错误归类为非病变区域。
在其中一个实施例中，基于互补信息的假阳性-阴性损失函数根据假阳性损失函数和假阴性损失函数加权和确定。
在其中一个实施例中，第i层特征图Fi的假阳性损失函数LFPi为：
其中，GT表示当前待分割影像对应的真实病灶区域，而是GT的逆转，FPg为从相对于当前层特征图更深一层的特征图Fg中获得假阳性分割掩码；LDice表示特征图的假阳性分割掩码FPg与之间的Dice损失函数值。
在其中一个实施例中，假阳性分割掩码FPg通过特征图Fg上的1×1卷积层和Sigmoid函数计算得到：
FPg＝Sigmoid(Conv(Fg\GT))
其中，Conv表示特征图Fg上的1×1卷积层；Sigmoid()表示sigmoid激活函数；Fg\GT表示特征图Fg和地面真实病灶区域之间的集合差值运算操作。
在其中一个实施例中，假阴性损失函数为：
其中，FNi为第i层特征图Fi对应的假阴性分割模板；Rg表示特征图Fg的分割结果；LDice表示FNi和Rg之间的Dice损失函数值。
在其中一个实施例中，假阴性分割模板FNi通过当前待分割影像对应的真实病灶区域GT和当前第i层特征图Fi计算得到：
FNi＝GT-GT∩Sigmoid(Conv(Fi))
其中，Sigmoid()表示sigmoid激活函数，Conv表示的1×1卷积层。
在其中一个实施例中，损失函数还包括分割损失函数。
在其中一个实施例中，分割损失函数包括Dice损失函数和CE损失函数；Dice损失函数和CE损失函数布置于多层深度学习模型的每一层，用于约束当前层特征图与地面真实结果之间的差异。
在其中一个实施例中，损失函数根据基于互补信息的假阳性-阴性损失函数和分割损失函数加权和确定。
由以上本说明书实施例提供的技术方案可见，该方案：充分利用了不同层特征图之间的互补性信息，对每一层特征图进行针对性优化以提升分割结果，拥有更高的检测精度。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的基于互补信息的损失函数的影像分割方法的流程示意图；
图2为本申请提供的基于互补信息的假阳性-阴性损失函数中特征图生成过程的可视化示意图；
图3为本申请提供的多层深度学习模型的训练方法示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之 类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
在不背离本申请的范围或精神的情况下，可对本申请说明书的具体实施方式做多种改进和变化，这对本领域技术人员而言是显而易见的。由本申请的说明书得到的其他实施方式对技术人员而言是显而易见得的。本申请说明书和实施例仅是示例性的。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
本申请中的“份”如无特别说明，均按质量份计。
相关技术中，采用Deep Supervision(深监督)训练方法训练的深度学习模型，对于一个多层的深度学习模型，其编码器(Encoder)会产生4个不同空间分辨率的特征图(F1,F2,F3,F4)。然后，多层的深度学习模型的解码器(Decoder)将上述4个不同空间分辨率的特征图(F1,F2,F3,F4)作为输入，通过上采样和卷积操作依次生成3个解码器特征图(D1,D2,D3)。对于深监督训练方式，每一个解码器特征图(D1,D2,D3)都通过损失函数分别与地面真实结果(Ground Truth)进行度量，生成对应的3个损失函数值(L1,L2,L3)。然后多层深度学习模型利用3个损失函数值(L1,L2,L3)对该模型进行参数更新、优化网络参数。
而上述深监督深度学习模型训练方法是针对自然影像提出的；以及由于该训练方法是将每一层的特征图(D1,D2,D3)单独与地面真实结果(GroundTruth)进行度量，因此其无法表征出不同层特征图之间的关联性，深度学习模型也就无法从其它层的特征图中挖掘到当前层特征图所缺失的特征信息。
基于上述缺陷，本申请结合超声影像中病灶区域(或称为病变区域)的特征，提出一种基于互补信息的损失函数的影像分割方法，可以针对性的对多层深度学习模型中不同层特征图之间的关系进行约束，进而在训练的过程中深度学习模型对每一层特征图进行针对性地优化补全，大大提升病灶分割精度，为基于深度学习的计算机辅助系统在临床医学影像领域的应用提供了更多的可能性。
下面结合附图和实施例对本发明进一步详细说明。
参照图1，其示出了适用于本申请实施例提供的基于互补信息的损失函数的影像分割方法的流程示意图。
如图1所示，基于互补信息的损失函数的影像分割方法，可以包括：
S110、获取待分割影像。
具体的，待分割影像可以为超声图像，该图像可以为存储的数据集中的图像，也可以为临床采集的图像。
S120、将待分割影像输入至多层深度学习模型，得到包括病灶区域的遮照；
其中，采用损失函数对多层深度学习模型进行监督训练，损失函数包括基于互补信息的假阳性-阴性损失函数，基于互补信息的假阳性-阴性损失函数用于表征不同层特征图之间的互补性信息。
具体的，基于互补信息的假阳性-阴性损失函数以使一个多层深度学习模型(或简称深度学习模型，或称为基于互补信息的假阳性-阴性损失函数的超声影像分割网络，或超声影像分割网络等)能够进一步抑制浅层特征图的非病变组织噪声，并在深层特征图中将更多的目标肝脏病变组织细节进行增强。
训练多层深度学习模型时采用的基于互补信息的假阳性-阴性损失函数可以表征出不同层特征图之间的互补性信息，帮助多层深度学习模型对每一层特征图进行针对性的优化补全，用于提升计算机系统辅助超声图像病灶自动检测速度和精度。
其中，基于互补信息的假阳性-阴性损失函数包括假阳性损失函数和假阴性损失函数；
其中，假阳性损失函数用于抑制深层低空间分辨率的特征图，以尽量减少非病灶区域被误认为病灶区域的可能性；
假阴性损失函数用于约束浅层高空间分辨率的特征图，以减少病变区域被错误归类为非病变区域的可能性。
如图2所示为基于互补信息的假阳性-阴性损失函数(或简称为假阳性-阴性损失函数)中特征图生成过程的可视化：FPg、Rg和FNi。其中，黄色矩形表示相对于当前层特征图更深一层的特征图Fg肿瘤分割区域，蓝色矩形表示当前层(第i层)特征图Fi的分割肿瘤区域，绿色矩形是地面真实肿瘤区域(Ground  Truth)。注意，只有粉红色区域像素值被设置为1，其它像素值被设置为0。
本申请提出的基于互补信息的假阳性-阴性损失函数LFPN，以补全多层深度学习模型每一层特征图Fi(1<i<4)所缺失的肿瘤病变区域，并抑制位于潜在肿瘤区域中的非肿瘤区域部分。
具体地，我们首先从相对于当前层特征图更深一层的特征图Fg中获得假阳性分割掩码FPg(参见图2)。FPg可以通过利用Fg上的1×1卷积层和Sigmoid函数来计算：
FPg＝Sigmoid(Conv(Fg\GT))
其中，Conv表示特征图Fg上的1×1卷积层。Sigmoid()表示sigmoid激活函数。Fg\GT表示特征图Fg和地面真实肿瘤区域(Ground Truth)之间的集合差值运算操作。然后，我们利用图像分割中的经典指标Dice以表示出FPg和之间的差异大小用以指导深度学习模型的训练，从而消除FPg处的非肝脏区域，用字母表示为
通过这样做，使得特征图Fi中的非肝脏区域得到进一步抑制。在第i层的损失函数的定义由下式给出：
其中，GT表示当前超声影像(即待分割影像)对应的真实肿瘤区域，而是GT的逆转，即：GT中像素值1的地方变成0，GT中像素值为0的地方变成1。LDice表示特征图FPg与之间的Dice损失函数值。
我们进一步利用GT和当前第i层特征图Fi进行计算，得到Fi对应的假阴性分割模板FNi。具体来说，FNi是利用GT减去GT与Fi的交集所得到的，其数学公式表述如下：
FNi＝GT-GT∩Sigmoid(Conv(Fi))
其中，Conv表示的1×1卷积层。此外，我们使用Rg来表示Fg的分割结果，因此Rg可以被计算为：
Rg＝Sigmoid(Conv(Fg))
然后，我们利用图像分割中的经典指标Dice表示第i层中的FNi与Rg之间的差异性，用字母表示为以这种方式，我们可以引导深度学习模型更好地补全第i层的特征图Fi所缺失的肿瘤病变区域。
数学上，计算公式可以表示为：
其中，LDice表示FNi和Rg之间的Dice损失函数值。
最后，我们将网络中每一层特征图对应的损失函数值与加权相加得到整个假阳性-阴性损失函数LFPN：
其中，权重λ1可以根据实验结果设定，例如设为1。
可以理解的，本申请实施例损失函数中采用的Dice损失函数可以采用其他流程的损失函数，例如交叉熵(CE)等。
一个实施例中，损失函数还包括分割损失函数。其中，分割损失函数LSeg包括Dice损失函数和CE损失函数；Dice损失函数和CE损失函数布置于多层深度学习模型的每一层，用于约束当前层特征图与地面真实结果(GroundTruth)之间的差异，指导多层深度学习模型的训练。
通过将LFPN和分割损失函数LSeg相加，我们可以得到网络的整体损失函数LTotal：
LTotal＝LFPN+λ2LSeg
其中，权重λ2用于平衡LFPN和LSeg，λ2可以根据实验结果设定，例如将其设定为1(即λ2＝1)。
本申请最小化整体损失函数LTotal。
如图3所示为多层深度学习模型的训练方法示意图，首先，将输入图像输入至多层的编码器中，编码器依次会产生不同空间分辨率的特征图(F1,F2,F3,F4)。接下来，编码器生成的特征图(F1,F2,F3,F4)依次输入至多层的解码器中，解码器产生多个不同空间分辨率的特征图(D1,D2,D3)。在解码器的每一层，布置了Dice损失函数和交叉熵损失函数来表征出每一层的解码器特征图(D1,D2,D3)与地面真实结果之间的差异，并通过反向传播更新模型的参数。此外，本申请利用提出的假阳性-阴性损失函数将相邻两层的特征图关联起来，并用对应的损失函数值表征出二者的互补性损失函数值，通过反向传播更新模型的参数，促进模型产生更加精准的输出结果。
本申请提供的基于互补信息的损失函数的影像分割方法，充分利用了不同层特征图之间的互补性信息，对每一层特征图进行针对性优化以提升分割结果，拥有更高的检测精度。
本申请已经进行试验验证，实验结果表明，采用本申请提供基于互补信息的损失函数的影像分割方法与现有技术相比，能够显著提升多层深度学习模型的精度。
我们使用519张分辨率为240×240的临床肝脏肿瘤超声图像数据对本申请进行检验测试。为了定量对比，除帧率外我们还使用5个具有说服力的指标参数进行比较，分别是：Dice、Accuracy、Jaccard、APD、HD。
实验结果如下所示：
由表格可知，本申请提供的方法在所有主流检测精度中都优于现有方法。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要 素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

  1. 一种基于互补信息的损失函数的影像分割方法，其特征在于，所述方法包括：
    获取待分割影像；
    将所述待分割影像输入至多层深度学习模型，得到包括病灶区域的遮照；
    其中，采用损失函数对所述多层深度学习模型进行监督训练，所述损失函数包括基于互补信息的假阳性-阴性损失函数，所述基于互补信息的假阳性-阴性损失函数用于表征不同层特征图之间的互补性信息。
  2. 根据权利要求1所述的方法，其特征在于，所述基于互补信息的假阳性-阴性损失函数包括假阳性损失函数和假阴性损失函数；
    其中，所述假阳性损失函数用于抑制深层低空间分辨率的特征图，以减少非病灶区域被误认为病灶区域；
    所述假阴性损失函数用于约束浅层高空间分辨率的特征图，以减少病变区域被错误归类为非病变区域。
  3. 根据权利要求2所述的方法，其特征在于，所述基于互补信息的假阳性-阴性损失函数根据所述假阳性损失函数和所述假阴性损失函数加权和确定。
  4. 根据权利要求2或3所述的方法，其特征在于，第i层特征图Fi的假阳性损失函数为：
    其中，GT表示当前所述待分割影像对应的真实病灶区域，而是GT的逆转，FPg为从相对于当前层特征图更深一层的特征图Fg中获得假阳性分割掩码；LDice表示特征图的假阳性分割掩码FPg与之间的Dice损失函数值。
  5. 根据权利要求4所述的方法，其特征在于，所述假阳性分割掩码FPg通过特征图Fg上的1×1卷积层和Sigmoid函数计算得到：
    FPg＝Sigmoid(Conv(Fg\GT))
    其中，Conv表示特征图Fg上的1×1卷积层；Sigmoid()表示sigmoid激活函数；Fg\GT表示特征图Fg和地面真实病灶区域之间的集合差值运算操作。
  6. 根据权利要求2或3所述的方法，其特征在于，所述假阴性损失函数为：
    其中，FNi为第i层特征图Fi对应的假阴性分割模板；Rg表示特征图Fg的分割结果；LDice表示FNi和Rg之间的Dice损失函数值。
  7. 根据权利要求6所述的方法，其特征在于，所述假阴性分割模板FNi通过当前所述待分割影像对应的真实病灶区域GT和当前第i层特征图Fi计算得到：
    FNi＝GT-GT∩Sigmoid(Conv(Fi))
    其中，Sigmoid()表示sigmoid激活函数，Conv表示的1×1卷积层。
  8. 根据权利要求1所述的方法，其特征在于，所述损失函数还包括分割损失函数。
  9. 根据权利要求8所述的方法，其特征在于，所述分割损失函数包括Dice损失函数和CE损失函数；所述Dice损失函数和所述CE损失函数布置于所述多层深度学习模型的每一层，用于约束当前层特征图与地面真实结果之间的差异。
  10. 根据权利要求8或9所述的方法，其特征在于，所述损失函数根据所述基于互补信息的假阳性-阴性损失函数和所述分割损失函数加权和确定。
PCT/CN2023/080093 2023-03-07 2023-03-07 一种基于互补信息的损失函数的影像分割方法 Ceased WO2024183000A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2023/080093 WO2024183000A1 (zh) 2023-03-07 2023-03-07 一种基于互补信息的损失函数的影像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2023/080093 WO2024183000A1 (zh) 2023-03-07 2023-03-07 一种基于互补信息的损失函数的影像分割方法

Publications (1)

Publication Number Publication Date
WO2024183000A1 true WO2024183000A1 (zh) 2024-09-12

Family

ID=92673943

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/080093 Ceased WO2024183000A1 (zh) 2023-03-07 2023-03-07 一种基于互补信息的损失函数的影像分割方法

Country Status (1)

Country Link
WO (1) WO2024183000A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102321A (zh) * 2020-08-07 2020-12-18 深圳大学 一种基于深度卷积神经网络的病灶图像分割方法及系统
CN112819763A (zh) * 2021-01-25 2021-05-18 北京工业大学 基于Guide-MultiScale-Net端到端的三维乳腺超声图像肿瘤分割方法
WO2022151755A1 (zh) * 2021-01-15 2022-07-21 上海商汤智能科技有限公司 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序
US20220383621A1 (en) * 2020-03-06 2022-12-01 Genentech, Inc. Class-disparate loss function to address missing annotations in training data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220383621A1 (en) * 2020-03-06 2022-12-01 Genentech, Inc. Class-disparate loss function to address missing annotations in training data
CN112102321A (zh) * 2020-08-07 2020-12-18 深圳大学 一种基于深度卷积神经网络的病灶图像分割方法及系统
WO2022151755A1 (zh) * 2021-01-15 2022-07-21 上海商汤智能科技有限公司 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序
CN112819763A (zh) * 2021-01-25 2021-05-18 北京工业大学 基于Guide-MultiScale-Net端到端的三维乳腺超声图像肿瘤分割方法

Similar Documents

Publication Publication Date Title
WO2022151755A1 (zh) 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN114419020B (zh) 医学图像分割方法、装置、计算机设备及存储介质
Meng et al. A cervical histopathology dataset for computer aided diagnosis of precancerous lesions
CN111242953B (zh) 一种基于条件生成对抗网络的mr图像分割方法及装置
CN118334336A (zh) 阴道镜图像分割模型构建方法、图像分类方法和装置
CN106599549A (zh) 一种计算机辅助诊断系统、方法及其医疗系统
CN117876690A (zh) 一种基于异构UNet的超声影像多组织分割方法和系统
CN111951278B (zh) 医学图像的分割方法和计算机可读存储介质
CN121120725A (zh) 一种多模态医学影像数据智能处理系统
Qi et al. Automatic lacunae localization in placental ultrasound images via layer aggregation
Jha et al. Instance segmentation for whole slide imaging: end-to-end or detect-then-segment
CN114549452A (zh) 基于半监督深度学习的新冠肺炎ct图像分析方法
Wang et al. Medical matting: a new perspective on medical segmentation with uncertainty
CN119943297B (zh) 基于深度学习的医疗影像数据处理方法及系统
CN118710912A (zh) 一种半监督图像分割方法
Chen et al. Attention gate and dilation U-shaped network (GDUNet): an efficient breast ultrasound image segmentation network with multiscale information extraction
CN113011514A (zh) 基于双线性池化应用于ct影像的颅内出血亚类型分类算法
CN115222675B (zh) 一种基于深度学习的子宫肌瘤自动分型方法及装置
Wang et al. Efficient hierarchical multiscale convolutional attention for accurate medical image segmentation: B. Wang et al.
Liu et al. An end to end thyroid nodule segmentation model based on optimized U-net convolutional neural network
CN115222651A (zh) 一种基于改进Mask R-CNN的肺结节检测系统
WO2024183000A1 (zh) 一种基于互补信息的损失函数的影像分割方法
CN118542688A (zh) 心胸比的确定方法及装置、程序产品及医疗设备
CN118212208A (zh) 一种基于改进特征金字塔网络的口腔x线片慢性根尖周炎诊断系统及诊断方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23925723

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23925723

Country of ref document: EP

Kind code of ref document: A1