WO2024012251A1 - 语义分割模型训练方法、装置、电子设备及存储介质 - Google Patents

语义分割模型训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2024012251A1
WO2024012251A1 PCT/CN2023/104527 CN2023104527W WO2024012251A1 WO 2024012251 A1 WO2024012251 A1 WO 2024012251A1 CN 2023104527 W CN2023104527 W CN 2023104527W WO 2024012251 A1 WO2024012251 A1 WO 2024012251A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
text
features
semantic segmentation
model
Prior art date
Application number
PCT/CN2023/104527
Other languages
English (en)
French (fr)
Inventor
覃杰
吴捷
肖学锋
Original Assignee
北京字跳网络技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京字跳网络技术有限公司 filed Critical 北京字跳网络技术有限公司
Publication of WO2024012251A1 publication Critical patent/WO2024012251A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例提供一种语义分割模型训练方法、装置、电子设备及存储介质，通过获取样本图像，并通过待训练语义分割模型提取样本图像对应的视觉图像特征；处理样本图像，得到样本图像对应的文本图像特征，文本图像特征是由针对样本图像的语言描述文本生成的图像特征；融合视觉图像特征和文本图像特征，得到多模态特征，并基于多模态特征进行图像分割预测，得到目标损失；基于目标损失对待训练语义分割模型进行训练，得到目标语义分割模型。

Description

语义分割模型训练方法、装置、电子设备及存储介质
相关申请交叉引用
本申请要求于2022年07月11日提交中国专利局、申请号为202210853729.8、发明名称为“语义分割模型训练方法、装置、电子设备及存储介质”的中国专利申请的优先权，其全部内容通过引用并入本文。
技术领域
本公开实施例涉及图像处理技术领域，尤其涉及一种语义分割模型训练方法、装置、电子设备及存储介质。
背景技术
图像语义分割，是指通过对图像中的内容进行识别，从而实现将图像中表达不同含义的物体分割为不同目标的技术，通常是通过部署训练好的语义分割模型，来实现针对图像的语义分割，广泛应用于各类应用中。
现有技术中，语义分割模型的训练，是通过获取样本图像，并针对样本图像中视觉信息进行学习，从而使训练后的模型可以基于输入图像的视觉信息来进行语义分割。
发明内容
本公开实施例提供一种语义分割模型训练方法、装置、电子设备及存储介质。
第一方面，本公开实施例提供一种语义分割模型训练方法，包括：
获取样本图像，并通过待训练语义分割模型提取所述样本图像对应的视觉图像特征；处理所述样本图像，得到所述样本图像对应的文本图像特征，所述文本图像特征是由针对所述样本图像的语言描述文本生成的图像特征；融合所述视觉图像特征和所述文本图像特征，得到多模态特征，并基于所述多模态特征进行图像分割预测，得到目标损失；基于所述目标损失对所述待训练语义分割模型进行训练，得到目标语义分割模型。
第二方面，本公开实施例提供一种图像语义分割的方法，包括：
获取目标图像；提取所述目标图像对应的视觉图像特征和文本图像特征，其中，所述文本图像特征是由针对所述目标图像的语言描述文本生成的图像特征；融合所述视觉图像特征和所述文本图像特征，得到多模态特征，并基于所述多模态特征进行图像分割，得到图像分割结果。
第三方面，本公开实施例提供一种语义分割模型训练装置，包括：
视觉模块，用于获取样本图像，并通过待训练语义分割模型提取所述样本图像对应的视觉图像特征；
文本模块，用于处理所述样本图像，得到所述样本图像对应的文本图像特征，所述文本图像特征是由针对所述样本图像的语言描述文本生成的图像特征；
融合模块，用于融合所述视觉图像特征和所述文本图像特征，得到多模态特征，并基于所述多模态特征进行图像分割预测，得到目标损失；
训练模块，用于基于所述目标损失对所述待训练语义分割模型进行训练，得到目标语义分割模型。
第四方面，本公开实施例提供一种图像语义分割的装置，包括：
获取模块，用于获取目标图像；
提取模块，用于提取所述目标图像对应的视觉图像特征和文本图像特征，其中，所述文本图像特征是由针对所述目标图像的语言描述文本生成的图像特征；
分割模块，用于融合所述视觉图像特征和所述文本图像特征，得到多模态特征，并基于所述多模态特征进行图像分割，得到图像分割结果。
第五方面，本公开实施例提供一种电子设备，包括：
处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如上第一方面以及第一方面各种可能的设计所述的语义分割模型训练方法；或者，以实现如上第二方面以及第二方面各种可能的设计所述的图像语义分割的方法。
第六方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的语义分割模型训练方法；或者，实现如上第二方面以及第二方面各种可能的设计所述的图像语义分割的方法。
第七方面，本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的语义分割模型训练方法；或者，实现如上第二方面以及第二方面各种可能的设计所述的图像语义分割的方法。
第八方面，本公开实施例提供一种计算机程序，所述计算机程序用于实现如上第一方面以及第一方面各种可能的设计所述的语义分割模型训练方法；或者，实现如上第二方面以及第二方面各种可能的设计所述的图像语义分割的方法。
本公开实施例提供的语义分割模型训练方法、装置、电子设备及存储介质，通过获取样本图像，并通过待训练语义分割模型提取所述样本图像对应的视觉图像特征；处理所述样本图像，得到所述样本图像对应的文本图像特征，所述文本图像特征是由针对所述样本图像的语言描述文本生成的图像特征；融合所述视觉图像特征和所述文本图像特征，得到多模态特征，并基于所述多模态特征进行图像分割预测，得到目标损失；基于所述目标损失对所述待训练语义分割模型进行训练，得到目标语义分割模型。由于在对模型进行训练的过程中，在样本图像的视觉特征的基础上，融合了样本图像的文本特征，生成多模态特征，利用该多模态特征对模型进行训练，更加充分的挖掘出了样本图像中的有效信息。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些 实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的语义分割模型训练方法的一种应用场景图；
图2为本公开实施例提供的语义分割模型训练方法的流程示意图一；
图3为图2所示实施例中步骤S102的具体实现步骤流程图；
图4为本公开实施例提供的一种基于第一文本模型处理样本图像的过程示意图；
图5为本公开实施例提供的一种获得目标损失的过程示意图；
图6为本公开实施例提供的语义分割模型训练方法的流程示意图二；
图7为本公开实施例提供的一种待训练语义分割模型的示意图；
图8为图6所示实施例中步骤S209的具体实现步骤流程图；
图9为本公开实施例提供的语义分割模型训练装置的结构框图；
图10为本公开实施例提供的一种电子设备的结构示意图；
图11为本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
下面对本公开实施例的应用场景进行解释：
图1为本公开实施例提供的语义分割模型训练方法的一种应用场景图，本公开实施例提供的语义分割模型训练方法，可以应用于语义分割模型部署前的模型训练的应用场景。具体地，本公开实施例提供的方法，可以应用于终端设备、服务器等用于模型训练的设备，图1中以服务器为例，如图1所示，示例性地，服务器内配置有待训练语义分割模型(图中示为待训练模型)。服务器接收到开发者用户通过开发终端设备发送的训练指令，利用本公开实施例提供的语义分割模型训练方法对该待训练模型进行模型训练，直至满足模型收敛条件后，得到目标语义分割模型(图中示为目标模型)。之后，服务器接收终端设备发送的部署指令(图中未示出)，进行模型部署，即将目标语义分割模型部署至用户终端设备，部署完成后，运行于用户终端设备中的目标语义分割模型可以响应于应用请求，提供图像语义分割服务。
现有技术中，图像语义分割模型的训练，是通过获取样本图像，并从图像的视觉特征层面对图像进行特征提取和学习，而使训练后的模型可以基于视觉特征层面的线索完成图像分割的任务，然而，图像所表达的信息非常丰富，仅提取样本图像的视觉特征进行学习，造成了样本图像中部分有效信息的丢失，从而导致了样本图像内的信息利用率低，需要更多的训练样本来进行训练，造成模型的整体训练效率低，训练后得到的模型性能差的问题。
本公开实施例提供一种语义分割模型训练方法，通过在获取样本图像的视觉特征的基础上，结合样本图像的文本特征，进行特征融合，得到多模态特征，并基于多模态特征进行模型训练，以提高样本图像中的信息利用率，从而解决上述问题。
参考图2，图2为本公开实施例提供的语义分割模型训练方法的流程示意图一。本实施例的方法可以应用于具有计算能力的电子设备，例如模型训练服务器、终端设备等，本实施例以终端设备作为执行主体进行介绍，该语义分割模型训练方法包括：
步骤S101：获取样本图像，并通过待训练语义分割模型提取样本图像对应的视觉图像特征。
示例性地，样本图像是指用于对待训练语义分割模型进行训练的图像，其中可以包括有标样本图像，也可以包括无标样本图像，其中，有标样本图像是提前进行标注，具有标签信息的图像，而无标样本图像即不具有标签信息的图像。进一步地，待训练语义分割模型是配置在服务器本地的模型，示例性地，待训练语义分割模型可以是仅完成初始化的模型，也可以是已经进行过预训练的模型，此处不限制。待训练语义分割模型可以对输入模型的图像进行语义分割预测，输出对应的语义分割图。
进一步地，待训练语义分割模型包括编码器-解码器结构，其中，将样本图像输入待训练语义分割模型后，待训练语义分割模型中的编码器用于对样本图像进行视觉特征提取，得到该样本图像对应的视觉特征图，即视觉图像特征；而待训练语义分割模型中的解码器，用于对特征图进行解码，从而得到预测结果，即分割图，具体实现过程在后续步骤中详细介绍，此处不再赘述。
步骤S102：处理样本图像，得到样本图像对应的文本图像特征，文本图像特征是由针对样本图像的语言描述文本生成的图像特征。
示例性地，另一方面，通过预训练的文本处理模型对样本图像进行特征提取，得到针对样本图像的语言描述文本的文本特征，即文本图像特征。具体地，例如，样本图像所表现的是一辆红色的汽车，则基于该预训练的文本处理模型对目标图像进行处理后，得到自然描述语言“一辆红色汽车”对应的图像高维表达，即文本图像特征。
示例性地，如图3所示，步骤S102的具体实现步骤包括：
步骤S1021：通过预训练的第一文本模型处理样本图像，得到样本图像对应的语言描述文本，语言描述文本用于表征样本图像中的图像内容。
图4为本公开实施例提供的一种基于第一文本模型处理样本图像的过程示意图，如图4所示，第一文本模型中包括第一文本编码器和第一文本解码器，首先，对输入的样本图像进行编码映射，得到图像特征向量(Image embedding)，之后，将图像特征向量输入第一文本编码器进行编码，得到第一文本特征(Text feature)；再之后，将第一文本特征输入第一文本解码器进行解码，得到图像对应的自然语言描述，即语言描述文本。如图4所示，样本图像中表现的是一辆行驶中的红色汽车，则经过第一文本模型的处理后，输出的语言描述文本为“一辆红色的小汽车在公路上”。
本实施例中，通过第一文本模型处理样本图像，实现了由“图像”向“文字”的映射，以文字的方式对图像内容进行抽象，得到了视觉特征无法表达的信息。其中，第一文本模型可以通过预训练而获得，此处不对其具体训练过程进行赘述。
步骤S1022：基于预训练的第二文本模型对语言描述文本进行编码，得到文本图像特征。
进一步地，在获得基于自然语言的语言描述文本后，对语言描述文本进行进一步的编码，将其映射为与视觉图像特征通道数相同的数据，即文本图像特征。文本图像特征 是样本图像的高维的特征表示，在后续步骤中，通过在视觉图像特征的基础上，结合文本图像特征，可以实现对样本图像中信息的进一步利用，从而提高对语义分割模型的训练效率。
其中，示例性地，第二文本模型为对比语言图像预训练(Contrastive Language-Image Pre-training，CLIP)模型，通过对比语言图像预训练模型，可以实现自然语言向图像特征的映射，其具体使用方法为本领域技术人员知晓的现有技术，此处不再赘述。
步骤S103：融合视觉图像特征和文本图像特征，得到多模态特征，并基于多模态特征进行图像分割预测，得到目标损失。
示例性地，在对样本图像从视觉特征维度和文字特征维度进行处理，分别得到对应的视觉图像特征和文本图像特征后，可以将视觉图像特征和文本图像特征进行加权融合，从而得到一个同时包含视觉图像特征和文本图像特征中的信息的特征数据，即多模态特征。在一种可能的实现方式中，融合视觉图像特征和文本图像特征，得到多模态特征的方法包括：在通道维度对视觉图像特征和文本图像特征进行级联，得到多模态特征。其中，视觉图像特征和文本图像特征进行级联的过程可通过式(1)表示：
F＝Cat(Fv，Ft)      (1)
其中，F表示多模态特征，Fv，表示视觉图像特征，Ft表示文本图像特征。
之后，将多模态特征输入待训练语义分割模型中的解码器，利用待训练语义分割模型中的解码器进行预测，得到图像分割的预测结果，即分割图。之后，基于样本图像的类型(有标样本图像或无标样本图像)，选用预设的损失函数计算该预测结果对应的损失值，即目标损失。
图5为本公开实施例提供的一种获得目标损失的过程示意图，如图5所示，一方面，将样本图像输入待训练语义分割模型后，经过编码器处理后，得到视觉图像特征；另一方面，将样本图像输入文本处理模型，经过其中的第一文本模型，得到语言描述文本，再对语言描述文本进行编码，得到文字特征向量(embedding)，将文字特征向量输入第二文本模型处理，得到文本图像特征，之后，将视觉图像特征和文本图像特征进行融合，生成多模态特征，将多模态特征输入解码器，得到预测结果，将预测结果输入预设的损失函数后，得到损失函数输出的目标损失。
其中，当样本图像中包括有标样本图像和无标样本图像时，可以通过对应的损失函数，生成有标数据对应的监督损失和无标数据对应的无监督损失，之后，基于监督损失和无监督损失的加权和，得到目标损失。其中，示例性地，监督损失和无监督损失对应的加权系数，可以基于具体需要设置，并可以动态调整，例如，在待训练语义分割模型的训练前期，设置有标样本图像对应的监督损失具有较大权重系数，以提高模型收敛速度，在待训练语义分割模型训练后期，可以设置无标样本图像对应的监督损失具有较大(或稍大)的权重系数，从而充分利用无标样本图像中的信息，提高待训练语义分割模型的性能。
步骤S104：基于目标损失对待训练语义分割模型进行训练，得到目标语义分割模型。
示例性地，在得到目标损失后，基于目标损失进行反向梯度传播，调整待训练语义分割模型的网络参数，得到优化后的语义分割模型，之后，将该优化后的语义分割模型 作为新的待训练语义分割模型重复上述过程，多次循环，直至待训练语义分割模型达到收敛条件后，该收敛的待训练语义分割模型即为目标语义分割模型。
在本实施例中，通过获取样本图像，并通过待训练语义分割模型提取样本图像对应的视觉图像特征；处理样本图像，得到样本图像对应的文本图像特征，文本图像特征是由针对样本图像的语言描述文本生成的图像特征；融合视觉图像特征和文本图像特征，得到多模态特征，并基于多模态特征进行图像分割预测，得到目标损失；基于目标损失对待训练语义分割模型进行训练，得到目标语义分割模型。由于在对模型进行训练的过程中，在样本图像的视觉特征的基础上，融合了样本图像的文本特征，生成多模态特征，利用该多模态特征对模型进行训练，更加充分的挖掘出了样本图像中的有效信息，因此提高了训练样本的利用效率，降低训练样本需求量，有效缩短模型的训练时间，提高训练后得到的目标语义分割模型的性能。
参考图6，图6为本公开实施例提供的语义分割模型训练方法的流程示意图二。本实施例在图2所示实施例的基础上，对步骤S101-S103进行细化，其中，待训练语义分割模型包括第一语义分割网络和第二语义分割网络，第一语义分割网络和第二语义分割网络具有不同的网络参数，该语义分割模型训练方法包括：
步骤S201：通过第一语义分割网络的第一编码器处理样本图像，得到第一视觉图像特征。
步骤S202：通过第二语义分割网络的第二编码器处理样本图像，得到第二视觉图像特征。
步骤S203：基于第一视觉图像特征和第二视觉图像特征，得到视觉图像特征。
示例性地，图7为本公开实施例提供的一种待训练语义分割模型的示意图，如图7所示，待训练语义分割模型包括第一语义分割网络和第二语义分割网络，其中，第一语义分割网络和第二语义分割网络均为编码器-解码器结构的网络，第一语义分割网络中包括串联的第一编码器和第一解码器，第二语义分割网络中包括串联的第二编码器和第二解码器，将同一张样本图像输入第一语义分割网络和第二语义分割网络后，基于第一编码器和第二编码器分别对该样本图像进行特征提取，得到对应的第一视觉图像特征(图中示为特征A)和第二视觉图像特征(图中示为特征B)。第一语义分割网络和第二语义分割网络虽然网络结构类似，但具有不同的网络参数，因此利用各自的编码器对样本图像进行处理后，得到的第一视觉图像特征和第二视觉图像特征不同。
进一步地，获得第一视觉图像特征和第二视觉图像特征后，第一视觉图像特征和第二视觉图像特征的集合即为视觉图像特征。在一种可能的实现方式中，样本图像包括有标样本图像和无标样本图像，此种情况下，第一语义分割网络中的第一编码器和第二语义分割网络中的第二编码器会分别对有标样本图像和无标样本图像进行处理，从而得到有标样本图像对应的第一有标视觉图像特征、第二有标视觉图像特征，以及无标数据对应的第一无标视觉图像特征、第二无标视觉图像特征。同时，在后续步骤中，针对第一有标视觉图像特征、第二有标视觉图像特征和第一无标视觉图像特征、第二无标视觉图像特征，进行针对性处理，从而实现同时利用有标样本和无标样本对模型进行半监督训练的过程，具体实现过程在后续步骤中详细介绍。
步骤S204：通过预训练的第一文本模型处理样本图像，得到样本图像对应的语言描 述文本，语言描述文本用于表征样本图像中的图像内容。
步骤S205：基于预训练的第二文本模型对语言描述文本进行编码，得到文本图像特征。
其中，步骤S204-S205为得到文本图像特征的具体实现过程，在图2所示实施例中已进行详细介绍，可参见步骤S102中的相关内容，此处不再赘述。
步骤S206：基于视觉图像特征，将文本图像特征分别与第一视觉图像特征和第二视觉图像特征进行融合，得到第一多模态特征和第二多模态特征。
步骤S207：通过第一语义分割网络的第一解码器处理第一多模态特征，得到第一分割图。
步骤S208：通过第二语义分割网络的第二解码器处理第二多模态特征，得到第二分割图。
参考图7所示，在得到第一视觉图像特征和第二视觉图像特征后，将文本图像特征分别与第一视觉图像特征和第二视觉图像特征进行逐通道级联，得到融合了第一视觉图像特征和文本图像特征的第一多模态特征(图中示为特征MA)，以及融合了第二视觉图像特征和文本图像特征的第二多模态特征(图中示为特征MB)。之后，基于第一语义分割网络和第二语义分割网络的网络结构，利用第一语义分割网络中的第一解码器和第二语义分割网络中的第二解码器，分别处理第一多模态特征和第二多模态特征，第一解码器和第二解码器用于对于图像分割结构进行预测，经过上述步骤后，可得到第一多模态特征对应的图像分割预测，即第一分割图，以及第二多模态特征对应的图像分割预测，即第二分割图。
在一种可能的实现方式中，当样本图像包括有标样本图像和无标样本图像时，相应的，有标样本图像进行文本特征提取后，得到对应的文本图像特征为有标文本图像特征；无标样本图像进行文本特征提取后，得到对应的文本图像特征为无标文本图像特征。之后，利用有标文本图像特征分别与第一有标视觉图像特征、第二有标视觉图像特征进行融合，得到对应的第一有标多模态特征、第二有标多模态特征；利用无标文本图像特征分别与第一无标视觉图像特征、第二无标视觉图像特征进行融合，得到对应的第一无标多模态特征、第二无标多模态特征。进而，利用第一解码器分别处理第一有标多模态特征和第一无标多模态特征，得到对应的第一有标分割图、第一无标分割图；利用第二解码器分别处理第二有标多模态特征和第二无标多模态特征，得到对应的第二有标分割图、第二无标分割图。
步骤S209：基于第一分割图和第二分割图，得到目标损失。
示例性地，如图8所示，在一种可能的实现方式中，样本图像包括有标样本图像和无标样本图像，步骤S209的具体实现步骤包括：
步骤S2091：获取有标样本图像对应的标注信息；
步骤S2092：基于预设的交叉熵损失函数和标注信息，计算第一有标分割图对应的第一交叉熵损失和第二有标分割图对应的第二交叉熵损失。
示例性地，参考图7所示，在获得第一有标分割图和第二有标分割图，首先获取有标样本图像对应的标注信息，之后基于交叉熵损失函数，以第一有标分割图和标注信息为输入参数，计算第一交叉熵损失；以第二有标分割图和标注信息为输入参数，计算第 二交叉熵损失。其中，交叉熵损失函数如式(2)所示：
其中，为交叉熵损失，yi代表模型预测结果，即第一有标分割图或第二有标分割图，表示标注信息，H×W代表了有标分割图(第一有标分割图或第二有标分割图)的大小。
步骤S2093：基于预设的一致性正则损失函数，处理第一无标分割图和第二无标分割图，得到一致性正则损失，一致性正则损失表征第一无标分割图和第二无标分割图的像素级一致性差异；
示例性地，对于使用无标样本图像进行训练的情况下，两个分支(第一语义分割网络和第二语义分割网络)输出的分割结果存在差异，本实施例中，同时为不同分支的输出结果提供一个一致性监督损失，促使对于相同的输入图像，输出预测结果保持一致，从而实现对无标样本图像的信息利用。具体地，通过一致性正则损失函数，分别处理第一无标分割图和第二无标分割图，得到一致性正则损失，其中，一致性正则损失函数如式(3)所示：
其中，y1i为第一无标分割图，y2i为第二无标分割图，p2i为第二无标分割图对应的伪标签，p1i为第一无标分割图对应的伪标签，H×W表示无标分割图(第一无标分割图或第二无标分割图)的大小。其中，无标分割图对应的伪标签，可以通过另一分支的无标分割图得到。具体地，p2i通过计算argmax(y1i)得到，p1i通过计算argmax(y2i)得到。
步骤S2094：根据一致性正则损失、第一交叉熵损失、第二交叉熵损失，得到第一语义分割网络对应的第一目标损失和第二语义分割网络对应的第二目标损失。
示例性地，在得到一致性正则损失、第一交叉熵损失、第二交叉熵损失后，通过计算一致性正则损失、第一交叉熵损失的加权和，得到第一语义分割网络对应的第一目标损失；通过计算一致性正则损失、第二交叉熵损失的加权和，得到第二语义分割网络对应的第二目标损失。在后续步骤中，即可利用第一目标损失和第二目标损失，分别对对应的第一语义分割网络和第二语义分割网络进行反向梯度传播，从而实现基于有标样本和无标样本的半监督模型训练。
步骤S210：基于目标损失对待训练语义分割模型进行训练，得到目标语义分割模型。
在本实施例中，步骤S210与上述实施例中步骤S104的实现方式一致，详细论述请参考步骤S104的论述，这里不再赘述。
对应于上文实施例的语义分割模型训练方法，图9为本公开实施例提供的语义分割模型训练装置的结构框图。为了便于说明，仅示出了与本公开实施例相关的部分。参照图9，语义分割模型训练装置3，包括：
视觉模块31，用于获取样本图像，并通过待训练语义分割模型提取样本图像对应的视觉图像特征；
文本模块32，用于处理样本图像，得到样本图像对应的文本图像特征，文本图像特征是由针对样本图像的语言描述文本生成的图像特征；
融合模块33，用于融合视觉图像特征和文本图像特征，得到多模态特征，并基于多模态特征进行图像分割预测，得到目标损失；
训练模块34，用于基于目标损失对待训练语义分割模型进行训练，得到目标语义分割模型。
在本公开的一个实施例中，文本模块32，具体用于：通过预训练的第一文本模型处理样本图像，得到样本图像对应的语言描述文本，语言描述文本用于表征样本图像中的图像内容；基于预训练的第二文本模型对语言描述文本进行编码，得到文本图像特征。
在本公开的一个实施例中，第一文本模型中包括第一文本编码器和第一文本解码器，文本模块32在通过预训练的第一文本模型处理样本图像，得到样本图像对应的语言描述文本时，具体用于：获取样本图像对应的图像特征向量；通过第一文本编码器对图像特征向量编码，得到第一文本特征；通过第一文本解码器对第一文本特征解码，得到语言描述文本。
在本公开的一个实施例中，第二文本模型为对比语言图像预训练模型。
在本公开的一个实施例中，融合模块33，具体用于：在通道维度对视觉图像特征和文本图像特征进行级联，得到多模态特征。
在本公开的一个实施例中，待训练语义分割模型包括第一语义分割网络和第二语义分割网络，第一语义分割网络和第二语义分割网络具有不同的网络参数；视觉模块31，具体用于：通过第一语义分割网络的第一编码器处理样本图像，得到第一视觉图像特征；通过第二语义分割网络的第二编码器处理样本图像，得到第二视觉图像特征；基于第一视觉图像特征和第二视觉图像特征，得到视觉图像特征。
在本公开的一个实施例中，融合模块33，具体用于：基于视觉图像特征，将文本图像特征分别与第一视觉图像特征和第二视觉图像特征进行融合，得到第一多模态特征和第二多模态特征；通过第一语义分割网络的第一解码器处理第一多模态特征，得到第一分割图；通过第二语义分割网络的第二解码器处理第二多模态特征，得到第二分割图；基于第一分割图和第二分割图，得到目标损失。
在本公开的一个实施例中，样本图像包括有标样本图像，融合模块33在基于第一分割图和第二分割图，得到目标损失时，具体用于：获取有标样本图像对应的标注信息；基于预设的交叉熵损失函数和标注信息，计算第一分割图对应的第一交叉熵损失和第二分割图对应的第二交叉熵损失；基于第一交叉熵损失和第二交叉熵损失，得到目标损失。
在本公开的一个实施例中，样本图像包括无标样本图像，融合模块33在基于第一分割图和第二分割图，得到目标损失时，具体用于：基于预设的一致性正则损失函数，处理第一分割图和第二分割图，得到一致性正则损失，一致性正则损失表征第一分割图和第二分割图的像素级一致性差异；根据一致性正则损失，得到目标损失。
其中，视觉模块31、文本模块32、融合模块33和训练模块34依次连接。本实施例提供的语义分割模型训练装置3可以执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
本公开实施例提供的一种图像语义分割的方法，包括：
步骤S301：获取目标图像。
步骤S302：提取目标图像对应的视觉图像特征和文本图像特征，其中，文本图像特征是由针对目标图像的语言描述文本生成的图像特征。
示例性地，目标图像即为待分割的图像，通过预设的图像特征提取模型和文本处理模型，可以得到目标图像对应的视觉图像特征和文本图像特征。其中，提取目标图像对应的视觉图像特征和文本图像特征的具体方式与图2-图8所示实施例中获得样本图像的视觉图像特征和文本图像特征的方式相同，可参见上述实施例中相关介绍，此处不再赘述。
步骤S303：融合视觉图像特征和文本图像特征，得到多模态特征，并基于多模态特征进行图像分割，得到图像分割结果。
示例性地，获得视觉图像特征和文本图像特征后，针对视觉图像特征和文本图像特征进行融合，得到多模态特征，该步骤的具体实现方式与图2-图8所示实施例中获得多模态特征的方式相同，可参见上述实施例中相关介绍，此处不再赘述。
在一种可能的实现方式中，提取目标图像对应的文本图像特征，包括：
通过预训练的第一文本模型处理目标图像，得到目标图像对应的语言描述文本，语言描述文本用于表征目标图像中的图像内容；基于预训练的第二文本模型对语言描述文本进行编码，得到文本图像特征。
在一种可能的实现方式中，第一文本模型中包括第一文本编码器和第一文本解码器；通过预训练的第一文本模型处理目标图像，得到目标图像对应的语言描述文本，包括：获取目标图像对应的图像特征向量；通过第一文本编码器对图像特征向量编码，得到第一文本特征；通过第一文本解码器对第一文本特征解码，得到语言描述文本。
在一种可能的实现方式中，第二文本模型为对比语言图像预训练模型。
在一种可能的实现方式中，融合视觉图像特征和文本图像特征，得到多模态特征，包括：在通道维度对视觉图像特征和文本图像特征进行级联，得到多模态特征。
相关说明可以对应参见图2-图8所对应的实施例中的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。
本公开实施例提供一种图像语义分割的装置，包括：
获取模块，用于获取目标图像；
提取模块，用于提取目标图像对应的视觉图像特征和文本图像特征，其中，文本图像特征是由针对目标图像的语言描述文本生成的图像特征；
分割模块，用于融合视觉图像特征和文本图像特征，得到多模态特征，并基于多模态特征进行图像分割，得到图像分割结果。
在一种可能的实现方式中，提取模块在提取目标图像对应的文本图像特征时，具体用于：通过预训练的第一文本模型处理目标图像，得到目标图像对应的语言描述文本，语言描述文本用于表征目标图像中的图像内容；基于预训练的第二文本模型对语言描述文本进行编码，得到文本图像特征。
在一种可能的实现方式中，第一文本模型中包括第一文本编码器和第一文本解码器；提取模块在通过预训练的第一文本模型处理目标图像，得到目标图像对应的语言描述文本时，具体用于：获取目标图像对应的图像特征向量；通过第一文本编码器对图像特征向量编码，得到第一文本特征；通过第一文本解码器对第一文本特征解码，得到语言描 述文本。
在一种可能的实现方式中，第二文本模型为对比语言图像预训练模型。
在一种可能的实现方式中，分割模块在融合视觉图像特征和文本图像特征，得到多模态特征时，具体用于：在通道维度对视觉图像特征和文本图像特征进行级联，得到多模态特征。
图10为本公开实施例提供的一种电子设备的结构示意图，如图10所示，该电子设备4包括：
处理器401，以及与处理器401通信连接的存储器402；
存储器402存储计算机执行指令；
处理器401执行存储器402存储的计算机执行指令，以实现如图2-图8所示实施例中的语义分割模型训练方法。
其中，可选地，处理器401和存储器402通过总线403连接。
相关说明可以对应参见图2-图8所对应的实施例中的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。
参考图11，其示出了适于用来实现本公开实施例的电子设备900的结构示意图，该电子设备900可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，PDA)、平板电脑(Portable Android Device，PAD)、便携式多媒体播放器(Portable Media Player，PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字电视(Television，TV)、台式计算机等等的固定终端。图11示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示，电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901，其可以根据存储在只读存储器(Read Only Memory，ROM)902中的程序或者从存储装置908加载到随机访问存储器(Random Access Memory，RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有电子设备900操作所需的各种程序和数据。处理装置901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(Input/Output，I/O)接口905也连接至总线904。
通常，以下装置可以连接至I/O接口905：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906；包括例如液晶显示器(Liquid Crystal Display，LCD)、扬声器、振动器等的输出装置907；包括例如磁带、硬盘等的存储装置908；以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图11示出了具有各种装置的电子设备900，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置909从网络上被下载和安装，或者从存储装置908被安装，或者从ROM 902被安装。在该计算机程序被处理装置901执行时，执 行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(Local Area Network，LAN)或广域网(Wide Area Network，WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(Field-Programmable Gate Array，FPGA)、专用集成电路(Application Specific Integrated Circuit，ASIC)、专用标准产品(Application Specific Standard Parts，ASSP)、片上系统(System On Chip，SOC)、复杂可编程逻辑设备(Complex Programmable Logic Device，CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例可以包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
第一方面，根据本公开的一个或多个实施例，提供了一种语义分割模型训练方法，包括：
获取样本图像，并通过待训练语义分割模型提取所述样本图像对应的视觉图像特征；处理所述样本图像，得到所述样本图像对应的文本图像特征，所述文本图像特征是由针对所述样本图像的语言描述文本生成的图像特征；融合所述视觉图像特征和所述文本图像特征，得到多模态特征，并基于所述多模态特征进行图像分割预测，得到目标损失；基于所述目标损失对所述待训练语义分割模型进行训练，得到目标语义分割模型。
根据本公开的一个或多个实施例，所述处理所述样本图像，得到所述样本图像对应的文本图像特征，包括：通过预训练的第一文本模型处理所述样本图像，得到所述样本图像对应的语言描述文本，所述语言描述文本用于表征所述样本图像中的图像内容；基于预训练的第二文本模型对所述语言描述文本进行编码，得到所述文本图像特征。
根据本公开的一个或多个实施例，所述第一文本模型中包括第一文本编码器和第一文本解码器；所述通过预训练的第一文本模型处理所述样本图像，得到所述样本图像对应的语言描述文本，包括：获取所述样本图像对应的图像特征向量；通过所述第一文本编码器对所述图像特征向量编码，得到第一文本特征；通过所述第一文本解码器对所述第一文本特征解码，得到所述语言描述文本。
根据本公开的一个或多个实施例，所述第二文本模型为对比语言图像预训练模型。
根据本公开的一个或多个实施例，所述融合所述视觉图像特征和所述文本图像特征，得到多模态特征，包括：在通道维度对所述视觉图像特征和所述文本图像特征进行级联，得到所述多模态特征。
根据本公开的一个或多个实施例，所述待训练语义分割模型包括第一语义分割网络和第二语义分割网络，所述第一语义分割网络和所述第二语义分割网络具有不同的网络 参数；所述通过待训练语义分割模型提取所述样本图像对应的视觉图像特征，包括：通过所述第一语义分割网络的第一编码器处理所述样本图像，得到第一视觉图像特征；通过所述第二语义分割网络的第二编码器处理所述样本图像，得到第二视觉图像特征；基于所述第一视觉图像特征和所述第二视觉图像特征，得到所述视觉图像特征。
根据本公开的一个或多个实施例，所述融合所述视觉图像特征和所述文本图像特征，得到多模态特征，并基于所述多模态特征进行图像分割预测，得到目标损失，包括：基于所述视觉图像特征，将所述文本图像特征分别与所述第一视觉图像特征和所述第二视觉图像特征进行融合，得到第一多模态特征和第二多模态特征；通过所述第一语义分割网络的第一解码器处理所述第一多模态特征，得到第一分割图；通过所述第二语义分割网络的第二解码器处理所述第二多模态特征，得到第二分割图；基于所述第一分割图和所述第二分割图，得到目标损失。
根据本公开的一个或多个实施例，所述样本图像包括有标样本图像，所述基于所述第一分割图和所述第二分割图，得到目标损失，包括：获取所述有标样本图像对应的标注信息；基于预设的交叉熵损失函数和所述标注信息，计算所述第一分割图对应的第一交叉熵损失和所述第二分割图对应的第二交叉熵损失；基于所述第一交叉熵损失和所述第二交叉熵损失，得到所述目标损失。
根据本公开的一个或多个实施例，所述样本图像包括无标样本图像，所述基于所述第一分割图和所述第二分割图，得到目标损失，包括：基于预设的一致性正则损失函数，处理所述第一分割图和所述第二分割图，得到一致性正则损失，所述一致性正则损失表征所述第一分割图和所述第二分割图的像素级一致性差异；根据所述一致性正则损失，得到所述目标损失。
第二方面，根据本公开的一个或多个实施例，提供了一种图像语义分割的方法，包括：
获取目标图像；提取所述目标图像对应的视觉图像特征和文本图像特征，其中，所述文本图像特征是由针对所述目标图像的语言描述文本生成的图像特征；融合所述视觉图像特征和所述文本图像特征，得到多模态特征，并基于所述多模态特征进行图像分割，得到图像分割结果。
在一种可能的实现方式中，提取目标图像对应的文本图像特征，包括：
通过预训练的第一文本模型处理目标图像，得到目标图像对应的语言描述文本，语言描述文本用于表征目标图像中的图像内容；基于预训练的第二文本模型对语言描述文本进行编码，得到文本图像特征。
在一种可能的实现方式中，第一文本模型中包括第一文本编码器和第一文本解码器；通过预训练的第一文本模型处理目标图像，得到目标图像对应的语言描述文本，包括：获取目标图像对应的图像特征向量；通过第一文本编码器对图像特征向量编码，得到第一文本特征；通过第一文本解码器对第一文本特征解码，得到语言描述文本。
在一种可能的实现方式中，第二文本模型为对比语言图像预训练模型。
在一种可能的实现方式中，融合视觉图像特征和文本图像特征，得到多模态特征，包括：在通道维度对视觉图像特征和文本图像特征进行级联，得到多模态特征。
第三方面，根据本公开的一个或多个实施例，提供了一种语义分割模型训练装置， 包括：
视觉模块，用于获取样本图像，并通过待训练语义分割模型提取所述样本图像对应的视觉图像特征；
文本模块，用于处理所述样本图像，得到所述样本图像对应的文本图像特征，所述文本图像特征是由针对所述样本图像的语言描述文本生成的图像特征；
融合模块，用于融合所述视觉图像特征和所述文本图像特征，得到多模态特征，并基于所述多模态特征进行图像分割预测，得到目标损失；
训练模块，用于基于所述目标损失对所述待训练语义分割模型进行训练，得到目标语义分割模型。
在本公开的一个实施例中，所述文本模块，具体用于：通过预训练的第一文本模型处理所述样本图像，得到所述样本图像对应的语言描述文本，所述语言描述文本用于表征所述样本图像中的图像内容；基于预训练的第二文本模型对所述语言描述文本进行编码，得到所述文本图像特征。
在本公开的一个实施例中，所述第一文本模型中包括第一文本编码器和第一文本解码器，所述文本模块在通过预训练的第一文本模型处理所述样本图像，得到所述样本图像对应的语言描述文本时，具体用于：获取所述样本图像对应的图像特征向量；通过所述第一文本编码器对所述图像特征向量编码，得到第一文本特征；通过所述第一文本解码器对所述第一文本特征解码，得到所述语言描述文本。
在本公开的一个实施例中，所述第二文本模型为对比语言图像预训练模型。
在本公开的一个实施例中，所述融合模块，具体用于：在通道维度对所述视觉图像特征和所述文本图像特征进行级联，得到所述多模态特征。
在本公开的一个实施例中，所述待训练语义分割模型包括第一语义分割网络和第二语义分割网络，所述第一语义分割网络和所述第二语义分割网络具有不同的网络参数；所述视觉模块，具体用于：通过所述第一语义分割网络的第一编码器处理所述样本图像，得到第一视觉图像特征；通过所述第二语义分割网络的第二编码器处理所述样本图像，得到第二视觉图像特征；基于所述第一视觉图像特征和所述第二视觉图像特征，得到所述视觉图像特征。
在本公开的一个实施例中，所述融合模块，具体用于：基于所述视觉图像特征，将所述文本图像特征分别与所述第一视觉图像特征和所述第二视觉图像特征进行融合，得到第一多模态特征和第二多模态特征；通过所述第一语义分割网络的第一解码器处理所述第一多模态特征，得到第一分割图；通过所述第二语义分割网络的第二解码器处理所述第二多模态特征，得到第二分割图；基于所述第一分割图和所述第二分割图，得到目标损失。
在本公开的一个实施例中，所述样本图像包括有标样本图像，所述融合模块33在基于所述第一分割图和所述第二分割图，得到目标损失时，具体用于：获取所述有标样本图像对应的标注信息；基于预设的交叉熵损失函数和所述标注信息，计算所述第一分割图对应的第一交叉熵损失和所述第二分割图对应的第二交叉熵损失；基于所述第一交叉熵损失和所述第二交叉熵损失，得到所述目标损失。
在本公开的一个实施例中，所述样本图像包括无标样本图像，所述融合模块在基于 所述第一分割图和所述第二分割图，得到目标损失时，具体用于：基于预设的一致性正则损失函数，处理所述第一分割图和所述第二分割图，得到一致性正则损失，所述一致性正则损失表征所述第一分割图和所述第二分割图的像素级一致性差异；根据所述一致性正则损失，得到所述目标损失。
第四方面，根据本公开的一个或多个实施例，提供了一种图像语义分割的装置，包括：
获取模块，用于获取目标图像；
提取模块，用于提取所述目标图像对应的视觉图像特征和文本图像特征，其中，所述文本图像特征是由针对所述目标图像的语言描述文本生成的图像特征；
分割模块，用于融合所述视觉图像特征和所述文本图像特征，得到多模态特征，并基于所述多模态特征进行图像分割，得到图像分割结果。
根据本公开的一个或多个实施例，提取模块在提取目标图像对应的文本图像特征时，具体用于：通过预训练的第一文本模型处理目标图像，得到目标图像对应的语言描述文本，语言描述文本用于表征目标图像中的图像内容；基于预训练的第二文本模型对语言描述文本进行编码，得到文本图像特征。
根据本公开的一个或多个实施例，第一文本模型中包括第一文本编码器和第一文本解码器；提取模块在通过预训练的第一文本模型处理目标图像，得到目标图像对应的语言描述文本时，具体用于：获取目标图像对应的图像特征向量；通过第一文本编码器对图像特征向量编码，得到第一文本特征；通过第一文本解码器对第一文本特征解码，得到语言描述文本。
根据本公开的一个或多个实施例，第二文本模型为对比语言图像预训练模型。
根据本公开的一个或多个实施例，分割模块在融合视觉图像特征和文本图像特征，得到多模态特征时，具体用于：在通道维度对视觉图像特征和文本图像特征进行级联，得到多模态特征。
第五方面，根据本公开的一个或多个实施例，提供了一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如上第一方面以及第一方面各种可能的设计所述的语义分割模型训练方法。
第六方面，根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的语义分割模型训练方法。
第七方面，根据本公开的一个或多个实施例，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的语义分割模型训练方法。
第八方面，根据本公开的一个或多个实施例，提供了一种计算机程序，所述计算机程序用于实现如上第一方面以及第一方面各种可能的设计所述的语义分割模型训练方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员 应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (15)

  1. 一种语义分割模型训练方法，包括：
    获取样本图像，并通过待训练语义分割模型提取所述样本图像对应的视觉图像特征；
    处理所述样本图像，得到所述样本图像对应的文本图像特征，所述文本图像特征是由针对所述样本图像的语言描述文本生成的图像特征；
    融合所述视觉图像特征和所述文本图像特征，得到多模态特征，并基于所述多模态特征进行图像分割预测，得到目标损失；
    基于所述目标损失对所述待训练语义分割模型进行训练，得到目标语义分割模型。
  2. 根据权利要求1所述的方法，其中，所述处理所述样本图像，得到所述样本图像对应的文本图像特征，包括：
    通过预训练的第一文本模型处理所述样本图像，得到所述样本图像对应的语言描述文本，所述语言描述文本用于表征所述样本图像中的图像内容；
    基于预训练的第二文本模型对所述语言描述文本进行编码，得到所述文本图像特征。
  3. 根据权利要求2所述的方法，其中，所述第一文本模型中包括第一文本编码器和第一文本解码器；
    所述通过预训练的第一文本模型处理所述样本图像，得到所述样本图像对应的语言描述文本，包括：
    获取所述样本图像对应的图像特征向量；
    通过所述第一文本编码器对所述图像特征向量编码，得到第一文本特征；
    通过所述第一文本解码器对所述第一文本特征解码，得到所述语言描述文本。
  4. 根据权利要求2或3所述的方法，其中，所述第二文本模型为对比语言图像预训练模型。
  5. 根据权利要求1至5中任一项所述的方法，其中，所述融合所述视觉图像特征和所述文本图像特征，得到多模态特征，包括：
    在通道维度对所述视觉图像特征和所述文本图像特征进行级联，得到所述多模态特征。
  6. 根据权利要求1至5中任一项所述的方法，其中，所述待训练语义分割模型包括第一语义分割网络和第二语义分割网络，所述第一语义分割网络和所述第二语义分割网络具有不同的网络参数；
    所述通过待训练语义分割模型提取所述样本图像对应的视觉图像特征，包括：
    通过所述第一语义分割网络的第一编码器处理所述样本图像，得到第一视觉图像特征；
    通过所述第二语义分割网络的第二编码器处理所述样本图像，得到第二视觉图像特征；
    基于所述第一视觉图像特征和所述第二视觉图像特征，得到所述视觉图像特征。
  7. 根据权利要求6所述的方法，其中，所述融合所述视觉图像特征和所述文本图像特征，得到多模态特征，并基于所述多模态特征进行图像分割预测，得到目标损失，包括：
    基于所述视觉图像特征，将所述文本图像特征分别与所述第一视觉图像特征和所述 第二视觉图像特征进行融合，得到第一多模态特征和第二多模态特征；
    通过所述第一语义分割网络的第一解码器处理所述第一多模态特征，得到第一分割图；
    通过所述第二语义分割网络的第二解码器处理所述第二多模态特征，得到第二分割图；
    基于所述第一分割图和所述第二分割图，得到目标损失。
  8. 根据权利要求7所述的方法，其中，所述样本图像包括有标样本图像，所述基于所述第一分割图和所述第二分割图，得到目标损失，包括：
    获取所述有标样本图像对应的标注信息；
    基于预设的交叉熵损失函数和所述标注信息，计算所述第一分割图对应的第一交叉熵损失和所述第二分割图对应的第二交叉熵损失；
    基于所述第一交叉熵损失和所述第二交叉熵损失，得到所述目标损失。
  9. 根据权利要求7所述的方法，其中，所述样本图像包括无标样本图像，所述基于所述第一分割图和所述第二分割图，得到目标损失，包括：
    基于预设的一致性正则损失函数，处理所述第一分割图和所述第二分割图，得到一致性正则损失，所述一致性正则损失表征所述第一分割图和所述第二分割图的像素级一致性差异；
    根据所述一致性正则损失，得到所述目标损失。
  10. 一种图像语义分割的方法，包括：
    获取目标图像；
    提取所述目标图像对应的视觉图像特征和文本图像特征，其中，所述文本图像特征是由针对所述目标图像的语言描述文本生成的图像特征；
    融合所述视觉图像特征和所述文本图像特征，得到多模态特征，并基于所述多模态特征进行图像分割，得到图像分割结果。
  11. 一种语义分割模型训练装置，包括：
    视觉模块，用于获取样本图像，并通过待训练语义分割模型提取所述样本图像对应的视觉图像特征；
    文本模块，用于处理所述样本图像，得到所述样本图像对应的文本图像特征，所述文本图像特征是由针对所述样本图像的语言描述文本生成的图像特征；
    融合模块，用于融合所述视觉图像特征和所述文本图像特征，得到多模态特征，并基于所述多模态特征进行图像分割预测，得到目标损失；
    训练模块，用于基于所述目标损失对所述待训练语义分割模型进行训练，得到目标语义分割模型。
  12. 一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
    所述存储器存储计算机执行指令；
    所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至9中任一项所述的语义分割模型训练方法。
  13. 一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至9中任一项所述的语义分割 模型训练方法。
  14. 一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的语义分割模型训练方法。
  15. 一种计算机程序，所述计算机程序用于实现如权利要求1至9中任一项所述的语义分割模型训练方法。
PCT/CN2023/104527 2022-07-11 2023-06-30 语义分割模型训练方法、装置、电子设备及存储介质 WO2024012251A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210853729.8 2022-07-11
CN202210853729.8A CN117437516A (zh) 2022-07-11 2022-07-11 语义分割模型训练方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
WO2024012251A1 true WO2024012251A1 (zh) 2024-01-18

Family

ID=89535410

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/104527 WO2024012251A1 (zh) 2022-07-11 2023-06-30 语义分割模型训练方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN117437516A (zh)
WO (1) WO2024012251A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726721A (zh) * 2024-02-08 2024-03-19 湖南君安科技有限公司 基于主题驱动与多模态融合的图像生成方法、设备及介质
CN117874706A (zh) * 2024-03-12 2024-04-12 之江实验室 一种多模态知识蒸馏学习方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245710A (zh) * 2019-06-18 2019-09-17 腾讯科技（深圳）有限公司 语义分割模型的训练方法、语义分割方法及装置
WO2020079704A1 (en) * 2018-10-16 2020-04-23 Sigtuple Technologies Private Limited Method and system for performing semantic segmentation of plurality of entities in an image
CN112184738A (zh) * 2020-10-30 2021-01-05 北京有竹居网络技术有限公司 一种图像分割方法、装置、设备及存储介质
US20210049397A1 (en) * 2018-10-16 2021-02-18 Tencent Technology (Shenzhen) Company Limited Semantic segmentation method and apparatus for three-dimensional image, terminal, and storage medium
CN112990218A (zh) * 2021-03-25 2021-06-18 北京百度网讯科技有限公司 图像语义分割模型的优化方法、装置和电子设备
CN113657400A (zh) * 2021-08-19 2021-11-16 大连理工大学 基于跨模态文本检索注意力机制的文本指导图像分割方法
CN114283127A (zh) * 2021-12-14 2022-04-05 山东大学 一种多模态信息指导的医学图像分割系统及图像处理方法
CN114723996A (zh) * 2022-04-20 2022-07-08 平安科技（深圳）有限公司 模型的训练方法、图像描述生成方法和装置、设备、介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020079704A1 (en) * 2018-10-16 2020-04-23 Sigtuple Technologies Private Limited Method and system for performing semantic segmentation of plurality of entities in an image
US20210049397A1 (en) * 2018-10-16 2021-02-18 Tencent Technology (Shenzhen) Company Limited Semantic segmentation method and apparatus for three-dimensional image, terminal, and storage medium
CN110245710A (zh) * 2019-06-18 2019-09-17 腾讯科技（深圳）有限公司 语义分割模型的训练方法、语义分割方法及装置
CN112184738A (zh) * 2020-10-30 2021-01-05 北京有竹居网络技术有限公司 一种图像分割方法、装置、设备及存储介质
CN112990218A (zh) * 2021-03-25 2021-06-18 北京百度网讯科技有限公司 图像语义分割模型的优化方法、装置和电子设备
CN113657400A (zh) * 2021-08-19 2021-11-16 大连理工大学 基于跨模态文本检索注意力机制的文本指导图像分割方法
CN114283127A (zh) * 2021-12-14 2022-04-05 山东大学 一种多模态信息指导的医学图像分割系统及图像处理方法
CN114723996A (zh) * 2022-04-20 2022-07-08 平安科技（深圳）有限公司 模型的训练方法、图像描述生成方法和装置、设备、介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726721A (zh) * 2024-02-08 2024-03-19 湖南君安科技有限公司 基于主题驱动与多模态融合的图像生成方法、设备及介质
CN117726721B (zh) * 2024-02-08 2024-04-30 湖南君安科技有限公司 基于主题驱动与多模态融合的图像生成方法、设备及介质
CN117874706A (zh) * 2024-03-12 2024-04-12 之江实验室 一种多模态知识蒸馏学习方法及装置

Also Published As

Publication number Publication date
CN117437516A (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
WO2024012251A1 (zh) 语义分割模型训练方法、装置、电子设备及存储介质
WO2020238320A1 (zh) 用于生成表情包的方法和装置
CN112183120A (zh) 语音翻译方法、装置、设备和存储介质
CN110413812B (zh) 神经网络模型的训练方法、装置、电子设备及存储介质
WO2023165538A1 (zh) 语音识别方法、装置、计算机可读介质及电子设备
WO2020107625A1 (zh) 视频分类方法、装置、电子设备及计算机可读存储介质
CN110298851B (zh) 人体分割神经网络的训练方法及设备
CN111625645B (zh) 文本生成模型的训练方法、装置和电子设备
CN113327599B (zh) 语音识别方法、装置、介质及电子设备
CN113449070A (zh) 多模态数据检索方法、装置、介质及电子设备
WO2023103897A1 (zh) 图像处理方法、装置、设备及存储介质
WO2023179310A1 (zh) 图像修复方法、装置、设备、介质及产品
JP2023550211A (ja) テキストを生成するための方法および装置
CN116128055A (zh) 图谱构建方法、装置、电子设备和计算机可读介质
WO2021227953A1 (zh) 图像特效配置方法、图像识别方法、装置及电子设备
CN111898338B (zh) 文本生成方法、装置和电子设备
WO2023179308A1 (zh) 一种图像描述生成方法、装置、设备、介质及产品
CN110674813B (zh) 汉字识别方法、装置、计算机可读介质及电子设备
WO2022213801A1 (zh) 视频处理方法、装置及设备
CN113986958B (zh) 文本信息的转换方法、装置、可读介质和电子设备
CN113033682B (zh) 视频分类方法、装置、可读介质、电子设备
CN112651231B (zh) 口语信息处理方法、装置和电子设备
CN111460214B (zh) 分类模型训练方法、音频分类方法、装置、介质及设备
CN107077747B (zh) 远程显示的图形命令压缩
CN114495081A (zh) 文本识别的方法、装置、可读介质和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23838743

Country of ref document: EP

Kind code of ref document: A1