WO2022001464A1 - 自动抠图方法及系统 - Google Patents
自动抠图方法及系统 Download PDFInfo
- Publication number
- WO2022001464A1 WO2022001464A1 PCT/CN2021/094860 CN2021094860W WO2022001464A1 WO 2022001464 A1 WO2022001464 A1 WO 2022001464A1 CN 2021094860 W CN2021094860 W CN 2021094860W WO 2022001464 A1 WO2022001464 A1 WO 2022001464A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- picture
- cutout
- training
- generate
- data set
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 134
- 230000011218 segmentation Effects 0.000 claims abstract description 67
- 238000005520 cutting process Methods 0.000 claims description 18
- 230000003190 augmentative effect Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Definitions
- the embodiment of the second aspect of the present invention provides a computer-readable storage medium on which an automatic map-cutting program is stored, and when the automatic map-cutting program is executed by a processor, the above-mentioned automatic map-cutting method is implemented.
- the preprocessing module is configured to calculate the signal-to-noise ratio corresponding to each of the historical pictures, filter the historical pictures according to the signal-to-noise ratio, and filter the filtered pictures.
- the salient foregrounds in the historical images are annotated to generate a training dataset based on the annotated historical images.
- it also includes a sample expansion module, which is used to obtain a background data set, and randomly replace the background in the marked historical pictures according to the background data set, so as to generate corresponding expanded samples, so that A training dataset is generated based on the annotated historical images and augmented samples.
- a sample expansion module which is used to obtain a background data set, and randomly replace the background in the marked historical pictures according to the background data set, so as to generate corresponding expanded samples, so that A training dataset is generated based on the annotated historical images and augmented samples.
- the embodiments of the present invention further provide a computer device, including a memory, a processor, and a computer program stored in the memory and running on the processor, characterized in that the processor executes the When the program is executed, the automatic cutout method as described above is realized.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种自动抠图方法、介质、设备及系统，其中方法包括：获取历史图片，并根据历史图片生成训练数据集（S101）；根据训练数据集进行分割模型的训练，以便通过分割模型生成对应的三元组图片（S102）；根据训练数据集中的原始图片和该原始图片对应的三元组图片进行抠图模型的训练，以生成抠图模型（S103）；获取待抠图图片，并将待抠图图片输入到分割模型，以通过分割模型生成待抠图图片对应的三元组图片（S104）；将待抠图图片和该待抠图图片对应的三元组图片输入到抠图模型，以通过抠图模型生成该待抠图图片对应的图形蒙版，以及根据图形蒙版对待抠图图片进行自动抠图（S105）。该方法能够根据用户输入的原始图片进行前景部分的自动抠取，降低用户抠图所需编辑时间，降低抠图难度；同时，保证抠图结果的稳定性。
Description
本发明涉及图像处理技术领域，特别涉及一种自动抠图方法、一种计算机可读存储介质、一种计算机设备以及一种自动抠图系统。
抠图（图像去背景）是指准确提取静止图片或者视频图片序列中的前景目标，它是许多图像编辑中的关键技术。
相关技术中，在对静止图片或者视频图片进行抠图处理的过程中，多采用人工对静止图片或者视频图片中的前景部分进行抠取，而这一过程将耗费用户大量的编辑时间，并且操作门栏较高。同时，由于人为的不可确定性，将导致抠图结果不稳定，可能导致最终抠图结果不够精细。
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种自动抠图方法，能够根据用户输入的原始图片进行前景部分的自动抠取，降低用户抠图所需编辑时间，降低抠图难度；同时，保证抠图结果的稳定性。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种自动抠图系统。
为达到上述目的，本发明第一方面实施例提出了一种自动抠图方法，包括以下步骤：获取历史图片，并根据所述历史图片生成训练数据集；根据所述训练数据集进行分割模型的训练，以便通过训练得到的分割模型根据训练数据集中的原始图片生成对应的三元组图片；根据所述训练数据集中的原始图片和该原始图片对应的三元组图片进行抠图模型的训练，以生成抠图模型；获取待抠图图片，并将所述待抠图图片输入到所述分割模型，以通过所述分割模型生成所述待抠图图片对应的三元组图片；将所述待抠图图片和该待抠图图片对应的三元组图片输入到所述抠图模型，以通过所述抠图模型生成该待抠图图片对应的图形蒙版，以及根据所述图形蒙版对所述待抠图图片进行自动抠图。
根据本发明实施例的自动抠图方法，首先，获取历史图片，并根据所述历史图片生成训练数据集；接着，根据所述训练数据集进行分割模型的训练，以便通过训练得到的分割模型根据训练数据集中的原始图片生成对应的三元组图片；然后，根据所述训练数据集中的原始图片和该原始图片对应的三元组图片进行抠图模型的训练，以生成抠图模型；接着，获取待抠图图片，并将所述待抠图图片输入到所述分割模型，以通过所述分割模型生成所述待抠图图片对应的三元组图片；然后，将所述待抠图图片和该待抠图图片对应的三元组图片输入到所述抠图模型，以通过所述抠图模型生成该待抠图图片对应的图形蒙版，以及根据所述图形蒙版对所述待抠图图片进行自动抠图；从而实现根据用户输入的原始图片进行前景部分的自动抠取，降低用户抠图所需编辑时间，降低抠图难度；同时，保证抠图结果的稳定性。
另外，根据本发明上述实施例提出的自动抠图方法还可以具有如下附加的技术特征。
可选地，根据所述历史图片生成训练数据集之前，还包括：计算每个所述历史图片对应的信噪比，并根据所述信噪比对所述历史图片进行过滤；对过滤后的历史图片中的显著性前景进行标注，以便根据标注后的历史图片生成训练数据集。
可选地，在对过滤后的历史图片中的显著性前景进行标注之后，还包括：获取背景数据集，并根据所述背景数据集对标注后的历史图片中的背景进行随机替换，以生成相应的扩充样本，以便根据标注后的历史图片和扩充样本生成训练数据集。
可选地，通过训练得到的分割模型根据训练数据集中的原始图片生成对应的三元组图片，包括：根据所述原始图片生成该原始图片对应的多尺度特征，并对所述多尺度特征进行融合，以生成该原始图片对应的特征层；根据所述原始图片和该原始图片对应的特征层进行细粒度分割，以生成该原始图片对应的三元组图片。
可选地，在生成该原始图片对应的特征层之后，还包括：提取该原始图片中每个像素对应的像素特征，并计算像素间的相似矩阵，以及根据所述像素特征和所述相似矩阵计算像素间的信息增益值，以便根据所述信息增益值对所述特征层进行更新。
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有自动抠图程序，该自动抠图程序被处理器执行时实现如上述的自动抠图方法。
根据本发明实施例的计算机可读存储介质，通过存储自动抠图程序，以使得处理器在执行该自动抠图程序时，实现如上述的自动抠图方法，从而实现根据用户输入的原始图片进行前景部分的自动抠取，降低用户抠图所需编辑时间，降低抠图难度；同时，保证抠图结果的稳定性。
为达到上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如上述的自动抠图方法。
根据本发明实施例的计算机设备，通过存储器对自动抠图程序进行存储，以使得处理器在执行该自动抠图程序时，实现如上述的自动抠图方法，从而实现根据用户输入的原始图片进行前景部分的自动抠取，降低用户抠图所需编辑时间，降低抠图难度；同时，保证抠图结果的稳定性。
为达到上述目的，本发明第四方面实施例提出了一种自动抠图系统，包括：获取模块，所述获取模块用于获取历史图片，并根据所述历史图片生成训练数据集；第一训练模块，所述第一训练模块用于根据所述训练数据集进行分割模型的训练，以便通过训练得到的分割模型根据训练数据集中的原始图片生成对应的三元组图片；第二训练模块，所述第二训练模块用于根据所述训练数据集中的原始图片和该原始图片对应的三元组图片进行抠图模型的训练，以生成抠图模型；自动抠图模块，所述自动抠图模块用于获取待抠图图片，并将所述待抠图图片输入到所述分割模型，以通过所述分割模型生成所述待抠图图片对应的三元组图片；所述自动抠图模块还用于将所述待抠图图片和该待抠图图片对应的三元组图片输入到所述抠图模型，以通过所述抠图模型生成该待抠图图片对应的图形蒙版，以及根据所述图形蒙版对所述待抠图图片进行自动抠图。
根据本发明实施例的自动抠图系统，通过设置获取模块用于获取历史图片，并根据所述历史图片生成训练数据集；第一训练模块用于根据所述训练数据集进行分割模型的训练，以便通过训练得到的分割模型根据训练数据集中的原始图片生成对应的三元组图片；第二训练模块用于根据所述训练数据集中的原始图片和该原始图片对应的三元组图片进行抠图模型的训练，以生成抠图模型；自动抠图模块用于获取待抠图图片，并将所述待抠图图片输入到所述分割模型，以通过所述分割模型生成所述待抠图图片对应的三元组图片；自动抠图模块还用于将所述待抠图图片和该待抠图图片对应的三元组图片输入到所述抠图模型，以通过所述抠图模型生成该待抠图图片对应的图形蒙版，以及根据所述图形蒙版对所述待抠图图片进行自动抠图；从而实现根据用户输入的原始图片进行前景部分的自动抠取，降低用户抠图所需编辑时间，降低抠图难度；同时，保证抠图结果的稳定性。
另外，根据本发明上述实施例提出的自动抠图系统还可以具有如下附加的技术特征。
可选地，还包括预处理模块，所述预处理模块用于计算每个所述历史图片对应的信噪比，并根据所述信噪比对所述历史图片进行过滤，以及对过滤后的历史图片中的显著性前景进行标注，以便根据标注后的历史图片生成训练数据集。
可选地，还包括样本扩充模块，所述样本扩充模块用于获取背景数据集，并根据所述背景数据集对标注后的历史图片中的背景进行随机替换，以生成相应的扩充样本，以便根据标注后的历史图片和扩充样本生成训练数据集。
图1为根据本发明实施例的自动抠图方法的流程示意图。
图2为根据本发明实施例的自动抠图系统的方框示意图。
图3为根据本发明另一实施例的自动抠图系统的方框示意图。
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
相关技术中，在对静止图片或者视频图片进行抠图时，需要浪费用户大量的编辑时间，并且操作门栏高，同时，抠图结果不稳定；根据本发明实施例的自动抠图方法，首先，获取历史图片，并根据所述历史图片生成训练数据集；接着，根据所述训练数据集进行分割模型的训练，以便通过训练得到的分割模型根据训练数据集中的原始图片生成对应的三元组图片；然后，根据所述训练数据集中的原始图片和该原始图片对应的三元组图片进行抠图模型的训练，以生成抠图模型；接着，获取待抠图图片，并将所述待抠图图片输入到所述分割模型，以通过所述分割模型生成所述待抠图图片对应的三元组图片；然后，将所述待抠图图片和该待抠图图片对应的三元组图片输入到所述抠图模型，以通过所述抠图模型生成该待抠图图片对应的图形蒙版，以及根据所述图形蒙版对所述待抠图图片进行自动抠图；从而实现根据用户输入的原始图片进行前景部分的自动抠取，降低用户抠图所需编辑时间，降低抠图难度；同时，保证抠图结果的稳定性。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
图1为根据本发明实施例的自动抠图方法的流程示意图，如图1所示，该自动抠图方法包括以下步骤。
S101，获取历史图片，并根据历史图片生成训练数据集。
即言，获取历史图片（例如，人像图片、商品图片、动物图片、交通工具图片等），并根据历史图片生成用于模型训练的训练数据集。
在一些实施例中，为了提高后续模型训练的训练效果，根据历史图片生成训练数据集之前，还包括：计算每个历史图片对应的信噪比，并根据信噪比对历史图片进行过滤；对过滤后的历史图片中的显著性前景进行标注，以便根据标注后的历史图片生成训练数据集。
即言，首先，计算每个历史图片所对应的信噪比，并根据信噪比滤除历史图片中模糊、噪声过大的图片；然后，对过滤后的历史图片进行标注，以标注出显著性前景（例如，图片中的人像、商品、动物、交通工具等）；进而，可以根据标注后的历史图片生成训练数据集。
在一些实施例中，为了降低训练数据集的采集难度，增加训练数据集的样本数量，以提高模型的训练效果，在对过滤后的历史图片中的显著性前景进行标注之后，还包括：获取背景数据集，并根据背景数据集对标注后的历史图片中的背景进行随机替换，以生成相应的扩充样本，以便根据标注后的历史图片和扩充样本生成训练数据集。
即言，首先，获取背景数据集（即可用于替换的背景图片集合）；然后，根据背景数据集和标注后的历史图片将历史图片中的背景进行随机的替换，以生成新的图片（即扩充样本），从而对训练数据集进行扩充。
作为一种示例，根据以下公式对训练数据集进行扩充：I = alpha * Fg
+ (1-alpha) * Bg，其中，Fg是训练数据集的原始RGB图片，alpha是对应的蒙版，Bg是背景数据集候选图片，I是合成的新图片。
S102，根据训练数据集进行分割模型的训练，以便通过训练得到的分割模型根据训练数据集中的原始图片生成对应的三元组图片。
即言，根据训练数据集进行分割模型的训练，以得到分割模型，该分割模型可以根据输入的图片生成该图片所对应的三元组图片。
其中，根据训练数据集进行分割模型的训练的方式可以有多种。
作为一种示例，将初始学习率设置为0.001，学习率按照多项式递减；训练周期为X，损失函数采用交叉熵；网络权重通过反向传播不断更新梯度信息，以完成分割模型的训练。
在一些实施例中，为了提高分割模型的训练效率，可以采用困难样本挖掘，即言，在每个迭代过程中，将每个像素按照损失函数排序，排序靠前，则认为样本误差较大，需要加大权重进行重点学习；进而，可以设置误差区间，使得损失函数只计算误差区间内的样本，从而提高分割模型的训练效率。
在一些实施例中，通过训练得到的分割模型根据训练数据集中的原始图片生成对应的三元组图片，包括：根据原始图片生成该原始图片对应的多尺度特征，并对多尺度特征进行融合，以生成该原始图片对应的特征层；根据原始图片和该原始图片对应的特征层进行细粒度分割，以生成该原始图片对应的三元组图片。
即言，该分割模型中包含粗粒度识别模块和细粒度识别模块，其中，粗粒度识别模块包括特征提取层和特征融合层，该特征提取层用于对输入的原始图片进行特征提取，以提取该原始图片所对应的多尺度特征；特征融合层用于对不同尺度的特征（即多尺度特征）进行拼接，以生成原始图片所对应的特征层；而细粒度识别模块用于对粗粒度识别模块输出的特征层和原始图片进行细粒度分割（即对粗粒度结果进行优化）；以生成该原始图片所对应的三元组图片（包含前景-背景-过渡区域）。
在一些实施例中，细粒度识别模块可以采用轻量化的UNet结构。
在一些实施例中，为了克服深度卷积感受野不足的问题，在生成该原始图片对应的特征层之后，还包括：提取该原始图片中每个像素对应的像素特征，并计算像素间的相似矩阵，以及根据像素特征和相似矩阵计算像素间的信息增益值，以便根据信息增益值对特征层进行更新。
即言，分割模型的粗粒度模块中还包含像素关联模块，该像素关联模块用于提取每个像素所对应的像素特征T，并利用点乘算法计算像素之间的相似矩阵R，从而，根据相似矩阵R和像素特征T可以计算得到该像素与除自身之外的每个其余像素之间的信息增益值V；进而，可以根据信息增益值对特征层进行更新，以克服深度卷积感受野不足的问题。
S103，根据训练数据集中的原始图片和该原始图片对应的三元组图片进行抠图模型的训练，以生成抠图模型。
作为一种示例，由于抠图模型侧重于对边缘基础特征进行学习，因此，可以采用UNet结构将浅层特征几何特征和高层语义特征相融合，模型的损失函数为预测蒙版与实际蒙版的平均误差，初始学习率设置为0.001，学习率按照多项式递减；训练周期为X；网络权重通过反向传播不断更新梯度信息。
在一些实施例中，为了保证分割模型与抠图模型输入输出数据的一致性，还可以对整个抠图系统进行微调。
作为一种示例，将学习率固定为0.0001，训练周期为Y，粗粒度识别模块监督损失采用交叉熵，而抠图模型的损失函数同样采用L1回归误差，网络权重通过二者反向传播不断更新梯度信息，以完成抠图系统的微调过程。
S104，获取待抠图图片，并将待抠图图片输入到分割模型，以通过分割模型生成待抠图图片对应的三元组图片。
S105，将待抠图图片和该待抠图图片对应的三元组图片输入到抠图模型，以通过抠图模型生成该待抠图图片对应的图形蒙版，以及根据图形蒙版对待抠图图片进行自动抠图。
即言，在训练得到分割模型和抠图模型之后，在用户需要对图片进行自动抠图时，首先，获取待抠图图片，并将该待抠图图片输入到分割模型，该分割模型根据输入的待抠图图片生成其对应的三元组图片；接着，将得到的三元组图片连同对应的待抠图图片输入到抠图模型中，抠图模型根据输入生成该待抠图图片所对应的图形蒙版；然后，即可根据相应的图形蒙版对待抠图图片进行自动抠图，以得到需要的前景图像。
综上所述，根据本发明实施例的自动抠图方法，首先，获取历史图片，并根据所述历史图片生成训练数据集；接着，根据所述训练数据集进行分割模型的训练，以便通过训练得到的分割模型根据训练数据集中的原始图片生成对应的三元组图片；然后，根据所述训练数据集中的原始图片和该原始图片对应的三元组图片进行抠图模型的训练，以生成抠图模型；接着，获取待抠图图片，并将所述待抠图图片输入到所述分割模型，以通过所述分割模型生成所述待抠图图片对应的三元组图片；然后，将所述待抠图图片和该待抠图图片对应的三元组图片输入到所述抠图模型，以通过所述抠图模型生成该待抠图图片对应的图形蒙版，以及根据所述图形蒙版对所述待抠图图片进行自动抠图；从而实现根据用户输入的原始图片进行前景部分的自动抠取，降低用户抠图所需编辑时间，降低抠图难度；同时，保证抠图结果的稳定性。
为了实现上述实施例，本发明实施例还提出了一种计算机可读存储介质，其上存储有自动抠图程序，该自动抠图程序被处理器执行时实现如上述的自动抠图方法。
根据本发明实施例的计算机可读存储介质，通过存储自动抠图程序，以使得处理器在执行该自动抠图程序时，实现如上述的自动抠图方法，从而实现根据用户输入的原始图片进行前景部分的自动抠取，降低用户抠图所需编辑时间，降低抠图难度；同时，保证抠图结果的稳定性。
为了实现上述实施例，本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如上述的自动抠图方法。
根据本发明实施例的计算机设备，通过存储器对自动抠图程序进行存储，以使得处理器在执行该自动抠图程序时，实现如上述的自动抠图方法，从而实现根据用户输入的原始图片进行前景部分的自动抠取，降低用户抠图所需编辑时间，降低抠图难度；同时，保证抠图结果的稳定性。
为了实现上述实施例，本发明实施例还提出了一种自动抠图系统，如图2所示，该自动抠图系统包括：获取模块10、第一训练模块20、第二训练模块30和自动抠图模块40。
其中，获取模块10用于获取历史图片，并根据历史图片生成训练数据集；
第一训练模块20用于根据训练数据集进行分割模型的训练，以便通过训练得到的分割模型根据训练数据集中的原始图片生成对应的三元组图片。
第二训练模块30用于根据训练数据集中的原始图片和该原始图片对应的三元组图片进行抠图模型的训练，以生成抠图模型。
自动抠图模块40用于获取待抠图图片，并将待抠图图片输入到分割模型，以通过分割模型生成待抠图图片对应的三元组图片。
自动抠图模块40还用于将待抠图图片和该待抠图图片对应的三元组图片输入到抠图模型，以通过抠图模型生成该待抠图图片对应的图形蒙版，以及根据图形蒙版对待抠图图片进行自动抠图。
在一些实施例中，如图3所示，本发明实施例提出的自动抠图系统还包括：预处理模块50，预处理模块50用于计算每个历史图片对应的信噪比，并根据信噪比对历史图片进行过滤，以及对过滤后的历史图片中的显著性前景进行标注，以便根据标注后的历史图片生成训练数据集。
在一些实施例中，如图3所示，本发明实施例提出的自动抠图系统还包括：样本扩充模块60，样本扩充模块60用于获取背景数据集，并根据背景数据集对标注后的历史图片中的背景进行随机替换，以生成相应的扩充样本，以便根据标注后的历史图片和扩充样本生成训练数据集。
需要说明的是，上述关于图1中自动抠图方法的描述同样适用于该自动抠图系统，在此不做赘述。
综上所述，根据本发明实施例的自动抠图系统，通过设置获取模块用于获取历史图片，并根据所述历史图片生成训练数据集；第一训练模块用于根据所述训练数据集进行分割模型的训练，以便通过训练得到的分割模型根据训练数据集中的原始图片生成对应的三元组图片；第二训练模块用于根据所述训练数据集中的原始图片和该原始图片对应的三元组图片进行抠图模型的训练，以生成抠图模型；自动抠图模块用于获取待抠图图片，并将所述待抠图图片输入到所述分割模型，以通过所述分割模型生成所述待抠图图片对应的三元组图片；自动抠图模块还用于将所述待抠图图片和该待抠图图片对应的三元组图片输入到所述抠图模型，以通过所述抠图模型生成该待抠图图片对应的图形蒙版，以及根据所述图形蒙版对所述待抠图图片进行自动抠图；从而实现根据用户输入的原始图片进行前景部分的自动抠取，降低用户抠图所需编辑时间，降低抠图难度；同时，保证抠图结果的稳定性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征 “上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
- 一种自动抠图方法，其特征在于，包括以下步骤：获取历史图片，并根据所述历史图片生成训练数据集；根据所述训练数据集进行分割模型的训练，以便通过训练得到的分割模型根据训练数据集中的原始图片生成对应的三元组图片；根据所述训练数据集中的原始图片和该原始图片对应的三元组图片进行抠图模型的训练，以生成抠图模型；获取待抠图图片，并将所述待抠图图片输入到所述分割模型，以通过所述分割模型生成所述待抠图图片对应的三元组图片；将所述待抠图图片和该待抠图图片对应的三元组图片输入到所述抠图模型，以通过所述抠图模型生成该待抠图图片对应的图形蒙版，以及根据所述图形蒙版对所述待抠图图片进行自动抠图。
- 如权利要求1所述的自动抠图方法，其特征在于，根据所述历史图片生成训练数据集之前，还包括：计算每个所述历史图片对应的信噪比，并根据所述信噪比对所述历史图片进行过滤；对过滤后的历史图片中的显著性前景进行标注，以便根据标注后的历史图片生成训练数据集。
- 如权利要求2所述的自动抠图方法，其特征在于，在对过滤后的历史图片中的显著性前景进行标注之后，还包括：获取背景数据集，并根据所述背景数据集对标注后的历史图片中的背景进行随机替换，以生成相应的扩充样本，以便根据标注后的历史图片和扩充样本生成训练数据集。
- 如权利要求1-3中任一项所述的自动抠图方法，其特征在于，通过训练得到的分割模型根据训练数据集中的原始图片生成对应的三元组图片，包括：根据所述原始图片生成该原始图片对应的多尺度特征，并对所述多尺度特征进行融合，以生成该原始图片对应的特征层；根据所述原始图片和该原始图片对应的特征层进行细粒度分割，以生成该原始图片对应的三元组图片。
- 如权利要求4所述的自动抠图方法，其特征在于，在生成该原始图片对应的特征层之后，还包括：提取该原始图片中每个像素对应的像素特征，并计算像素间的相似矩阵，以及根据所述像素特征和所述相似矩阵计算像素间的信息增益值，以便根据所述信息增益值对所述特征层进行更新。
- 一种计算机可读存储介质，其特征在于，其上存储有自动抠图程序，该自动抠图程序被处理器执行时实现如权利要求1-5中任一项所述的自动抠图方法。
- 一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1-5中任一项所述的自动抠图方法。
- 一种自动抠图系统，其特征在于，包括：获取模块，所述获取模块用于获取历史图片，并根据所述历史图片生成训练数据集；第一训练模块，所述第一训练模块用于根据所述训练数据集进行分割模型的训练，以便通过训练得到的分割模型根据训练数据集中的原始图片生成对应的三元组图片；第二训练模块，所述第二训练模块用于根据所述训练数据集中的原始图片和该原始图片对应的三元组图片进行抠图模型的训练，以生成抠图模型；自动抠图模块，所述自动抠图模块用于获取待抠图图片，并将所述待抠图图片输入到所述分割模型，以通过所述分割模型生成所述待抠图图片对应的三元组图片；所述自动抠图模块还用于将所述待抠图图片和该待抠图图片对应的三元组图片输入到所述抠图模型，以通过所述抠图模型生成该待抠图图片对应的图形蒙版，以及根据所述图形蒙版对所述待抠图图片进行自动抠图。
- .如权利要求8所述的自动抠图系统，其特征在于，还包括预处理模块，所述预处理模块用于计算每个所述历史图片对应的信噪比，并根据所述信噪比对所述历史图片进行过滤，以及对过滤后的历史图片中的显著性前景进行标注，以便根据标注后的历史图片生成训练数据集。
- 如权利要求9所述的自动抠图系统，其特征在于，还包括样本扩充模块，所述样本扩充模块用于获取背景数据集，并根据所述背景数据集对标注后的历史图片中的背景进行随机替换，以生成相应的扩充样本，以便根据标注后的历史图片和扩充样本生成训练数据集。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010611175.1 | 2020-06-30 | ||
| CN202010611175.1A CN111784564B (zh) | 2020-06-30 | 2020-06-30 | 自动抠图方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022001464A1 true WO2022001464A1 (zh) | 2022-01-06 |
Family
ID=72760421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2021/094860 WO2022001464A1 (zh) | 2020-06-30 | 2021-05-20 | 自动抠图方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (2) | CN113706372A (zh) |
| WO (1) | WO2022001464A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023159746A1 (zh) * | 2022-02-23 | 2023-08-31 | 平安科技（深圳）有限公司 | 基于图像分割的图像抠图方法、装置、计算机设备及介质 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113706372A (zh) * | 2020-06-30 | 2021-11-26 | 稿定（厦门）科技有限公司 | 自动抠图模型建立方法及系统 |
| CN113012169B (zh) * | 2021-03-22 | 2023-07-07 | 深圳市人工智能与机器人研究院 | 一种基于非局部注意力机制的全自动抠图方法 |
| CN113259605A (zh) * | 2021-04-22 | 2021-08-13 | 清华珠三角研究院 | 基于预测前景蒙版预测的视频抠图方法、系统和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150117779A1 (en) * | 2013-10-30 | 2015-04-30 | Thomson Licensing | Method and apparatus for alpha matting |
| CN109035253A (zh) * | 2018-07-04 | 2018-12-18 | 长沙全度影像科技有限公司 | 一种语义分割信息指导的深度学习自动图像抠图方法 |
| CN111161277A (zh) * | 2019-12-12 | 2020-05-15 | 中山大学 | 一种基于深度学习的自然图像抠图方法 |
| CN111223106A (zh) * | 2019-10-28 | 2020-06-02 | 稿定（厦门）科技有限公司 | 全自动人像蒙版抠图方法及系统 |
| CN111784564A (zh) * | 2020-06-30 | 2020-10-16 | 稿定（厦门）科技有限公司 | 自动抠图方法及系统 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8792718B2 (en) * | 2012-06-29 | 2014-07-29 | Adobe Systems Incorporated | Temporal matte filter for video matting |
| WO2017177371A1 (en) * | 2016-04-12 | 2017-10-19 | Xiaogang Wang | Method and system for object re-identification |
| CN108460770B (zh) * | 2016-12-13 | 2020-03-10 | 华为技术有限公司 | 抠图方法及装置 |
| CN108062756B (zh) * | 2018-01-29 | 2020-04-14 | 重庆理工大学 | 基于深度全卷积网络和条件随机场的图像语义分割方法 |
| CN110148102B (zh) * | 2018-02-12 | 2022-07-15 | 腾讯科技（深圳）有限公司 | 图像合成方法、广告素材合成方法及装置 |
| CN108960499B (zh) * | 2018-06-27 | 2021-11-23 | 东华大学 | 一种融合视觉和非视觉特征的服装流行趋势预测系统 |
| US10692221B2 (en) * | 2018-07-13 | 2020-06-23 | Adobe Inc. | Automatic trimap generation and image segmentation |
| CN108961303B (zh) * | 2018-07-23 | 2021-05-07 | 北京旷视科技有限公司 | 一种图像处理方法、装置、电子设备和计算机可读介质 |
| CN109145815B (zh) * | 2018-08-21 | 2022-05-03 | 深圳大学 | 一种sar目标识别方法、装置、计算机设备及存储介质 |
| CN109145922B (zh) * | 2018-09-10 | 2022-03-29 | 成都品果科技有限公司 | 一种自动抠图系统 |
| CN109255334B (zh) * | 2018-09-27 | 2021-12-07 | 中国电子科技集团公司第五十四研究所 | 基于深度学习语义分割网络的遥感影像地物分类方法 |
| CN109461167B (zh) * | 2018-11-02 | 2020-07-21 | Oppo广东移动通信有限公司 | 图像处理模型的训练方法、抠图方法、装置、介质及终端 |
| CN111160380A (zh) * | 2018-11-07 | 2020-05-15 | 华为技术有限公司 | 生成视频分析模型的方法及视频分析系统 |
| CN109712145B (zh) * | 2018-11-28 | 2021-01-08 | 山东师范大学 | 一种图像抠图方法及系统 |
| CN110245665B (zh) * | 2019-05-13 | 2023-06-06 | 天津大学 | 基于注意力机制的图像语义分割方法 |
| CN110322468A (zh) * | 2019-06-04 | 2019-10-11 | 广东工业大学 | 一种图像自动编辑方法 |
| CN110400323B (zh) * | 2019-07-30 | 2020-11-24 | 上海艾麒信息科技股份有限公司 | 一种自动抠图系统、方法以及装置 |
| CN110543841A (zh) * | 2019-08-21 | 2019-12-06 | 中科视语(北京)科技有限公司 | 行人重识别方法、系统、电子设备及介质 |
| CN110889855B (zh) * | 2019-10-28 | 2022-05-20 | 公安部交通管理科学研究所 | 基于端到端卷积神经网络的证件照抠图方法及系统 |
| CN111046732B (zh) * | 2019-11-11 | 2023-11-28 | 华中师范大学 | 一种基于多粒度语义解析的行人重识别方法及存储介质 |
| CN111275732B (zh) * | 2020-01-16 | 2023-05-02 | 北京师范大学珠海分校 | 一种基于深度卷积神经网络的前景对象图像分割方法 |
-
2020
- 2020-06-30 CN CN202110962940.9A patent/CN113706372A/zh active Pending
- 2020-06-30 CN CN202010611175.1A patent/CN111784564B/zh active Active
-
2021
- 2021-05-20 WO PCT/CN2021/094860 patent/WO2022001464A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150117779A1 (en) * | 2013-10-30 | 2015-04-30 | Thomson Licensing | Method and apparatus for alpha matting |
| CN109035253A (zh) * | 2018-07-04 | 2018-12-18 | 长沙全度影像科技有限公司 | 一种语义分割信息指导的深度学习自动图像抠图方法 |
| CN111223106A (zh) * | 2019-10-28 | 2020-06-02 | 稿定（厦门）科技有限公司 | 全自动人像蒙版抠图方法及系统 |
| CN111161277A (zh) * | 2019-12-12 | 2020-05-15 | 中山大学 | 一种基于深度学习的自然图像抠图方法 |
| CN111784564A (zh) * | 2020-06-30 | 2020-10-16 | 稿定（厦门）科技有限公司 | 自动抠图方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023159746A1 (zh) * | 2022-02-23 | 2023-08-31 | 平安科技（深圳）有限公司 | 基于图像分割的图像抠图方法、装置、计算机设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111784564A (zh) | 2020-10-16 |
| CN113706372A (zh) | 2021-11-26 |
| CN111784564B (zh) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022001464A1 (zh) | 自动抠图方法及系统 | |
| CN110263659B (zh) | 一种基于三元组损失和轻量级网络的指静脉识别方法及系统 | |
| CN111127346A (zh) | 基于部分到整体注意力机制的多层次图像修复方法 | |
| WO2020199478A1 (zh) | 图像生成模型训练方法、图像生成方法、装置、设备及存储介质 | |
| EP3631750B1 (en) | Image resolution enhancement | |
| US11651477B2 (en) | Generating an image mask for a digital image by utilizing a multi-branch masking pipeline with neural networks | |
| CN110008962B (zh) | 基于注意力机制的弱监督语义分割方法 | |
| US11393100B2 (en) | Automatically generating a trimap segmentation for a digital image by utilizing a trimap generation neural network | |
| WO2022105608A1 (zh) | 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质 | |
| WO2019196795A1 (zh) | 视频剪辑的方法以及装置及电子设备 | |
| CN110543906A (zh) | 基于数据增强和Mask R-CNN模型的肤质自动识别方法 | |
| CN112861659B (zh) | 一种图像模型训练方法、装置及电子设备、存储介质 | |
| CN111932431A (zh) | 基于水印分解模型的可见水印去除方法和电子设备 | |
| Chen et al. | Robust face super-resolution via position relation model based on global face context | |
| CN103927533B (zh) | 一种针对早期专利文档扫描件中图文信息的智能处理方法 | |
| US20220207808A1 (en) | Image manipulation | |
| CN113222903A (zh) | 一种全切片组织病理图像分析方法及系统 | |
| CN110942463B (zh) | 一种基于生成对抗网络的视频目标分割方法 | |
| CN111709425A (zh) | 一种基于特征迁移的肺部ct图像分类方法 | |
| Swathi et al. | Deep learning: A detailed analysis of various image augmentation techniques | |
| CN113269734B (zh) | 一种基于元学习特征融合策略的肿瘤图像检测方法及装置 | |
| Huynh et al. | SimpSON: Simplifying Photo Cleanup with Single-Click Distracting Object Segmentation Network | |
| CN114547437A (zh) | 图像检索方法及装置 | |
| JP2008020944A (ja) | 画像処理方法、プログラムおよび装置 | |
| CN115376022B (zh) | 基于神经网络的小目标检测算法在无人机航拍中的应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21834412 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21834412 Country of ref document: EP Kind code of ref document: A1 |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 17.07.2023) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21834412 Country of ref document: EP Kind code of ref document: A1 |