WO2023024424A1 - 分割网络训练方法、使用方法、装置、设备及存储介质 - Google Patents

分割网络训练方法、使用方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2023024424A1
WO2023024424A1 PCT/CN2022/072183 CN2022072183W WO2023024424A1 WO 2023024424 A1 WO2023024424 A1 WO 2023024424A1 CN 2022072183 W CN2022072183 W CN 2022072183W WO 2023024424 A1 WO2023024424 A1 WO 2023024424A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
training
segmentation
segmentation network
network
Prior art date
Application number
PCT/CN2022/072183
Other languages
English (en)
French (fr)
Inventor
曾婵
李葛
郑强
高鹏
谢国彤
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2023024424A1 publication Critical patent/WO2023024424A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Definitions

  • the present application relates to the technical field of artificial intelligence, and in particular to a segmentation network training method, usage method, device, equipment and storage medium.
  • Image segmentation is a widely used technology, such as changing the background color of ID photos, special effects for movies and TV, video conferencing, etc. This technology can be used to separate the target portrait image in the scene from the background. Image segmentation technology can not only bring entertainment Value, in some scenarios can also guarantee the user's privacy.
  • the inventor realized that in the prior art, because the public image data sets in the field of image segmentation are limited, and the pictures taken in reality are quite different, the image segmentation network obtained by using the public data set training is not effective in practice. The effect of image segmentation on captured images is relatively poor.
  • the main purpose of this application is to provide a segmentation network training method, usage method, device, equipment, and storage medium, aiming at combining supervised learning and unsupervised learning to train the segmentation network and improve the segmentation network's ability to capture images in daily life. Image segmentation capabilities.
  • the present application provides a segmentation network training method, including:
  • first picture training set and a second picture training set wherein the first picture in the first picture training set has a semantic segmentation label, and the second picture in the second picture training set does not have a semantic segmentation label , and the main element category of the first picture is the same as the main element category of the second picture;
  • the preliminary image segmentation network uses the preliminary image segmentation network to perform feature extraction on the pictures in the first picture training set and the second picture training set, so as to obtain the first picture feature set corresponding to the first picture training set, and the second picture training set.
  • the target image segmentation network is output.
  • the present application also provides a segmented network training device, the segmented network training device includes:
  • the first training picture acquisition module used to acquire the first picture training set and the second picture training set, wherein the first picture in the first picture training set has a semantic segmentation label, and the second picture training set has a semantic segmentation label The second picture does not have a semantic segmentation label, and the main element category of the first picture is the same as the main element category in the second picture;
  • the first network training module used to train the preset first segmentation network according to the first picture training set to obtain a preliminary image segmentation network
  • the second training picture acquisition module used to use the preliminary image segmentation network to perform feature extraction on the pictures in the first picture training set and the second picture training set, so as to obtain the first picture training set corresponding to the first picture.
  • the second network training module used to train the preset second segmentation network according to the first picture feature set and the second picture feature set to obtain an image source identification network;
  • a third network training module used to iteratively train the preliminary image segmentation network according to the second picture training set, and obtain a segmentation result map output by the preliminary image segmentation network;
  • Target network verification module used to evaluate whether the training of the preliminary image segmentation network is completed according to the image source identification network and the segmentation result map;
  • Target network acquisition module used to output the target image segmentation network when the training of the preliminary image segmentation network is completed.
  • the present application further provides a computer device, the computer device includes a processor, a memory, and a computer program stored on the memory and executable by the processor, wherein the computer program is executed by the When executed by the processor, the steps of the above-mentioned segmentation network training method are realized.
  • the present application further provides a storage medium, where a computer program is stored on the computer-readable storage medium, wherein when the computer program is executed by a processor, the steps of the above-mentioned segmentation network training method are realized.
  • the segmentation network training time is adjusted later.
  • the environmental complexity of the environment is judged by collecting the environmental information of the user, and the corresponding reminder method is matched according to the environmental complexity and the overdue risk coefficient to remind the user.
  • the first picture with the semantic segmentation label is acquired to obtain the first picture training set
  • the second picture without the semantic segmentation label is acquired to obtain the second picture training set.
  • Supervised training is performed on the first segmentation network according to the first image training set to obtain a preliminary image segmentation network.
  • Use the preliminary image segmentation network to perform feature extraction on the pictures in the first picture training set and the second picture training set, and obtain the first picture feature set corresponding to the first picture training set, and the second picture feature set corresponding to the second picture training set .
  • the second segmentation network is trained according to the first picture feature set and the second picture feature set to obtain an image source identification network.
  • the preliminary image segmentation network performs unsupervised learning and training according to the second picture training set, and outputs a segmentation result map during the unsupervised learning and training process.
  • the segmentation result map is verified.
  • the verification is passed, the preliminary image segmentation network training is completed, and the target image segmentation network is output.
  • the target image segmentation network has a good image segmentation effect on pictures captured in daily life.
  • Fig. 1 is a schematic flow chart of the steps of a segmentation network training method provided by an embodiment of the present application
  • Fig. 2 is a flow chart of steps corresponding to a specific embodiment of step S11 in Fig. 1;
  • FIG. 3 is a flow chart of steps corresponding to a specific implementation of step S113 in FIG. 2;
  • FIG. 4 is a flow chart of steps corresponding to a specific embodiment of step S13 in FIG. 1;
  • FIG. 5 is a schematic block diagram of a split network training device provided in an embodiment of the present application.
  • FIG. 6 is a schematic structural block diagram of a computer device provided by an embodiment of the present application.
  • Embodiments of the present application provide a segmentation network training method, usage method, device, device, and storage medium.
  • the segmentation network training method can be applied to a terminal device or a server, and the terminal device can be electronic devices such as a mobile phone, a tablet computer, a notebook computer, a desktop computer, a personal digital assistant, and a wearable device; the server can be a single
  • the server may also be a server cluster composed of multiple servers.
  • the following takes the fraud identification method applied to a server as an example for explanation.
  • FIG. 1 is a schematic flowchart of steps of a segmentation network training method provided by an embodiment of the present application.
  • the segmentation network training method includes steps S10 to S16.
  • Step S10 obtaining a first picture training set and a second picture training set, wherein the first picture in the first picture training set has a semantic segmentation label, and the second picture in the second picture training set does not have a Semantic segmentation labels, and the main element category of the first picture is the same as the main element category of the second picture.
  • the pictures in the first training set of pictures are pictures published on the Internet that are specially used for image semantic segmentation network training.
  • each picture is provided with its corresponding pixel-level semantics Split tags.
  • the pictures in the second picture training set are pictures taken in real life, and the pictures in the second picture training set are not provided with semantic segmentation labels.
  • the main element categories corresponding to the pictures in the first picture training set and the second picture training set are the same.
  • the pictures in the first picture training set are all about portraits
  • the pictures in the second picture training set must have the same main element category as the pictures in the first picture training set. That is, the pictures in the second training set of pictures are also pictures about portraits.
  • the first picture training set needs to include more than 30,000 portrait pictures with pixel-level semantic segmentation labels
  • the second picture training set needs to include more than 2,000 portrait pictures taken from real life.
  • first picture training set and the second picture training set are all pictures of the portrait category, because the pictures in the first picture training set are specially used to train the image semantic segmentation network.
  • the portraits and backgrounds in the pictures The color and lighting differences between them will be more obvious.
  • the pictures in the second picture training set are taken from real life, and there may be various complicated situations, such as the color similarity between the portrait and the background in the picture.
  • Step S11 Train a preset first segmentation network according to the first image training set to obtain a preliminary image segmentation network.
  • the iterative training process of the first segmentation network using the first picture training set is a supervised training and learning process.
  • step S11 includes: step S110 to step S115.
  • Step S110 sequentially acquiring the first pictures in the first picture training set and inputting them into the preset first segmentation network
  • Step S111 using the first convolutional layer of the first segmentation network to perform background feature extraction on the first picture to obtain a first score map, wherein the first score map is set with pixels of the first picture The point corresponds to the score of the background category;
  • Step S112 using the second convolutional layer of the first segmentation network to perform principal element category feature extraction on the first picture to obtain a second score map, wherein the first score map and the second score map The sizes are the same, and the second score map is set with the scores of the main element categories corresponding to the pixels of the first picture;
  • Step S113 according to the first score map and the second score map, set the training weight value corresponding to each pixel in the first picture, and obtain the training weight information corresponding to the first picture;
  • Step S114 according to the first picture and the training weight information corresponding to the first picture, train the first segmentation network
  • Step S115 when the number of times the first segmentation network performs training according to the first image training set reaches a preset value, the training of the first segmentation network is completed, and a preliminary image segmentation network is output.
  • the first segmentation network extracts the background features of the first picture through the first convolutional layer to obtain the first score map.
  • the main element features of the first picture are extracted through the second convolutional layer to obtain the second score map.
  • the higher the score of the corresponding pixel in the first score map the higher the possibility that the pixel in the first picture is the background.
  • the higher the score of the corresponding pixel in the second score map the greater the possibility of the corresponding pixel in the first picture as the main element.
  • pixels with high scores in the first score map and the second score map indicate that the first segmentation network has a high degree of recognition of these regions. If some pixels of the first image have low scores corresponding to the first score map and the second score map, it indicates that the first segmentation network currently has a low recognition degree for these pixels, so that it is impossible to identify these pixels as belonging to the second score map.
  • the background of the first picture is still the main element of the first picture. At this time, it is necessary to increase the training weight value of these pixels, so that the first segmentation network can strengthen the training of these pixels with low recognition degree in the subsequent training.
  • the convolutional layer is used to identify the pixels with low recognition degree of the first segmentation network for the first picture, and then correspondingly adjust the training weight value of each pixel of the first picture to obtain the training weight information corresponding to the first picture.
  • the first segmentation network After obtaining the training weight information corresponding to the first picture, the first segmentation network performs training according to the first picture and the training weight information corresponding to the first picture, which can improve the training effect.
  • the first segmentation network is a segmentation network based on MobileNetV2 network structural components. In this way, the size of the model can be reduced while the model training speed is improved while maintaining the performance of the model.
  • the segmentation loss is calculated according to the loss function, and the parameters of the first segmentation network are optimized through backpropagation.
  • the number of times the first segmentation model uses the first picture training set for training can be set by setting the epoch parameter of the first segmentation model. When the number of training times reaches the set epoch value, the first segmentation network training Finish. At this time, the parameters of the first segmentation network are locked, that is, the preliminary image segmentation network is obtained.
  • the preset value can be set to 300, that is, the epoch parameter of the first segmentation network is set to 300, and when the number of cycles for training the first segmentation network according to the first picture training set reaches 300 rounds, the training Finish.
  • the first segmentation network has a good semantic segmentation ability for the pictures in the first picture training set.
  • step S113 includes: step S1130 to step S1133.
  • Step S1130 Obtain the pixel with the highest score among the pixels corresponding to the first score map and the second score map according to a preset function, and merge the pixel with the highest score into the preset score map to obtain the corresponding a segmentation score map of the first picture;
  • Step S1131. Obtain initial training weight information corresponding to the first picture according to the segmentation score map;
  • Step S1132 identifying pixels with scores lower than a preset score value in the segmentation score map to obtain an unsatisfactory score pixel set;
  • Step S1133 Increase the training weight value corresponding to the unsatisfactory score pixel set in the initial training weight information, and obtain the training weight information corresponding to the first picture.
  • the process of merging the first score map and the second score map is to create a picture with the same size as the first score map and the second score map, that is, the preset score map, which is used to record the first score map and the merged result of the second score map. Traverse the pixels corresponding to the first score map and the second score map in turn.
  • the first score map records the first score corresponding to the pixel point
  • the second score map records the second score corresponding to the pixel point.
  • the second score is obtained through the preset function. The maximum score between the first score and the second score is filled into the corresponding pixel of the newly created picture.
  • the preset function may be a Max(a,b) function, and the maximum value of a and b may be obtained through the Max(a,b) function.
  • the segmentation score map not only reflects the recognition status of each pixel of the first picture by the first segmentation network, but also reflects the training weight value of the corresponding pixel. The higher the score corresponding to the pixel, the higher the corresponding training weight value. According to the segmentation score map, initial training weight information corresponding to the first picture can be obtained.
  • the preset score value may be set to 0.5, and the score interval of the corresponding pixel in the segmentation score map is 0-1.
  • the score of the corresponding pixel points reaches 0.5, it means that the first segmentation network has a high degree of recognition of these pixel points in the first picture.
  • the score of the corresponding pixel is lower than 0.5, it means that the first segmentation network has a low degree of recognition of these pixels in the first picture, and the set of pixels with low recognition is not ideal.
  • Score pixels Increase the training weight value corresponding to the unsatisfactory scoring pixel set in the initial training weight information, that is, obtain the training weight information of the first picture.
  • the first picture with a poor recognition degree can be Pixels for enhanced training and learning.
  • the training efficiency and training effect of the first segmentation network can be improved.
  • Step S12 using the preliminary image segmentation network to perform feature extraction on the pictures in the first picture training set and the second picture training set, so as to obtain the first picture feature set corresponding to the first picture training set, and The second picture feature set corresponding to the second picture training set.
  • the first picture training set is input into the first segmentation network as the input picture set, and the features of the pictures in the first picture training set are extracted through the first segmentation network, and the set of the obtained feature pictures is the first picture feature set .
  • the pictures in the first picture training set are specially used for image semantic segmentation network training, in the first picture training set, the main elements of the picture and the background color and lighting are significantly different, and the preliminary image segmentation The network is obtained by supervised learning and training based on the pictures in the first training set of pictures. Therefore, the preliminary image segmentation network has a good picture segmentation effect on the pictures in the first training set of pictures.
  • the second picture training set is input into the first segmentation network as the input picture set, and the pictures in the second picture training set are segmented through the first segmentation network, and the set of the obtained feature pictures is the second picture feature set .
  • the pictures in the second picture training set are taken from daily life, limited by the shooting equipment, shooting environment, shooting target, etc., there may be cases where the main elements of the picture are similar to the background in color and lighting.
  • the preliminary image segmentation network is not trained according to the pictures in the second picture training set. Therefore, the preliminary image segmentation network will have a poor segmentation effect on the pictures in the second picture training set, and it will not be as good as it is for the first picture training set. The level of segmentation ability of the picture.
  • the image recognition ability of the preliminary image segmentation network for the first image training set is better than that of the second image training set.
  • the first picture feature set is obtained by inputting the first picture training set through the preliminary image segmentation network.
  • the second picture feature set is obtained by inputting the second picture training set through the preliminary image segmentation network, that is, the pictures in the first picture feature set
  • the image segmentation effect is better than the image segmentation effect of the pictures in the second picture feature set.
  • Step S13 Train the preset second segmentation network according to the first picture feature set and the second picture feature set to obtain an image source identification network.
  • the preliminary image segmentation network has different segmentation capabilities for the pictures in the first picture training set and the second picture training set. Therefore, there are differences in the picture features in the first picture feature set and the second picture feature set, that is, the first picture feature set and the second picture feature set.
  • the picture features corresponding to the pictures in the first picture feature set and the pictures in the second picture feature set are different, and the picture segmentation quality of the pictures in the first picture feature set is higher than that of the pictures in the second picture feature set.
  • the image source identification network trained according to the first picture feature set and the second picture feature set can identify the picture features corresponding to the input picture, so as to determine whether the picture segmentation quality of the input picture corresponds to the first picture feature set or the second picture feature set. Image feature set.
  • step S13 includes: step S130 to step S134.
  • Step S130 setting a first label for the pictures in the first picture feature set, and setting a second label for the pictures in the second picture feature set;
  • Step S131 performing iterative training on the preset second segmentation network according to the first image feature set, and obtaining the first output image output during the training process of the second segmentation network;
  • Step S132 performing iterative training on the second segmentation network according to the second image feature set, and obtaining a second output image output during the training process of the second segmentation network;
  • Step S133 according to the first output picture and the second output picture, evaluate whether the training of the second segmentation network is completed
  • Step S134 when the training of the second segmentation network is completed, output the image source identification network.
  • the first label is set for the pictures in the first picture feature set
  • the second label is set for the pictures in the second picture feature set
  • the second segmentation network is divided according to the first picture feature set and the second picture feature set.
  • the process of iterative training is a supervised training learning process.
  • the second segmentation network can distinguish the input image according to whether the input image is set with the first label or the second label, thereby helping the second segmentation network to identify the first label during the training process. Distinguishing image features of a picture feature set and a second picture feature set.
  • the segmentation loss is calculated according to the second loss function, and the parameters of the second segmentation network are optimized through backpropagation.
  • the ability of the second segmentation network to identify the distinguishing features of the pictures in the first picture feature set and the second picture feature set will become stronger and stronger.
  • the learning progress of the second segmentation network can be inferred.
  • the parameters of the second segmentation network are locked to obtain an image source identification network.
  • the image source identification network the image segmentation feature corresponding to the input image can be identified, so as to determine whether the image segmentation feature of the input image corresponds to the first image feature set or the second image feature set.
  • step S134 includes: when the feature labels corresponding to the first output picture are all the first feature labels, and the When the feature labels corresponding to the second output picture are all the second feature labels, the training of the second segmentation network is completed.
  • the second segmentation network can already recognize Whether the picture segmentation feature corresponding to the input picture corresponds to the picture in the first picture feature set, or corresponds to the picture in the second picture feature set, at this time, the training of the second segmentation network is completed.
  • the input picture corresponding to the first output picture is from the first picture feature set
  • the input picture corresponding to the second output picture is from the second picture feature set. Because the preliminary image segmentation network is more hesitant to the picture segmentation ability of the pictures in the first picture training set than the pictures in the second picture training set, that is, the picture segmentation quality in the first picture feature set is higher than the picture segmentation quality in the second picture feature set, Then, during the training process, the second segmentation network can judge the segmentation quality of the input image by identifying the image segmentation feature corresponding to the input image, and then set a feature label for the output image corresponding to the input image.
  • the second segmentation network can set the feature label of the output picture as the first feature label, otherwise, set the feature label of the output picture as the second feature label, then the second The bisection network is trained.
  • Step S14 iteratively training the preliminary image segmentation network according to the second image training set, and obtaining a segmentation result map output by the preliminary image segmentation network.
  • the preliminary image segmentation network can be trained by unlocking the parameters of the preliminary image segmentation network, setting the corresponding segmentation loss function for the preliminary image segmentation network, and inputting the pictures in the second picture training set to the preliminary image segmentation network.
  • the segmentation loss is calculated according to the loss function, and the parameters of the preliminary image segmentation network are optimized by backpropagation.
  • the output picture of the preliminary image segmentation network during the training process is the segmentation result map.
  • the process of the preliminary image segmentation network using the pictures in the second picture training set for iterative training is an unsupervised learning process.
  • Step S15 evaluating whether the training of the preliminary image segmentation network is completed according to the image source identification network and the segmentation result map.
  • the image source identification network it can be identified whether the image segmentation feature corresponding to the input image corresponds to the image in the first image feature set, or corresponds to the image in the second image feature set.
  • the preliminary image segmentation network Before the preliminary image segmentation network is trained with the second picture training set, the preliminary image segmentation network has different segmentation capabilities for the pictures in the first picture training set and the second picture training set.
  • the pictures in the picture training set have a better picture segmentation effect than the pictures in the second picture training set.
  • the preliminary image segmentation network gradually improves the picture segmentation ability of the pictures in the second picture training set through training and learning.
  • the image segmentation ability of the preliminary image segmentation network for the pictures in the second image training set reaches its image segmentation ability level for the pictures in the first image training set
  • input the second image training to the preliminary image segmentation network.
  • step S15 includes: step S150 to step S151.
  • Step S150 using the image source identification network to perform feature extraction on the segmentation result map to obtain a segmentation result feature map corresponding to the segmentation result map;
  • Step S151 when the label corresponding to the segmentation result feature map is the first feature label, the training of the preliminary image non-segmentation network is completed.
  • the image source identification network sets the feature label of the output image according to the image segmentation feature corresponding to the input image.
  • the label corresponding to the output segmentation result feature map is the first feature label
  • the image segmentation feature of the segmentation result map corresponds to the first image feature set, that is, the preliminary image segmentation network
  • the preliminary image segmentation network Use the pictures in the second picture training set for unsupervised learning, and the picture segmentation ability of the pictures without semantic segmentation labels has reached the level of the first segmentation network.
  • the picture segmentation ability level of the picture is complete.
  • Step S16 when the training of the preliminary image segmentation network is completed, output the target image segmentation network.
  • the first picture with the semantic segmentation label is acquired to obtain the first picture training set
  • the second picture without the semantic segmentation label is acquired to obtain the second picture training set.
  • Supervised training is performed on the first segmentation network according to the first image training set to obtain a preliminary image segmentation network.
  • Use the preliminary image segmentation network to perform feature extraction on the pictures in the first picture training set and the second picture training set, and obtain the first picture feature set corresponding to the first picture training set, and the second picture feature set corresponding to the second picture training set .
  • the second segmentation network is trained according to the first picture feature set and the second picture feature set to obtain an image source identification network.
  • unsupervised training is performed on the preliminary image segmentation network according to the second image training set, and a segmentation result map output by the preliminary image segmentation network during training is obtained.
  • the segmentation result map is verified.
  • the verification is passed, the preliminary image segmentation network training is completed, and the target image segmentation network is output.
  • the trained target image segmentation network can achieve the same segmentation effect on the unlabeled second picture as on the labeled first picture.
  • An embodiment of the present application also provides a method for using a divided network.
  • the method for using a divided network includes steps S20 to S21.
  • Step S20 acquiring the picture to be processed
  • Step S21 using an image segmentation network to perform image segmentation processing on the picture to be processed to obtain a target result map corresponding to the picture to be processed, wherein the image segmentation network is trained by the segmentation network training method as described in this application get.
  • the image segmentation network trained by the segmentation network training method as described in this application can achieve very good image segmentation effects even if no label pictures are input.
  • FIG. 5 is a schematic block diagram of an apparatus for training a segmented network according to an embodiment of the present application.
  • the segmentation network training device 201 includes:
  • the first training picture acquisition module 2011 used to acquire the first picture training set and the second picture training set, wherein the first picture in the first picture training set has a semantic segmentation label, and the second picture training set The second picture does not have a semantic segmentation label, and the main element category of the first picture is the same as the main element category in the second picture;
  • the first network training module 2012 used to train the preset first segmentation network according to the first image training set to obtain a preliminary image segmentation network;
  • the second training picture acquisition module 2013 used to use the preliminary image segmentation network to perform feature extraction on the pictures in the first picture training set and the second picture training set, so as to obtain the images corresponding to the first picture training set A first picture feature set, and a second picture feature set corresponding to the second picture training set;
  • the second network training module 2014 for training the preset second segmentation network according to the first picture feature set and the second picture feature set to obtain an image source identification network;
  • the third network training module 2015 for iteratively training the preliminary image segmentation network according to the second picture training set, and obtaining the segmentation result map output by the preliminary image segmentation network;
  • Target network verification module 2016 for evaluating whether the training of the preliminary image segmentation network is completed according to the image source identification network and the segmentation result map;
  • Target network acquisition module 2017 used to output the target image segmentation network when the training of the preliminary image segmentation network is completed.
  • the first network training module 2012 trains the preset first segmentation network according to the first image training set to obtain a preliminary image segmentation network, it includes:
  • the second convolutional layer of the first segmentation network to perform principal element category feature extraction on the first picture to obtain a second score map, wherein the size of the first score map is the same as that of the second score map , and the second score map is set with the scores of the main element categories corresponding to the pixels of the first picture;
  • the first score map and the second score map set the training weight value corresponding to each pixel in the first picture, and obtain the training weight information corresponding to the first picture;
  • the training of the first segmentation network is completed, and a preliminary image segmentation network is output.
  • the first network training module 2012 sets the training weight values corresponding to each pixel in the first picture according to the first score map and the second score map, and obtains the corresponding
  • the training weight information of the first picture includes:
  • the second network training module 2014 trains the preset second segmentation network according to the first picture feature set and the second picture feature set to obtain an image source identification network, include:
  • a first label is set for the pictures in the first picture feature set, and a second label is set for the pictures in the second picture feature set;
  • the image source identification network is output.
  • the second segmentation network sets the feature label of the output picture according to the picture segmentation feature corresponding to the input picture, and the second network training module 2014 is based on the first output picture and the second output
  • the picture, when evaluating whether the second segmentation network is trained includes:
  • the target network verification module 2016 evaluates whether the training of the preliminary image segmentation network is completed according to the image source identification network and the segmentation result map, it includes:
  • the preliminary image non-segmentation network training is completed.
  • the apparatus provided in the foregoing embodiments may be implemented in the form of a computer program, and the computer program may run on a computer device as shown in FIG. 6 .
  • FIG. 6 is a schematic block diagram of a computer device provided by an embodiment of the present application.
  • the computer equipment includes but is not limited to a server.
  • the computer device 301 includes a processor 3011 connected through a system bus, a memory, and a network interface, wherein the memory may include a storage medium 3012 and an internal memory 3015, and the storage medium 3012 may be non-volatile, or is volatile.
  • the storage medium 3012 can store an operating system and computer programs.
  • the computer program includes program instructions.
  • the processor 3011 can be executed to execute any method for training a segmented network.
  • the processor 3011 is used to provide computing and control capabilities to support the operation of the entire computer device.
  • the internal memory 3015 provides an environment for the running of the computer program in the storage medium 3012.
  • the processor 3011 can execute any training method for splitting the network.
  • This network interface is used for network communication, such as sending assigned tasks, etc.
  • Those skilled in the art can understand that the structure shown in FIG. 6 is only a block diagram of a part of the structure related to the solution of this application, and does not constitute a limitation on the computer equipment to which the solution of this application is applied.
  • the specific computer equipment can be More or fewer components than shown in the figures may be included, or some components may be combined, or have a different arrangement of components.
  • the processor 3011 may be a central processing unit (Central Processing Unit, CPU), and the processor 3011 may also be other general processors, digital signal processors (Digital Signal Processor, DSP), application specific integrated circuits (Application Specific Integrated Circuit, ASIC), Field-Programmable Gate Array (Field-Programmable Gate Array, FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the general-purpose processor may be a microprocessor or the processor may be any conventional processor and the like.
  • the processor 3011 is configured to run a computer program stored in a memory, so as to realize the following steps:
  • first picture training set and a second picture training set wherein the first picture in the first picture training set has a semantic segmentation label, and the second picture in the second picture training set does not have a semantic segmentation label , and the main element category of the first picture is the same as the main element category of the second picture;
  • the preliminary image segmentation network uses the preliminary image segmentation network to perform feature extraction on the pictures in the first picture training set and the second picture training set, so as to obtain the first picture feature set corresponding to the first picture training set, and the second picture training set.
  • the target image segmentation network is output.
  • the processor 3011 trains the preset first segmentation network according to the first image training set to obtain a preliminary image segmentation network, it is used to realize:
  • the second convolutional layer of the first segmentation network to perform principal element category feature extraction on the first picture to obtain a second score map, wherein the size of the first score map is the same as that of the second score map , and the second score map is set with the scores of the main element categories corresponding to the pixels of the first picture;
  • the first score map and the second score map set the training weight value corresponding to each pixel in the first picture, and obtain the training weight information corresponding to the first picture;
  • the training of the first segmentation network is completed, and a preliminary image segmentation network is output.
  • the processor 3011 sets the training weight values corresponding to each pixel in the first picture according to the first score map and the second score map to obtain When training weight information, it is used to realize:
  • the processor 3011 trains the preset second segmentation network according to the first picture feature set and the second picture feature set to obtain the image source identification network, :
  • a first label is set for the pictures in the first picture feature set, and a second label is set for the pictures in the second picture feature set;
  • the image source identification network is output.
  • the second segmentation network sets the feature label of the output picture according to the picture segmentation feature corresponding to the input picture, and the processor 3011 evaluates according to the first output picture and the second output picture When the second segmentation network is trained, it is used to realize:
  • the processor 3011 evaluates whether the training of the preliminary image segmentation network is completed according to the image source identification network and the segmentation result map, it is used to realize:
  • the preliminary image non-segmentation network training is completed.
  • the embodiment of the present application also provides a storage medium, the storage medium is a computer-readable storage medium, and a computer program is stored on the computer-readable storage medium, and when the computer program is executed by a processor, the following steps are implemented:
  • first picture training set and a second picture training set wherein the first picture in the first picture training set has a semantic segmentation label, and the second picture in the second picture training set does not have a semantic segmentation label , and the main element category of the first picture is the same as the main element category of the second picture;
  • the preliminary image segmentation network uses the preliminary image segmentation network to perform feature extraction on the pictures in the first picture training set and the second picture training set, so as to obtain the first picture feature set corresponding to the first picture training set, and the second picture training set.
  • the target image segmentation network is output.
  • the computer-readable storage medium may be an internal storage unit of the computer device described in the foregoing embodiments, such as a hard disk or a memory of the computer device.
  • the computer-readable storage medium can also be an external storage device of the computer device, such as a plug-in hard disk equipped on the computer device, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD ) card, flash memory card (Flash Card), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能技术领域，公开一种分割网络训练方法、装置、设备及存储介质，方法包括：对初步图像分割网络有监督训练，利用初步图像分割网络对图片进行特征提取，利用提取特征对图像来源识别网络进行训练，对初步图像分割网络进行无监督迭代训练，并利用图像来源识别网络评估初步图像分割网络是否训练完成。

Description

分割网络训练方法、使用方法、装置、设备及存储介质
本申请要求于2021年8月26日提交中国专利局、申请号为CN202110991125.5、发明名称为“分割网络训练方法、使用方法、装置、设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能的技术领域，尤其涉及一种分割网络训练方法、使用方法、装置、设备及存储介质。
背景技术
图像分割是一项广泛使用的技术，如证件照换底色、电影电视特效、视频会议等，可以使用该技术将场景中的目标人像图像从背景中分割出来，图像分割技术不仅能带来娱乐价值，在某些场景还能保证用户的隐私。但是发明人意识到，现有技术中，因为图像分割领域内公开的图像数据集有限，且与实际中拍摄到的图片差异较大，导致使用公开数据集训练所得到的图像分割网络对实际中拍摄到的图片进行图片分割的效果较差。
发明内容
本申请的主要目的在于提供一种分割网络训练方法、使用方法、装置、设备及存储介质，旨在结合有监督学习以及无监督学习对分割网络进行训练，提高分割网络对日常生活中拍摄到的图片的分割能力。
第一方面，本申请提供一种分割网络训练方法，包括：
获取第一图片训练集、及第二图片训练集，其中，所述第一图片训练集中的第一图片带有语义分割标签，所述第二图片训练集中的第二图片未带有语义分割标签，并且所述第一图片的主元素类别和所述第二图片中的主元素类别相同；
根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络；
利用所述初步图像分割网络对所述第一图片训练集及所述第二图片训练集中的图片进行特征提取，以获取所述第一图片训练集对应的第一图片特征集，及所述第二图片训练集对应的第二图片特征集；
根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络；
根据所述第二图片训练集对所述初步图像分割网络进行迭代训练，并获取所述初步图像分割网络输出的分割结果图；
根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成；
当所述初步图像分割网络训练完成时，输出目标图像分割网络。
第二方面，本申请还提供一种分割网络训练装置，所述分割网络训练装置包括：
第一训练图片获取模块：用于获取第一图片训练集、及第二图片训练集，其中，所述第一图片训练集中的第一图片带有语义分割标签，所述第二图片训练集中的第二图片未带有语义分割标签，并且所述第一图片的主元素类别和所述第二图片中的主元素类别相同；
第一网络训练模块：用于根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络；
第二训练图片获取模块：用于利用所述初步图像分割网络对所述第一图片训练集及所述第二图片训练集中的图片进行特征提取，以获取所述第一图片训练集对应的第一图片特 征集，及所述第二图片训练集对应的第二图片特征集；
第二网络训练模块：用于根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络；
第三网络训练模块：用于根据所述第二图片训练集对所述初步图像分割网络进行迭代训练，并获取所述初步图像分割网络输出的分割结果图；
目标网络校验模块：用于根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成；
目标网络获取模块：用于当所述初步图像分割网络训练完成时，输出目标图像分割网络。
第三方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上所述的分割网络训练方法的步骤。
第四方面，本申请还提供一种存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上所述的分割网络训练方法的步骤。
本申请中，在需要进行待办事项提醒时，通过分析用户的当前定位信息以及历史定位信息，判断用户是否处于出行状态，当判断到用户处于出行状态时，往后调整分割网络训练时间。当用户不处于出行状态时，通过采集用户所处环境的环境信息，判断所处环境的环境复杂度，并根据环境复杂度以及逾期风险系数匹配对应的提醒方式，对用户进行提醒。通过本申请，可以提高分割网络训练效果。
本申请中，获取带有语义分割标签的第一图片，得到第一图片训练集、获取未带有语义分割标签的第二图片，得到第二图片训练集。根据第一图片训练集对第一分割网络进行有监督训练，得到初步图像分割网络。利用初步图像分割网络对第一图片训练集及第二图片训练集中的图片进行特征提取，获得第一图片训练集对应的第一图片特征集，及第二图片训练集对应的第二图片特征集。根据第一图片特征集以及第二图片特征集对第二分割网络进行训练，得到图像来源识别网络。初步图像分割网络根据第二图片训练集进行无监督学习训练，无监督学习训练的过程中输出分割结果图。根据图像来源识别网络对分割结果图进行校验，校验通过时，初步图像分割网络训练完成，输出目标图像分割网络。通过本申请，目标图像分割网络对日常生活中拍摄到的图片具备良好的图片分割效果。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种分割网络训练方法的步骤流程示意图；
图2是图1中步骤S11的一种具体实施方式对应的步骤流程图；
图3是图2中步骤S113的一种具体实施方式对应的步骤流程图；
图4是图1中步骤S13的一种具体实施方式对应的步骤流程图；
图5为本申请实施例提供的一种分割网络训练装置的示意性框图；
图6为本申请实施例提供的一种计算机设备的结构示意性框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，虽然在装置示意图中进行了功能模块的划分，但是在某些情况下，可以以不同于装置示意图中的模块划分。
本申请实施例提供一种分割网络训练方法、使用方法、装置、设备及存储介质。其中，该分割网络训练方法可应用于终端设备或服务器中，该终端设备可以为手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；该服务器可以为单台的服务器，也可以为由多台服务器组成的服务器集群。以下以该欺诈识别方法应用于服务器为例进行解释说明。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1为本申请实施例提供的一种分割网络训练方法的步骤流程示意图。
如图1所示，该分割网络训练方法包括步骤S10至步骤S16。
步骤S10，获取第一图片训练集、及第二图片训练集，其中，所述第一图片训练集中的第一图片带有语义分割标签，所述第二图片训练集中的第二图片未带有语义分割标签，并且所述第一图片的主元素类别和所述第二图片中的主元素类别相同。
在一些实施方式中，第一图片训练集中的图片，为来自网上公开的专门用于图像语义分割网络训练的图片，在第一图片训练集中，每一张图片都设置有与其对应的像素级语义分割标签。第二图片训练集中的图片，为实际生活中拍摄得到的图片，第二图片训练集中的图片不设置有语义分割标签。
第一图片训练集以及第二图片训练集中的图片所对应的主元素类别相同。示例性的，假设第一图片训练集中的图片都是关于人像方面的图片，则第二图片训练集中的图片需与第一图片训练集中的图片的主元素类别相同。即，第二图片训练集中的图片同为关于人像方面的图片。
在一些实施方式中，第一图片训练集需要包括30000张以上的带有像素级语义分割标签的人像图片，第二图片训练集需要包括2000张以上的来自生活拍摄的人像图片。
可以理解，假设第一图片训练集以及第二图片训练集都是关于人像类别的图片，因为第一图片训练集中的图片是专门用于训练图像语义分割网络的，通常来说图片中人像与背景之间的色彩以及光照差异会比较明显。而第二图片训练集中的图片是来源于生活拍摄，可能存在各种各样复杂的情况，比如图片中人像与背景之间的色彩相近。
步骤S11、根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络。
可以理解，因为第一图片训练集的图片均设置有其对应的像素级语义分割标签，第一分割网络使用第一图片训练集进行迭代训练的过程，为有监督的训练学习过程。
如图2所示，在一些实施方式中，步骤S11包括：步骤S110至步骤S115。
步骤S110、依次获取所述第一图片训练集中的第一图片输入预设的第一分割网络；
步骤S111、利用所述第一分割网络的第一卷积层对所述第一图片进行背景特征提取，得到第一得分图，其中，所述第一得分图设置有所述第一图片的像素点对应背景类别的得分；
步骤S112、利用所述第一分割网络的第二卷积层对所述第一图片进行主元素类别特征提取，得到第二得分图，其中，所述第一得分图与所述第二得分图的尺寸相同，且所述第二得分图设置有所述第一图片的像素点对应主元素类别的得分；
步骤S113、根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息；
步骤S114、根据所述第一图片及所述第一图片对应的训练权重信息，对所述第一分割 网络进行训练；
步骤S115、当所述第一分割网络根据所述第一图片训练集进行训练的次数达到预设值时，所述第一分割网络训练完成，输出初步图像分割网络。
本实施方式中，第一分割网络通过第一卷积层提取第一图片的背景特征，得到第一得分图。通过第二卷积层提取第一图片的主元素特征，得到第二得分图。
其中，第一得分图对应像素点的得分越高，表明第一图片中该像素点为背景的可能性越大。相应的，第二得分图对应像素点的得分越高，表明第一图片中对应该像素点为主元素的可能性越大。
可以理解，第一得分图以及第二得分图中，得分高的像素点，表明第一分割网络对这些区域的识别度高。如果第一图片的某一些像素点对应第一得分图以及第二得分图的得分都很低，表明第一分割网络目前对这些像素点的识别度很低，以致无法识别这些像素点是属于第一图片的背景，还是属于第一图片的主元素。此时，需要增加这些像素点的训练权重值，让第一分割网络在后续训练中对这些识别度低的像素点加强训练。
本实施方式中，先通过卷积层去识别第一分割网络对第一图片识别度低的像素点，然后对应调整第一图片各个像素的训练权重值，得到第一图片对应的训练权重信息。获得第一图片对应的训练权重信息后，第一分割网络根据第一图片以及第一图片对应的训练权重信息进行训练，可以提高训练效果。
在一些实施方式中，第一分割网络为基于MobileNetV2网络结构构件得到的分割网络，通过这种方式，能够在保持模型性能的前提下，降低模型大小，同时提升模型训练速度。
第一分割网络在训练过程中，根据损失函数计算分割损失，并通过反向传播优化第一分割网络的参数。在一些实施方式中，可以通过设置第一分割模型的epoch参数，来设定第一分割模型使用第一图片训练集进行训练的次数，当训练次数达到设置的epoch值时，第一分割网络训练完成。此时，锁定第一分割网络的参数，即得到初步图像分割网络。
在一些实施方式中，所述预设值可以设置为300，即将第一分割网络的epoch参数设置为300，当第一分割网络根据第一图片训练集进行训练的循环次数达到300轮时，训练完成。训练完成时，第一分割网络对于第一图片训练集中的图片已具有良好的语义分割能力。
如图3所示，在一些实施方式中，步骤S113包括：步骤S1130至步骤S1133。
步骤S1130、根据预设函数获取所述第一得分图以及所述第二得分图对应像素点中得分最高的像素点，并将所述得分最高的像素点合并到预设得分图中，得到对应所述第一图片的分割得分图；
步骤S1131、根据所述分割得分图，得到对应所述第一图片的初始训练权重信息；
步骤S1132、识别所述分割得分图中得分低于预设得分值的像素，得到不理想得分像素集；
步骤S1133、提高所述初始训练权重信息中对应所述不理想得分像素集的训练权重值，得到对应所述第一图片的训练权重信息。
在一些实施方式中，合并第一得分图以及第二得分图的过程为，新建一个与第一得分图以及第二得分图等同尺寸的图片，即预设得分图，用于记录第一得分图以及第二得分图的合并结果。依次遍历第一得分图以及第二得分图对应的像素点，第一得分图对应该像素点记录有第一得分，第二得分图对应该像素点记录有第二得分，通过预设函数获取第一得分以及第二得分之间的最大得分，并填充到新建图片对应的像素点中。遍历完成时，新建图片中已经记录有第一得分图以及第二得分图中对应像素的最大得分，此时，新建图片即为第一图片的分割得分图。在一些实施方式中，预设函数可以为Max(a,b)函数，通过Max(a,b)函数，可以获取a与b中的最大值。
可以理解，分割得分图不仅反映了第一分割网络对第一图片各个像素点的识别情况， 还体现了对应像素点的训练权重值。像素点对应的得分越高，其对应的训练权重值也越高。根据所述分割得分图，可以获取对应第一图片的初始训练权重信息。
在一些实施方式中，所述预设得分值可以设置为0.5，而分割得分图中的对应像素点的得分区间为0至1。此时，在分割得分图中，若对应像素点的得分达到0.5，则意味着第一分割网络对第一图片中对应这些像素点的识别度高。相应的，若对应像素点的得分低于0.5，则意味着第一分割网络对第一图片中对应这些像素点的识别度低，根据识别度低的像素点所组成的集合，即为不理想得分像素。提高初始训练权重信息中对应不理想得分像素集的训练权重值，即得到第一图片的训练权重信息。
本实施方式中，通过提高第一分割网络对第一图片识别度低的像素所对应的权重值，在后续第一分割网络通过第一图片进行训练的过程中，可以对第一图片识别度差的像素进行加强训练学习。通过本实施方式，可以提高第一分割网络的训练效率以及训练效果。
步骤S12、利用所述初步图像分割网络对所述第一图片训练集及所述第二图片训练集中的图片进行特征提取，以获取所述第一图片训练集对应的第一图片特征集，及所述第二图片训练集对应的第二图片特征集。
将第一图片训练集作为输入图片集输入第一分割网络，通过第一分割网络对第一图片训练集中的图片进行特征提取，所得到的特征图片所组成的集合，即为第一图片特征集。
可以理解，因为第一图片训练集中的图片为专门用于图像语义分割网络训练的图片，所以在第一图片训练集中，图片的主元素与背景的色彩，光照方面差异明显，并且，初步图像分割网络是根据第一图片训练集中的图片进行监督学习训练得到，因此，初步图像分割网络对第一图片训练集中的图片有良好的图片分割效果。
将第二图片训练集作为输入图片集输入第一分割网络，通过第一分割网络对第二图片训练集中的图片进行分割处理，所得到的特征图片所组成的集合，即为第二图片特征集。
可以理解，第二图片训练集中的图片是来源于日常生活拍摄，受限于拍摄设备，拍摄环境，拍摄目标等影响，可能存在图片的主元素与背景的色彩、光照差异相近的情况。并且，初步图像分割网络也不是根据第二图片训练集中的图片训练获得，因此，初步图像分割网络对第二图片训练集中的图片的分割效果会比较差，达不到其对第一图片训练集中的图片的分割能力水平。
可以理解，因为初步图像分割网络对第一图片训练集的图片识别能力要优于第二图片训练集。而第一图片特征集为通过初步图像分割网络输入第一图片训练集获得，相应的，第二图片特征集为通过初步图像分割网络输入第二图片训练集获得，即第一图片特征集中图片的图像分割效果要优于第二图片特征集中图片的图像分割效果。
步骤S13、根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络。
可以理解，初步图像分割网络对第一图片训练集以及第二图片训练集中的图片的分割能力不同，因此，第一图片特征集、及第二图片特征集中的图片特征存在差异，也即，第一图片特征集、及第二图片特征集中的图片所对应的图片特征不同，第一图片特征集中的图片的图片分割品质比第二图片特征集中的图片高。根据第一图片特征集以及第二图片特征集训练得到的图像来源识别网络，可以识别输入图片所对应的图片特征，从而确定输入图片的图片分割品质是对应第一图片特征集，还是对应第二图片特征集。
如图4所示，在一些实施方式中，步骤S13包括：步骤S130至步骤S134。
步骤S130、对所述第一图片特征集中的图片设置第一标签，并对所述第二图片特征集中的图片设置第二标签；
步骤S131、根据所述第一图片特征集对预设的第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第一输出图片；
步骤S132、根据所述第二图片特征集对所述第二分割网络进行迭代训练，并获取所述 第二分割网络训练过程中输出的第二输出图片；
步骤S133、根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完成；
步骤S134、当所述第二分割网络训练完成时，输出图像来源识别网络。
在一些实施方式中，对第一图片特征集中的图片设置第一标签，对第二图片特征集中的图片设置第二标签，则根据第一图片特征集以及第二图片特征集对第二分割网络进行迭代训练的过程，为有监督训练学习过程。
通过给不同的图片特征集设置不同的标签，第二分割网络可以根据输入图片所设置的是第一标签或是第二标签来区分输入图片，从而在训练过程中，帮助第二分割网络识别第一图片特征集以及第二图片特征集的区别图像特征。
可以理解，第二分割网络在训练过程中，根据第二损失函数计算分割损失，并通过反向传播优化第二分割网络的参数。相应的，第二分割网络识别第一图片特征集及第二图片特征集中图片的区别特征的能力会越来越强。第二分割网络在训练过程中，根据输入第一图片特征集所得到的第一输出图片，以及输入第二图片特征集所得到的第二输出图片，可以推断第二分割网络的学习进度。
当第二分割网络训练完成时，锁定第二分割网络的参数，即得到图像来源识别网络。根据图像来源识别网络，可以识别输入图片所对应的图片分割特征，从而判断输入图片的图片分割特征是对应第一图片特征集，还是对应第二图片特征集。
进一步的，所述第二分割网络根据输入图片所对应的图片分割特征设置输出图片的特征标签，步骤S134包括：当所述第一输出图片所对应的特征标签均为第一特征标签，且所述第二输出图片所对应的特征标签均为第二特征标签时，所述第二分割网络训练完成。
可以理解，当第一输出图片所对应的特征标签均为第一特征标签，且第二输出图片所对应的特征标签均为第二特征标签时，说明第二分割网络通过训练学习，已经可以识别输入图片所对应的图片分割特征是与第一图片特征集中的图片对应，还是与第二图片特征集中的图片对应，此时，第二分割网络训练完成。
可以理解，第一输出图片对应的输入图片来自第一图片特征集，第二输出图片对应的输入图片来自第二图片特征集。因为初步图像分割网络对第一图片训练集的图片的图片分割能力犹豫比第二图片训练集的图片，即第一图片特征集中的图片分割品质比第二图片特征集中的图片的分割品质高，则第二分割网络在训练过程中，通过识别输入图片所对应的图片分割特征，可以判断输入图片的分割品质，进而给对应输入图片的输出图片设置特征标签。
若输入图片达到第一图片特征集中图片对应的图片分割品质，第二分割网络可以设置输出图片的特征标签为第一特征标签，否则，则设置输出图片的特征标签为第二特征标签，则第二分割网络训练完成。
步骤S14、根据所述第二图片训练集对所述初步图像分割网络进行迭代训练，并获取所述初步图像分割网络输出的分割结果图。
可以理解，取消锁定初步图像分割网络的参数，给初步图像分割网络设置对应的分割损失函数，并对初步图像分割网络输入第二图片训练集中的图片，即可对初步图像分割网络进行训练，训练过程中，根据损失函数计算分割损失，并通过反向传播优化初步图像分割网络的参数。初步图像分割网络在训练过程中的输出图片，即为分割结果图。
因为第二图片训练集中的图片不设置有语义分割标签，初步图像分割网络使用第二图片训练集中的图片进行迭代训练的过程为无监督学习过程。
步骤S15、根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成。
可以理解，根据图像来源识别网络，可以识别输入图片所对应的图片分割特征是与第 一图片特征集中的图片对应，还是与第二图片特征集中的图片对应。
在初步图像分割网络没有使用第二图片训练集进行训练之前，初步图像分割网络对第一图片训练集以及第二图片训练集中的图片的分割能力不同，具体体现在，初步图像分割网络对第一图片训练集中的图片，比对第二图片训练集中的图片有更为良好的图片分割效果。
在初步图像分割网络使用第二图片训练集进行训练的过程中，初步图像分割网络通过训练学习，对第二图片训练集中的图片的图片分割能力逐渐提高。
在一些实施方式中，当初步图像分割网络对第二图片训练集中的图片的图片分割能力达到其对第一图片训练集中的图片的图片分割能力水平时，对初步图像分割网络输入第二图片训练集中的图片，并将对应输出的分割结果图输入图像来源识别网络，图像来源识别网络识别到分割结果图的图片分割特征与第一图片特征集中的图片对应，则初步图像分割网络训练完成。
进一步的，步骤S15包括：步骤S150至步骤S151。
步骤S150、利用所述图像来源识别网络对所述分割结果图进行特征提取，得到对应所述分割结果图的分割结果特征图；
步骤S151、当所述分割结果特征图所对应的标签为所述第一特征标签时，所述初步图像非分隔网络训练完成。
可以理解，图像来源识别网络根据输入图片所对应的图片分割特征，去设置输出图片的特征标签。
向图像来源识别网络输入分割结果图，当输出的分割结果特征图所对应的标签为第一特征标签时，说明分割结果图的图片分割特征与第一图片特征集对应，也即初步图像分割网络使用第二图片训练集中的图片进行无监督学习，对没有设置语义分割标签的图片的图片分割能力，达到了第一分割网络根据第一图片训练集进行有监督学习后，对设置有语义分割标签的图片的图片分割能力水平。此时，初步图像分隔网络训练完成。
步骤S16、当所述初步图像分割网络训练完成时，输出目标图像分割网络。
初步图像分割网络训练完成时，停止训练并锁定初步图像分割网络的参数，即得到目标图像分割网络。
本申请中，获取带有语义分割标签的第一图片，得到第一图片训练集、获取未带有语义分割标签的第二图片，得到第二图片训练集。根据第一图片训练集对第一分割网络进行有监督训练，得到初步图像分割网络。利用初步图像分割网络对第一图片训练集及第二图片训练集中的图片进行特征提取，获得第一图片训练集对应的第一图片特征集，及第二图片训练集对应的第二图片特征集。根据第一图片特征集以及第二图片特征集对第二分割网络进行训练，得到图像来源识别网络。随即，根据第二图片训练集对初步图像分割网络进行无监督训练，并获取初步图像分割网络在训练的过程中输出的分割结果图。根据图像来源识别网络对分割结果图进行校验，校验通过时，初步图像分割网络训练完成，输出目标图像分割网络。
通过本申请，训练得到的目标图像分割网络对无标签的第二图片，可以取得等同于对有标签的第一图片的分割效果。
本申请实施例还提供的一种分割网络使用方法，分割网络使用方法包括步骤S20至步骤S21。
步骤S20、获取待处理图片；
步骤S21、利用图像分割网络对所述待处理图片进行图像分割处理，得到对应所述待处理图片的目标结果图，其中，所述图像分割网络为通过如本申请所述的分割网络训练方法训练得到。
可以理解，通过如本申请所述的分割网络训练方法训练得到的图像分割网络，即使输 入无标签图片，也可以取得非常良好的图片分割效果。
请参照图5，图5为本申请实施例提供的一种分割网络训练装置的示意性框图。
如图5所示，该分割网络训练装置201，包括：
第一训练图片获取模块2011：用于获取第一图片训练集、及第二图片训练集，其中，所述第一图片训练集中的第一图片带有语义分割标签，所述第二图片训练集中的第二图片未带有语义分割标签，并且所述第一图片的主元素类别和所述第二图片中的主元素类别相同；
第一网络训练模块2012：用于根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络；
第二训练图片获取模块2013：用于利用所述初步图像分割网络对所述第一图片训练集及所述第二图片训练集中的图片进行特征提取，以获取所述第一图片训练集对应的第一图片特征集，及所述第二图片训练集对应的第二图片特征集；
第二网络训练模块2014：用于根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络；
第三网络训练模块2015：用于根据所述第二图片训练集对所述初步图像分割网络进行迭代训练，并获取所述初步图像分割网络输出的分割结果图；
目标网络校验模块2016：用于根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成；
目标网络获取模块2017：用于当所述初步图像分割网络训练完成时，输出目标图像分割网络。
在一些实施方式中，所述第一网络训练模块2012在根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络时，包括：
依次获取所述第一图片训练集中的第一图片输入预设的第一分割网络；
利用所述第一分割网络的第一卷积层对所述第一图片进行背景特征提取，得到第一得分图，其中，所述第一得分图设置有所述第一图片的像素点对应背景类别的得分；
利用所述第一分割网络的第二卷积层对所述第一图片进行主元素类别特征提取，得到第二得分图，其中，所述第一得分图与所述第二得分图的尺寸相同，且所述第二得分图设置有所述第一图片的像素点对应主元素类别的得分；
根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息；
根据所述第一图片及所述第一图片对应的训练权重信息，对所述第一分割网络进行训练；
当所述第一分割网络根据所述第一图片训练集进行训练的次数达到预设值时，所述第一分割网络训练完成，输出初步图像分割网络。
在一些实施方式中，所述第一网络训练模块2012在根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息时，包括：
根据预设函数获取所述第一得分图以及所述第二得分图对应像素点中得分最高的像素点，并将所述得分最高的像素点合并到预设得分图中，得到对应所述第一图片的分割得分图；
根据所述分割得分图，得到对应所述第一图片的初始训练权重信息；
识别所述分割得分图中得分低于预设得分值的像素，得到不理想得分像素集；
提高所述初始训练权重信息中对应所述不理想得分像素集的训练权重值，得到对应所述第一图片的训练权重信息。
在一些实施方式中，所述第二网络训练模块2014在根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络时，包括：
对所述第一图片特征集中的图片设置第一标签，并对所述第二图片特征集中的图片设置第二标签；
根据所述第一图片特征集对预设的第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第一输出图片；
根据所述第二图片特征集对所述第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第二输出图片；
根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完成；
当所述第二分割网络训练完成时，输出图像来源识别网络。
在一些实施方式中，所述第二分割网络根据输入图片所对应的图片分割特征设置输出图片的特征标签，所述第二网络训练模块2014在根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完成时，包括：
当所述第一输出图片所对应的特征标签均为第一特征标签，且所述第二输出图片所对应的特征标签均为第二特征标签时，所述第二分割网络训练完成。
在一些实施方式中，所述目标网络校验模块2016在根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成时，包括：
利用所述图像来源识别网络对所述分割结果图进行特征提取，得到对应所述分割结果图的分割结果特征图；
当所述分割结果特征图所对应的标签为所述第一特征标签时，所述初步图像非分隔网络训练完成。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块及单元的具体工作过程，可以参考前述分割网络训练方法实施例中的对应过程，在此不再赘述。
上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6为本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备包括但不限定于服务器。
如图6所示，该计算机设备301包括通过系统总线连接的处理器3011、存储器和网络接口，其中，存储器可以包括存储介质3012和内存储器3015，存储介质3012可以是非易失性的，也可以是易失性的。
存储介质3012可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器3011执行任意一种分割网络训练方法。
处理器3011用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器3015为存储介质3012中的计算机程序的运行提供环境，该计算机程序被处理器3011执行时，可使得处理器3011执行任意一种分割网络训练方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器3011可以是中央处理单元(Central Processing Unit，CPU)，该处理器3011还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何 常规的处理器等。
其中，在一些实施方式中，所述处理器3011用于运行存储在存储器中的计算机程序，以实现如下步骤：
获取第一图片训练集、及第二图片训练集，其中，所述第一图片训练集中的第一图片带有语义分割标签，所述第二图片训练集中的第二图片未带有语义分割标签，并且所述第一图片的主元素类别和所述第二图片中的主元素类别相同；
根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络；
利用所述初步图像分割网络对所述第一图片训练集及所述第二图片训练集中的图片进行特征提取，以获取所述第一图片训练集对应的第一图片特征集，及所述第二图片训练集对应的第二图片特征集；
根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络；
根据所述第二图片训练集对所述初步图像分割网络进行迭代训练，并获取所述初步图像分割网络输出的分割结果图；
根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成；
当所述初步图像分割网络训练完成时，输出目标图像分割网络。
在一些实施方式中，所述处理器3011在根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络时，用于实现：
依次获取所述第一图片训练集中的第一图片输入预设的第一分割网络；
利用所述第一分割网络的第一卷积层对所述第一图片进行背景特征提取，得到第一得分图，其中，所述第一得分图设置有所述第一图片的像素点对应背景类别的得分；
利用所述第一分割网络的第二卷积层对所述第一图片进行主元素类别特征提取，得到第二得分图，其中，所述第一得分图与所述第二得分图的尺寸相同，且所述第二得分图设置有所述第一图片的像素点对应主元素类别的得分；
根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息；
根据所述第一图片及所述第一图片对应的训练权重信息，对所述第一分割网络进行训练；
当所述第一分割网络根据所述第一图片训练集进行训练的次数达到预设值时，所述第一分割网络训练完成，输出初步图像分割网络。
在一些实施方式中，所述处理器3011在根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息时，用于实现：
根据预设函数获取所述第一得分图以及所述第二得分图对应像素点中得分最高的像素点，并将所述得分最高的像素点合并到预设得分图中，得到对应所述第一图片的分割得分图；
根据所述分割得分图，得到对应所述第一图片的初始训练权重信息；
识别所述分割得分图中得分低于预设得分值的像素，得到不理想得分像素集；
提高所述初始训练权重信息中对应所述不理想得分像素集的训练权重值，得到对应所述第一图片的训练权重信息。
在一些实施方式中，所述处理器3011在根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络时，用于实现：
对所述第一图片特征集中的图片设置第一标签，并对所述第二图片特征集中的图片设置第二标签；
根据所述第一图片特征集对预设的第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第一输出图片；
根据所述第二图片特征集对所述第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第二输出图片；
根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完成；
当所述第二分割网络训练完成时，输出图像来源识别网络。
在一些实施方式中，所述第二分割网络根据输入图片所对应的图片分割特征设置输出图片的特征标签，所述处理器3011在根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完成时，用于实现：
当所述第一输出图片所对应的特征标签均为第一特征标签，且所述第二输出图片所对应的特征标签均为第二特征标签时，所述第二分割网络训练完成。
在一些实施方式中，所述处理器3011在根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成时，用于实现：
利用所述图像来源识别网络对所述分割结果图进行特征提取，得到对应所述分割结果图的分割结果特征图；
当所述分割结果特征图所对应的标签为所述第一特征标签时，所述初步图像非分隔网络训练完成。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述计算机设备的具体工作过程，可以参考前述分割网络训练方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种存储介质，该存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现以下步骤：
获取第一图片训练集、及第二图片训练集，其中，所述第一图片训练集中的第一图片带有语义分割标签，所述第二图片训练集中的第二图片未带有语义分割标签，并且所述第一图片的主元素类别和所述第二图片中的主元素类别相同；
根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络；
利用所述初步图像分割网络对所述第一图片训练集及所述第二图片训练集中的图片进行特征提取，以获取所述第一图片训练集对应的第一图片特征集，及所述第二图片训练集对应的第二图片特征集；
根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络；
根据所述第二图片训练集对所述初步图像分割网络进行迭代训练，并获取所述初步图像分割网络输出的分割结果图；
根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成；
当所述初步图像分割网络训练完成时，输出目标图像分割网络。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是， 在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种分割网络训练方法，其中，包括：
    获取第一图片训练集、及第二图片训练集，其中，所述第一图片训练集中的第一图片带有语义分割标签，所述第二图片训练集中的第二图片未带有语义分割标签，并且所述第一图片的主元素类别和所述第二图片中的主元素类别相同；
    根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络；
    利用所述初步图像分割网络对所述第一图片训练集及所述第二图片训练集中的图片进行特征提取，以获取所述第一图片训练集对应的第一图片特征集，及所述第二图片训练集对应的第二图片特征集；
    根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络；
    根据所述第二图片训练集对所述初步图像分割网络进行迭代训练，并获取所述初步图像分割网络输出的分割结果图；
    根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成；
    当所述初步图像分割网络训练完成时，输出目标图像分割网络。
  2. 根据权利要求1所述的方法，其中，所述根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络，包括：
    依次获取所述第一图片训练集中的第一图片输入预设的第一分割网络；
    利用所述第一分割网络的第一卷积层对所述第一图片进行背景特征提取，得到第一得分图，其中，所述第一得分图设置有所述第一图片的像素点对应背景类别的得分；
    利用所述第一分割网络的第二卷积层对所述第一图片进行主元素类别特征提取，得到第二得分图，其中，所述第一得分图与所述第二得分图的尺寸相同，且所述第二得分图设置有所述第一图片的像素点对应主元素类别的得分；
    根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息；
    根据所述第一图片及所述第一图片对应的训练权重信息，对所述第一分割网络进行训练；
    当所述第一分割网络根据所述第一图片训练集进行训练的次数达到预设值时，所述第一分割网络训练完成，输出初步图像分割网络。
  3. 根据权利要求2所述的方法，其中，所述根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息，包括：
    根据预设函数获取所述第一得分图以及所述第二得分图对应像素点中得分最高的像素点，并将所述得分最高的像素点合并到预设得分图中，得到对应所述第一图片的分割得分图；
    根据所述分割得分图，得到对应所述第一图片的初始训练权重信息；
    识别所述分割得分图中得分低于预设得分值的像素，得到不理想得分像素集；
    提高所述初始训练权重信息中对应所述不理想得分像素集的训练权重值，得到对应所述第一图片的训练权重信息。
  4. 根据权利要求1-3中任一项所述的方法，其中，所述根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络，包括：
    对所述第一图片特征集中的图片设置第一标签，并对所述第二图片特征集中的图片设置第二标签；
    根据所述第一图片特征集对预设的第二分割网络进行迭代训练，并获取所述第二分 割网络训练过程中输出的第一输出图片；
    根据所述第二图片特征集对所述第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第二输出图片；
    根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完成；
    当所述第二分割网络训练完成时，输出图像来源识别网络。
  5. 根据权利要求4所述的方法，其中，所述第二分割网络根据输入图片所对应的图片分割特征设置输出图片的特征标签，所述根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完成，包括：
    当所述第一输出图片所对应的特征标签均为第一特征标签，且所述第二输出图片所对应的特征标签均为第二特征标签时，所述第二分割网络训练完成。
  6. 根据权利要求5所述的方法，其中，所述根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成，包括：
    利用所述图像来源识别网络对所述分割结果图进行特征提取，得到对应所述分割结果图的分割结果特征图；
    当所述分割结果特征图所对应的标签为所述第一特征标签时，所述初步图像非分隔网络训练完成。
  7. 一种分割网络使用方法，其中，所述方法包括：
    获取待处理图片；
    利用图像分割网络对所述待处理图片进行图像分割处理，得到对应所述待处理图片的目标结果图，其中，所述图像分割网络为通过权利要求1 6任一项所述的方法训练得到。
  8. 一种分割网络训练装置，其中，所述装置包括：
    第一训练图片获取模块：用于获取第一图片训练集、及第二图片训练集，其中，所述第一图片训练集中的第一图片带有语义分割标签，所述第二图片训练集中的第二图片未带有语义分割标签，并且所述第一图片的主元素类别和所述第二图片中的主元素类别相同；
    第一网络训练模块：用于根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络；
    第二训练图片获取模块：用于利用所述初步图像分割网络对所述第一图片训练集及所述第二图片训练集中的图片进行特征提取，以获取所述第一图片训练集对应的第一图片特征集，及所述第二图片训练集对应的第二图片特征集；
    第二网络训练模块：用于根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络；
    第三网络训练模块：用于根据所述第二图片训练集对所述初步图像分割网络进行迭代训练，并获取所述初步图像分割网络输出的分割结果图；
    目标网络校验模块：用于根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成；
    目标网络获取模块：用于当所述初步图像分割网络训练完成时，输出目标图像分割网络。
  9. 一种计算机设备，其中，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如下步骤：
    获取第一图片训练集、及第二图片训练集，其中，所述第一图片训练集中的第一图片带有语义分割标签，所述第二图片训练集中的第二图片未带有语义分割标签，并且所述第一图片的主元素类别和所述第二图片中的主元素类别相同；
    根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络；
    利用所述初步图像分割网络对所述第一图片训练集及所述第二图片训练集中的图片进行特征提取，以获取所述第一图片训练集对应的第一图片特征集，及所述第二图片训练集对应的第二图片特征集；
    根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络；
    根据所述第二图片训练集对所述初步图像分割网络进行迭代训练，并获取所述初步图像分割网络输出的分割结果图；
    根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成；
    当所述初步图像分割网络训练完成时，输出目标图像分割网络。
  10. 根据权利要求9所述的计算机设备，其中，所述根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络时，用于实现：
    依次获取所述第一图片训练集中的第一图片输入预设的第一分割网络；
    利用所述第一分割网络的第一卷积层对所述第一图片进行背景特征提取，得到第一得分图，其中，所述第一得分图设置有所述第一图片的像素点对应背景类别的得分；
    利用所述第一分割网络的第二卷积层对所述第一图片进行主元素类别特征提取，得到第二得分图，其中，所述第一得分图与所述第二得分图的尺寸相同，且所述第二得分图设置有所述第一图片的像素点对应主元素类别的得分；
    根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息；
    根据所述第一图片及所述第一图片对应的训练权重信息，对所述第一分割网络进行训练；
    当所述第一分割网络根据所述第一图片训练集进行训练的次数达到预设值时，所述第一分割网络训练完成，输出初步图像分割网络。
  11. 根据权利要求10所述的计算机设备，其中，所述根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息时，用于实现：
    根据预设函数获取所述第一得分图以及所述第二得分图对应像素点中得分最高的像素点，并将所述得分最高的像素点合并到预设得分图中，得到对应所述第一图片的分割得分图；
    根据所述分割得分图，得到对应所述第一图片的初始训练权重信息；
    识别所述分割得分图中得分低于预设得分值的像素，得到不理想得分像素集；
    提高所述初始训练权重信息中对应所述不理想得分像素集的训练权重值，得到对应所述第一图片的训练权重信息。
  12. 根据权利要求9-11中任一项所述的计算机设备，其中，所述根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络时，用于实现：
    对所述第一图片特征集中的图片设置第一标签，并对所述第二图片特征集中的图片设置第二标签；
    根据所述第一图片特征集对预设的第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第一输出图片；
    根据所述第二图片特征集对所述第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第二输出图片；
    根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完 成；
    当所述第二分割网络训练完成时，输出图像来源识别网络。
  13. 根据权利要求12所述的计算机设备，其中，所述第二分割网络根据输入图片所对应的图片分割特征设置输出图片的特征标签，所述根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完成时，用于实现：
    当所述第一输出图片所对应的特征标签均为第一特征标签，且所述第二输出图片所对应的特征标签均为第二特征标签时，所述第二分割网络训练完成。
  14. 根据权利要求13所述的计算机设备，其中，所述根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成时，用于实现：
    利用所述图像来源识别网络对所述分割结果图进行特征提取，得到对应所述分割结果图的分割结果特征图；
    当所述分割结果特征图所对应的标签为所述第一特征标签时，所述初步图像非分隔网络训练完成。
  15. 一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如下步骤：
    获取第一图片训练集、及第二图片训练集，其中，所述第一图片训练集中的第一图片带有语义分割标签，所述第二图片训练集中的第二图片未带有语义分割标签，并且所述第一图片的主元素类别和所述第二图片中的主元素类别相同；
    根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络；
    利用所述初步图像分割网络对所述第一图片训练集及所述第二图片训练集中的图片进行特征提取，以获取所述第一图片训练集对应的第一图片特征集，及所述第二图片训练集对应的第二图片特征集；
    根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络；
    根据所述第二图片训练集对所述初步图像分割网络进行迭代训练，并获取所述初步图像分割网络输出的分割结果图；
    根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成；
    当所述初步图像分割网络训练完成时，输出目标图像分割网络。
  16. 根据权利要求15所述的存储介质，其中，所述根据所述第一图片训练集对预设的第一分割网络进行训练，得到初步图像分割网络时，用于实现：
    依次获取所述第一图片训练集中的第一图片输入预设的第一分割网络；
    利用所述第一分割网络的第一卷积层对所述第一图片进行背景特征提取，得到第一得分图，其中，所述第一得分图设置有所述第一图片的像素点对应背景类别的得分；
    利用所述第一分割网络的第二卷积层对所述第一图片进行主元素类别特征提取，得到第二得分图，其中，所述第一得分图与所述第二得分图的尺寸相同，且所述第二得分图设置有所述第一图片的像素点对应主元素类别的得分；
    根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的训练权重信息；
    根据所述第一图片及所述第一图片对应的训练权重信息，对所述第一分割网络进行训练；
    当所述第一分割网络根据所述第一图片训练集进行训练的次数达到预设值时，所述第一分割网络训练完成，输出初步图像分割网络。
  17. 根据权利要求16所述的存储介质，其中，所述根据所述第一得分图以及所述第二得分图，设置对应所述第一图片中各个像素点的训练权重值，得到对应所述第一图片的 训练权重信息时，用于实现：
    根据预设函数获取所述第一得分图以及所述第二得分图对应像素点中得分最高的像素点，并将所述得分最高的像素点合并到预设得分图中，得到对应所述第一图片的分割得分图；
    根据所述分割得分图，得到对应所述第一图片的初始训练权重信息；
    识别所述分割得分图中得分低于预设得分值的像素，得到不理想得分像素集；
    提高所述初始训练权重信息中对应所述不理想得分像素集的训练权重值，得到对应所述第一图片的训练权重信息。
  18. 根据权利要求15-17中任一项所述的存储介质，其中，所述根据所述第一图片特征集、及所述第二图片特征集对预设的第二分割网络进行训练，得到图像来源识别网络时，用于实现：
    对所述第一图片特征集中的图片设置第一标签，并对所述第二图片特征集中的图片设置第二标签；
    根据所述第一图片特征集对预设的第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第一输出图片；
    根据所述第二图片特征集对所述第二分割网络进行迭代训练，并获取所述第二分割网络训练过程中输出的第二输出图片；
    根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完成；
    当所述第二分割网络训练完成时，输出图像来源识别网络。
  19. 根据权利要求18所述的存储介质，其中，所述第二分割网络根据输入图片所对应的图片分割特征设置输出图片的特征标签，所述根据所述第一输出图片以及所述第二输出图片，评估所述第二分割网络是否训练完成时，用于实现：
    当所述第一输出图片所对应的特征标签均为第一特征标签，且所述第二输出图片所对应的特征标签均为第二特征标签时，所述第二分割网络训练完成。
  20. 根据权利要求19所述的存储介质，其中，所述根据所述图像来源识别网络和所述分割结果图评估所述初步图像分割网络是否训练完成时，用于实现：
    利用所述图像来源识别网络对所述分割结果图进行特征提取，得到对应所述分割结果图的分割结果特征图；
    当所述分割结果特征图所对应的标签为所述第一特征标签时，所述初步图像非分隔网络训练完成。
PCT/CN2022/072183 2021-08-26 2022-01-14 分割网络训练方法、使用方法、装置、设备及存储介质 WO2023024424A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110991125.5A CN113705666B (zh) 2021-08-26 2021-08-26 分割网络训练方法、使用方法、装置、设备及存储介质
CN202110991125.5 2021-08-26

Publications (1)

Publication Number Publication Date
WO2023024424A1 true WO2023024424A1 (zh) 2023-03-02

Family

ID=78655485

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/072183 WO2023024424A1 (zh) 2021-08-26 2022-01-14 分割网络训练方法、使用方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN113705666B (zh)
WO (1) WO2023024424A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705666B (zh) * 2021-08-26 2023-10-27 平安科技（深圳）有限公司 分割网络训练方法、使用方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797779A (zh) * 2020-07-08 2020-10-20 兰州交通大学 基于区域注意力多尺度特征融合的遥感图像语义分割方法
CN112613515A (zh) * 2020-11-23 2021-04-06 上海眼控科技股份有限公司 语义分割方法、装置、计算机设备和存储介质
US20210150281A1 (en) * 2019-11-14 2021-05-20 Nec Laboratories America, Inc. Domain adaptation for semantic segmentation via exploiting weak labels
CN113705666A (zh) * 2021-08-26 2021-11-26 平安科技（深圳）有限公司 分割网络训练方法、使用方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113113119A (zh) * 2021-03-23 2021-07-13 中国科学院深圳先进技术研究院 语义分割网络的训练方法、图像处理方法及其设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210150281A1 (en) * 2019-11-14 2021-05-20 Nec Laboratories America, Inc. Domain adaptation for semantic segmentation via exploiting weak labels
CN111797779A (zh) * 2020-07-08 2020-10-20 兰州交通大学 基于区域注意力多尺度特征融合的遥感图像语义分割方法
CN112613515A (zh) * 2020-11-23 2021-04-06 上海眼控科技股份有限公司 语义分割方法、装置、计算机设备和存储介质
CN113705666A (zh) * 2021-08-26 2021-11-26 平安科技（深圳）有限公司 分割网络训练方法、使用方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113705666A (zh) 2021-11-26
CN113705666B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN110543815B (zh) 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质
US20220092882A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
WO2020119350A1 (zh) 视频分类方法、装置、计算机设备和存储介质
WO2020253127A1 (zh) 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质
US8571332B2 (en) Methods, systems, and media for automatically classifying face images
WO2020024484A1 (zh) 用于输出数据的方法和装置
WO2021012494A1 (zh) 基于深度学习的人脸识别方法、装置及计算机可读存储介质
WO2021237570A1 (zh) 影像审核方法及装置、设备、存储介质
US20140050372A1 (en) Method and apparatus for facial recognition
WO2021051547A1 (zh) 暴力行为检测方法及系统
WO2020238515A1 (zh) 图像匹配方法、装置、设备、介质和程序产品
WO2020155790A1 (zh) 理赔信息提取方法和装置、电子设备
US10929676B2 (en) Video recognition using multiple modalities
WO2020173117A1 (zh) 人脸识别方法、神经网络训练方法、装置及电子设备
WO2022227218A1 (zh) 药名识别方法、装置、计算机设备和存储介质
WO2021151313A1 (zh) 证件鉴伪方法、装置、电子设备及存储介质
CN110349161B (zh) 图像分割方法、装置、电子设备、及存储介质
US20210295016A1 (en) Living body recognition detection method, medium and electronic device
WO2021068613A1 (zh) 面部识别方法、装置、设备及计算机可读存储介质
WO2023024424A1 (zh) 分割网络训练方法、使用方法、装置、设备及存储介质
CN114663871A (zh) 图像识别方法、训练方法、装置、系统及存储介质
US11709914B2 (en) Face recognition method, terminal device using the same, and computer readable storage medium
WO2023273035A1 (zh) 图像拍摄方法、图像分类模型训练方法、装置及电子设备
CN113723310B (zh) 基于神经网络的图像识别方法及相关装置
CN116110110A (zh) 基于人脸关键点的伪造图像检测方法、终端及存储介质

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22859784

Country of ref document: EP

Kind code of ref document: A1